注视方向估计模型
基于L2CS-Net构建的眼球注视方向估计模型，适用于kendryte系列K230/K230D芯片
- 适用芯片：k230
- 任务类型：feilei、mianbu
- 浏览次数：87
- 下载次数：30
- 适配 SDK：MicroPython/Rt-Smart/Linux
# 眼球注视方向估计模型
## 概述
本模型是基于L2CS-Net构建的一个眼球注视方向估计模型，用于估计图像中眼球的注视方向。
人脸注释方向估计模型输入形状为[1,3,448,448]，输出形状为[1,90]和[1,90]。分别对应pitch和yaw的90个角度类别置信度，每个类别表示4度，通过概率计算得到当前在两个方向上的注视角度。
## 转换脚本说明
本模型的转换脚本为`convert_kmodel.py`，使用方法如下：
```bash
python convert_kmodel.py --target k230 --model L2CSNet_gaze360.onnx --ptq_option 0 --calib_dir ./calibration_data --sample_count 20
```
参数说明：
| 参数 | 说明 |
| --- | --- |
| `--target` | 目标芯片，默认值为`k230`，可选`k230`和`cpu`，选择`cpu`时不存在量化过程 |
| `--model` | 输入的onnx模型路径 |
| `--ptq_option` | 量化过程的校准方式和精度，默认值为0，表示默认校准方式为 `Noclip`,精度为权重`uint8`，数据`uint8` |
| `--calib_dir` | 校准数据集目录，默认值为`./calibration_data` |
| `--sample_count` | 校准数据集样本数量,默认值为20 |
## 参数说明
在使用nncase转换kmodel的过程中，最重要的两部分参数为编译选项部分和量化选项部分，当前模型这两部分参数设置如下表所示：
- **编译选项参数说明**
| 参数 | 设置值|说明|
| --- | --- | --- |
|`compile_options.target`|`k230`|编译目标硬件,这里选择k230|
|`compile_options.preprocess`|`True`|是否将部分预处理封装进模型内部，这里设置为True|
|`compile_options.swapRB`|`False`|当开启预处理时，是否交换输入的RB通道，这里设置为False，不进行通道交换，这里的设置看模型需要什么顺序和数据源是什么顺序|
|`compile_options.input_shape`|`[1,3,448,448]`|当开启预处理时，设置模型输入形状为[1,3,448,448]|
|`compile_options.input_type`|`uint8`|当开启预处理时，指定输入数据类型为`uint8`|
|`compile_options.input_range`|`[0,1]`|当开启预处理时，指定反量化后输入数据范围，这里设置为[0,1]|
|`compile_options.mean`|`[0.485, 0.456, 0.406]`|当开启预处理时，指定输入数据前处理标准化的均值，这里设置为[0.485, 0.456, 0.406]|
|`compile_options.std`|`[0.229, 0.224, 0.225]`|当开启预处理时，指定输入数据前处理标准化的标准差，这里设置为[0.229, 0.224, 0.225]|
|`compile_options.input_layout`|`NCHW`|指定输入数据布局为`NCHW`|
|`compile_options.output_layout`|``|输出为[1,90]和[1,90]，分别对应pitch和yaw的90个角度类别置信度，不指定输出布局|
- **量化选项参数说明**
| 参数 | 设置值|说明|
| --- | --- | --- |
|`ptq_options.samples_count`|`20`|量化时使用校准数据的数量|
|`ptq_options.calibrate_method`|`Noclip`|指定量化校准方法为`Noclip`|
|`ptq_options.w_quant_type`|`uint8`|指定权重量化精度为`uint8`|
|`ptq_options.quant_type`|`uint8`|指定数据量化精度为`uint8`|
## 输出结果
模型转换完成后，将在当前目录生成同名的 `eye_gaze.kmodel` 文件。
查看完整页面