小楠小楠语音唤醒模型
基于wenet构建的关键词检测模型,用于检测音频中的关键词,适用于kendryte系列K230/K230D芯片
- 适用芯片:k230
- 任务类型:huanxing
- 浏览次数:508
- 下载次数:128
- 适配 SDK:MicroPython/Rt-Smart/Linux
# 关键词检测模型
## 概述
本模型是基于wenet构建的一个关键词检测模型,用于检测音频中的关键词。
关键词检测模型输入形状为[1,30,40]和[1,256,105],输出形状为[1,30,2]、[1,256,105]。[1,30,40]的输入表示使用fbank对音频进行处理后的特征图,[1,256,105]的输入表示上次推理输出的缓存。[1,30,2]的输出表示每个时间步的关键词置信度,先在30维度上取最大值得到[1,1,2],然后取2维度上的最大值和最大索引,判断最大值是否超过阈值,得到是否唤醒和唤醒词是哪个,[1,256,105]的输出用于下一个时间步的推理。
## 转换脚本说明
本模型的转换脚本为`convert_kmodel.py`,使用方法如下:
```bash
python convert_kmodel.py --target k230 --model kws.onnx --ptq_option 0 --calib_dir ./calibration_data --sample_count 20
```
参数说明:
| 参数 | 说明 |
| --- | --- |
| `--target` | 目标芯片,默认值为`k230`,可选`k230`和`cpu`,选择`cpu`时不存在量化过程 |
| `--model` | 输入的onnx模型路径 |
| `--ptq_option` | 量化过程的校准方式和精度,默认值为0,表示默认校准方式为 `Noclip`,精度为权重`uint8`,数据`uint8` |
| `--calib_dir` | 校准数据集目录,默认值为`./calibration_data` |
| `--sample_count` | 校准数据集样本数量,默认值为20 |
## 参数说明
在使用nncase转换kmodel的过程中,最重要的两部分参数为编译选项部分和量化选项部分,当前模型这两部分参数设置如下表所示:
- **编译选项参数说明**
| 参数 | 设置值|说明|
| --- | --- | --- |
|`compile_options.target`|`k230`|编译目标硬件,这里选择k230|
|`compile_options.preprocess`|`False`|是否将部分预处理封装进模型内部,这里设置为False|
|`compile_options.swapRB`|`False`|当开启预处理时,是否交换输入的RB通道,这里设置为False,不交换RB通道,这里的设置看模型需要什么顺序和数据源是什么顺序|
|`compile_options.input_shape`|`[[1,30,40],[1,256,105]]`|设置模型输入形状为[1,30,40]和[1,256,105]|
|`compile_options.input_type`|`float32`|指定输入数据类型为`float32`|
|`compile_options.input_range`|`[0,255]`|当开启预处理时,指定反量化后输入数据范围,这里设置为[0,255]|
|`compile_options.mean`|`[0, 0, 0]`|当开启预处理时,指定输入数据前处理标准化的均值,这里设置为[0, 0, 0]|
|`compile_options.std`|`[1, 1, 1]`|当开启预处理时,指定输入数据前处理标准化的标准差,这里设置为[1, 1, 1]|
|`compile_options.input_layout`|``|不指定输入数据布局|
|`compile_options.output_layout`|``|不指定输出数据布局|
- **量化选项参数说明**
| 参数 | 设置值|说明|
| --- | --- | --- |
|`ptq_options.samples_count`|`10`|量化时使用校准数据的数量|
|`ptq_options.calibrate_method`|`Noclip`|指定量化校准方法为`Noclip`|
|`ptq_options.w_quant_type`|`uint8`|指定权重量化精度为`uint8`|
|`ptq_options.quant_type`|`int16`|指定数据量化精度为`int16`|
## 输出结果
模型转换完成后,将在当前目录生成同名的 `kws.kmodel` 文件。
查看完整页面