问题描述
如标题,我的一个yolov5减枝模型,不量化的话在k230完全跑不了,一量化精度完全跟不上,置信度从0.7左右直接变成0.00几和负值,感觉可能是因为小值在量化中被截断,但是改成int8,uint8和int16都没有什么用,余弦相似度每一个输出项都在0.9往上,不知到为什么,有什么解决方案吗
软件版本
rtos+linux
如标题,我的一个yolov5减枝模型,不量化的话在k230完全跑不了,一量化精度完全跟不上,置信度从0.7左右直接变成0.00几和负值,感觉可能是因为小值在量化中被截断,但是改成int8,uint8和int16都没有什么用,余弦相似度每一个输出项都在0.9往上,不知到为什么,有什么解决方案吗
rtos+linux