k230kpu必须量化才能推理吗

Viewed 73

问题描述


如题,k230推理调用kpu,要求模型必须量化吗,我的模型量化后精度跟不上,但是不量化以上板推理一遍居然要1分钟,算力也才1.8G

1 Answers

什么模型啊,如果存在KPU不支持的算子就会被丢到cpu上,那时间肯定是会长的。可以在下面的链接查看支持的算子:https://github.com/kendryte/nncase/blob/master/docs/onnx_ops.md

需要做量化,kpu支持的精度是uint8和int16,float的计算不支持

就是yolov5呢,量化帧率就很高,但是完全识别不了,不量化完全跑不了

大佬,量化之后余弦相似度很低怎么办,我就勾选了两个int8,余弦相似度就只有0.87,如果是两个int16,相似度也只有0.90