RTOS 多源输入 Demo 正式发布,支持 USB/RTSP/UVC/MIPI Sensor 灵活切换

Viewed 98

问题描述


K230 开发者们注意啦!超实用的 MultiSource AI Analyzer Demo 新鲜出炉,一个 Demo 适配四种输入源,同一套 AI Pipeline 无需改代码,只需切换启动参数,就能自由玩转 RTSP 网络流、MP4 文件、UVC 摄像头、MIPI摄像头!

image.png

一、AI 能力拉满,不止输入灵活

这个 Demo 可不是只解决输入问题,内置完整 AI 流水线,功能超硬核:

✅ YOLOv8 目标检测:识别人/车/物等各类目标
✅ ReID 外观特征提取:提取目标外观特征向量
✅ BoTSORT 多目标跟踪:跨帧关联,输出稳定 TrackID

完整流程一气呵成:检测 → 特征提取 → 多目标跟踪 → OSD 叠加显示

二、3步上手,一行命令切换输入源

1. 启用并编译

获取RTOS最新SDK,参考文档:
https://www.kendryte.com/k230_rtos/zh/main/userguide/how_to_build.html#
在 K230 SDK 根目录执行:

make menuconfig

进入配置界面选中:

Config → RT-Smart UserSpace Examples Configuration → Enable build integrated examples
[*] Multisource AI Analyzer

image.png

保存后编译:

make savedefconfig
make

代码路径:
src/rtsmart/examples/integrated_poc/multisource_ai_analyzer

2. 烧录固件

将编译好的固件烧录到开发板,通过串口登录到指定目录:

cd /sdcard/app/examples/integrated_poc

3.切换输入源,就是这么简单

  • RTSP 流输入
./multisource_ai_analyzer.elf "rtsp://192.168.1.100:554/stream1"
  • MP4 文件输入
./multisource_ai_analyzer.elf "test_video.mp4"
  • UVC 摄像头输入
./multisource_ai_analyzer.elf uvc
  • K230 原生采集
./multisource_ai_analyzer.elf realtime

三、技术架构揭秘,高效又灵活

数据流设计逻辑

image.png

四、高级配置,适配更多需求

想自定义参数?安排!

# 查看完整帮助
./multisource_ai_analyzer.elf --help

# 自定义检测模型和阈值
./multisource_ai_analyzer.elf --det-model yolov8m_640.kmodel --score-thres 0.6 "rtsp://..."

# 调整跟踪参数/启用调试模式
./multisource_ai_analyzer.elf --track-high 0.7 --track-low 0.3 --new-track 0.8 "test.mp4"
./multisource_ai_analyzer.elf --debug 1 uvc

也可编辑 src/setting.h 配置显示类型(LCD/HDMI)、RTSP 传输方式(TCP/UDP)等核心参数。

五、不同场景,这样选输入源更高效

场景 推荐输入源 理由
产品演示 Realtime 展示 K230 原生性能,效果最震撼
算法调试 MP4 可重复测试,结果可复现
系统集成 RTSP 无缝接入现有监控系统
快速验证 UVC 外接USB相机,开发效率最高

小结

这个 MultiSource AI Analyzer Demo 堪称 K230 开发的“效率神器”:
✅ 四种输入源,一行命令灵活切换
✅ 同一套 AI Pipeline,代码无需修改
✅ 硬件级零拷贝,性能拉满
✅ 参数默认优化,开箱即用
无论是算法开发、系统集成还是产品演示,都能完美适配!快去试试,让你的 K230 发挥最大潜力吧~

训练好的识别模型能不能在这个镜像版本跑呢

可以呀,daily build都可以跑的

RTOS Daily Build这个镜像吗

2 Answers

公众号同步发布:https://mp.weixin.qq.com/s/EpRlbhWmcHHXyJFEhhlb6A

功能很棒!请问以上功能是否会移植到Micropython版上?是否有时间计划?谢谢!