【K230/K230D新技能点亮】Linux 原生WebRTC正式上线!低延迟摄像头推流一键落地

Viewed 16

问题描述


远程监控、可视对讲、设备实时预览、机器人远程操控……边缘AI设备的实时音视频需求越来越多。

以往嵌入式Linux做低延迟网页推流,要适配复杂第三方WebRTC库、手动适配硬件编码、自研信令通道,开发周期长、资源占用高。

今天,勘智K230/K230D Linux SDK重磅更新——原生内置轻量级纯C libpeer WebRTC协议栈,配套完整C语言API、开箱即用摄像头推流Demo,硬件编码深度适配,零门槛实现浏览器超实时预览,延迟低至130ms!
image.png

一、核心能力一览 专为K230嵌入式优化

本次内置libpeer为纯C轻量化WebRTC实现,深度适配K230 Linux硬件编码、V4L2采集管线,资源开销极小,完全适配边缘低功耗设备。

1.音视频编码全面支持

✅ 视频硬编码:H.264、H.265(HEVC)原生支持;VP8/MJPEG规划中
✅ 音频编码:G711A(PCMA)、G711U(PCMU)、OPUS全覆盖
优势:直接传入硬件输出完整NAL单元,无需二次转码,减少内存拷贝损耗

2. 完整WebRTC标准能力

  • SDP Offer/Answer标准信令交互,支持HTTP、MQTT双信令协议
  • ICE NAT穿透,内置STUN/TURN服务器配置接口,局域网/公网均可P2P直连
  • DataChannel双向数据通道:支持字符串/二进制传输,6种可靠/无序传输策略可选
  • 全生命周期状态回调:ICE连接状态、远端音视频帧、丢包统计、关键帧请求、DataChannel消息事件全覆盖
  • 端到端DTLS/SRTP加密,音视频传输安全可靠

3. 配套摄像头Demo亮点

官方提供完整可运行推流Demo,开箱即用,无需从零搭建管线:

1. 完整零拷贝采集链路
V4L2摄像头NV12采集 → 动态OSD叠加(最多8个区域,non-ai-2d零拷贝)→ V4L2 M2M硬件编码器 → WebRTC推流

2. 浏览器免插件播放
内置Web UI,设备开机后浏览器访问http://设备IP:8080直接查看实时画面

3. 灵活参数可调
编码格式(h264/h265)、分辨率、码率、HTTP端口、OSD数量、调试日志均可命令行配置

4. 完善浏览器兼容提示
内置mDNS隐私检测,自动提示Chrome/Edge兼容问题,附带修复方案

4. 开发友好C语言API

整套API全C实现,兼容C/C++工程,提供标准化接口:

  • 库初始化/销毁:peer_init/peer_deinit
  • PeerConnection创建、SDP协商、ICE候选管理
  • 音视频帧发送接口、DataChannel收发接口
  • 全事件回调注册:ICE状态、音视频接收、丢包、DataChannel消息等

配套完整API手册,每个接口含参数、返回值、代码示例,快速对接自有业务逻辑。

二、典型落地场景

  1. AI视觉摄像头:车间监控、家用可视摄像头、农机视觉实时预览
  2. 智能可视对讲:门禁、巡检机器人双向音视频交互
  3. 工业远程调试:设备画面实时回传+DataChannel下发控制指令
  4. 低延迟直播:边缘设备本地推流,浏览器实时查看,延迟百毫秒级

三、3步快速上手Demo

步骤1:编译SDK

make

步骤2:开发板运行&浏览器预览


# 默认H.264 720P 2000kbps
camera_webrtc_demo

# 自定义参数示例:H.265 1080P 4M码率+4个OSD
camera_webrtc_demo -t h265 -w 1920 -h 1080 -b 4000 -r 4

浏览器访问:http://开发板IP:8080,一键查看实时视频流

四、官方配套资源直达

WebRTC完整API参考手册
https://www.kendryte.com/k230_linux/zh/main/api_reference/webrtc_api.html
覆盖全部libpeer接口、枚举结构体、代码示例,开发查阅首选

camera_webrtc_demo源码仓库
https://github.com/kendryte/k230_linux_sdk/tree/dev/buildroot-overlay/package/camera_webrtc_demo
完整工程源码,包含采集、编码、WebRTC、HTTP信令、前端页面全部代码

Demo使用详细说明文档
https://github.com/kendryte/k230_linux_sdk/blob/dev/buildroot-overlay/package/camera_webrtc_demo/src/README.md
参数说明、浏览器兼容问题、架构流程图、文件分工、依赖清单完整说明

结尾

K230/K230D Linux WebRTC能力补齐,大幅降低边缘设备实时音视频开发门槛。无论是快速验证原型,还是量产产品开发,均可直接复用官方libpeer库与Demo工程,省去协议栈适配、编码对接、信令开发大量工作量。

欢迎各位开发者下载SDK体验,如有开发问题可在GitHub仓库提交Issue交流!

1 Answers

更多细节微信公众号原文:https://mp.weixin.qq.com/s/oOKQwpMQ_Wtsb_4TCYhcFQ