VideoPipe视频分析框架

专注于CV领域AI算法模型快速集成与落地。可广泛应用于人脸识别车牌识别图片检索交通违章检测多源视频融合视频转码等多个应用场景,可跨平台部署在前智能设备、边缘服务器、数据中心。

可视化

提供可视化调试工具,程序管道的运行状态(各环节缓存大小、FPS、延时等)可在UI界面实时刷新显示,用于快速定位性能瓶颈、辅助优化代码。

跨平台

支持跨平台部署,可基于各硬件平台SDK(编解码、推理、图像加速)快速适配不同硬件平台。无需针对不同平台维护多套源码、减少人员投入。

易上手

基于原生C++实现,不依赖复杂的第三方框架(如GStreamer/GObject),案例丰富,覆盖了常见视频分析场景,开箱即用,二开门槛低。

编写程序就像组装管道一样简单

高度插件化,插件之间可以灵活组合,来解决不同种类的视频分析任务。

面向插件编程

VideoPipe采用面向插件的编码风格,可以根据不同的需求按需搭配,我们可以使用独立的插件(即框架中的 Node 类型),来构建不同类型的视频分析应用。实际开发中,先定义需要的插件类型,然后创建对应插件实例,最后将插件attach到一起,即可组成一个视频分析管道。管道支持多个输入和输出,管道中的多个分支既可以合并也可以拆分。

可视化调试视频分析管道

哪里有数据堆积,哪里处理速度达不到实时要求,哪里延时过高,一目了然 …

视频分析管道可视化

不同插件连接起来,组成了视频分析管道。框架支持对不同结构的分析管道进行可视化展示,管道运行状态可以实时在界面刷新,比如各个环节的处理速度(FPS)、缓存大小、以及当前环节的延时,方便开发人员快速定位性能瓶颈,优化程序代码。

轻松搞定复杂的视频分析相关技术栈

视频接入,编/解码,算法推理,目标跟踪,消息推送,录像截图,视频推送 …

内置视频分析常见插件

框架已经内置了常见的功能插件,比如视频接入、编解码、算法推理、目标跟踪等,这些插件开箱即用,开发者无需了解内部细节。部分时候内置插件可能不满足需求,需要自定义插件。以自定义推理插件为例,你只需准备好模型并了解如何解析其输出即可,推理可以基于不同的后端实现,如 OpenCV::DNN、TensorRT、PaddleInference、ONNXRuntime、RKNN 等,任何你喜欢的都可以。

应用案例

人脸识别,车牌识别摄像机,交通违章检测,AI换脸,图搜,安防布控,车道线检测 …

车牌识别摄像机IPC

实时从MIPI Sensor获取YUV格式图片,转换颜色格式,并对其进行车牌检测和识别,上报车牌颜色、车牌类型、车牌号码等结构化信息。

交通违章检测

实时从IPC前端摄像机获取RTSP视频流,解码后对其进行车辆检测、跟踪,并分析其运行轨迹,判断违停、逆行、压线、未系安全带、打电话等违章行为。

人脸识别

实时从MIPI Sensor获取YUV格式图片,转换颜色格式,并对其进行人脸检测、特征提取,检索人脸数据库,识别唯一身份ID。

2022/8

第一次Commit

500+

讨论群小伙伴

50+

应用案例

1300+

Github星星

更多技术咨询

有任何问题?欢迎找我交流。

“Rather than struggling together in the shallow waters, it is better to forget each other in the vast rivers and lakes.”
——Chuang Tzu

鄂ICP备2024068543号-1