中国电信-信息技术行业：软件定义摄像机关键技术白皮书

软件定义摄像机关键技术白皮书 1 2 2 3 4 5 5 7 8 8 8 4.4.2端侧学习能力 20 20 22 4.7.1AI数据的隐私及隔离 27-ii-软件定义摄像机关键技术白皮书 2图2软件定义摄像机标准体系 4图3软件定义摄像机系统框架 5图4算法开发与上线流程 7图5轻量级容器引擎架构 9图6标准化服务架构 图7文件即服务架构 图8服务文件监控与触发机制 图9TVM转换架构 图10AI端侧训练示意图 20 21图14摄像机图像处理流程 22 23 24软件定义摄像机关键技术白皮书表目录表格4-1容器引擎对比 9表格4-2标准化接口服务列表 第1页软件定义摄像机关键技术白皮书1、前言理念，以专业Al芯片、开放的操作系统、丰富的生态体系来定义智能摄像机的软件定义摄像机关键技术白皮书2、软件定义摄像机简介软件定义摄像机(software-definedcamera,以下简称SDC)采用软件定按需加载摄像机实战的Al算法四准确度低传统摄像机升级复杂充足算力人工巡检图1传统摄像机与软件定义摄像机对比的情况，软件定义摄像机具备专业的Al芯片，充足的算力，开放的操作系统及亿级计算视觉处理，轻松实现目标分类和属性第3页第4页2.3标准化进展准装准定义准件义像行应白书软定摄机业用皮求第5页软件定义摄像机关键技术白皮书3、软件定义摄像机参考技术架构3.1系统分层框架商城FaaS引擎驱动图3软件定义摄像机系统框架1)算法商城第6页第7页3.2算法上线流程在软件定义摄像机系统中算法的开发、部署到应用全流程过程如图4,存在第8页软件定义摄像机关键技术白皮书4、软件定义摄像机关键技术4.1云原生通用化OS能力4.1.1轻量级容器引擎第9页软件定义摄像机关键技术白皮书第10页软件定义摄像机关键技术白皮书持√√√√√√√√MulanPSLv2开发语言在满足Al摄像机硬件的基础上，结合开源生态、功能、性能、开发语言、基于功能模块化的微服务使应用开发更敏捷与高效，减少Al应用重复开发第11页软件定义摄像机关键技术白皮书4.2标准化服务软硬件解耦提供标准化服务化能力，基于分层架构实现Al算法应用与硬件及系统的隔离，解决现在Al应用开发与芯片厂商编译工具链紧耦合的问题，避免应用开发图6标准化服务架构软件定义摄像机关键技术白皮书4.2.1文件即服务应用访问件的文件操作，如open/read/write/ioctl/mmap/fcntl/closeApplicationApplication1Application2Application3服务文件服务文件服务文件Ext3/4proc/ramfsXFS文件即服务引擎调用图7文件即服务架构第13页通过write/read实现io输入输出，poll1)事件文件触发软件定义摄像机关键技术白皮书2)共享内存表格4-2标准化接口服务列表服务文件名实时监控视频获取图片抓拍服务云台服务第15页软件定义摄像机关键技术白皮书4.3高效、标准的算法框架因此需要统一的、泛开发的算法框架，提升Al应用的开发与调试效率，使Al应用开发者可以更多关注Al应用与算法本身，提升Al应用的质量和数量。4.3.1统一算法框架TVM(TensorVirtualMachine)是目前第三方提出的典型统一算法框架 等不同硬件平台上运行，目前TVM得到Go软件定义摄像机关键技术白皮书统一算法框架通过中间件层将Al模型与底层芯片硬件进行隔离与对接，实Accelerator).第17页软件定义摄像机关键技术白皮书4.3.2泛开发算法框架Al应用开发者提供功能全面的API体系与前端语言转换能力，提升Al应用开发4.4端侧的Al推理与训练署到各个摄像机上，因其场景数据收集和部署环境(周边环境和目标特征等)差第18页软件定义摄像机关键技术白皮书图10Al端侧训练示意图而提升Al算法模型的适用性。同时，将结果融合的模型回传到云平台，并推送到其他软件定义摄像机架构的设备，使Al算法“持续主动进化”。Al芯片的算力不断升级正在赋予软件定义摄像机越来越强大的算力，使训●软件栈与Al框架支持端侧在线训练，且Al框架与架构统一，保证训练4.4.2端侧学习能力第19页软件定义摄像机关键技术白皮书图11软件学习能力示意图4.5端云协同的Al能力力需求，通过计算卸载等方法利用云计算的海量计算资源，利用“终端计算+云不断提升的安防应用Al算法要求，使平台与终端的算力可以灵活卸载，是未来解决多种类Al安防场景的关键支撑技术之一。第20页软件定义摄像机关键技术白皮书4.5.1模型动态分割1313“高空抛物’图12神经网络分割切片中，从而实现神经网络在端云之间的分4.5.2模型动态加载通过编排技术将完成分割的Al神经网络模型分发到端侧和云平台进第21页软件定义摄像机关键技术白皮书AlAl算法镜像仓库神经网络模型分片镜像模型分片1模型分片2模型分片3模型分片N监控画面rm+1~k模型分片镜像加载计算任务计算结果云平台图13模型动态加载与计算性伸缩管理以及应用的注册、发现、编排、发通过将Al算法模型、应用动态加载到终端与平台，让Al计算资源管控对应第22页软件定义摄像机关键技术白皮书4.6高画质图像采编及处理4.6.1超清采编技术摄像机的画质已经逐渐从720P/1080P向4K/8K推进，从H.264、H.265图像采集图像采集像处理能力，一定程度降低天气(雨、雾、霾等)、光线(白天、夜晚、背光、对光等)环境因素的影响，确保图像清晰效果；●视频编码技术：采用更高分辨率的视频编码技术(如H.266),面软件定义摄像机关键技术白皮书4.6.2ROl图像优化通过预设或Al识别关键区域，实现前景、后景、重点关注区域的区分，采输入视频前处理视频编码输出视频图15AlROl图像处理第24页软件定义摄像机关键技术白皮书4.7安全可信的体系架构智能摄像机的数据涉及用户隐私，同时也可能导致密谋犯罪、机密数据外泄等问题，智能摄像机的安全体系涉及数据存储、应用运行、系统保护、硬件防护及传输安全，重点关注数据隐私、保护及传输安全：防火墙复数据安全应用安全系统安全硬件安全●数据隐私：摄像机连续记录着视频数据，联邦学习、数据加密与数据保护等技术可以确保人脸、人体特征等所有个人数据在被各种应用使用前经过脱敏处理●数据保护：应用的访问控制、数据流控制、推理控制等技术可以提供隐式可信功能，保证所有数据的获取和修改都符合权限规定，避免数据被窃听、篡改等；第25页软件定义摄像机关键技术白皮书像传感器、本地存储、本地网关到云存储节点，需4.7.1Al数据的隐私及隔离软件定义摄像机提供隐私数据的安全隔离机制，其中的REE/TEE双系统机制，可以保证部分应用依赖的隐私数据(比如黑白名单)的明文仅在TEE中存文件等)进行备份与恢复处理；APP软件包的