物联网视频感知中国

物 联网物联网物联网 物联网物联网物联网物联网 物联网 视频感知中国视频感知中国视频感知中国视频感知中国视频感知中国视频感知中国视频感知中国视频感知中国中 星微物联网应用事业部中星微物联网应用事业部中星微物联网应用事业部中星微物联网应用事业部中星微物联网应用事业部中星微物联网应用事业部中星微物联网应用事业部中星微物联网应用事业部目 录目录目录 目录物 联网视频感知中国物联网视频感知中国视 频感知是感知中国的典型应用视频感知是感知中国的典型应用中 星微在视频感知方面的工作中星微在视频感知方面的工作物 联网的推进需要多方共同努力物联网的推进需要多方共同努力中 国的物联网 感 知中国各 国根据自身国情各国根据自身国情各国根据自身国情各国根据自身国情、社会 社会社会 社会经济发展水平的不同经济发展水平的不同经济发展水平的不同经济发展水平的不同，选择物联网建设的切入点也择物联网建设的切入点也择物联网建设的切入点也择物联网建设的切入点也不尽相同不尽相同不尽相同 不尽相同物 联网建设的切入点感 知中国的本质特征全 面感知全面感知 可 靠传输可靠传输 智 能处理智能处理感 知感知感知 感知 传输传输传输 传输 智能智能智能 智能人 的综合感知能力图人的综合感知能力图人的综合感知能力图人的综合感知能力图物 联网的感知对 物体静态数据及属性的感知对物体静态数据及属性的感知对物体静态数据及属性的感知对物体静态数据及属性的感知RFID、红外感应器、激光扫描、二维码等对 物体固定属性的动态感知对物体固定属性的动态感知对物体固定属性的动态感知对物体固定属性的动态感知传 感器网 GPS等对 环境模糊信息的感知对环境模糊信息的感知对环境模糊信息的感知对环境模糊信息的感知视 频探头等RFID、无线传感网 无线传感网无线传感网 无线传感网、视频探测三者均属于应用于物联网的末端感知环节 视频探测三者均属于应用于物联网的末端感知环节视频探测三者均属于应用于物联网的末端感知环节视频探测三者均属于应用于物联网的末端感知环节，且具有 且具有且具有 且具有很强的协作性和互补性很强的协作性和互补性很强的协作性和互补性很强的协作性和互补性，而这种协作性和互补性将不仅实现更为透彻的感知 而这种协作性和互补性将不仅实现更为透彻的感知而这种协作性和互补性将不仅实现更为透彻的感知而这种协作性和互补性将不仅实现更为透彻的感知，而且将极大提高更加准确的信息感知且将极大提高更加准确的信息感知且将极大提高更加准确的信息感知且将极大提高更加准确的信息感知 综 合感知综合感知综合感知 综合感知信息论认为信息论认为信息论认为信息论认为普通视频中蕴藏着 70的现场信息而其中 40的信息是趋势性 、经验性的信息 ，需要智能处理才能提取出有效的信息特种视频如多光谱视频中可感知更多人眼感知不到的信息 ；世博园区的多光谱应用对园区的感知能力极大提高视频的不接触检测和面检测的特点circle6 综合感知 视频感知极具重要性视频感知极具重要性视频感知极具重要性视频感知极具重要性智能处理的本质智能处理的本质智能处理的本质智能处理的本质 ：对感知来的信息处理与挖掘 对感知来的信息处理与挖掘对感知来的信息处理与挖掘对感知来的信息处理与挖掘 数据层的融合与挖掘 、 状态层的融合与挖掘 、特征层的融合与挖掘智能化的结构智能化的结构智能化的结构智能化的结构 ：分布式智能和集中式智能的均衡 分布式智能和集中式智能的均衡分布式智能和集中式智能的均衡分布式智能和集中式智能的均衡 前端智能化 Smat Edge）实现物物的互动 集中智能实现全局性物物族的互动视频智能分析技术视频智能分析技术视频智能分析技术视频智能分析技术 ：基于特征层信息融合与挖掘 基于特征层信息融合与挖掘基于特征层信息融合与挖掘基于特征层信息融合与挖掘 视频包含趋势性 、经验性 、模糊性的信息物联网之智能视频分析技术是支撑智能应用的有利武器可作为 Smat Edge,也可以为中心智能系统提供信息 。 视频智能潜力巨大视频智能潜力巨大视频智能潜力巨大视频智能潜力巨大信 元对信道的要求信元对信道的要求信元对信道的要求信元对信道的要求满足信息相关性、损耗率、实时性要求感知的多样性感知的多样性感知的多样性感知的多样性传输是多技术协作，是泛在网络视 频对传输的要求是最高的视频对传输的要求是最高的视频对传输的要求是最高的视频对传输的要求是最高的物 联网之传输泛在网络泛 在网络泛在网络泛在网络 泛在网络：多技术协作，低速的数据网、中高速接入网、高速的传输网物联网的传输物联网的传输物联网的传输物联网的传输 必须要考虑视频的传输问题必须要考虑视频的传输问题必须要考虑视频的传输问题必须要考虑视频的传输问题目录目录目录目录物联网 视频感知中国物联网 视频感知中国视频感知是感知中国的典型应用视频感知是感知中国的典型应用中星微在视频感知方面的工作中星微在视频感知方面的工作物联网的推进需要多方共同努力物联网的推进需要多方共同努力视 频感知点带宽要求视频感知点带宽要求视频感知点带宽要求视频感知点带宽要求满足汇集桥接网关满足汇集桥接网关满足汇集桥接网关满足汇集桥接网关视频感知点带宽要求视频感知点带宽要求视频感知点带宽要求视频感知点带宽要求满足汇集桥接网关满足汇集桥接网关满足汇集桥接网关满足汇集桥接网关视频感知的信息量大视频感知的信息量大视频感知的信息量大视频感知的信息量大且感知信息量具有成长性且感知信息量具有成长性且感知信息量具有成长性且感知信息量具有成长性视频感知的信息量大视频感知的信息量大视频感知的信息量大视频感知的信息量大且感知信息量具有成长性且感知信息量具有成长性且感知信息量具有成长性且感知信息量具有成长性视频感知点能力视频感知点能力视频感知点能力视频感知点能力满足满足满足 满足SmatSmat Edge载体要求载体要求载体要求 载体要求视频感知点能力视频感知点能力视频感知点能力视频感知点能力满足满足满足 满足 载体要求载体要求载体要求 载体要求作 为视频综合信息传感器作为视频综合信息传感器作为视频综合信息传感器作为视频综合信息传感器， ， ，随着视频分析技术 随着视频分析技术随着视频分析技术随着视频分析技术的不断发展的不断发展的不断发展 的不断发展， ， ，可挖掘出的信息会越来越多 可挖掘出的信息会越来越多可挖掘出的信息会越来越多可挖掘出的信息会越来越多， ， ，也 也也 也即在不改变硬件的基础上即在不改变硬件的基础上即在不改变硬件的基础上即在不改变硬件的基础上， ， ，业务具有成长性 业务具有成长性业务具有成长性业务具有成长性视频处理对硬件资源要求高视频处理对硬件资源要求高视频处理对硬件资源要求高视频处理对硬件资源要求高， ， ，因此视频感知点 因此视频感知点因此视频感知点因此视频感知点可以作为信息汇聚网关可以作为信息汇聚网关可以作为信息汇聚网关可以作为信息汇聚网关， ， ，接入其它信息 接入其它信息接入其它信息接入其它信息， ， ，并通 并通并通 并通过信息融合实现前端智能化过信息融合实现前端智能化过信息融合实现前端智能化过信息融合实现前端智能化。 。 。视频的信息量最大视频的信息量最大视频的信息量最大视频的信息量最大， ， ，满足视频传输要求 满足视频传输要求满足视频传输要求满足视频传输要求， ， ，基本 基本基本 基本可满足数据传输要求可满足数据传输要求可满足数据传输要求可满足数据传输要求。 。 。可作为低速数据网汇聚 可作为低速数据网汇聚可作为低速数据网汇聚可作为低速数据网汇聚接入高速互联网的桥接接入高速互联网的桥接接入高速互联网的桥接接入高速互联网的桥接。 。 。Scalar sensorSmat EdgeGateway应 用的便利应用的便利应用的便利 应用的便利应用的便利应用的便利应用的便利 应用的便利Application单向不接触检测单向不接触检测单向不接触检测单向不接触检测， ， ，商业模型简单 商业模型简单商业模型简单商业模型简单。 。 。视频感知具有物联网的特征视 频感知是国外物联网的典型应用车 队及物流管理车队及物流管理车队及物流管理车队及物流管理：视频应用于车辆上提供安全保障和防疲劳应用智慧医疗智慧医疗智慧医疗 智慧医疗：远程专家诊断、远程医疗培训智能电网智能电网智能电网 智能电网：输电线路远程视频监控系统；抢修视频采集和调度指挥智慧城市智慧城市智慧城市 智慧城市 城市视频安全监管等I Japan中的中的 ITS 道路视频检测、车辆视频监控等google earth中街景中街景中街景 中街景：全景视频展示世界各地的街景视频感知在国内的业态最为成熟应用很成熟闭环的行业应用 ：公共安全 、金融 、电力 、学校 、城市管理等等开环的个人应用 ：宝宝在线 、老人看护等等产业链很成熟厂商与运营商运营商已经成为服务主体 ：中国电信的 “全球眼 ”、联通的 “神眼 ”等 视频感知在城市管理的应用视频感知在城市管理的应用视频感知在城市管理的应用视频感知在城市管理的应用 ： ：数字城管 数字城管数字城管数字城管 、 、交通监测 交通监测交通监测交通监测 、 、治安反恐 治安反恐治安反恐治安反恐 、 、虚拟防控等 虚拟防控等虚拟防控等虚拟防控等 视频感知在视频感知在视频感知在视频感知在 ITS上的应用上的应用上的应用上的应用 ： ：交通违章监测 交通违章监测交通违章监测交通违章监测 、 、停车场管理 停车场管理停车场管理停车场管理 、 、 视频感知在世博会的应用视频感知在世博会的应用视频感知在世博会的应用视频感知在世博会的应用 ： ：多光谱视频探头对整个园区的扫描感知多种信息 多光谱视频探头对整个园区的扫描感知多种信息多光谱视频探头对整个园区的扫描感知多种信息多光谱视频探头对整个园区的扫描感知多种信息 ； ； 视频感知在商业上的应用视频感知在商业上的应用视频感知在商业上的应用视频感知在商业上的应用 ： ：客流统计 客流统计客流统计客流统计 、 、入店率统计 入店率统计入店率统计入店率统计 、 、提袋率统计 提袋率统计提袋率统计提袋率统计 视频感知在金融上的应用视频感知在金融上的应用视频感知在金融上的应用视频感知在金融上的应用 ： ：实现卡与人的对应 实现卡与人的对应实现卡与人的对应实现卡与人的对应 ； ； 视频感知在城市居民生活上应用视频感知在城市居民生活上应用视频感知在城市居民生活上应用视频感知在城市居民生活上应用 ： ：宝宝在线 宝宝在线宝宝在线宝宝在线 、 、老人看护 老人看护老人看护老人看护 、 、家庭安防等等 家庭安防等等家庭安防等等家庭安防等等 ； ； 。智能化不够 ：还是简单采 传存，智能化程度低从视频监控到视频感知还有距离互联互通问题 ：很难互联互通 ；还有编码标准问题孤立的感应点 ：基本与其它类型信息的采集器不通讯视频的无线接入问题目录目录目录目录物联网 视频感知物联网 视频感知视频感知是感知中国的典型应用视频感知是感知中国的典型应用中星微在视频感知方面的工作中星微在视频感知方面的工作物联网的推进需要多方共同努力物联网的推进需要多方共同努力基 础技术：视频技术研究及标准工作视 音频编码视音频编码视音频编码视音频编码标准及芯片标准及芯片标准及芯片标准及芯片中 高速传感网中高速传感网中高速传感网中高速传感网核心芯片核心芯片核心芯片 核心芯片智 能视频智能视频智能视频 智能视频算法技术算法技术算法技术 算法技术运 营级运营级运营级 运营级服务平台服务平台服务平台 服务平台circle6 感 知感知感知 感知 视音频信息编码格式 视音频信息编码格式视音频信息编码格式视音频信息编码格式 标 准及芯片标准及芯片标准及芯片标准及芯片中 文：安全防范监控数字视音频编解码技术标准：英文 Technical Specification of Surveillance Video and Audio Coding（ 简称 SVAC）主管部门公安部科技信息化局 、 工业和信息化部科技司标准工作组组长单位公安部第一研究所、北京中星微电子有限公司 北京中星微电子有限公司SVAC标准的目的是建立符合安全防范监控需要的、拥有 国 内自主知识产权的 、专业的视音频编解码标准和技术体系，提高报警监控系统间的互联 互通、互操作及信息的安全、有效和综合利用。 填 补国内外安防监控音视频编解码标准的空白！此 标准目前已进入报批阶段。该 标准对物联网视频感知技术的关键之处针 对视频监控物联网特点，规范视音频信息编码格式；支持其他传感器报警信息，实现监控综合信息的统一格式规范便于互联互通和大规模组网，且保证信息的安全性、完整性和非否认性SVAC产业化芯 片的产业化：支持 SVAC标准的数字多媒体处理器 SoC芯片产业化设备的产业化：以此芯片为核心核心设备 IP Cam DVR和 DVS原型机开发QP=50QP=24感 兴趣区域感兴趣区域感兴趣区域感兴趣区域（ （ （ROIROI） ）变质量编码 变质量编码变质量编码变质量编码： ： ：高精度视频数据高精度视频数据高精度视频数据高精度视频数据支 持 ROI部分比非 ROI部分采用更高码率（采用更小的 QP，图像质量更好），智能的适应网络条件；视频压缩编码支持高精度视频数据，可以保证视频编解码环节尽量少的损失图像信息，保证存储的视频数据尽可能真实、完整的保留拍摄场景的信息和图像细节。circle6 标 准以标准以标准以 标准以 “忠 实于场景的高保真视音频编码忠实于场景的高保真视音频编码忠实于场景的高保真视音频编码忠实于场景的高保真视音频编码 ”为 核心技术思想为核心技术思想为核心技术思想为核心技术思想图 像结构化存储图像结构化存储图像结构化存储图像结构化存储可 伸缩视频编码可伸缩视频编码可伸缩视频编码可伸缩视频编码（ （ （SVCSVC） ）通 过对视频数据的分层次压缩，一个编码器可以输出不同分辨率 /帧率 /质量的多个编码视频流。特殊监控事件类型及参数通过专门语法与视音频压缩数据一起传输和存储，便于检索查询，对于大规模监控网络和数据库更为重要。SVAC vs. H.264 (tractor1080p_B)3234363840420 5000 10000 15000 20000 25000 30000 35000 40000bitrate (kbps)P SN R_ Y (d B)svac_rdo onH264_rdo onSVAC vs. H.264 (nightD1_B)293133353739410 1000 2000 3000 4000 5000 6000bitrate (kbps)P SN R_ Y (d B)svac_rdo onH264_rdo on技术性能的主客观测试技术性能的主客观测试技术性能的主客观测试技术性能的主客观测试 ： ：SVAC标准与标准与标准与标准与 H.264同档次编解码器的性能相当同档次编解码器的性能相当同档次编解码器的性能相当同档次编解码器的性能相当 ； ；在某些监控应用场景在某些监控应用场景在某些监控应用场景在某些监控应用场景 ， ，SVACSVAC性能还有一定的优势性能还有一定的优势性能还有一定的优势性能还有一定的优势 ； ；circle6 智 能智能智能 智能 视频分析技术 视频分析技术视频分析技术视频分析技术人 脸人脸人脸 人脸车 牌车牌车牌 车牌车 辆车辆车辆 车辆烟 火烟火烟火 烟火拥 堵拥堵拥堵 拥堵聚 集聚集聚集 聚集斗 殴斗殴斗殴 斗殴疲 劳疲劳疲劳 疲劳在 岗在岗在岗 在岗交 通交通交通 交通事件事件事件 事件 表 情表情表情 表情徘 徊徘徊徘徊 徘徊人 数人数人数 人数越 线越线越线 越线入 侵入侵入侵 入侵 压 线压线压线 压线徘 徊徘徊徘徊 徘徊移 走移走移走 移走逆 行逆行逆行 逆行遗 留遗留遗留 遗留越 界越界越界 越界蹬 踏蹬踏蹬踏 蹬踏尾 随尾随尾随 尾随变 道变道变道 变道调 头调头调头 调头circle6 传 输传输传输 传输 中高速传感器网络核心芯片 中高速传感器网络核心芯片中高速传感器网络核心芯片中高速传感器网络核心芯片无线传感网的代表是 Zigbee、 6LoWPAN、 RFID等技术。这一类低速传感网技术非常适合将数据量较少的采集点以自组网的方式连接起来 在众多领域里找到了应用。但是视频的传输对传感网提出了新的要求。低速传感网不能提供传输视音频信号所需要的带宽 。中 高速传感器网络核心芯片，是基于 Wi-Fi技术和 802.11s协议开发高速传感网芯片。非常适合于高速传感网，又兼容成熟的 WiFi接入技术和现有的 WiFi设备。这个技术方案是以 Wi-Fi、 Zigbee、 6LoWPAN RFID等多种现有的技术接入节点，再将众多节点以 802.11s/Wi-Fi技术组成高速 Mesh网络 。监控摄像头PLC设备MPMAPMPPMPMPPMAPWIFI设备 有线主干网有线主干网802.11a/b/g/n/sZigbee设备MP3G网络3G网络该 标准对物联网传输技术的意义中 高速传感网通过各种通讯协议将不同的终端接入节点，在通过网状网 在通过网状网方式在许多节点组成中高速传感网，并支持连接其他有线和无线网络的路由。实现低功耗，路由器应当可以用太阳能带动。中 高速传感器网络核心芯片产业化支 持高清宽动态范围视音频编解码处理的超高速传感网芯片支持标清视音频编解码处理的高速传感网芯片中速传感网芯片农户 C农户 A 农户 B农户 B的猪圈农户 C的土地农户 A的鱼塘circle6 中高速传感网的感知应用中高速传感网的感知应用中高速传感网的感知应用中高速传感网的感知应用 ： ：建成 Mesh传感网络 ，可以使整个村落联网 ，使每个农户可以在自己家中的电视或计算机上掌握自己的土地 、鱼塘猪圈等各种生产设施的情况智能乡村智能乡村智能乡村智能乡村小区 Mesh网电力高速主干网网络管理器网络管理器网络管理器网络管理器UCM数据采集器数据采集器数据采集器数据采集器UCMUCMUCMUCMS TEM M M M MMUCM:通用通讯模块TE：终端元件M：电表S：监控头智能电网智能电网智能电网智能电网支持多种接入技术的高速无线传感网产品为电力系统的配电和用电环节提供了最适宜的终端技术解决方案中 高速传感网技术的主要应用环 境检测：太湖蓝藻 智能电网 ； Mesh宽带接入城域网 ；校园网络、医院、旅游休闲场所等感知边疆 ；产 业化应用实践中 星微电子通过收购上海贝尔的监控业务 完成了对视频监控完整自主知识产权的技术体系（ 核 心芯片 视频智能技术、产品产品、运营级系统平台 运营级系统平台 的 建立；具备了视频感知系统提供能力；目前，已经在全国为电信运营商提供了 80多 个 视频感知系统平台实际部署实际部署实际部署实际部署 65个个个 个 应用系统应用系统应用系统应用系统 ,总容量超过总容量超过总容量超过总容量超过 22万线万线万线万线 ； ；用户包括用户包括用户包括用户包括 ： ：平安城市 平安城市平安城市平安城市 、 、环保监控 环保监控环保监控环保监控 、 、道路工程管理 道路工程管理道路工程管理道路工程管理 、 、石油行业 石油行业石油行业石油行业 、 、银行 银行银行银行监控监控监控监控 、 、政府机关 政府机关政府机关政府机关 、 、网吧学校及娱乐场所等文化单位 网吧学校及娱乐场所等文化单位网吧学校及娱乐场所等文化单位网吧学校及娱乐场所等文化单位 ； ；VISS平台神眼平台获得中国移动获得中国移动获得中国移动获得中国移动 G3业务创新大赛业务创新大赛业务创新大赛业务创新大赛 ， ， 唯一特等奖唯一特等奖唯一特等奖唯一特等奖 ； ；基于基于基于基于 TD技术技术技术技术 的视频感知应用的视频感知应用的视频感知应用的视频感知应用 ； ；视通3G eye行业应用平 台实际部署实际部署实际部署实际部署 20个个个 个 应用系统应用系统应用系统应用系统 ,用户数超过用户数超过用户数超过用户数超过 6万线万线万线万线 ； ；用户包括用户包括用户包括用户包括 ： ：星级酒店 星级酒店星级酒店星级酒店 、 、连锁商铺 连锁商铺连锁商铺连锁商铺 、 、个人用户等 个人用户等个人用户等个人用户等 ； ；商业应用平 台3G 应用平 台circle6 VISS 行业监控应用行业监控应用行业监控应用行业