云存储技术在视频监控中的发展与应用_图文

1、 云存储技术在视频监控中的发展与应用 文/张庆华浙江大华技术股份有限公司 一、云存储是一种提供大规模的数据存储和分布式计算的业务应用架构体系云存储即通过基于云的数据存储部署模式,应用分布式的计算方法,将网络中大量各种不同类型的数据存储设备通过应用软件集合起来,有效合理地进行资源和数据的统一计算和数据处理。而终端用户通过远程或类似虚拟接入桌面的软件应用和程序接口方式集中访问云存储的数据资源和业务系统,从而实现大规模数据存储和接入环境下高效快速的资源分析和数据处理。其核心技术在于云计算技术的应用,单台存储设备无论在容量上还是性能上都会遭遇到瓶颈,利用分布式的网络系统,使得庞大的数据存储设备和软硬件

2、服务资源可以通过网络的方式协同工作和计算,围绕云存储数据存储和管理的核心应用,提供数据资源和业务系统的应用服务。云存储的关键业务是如何面对海量数据的存储和管理。其中虚拟化和存储池技术摆脱了传统设备形态的容量利用、扩展和管理,简化存储以及容量的应用方式,存储设备都能够通过标准的、虚拟化的接入方式即可完成容量扩展,从而实现低成本的容量接入。对使用者而言,使用虚拟化桌面等方式接入就能完成数据的访问和管理,各种形态存储设备组成的巨大存储容量在用户端看来仅仅是单一的一个存储池。 二、存储与视频监控技术的发展存在密不可分的联系到目前为止,安防行业历经多个视频存储阶段的发展过程,监控系统的模拟化、数字化、网

3、络化三个阶段都分别出现了不同形态的监控数据存储系统。从早先的VCR到DVR、混合DVR,到NVR和SAN存储网络,尤其是在现阶段,大规模高清和网络化视频监控系统的部署,要求呈现更高品质的视频图像以及精准的智能数据分析和挖掘。在监控视频上,从原先的“看得见”到现在的“看得清、看得远、看明白”,从人工的图像监控和数据分析到使用智能分析技术转向智能化的实时视频分析和智能监控,通过对海量视频监控数据的计算和处理,已经能够实现高清视频画质的细节分析,智能挖掘出类似特征和行为的数据,为事件决策和业务分析提供精准的数据依据。由于越来越多的监控应用趋向视频图像的高清显示、海量的数据存储、多元信息融合、信息智能

4、挖掘、大规模数据的智能分析及决策、云计算等多种先进技术,尤其在平安城市、智慧城市以及跨地域的大规模行业应用当中,对于这些行业中海量高清视频数据存储系统的需求,意味着数据存储能力和计算性能的大幅度提升,要求存储产品具备高性能、高容量、高可靠性以及可扩展性,同时实现与监控系统应用的深度结合,满足视频监控系统视频数据管理的特殊业务应用。在大规模的高清视频监控系统应用中,首先是满足海量高清的视频数据存储,高清视频数据如720P、1080P、5MP、8MP等高分辨率IPC的接入,大路数并发大码流的实时数据读写,对存储的性能也是很大挑战,在海量高清部署的环境下,充分考虑到整体方案中存储性能的影响,需要云存

5、储具备高容量以及可伸缩的容量扩展能力,单台存储设备通过JBOD方式或集群方式,使用SAS接口、eSATA接口等单机容量扩展技术,级联或外接扩展柜的方式提升单机系统容量,也可以通过虚拟化和存储池技术,把多台形态各异的存储设备虚拟化成单台大容量的虚拟存储设备。其次, 在大规模高清存储部署中,提高磁盘利用效率,降低磁盘空间消耗,通过数据压缩技术、磁盘碎片整理技术、THIN数据精简技术、磁盘坏道避让技术等,在海量数据存储的环境中,降低磁盘故障率,减少磁盘容量空间的浪费,从而可以有效缩减后期维护成本。另外,从整个高清视频监控解决方案上来看,云存储体系并不是存储设备的简单堆积。云存储作为视频数据存储和管理

6、的中心节点,与整体解决方案融合,优化视频数据管理,所有高清视频数据的存储节点都可以作为应用系统的互备节点和管理节点,在海量部署的监控系统中,无疑提高了整个解决方案系统抗灾难能力,保证了系统稳定性和可靠性。三、在核心技术的应用上,云存储加速安防高清化、智能化、网络化发展趋势云存储必须以其高效能的海量数据存储和容量管理为核心应用,与安防应用系统融合,其主要核心技术包括虚拟化技术、数据安全存储和保护技术,智能分布式视频数据筛选、分析和计算等技术。虚拟化技术就是把众多存储设备虚拟化成单一的便于管理的逻辑设备形态,物理磁盘分割成虚拟磁盘,将虚拟磁盘深化采用细粒度管理和虚拟磁盘操作技术,从而获得更高更灵活

7、的管理效率、性能和容量空间,通过虚拟化磁盘分配技术,提高磁盘利用率。存储虚拟化技术很好地解决了当前各种形态设备的存储容量的统一管理和磁盘容量的动态分割,实现存储设备和存储空间的灵活、智能、 自动化管理,云存储中的存储设备数量庞大且基于网络的异地分布。现在的存储设备类型非常丰富,包括传统的存储介质、存储设备如IPSAN、FCSAN、NAS、FCIP等,不同类型和形态设备之间的容量管理、设备管理,对于庞大的存储云来讲都是一个巨大的挑战,所有的存储资源都必须得到有效的管理和利用。采用虚拟化和存储池技术,可以把不同类型的存储设备虚拟化成为存储网络上的一个节点,在逻辑结构上消除异构形态设备的差异,把容量

8、汇聚成一个巨大的虚拟存储池,并可以更容易地进行逻辑容量分割,大幅度提升存储效率,从而能够轻易解决未来数据增长和存储扩容以及庞大数据存储节点的管理。基于云存储的数据安全和保护技术。云存储作为海量数据的数据存储中心,存储资源通过云的方式整合到大存储系统中,更应关注高清视频本身的管理能力,必须具备安全可靠的数据保护机制,允许合法的授权用户进行访问对应的资源,保证任何设备故障或者灾难性的事件都不会导致数据的丢失。云存储中不同的数据存储节点之间互为数据备份和数据恢复机制,实现设备级、设备间和存储容量的冗余备份,现在的数据保护技术在资源管理上有CDN内容分发技术、数据加密保护技术和数据压缩技术,在存储备份

9、和恢复上有P2P、V2P物理机和虚拟机间的近线数据互备、基于CDP本地及远程的连续数据复制技术、重复数据删除技术、快照技术、N+m设备级的冗余技术等,应用多硬件架构消除设备内部的单点部件故障,通过数据安全和保护技术提升云存储的数据存储可靠性和安全性。智能数据筛选和分析技术也是云存储高效容量管理的发展趋势。如何使用分布式的存储节点实现海量数据高效的筛选包括对大规模高清视频的分类、搜索、预览、调度、智能分析处理等,能够快速且灵活地调出预期的高清视频数据,对分片视频数据进行分析和处理,并且重要的关键数据长期保存,非关键数据可选择性的降低保存时间,毫无疑问,采用智能分析技术即可实现对视频数据的智能化分

10、析,提升高清视频数据的管理和处理能力,利用内置或者独立的软件管理平台,从设备资源(包括性能、存储容量、设备部件、视频和图像资源的一体化管理和监管,实现智能、可视化、自动资源调度等全方位管理。通过该技术实现事件的自动分析、预警、计算和处理,兼顾了视频分析的精准度、磁盘管理效率、视频数据搜索以及数据安全,为人为决策输出高度精准的数据分析依据。四、云存储技术推动高清监控行业的产业化进程随着安防视频监控系统网络化和高清化的变化,尤其是平安城市、基于物联网的智慧城市的建设以及各个行业应用的深度挖掘,海量级的城市规模和跨地域的监控系统对存储的容量、扩展性、稳定性、可靠性、管理型都出现更强烈的需求。云存储通

11、过云计算、虚拟化等关键技术能够实现海量级的规模效应和弹性扩展,降低运营成本,避免资源浪费。在存储的容量管理上,更高容量的存储设备可以满足数据快速增长,而PB级的数据存储产品组成的虚拟化存储池,可以组成超大规模的数据存储空间,应对海量级的视频数据存储。海量的视频数据推动了图形图像检索、智能分析技术的发展,单纯靠人工的方式去实现海量数据的监管,无疑是一件高成本低回报的投入,因此,云存储的海量视频数据需要一种具有快速检索视频数据,通过对海量数据的分析和计算,按照期望的预定策略和计算原则,能够利用智能分析算法进行视频数据的分析。同样,智能分析技术也可以跟其他技术相融合,与物联网、报警系统、自动化等 应

12、用系统协同工作,为各种不同应用系统的决策处理提供必要的基础数据和决策依据。五、云存储技术在公安行业的应用总体功能(如图1所示: 市级监控中心,本身不存实时产生的录像,监控中心可以通过系统调取各派出所录像。 市级中心存储的录像,都是有价值的,用于重要案件侦破的录像,需要永久保存。 市级中心,当需要为案件调取各派出所录像时,将通过云系统下发 命令给各派出所,各派出所系统收到命令后,运用云监控统一调度功能,在各自的录像库里搜索市级中心需要的录像,并提取后上传给市级中心。中心获取各派出所录像后,运用云系统的计算能力,将不同地方、不同时间段、含有相同特征的录像片段进行剪辑加工,形成有效的录像剪辑提供给实

13、战部门进行分析。 派出所的云系统,通过元数据服务器的调度,实现负载均衡和N+0设备备份,提高了系统性能和可靠性。通过网络,派出所存储设备与市级中心可以有效通信,接受任务和调度。为实现整体的功能,将根据公司图1图2 现有情况,进行如下建议,分步实现监控云系统。快速实现小型化云监控存储系统,在NVR6000、EVS、ESS、DSS7016D等设备上实现N+0部署,实现派出所级别的云监控系统,统一进行摄像机的录像管理,实现统一的大虚拟存储池。组成虚拟存储池各节点设备具备负载均衡、故障转移与接管、数据冗余备份的功能,保证派出所级别的监控室录像数据安全性与稳定可靠性,抵御录像设备故障导致的数据丢失,并形

14、成灵活的扩容方案,增加前端摄像机以及后端存储容量,系统平滑扩容,无需复杂的冗余配置即可完成,给客户带来很好的用户体验。方案特点(如图2所示: 录像安全性。设备冗余, N+0冗余配置,允许一定数量存储设备故障录像不丢失。 设备虚拟化管理。由元数据服务器进行统一调度,形成虚拟存储池,实现负载均衡,统一接口。 系统扩容简单方便。不管是扩容前端摄像机还是后端存储,均不用对整个系统进行重新配置,平滑添加设备后,系统进行自动扩容,提高系统可用性和安全性。该方案核心技术在于存储设备的冗余备份和负载均衡,所以重点研究的对象是设备虚拟化、统一文件系统、集群等关键技术。该方案突出的是前端视频直存、无服务器,所以公

15、司比较适合的产品是N V R6000、E V S、E S S、DSS7016D等基础性视频接入的硬件设备,需快速地在这些产品上实现虚拟化云存储功能。快速实现软件的集群和云部署对于监控中心一级,在软件平台的部署以及与智能分析、实战业务的结合等,都以云系统技术体现,完全采用平台+IPSAN的方式,以该系统作为整个监控方案的核心,部署在监控中心,可以和实战业务有效结合,突出录像查询的全方位覆盖(所辖派出所的录像均能调取、录像查询的有效性(通过智能处理,实现关键特征录像的快速查询和汇总、视频智能分析功能(利用云计算特征,快速利用各服务器资源,提取特征录像片段、对录像片段进行后期处理,实现浓缩、剪辑,真

16、正的实现系统与实战的对接,给使用者带来前所未有的用户体验(如图3所示。系统的构建基于服务器,实现云监控。从现有技术上,基础设备硬件无需另行开发,因为都是通用的服务器,公司只需研发云技术,并把平台软件、智能分析软件部署在云架构上,实现虚拟化、分布式、网格计算,充分利用云技术,提升系统处理能力、提升系统稳定性;整合小型云系统、智能交通技术,实现监控云布控;最后,把各系统进行整合和对接,加入智能交通的对接,实现全市的治安监控和道路监控的联合,形成无懈可击的安防监控网络。进一步发展,通过云监控平台,智能交通可以根据实时路况、历史路况进行分析,形成有证据支持、有指导意义的交通诱导、交通规划整体方案,提升

17、城市管理水平。该系统不光把公安治安工作的技防技术提升,也为城市交通的规划、管理等难题提供有效帮助。可以预见,作为智慧城市的重要组成部分,我们有理由相信,云监控的发展将成为安防视频监控存储技术发展的一次浪潮。六、云存储技术仍需要不断改进和优化,以满足视频存储的技术需求云存储大解决方案下的视频监控存储设备的兼容性问题。当前视频监控数据存储有基于不同类型产品的解决方案,例如NVR支持前端基于视频流协议的视频直存产品,具有本Industry Buzz 栏目主持：李晶 E-mail：jingnihaoma_0411 市场 热点 地化的数据存储性能，因此，如何将 NVR 和 IPS 在 视 频 存 储 和

18、 管 理 上， 通过一种简化的部署模式，实现视频 数据的分布式和集中式存储的同步机 制，消除异构设备之间的差异性就十 分关键。 云存储的数据和管理安全。云存 储很好解决了存储容量和扩展的问题， 然而，海量数据采用一种基于云端的 大管理体系，所有的数据都在单一的 管理平面，意味着数据面临来自内部 和外部的风险。一旦出现非法入侵和 破坏行为，会对整个云存储体系产生 灾难性的破坏，因此，云存储的部署 必须充分考虑来自内部和外部的可能 会影响到数据安全的行为，在数据遭 受破坏和灾难之前，做好预防措施。 云存储在与视频监控技术结合 上，还需要进一步提升。由于云存储 面临的海量视频数据，而真正有效能 的关键数据非常稀少，因此急需通过 容量管理、视频分析等技术实现关键 视频数据的管理，提高容量利用率， 以及关键视频数据的高可靠性保护。 另外， 云存储的设备是不同形态、 不同性能的设备，无论是在设备的可 靠性和稳定都会存在差异，云存储部 署应充分考虑到设备差异对数据存