大数据在视频监控存储的应用与挑战

大数据在视频监控存储的应用与挑战 作为云时代海量数据的来源之一，安防视频监控行业随着智慧城市和智能 交通的快速发展、移动互联设备的快速激增，产生了海量的非结构化视音频数 据，带动了大数据的存储、管理、分析等应用。面向云时代，业界同仁一拥而 上、热血沸腾，无论是 IT 供应商、存储厂商、还是解决方案提供商都不甘落后， 雨后春笋般的纷纷提出基于计算、存储、网络等多层次虚拟化的数据中心解决 方案，投入大量资源，推出云存储、云计算等系统产品。 面对大数据，视频监控行业面临哪些难题？我们如何应用云计算、大数据 相关技术来获取数据背后隐含的信息？未来的挑战和前景如何？我将从以上几 方面发表个人观点，意在抛砖引玉、引发业界同仁在产业发展的进一步思考和 讨论。 一、视频监控存储及智能分析系统中的难题一、视频监控存储及智能分析系统中的难题 根据 IDC 预测，全球在 2010 年已正式进入 ZB 时代，全球数据量大约每两 年翻一番，意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。 爆炸式增长的数据，正推动人类进入大数据的时代。 大数据包括社交媒体、移动设备、科学计算和城市中部署的各类传感器信 息，其中视频是构成数据体量最大的组成部分。据 IMS Research 统计，2011 年全球摄像头的出货量达到 2646 万台，预计到 2015 年摄像头出货量达 5454 万 台。一天产生的视频监控数据超过 1500PB，而累计历史数据将更为庞大，在视 频监控大联网、高清化推动下，视频监控业务将面临海量非结构化数据存储、 数据共享、数据安全及数据利用四大难题。 （一）海量非结构化数据存储 安防行业的大数据目前主要来源于智慧城市和智能交通等大型安防项目。 例如，2011 年全球两天的数据就高达 1.8ZB，相当于文明起始到 21 世纪初全部 的数据总和；2013 年中国某一线城市一个季度产生的数据总量也在 200PB。当 前，智慧城市建设已成为地方政府推进城镇化发展的重要途径，而随着智慧城 市的发展，对高清摄像机和智能化监控设备的需求会持续增长，智能交通行业 将成为十二五政府投资的重点领域，这将使未来几年视频监控行业仍保持高景 气度。此外随着智能家居、民用安防的普及，更多的用户会通过移动设备监看 视频，于此同时会有更多的移动互联数据产生。2012 年全国就拥有 3.88 亿移 动互联网用户，预计 2015 年互联设备将达到 150 亿，2020 年互联设备将达到 2000 亿。数据 10 倍速的增长，在带来巨大机遇的同时，也带来了很大的挑战。 按照 IT 产业的法则：在满足客户需求的前提之下，往往技术成本越低，其 生命力往往越强。由于数据量的急速扩大，以及随之而来的大规模计算的需求 越来越多，一味采用高配硬件，使得硬件投资成为客户不可承受之重。如何在 满足需求的前提下，删除重复数据、降低硬件成本投资将成为海量非结构化数 据存储的一个难题。 （二）数据共享 大数据需要通过快速的采集、发现和分析，从大量化、多类别的数据中提 取价值。安防大数据时代最显著的特征就是海量和非结构化数据共享，用以提 高数据处理能力。比如天网工程和智能交通就是最具代表性的案例，天网工程 一般分为省市县乡镇等多级架构，智能交通图像也分布在前端卡口、区节点、 市省国家级中心中，海量数据存储在不同节点、不同设备中，这给传统的数据 管理和使用机制带来了极大的挑战。 与科学计算、互联网相比，视频监控的大数据处理难度尤大，首先，视频 录像是更原始的非文本非结构化的数据，必须经过复杂繁重的分析处理才能提 取出文本结构化的数据进行下一步处理；其次视频录像相对其它形式数据的容 量要大几个数量级，对传输、存储和计算的带宽要求大。因此我们说数据高效 共享是第二大难题。 （三）数据安全 平安城市、智慧城市的建设促使安防云存储技术的应用，智慧城市一大要 求就是将视频存储数据相互之间进行联动、共享，例如在犯罪追踪时，公安、 交通、民用行业等多范围的存储数据能够共享，而这种共享具备了云存储的特 性；传统的存储技术无法满足社会发展需求，云存储的在安防领域的应用成为 必然。 安防视频监控数据具有私密性高、保密性强的特点，不仅是事后追查的依 据、而且更是后续数据分析挖掘的基础。因此我们说数据安全一方面是指不受 到外界数据的入侵和非法获取、另一方面是指庞大系统的鲁棒性、体系容错机 制，确保硬件软件发生故障时，数据仍然可以恢复、得以保存。面对海量数据 的存储、共享，硬件和软件设备承载了极大的风险，因此我们如何构建大型、 海量视频监控存储系统、数据分析系统以及容错冗余机制是第三大难题。 （四）数据利用 摄像头 7X24 小时工作，如实记录镜头覆盖范围的发生的一切，仅仅记录信 息是不够的，因为对于客户来讲可能大部分信息是无效。数据的有效性分为两 个方面，一方面有效信息可能只分布在一个较短的时间段内，按照数学统计的 说法，信息是呈现幂律分布的，也称为信息的密度，往往越高密度的信息对客 户价值越大；另一方面是指深层次挖掘庞大的海量数据，关联得出有效信息。 视频监控业务网络化、大联网后，网络内的设备越来越多，利用闲置的计 算资源，实现资源的最大化利用，关乎运算的效率。在视频监控领域，往往视 频分析的效率决定价值，更低的延迟、更准确的分析往往是平安城市这类客户 的普遍需求。随着数据量的增加，哪怕对 TB 级别的数据进行对视频内容的数据 分析和检索，采用串行计算的模式都可能需要花费数小时的计算，已远远不能 胜任时效性的需求。视频的分析和检索，不能依赖于传统的手段，巨量数据的 效率优化，并行计算也许是解决问题的办法。 二、云计算及大数据给视频监控带来的变化二、云计算及大数据给视频监控带来的变化 大数据概念最早出现在 20 世纪 60 年代初，随着互联网的快速建设和信息 技术的迅猛发展，到 20 世纪 90 年代中后期，数据中心的建设规模和服务器数 量每年都以惊人的速度增长。随着信息中心、服务中心、数据中心等各类业务 应用及数据量的不断增长，数据仓库、数据挖掘、联机分析等技术发展，数据 存储容量的需求也成正比的增长。 天地伟业认为云计算、云存储和大数据将对视频监控行业带来存储架构、 虚拟化、安全和高效处理四个方面的变化。 （一）大数据呈现出的典型特征是 4 个 V：规模（volume）、速度 （velocity）、类型多（variety）、价值密度低（veracity）。大数据的特征 对存储容量的总体拥有量需求激增，海量存储模式也从传统的集中存储式架构 发展到分布式存储架构，这种分布式架构，在多副本、网络 RAID 技术、快照技 术驱动下，实现海量存储的高可靠、大并发能力，推进了存储从设备供应模式 到服务模式的升级和转变。 （二）虚拟化技术在存储服务能力建设上将继续不断发展，升级模式从 SCALE-UP 向 SCALE-OUT 模式发展，为无处不在的存储资源的调度与管理、存储 资源的在线扩容升级、数据持续保护、存储服务不间断等实现有力的支撑。虚 拟化，一方面大大简化应用环节，节省客户建设成本，同时提供更强的存储和 共享功能；另一方面解决了存储空间的浪费，可以自动重新分配数据，提高了 存储空间的利用率，同时具备负载均衡、故障冗余功能。 （三）安全方面实时计算和存储，对存储设备性能、存储网络性能、存储 资源配置简化性要求越来越高。在复杂的存储服务中，基于虚拟化所构建的混 合存储系统，系统的自动分层存储能力尤为重要。伴随闪存的成本不断降低的 市场，市场上也有基于全闪存阵列产品的出现，基于虚拟化下的存储资源自动 化分层，实现数据分层存储，并迁移的策略，对大数据实时性、安全性更加不 可或缺。 （四）面对结构化数据、非结构化数据、半结构化等元数据的处理机制， 云存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看 到的是单一存储空间，提高了存储效率；云存储能够实现规模效应和弹性扩展， 降低运营成本，避免资源浪费。受限于安防视频监控自身业务的特点，监控云 存储和现有互联网云计算模型会有区别，如安防用户倾向于视频信息存储在本 地、政府视频监控应用比较敏感、视频信息的隐私问题、视频监控对网络带宽 消耗较大等问题。海量数据存储的检索、目录服务、去重化都将在以大数据牵 动的存储应用中，给存储产业带来新的发展机遇。 三、应用及推广过程中的挑战三、应用及推广过程中的挑战 云计算和大数据在应用和推广过程中仍然会面临一系列技术难关的攻克和 体系的建立。比如视频监控行业中最为关注的： （一）视频浓缩检索技术，主要是利用图像处理（包括视频浓缩、摘要、 复原等）、模式识别、海量数据分类存储以及搜索等技术，对海量的存储录像 等原始信息进行分析和挖掘，对于目标特征、目标行为、目标间关联关系这三 大类信息内容，形成各种分类的特征信息库、元数据和索引等，并提供统一接 口供外部应用进行搜索，以期通过有限的线索，达到案件快速关联和定位。 （二）视频图像信息库建设，目前应用比较广泛的是卡口和电警的应用。 由于车牌识别技术的日趋成熟，通过车牌、车牌颜色、车身、车身颜色、车辆 类型等特征识别，把车辆图片、车辆信息、车主信息、盗抢车辆库等结合起来， 可以有效的进行车辆的查找、布控和案件线索搜索。 （三）海量数据的处理、分析、检索和视频智能分析技术，把海量的视频 数据进行浓缩、提取特征摘要、减少了存储空间。如 1 小时的视频录像，通过 特征值方式的视频浓缩，可以把录像压缩到 10 分钟左右。同时，视频图像信息 库有别于传统的关系数据库模型，针对结构化，半结构化和非结构化数据，通 过数据的多个副本分布式保存方式，可以有效节约存储空间，关键数据的二次 备份，使系统架构更加稳定和可扩展，并且提供安全的负载均衡和容错机制。 四、前景展望四、前景展望 云计算和大数据应用未来势必对安防行业有深刻的改变和影响。尤其在智 慧城市行业和交通行业。交通方面海量数据处理需求，智能交通管理系统可以 在海量数据、恶劣网络环境和复杂业务处理情况下，实现大量图片、车辆数据、 视频数据的时时网络传输和快速持久化存储，同时对任意站点的图像进行显示， 对任意站点的视频进行流畅播放、实时进行比对报警，快速进行多条件检索， 并且将各类多媒体数据和车辆数据合二为一。系统实现对目前的城市道路交通 中异常行为的智能识别和自动报警等，从而减轻了交管监控人员的工作负担， 提高了监测的准确度，使得交通管理工作更高效。实时交通状况分析可通过视 频实时分析道路交通流量，然后综合分析统计出全城市的交通状况；套牌车可 通过视频进行车牌识别，按照一定的规则（如最近时间内一定距离以外）在全 城市中检索相同车牌的汽车。 智慧城市方面公安部门可以利用相关技术进行犯罪嫌疑人追查，可通过输 入嫌疑人照片进行人脸特征识别并在所有视频中寻找该人脸；犯罪嫌疑车辆追 查可输入嫌疑车的照片或颜色车