云计算与大数据在安防行业中的运用

云计算与大数据在安防行业中的应用（说明：本文中的认识或观点，涉及到他人贡献的均已标注。未予标注出处的即可视为本申请人在学习相关知识后，结合行业相关工作经验所形成的认识。若有问题请联系：）一、 安防行业的发展认识到目前为止，安防行业的发展大致经历了三个发展阶段。第一阶段是单系统阶段，视频监控、报警、门禁等系统各自承担着功能，系统之间各自独立，未能发挥出协同优势。第二阶段为集成阶段，通过中心统一管理平台，将各个安防子系统进行集成，实现系统之间的联防联动。方便了指挥中心的管理和统一指挥。绊线报警等初等智能分析功能开始在系统中应用。第三阶段为智能安防阶段。这也是目前正在发展的阶段。近年来模式识别技术研究取得了较大的进展，视频图像分析技术有了巨大的进步，人脸识别、遗留物分析、异常行为分析、图像侦察等智能视频监控技术开始应用于公安社会安全防范项目中。车辆识别、车牌识别、超速检测、违法行为检测与抓拍等视频智能分析技术开始大量应用于交通管理部门智能交通项目中。安防系统的智能化大大减少了管理部门的劳动强度，极大地提升了安全管理的效果。但目前而言，安防智能化程度还不够，智能识别的精度还未达到期望的程度，未来数年智能技术还将进一步发展并在社会安防系统中普及。除此之外，随着安防系统规模的增加，系统产生了海量的数据，目前并未有有效的系统对这些数据进行处理，导致这些数据目前并未得到有效的挖掘和利用。因此，未来几年，通过云计算和大数据技术来对这些海量数据进行处理和挖掘将成为安全防范行业的必然选择，也是行业内优秀公司的业务发展方向。二、 对云计算技术及公安云平台建设的认识云计算 本定义是参考国外学者、公司、维基百科等对云计算定义后所进行的综合描述。是一种基于互联网的计算方式，它将用于计算的硬件和软件资源封装为服务，按需提供给多个客户使用的技术。数据中心为提供这些服务的硬件及软件系统则是我们所说的“云”。云计算技术使用户不再需要了解“云”中基础设施的细节，只需将精力集中于自己的业务即可。例如，公安云平台使基层的公安组织不需要关注视频智能分析系统的建设和维护，只需在具体的业务中提交嫌疑人视频图片比对请求，即可快速获得云平台返回的相似嫌疑人的照片，身份信息，活动轨迹等结果。由于云平台的载体是数据中心的软硬件系统，因此对于集成商来说，建设云平台就是建设数据中心。数据中心的硬件系统建设主要包括三大系统：计算系统（服务器系统），存储系统，网络系统。这三大系统的软硬件即构成了我们所说的云系统或云平台，其中存储系统也是我们所说的云存储。虚拟化和分布式技术是实现云计算的两条主要技术路线。数据中心建设除了上述三大系统外，还包括其它辅助系统及设施：数据安全保障，数据中心节能，数据中心制冷系统，配电系统，机房装修等。这些都是数据中心系统设计和建设的重要内容。云数据中心的软件系统提供服务响应、数据计算、调配、管理、存储等功能。开发这类软件需要技术实力强大的软件团队才能完在，一般的系统集成公司难以自主开发有竞争力的云数据中心所需的软件系统，可以通过与有实力的软件厂商合进行定制作开发，或直接购买其成熟软件产品，集成商只需要布署和维护这些软件即可。关于云平台的数据安全保障，提供公共云服务的公司（如google、Alibaba、baidu）往往采用的是多数据中心的方法，全部数据均有多个副本保存（常用的是三个），此策略不仅能提高服务质量（更快的访问速度），而且即使某个数据中心受到灾难性的破坏仍能保证数据安全和服务不中断。公安系统云平台建设由于受制于投资及场地限制，以单数据中心为多。除重要数据实现多级保存（如市局、省厅）或单独备份外，绝大多数数据均存放在一个数据中心的存储设备上，当某设备发生硬盘损坏时，由本台设备的安全策略予以恢复，这个安全策略一般通过RAID技术实现。未来公安云平台建设将省级数据中心为主，甚至以公安部牵头，在几年后建设全国统一的云数据中心。三、 对大数据技术及公安大数据系统建设的认识近年来，大数据技术取得了快速的发展。通过对商业大数据的深度挖掘，发现数据中隐藏的价值并加以利用，已帮助许多公司赚取了巨大的商业利益。随着公安部门这些年对安防系统的持续建设，公安视频安全管理系统已具相当规模，产生了海量的视频图像文件。同时，随着公安信息化系统的建设，公安工作也产生了大量的数据，如刑侦数据、治安管理数据、人口数据、违法人员数据、在逃人员数据等等。这些海量数据在目前并未被有效地利用，导致投入巨大资金建成的系统难以最大化发挥其价值，因此公安大数据平台建设势在必行，也给相关的系统集成商提供了一个市场机会。大数据平台包括大数据的采集与预处理，大数据的存储与管理，大数据的计算与处理。应用中的关键技术包括分布式架构技术、数据挖掘技术、新型数据存储与管理技术 I时代信息化战略管理方法，P451-464。范玉顺著，清华大学出版社。分布式架构技术可以通过廉价计算机集群和较低的硬件成本实现海量数据的高效存储、处理和分析，其中最核心的技术就是被称为谷歌公司的三大核心技术：Google File System、Big Table、MapReduce，以及Apache开源组织开发的Hadoop体系结构。MapReduce可以简单地描述为将大量的数据处理任务分解成很多可以并行执行的子任务，并将这些子任务分配给不同节点的廉价计算机集群进行处理，再将结果进行归总，实现原来需要极高性能的计算机才能完成的处理海量数据的任务。数据挖掘技术是帮助体现大数据价值的技术，是大数据应用的重要环节。只有通过数据挖掘，才能找出隐藏在海量数据中的有价值的规律，来指导公安部门预见未来风险，提前采取有效措施防范于未然。数据挖掘依赖于传统的统计学知识和当前最先进的人工智能、机器学习、模式识别等方法。新型数据存储与管理技术是管理海量数据的有效技术。在大数据时代以前，组织的数据常用数据库进行管理，关系数据库是这个时代最流行的数据库模型。但是，随着大数据时代的到来，传统的关系数据库难以支持短时间内进行大数据量的读写操作，难以支持多样化的数据类型，难以快速完成数据的复杂操作，因此大数据时代需要新型的数据存储和管理技术，NoSQL技术成为了数据库技术中的重要力量。NoSQL是指那些不使用传统关系数据库模型、具备超大量处理能力的数据库技术，其代表技术有4中：基于Key Value存储的NoSQL技术、基于Colmn Family存储的NoSQL技术、基于文件存储的NoSQL技术、基于图存储的NoSQL技术。对系统集成商而言，公安大数据平台的建设依然是数据中心软硬件系统和基础设施的建设，其建设方法与前述云计算中心是类似的，区别在于硬件系统架构和软件功能、布署方式的不同。具体的软件布署需要与软件厂商进行沟通，寻求其技术支