智慧监控云平台整合云存储和报价的方案建议书

XX智慧公安监控云平台技术方案建议书目录1智慧安全监控云平台系统总体设计111云计算系统设计方案概述1111系统基本功能1112主要设计思想和设计目标、设计原则2113智慧公安监控云平台的云计算解决方案3114系统的主要技术特点312系统总体构架4121系统基本组成与构架4122系统功能模块描述5123系统总体功能713系统基本功能与处理方案10131公安监控数据入库功能与处理方案10132数据存储功能与处理方案12133查询分析功能与处理方案1314系统互联与管理14141组网方案14142网络管理16143系统安全1715系统可靠性与扩展性18151系统可靠性18152系统扩展性2016系统设计性能21161公安监控数据流量处理能力21162数据存储能力21163查询分析计算性能2217定制开发方案232云处理子系统设计实施与关键技术方法2621系统软硬件平台2622数据处理流程2623数据存储子系统28231海量数据分布式数据存储构架28232适应应用需求的混合存储策略30233HDFS数据存储30234HBASE数据存储33235DATABASE数据存储35236数据存储的可靠性37237数据压缩3824数据查询与统计分析子系统40241数据查询与统计分析系统基本构架40242公安监控数据查询功能与用户界面40243实时报警功能与用户界面41244某市监控轨迹回放功能与用户界面实例4225基于云方案的公安监控数据查询索引与查询优化技术42251基于分布式数据库的公安监控数据查询索引处理方案4326公安监控数据处理集群的可靠性与负载均衡设计44261负载均衡处理机的单点失效容错处理44262查询处理机的单点失效容错处理4727计算与存储集群的可靠性与负载均衡设计48271计算与存储集群MASTER单点失效容错处理48272计算与存储集群的负载均衡处理57273HDFS的可靠性设计59274HBASE可靠性设计61275MAPREDUCE计算可靠性设计6328查询统计计算可靠性与负载均衡设计65281基于ZOOKEEPER的单点失效和负载均衡设计6529系统安全性设计67291安全保障体系框架67292云计算平台的多级信任保护69293基于多级信任保护的访问控制73294云平台安全审计76295云计算综合安全网关793云存储子系统介绍8231云存储系统架构82311系统基本组成82312系统功能描述8432云存储工作机制90321数据写入机制90322数据读出机制9133云存储关键技术91331负载自动均衡技术91332高速并发访问技术92333高可靠性保证技术92334高可用技术9334云存储接口描述93341POSIX通用文件系统接口访问93342应用程序API接口调用9335云存储本地容错与诊断技术93351351CSTOR高可靠性93352CSTOR数据完整性94353CSTOR快照技术9436云存储异地容灾与恢复技术95361CSTOR数据备份与恢复系统功能95362CSTOR异地文件恢复9537云存储部署方案9638云存储性能指标964客户案例985产品报价98图表1智慧公安监控云平台云计算解决方案3图表2智慧公安监控云平台的基本组成与构架4图表3智慧公安监控云平台总体构架与功能模块图8图表4智慧公安监控云平台架构10图表5数据存储处理架构12图表6公安监控数据接入13图表7组网方案14图表8分布式文件存储系统吞吐量指标21图表9系统软硬件结构25图表10数据汇总上报处理流程26图表11实时数据入库流程26图表12分布式计算流程27图表13HADOOP结构28图表14HDFS结构31图表15HDFSNAMENODE、DATANODE和客户端们之间的交互32图表16HDFS数据压缩与组织38图表17数据查询子系统构架39图表18用户界面图40图表19实时报警功能40图表20监控轨迹回放41图表21负载均衡机分布图43图表22负载均衡机宕机预案44图表23MASTER节点宕机预案45图表24查询处理单点失效容错处理46图表25MASTER单点失效容错处理47图表26AVATARNODE0以PIMARY启动过程49图表27AVATARNODE1以STANDBY启动过程50图表28DATANODE启动过程50图表29AVATARNODE0宕机后的状态51图表30AVATARNODE1切换为PRIMARY过程51图表31AVATARNODE0重启过程52图表32AVATARNODE启动切换流程图53图表33AVATAR体系架构图56图表34HBASE系统架构58图表35作业提交61图表36JOBTRACKER0宕机61图表37作业注销62图表38ZOOKEEPER基本工作结构图62图表39基于ZOOKEEPER的查询分析计算单点失效和64图表40基于深度防护战略的IATF模型64图表41云部署模型的实现65图表42多级信任保护66图表43基于可信第三方的平台认证67图表44主要因素平台证书67图表45云存储安全子系统接口关系图70图表46基于多级信任保护的多级访问控制流程71图表47数据安全交换平台71图表48云存储安全审计体系结构73图表49安全日志审计系统结构图74图表50CLOUDUSG三种部署模式771智慧安全监控云平台系统总体设计11云计算系统设计方案概述111系统基本功能依靠公安系统现有各类监控终端，监控卡口数据采集系统，将各类视频、照片以及经过提取处理的卡口数据信息，通过公安专网，CTRANS高效网络传输系统，实时将各类数据传输至信息中心。在信息中心中，数据首先经过CVIDEO云视频监控系统达到实时监控，然后同时存入CSTOR云存储系统，其中需要进一步处理的视频照片数据CPROC云处理平台分析处理后也一同存入。本系统中，CPROC云处理平台是搭建在CSTOR云存储系统上的云计算中心，该平台通过数据立方结构，实现了大规模数据的高速查询调用功能，结合数据接收、数据索引、数据检索、数据整理、数据发送等功能，在智能应用层中实现了城市监控视频信息查询、人和监控多视频源连续跟踪、实时预警、路网监控流量态势实时生成、人车异常行为自动检测等多个大规模智能应用。本系统方案通过上述过程，将公安系统与社会各类视频监控数据、照片数据及监控卡口数据，统一实时存储进入海量云存储系统中，通过信息中心云计算平台，对海量数据进行高效处理。依靠云计算的海量存储与强大的只能处理能力，不断积累、统计、挖掘、融合数据，既可以实现大规模实施监控数据的存储、智能分析，又可以通过长时间积累对数据进行长期的智慧挖掘与分析。为公安系统处理案件提供有效的帮助与证据保障。系统的基本功能和性能如下海量历史监控数据汇总能够对千亿级的海量历史监控数据进行汇总处理。海量原始监控数据上报能够对千亿级的海量上报监控数据进行上报处理。海量原始数据实时入库、生成索引能够对流量超过10000条/M的全量原始监控数据流进行实时处理。海量数据存储、计算能够存储千亿级别的数据，并完成各种复杂业务应用计算。千亿级数据秒级查询能力高效索引算法，智能化调度任务系统，满足秒级查询速度。秒级实时业务响应高效实时数据通道，对于像实时监控、告警等实时业务，提供秒级响应时间。112主要设计思想和设计目标、设计原则设计思想将海量数据分解到由大量X86架构计算机构成的低成本云计算平台上进行实时处理，依靠分布式云计算软件进行容错，从而提升智慧公安监控云平台海量数据分析的实时性和性价比。设计目标利用大量性价比高的计算机，建立云计算平台，能够对流量超过10000条/S的原始监控数据流进行实时处理，提供实时监控、报警监控、监控轨迹与回放、电子地图、报警管理、布控管理、设备管理、事件检测报警、流量统计和分析等多种业务支持。系统具有可动态可伸缩性、高度容错性和响应实时性，达到较之传统方案有一个数据量级的性能价格比提升。设计原则（1）前瞻性技术与实际应用环境相结合本项目是既是先进技术应用示范项目，又是工程实施型项目。把握技术正确性和先进性是前提，但是前瞻性技术实施必须在云计算平台的实际应用环境和实际监控流量的基础上进行，必须结合云计算平台的实际情况进行研究和开发，只有与实际应用环境相结合才有实际应用价值。（2）学习借鉴国外先进技术与自主创新相结合在云计算平台用于超大规模数据处理方面，国内外几乎是在一个起跑线上；但在关键技术研究及既往的技术积累方面，国外一些大公司有着明显的优势。同时，智慧公安监控云平台所将要面对的监控数据流高达5000条/S，是一个世界级的云计算应用。我们将积极学习借鉴国外先进的云计算技术，同时与自主创新相结合，形成功能强大、性能卓越的能够满足实际应用环境需求的云计算数据处理和分析平台。113智慧公安监控云平台的云计算解决方案在XX公安网内部，构建若干X86架构计算/存储节点，虚拟出海量存储空间、处理能力和数据管理能力。同时研制面向应用的分布式数据处理软件，满足数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等应用需求。图表1智慧公安监控云平台云计算解决方案114系统的主要技术特点实时性平台在高效率并行分布式软件的支撑下，可以实时完成公安监控数据入库、分析和管理工作，如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。海量数据入库不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。高可靠性基于对云计算可靠性深厚的研究积累，彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不会出现丢失数据的现象。包括查询任务分配节点、计算任务分配节点、HDFS元数据节点、HDFS数据存储节点、MAPREDUCEJOBTRACKER节点、MAPREDUCEWORKER节点、HBASE管理节点、HBASEREGION节点等。可伸缩性在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与云计算平台的无缝对接，根据计算和存储任务动态地申请或释放资源，最大限度地提高资源利用率。高性价比采用X86架构廉价计算机构建云计算平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。全业务支持采用分布式数据库模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库中，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。12系统总体构架121系统基本组成与构架智慧公安监控云平台是一个处于公安监控数据采集与公安监控数据监测应用之间的系统。从系统基本组成与构架上来看，该共享平台由7个主要部分组成历史数据汇总处理系统，上报数据上报系统，实时数据入库系统，公安监控数据存储系统，公安监控数据查询分析应用系统，数据管理系统以及系统管理。在基础设施构架上，构建XX公安云计算平台，利用XX公安所提供的计算资源、存储资源和网络资源，作为智慧公安监控云平台的基础设施和支撑平台。图表2智慧公安监控云平台的基本组成与构架122系统功能模块描述1221前端设备前端设备在中心服务器的调度下进行信息采集，以RTSP的形式传输给存储/处理服务器集群，或者以SDK的形式传输给接入服务器。前端设备包括模拟摄像机、网络摄像机、卡口设备、第三方平台等1222接入服务器整合各种前端设备，将不同厂家不同平台的前端设备通过RTSP或者SDK的方式接入本系统，以实现多种前端摄像机、已有平台的统一接入，供本平台内其他模块统一调用，并以轮询的方式监听前端设备，如有异常测产生报警信号。1223中心服务器平台的核心控制部分，实现了与客户端的信令交互、通过JOBKEEPER云调度系统来调度云集群节点处理各项任务、并实现对整个平台的统一管理和监控。A）用户管理功能根据用户信息表，管理用户登录、用户的权限，可以管理用户信息、增删用户等。B）前端信息采集设备管理功能根据摄像机和用户的权限，管理当前用户所能涉及的前端设备状态、节点运行状态，并进行实时的更新。C）与用户和前端设备的信息交互功能更新前端信息，并根据客户需求进行对前端设备调度，以及对JOBKEEPER的任务分发。同时，进行信息数据的处理，以完成整个平台的调度工作。D）对服务器集群进行统一的调度管理，获取每台机器的运行状态。根据机器的运行状态进行自动调度和部署，负载均衡，提高机器的使用率，进而提高服务器的梳理效率。E）解决服务器集群信息处理的冗余状态，查错排错，保证系统的无人值守、自动生长的高效性。1224存储服务器集群使用CSTOR云存储系统，提供统一的存储资源池，用以存储关键数据，提供历史视频的回看以及相关数据的下载服务。同时，支持网络挂载盘符的模式，以满足整个平台中其他模块的存储需求。1225处理服务器集群大致可以分为接入分析、数据处理和结果分发三个子模块，主要负责对完成对接入视频的各项处理任务，诸如内容识别、实时转码、录像存储等，再将处理好的结果发送至流媒体服务器和存储服务器。1226流媒体服务器以流媒体服务器的形式对外提供标准的RTSP流媒体服务，用户根据相应的流媒体RTSP地址，即可实时地获取系统处理完后的实时视频数据，以供监控和远程访问。采用虚拟IP技术，备份冗余机制，针对公网和内网不同的访问需求提供不同的码流推送。1227客户端支持WINDOWS、LINUX、IOS、ANDROID等主流操作系统，提供B/S和C/S架构客户端，控制视频解码上墙等，实现与用户的直接交互。123系统总体功能智慧公安监控云平台需要提供的7大主要功能描述如下。（1）历史数据汇总处理系统历史数据汇总处理主要负责把XX县规划的分散的数据中心的历史数据，进行读取解析处理，并将处理后的历史数据汇入一个统一的数据中心。在内部处理模块上，历史数据汇总系统主要包括三个模块读取模块、解析模块和汇总模块。读取模块主要负责各个数据中心历史数据的读取处理，解析模块主要负责把读取到的历史数据解析成合理的数据格式，而汇总模块主要负责把解析好的历史数据上传到统一的数据中心。在系统构架上，为了满足规划的多个分散的数据中心处理需要，需要在每一个数据中心处安装一个数据汇总程序。（2）上报数据上报处理信系统上报数据上报处理负责把县数据中心的数据，按照一定的需求（按时间段或一定的数据量），上报给省市厅公安数据中心。在内部处理模块上,上报数据上报系统主要包括三个模块读取模块、解析模块和上报模块。读取模块主要负责县数据中心需要上报数据的读取处理，解析模块主要负责把读取到的数据解析成合理的数据格式，而上报模块主要负责把解析好的数据上传到的省市厅数据中心。在系统构架上，为了满足县数据中心处理需要，需要在县数据中心处安装一个数据上报程序。而省市厅数据中心需要提供数据上报的接口。（3）实时数据入库系统实时数据入库系统主要负责全县每个卡口产生的数据实时入库。在内部处理模块上，实时数据入库系统主要包括三个模块接受模块、解析模块和数据入库模块。接受模块主要负责接收每个卡口产生的数据流，解析模块主要负责把接受到的数据流解析成合理的数据格式，而数据入库模块负责把解析好的数据加入到县数据中心。在系统架构上，为了使每个卡口的数据能实时入库县数据中心，需要在每一个负责接受卡口数据的工控机上安装一个实时数据入库系统。（4）公安监控数据存储系统原始公安监控数据，将全部存储在智慧公安监控云平台的云存储资源中。资源池提供两种存储资源一种是结构化数据存储资源，用于存储少量的接口中间数据；另一种是分布式文件系统，用于存储海量的非结构化数据。为了满足和适应数据量、数据特征和查询处理的不同需求，将采用一种混搭式的数据存储方案。对容量巨大、常规数据库难以处理的数据，如公安监控数据，将主要存储在基于HDFS的分布式文件系统中；这些数据将通过HDFS接口进行访问和计算处理。而对于部分数据量不大、且查询响应性能要求很高的数据，如用于报警比对的中间数据，将被存放在关系数据库中。关系数据库将采用SYBASEASE版本。这些数据将通过结构化数据存储访问接口（如JDBC）进行访问。在存储构架上，若以存储2年的原始公安监控数据、报警信息数据和针对快速查询建立的索引数据，在5000条/S的公安监控数据流量下，将大约需要512TB的存储容量，按照每个存储节点16TB的存储容量，加上少量的冗余节点，将需要32个存储节点。（5）公安监控数据查询分析应用系统公安监控数据查询分析应用主要提供包括实时监控、报警监控、监控轨迹与回放、电子地图、报警管理、布控管理、设备管理、事件检测报警、流量统计和分析等功能。监控轨迹查询处理时，由于公安监控数据量巨大，难以存储在常规的关系数据库中，而如果直接存储在HDFS或HBASE中又难以保证查询效率。为此，需要考虑对公安监控数据进行索引处理，并将索引数据存储在HDFS或HBASE中。为了建立公安监控数据索引，需要在公安监控数据传送到云存储系统中时，进行实时的索引处理。但由于公安监控数据流量巨大，需要调度使用多台服务器节点进行并行处理。此外，用户从客户端发起以上各种数据查询分析任务时，也会产生大量并发的查询任务。以上各种查询分析计算任务的处理将需要考虑在计算集群上进行并行化任务调度和负载均衡处理。这些并行计算任务及负载均衡处理将使用ZOOKEEPER基于计算集群完成统一的控制和实现。在系统构架上，以上查询分析计算任务将需要使用一个大规模数据并行计算集群。在编程实现上，存储在数据库中的数据将使用常规的数据库查询语言实现；对存储在分布式文件系统中的公安监控数据，针对不同的处理要求，在数据量极大而处理实时性要求不是特别高的情况下，为了方便对海量数据的并行处理，将采用MAPREDUCE编程方式实现；而对于那些实时性要求很高的查询分析计算，由于MAPREDUCE启动作业需要较长的时间开销，将不适合采用MAPREDUCE编程实现，而需要用非MAPREDUCE编程方式实现。（6）数据管理系统在实际使用中，可能用户会对某一时间段或者类型的数据特别关心，就可以通过数据管理系统查询并导出这部分数据以供使用。包括数据查询和数据导出两大部分。数据查询让用户以自定义的条件查询出数据，而数据导出就是将这些数据以合理的格式导出到数据中心以外。（7）系统管理系统管理主要包括智慧公安监控云平台的配置管理、系统安全管理、系统用户管理，以及数据备份、系统故障监测复等管理维护功能。配置管理是其中最主要的部分，是系统各个模块正常运行的基础。系统应能够对网络地址、设备地址等进行配置；能够对用户做权限管理，以防止数据外泄；并能及时有效的对数据进行备份和故障检测等工作，防止数据的意外丢失。系统应支持树图、数据表格、网络拓扑图形式展示配置数据。13系统基本功能与处理方案131公安监控数据入库功能与处理方案公安监控数据入库系统总架构如图图表3智慧公安监控云平台入库架构智慧公安监控云平台通过实时数据入库系统接入采集层的公安监控数据，数据分配进入负载均衡机，负载均衡机根据集群各节点负载情况，动态分配公安监控数据到各存储处理机，进行报警检测、建立索引等处理，同时将公安监控数据存入分步式存储系统。负载均衡机功能监控所集群机器负载情况，动态分配公安监控数据。监控所有集群机器，如果发现问题，那么就把分配给这台机器的公安监控数据重新分配到其他机器，去除单点故障，提高系统可靠性。负载均衡机采用PAXOS算法解决一致性问题，集群在某一时刻只有一个MASTER负责均衡能力，当MASTER宕机后，其他节点重新选举MASTER。保证负载均衡机不会存在单点问题，集群机器一致性。实时业务对于实时性要求高的业务应用，如实时监控、实时报警，走实时专道。132数据存储功能与处理方案数据存储处理总架如图图表4数据存储处理架构数据存储系统提供如下功能公安监控数据处理接收来自数据汇总和数据入库系统的公安监控数据，索引模块实时生成索引，以提高查询速度。生成的索引存储到HDFS中，以供查询公安监控数据使用。专题业务分析，通过MAPREDUCE并行计算，同期提取业务数据，将结果分存两路，一路存入HBASE或日志详单存储，一路存入关系型数据库。报警数据处理智慧公安监控云平台对接收到的实时公安监控数据进行计算，以判断这辆车有没有符合报警条件。如果符合，会对报警信息入库，并同时通过对外实时报警的接口，将报警信息迅速展示到用户界面上。133查询分析功能与处理方案公安监控数据查询构架如图图表5公安监控数据接入云平台当客户发起请求后，客户端把请求发向查询接口服务器，查询接口服务器解析查询请求，后向MASTER任务调度机发送查询任务执行命令；MASTER回应执行命令节点信息，查询服务器根据节点信息将查询命令发向查询计算模块，进行具体查询操作，将查询结果返回给客户端，呈现给用户。14系统互联与管理141组网方案组网方案如图图表6组网方案142网络管理服务器间网络安全检查系统自管理通过启用网络安全检查进程（NETINSPECT）,定期检查整个系统的网络状况，并上报各服务模块网络流量信息，在终端形成网络拓扑图，实时在界面呈现各节点网络状态，管理员也能及时了解，各服务模块的网络流量机承载的负荷。若出现网络故障，NETINSPECT进程实时上报故障情况，在网络拓扑图上以报警方式提示，或以短信的方式提示，便于管理员及时发现问题，并恢复网络故障，确保系统在安全的网络环境下运行。服务模块进程监控管理系统自管理通过启用服务模块运行状态检查进程（PROINSPECT）,定期检查整个系统的服务模块进程运行状况，并上报各服务模块进程的运行状态信息，在终端将运行的进程的状态以表格形式显示，定时更新进程的运行状态信息。通过它管理员也能及时了解，各服务模块的进程运行负荷。若在固定的时间内没有更新，视为进程运行故障，启动主机代理自动恢复故障进程，保障各服务模块进程持续稳定的运行的状态。系统性能监控管理系统自管理通过启用服务模块性能检查进程（SERVERINSPECT）,定期检查整个系统的各服务器性能指标，包括CPU开销、内存占用、IO峰值、网络流量、连接数等。并上报各服务性能指标，在终端形成拓扑图，实时在界面呈现各节点服务器性能状态，管理员也能及时了解，各服务节点处理性能及资源开销。若性能持续高负荷，拓扑图上以报警方式提示，或以短信的方式提示，便于管理员及时发现问题，查找问题的来源或重新评估服务器配置情况，为系统稳定运行提供一个确实可靠的标准。系统日志分析处理系统各服务模块在运行期间写日志文件，将进程的模块编号、服务器的IP、出错页码等日志的状态（错误、告警、提示）等级别的信息保存磁盘文件，供工程师来分析系统运行状态。同时日志分析进程LOGANALYSE）分析日志文件，将重要的日志信息，进行对比、分析并汇总后，生产统一格式的日志信息，提取出来，写入的数据库表中，终端管理通过查询界面来来显示，能及时了解到系统的运行的状态。系统运行状态及报警处理系统运行报警分为以下几种服务器运行状态报警服务器网络状态报警服务模块进程报警日志模块状态报警143系统安全网络安全为保障整个系统稳定运行，首先要保障系统在网络方面是安全的。从硬件、软件方面做相应的安全措施。硬件所有的网络设备都要11冗余配置，涉及以下网络硬件设备冗余配置以太网100M/1000M网卡以太网网络交换设备光纤网络接口FC/HBASAN光纤网络交换机软件在整个系统上部署防火墙软件、及自产的安全管理管理软件模块来保障系统平稳运行。数据文件安全性见集群可靠性章节。15系统可靠性与扩展性151系统可靠性HDFS可靠性概述HDFS包括元数据节点NAMENODE和数据节点DATANODE，NAMENODE是一个中心服务器，负责管理文件系统的NAMESPACE和客户端对文件的访问。，DATANODE在集群中一般是一个节点一个，DATANODE是文件系统中真正存储数据的地方。DATANODE所在机器挂了怎么办HDFSHADOOPDISTRIBUTEDFILESYSTEM默认的最基本的存储单位是64M的数据块（BLOCK）。一个文件对应的所有BLOCK全部按照一定的部署策略存在于DATANODE上，文件的所有BLOCK为了容错都会被复制（一般为3份），每个文件的BLOCK大小和REPLICATION因子都是可配置的。DATANODE每3分钟向NAMENODE发送心跳，如果10分钟DATANODE没有向NAMENODE发送心跳，则NAMENODE认为该DATANODE已经DEAD，NAMENODE将取出该DATANODE上对应的BLOCK，对其进行复制。NAMENODE挂了怎么办NAMENODE主控服务器，为了避免主节点失效而影响整个系统正常工作，我们采用基于HDFS的改进方案AVATAR，同时可开启两个NAMENODE，主NAMENODE和SECONDNAMENODE，实际工作的只有主NAMENODE。主NAMENODE将所有关于文件和目录的操作记录都会写入日志，并定时序列化到本地做镜像，并且保存到本地的NFS服务器，同时SECONDNAMENODE读取主NAMENODE所在NFS服务器的日志并对镜像日志做CHECKPOINT。故障后，SECONDNAMENODE升级为NAMENODE，通过镜像数据和文件日志迅速恢复系统。数据服务器可通过分布式协同服务机制得知关于主控服务器的更迭情况，然后向新的主控注册并继续发送心跳。HBASE可靠性概述HBASE系统由HBASE集群和ZOOKEEPER集群组成。HBASE的可靠性由其自身的ZOOKEEPER机制保证。HBASE包括HREGION服务器群和MASTER主服务器构成。MASTER负责管理HREGION。物理上，一张表是被拆成多个块，一张完整的表格是保存在多个HREGION上面的。MASTER挂掉怎么办由于MASTER只维护表和REGION的元数据，因此MASTER下线短时间内对整个HBASE集群没有影响，MASTER保存的信息全是可以冗余信息（都可以从系统其它地方收集到或者计算出来），因此，启动HBASE时可以再启动一个备用的MASTER，实际工作的只有主MASTER，当主MASTER所在节点宕机，会自动切换到备用MASTER所在节点。HREGIONSERVER挂掉怎么办物理上，表格分为多个REGION一张表是被拆成多个块，一张完整的表格是保存在多个HREGIONSERVER上面的。并且分布在多台HREGIONSERVER中，物理上所有数据存储在HADOOP的HDFS上，由一些子表服务器来提供数据服务，提供服务时，子表先查HMEMCACHE，如果没有，再查HDFS上的HSTORE，由HDFS来保证数据的可靠性。如果丢失REGION的数据所在节点的DATANODE宕机，HDFS会自动映射到其他节点，从而保证REGION数据的可靠性。ZOOKEEPER挂掉怎么办ZOOKEEPER分为2个部分服务器端和客户端。启动ZOOKEEPER服务器集群环境后，多个ZOOKEEPER服务器在工作前会选举出一个LEADER，在接下来的工作中这个被选举出来的LEADER死了，而剩下的ZOOKEEPER服务器会知道这个LEADER死掉了，在活着的ZOOKEEPER集群中会继续选出一个LEADER，选举出LEADER的目的是为了可以在分布式的环境中保证数据的一致性。MAPREDUCE可靠性概述MAPREDUCE整体上可以分为这么几条执行的线索，JOBTRACKER与JOBTRACKER是一个MASTER服务，软件启动之后JOBTRACKER接收JOB，负责调度JOB的每一个子任务TASK运行于TASKTRACKER上，并监控它们，如果发现有失败的TASK就重新运行它。一般情况应该把JOBTRACKER部署在单独的机器上。TASKTRACKER是运行于多个节点上的SLAVER服务。TASKTRACKER主动与JOBTRACKER通信，接收作业，并负责直接执行每一个任务。TASKTRACKER都需要运行在HDFS的DATANODE上，JOBTRACKER0挂掉怎么办在系统启动时同时启动备份JOBTRACKER1节点，当JOBTRACKER0节点宕机时，ZOOKEEPER会在其上启动JOBTRACKER进程替代JOBTRACKER0节点，虚拟IP会指向此节点，TASKTRACKER会注册到此节点上，未完成的MAPREDUCE作业会被ZOOKEEPER调度到此节点上重新执行。TASKTRACKER挂掉怎么办JOBTRACKER是一个MASTER服务，软件启动之后JOBTRACKER接收JOB，负责调度JOB的每一个子任务TASK运行于TASKTRACKER上，并监控它们，如果发现有失败的TASK就重新运行它。并且将其负责的TASK分配给其他TASKTRACKER上。152系统扩展性已有的HADOOP集群规模HADOOP是一个相当有弹性和扩展性的平台，它既可以在成千上万的机器上跑，也可以在很小规模上运行。目前最大的HADOOP集群有四千台机器。HADOOP扩展优势与其它分布式系统相比，使用HADOOP的好处在于它的水平的可扩展性，在少量结点上，用HADOOP处理有限的数据时，不能展示HADOOP的性能，因为开始HADOOP程序相关的代价比较高，其它并行/分布程序方式，比如MPIMESSAGEPASSINGINTERFACE可能在2台，4台或许10多台计算机上有更好的性能，尽管在少量机器上协同工作在这种系统上也许会取得更好的性能，但这种为性能所要付出的努力是非线性的增长。用其它分布式框架所写的程序在从十台机器的级别到成百上千台机器需要大量的重构工作，这也许要程序重写几次，并且其它框的基础元素会限制应用的规模大小。但是特别设计的HADOOP有着水平的可扩展性，一个HADOOP程序写完后，在10个结点上运行，如果迁徙到更大的集群上运行，几乎不需要做什么工作，HADOOP平台会管理数据和硬件资源并提供与可用资源成比例的可靠性能。HADOOP扩展方法HBASE集群具备线性扩展功能，只需要将配置好的REGIONSERVER节点加入到集群中。MAPREDUCE集群具备线性扩展功能，只需要将配置好的TASKTRACKER节点加入到集群中，JOBTRACKER节点就会将MAP或REDUCE任务分配给此节点处理。HDFS具备线性扩展功能，只需要将配置好的DATANODE节点加入到集群中，并且在集群空闲时执行BALANCER工具以平衡集群中DATANODE的数据块负载。16系统设计性能161公安监控数据流量处理能力公安监控数据集群完全采用分布式实现，支持线性扩展，每节点采用低端X86PCSERVER处理500条/S流量。对于全县总量5000条/S的实时入库数据和大量的历史数据来说，需要24台处理机。以下是各部分处理能力统计公安监控数据存储查询服务器配置8核CPU2，主频23GHZ,内存32G，硬盘82TSATA处理能力折合公安监控数据入库流量500条/S/台应用分析服务器配置8核CPU2，主频23GHZ,内存16G，硬盘2300GSAS处理能力折合处理并发访问量500次/S/台162数据存储能力原始公安监控数据存储采用云存储平台，分布式文件系统存储服务。性能指标存储量指标单系统应支持PB级存储容量。吞吐量指标吞吐量是指在没有帧丢失的情况下，设备能够接受的最大速率。吞吐量根据应用系统读写方式和应用系统读取存储内容大小分成四个指标。分布式文件存储系统按照32个节点并发500个用户计算，单节点8块2T大小的硬盘情况下，每个节点指标具体内容如下表所示表8分布式文件存储系统吞吐量指标编号读写方式存储内容大小平均吞吐量指标MBPS1100读1GB602100写1GB303100读100KB304100写100KB15图表7分布式文件存储系统吞吐量指标系统响应时间指标千兆网络环境下，局域网客户端从分布式文件存储系统中读取4096字节存储内容的响应时间应不高于50MS。公安监控数据存储采用HDFS性能指标，如下数据读取性能4080MB/S节点；数据规模10PB规模；数据负载均衡时间可依据流量配置而确定；集群重新启动时间（10PB规模）分钟级别；163查询分析计算性能对任何实时分析操作的反应时间小于10秒；查询、统计操作的首次响应时延小于1秒；并发操作终端数大于30个；基于公安监控数据的统计，记录5000万条以内，30秒可以统计完成。17定制开发方案相对于已经完成的传统方案，云计算方案还需要在以下方面进行特定开发。（1）历史数据汇入处理平台定制开发历史数据入库系统需要使用与计算存储集群分立的专用机器（可安装在各县县现有的数据服务器上）。由于数据汇入处理不需要存储任何数据，仅仅需要读取、解析和入库数据。因此，数据汇入时对服务器的要求比较简单，不需要考虑和使用诸如HADOOP的大规模数据并行计算和存储系统，只需要一般的单一的服务器即可。（2）上报数据上报处理平台定制开发上报数据上报系统需要使用与计算存储集群分立的专用机器（可安装在县数据中心现有的数据服务器上）。由于数据上报处理不需要存储任何数据，仅仅需要读取、解析和上报数据。因此，数据上报时对服务器的使用比较简单，不需要考虑和使用诸如HADOOP的大规模数据并行计算和存储系统，只需要一般的单一的服务器即可。但是由于上报的数据量比较大，而上报时间又不会很长，所以对服务器的性能有一定要求。（3）公安监控数据实时入库并创建索引程序定制开发公安监控数据存储在HADOOP系统的HDFS中，但由于巨大的公安监控数据流量，每秒钟将有大量的公安监控数据产生，为了提供及时的数据查询，这些数据文件必须得到及时的索引创建处理，否则将造成大量的公安监控数据积压。因此，索引创建程序需要有较高的实时处理能力，以便能在毫秒级时间内保证处理完大量的一秒钟的公安监控数据。由于MAPREDUCE计算任务需要较长的作业初始化时间，公安监控数据索引创建程序将难以用MAPREDUCE程序实现，而需要基于HDFS、利用HDFS编程接口编写和定制较为复杂的非MAPREDUCE程序，该程序不能依赖任何MAPREDUCE的编程构架和接口，而需要自行编写程序完成全部的数据读出、解析处理、复杂的索引计算、以及索引数据的输出（输出到HDFS或者HBASE）处理过程。（4）查询分析接口开发智慧公安监控云平台会提供以下的应用接口实时监控、报警监控、监控轨迹查询与回放、电子地图、报警管理、布控管理、设备管理、事件检测报警、流量统计和分析、系统管理等。这些应用接口都需要根据实际的应用需求再进行合理的改进过程。（5）查询分析软件定制开发（可选）查询分析软件将设计为基于WEB的应用程序，包括客户端查询用户界面以及服务器端查询服务程序。客户端查询用户界面可基于通用的浏览器实现，也可设计为独立STANDALONE的客户端软件。具体的客户端界面将需要根据不同的查询功能需求设计实现不同的查询界面。查询服务软件将基于APACHEWEB服务器设计实现。需要特别考虑的是，大量并发的用户查询任务将需要设计实现查询任务分发时的负载均衡处理。（6）并行处理任务的负载均衡调度和单节点失效恢复机制的定制方案前述的公安监控数据入库、建立索引、数据汇总和数据上报、数据查询等处理中需要考虑的一个共性的重要问题是，为了对大量数据进行并行化的处理、或者大量用户同时发出了很多查询请求时，需要考虑并行计算任务的分发调度和负载均衡，尤其是负责分发调度的节点可能出现单节点失效而导致系统无法正常工作。为此，将基于ZOOKEEPER设计实现一个可防止单节点失效的并行计算任务分发调度控制机制和程序框架。该框架中，ZOOKEEPER将使用3台并行计算任务调度服务器，并有ZOOKEEPER负责选择和确定一个主服务器进行工作，但当主服务器失效时，ZOOKEEPER将能够自动感知并选择另一个服务器作为主服务器工作，以此完成单节点失效的恢复处理。进而，通过ZOOKEEPER还可以控制和均衡调度使用大量的计算节点，从而完成并行计算任务分发调服时的负载均衡。（7）HADOOP计算与存储集群的可靠性设计和功能扩展HADOOP作为一个开源的面向大规模数据并行计算的编程框架和平台，其可靠性和性能方面还存在不少需要改进的地方。比如，HADOOP集群的MASTER服务器虽然开用了一个备份MASTER服务器，但当主MASTER服务器失效时，备份MASTER服务器并不能自动完成失效恢复和切换处理。这就无法满足智慧公安监控的实时性处理需求。为此，我们需要对HADOOP进行改进，设计实现一个能自动完成MASTER服务器失效处理和切换的定制HADOOP系统，以便为智慧公安监控云平台提供一个高可靠性的大规模数据并行计算和存储平台。2云处理子系统设计实施与关键技术方法21系统软硬件平台系统软硬件结构如图图表8系统软硬件结构系统的物理硬件采用低端的X86PC服务器，操作系统采用REDHATLINUX。22数据处理流程数据汇总上报处理流程如图图表9数据汇总上报处理流程实时数据入库流程如图图表10实时数据入库流程23数据存储子系统231海量数据分布式数据存储构架云计算是一种超级的计算模式，可以把网络中的计算机虚拟为一个资源池，将所有的计算资源集中起来，并用特定软件实现自动管理，使得各种计算资源可以协同工作，这就使得处理数量巨大的数据成为了可能。基于云计算的海量数据存储模型，是依据云计算的核心计算模式MAPREDUCE，并依托实现了MAPREDUCE计算模式的开源分布式并行编程框架HADOOP，将存储模型和云计算结合在一起，实现海量数据的分布式存储。MAPREDUCE是云计算的核心计算模式，是一种分布式运算技术，也是简化的分布式编程模式，用于解决问题的程序开发模型，也是开发人员拆解问题的方法。MAPREDUCE模式的主要思想是将自动分割要执行的问题，拆解成MAP（映射）和REDUCE（化简）的方式。在数据被分割后通过MAP函数的程序将数据映射成不同的区块，分配给计算机集群处理达到分布式运算的效果，在通过REDUCE函数的程序将结果汇整，从而输出开发者需要的结果。MAPREDUCE借鉴了函数式程序设计语言的设计思想，其软件实现是指定一个MAP函数，把键值对KEY/VALUE映射成新的键值对KEY/VALUE，形成一系列中间结果形式的KEY/VALUE对，然后把它们传给REDUCE规约函数，把具有相同中间形式KEY的VALUE合并在一起。MAP和REDUCE函数具有一定的关联性。MAPREDUCE流程如图所示图表11分布式计算流程HADOOP是一个实现了MAPREDUCE计算模型的开源分布式并行编程框架，程序员可以借助HADOOP编写程序，将所编写的程序运行于计算机集群上，从而实现对海量数据的处理。此外，HADOOP还提供一个分布式文件系统HDFS）及分布式数据库（HBASE）用来将数据存储或部署到各个计算节点上。借助HADOOP框架及云计算核心技术MAPREDUCE来实现数据的计算和存储，并且将HDFS分布式文件系统和HBASE分布式数据库很好的融入到云计算框架中，从而实现云计算的分布式、并行计算和存储，并且得以实现很好的处理大规模数据的能力。综合MAPREDUCE和HDFS来看HADOOP的结构图表12HADOOP结构在HADOOP的系统中，会有一台MASTER，主要负责NAMENODE的工作以及JOBTRACKER的工作。JOBTRACKER的主要职责就是启动、跟踪和调度各个SLAVE的任务执行。还会有多台SLAVE，每一台SLAVE通常具有DATANODE的功能并负责TASKTRACKER的工作。TASKTRACKER根据应用要求来结合本地数据执行MAP任务以及REDUCE任务。主服务控制集群相当于控制器部分，主要负责接收应用请求并且根据请求类型进行应答。存储节点集群相当于存储器部分，是由庞大的磁盘阵列系统或是具有海量数据存储能力的集群系统，主要功能是处理数据资源的存取。HDFS和HBASE用来将数据存储或部署到各个计算节点上。HADOOP中有一个作为主控的MASTER，用于调度和管理其它的计算机（将其称之为TASKTRACKER），MASTER可以运行于集群中任一台计算机上。TASKTRACKER负责执行任务，必须运行于DATANODE上，DATANODE既是数据存储节点，也是计算节点。MASTER将MAP任务和REDUCE任务分发给空闲的TASKTRACKER，让这些任务并行运行，并负责监控任务的运行情况。如果其中任意一个TASKTRACKER出故障了，MASTER会将其负责的任务转交给另一个空闲的TASKTRACKER重新运行。用户不直接通过HADOOP架构读取及HDFS和HBASE存取数据，从而避免了大量读取操作可能造成的系统拥塞。用户从HADOOP架构传给主服务控制集群的信息后，直接和存储节点进行交互进行读取操作。232适应应用需求的混合存储策略混合存储策略可以简述为HDFS分布式文件系统用来存储海量数据，可以根据存储的数据类型建立索引，HBASE也可用来存储海量数据，其由查询条件建立索引表，DATABASE对小型数据的存储处理。分布式文件系统HDFS是一个开源云计算平台HADOOP框架的底层实现部分，适合运行在通用硬件上的分布式文件系统，具有高容错性，能提高吞吐量的数据访问，非常适合于大规模数据集上的应用。MAPREDUCE在HDFS的基础上实现的并行框架，为用户提供容易使用的并行编程模式，MAPREDUCE计算包括两个阶段，MAP（映射）阶段和REDUCE（规范）阶段。首先，MAP函数把一组KEY,VALUE输入，映射为一组中间结果KEY,VALUE，然后通过REDUCE函数把具有相同KEY值的中间结果，进行合并化简。MAPREDUCE将计算作业分成许多小的单元，同时数据也会被HDFS分为多个BLOCK，并且每个数据块被复制多份，保证系统的可靠性，HDFS按照一定的规则将数据块放置在集群中的不同机器上，以便MAPREDUCE在数据宿主机器上进行计算。HBASE类似BIGTABLE的分布式数据库，是一个稀疏的，长期存储的，多维的，排序的映射表这张表的索引是行关键字，列关键字和时间戳。所有数据库的更新都是一个时间戳标记，每个更新都是一个新的版本，而HBASE会保留一定数量的版本，这个值是可以设定的。客户端可以获取距离某个时间最近的版本，或者一次获取所有版本。233HDFS数据存储分布式文件系统HDFS被设计为将海量文件存储在一个大集群的多台计算机上。HDFS将每一个文件以分块序列的形式进行存储，一个文件的所有分块除去最后一个分块外都是等大小的。为了实现容错将文件分块进行自动复制。文件分块的块大小和复制比例都是可以按照单个文件进行配置的。HDFS中的所有文件都是“只写一次”并且严格限定在任何时候只有一个写文件操作者。HDFS是HADOOP框架的分布式并行文件系统，是分布式计算的存储基石。负责数据分布式存储及数据的管理，并能提供高吞吐量的数据访问。HDFS的基本特征如下L对于整个集群有单一的命名空间。2文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且根据配置会有复制的文件块来保证数据安全性。3数据一致性。适合一次写入多次读取的模型，客户端在成功创建文件之后，才能看到文件的存在。4HADOOP，包括HDFS，非常适合在廉