某省警务云计算平台视频资源整合规划方案（征求意见稿） .doc

某省警务云计算平台视频资源整合方案目录93 / 93 2019/1/21目录21 项目背景与必要性分析41.1 城市安防与云计算41.2 某省安防现状分析51.3 项目必要性51.3.1 从信息孤岛到全局统筹的转变61.3.2 从人工监控到智能安防的转变61.3.3 从事后分析到事中追踪的转变71.3.4 从独立应用到综合联动的转变72 平台架构设计82.1 网络架构82.1.1 网络拓扑82.1.2 数据安全网闸102.2 软件架构122.2.1 平台架构图122.2.2 前端设备132.2.3 接入服务器132.2.4 中心服务器142.2.5 存储服务器集群142.2.6 处理服务器集群142.2.7 流媒体服务器152.2.8 客户端152.3 平台联动调度152.4 平台部署策略172.4.1 区县未集中处理的视频172.4.2 区县已集中管理的视频183 平台模块技术描述193.1 iaas层cstor云存储193.1.1 cstor云存储系统193.1.2 cstor系统构架243.1.3 cstor架构描述243.1.4 cstor部署示意图253.1.5 cstor挂载接口263.1.6 cstor读写数据工作原理263.1.7 minicloud简介283.1.8 minicloud产品优势283.1.9 minicloud技术规格303.1.10 cstor存储性能303.2 paas层cproc云处理323.2.1 jobkeeper云调度323.2.2 cproc数据立方363.2.3 cproc数据立方关键技术393.2.4 cproc数据立方性能指标443.2.5 与同类技术/产品对比分析453.3 saas层cvideo云视频483.3.1 cvideo系统逻框图483.3.2 cvideo子系统描述503.3.3 cvideo接口描述693.3.4 cvideo总体性能713.3.5 cvideo智能识别734 图像资源库774.1 图像资源库建设内容774.2 关键技术784.2.1 图像增强技术784.2.2 目标识别技术794.2.3 颜色特征提取技术804.3.4 纹理特征提取技术814.3.5 形状特征提取技术814.3.6 大规模图像数据管理技术824.3.7 人脸识别技术834.3 图像数据库优势分析854.3.1 图像优化可用性高854.3.2 特征提取方便检阅854.3.3 办案视频同步上传854.3.4 高速索引秒级处理855应用实例865.1 道路状况检测865.2 车辆轨迹跟踪885.3 gis联动895.4 重点区域智能监控905.5 套牌车检索925.6 移动终端监控936 联系方式951 项目背景与必要性分析1.1 城市安防与云计算城市公共场所往往有成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频数据需要监控管理平台存储和处理。要对这些海量视频通过人工进行重点图像的抓拍，困难很大。首先，需要对所有的视频录像进行逐帧浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。理想情况是一旦有重要事件发生，系统就可在事后能快速查找到线索。针对上述海量监控视频录像的事后分析，传统以人海战术为主的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。目前，基于云计算的大规模数据存储和处理技术以及视频图像智能处理分析技术可以解决这一问题。通过视频浓缩摘要，缩短视频事件的播放时间，通过目标内容识别、分类等实现快速查找事件线索，缩小查看范围的功能，这些都极大地减轻警方刑侦人员的工作负荷，海量视频分析功能的实现和应用将大大提高监控效率。国内外很多公司以及机构都在这一领域投入了大量的研究，将云计算，智能识别等技术联系在一起，更好的为安防服务。充分利用云计算的海量数据计算能力和智能的处理能力，不仅能大大缩小了对于各类事件的事后取证所需要的时间，提高了取证效率，而且对于各种突发事件的预防、响应都起到了积极有效的作用。1.2 某省安防现状分析某省公安厅贯彻执行“平安城市”方针，目前全省已先后建立了110余万台监控摄像机，为全省人民的安全提供着保障，但同时，如此庞大且分散的监控体系也带来了巨大的挑战。矛盾主要集中在： 海量视频需要存储，但现有存储空间严重不足； 视频码率清晰度不断提升，但传输网络带宽资源不足； 小块区域集中管理，但跨区域调用视频困难； 监控还未达到智能化程度，时效性不强，多用于事后回调；在之前的建设与管理中，省厅已打造了一个视频资源共享平台，实现了将8万路视频资源的整合和统一管理，取得了很大的成功。但与全省110万的总量相比，仍有许多工作要做，并且还需要进一步将社会上的视频资源也纳入到整个监控体系中来。1.3 项目必要性公共区域视频监控系统的建设是平安城市建设必不可少的重要组成部分，其视频监控资源的整合、优化以及利用程度是城市信息化程度的重要标志之一，大部分的公共区域中已建成大量、属于各个部门、基于不同制式标准、不同设备、不同平台的视频监控系统，但目前这些资源并没有得到有效整合，无法跨平台、跨部门进行集中优化处理，这就造成了城市现有视频资源利用率低、重复建设、缺乏统一调度等不良现象，本项目基于这个现状旨在建设一个统一的、城市级的视频监控平台，将城市现有的视频监控资源有效整合起来，并在此基础上针对各类城市管理中的应用需求，实现高效实用的业务应用。通过构建cvideo综合视频监控云平台（以下简称“平台”），将城市可利用的全部视频资源经过优化、整合及智能处理后，透明地呈现给使用者，为城市管理提供有力支撑。“平台”在现有信息化建设基础上，集成现有视频监控资源，建设大规模视频实时接入处理分析监控平台，实现与现有平台，网络摄像机、以及新建监控设备的对接，实现上万路的视频接入。对上述视频监控平台的视频接入后，要求实现转码处理、智能识别、解码上墙和数据存储回看等功能，以满足不同终端的访问需求、实现车流统计等交通数据的提取、对关键数据进行存储、以及实现大屏控制等功能。实现从传统的模式向云模式的转换，并可以带来巨大的获益。1.3.1 从信息孤岛到全局统筹的转变针对某省现在已有的图像平台，需要对省市两级主要平台完成升级改造，确保实现公安视频图像信息共享平台之间的联网互通，同时兼容各地承建的视频监控系统和平台，以提升整个某省公安图像信息的共享度。“平台”将散落在各个派出所或者小区域中的“信息孤岛”相互连接，构成由省厅统一管理的四级大平台，使视频数据能够互通共享，并以此为基础构建丰富多彩的上层应用。1.3.2 从人工监控到智能安防的转变在实现互联之后，我们仍会发现新的问题。目前，成千上万路监控摄像头遍布街头，昼夜不停地监视和录像，在改善社会治安的同时，也产生出海量的视频数据需要监控管理平台处理。要对这些海量视频通过人工进行重点图像的抓拍，困难很大。首先，需要对所有的视频录像进行诸秒浏览，才能发现重点图像，这无疑工作量巨大，甚至犹如大海捞针。其次，即使找到了重点图像，人工抓拍，并且要记录下对应的原始视频图像的时间点等，也是工作量很大，效率很低。由于人的生理特征所限，长时间观看视频录像，容易产生视觉疲劳，还有可能漏掉重要图像和线索。因此，用机器代替人工（机器结合人工），是必然的趋势，通过智能地图像识别算法，将“可疑”的视频筛选出来，如此一来可以大幅降低人为的干预度，提升监管效率。1.3.3 从事后分析到事中追踪的转变一般针对事件可以分为事前预防、事中跟踪和事后取证。理想的情况是：一旦有重要事件发生，系统就可在很短时间内查找到线索并定位，而目前海量监控视频大多以录像的形式用于事后调取和回看，并且主要以传统人海战术的视频线索查找，显然不能满足高效查找，正面临巨大挑战，急需一种更为高效的、自动的、智能的系统实现上述需求。目前，基于云计算的大规模数据存储和处理技术以及视频图像智能处理分析技术可以解决这一问题。通过视频浓缩摘要，缩短视频事件的播放时间，通过目标内容识别、分类等实现快速查找事件线索，缩小查看范围的功能，这些都极大地减轻警方刑侦人员的工作负荷，海量视频分析功能的实现和应用将大大提高监控效率。国内外很多公司以及机构都在这一领域投入了大量的研究，将云计算，智能识别等技术联系在一起，更好的为安防服务。通过对云计算的海量数据计算能力的充分利用，提供智能识别所需的处理能力。这样不仅能大大缩小了对于各类事件的事后取证所需要的时间，提高了取证效率，而且对于各种突发事件的预防、响应都起到了积极有效的作用。1.3.4 从独立应用到综合联动的转变在现有的条件下，视频监控大多数时间是以一个单独的应用呈现，或是通过大屏进行实时监控，也可能是通过电脑终端进行监控管理。然而随着信息化程度的不断提升，单一的监控已然无法满足用户的需求，具有联动功能的综合型平台愈发成为转变的方向。因此，需要实现将警务综合平台与视频结合应用相互结合，整合成一共公共的基础平台，以更好地提供各类上层应用系统的使用。同时，从视频、声音、图像到信息提取、资料汇聚再到上层应用，无一不有大数据穿插其中，如何应对如此海量的信息和数据，如何将这些数据变成可以有效利用的宝贵资源也成为了日渐热议的话题。2 平台架构设计根据省厅已有建设情况和对实际需求的深入分析，本方案利用 cstor 云存储和 jobkeeper云调度技术构建统一的cvideo云视频监控管理平台软件，部署在标准x86服务器集群上，通过对已有监控资源的整合，实现海量高清视频监控的数据存储和智能处理。2.1 网络架构2.1.1 网络拓扑针对某省的实际情况，多级cvideo云视频监控系统采用分布式架构，分级管理和部署。以街道派出所为单位，初期拟定每个所部署一台“minicloud”（“minicloud”迷你云微型数据仓库将在下面的章节中进行详细描述），用于视频数据的保存，从区级到市级再到省级分别部署cvideo系统，cvideo系统的架构会在2.2中进行具体描述。整个“平台”构建于视频专网之上，其中，省级中心处于核心地位，部署元数据服务器，以统一管理元数据信息，各派出所则使用“minicloud”中的三个互为冗余的节点担当存储节点的角色。“平台”遵循“就近接入、本地存储、中心统筹、权限管理”的方针，随着存储容量需求的增加，只需在容量不足的派出所增加存储节点（服务器）即可，十分方便。而区县级和市级主要负责对区域视频的汇聚和处理，部署cvideo系统，并将处理后得到的信息提供给各上层应用服务。cvideo云视频监控平台针对省级的建设方案采用多级部署的方式，大致拓扑如下图所示：图2-1 cvideo多级部署概要图初步预计每个派出所需要存储的监控摄像机按100路左右，平均码流按2mbps计算，则存放半个月需要的存储容量约为：2 / 8 * 3600 * 24 * 15 *100 = 32.4tb“minicloud”是由三台服务器所组成的小型云平台，能够存储的总容量为：9 * 3 * 3 = 81tb为了保证数据的可靠性，对数据进行1：1备份后，可用容量为：40.5tb，可以满足初期的需求。随着使用和前端设备的增设，容量需求会愈发增加，这时我们同样提供了机架式的扩展方案，当存储容量不足时，只需在“minicloud”下新增存储节点（服务器），系统容量会自动增加，实现扩容十分方便。前端监控设备所采集到的视频数据保存在所属的“minicloud”中，或经过接入服务器，接入所属区级的cvideo监控平台中进行管理和处理，各级客户端访问相应中心服务器，按需操作和调控。云处理服务器提供空前的数据处理能力，提供诸如视频转码、内容识别等海量数据的处理支持。查看历史视频时，接入云存储遵守分区接入、分局接入和就近接入原则，考虑到突发事件会致使查看视频记录的人员增多，分布式部署可以很好地缓解接入压力。2.1.2 数据安全网闸考虑到公安网、图像专网、社会公网之间安全性和保密性的问题，cvideo监控平台在实际布设过程中，也会遵循跨网络必须经过网闸的规则，示意图如下：图2-2 cvideo网络隔离概要图本次建设的cvideo云视频监控平台位于视频专网，以确保带宽的通常及视频的实时性。对于社会上公网中的监控前端设备，纳入平台管理后在专网入口处也会设立网闸机制，进行物理隔离，保证进入专网的数据均为符合要求的。公安人员办公环境为公安内网，当需要访问视频专网的图像信息时，视频图像数据会经过网闸检测，确保安全后放可接入公安内网中，并且从公网到公安网经过了两重网关的监管，使公安网的安全性进一步提升。图2-3 网闸设置保证数据安全但进行网闸设置势必会对带宽有所限制，因此为了保证网络互联互通的同时，保证系统的安全性需对视频数据进行云转码传输。由于视频转码计算量很大，单一的计算机不可能实现整个监控系统内的摄像头实时视频数据的转码。cvideo研发了云端转码技术，将视频转码计算放大云端，实现整个系统内的实时视频转码，以满足用户对不同分辨率，不同码流，不同终端的使用需求。 图2-4 转码前后视频对比视频接入模块首先将不同厂家的前端设备接入进来，对于支持rtsp的采集设备，我们利用标准的流媒体协议接口实现视频和音频数据的传输。对于不支持rtsp的采集设备，我们利用设备厂商提供的sdk进行接入。然后在cproc云计算平台上利用高效的转码技术，将采集到的高清视频信号解码后再重新编码，在满足用户需求的同时降低对网络带宽的消耗。同时将转码后的视频流推送给流媒体服务器分发出去。图2-5 云转码流程2.2 软件架构2.2.1 平台架构图如下图所示，cvideo云视频监控平台是部署于标准x86服务器上的软件平台，主要由七个子系统组成：前端设备、接入系统、处理系统、存储系统、流媒体服务器、中心调度系统和客户端。这七个模块既相互独立，又协调统一，共同对外提供服务。图2-6 cvideo平台模块架构图2.2.2 前端设备前端设备在中心服务器的调度下进行信息采集，以rtsp的形式传输给存储/处理服务器集群，或者以sdk的形式传输给接入服务器。(前端设备包括：模拟摄像机、网络摄像机、卡口设备、第三方平台等)2.2.3 接入服务器整合各种前端设备，将不同厂家不同平台的前端设备通过rtsp标准流媒体协议或者sdk私有协议的方式接入本系统，以实现对多种前端摄像机和已有平台的统一接入，供本平台内其他模块统一调用，并以轮询的方式监听前端设备，如有异常则产生报警信号。2.2.4 中心服务器平台的核心控制部分，实现了与客户端的信令交互、通过jobkeeper云调度系统来调度云集群节点处理各项任务、并实现对整个平台的统一管理和监控。a）用户管理功能：根据用户信息表，管理用户登录、用户的权限，可以管理用户信息、增删用户等。b）前端信息采集设备管理功能：根据摄像机和用户的权限，管理当前用户所能涉及的前端设备状态、节点运行状态，并进行实时的更新。c）与用户和前端设备的信息交互功能：更新前端信息，并根据客户需求进行对前端设备调度，以及对jobkeeper的任务分发。同时，进行信息数据的处理，以完成整个平台的调度工作。d）对服务器集群进行统一的调度管理，获取每台机器的运行状态。根据机器的运行状态进行自动调度和部署，负载均衡，提高机器的使用率，进而提高服务器的梳理效率。e）解决服务器集群信息处理的冗余状态，查错排错，保证系统的无人值守、自动生长的高效性。2.2.5 存储服务器集群使用cstor云存储系统，提供统一的存储资源池，用以存储关键数据，提供历史视频的回看以及相关数据的下载服务。同时，支持网络挂载盘符的模式，以满足整个平台中其他模块的存储需求。2.2.6 处理服务器集群大致可以分为接入分析、数据处理和结果分发三个子模块，主要负责对完成对接入视频的各项处理任务，诸如：内容识别、实时转码、录像存储等，再将处理好的结果发送至流媒体服务器和存储服务器。2.2.7 流媒体服务器以流媒体服务器的形式对外提供标准的rtsp流媒体服务，用户根据相应的流媒体rtsp地址，即可实时地获取系统处理完后的实时视频数据，以供监控和远程访问。采用虚拟ip技术，备份冗余机制，针对公网和内网不同的访问需求提供不同的码流推送。2.2.8 客户端支持windows、linux、ios、android等主流操作系统，提供b/s和c/s架构客户端，控制视频解码上墙等，实现与用户的直接交互。2.3 平台联动调度按2.2节中所说的架构，在实际应用中，经常会出现跨级的联动调度问题，下图展示了cvideo云视频监控平台多级联动调度的流程。 上级中心总平台的接入服务器和下级子平台的中心服务器信令交互，上级平台的接入服务器相当于下级平台的一个超级管理员用户。总平台通过接入服务器登陆到子平台，从而进行获取设备列表、获取设备信息、云台控制、获取流地址等操作。 上下级平台的设备管理、用户管理、日志管理等功能相互独立，下级平台和第三方平台对“平台”的用户不可见，用户可以透明地访问各平台的前端监控设备资源（可以知道设备是属于哪个平台、哪个部门的，但不能直接登陆到下级平台或第三方平台）。在“平台”用户视角，相当于所有下级平台和第三方平台的设备都是直接部署在此综合的云平台之上。图2-7 多级部署上级视频数据流对接如上图所示，如果是上级中心总平台用户想查看某前端摄像机的实时视频，那么，该用户首先通过客户端或浏览器登陆平台，随后发出对某路视频的监控请求，中心调度系统会根据数据库里的摄像机设备信息将任务经由接入服务器发送给政务专网的中心调度系统，由其调度相应接入、处理服务器进行进入和转发处理。该视频流经过子平台流媒体服务器转发至总平台，客户端得到该地址即可播放出实时视频流。如果此时子平台的用户也想监控上述该路的实时视频，在请求该路监控时，子平台的中心服务器会自动发现该监控任务已由总平台用户发起过，只要经过总平台中心控制的许可，便可立即将流媒体服务器推送地址反馈给客户端，子平台用户的客户端则直接可以播放出该路实时视频流。如下图所示：图2-8 多级部署下级视频数据流对接2.4 平台部署策略针对某省的实际情况，在之前的规划和管理过程中，部分区域已经实现了按区县为单位对现有视频做了集中管理和存储，而另一些则是完完全全的“信息孤岛”状态。在“平台”的实施部署过程中，需要充分考虑到这些因素，以“不重建、多复用”为主旨，充分利用已有的平台和系统，实现对异构的监控体系的统一管理。2.4.1 区县未集中处理的视频对于区县没有集中处理的视频，“平台”会按照2.1章节中的部署规则，给每个派出所部署一套minicloud，用其本地化保存视频数据，并接受省厅中心的直接管理，同时提供给上层应用和服务的支撑。2.4.2 区县已集中管理的视频对于区县已经集中管理过的视频，“平台”则不会对该区域及其下属派出所新建设备，而是与该系统交互，通过其sdk进行对接和信息交互，获取需要的管理信息及视频流。从用户的角度而言，呈现在面前的只是单纯的一个个独立的摄像机，用户不必关心前端的摄像机具体是从我们部署的minicloud中传输过来的，亦或是从已有区县系统中传输过来的，“平台”已经将中间过程透明化，以更贴近用户的使用习惯。3 平台模块技术描述方案采用信令流和数据流分离的方式，在标准x86(x64)服务器集群上部署存储、处理、调度等软件系统，形成一个整体的云视频监控解决方案，实现对现有视频监控资源的整合。采用云调度和云存储技术，有较高的扩展性和容错能力，解决服务器单点故障问题，降低升级和维护成本。3.1 iaas层cstor云存储3.1.1 cstor云存储系统 cstor简介cstor云存储系统是9年来不断积累研发的高科技产品，是国内最早实现并保持领先的云存储系统，整套系统包括软件与硬件，是一个海量的云存储平台。与传统的大规模存储系统相比，它具有构建成本低、性能高效可靠、使用简单方便的特点。在需要存储大量数据（如视频数据、业务数据等）的应用场合，可以大幅提高存储系统性价比。与目前国际上知名的云存储厂商相比，具有更高的性价比、更低的能耗、更加通用和更方便的使用模式。图3-1 cstor云存储系统 cstor主要优势 高可靠性系统中采用廉价的大容量存储服务节点，通过cstor系统软件实现统一管理和容错，提供高效、稳定服务。与使用专用服务器相比，可以将系统构建成本节省5-10倍以上，且规模越大，优势越明显。在降低系统的构建成本的同时，系统的可靠性不仅没有收到影响，相反，通过一系列的可靠性保障机制，使得cstor系统具有高可靠性的特性。在cstor云存储系统中，数据具有多个副本（默认情况下是2份，可以根据需要设置），任意节点出现故障，系统将会自动复制数据副本到新的节点上，不会丢失数据。这样，在节点发生故障的情况下，也可以实现数据的无间断服务。同时，元数据管理节点采用双机镜像模式容错，如果有一节点出现故障，另一节点自动接替。 高性能cstor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写；这样随着存储节点数目的增多，整个系统的吞吐量和io性能将呈线性增长。同时，cstor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高。 在线伸缩cstor云存储系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。 通用易用cstor云存储系统提供标准posix接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。如：同时，cstor也提供专用的api接口，供开发人员调用。 智能管理提供基于web的管理平台，所有的管理工作均由cstor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cstor中的所有节点实行无间断监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况。 cstor关键技术 负载自动均衡技术cstor采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在master server上，文件则划分为多个chunk存储在不同的chunk server上。master server维护了一个统一的命名空间，同时掌握整个系统内chunk server的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据chunk server的磁盘使用情况、网络负担等情况，选择负担最轻的chunk server对外提供服务，自动均衡负载负担。另外，当某有一个chunk server因为机器故障或者其他原因造成离线时，master server会将此机器自动屏蔽掉，不再将此chunk server提供给客户端使用，同时存储在此chunk server上的数据也会自动的备份到其他可用的chunk server上，自动屏蔽chunk server故障对系统的影响。 高速并发访问技术客户端在访问cstor时，首先访问master server节点，获取将要与之进行交互的chunk server信息，然后直接访问这些chunk server完成数据存取。cstor的这种设计方法实现了控制流和数据流的分离。client与master server之间只有控制流，而无数据流，这样就极大地降低了master server的负载，使之不成为系统性能的一个瓶颈。client与chunk server之间直接传输数据流，同时由于文件被分成多个chunk进行分布式存储，client可以同时访问多个chunk server，从而使得整个系统的i/o高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与chunk server的数量呈正比。 高可靠性保证技术对于元数据，cstor通过操作日志来提供容错功能，当master server发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。为了防止master server彻底死机的情况，cstor还提供了master server远程的实时备份，这样在当前的master server出现故障无法工作的时候，另外一台备master server可以迅速接替其工作。对于chunk server，cstor采用副本的方式实现容错。每一个chunk有多个存储副本（默认为两个），分布存储在不同的chunk server上。副本的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利用率等。对于每一个chunk server，必须将所有的副本全部写入成功，才视为成功写入。在其后的过程中，如果相关的副本出现丢失或不可恢复等状况，master server会自动将该副本复制到其他chunk server，从而确保副本保持一定的个数。在有多个chunk server的情况下，任意损失一个节点，数据都不会丢失，而且随着chunk server数目的增多，整个系统的可靠性越大。同时，系统除了支持传统的1：1、1：2的冗余备份技术外，也支持高效的n：n+m的编码容错技术，即：假设将原始文件切分为n个数据块，通过冗余编码技术，将其编码后增加了m个数据块，数据总量变成了n+m个数据块。从中任意取出n个数据块即可将文件还原，进一步提升了空间利用率，确保数据安全可靠。 高可用技术系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用冗余备份机制，多个存储节点情况下，任意损失一个节点，数据不丢失，系统不停机，ftp等上层服务不停止。3.1.2 cstor系统构架图3-2 cstor云存储系统架构如上图所示，cstor云存储文件系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据管理服务器（master server）和数据存储节点服务器（chunk server）以及客户端节点的结构构成一个虚拟的海量存储卷。3.1.3 cstor架构描述master server保存系统的元数据，负责对整个文件系统的管理，master server在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；chunk server负责具体的数据存储工作，数据以文件的形式存储在chunk server上，chunk server的个数可以有多个，它的数目直接决定了cstor云存储系统的规模；客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端都部署在chunk server上，每一个块数据服务器，及时存储服务器也是客户端服务器。对每一个节点，cstor云存储系统提供的管理监控中心都可以对其进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能；另外，网管监控中心还提供有如ftp、cifs、nfs账户添加等客户端管理和配置工具。这种分布式系统最大的好处是有利于存储系统的扩展和实现，在小规模的数据扩展时，只需要添加具体的chunk server即可，而不需要添加整套设备。3.1.4 cstor部署示意图图3-3 cstor云存储部署示意图cstor云存储系统所有的节点均通过网络的方式连接起来，其中存储节点采用廉价的计算机节点，运用自适应副本管理技术进行容错。所有存储节点同时担任对外服务功能，客户端分别挂载到不同存储节点访问云存储系统。通过增加或者减少存储节点的方式，即可以对存储系统进行在线伸缩，由于采用了自适应副本管理技术进行容错，系统在线伸缩的过程中，不影响系统对外提供服务。3.1.5 cstor挂载接口对于cstor云存储的用户来说，通过cstor客户端可以将海量云存储系统映射成一个本地海量磁盘（windows客户端）或者映射到一个目录（unix、linux、macos、freebsd等客户端），对于此磁盘或者目录的读写操作，即可实现云存储系统数据的读写。并且，cstor支持nfs、cifs、ftp等协议的访问接口。同时，由于cstor文件系统支持posix接口规范，对于目前一般的应用不需要做二次开发即可使用。3.1.6 cstor读写数据工作原理图3-4 cstor客户端写数据流程其详细过程是：cstor客户端向元数据服务器发起数据写请求；元数据服务器根据其管理的存储节点的工作和使用情况，根据负载均衡的原理，在相关存储节点上创建一些新的数据块；相关存储节点服务器创建成功，将结果返回给元数据服务器；元数据服务器一方面备份和同步此元数据信息，另一方面将相关存储节点信息返回给客户端；客户端根据得到的存储节点信息，向对应存储节点发出数据写请求，并向存储节点发送数据；存储节点接收数据并存储到相应块，同时也向其他存储节点发起备份；当本地写以及备份均成功后，存储节点将成功信息返回给客户端；客户端收到成功信号后，即完成数据的存储。下图为cstor客户端读数据流程图如下所示：图3-5 cstor客户端读数据流程总的来说，cstor云存储系统的控制流和数据流是分离的，一方面降低了元数据服务的负担，使得其处理能力更强，另一方面将数据读写的负担分担到各存储节点，使得系统的整体性能得到了提高，与节点数目成正相关。3.1.7 minicloud简介云计算的飞速发展，使云存储领域涉及的范围越来越广，随着企业办公人员对数据存储安全性和可靠性的要求越来越高，使用传统的存储模式，如移动硬盘、u盘、刻录光盘等方式，都存在着使用不方便、管理麻烦等诸多问题，特别软硬件故障可能导致本地存储信息的大量丢失或损坏。因此如何安全可靠的存储企业运营数据，成为了现在企业办公的重中之重。 因此，云创存储推出minicloud微型云计算数据中心，用最少的成本为企业部署云存储以及企业办公应用软件，为办公室配置一朵迷你的云，满足企业的办公需求，大幅度降低了企业it建设的门槛与风险。图3-6 minicloud外观图3.1.8 minicloud产品优势 超安全的私有云计算数据中心 minicloud采用可靠的分布式云存储,最大支撑三个27tb的存储节点,采用1:1容错保证企业数据安全可靠,minicloud可作为企业的数据中心,为企业的各种重要数据提供安全可靠的存储,重要数据包括企业设计文档、设计图纸、经营数据等。 海量存储空间支持灵活使用 裸容量高达81tb，采用1:1容错，可用空间最大达40.5tb，既可作为应用软件（如邮箱、视频监控等）的海量存储空间，又可以作为员工的私密存储空间，还可以作为数据共享空间。为了保障数据安全，办公室内部共享数据与通过互联网共享数据采用完全隔离的两套系统。 简易的部署方式 随着中小型企业、学校等单位的迅速发展壮大，拥有自己的服务器是必不可少的。但是传统的服务器的部署不仅占用空间，而且可能还需要有专门的机房，对于办公场所面积有限制的企业、单位来说部署一套传统的服务器是相当不易的。而minicloud具有节省空间的得天独厚优势， 441mm 550mm 350mm的大小集三个服务器于一身，完全消除企业单位应对部署服务器的困难。不需要专业人员就能在自己的办公场所部署一套集成多应用的服务器。 人性化的系统监控 可方便地对minicloud进行监控，完成对系统的实时监控，包括云存储容量的监控、磁盘的监控、cpu的监控以及内存的监控，界面效果如下图所示。图3-7 minicloud监控界面 可靠的企业应用 企业应用程序包括邮件服务器程序、数据库、云存储管理节点等均采用双机热备，为企业提供安全可靠的应用，保证应用程序可持续的运行；同时minicloud提供配置接口，通过配置可实现第三方应用程序的双机热备。 自动同步 各个客户端中文件夹自动同步，服务器文件自动保持一致，多客户端文件自动同步。 多平台随时访问 minicloud微型云计算数据中心支持windows客户端、网站、android客户端、iphone/ipad客户端，方便用户随时随地访问minicloud。 便携共享，协同办公 minicloud支持多人共享同步文件夹，提供了更加便捷的协同办公的方式。3.1.9 minicloud技术规格“minicloud”产品根据不同应用对象的应用需求以及对系统配置的要求分成三种技术规格，详细说明如下。表3-1 “minicloud”技术规格表经济型（minicloud m1100)标准型（minicloud m1200)增强型（minicloud m1300)尺寸550mm(长度) x 441mm(宽度) x 350mm(高度)售后质保服务第1年提供免费质保服务，第2-3年提供成本价维修服务内置服务器数量333每台服务器技术规格主板intel芯片组主板处理器单路四核，2ghz以上双路四核，2ghz以上双路四核，2ghz以上内存8gb16gb32gb网络板载千兆网口, 支持负载均衡和失败替换电源480w（1+1）冗余电源包装内容minicloud说明书、保修卡、电源线、网线包含软件cstor云存储系统存储容量最高可达81tb，采用1:1副本容错网盘系统 在云存储系统基础上构建的领先的私有网盘系统，支持windows、android、ios、web等多种访问方式。邮箱系统 企业私有邮箱系统，采用云架构，数据更可靠更安全。minicloud管理平台可便捷的对minicloud进行管理，包括用户的管理、存储的管理、运行状态的管理等。3.1.10 cstor存储性能cstor云存储系统的性能指标如下表所示：表3-2 cstor云存储性能指标cstor云存储系统软件性能指标主特性子特性功能说明高可用保证主备双机能够在主元数据服务器故障情况下自动切换至备用元数据服务器，对外服务不停止空间挂载（接口开放性）windows挂载运行windows客户端程序，在windows系统上显示为一本地海量磁盘linux/unix/freebs/macos挂载运行linux/unix/freebs/macos挂载程序，在系统上对应为一本地目录可靠性保证元数据日志元数据日志本地持久化，可根据元数据日志恢复元数据元数据日志备份支持元数据日志异机备份，可根据备份日志恢复元数据块数据备份采用副本冗余方式或编解码方式容错，当磁盘损坏副本数减少时，系统自动重建副本数到配置的值，保证数据安全可靠、服务不间断空间利用率磁盘有效容量系统n+m编解码配置下，磁盘有效容量=n/(n+m)裸容量，如8+2编码情况下，磁盘利用率为80%。若采用传统副本方式1：n容错，则磁盘有效容量为1/(1+n)裸容量。高性能保证吞吐量系统整体吞吐量随系统规模增加呈线性增长写性能单客户端写性能高于100mb/s读性能单客户端读性能高于80mb/s动态扩展存储节点动态扩展能够在不停止服务的情况下进行扩容或收缩规模，在线增加和减少存储节点访问接口支持支持posix规范支持挂载为linux/unix本地文件目录或windows磁盘，用户使用和操作与本地文件系统相同支持ftp访问支持ftp访问方式支持nfs访问支持nfs访问方式支持cifs访问支持cifs访问方式存储节点可兼作服务节点存储节点可兼作服务节点存储节点可兼作服务节点，对外提供数据访问服务负载均衡负载自动均衡根据空间利用情况进行负载均衡流量分担并发访问时流量自动分担并发访问时流量自动分担至不同的存储节点安全性身份标识和鉴别系统的管理监控中心具有身份标识和鉴别功能正常访问控制系统具有对系统正常访问的控制能力屏蔽非法操作系统具有对未预期的非法操作的控制能力数据备份和恢复系统可以配置备份因子，设置数据存储的份数日志管理系统元数据服务器具有日志功能管理监控设备监控监控设备的运行状态磁盘监控监控设备的磁盘状态空间监控监控系统的空间使用状态文件监控监控和统计系统的文件状态块级监控监控系统的数据块状态、坏块统计和定位3.2 paas层cproc云处理3.2.1 jobkeeper云调度如何保证在云计算平台中部分硬件或软件发生故障的情况下仍不影响系统的正常运行；如何保证在云计算平台中高效稳定的合理化分配和执行任务，同时能够完全解决系统单点故障问题，负载均衡，自动调度与部署的高效云调度平台，jobkeeper服务器最大的作用即是解决云计算系统中的单点故障和任务调度的问题。 jobkeeper系统架构jobkeeper的系统架构如下图所示：图3-8 jobkeeper架构图上图中对jobkeeper进行了分层，对每层进行具体阐述 虚拟化资源层：将机器进行虚拟化，形成更大范围的服务集群。 存储层：存储数据的处理结果集或其他中间结果集的单元。 数据处理层：独立的数据处理程序，是对不同需求数据的统一处理方案，由jobkeeper调度平台进行统一的配置管理。 业务层：对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。 应用层：一组用于管理和结果反馈的显示组件。是整个系统面向用户和开发人员的基础承载。 jobkeeper任务分发jobkeeper的任务分发流程如下图所示： 图 3-9 jobkeeper任务分发流程图当用户在应用层下发任务给管理节点，管理节点调度机器处理任务，将任务扔给具体的处理节点，处理节点将结果返回给管理节点，管理节点整理结果，而后返回给应用层。服务器节点组：负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存，对应的信息镜像存储在基于cstor或者nfs服务的存储系统上。处理节点组：通过rpc的远程调用获取各自节点的任务处理目标，并实时的和处理节点上的任务处理目标进行对比，控制程序的执行和结束。处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次，报告节点存活状态。 jobkeeper优势分析 高可靠性： 采用“多主多备，负载均衡”的管理节点，从而保证无论管理节点还是处理节点都不存在任何单点故障问题。 低依赖性：采用模块化设计思想，通过统一化配置和api接口的方式向用户提供服务。 低干预性：采用基于事件化的统一管理模式。在系统无人值守的情况下自动完成故障处理等功能。 高实时性：在机器性能允许的范围内，所有任务的控制工作基本都在秒级完成，具有前所未有的高效性。 jobkeeper故障处理机制图3-10 jobkeeper故障处理当任务处理节点宕机，或者该任务被初始化时，系统产生相应错误，继而该任务会返还到任务调度层交给调度节点重新分配。如果任务处理节点宕机或者子任务出现未知错误，那么该任务将返回到任务处理节点上，由任务节点机器重新分配该子任务。而所有的任务信息和处理节点信息都会定时写入到磁盘文件，因此，不会出现做了一半的任务终止后需要重新执行的问题，系统会自动根据上次执行的情况将错误前的状态迁移到另一台处理节点上，使整个任务继续进行下去。由于jobkeeper主节点由多台组成，互为主备，热备镜像。当工作的主节点发生故障时，备用的会自动进行接替，成为新的主节点，确保处理任务不会中断，服务不会停止。3.2.2 cproc数据立方 简介2012年11月，南京云创存储科技有限公司推出了独立开发的数据立方大数据处理系统，该系统是南京云创存储的专有技术，属于当前流行的大数据处理技术。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据来自方方面面，从搜集天气情况的感测器，接入社交媒体网站的指令，数码图片，在线的视频资料，到网络购物的交易记录，手机的全球定位系统信号等等。随着数据规模的急剧膨胀，各行业累积的数据量越来越巨大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个在含义上趋近于“无穷大”的概念才会应运而生。大数据具有四方面特征，“首先在于体量大，是一个数据全集的概念， 第二是类型多，包括结构化数据、半结构化数据、非结构化数据等多种类型，其中视频数据在目前占到了90%以上的总额；第三要求速度快，需要以秒级为目标进行实时动态处理。最后在于价值密度，由于大量有用和可能没用的数据并存，遍地是金子，又遍地是沙子”，所以大数据的目的就在于从庞大的数据集合中找寻有价值的数据和知识，通过分析挖掘为各行业提供真正的智慧。大数据给我们带来了很多现实中的难题，为了解决这些难题我们需要新的技术变革，需要新一代的数据库技术，此被称之为大数据处理技术。大数据处理技术被设计用于在成本可承受的条件下，通过非常快速的采集、发现和分析，从大量化、多类别的数