企业云存储系统解决方案

1、企业云存储系统解决方案目 录 TOC o 1-4 h z u HYPERLINK l _Toc508735929 第一章项目概述 PAGEREF _Toc508735929 h 5 HYPERLINK l _Toc508735930 1项目背景 PAGEREF _Toc508735930 h 5 HYPERLINK l _Toc508735931 2建设思路 PAGEREF _Toc508735931 h 5 HYPERLINK l _Toc508735932 3建设原则 PAGEREF _Toc508735932 h 5 HYPERLINK l _Toc508735933 3.1先进性原则

2、PAGEREF _Toc508735933 h 6 HYPERLINK l _Toc508735934 3.2可靠性原则 PAGEREF _Toc508735934 h 6 HYPERLINK l _Toc508735935 3.3成熟性原则 PAGEREF _Toc508735935 h 6 HYPERLINK l _Toc508735936 3.4开放性原则 PAGEREF _Toc508735936 h 6 HYPERLINK l _Toc508735937 3.5经济性原则 PAGEREF _Toc508735937 h 6 HYPERLINK l _Toc508735938 4建设标

3、准 PAGEREF _Toc508735938 h 7 HYPERLINK l _Toc508735939 第二章项目现状及需求分析 PAGEREF _Toc508735939 h 8 HYPERLINK l _Toc508735940 1项目现状 PAGEREF _Toc508735940 h 8 HYPERLINK l _Toc508735941 2需求分析 PAGEREF _Toc508735941 h 8 HYPERLINK l _Toc508735942 2.1架构需求 PAGEREF _Toc508735942 h 8 HYPERLINK l _Toc508735943 2.2容量

4、需求 PAGEREF _Toc508735943 h 8 HYPERLINK l _Toc508735944 2.2.1监控点存储空间计算 PAGEREF _Toc508735944 h 8 HYPERLINK l _Toc508735945 2.2.2卡口图片空间计算 PAGEREF _Toc508735945 h 9 HYPERLINK l _Toc508735946 2.2.3设备存储空间计算 PAGEREF _Toc508735946 h 9 HYPERLINK l _Toc508735947 2.3系统对接需求 PAGEREF _Toc508735947 h 10 HYPERLINK

5、 l _Toc508735948 2.4运维需求 PAGEREF _Toc508735948 h 10 HYPERLINK l _Toc508735949 第三章云存储系统总体设计 PAGEREF _Toc508735949 h 11 HYPERLINK l _Toc508735950 1设计目标 PAGEREF _Toc508735950 h 11 HYPERLINK l _Toc508735951 2系统架构 PAGEREF _Toc508735951 h 11 HYPERLINK l _Toc508735952 3系统组成 PAGEREF _Toc508735952 h 13 HYPER

6、LINK l _Toc508735953 4关键技术 PAGEREF _Toc508735953 h 14 HYPERLINK l _Toc508735955 4.1负载自动均衡技术 PAGEREF _Toc508735955 h 14 HYPERLINK l _Toc508735956 4.2高速并发访问技术 PAGEREF _Toc508735956 h 14 HYPERLINK l _Toc508735957 4.3高可靠性保证技术 PAGEREF _Toc508735957 h 15 HYPERLINK l _Toc508735958 4.4高可用技术 PAGEREF _Toc5087

7、35958 h 15 HYPERLINK l _Toc508735959 4.5RAID3.0技术 PAGEREF _Toc508735959 h 15 HYPERLINK l _Toc508735960 5系统功能 PAGEREF _Toc508735960 h 16 HYPERLINK l _Toc508735961 5.1系统帐户管理 PAGEREF _Toc508735961 h 16 HYPERLINK l _Toc508735962 5.2存储空间管理 PAGEREF _Toc508735962 h 16 HYPERLINK l _Toc508735963 5.3录像图片索引 PA

8、GEREF _Toc508735963 h 18 HYPERLINK l _Toc508735964 5.4录像图片写入 PAGEREF _Toc508735964 h 18 HYPERLINK l _Toc508735965 5.5录像图片检索 PAGEREF _Toc508735965 h 19 HYPERLINK l _Toc508735966 5.6录像图片回放 PAGEREF _Toc508735966 h 20 HYPERLINK l _Toc508735967 5.7录像图片下载 PAGEREF _Toc508735967 h 21 HYPERLINK l _Toc5087359

9、68 5.8录像图片锁定 PAGEREF _Toc508735968 h 21 HYPERLINK l _Toc508735969 5.9快速数据恢复 PAGEREF _Toc508735969 h 21 HYPERLINK l _Toc508735970 5.10动态负载均衡 PAGEREF _Toc508735970 h 22 HYPERLINK l _Toc508735971 5.11在线弹性扩容 PAGEREF _Toc508735971 h 23 HYPERLINK l _Toc508735972 5.12自动失败接管 PAGEREF _Toc508735972 h 23 HYPER

10、LINK l _Toc508735973 5.13智能运维管理 PAGEREF _Toc508735973 h 24 HYPERLINK l _Toc508735974 6系统软件接口 PAGEREF _Toc508735974 h 26 HYPERLINK l _Toc508735975 6.1基础SDK PAGEREF _Toc508735975 h 26 HYPERLINK l _Toc508735976 6.2流媒体SDK PAGEREF _Toc508735976 h 26 HYPERLINK l _Toc508735977 6.3POSIX接口 PAGEREF _Toc508735

11、977 h 26 HYPERLINK l _Toc508735978 6.4RESTful接口 PAGEREF _Toc508735978 h 26 HYPERLINK l _Toc508735979 6.5NFS/CIFS接口 PAGEREF _Toc508735979 h 27 HYPERLINK l _Toc508735980 7系统规格 PAGEREF _Toc508735980 h 27 HYPERLINK l _Toc508735981 第四章云转存方案 PAGEREF _Toc508735981 h 31 HYPERLINK l _Toc508735982 1工作模式介绍 PAG

12、EREF _Toc508735982 h 31 HYPERLINK l _Toc508735983 2系统拓扑结构 PAGEREF _Toc508735983 h 31 HYPERLINK l _Toc508735984 3系统工作流程 PAGEREF _Toc508735984 h 31 HYPERLINK l _Toc508735985 3.1录像&回放 PAGEREF _Toc508735985 h 31 HYPERLINK l _Toc508735986 3.2实时视频 PAGEREF _Toc508735986 h 32 HYPERLINK l _Toc508735987 3.3数据

13、恢复 PAGEREF _Toc508735987 h 33 HYPERLINK l _Toc508735988 4网络系统设计 PAGEREF _Toc508735988 h 34 HYPERLINK l _Toc508735989 4.1.1交换机选型 PAGEREF _Toc508735989 h 34 HYPERLINK l _Toc508735990 5方案优势 PAGEREF _Toc508735990 h 35 HYPERLINK l _Toc508735991 第五章产品选型 PAGEREF _Toc508735991 h 36 HYPERLINK l _Toc508735992

14、 1元数据服务器 PAGEREF _Toc508735992 h 36 HYPERLINK l _Toc508735993 1.1云存储元数据服务器（DH-CSS9064X-800S） PAGEREF _Toc508735993 h 36 HYPERLINK l _Toc508735994 2云存储节点 PAGEREF _Toc508735994 h 37 HYPERLINK l _Toc508735995 2.1云存储节点（DH-CSS7124S-ER） PAGEREF _Toc508735995 h 37 HYPERLINK l _Toc508735996 第六章系统配置清单 PAGERE

15、F _Toc508735996 h 40 HYPERLINK l _Toc508735997 第七章运维管理平台 PAGEREF _Toc508735997 h 41 HYPERLINK l _Toc508735998 1用户管理 PAGEREF _Toc508735998 h 41 HYPERLINK l _Toc508735999 2设备管理 PAGEREF _Toc508735999 h 41 HYPERLINK l _Toc508736000 3系统监控 PAGEREF _Toc508736000 h 42 HYPERLINK l _Toc508736001 4系统维护 PAGEREF

16、 _Toc508736001 h 43 HYPERLINK l _Toc508736002 5告警日志 PAGEREF _Toc508736002 h 43 HYPERLINK l _Toc508736003 6故障处理 PAGEREF _Toc508736003 h 44项目概述项目背景随着平安城市建设的升级，智慧城市建设的兴起，视频监控高清化开始普及，视频图像信息的深度应用成为行业的趋势，如何有效存储和高效使用海量监控数据成为了新的课题。传统大型监控系统主要采用以下两种模式来实现数据存储与使用：存储服务器+IPSAN；NVR为代表的嵌入式存储设备。这两种方式都存在扩展困难，可靠性低，数据无

17、法充分共享等弱点。针对这些问题，有必要将视频云存储技术引入到监控领域。云存储解决方案采用全新的设计理念，可从成本、容量、空间可扩展性、服务可用性、数据可靠性、接口通用性等多个维度提升监控存储的质量。由于这些明显的优势，云存储将成为未来平安城市、智慧城市系统的基石，有效的支持原始视频存储、卡口图片存储，视频图像信息库等数据集中存储与共享业务，以及智能实战系统，警务政务综合系统，大型数据挖掘系统等数据分析业务，成为便捷、统一管理和高效应用的大数据基础平台。建设思路云存储系统和业务系统从物理角度上来说，是两套松耦合的独立系统，可以单独部署，分步建设。从逻辑角度上来说，是一套为了实现业务功能的系统，其

18、中业务系统负责业务数据的加工处理、业务数据的展示等，云存储系统负责对业务原始数据和最终数据的存储。建设原则针对本次工程的实际情况,充分考虑系统建设的建设发展需求，以实现存储资源统一管理、高效应用、系统规模平滑扩容为目标，以“先进、可靠、成熟、开放、经济”为总体建设原则。先进性原则在系统总体方案设计时采用业界先进的方案和技术，以确保一定时间内不落后。选择实用性强产品，模块化结构设计，具备动态扩容能力的系统，既可满足当前的需要又可实现今后系统发展平滑扩展。可靠性原则数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且存储系统必须有高可用性，以保证应用系统对数据的随时存取。同时

19、提供可靠冗余策略，对应用数据进行更加安全的数据保护，降低硬件故障、网络异常等给系统造成的数据丢失风险。在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有效的安全访问控制，实现故障屏蔽、冗余重建等智能化安全可靠措施，提供统一的系统管理和监控平台，进行有效的故障定位、预警。成熟性原则为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于管理和稳定可靠的云存储资源管理系统，对于与应用的集成接口，提供高效稳定统一的访问接口。开放性原则开放高性能的应用API编程接口，提供人性化的应用和管理界面，以满足用户需求。充分考虑系统的升级和维护问题，支持在线升级和维护。系统的维护和

20、升级操作由系统管理员即可完成。经济性原则现有业务系统存储数据量较大，且随着监控高清化的趋势，以及建设规模的扩大，存储数据的规模扩展较快。因此在建设系统存储架构时，应从长远的角度考虑，建设一个长期的存储架构，除了可以应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保护，在保证不断提供功能和性能提高的同时，存储架构在较长的时间内能够保持相对稳定。结合先进的云平台技术架构优势，根据本次项目建设的实际容量需求设计，同时充分考虑应用发展需求，实现系统可弹性在线平滑升级。通过软件实现在较廉价普通服务器上实现高度容错，同时能够保持较高的磁盘利用率，保证在较低冗余度的情况下实现数据的高可靠，大大

21、节约和降低系统的建设成本和持有维护成本。建设标准安全防范视频监控联网系统信息传输、交换、控制技术要求（GB/T28181-2011）全国公安机关视频图像信息整合与共享工作任务书（公科信201211号）全国公安机关图像信息联网总体技术方案公安信息通信网边界接入平台安全规范（试行）视频接入部分中华人民共和国公安部行业标准（GA70-94）视频安防监控系统技术要求（GA/T367-2001）民用闭路监视电视系统工程技术规范(GB50198-94)工业电视系统工程设计规范（GBJ115-87）安全防范系统通用图形符号（GA/T75-2000）道路交通安全违法行为图像取证技术规范（GA/T 832200

22、9） 机动车号牌图像自动识别技术规范（GA/833-2009）闯红灯自动记录系统通用技术条件GA/T496-2009建筑及建筑群综合布线工程设计规范 （GB/T50311-2000）信息技术开放系统互连网络层安全协议（GB/T 17963）计算机信息系统安全（GA 216.11999）计算机软件开发规范（GB8566-88）安全防范工程程序与要求（GA/T75-94）安全防范工程技术规范(GB 50348-2004)安全防范系统雷电浪涌防护技术要求(GA/T670-2006)公安交通电视监视系统验收规范（GA/T509）安全防范系统验收规则（GA308/2001）项目现状及需求分析项目现状视频

23、应用系统经历了逐步建设的过程，采用了大量不同的技术和设备。很多设备并不单纯的存储设备，而是融合了转发，智能分析，解码等各种功能，不同厂家设备提供的功能组合不同，给联网平台统一管理带来困难，同时有些功能使用不起来，或者过度配置，造成资源浪费。随着视频监控系统规模变得越来越大，由于需要的存储设备变多，出现故障的设备也会变多。系统在出现存储节点故障时，节点上的数据无法读出，会影响用户的使用，而且无法自动恢复，需要运维人员及时干预，增加了运维成本。需求分析架构需求新建视频云存储系统，有效解决海量高清视频图像数据的存储和管理需求，实现分布式存储，虚拟化集中管理。平台具备开放式架构、组件化封装、积木式开放

24、等技术特点，能提供应用快速交付能力，可以根据用户不同阶段的应用需求与特殊使用需求进行快速的业务开发及业务功能调整工作。平台定义标准接口，支持多层次的集成。中心管理平台主要管理服务器及数据库服务器支持双机热备，大容量业务访问时可支持集群部署，确保系统平台的可靠性与稳定性。采用信令和视频数据的完全分离，降低整个系统的网络压力，提高整体性能。视频云存储系统提供高速数据接口，为应用平台提供视频数据高效检索、快速调取等服务功能，为公安业务应用提供有力支撑。容量需求监控点存储空间计算1 存储要求：单路图像按4M码流计算，图像保存30天。单路存储一天的容量计算=【4M3600（秒）24（小时）1（路数）1（

25、天数）】/【81024】=42GB单路存储30天的的容量计算=42GB30（天数）=1260GB5000路存储30天的容量计算=1260GB5000=6300000GB/1024=6153TB卡口图片空间计算卡口系统前端图片大小计算标准，140万相机抓拍图片200KB，200万相机抓怕图片300KB，500万相机抓拍图片700KB。按照实际城市车辆数目规模进行估算，同样分为外环、中环、内环方式进行：对于城市外环道路，一线城市单车道卡口每1秒过一辆车，二线城市单车道卡口每3秒过一辆车，三线城市单车道卡口每5秒过一辆车；单车道按照200万相机进行估算，则一线城市单车道卡口每月图片存储容量为0.74

26、T，二线城市单车道卡口每月图片存储容量为0.25T，三线城市单车道卡口每月图片存储容量为0.15T；对于城市中环和内环道路，一线城市单车道卡口每2秒过一辆车，二线城市单车道卡口每3秒过一辆车，三线城市单车道卡口每3秒过一辆车；单车道按照140万相机进行估算，则一线城市单车道卡口每月图片存储容量为0.25T，二线城市单车道卡口每月图片存储容量为0.18T，三线城市单车道卡口每月图片存储容量为0.18T；设备存储空间计算前端建设共计5000路高清点位，同时对云存储系统采用“4+1”的纠删码容错方式；计算所需的净容量为6153TB；同时考虑为云存储系统配置足够的故障恢复空间，最终计算本套云存储系统共

27、需要：1、元数据服务器3台；2、24盘位存储节点共计130台；3、4T硬盘共需3120块；4、最大情况下可容忍20台设备发生故障，可用于损坏文件恢复的空间大小为480块4T硬盘系统对接需求平台在建设过程中严格遵循国家、公安部关于视频监控等方面的相关标准和技术规范。可提供符合GB/T 28181标准的检测报告，按照要求实现各项技术指标和功能要求。可提供对接开发包（包括SDK、OCX控件、播放库等）；在卡口业务对接方面，提供数据库视图；在应用系统集成对接方面（如：GIS系统），提供Webservice接口进行对接；在平台级联对接方面，采用GB/T 28181标准联网协议进行级联交互对接。运维需求平

28、台拥有完善的运维管理功能，系统管理人员能够实时了解系统中核心设备的运行状况，及时发现视频设备故障信息，能够提供对系统内设备的自动巡检功能，对巡检情况做统计分析，使系统维护人员能够快速了解异常情况，及时排除设备故障。视频云存储系统同时需要提供标准的运维接口，维护便捷，实现高效实用的管理及使用机制。云存储系统总体设计设计目标云存储解决方案采用业界领先的云存储架构思想，在系统架构和设计上，充分考虑大规模集群环境下软硬件发生故障的现实，采用先进的管理思想和软件系统，实现对大量普通存储服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，搭建高度稳定可靠的存储集群。云存储系统将控制流与数据流分离，以

29、及充分优化元数据节点控制系统，使得系统具备极高的性能和良好的线性扩展能力。系统整体为应用提供统一命名空间，使得系统具备极好的数据共享能力。系统将负载均衡到集群内的各节点上，充分利用集群各节点性能，以获得很好的性能聚合能力以及保证了系统的稳定。集群采用高度灵活自组网技术，提供简易部署和维护功能。系统在数据可靠方面，采用智能冗余重建技术，保证较高磁盘利用率的前提下，提供最佳冗余策略。另外，系统在节点软硬件故障容错方面，也进行充分考虑，具备屏蔽所有可屏蔽错误能力。系统架构云存储系统解决方案能帮助用户轻松管理海量数据，提供高可用的存储服务，优化业务数据流，为应用系统提供统一的数据管理平台。最新推出的云

30、存储系统，将先进IT云存储技术引入到监控领域。云存储解决方案采用全新的设计理念，可从成本、容量、空间可扩展性、服务可用性、数据可靠性、接口通用性等多个维度提升监控存储的效益。有效的支持原始视频存储、电警卡口图片存储，视频图像信息库等数据集中存储与共享业务，更好的支持智能实战系统、警务政务综合系统、大型数据挖掘系统等数据分析业务，提供便捷、统一管理和高效应用的大数据基础平台。云存储系统为用户提供了统一的存储服务，并提供高效的SDK和通用的访问接口，应用系统可以把重心放在具体的业务开发上，这样可以促进监控系统的持续有序发展，发挥监控系统的最大效能。系统架构图如下： 云存储系统架构图系统包含四个层次

31、功能，来满足最终用户、系统管理员、运营人员的日常操作需求： 存储层：基于单个存储节点，管理本地的硬盘，文件和数据块。存储管理层：提供单个集群和多域的管理能力。接口层：提供丰富的访问接口，适应各种应用。业务应用层：业务应用层部署由各用户根据自身需求，充分利用接口层提供的各种接口，开发而成的监控系统，联网共享系统等。云存储系统内置针对视频应用特殊优化的流媒体应用服务，依赖流媒体应用服务，支持大量前端摄像头与云存储海量存储空间直接对接，提供流媒体直存方案，既具备直存的优势，又享受云存储所带来的所有优势。系统组成云存储系统内部，由元数据服务器和云存储节点组成。元数据服务器支持两台、三台及以上形成集群，

32、提供高可靠的元数据服务。云存储节点提供高容量、高密度的存储介质和极高的IO能力。同时，云存储节点支持流媒体直存功能，前端摄像头产生的视频流直接存储到存储集群中，避免了中间环节的流量、性能开销，提供高可靠性流媒体存储能力，以及强大的媒体转发能力。云存储系统组成图云存储系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它采用包括元数据服务器（Metadata Server）、云存储节点服务器（Data Node）、客户端以及运维管理服务器的结构构成海量云存储系统。在每个服务器节点上运行云存储系统的相应软件服务程序模块。元数据服务器集群保存系统的元数据，负责对整个文件系统的管理，元数

33、据服务器（Metadata Server）在逻辑上只有一个，但采用集群方式，保证系统的不间断服务；云存储节点服务器(Data Node)负责具体的数据存储工作，数据以文件的形式存储在Data Node上，Data Node的个数可以有多个，它的数目直接决定了云存储系统的规模；同时，针对视频业务，可在Data Node上集成了流媒体服务，让存储节点具备了流媒体直存能力，让前端视频流直接存储至云存储成为可能。客户端对外提供数据存储和访问服务的接口，为云业务平台提供云存储系统的访问能力。 关键技术负载自动均衡技术采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在元数据服务器上，文件则被按

34、块划分存储在不同的数据节点上。元数据维护了统一的命名空间，同时掌握整个系统内数据节点的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据数据节点的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动调节集群的负载状态。数据节点内同时有提供磁盘级的负载均衡，根据磁盘的IO负载，空间容量等情况，自动选择负载最轻的磁盘存储新的数据文件。当有一个数据节点因为机器故障或者其他原因造成离线时，元数据服务器会将此机器自动屏蔽掉，不再将此数据节点提供给客户端使用，同时存储在此数据节点上的数据也会自动恢复到其他可用的节点服务器上，自动屏蔽数据单节点故障对系统的影响。另外对

35、故障的数据节点上的数据快速恢复，只需将数据节点上的硬盘拔出，插入到其他数据节点，这样即减少集群对数据恢复的压力，又不对客户端读写产生影响。高速并发访问技术客户端在访问云存储时，首先访问元数据服务器，获取将要与之进行交互的数据节点信息，然后直接访问这些数据节点完成数据存取。客户端与元数据服务器之间只有控制流，而无数据流，这样就极大地降低了元数据服务器的负载，使之不成为系统性能的一个瓶颈。客户端与数据节点之间直接传输数据流，同时由于文件被分成多个节点进行分布式存储，客户端可以同时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。通常情况下，系统的整体吞吐率与节点服务器的数

36、量呈正比。高可靠性保证技术对于元数据，通过操作日志来提供容错功能。主服务器本地SSD盘组建高可靠RAID1，提供高可靠容错能力。当元数据服务器发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。且操作日志在主备元数据服务器之间实时同步，实现更高程度的可靠性。对于节点服务器，采用Erasure Code冗余方式实现容错，数据冗余分布存储在不同的数据节点上。任一数据节点的损坏，不会导致任何数据丢失，不会影响任何的数据访问和写入过程。之后，通过灵活数据恢复机制，进行数据重建过程。高可用技术系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可

37、在线增减存储节点。元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存储节点采用Erasure code冗余备份机制，如采用4+1节点间冗余容错，任意损失一个节点，数据不丢失，服务不停止，客户端无感知。RAID3.0技术RAID3.0技术为海量数据存储而设计，完美的实现了海量数据存储下的高可靠、可共享、节点间冗余能力，以及足够高的性价比等诸多需求。RAID3.0技术原理图RAID3.0技术将用户输入的一个文件或对象，切分成N块数据，通过Erasure Coding技术计算得到冗余的M块数据，将N+M块数据分散分布到N+M个网络数据节点上，从而提供容忍M个分布在不同

38、数据节点磁盘或节点级别故障能力。通过Erasure Coding技术，实现了多种不同冗余能力的N+M组合方式，提供灵活的数据可靠性。重要的，冗余可以根据不同的文件/对象进行不同的配置，使用方可以视业务对数据可靠性的不同要求而进行灵活配置。文件/对象级别的细粒度，感知数据的容错设计，让数据重构只限于用户数据，避免了RAID/RAID2.0技术或多或少的无效数据恢复开销。N+M块数据通过算法，负载均衡的分布到集群中的N+M个数据节点上，实现了跨越网络节点的故障容忍能力。也让集群中众多节点、众多磁盘协同参与数据恢复成为可能，从而实现了跨节点众多磁盘参与、只恢复用户真正数据的高效数据自愈机制。跨节点、

39、多硬盘、文件/对象粒度的数据冗余构建技术，能高效利用集群多网络节点、多硬盘的IO汇聚能力，提供急速的存储性能。跨节点的分布式设计，让系统几乎无上限的海量存储能力成为可能，极好的满足了数据爆炸式增长的时代平滑扩容的建设要求。同时，RAID3.0技术对于跨节点的容错设计，对物理节点可靠性的要求显著下降，从而有效降低了存储成本。物理数据节点本地存储不再需要组建RAID，有效保障了整体系统的磁盘利用率。系统功能云存储系统支持以下功能：系统帐户管理云存储对外提供登陆、认证接口，保证系统安全性。云平台必须配置云存储的用户名和密码之后才能接入到云存储系统。用户通过云存储运维系统进行删除节点，格式化节点等操作

40、时，必须再次输入用户名密码，防止系统被非法破坏。存储空间管理通过存储虚拟化技术，各种云存储设备被虚拟化成一个统一存储池，提供给多个系统来使用。系统单域可管理256个数据节点，支持16PB空间，10000路高清视频可以存储1个月，多域扩展无上限。通过存储池管理，可以为每个系统或者每个用途划分独立的存储空间来使用。比如可以给视频存储，图片存储，视图库各自划分一个空间，也可以细化到为每个摄像头划分一个空间，可以灵活配置。存储池用Bucket来表示，是分布式文件系统内的一个存储文件的容器，系统中每一个文件，都必须包含在一个Bucket中，Bucket不能嵌套，即Bucket内不允许再次创建Bucket

41、。Bucket通过全局唯一名称标识。扁平的系统结构，使得云存储提供海量存储、线性扩展能力成为可能。这样的扁平结构成为众多分布式文件系统的选择，用户可以创建Bucket，删除Bucket，按照范围罗列Bucket内的文件。Bucket也可以理解为一个空间独立的目录，比如监控领域可以按照摄像头来设置Bucket，给每个摄像头指定相应的存储空间配额。存储空间满后，新的数据无法再写入，用户可以手动删除文件，有些应用则需要自动完成空间回收功能。流媒体SDK支持自动空间的自动回收，可以配置两种策略，一种是按照时间删除旧的数据，一种是按照空间删除旧的数据。第一种方式一般是把多个摄像头的数据存在同一个存储池，

42、初始的时候计算好空间需要，给存储池配置合适的空间，应用层定时删除旧的数据，由于摄像头码流可能会变化，特别是报警录像需要的存储空间是未知的，采用多个摄像头共享存储池的方式可以充分利用存储空间，不容易出现空间浪费。另一种按照空间删除旧数据的策略适合恒定数据产生速度，或者按照空间收费的场合。存储池1100TB按时间循环覆盖存储池22TB按空间循环覆盖存储池N20TB手动删除统一存储空间视图库重要摄像头普通摄像头1N录像图片索引录像图片索引由元数据服务器和数据节点共同完成，可以实现各种条件的查询，并在元数据服务器和数据节点都有索引缓冲，可以提高查询定位效率。同时元数据服务器集群采用了分布式数据库，上面

43、的数据有4个备份，充分保证元数据安全性和高并发访问速度，数据节点上的索引也采用冗余算法，能规避多点故障。录像图片写入录像图片写入流程为，中心管理服务器将录像计划下发到流媒体服务器，流媒体服务器从前端摄像头或者卡口相机获取视频和图片，然后调用流媒体SDK将数据写入到云存储中。流媒体服务器是经过负载均衡选择的，任意一个流媒体服务器都可以接入任意摄像头写入到云存储。写入云存储时，流媒体服务器先访问元数据服务器分配存储对象空间，一个对象的空间是由多个存储节点组成的，流媒体SDK会对数据进行分片和EC计算，然后将数据接入到分配好的到多个数据节点中。数据写入时，会同时写入索引数据，以便后续进行按时间定位录

44、像或图片。同时，流媒体SDK会实现按照空间或者时间删除旧的文件，保证新文件可以持续写入，实现循环覆盖。在支持国标GB/T28181-2011流媒体直存时，可以将流媒体服务器部署到数据节点来实现，可以减少部分单独部署的流媒体服务器。录像图片检索录像图片查询时，命令先发给负载比较轻的流媒体服务器，任意一个流媒体服务器都可以通过流媒体SDK找到云存储中的任意摄像头的录像记录。按文件查询可以得到文件列表，上层应用可以据此生成时间轴。文件列表一直缓冲在元数据服务器的内存中，所以结果可以秒级呈现给用户。检索条件支持监控点编号、录像类型、时间组合、锁定、标注等条件查询录像数据等多种方式。录像图片回放录像图片

45、读取时，命令也会经由中心管理服务器发给流媒体服务器，包括对应的摄像头和时间点。流媒体服务器会对相关的索引进行缓冲，实现1s内快速定位。最终会根据摄像头名称，ID，时间段，录像类型定位到云存储上的文件及偏移，开始读文件过程。流媒体服务器是经过负载均衡选择的，任意一个流媒体服务器都可以从云存储读取任意摄像头的数据。读数据时，流媒体服务器也是现访问元数据服务器，得到相关存储对象在数据节点上的分布情况，然后直接访问对应的数据节点，获取数据切片。同时流媒体SDK对多个切片进行整合，形成完整数据提供给应用。通过流媒体SDK和流媒体服务，可以实现支持快放、慢放、倒放、单帧回放、抽帧播放、停止回放等功能。录像

46、图片下载录像图片下载和回放流程相识，但下载速度可以放到很大。按时间段下载时，流媒体SDK会把录像图片记录按照需要的时间段进行切割和组合，得到完整的时间段内数据。下载中断时，下载任务还在任务列表中，可以点击进行断点续传下载。录像图片锁定通过流媒体SDK，可以对重要的录像图片进行锁定，避免被循环覆盖掉，循环覆盖会在剩余的中进行。在录像图片已经备份出去或者已经没有使用价值的时候，可以将文件解锁，释放对应的空间。快速数据恢复文件写入时，数据被分片冗余存储在不同的存储节点上，采用节点间冗余容错机制进行容错，可在组内任意损坏一个存储服务器节点的情况下实现数据完整可靠，降低硬件故障、网络异常等给系统造成的数

47、据丢失风险。系统采用ErasureCode算法进行冗余，提供更快的访问速度和空间利用率。以节点间4+1冗余策略为例，客户端在MDS的调度下，将一定长度的文件内容，切分成四个数据块，通过利用EC算法计算得到一份冗余数据，然后客户端将五份数据分发到MDS指定的五台存储节点上，就完成了一次数据写入动作。这五台存储节点任意一台故障或节点内存储这份数据的磁盘故障，不会导致数据的丢失，从而实现了数据的高可靠性，见下图。由于数据存储的时候被分片存储在不同的存储节点上，任意节点或者硬盘损坏，除了损坏的节点和硬盘，元数据管理服务器会调度其他所有的存储节点和硬盘参与恢复，以最大的速度将该硬盘上的数据恢复出来，维持

48、数据健康状态。本系统同时提供手动和自动相结合的方式，为业务系统提供灵活的数据恢复机制。系统支持手动选择需要恢复的时间段，以快速恢复重要的文件。而对于一般性文件，则可以通过数据冗余保证数据依然可访问。动态负载均衡一个存储集群内部，众多存储节点组建形成的一个统一空间，从整体性能、避免单点故障、数据热点瓶颈等方面，都需要一个良好的动态负载均衡功能。动态负载均衡指集群内部，自动根据各存储节点的IO负载、空间容量、CPU、内存负载等因素，调度数据流向，实现IO读写的负载均衡。云存储采用两级负载均衡调度，首先由元数据服务器选择一个负载轻的数据节点作为当前请求的读写节点，同时节点内部还会根据每个硬盘的负载选

49、择最合适的硬盘参与数据写入。对于存储数据写入而言，动态负载均衡表现为任意时刻，数据节点的写入负载是动态均衡的。元数据服务器根据各节点的负载情况，自动调度，将新的数据写入调度到综合负载相对较低的节点，实现整体负载平衡。对于存储数据读出，则根据数据分布情况，以及数据分布的几台设备负载情况，选择从负载较轻的节点读取数据。在线弹性扩容云存储支持在线扩容，在线业务持续运行的情况下，可以动态增加或缩小云存储系统的容量，表现业务无感知的增加或删除存储节点。由于云存储系统为一个整体，结合集群管理、数据冗余与恢复等机制，实现了在线动态增加删除节点，对业务层仅表现为存储容量的增加和删除。增加新的节点时，配置好节点

50、的网络地址，即可加入系统工作，实现一键扩展，快速部署。系统能统一管理不同型号，不同存储盘位的数据节点，同时能接入标准的第三方IPSAN设备。系统具有线性扩展的特性，容量增加时，整体的读写性能也同步增加。同时，系统容量和每个Bucket容量的扩展可快速生效，无任何数据迁移。对于硬盘未满的节点插入硬盘也非常方便，不需要做任何配置。自动失败接管单数据节点，其由于硬件、磁盘等原因，可用性是难以保证的。形成集群之后，故障率得到了放大，从而表现为集群整体可靠性下降，存储服务可用性较低。但是利用集群管理技术，存储节点错误检测和调度机制，可以实现存储节点错误的透明化，从而实现对客户端而言，提高存储服务的高可用

51、性。即元数据服务器实时监测各数据节点情况，一旦发现节点异常，则将节点所负责的业务调度到其他节点上。再配合客户端反馈异常机制，以及将之后的业务流进行重新定位等，实现集群对存储节点错误的屏蔽，大幅提高存储服务的高可用性。元数据服务器管理着分布式文件系统的所有元数据，其高可用性直接影响着系统的可用性。本系统采用高可用性High Available技术，保证元数据服务器集群实时同步元数据，快速检测异常，以及迅速接管服务，保证了系统的高可用。元数据服务器集群内部，通过单独网络连接，进行实时的错误检测。单独网络保证心跳不会受到数据中心其他网络通讯的干扰，保证链路的可靠性。心跳机制保证集群服务器之间错误的实

52、时检测和发现，为主备快速切换提供保证。元数据高可用性保证示意图一组元数据服务器集群，对外表现为一个虚IP（VIP），即元数据服务器集群内的失败检测、错误接管对外部而言是透明的。为提供更高可靠性，元数据服务器集群内部，通过独立的心跳网络，实时监控集群服务状态，在出现主元数据服务器异常时，自动推举从节点接管服务，完成内部失败接管，而整个过程都是元数据集群内部完成，对外部而已是无感知的。智能运维管理运维管理平台为系统管理员提供配置和维护云存储系统的有效工具，提供Web界面，充分体现了系统的可维护性。管理监控中心提供设备管理、系统监控、告警管理、故障管理等功能。设备管理包括设备IP配置、数据格式化、添

53、加设备、删除设备等功能。设备的版本、CPU、内存、网卡、磁盘可以通过运维界面很方便地查看。作为整个云存储系统的管理接口，实现集群管理、维护、监测的友好、简单。只有系统留有一定的备份空间，保证部分硬盘或者节点故障后，可用空间依然可以达到系统的要求，则硬盘或者节点错误就可以集中处理，批了更换故障设备。这样用户就不需要去关注每个错误，只需要定期检查整体容量是否充足，大幅减低了维护工作量。系统自带邮件通知组件，在有新的故障发生时，比如系统容量不足，硬盘故障，数据节点故障等情况，会立即发送邮件给配置好的运维收件人列表。在系统有任意错误时，每天早上会发送一份日给运维人员，以免维护人员忘记处置。云存储运维系

54、统已经和云平台以及整个系统的运维平台进行对接，可以在云平台或者运维平台对云存储进行统一管理，协议采用SNMP，RESTful等接口进行对接。可以通过运维系统对元数据服务器或者数据节点进行升级，由于元数据节点采用了集群模式，其中一个元数据服务器升级并不会中断业务，数据节点也是，失败接管模块会将正在升级的数据节点负载分摊到其他节点。系统软件接口云存储系统对外提供多种客户端接口，可以根据实际应用的需要编写应用程序，通过调用相应的接口直接访问云存储系统。基础SDK推荐使用SDK访问方式，可以获得最优的系统性能，文件读写时，直接在SDK做文件的切片和组合，不需要专门的服务器来支持。接口形式上，表现为类P

55、OSIX语义的接口，即提供创建bucket、删除bucket、设置bucket属性、获取bucket属性、创建文件、删除文件、设置文件私有属性、获取文件私有属性、打开文件、写文件、读文件、文件内定位、获取文件属性等接口。目前，本系统提供windows/linux上的C/C+/Java版本接口。流媒体SDK基于基础SDK封装，以提供对视频图像文件更方便的访问方式。流媒体写入时，自动按照摄像头ID和时间建立目录，并对每帧数据建立帧索引，通过两级索引，可以做到支持按照时间段精确查询，并按照流式方式读取数据。在单个云存储系统内，不管规模由多大，都可以做到秒级定位。同时还支持支持I帧快放，最高64倍速，

56、支持倒放，支持即录即播等功能。POSIX接口Posix接口是各种操作系统都支持的本地文件访问接口，通过安装云存储驱动，可以基于SDK模拟出一个本地硬盘，用户可以像访问本地硬盘一样访问云存储系统，对老的应用程序提供很好的兼容性。RESTful接口目前互联网公司提供的云存储服务都采用RESTful接口，具有可读性好，Web开发友好等特点。云存储RESTful接口基于资源ID，支持数据加密。RESTFul接口需要采用云存储接入网关来提供WebService服务。NFS/CIFS接口NFS/CIFS是标准的NAS接口，可以提供网络文件系统服务，Linux/Windows机器可以在不安装任何驱动或程序的

57、情况下，经过授权后直接访问云存储的文件，不需要走上层应用和平台。这种接口需要云存储网关来支持。系统规格指标分类指标项描述重要系统架构自主产品完全自主产品，采用 Linux存储专用操作系统集群架构采用分布式非对称式对象存储架构，存储节点全集群，元数据服务器集群离散存储采用Erasure Code冗余技术，数据分片后存储在多台节点中存储虚拟化将所有的物理存储虚拟化成统一的存储空间，以唯一IP地址对外提供存储服务容错模式支持N+M多种容错模式（N+1,N+2,N+3,N+4），磁盘利用率为N/(N+M)网络类型支持千兆/万兆网络融合存储一套存储，同一ip访问情况下，同时支持国标GB28181/Onv

58、if视频流直存和采用文件方式存储视频、图片、文档等数据多级配额支持目录级别配额管理，灵活控制用户的存储空间使用。支持录像业务级别按空间、时间的循环覆盖系统规格系统容量系统规模最大4096PB，系统标配支持16PB空间利用率空间利用率达到80%以上绿色节能绿色节能可配置节能方式运行，平均能耗小于全系统以额定功率运行状态时的70%。系统性能最低性能性能线性扩展，6台存储节点性能不低于1GB/s小规模系统性能2台元数据服务器和6台万兆数据存储节点最大连续读性能：4GB/s最大写性能：4GB/s随着规模扩展，系统性能近线性增加监控路数单域系统支持10000路以上高清4Mb/s文件系统功能特性文件系统分

59、布式文件系统，支持文件方式访问文件和目录操作支持文件的基本操作，包括文件打开、关闭、读、写、删除、重命名等目录的创建、删除、列表文件检索支持目录内进行文件名的模糊检索数据类型支持视频、图片、文档等所有数据存储文件级访问在支持视频录像存储的同时，支持文件方式访问云存储支持视频录像能以文件方式被第三方应用从云存储中直接读取负载均衡支持存储节点间基于性能和容量的负载均衡；支持节点内部基于硬盘性能和容量的负载均衡高可靠硬盘级容错在80%磁盘利用率下，最多96块硬盘（4台24盘位整节点）的同时故障，历史录像不丢失，数据100%完整，业务不中断。设备级容错在80%磁盘利用率下，最大容忍4台节点同时故障，历

60、史录像不丢失，数据100%完整，业务不中断，仍然可持续写入新数据和读出原有数据。文件级恢复支持文件级的Erasure Code容错，数据恢复以文件为单位，无需全硬盘恢复，有多少数据恢复多少；在硬盘只写少量数据时可以分钟级别内完成恢复。元数据可靠性支持节点内RAID1，采用主备集群方式工作元数据备份高达8个副本 网络RAID单文件以切片形式分别存储在不同节点，数据容错不依赖本地RAID（磁盘总容量空间利用率大于50%，非副本模式）冗余方案在一个目录内，用户可根据数据重要性，可给当前目录下不同的文件灵活配置容错模式，如副本或者纠删码数据自愈在非副本模式下，硬盘故障，数据可自动恢复，恢复速度高达2T