CDS云存储解决方案

1、目录1 CDS云存储系统概述-2-1.1 CDS简介-2-1.2 CDS系统架构-2-1.3 与安防常用存储的比照-3-2 CDS组成部件-4-3实时业务设计-6-2.1 视频CDS云存储-6-2.2 图片CDS云存储-7-2.3 数据读取-8-2.4 数据生命周期治理-9-2.4.1 细粒度的数据冗余策略-9-2.4.2 数据逐级退化,有效提升留存空间比-10-2.5 CDS云存储可靠性设计-12-2.5.1 从低到上的全栈数据高可用性-12-2.5.2 跨数据中央级的业务可靠性保证-13-2.6 CDS云存储平安设计-13-2.7 CDS运维治理设计-14-2.7.1 集中运维,统一治理-

2、14-2.7.2 事件告警治理-16-4系统优势总述-17-4.1 海量数据秒级检索,永无碎片-17-4.2 统一治理,弹性伸缩-19-4.3 系统高可用性-20-4.4 带外架构,平安可靠-21-unMgw1 CDS云存储系统概述1.1 CDS简介CDS(CloudDirectStorage)是宇视科技在提出“NGN(NextGenerationNetwork)"为核心架构的IMOS监控云平台后,为满足海量音视频数据、智能交通类行车图片、监控个体特征图片、安防大数据、智能业务以及多相关部门并发读取等安防行业开展的需求,推出的一套面向监控领域媒体文件的SAN®集群系统.CD

3、SR取了传统监控存储主流设备如NV就作的易用性,同时基于对视频监控的理解,结合SAN1中存储高可靠稳定性的根底,引入了云的架构,海量存储,易于维护.和常见的文件集群系统所构造的通用“云存储相比,整套SA檄集群系统既实现了性能和容量线性增长,又保存了宇视一代云“块直存的平安性和高性能,海量音视频秒级检索,这些是通用云在监控业务方面所不具备的优势.CDS:百亿级索引的秒级检索区存储2.0百亿级CDS云存储1.0+云存储1.0亿级千万级西CSI块直存N+M年代1.2 CDS系统架构宇视科技云存储CDS系统基于云架构进行开发,采用面向用户业务应用的设计思路,融合SAN1群部署、负载均衡、资源池化、全局

4、共享空间、数据切片等技术,可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作,共同对外提供高性能、高可靠、不间断的数据存储和业务访问效劳.云存储系统的结构模型由存储层、根底治理层、应用接口层、访问层组成.NGN架构：信令和业务读号分警咔口信冶理信口DATANODEMETADATA资源池治理嘤块资源管珅I/O管瞬索引治理在视频云存储系统的架构设计中,采用的核心技术包括：采用存储虚拟化技术,对具有海量存储需求的用户提供透明存储构架,可持续扩容防止瓶颈限制,可以更有效的进行资源治理,灵活增减空间,到达最大程度上合理利用空间的效果.采用SAN集群技术,解决单/多节点失效问题,并利用负

5、载均衡技术充分利用各存储节点的性能,提升系统的可靠性和平安性.采用数据切片技术,保证了用户高效的读写的同时保证了业务的持续性.采用统一完善的接口,降低对接本钱、平台维护本钱和用户治理的复杂度.采用开放的集成构架,使其可兼容业界各类SAN存储设备,保护用户现有存储投资资源.采用数据本地/异地备份保护技术,保证云存储中的数据不丧失,确证云存储效劳的平安稳定.1.3 与安防常用存储的比照目前安防行业内常用的存储方式包括以下几种：1、硬盘录像机方式DVRNVR;2、集中类存储,包括FCSANIPSAN;3、文件效劳器类存储,通用NAS4、高端存储,通常为多控架构存储；5、安防云存储,如宇视的CDS比照

6、项NVR网络视频录像机FCSAN光纤通道集中存储NAS文件效劳器IPSANIP集中存储多限制器架构高端存储CDS云存储接入性能低中中中高最高读取性能低中中中高最高平台对接方式GB28181/SDK对接,功能缺失,弱耦合流媒体服务器访问,性能瓶颈通用文件协议访问,无安防定制功能流媒体服务器访问,性能瓶颈流媒体服务器访问,性能瓶颈无需流媒体效劳器,紧耦合网络建设分布式,设计复杂FC组网成本高,难以与IP网络融合,信息孤岛较集中较集中较集中最集中,易维护,高性价比扩容性无中低中高最高故障切换无,需要额外增加软硬件,本钱高无需要增加额外软硬件,本钱高有,低延时但本钱高低延时,高性价比运维治理设备多,人

7、力投入大专业程度高专业程度局专业程度高专业程度高界囿化统一理,易运维总体造价低高高中最高中2 CDS组成部件CDS存储方案主要由视频云存储治理软件CDM,CloudDataManagement视频云存储服务节点CDV,CloudDataStorageVirtualService、视频回放效劳器VOD,Videoondemand等几个主要部件组成.云存储治理软件CDM:CDM云存储治理效劳器负责整个系统的运行与调度工作,主要职能是响应上层平台业务请求,对外提供业务响应接口,负责整合系统内多台存储节点信息,对业务整合成带优先级限制的统一虚拟化存储池,同时,维护系统运转,统一调度、协调云存储系统的运

8、行与维护,具体功能范畴包括集群管理、虚拟化治理、存储资源治理、存储策略治理、存储设备治理等.云存储节点CDV:负责存储节点上存储空间的虚拟化,将单台存储节点空间格式化为对象存储空间提供应外部使用.其主要职能是接入各种类型的存储设备、进行云存储设备层整合,对本机存储空间进行对象化处理,对外提供本设备的虚拟化存储池,负责本机设备治理、存储空间治理和维护工作,提供WebService接口,提供直接图片等数据访问,具体功能范畴包括视频录像、图片存储、视频图片下载等.视频回放效劳器VOD：负责回放业务的提供,其接入客户端RTSP的标准视频点播请求,转换为对存储内容的读取并封装为客户端能识别的码流.3实时

9、业务设计3.1视频CDS云存储EC/IPC视频CDS云存储组网图视频云存储组网,采用scale-out结构,别离数据平面和限制平面,即媒体流带外的方式,从IPC到CDV存储节点直接写入,中间无需其他效劳器的介入.视频云存储组网中IPC主动的治理存储方案和前端智能数据告警,可以及时触发告警录像,同时简化了后端云存储架构,降低了存储业务压力,可以让云存储系统专注读写,更好的满足用户的存储需求.应该说,CDS存储模式是在宇视块直存根底上延伸出来的云存储模式,汲取了SAN共享技术及分布式文件系统的块分配策略,突出解决了空间按需占有、弹性扩容及负载均衡等问题.扩容500G再扩600GCam3300GCa

10、m2I陇0轴Cam1500GCam1Cam1Cam1Cam3500G600Gcam4IPSANcam3IPSANcam3IPSJANIPSANIPSANcam4cam4cam4cam2.,一IPSAN3.2图片CDS云存储EC/IPC图片云存储组网图图片云存储组网相对视频增加了TMS智能交通治理效劳器,主要负责图片智能数据分析、黑白名单及研判等业务,在IPC完成一定数量的图片存储后,以事务的方式上传卡口智能数据到TMS效劳器.对于图片来说,大小从几KByte到上MByte不等,大量的图片小文件对元数据的操作开销非常大,既增加了总体数据的写入数量,也增加了磁盘的随机读写,同时也容易产生磁盘碎片.

11、为此,CDW底层重新设计了块分配及元数据的组织算法,通过重组的方法将图片流化处理,充分利用视频存储的块组织模式CameraACameraBT1TnTnFATA、L-L,FileSysternHLayerrHFATS,AT口Cluster基于文件的存储模型出于通用应用需求,文件系统层的抽象屏蔽了后端块资源的分配,但也正因为此而无法感知应用数据的写入特征,通过引入统一分配层,直接治理块设备上的空间分配,通过对存储时间和空间的一定预测保证分配的空间尽可能的连续化,防止长期循环覆盖情况下,性能和稳定性的下降,而且有应用针对性的进行优化,也很大程度上降低了空间治理的消耗,将有效空间率从文件系统的低于93

12、炮高至IJ97.8%.3.3 数据读取数据读取流程CDS云存储当前提供了两种最常用的数据读取效劳,RTSP点播回放效劳针对视频业务和Http效劳针对图片业务.Http效劳直接部署在CDV上,客户端通过URL地址就可以显示和下载图片.这种方式的带来的好处是减少数据读取的中间环节,而且由于数据分布上在写入时经过客户段负载均衡后,大批量下载可以充分利用多CDV节点的读取水平.RTSP点播效劳中引入了VOD集群功能,即用户可以随需配置,从而满足大规模的点播和下载需要,而且VOD集群会进行一定的数据缓存处理,从而在一定程度上降低对后端存储的压力,同时起到一定的CDN内容分发网络功能,提升播放体验.3.4

13、 数据生命周期治理宇视CDS安防云存储方案,一方面对存储空间进行池化处理,另一方面也对安防数据业务进行了更合理的空间规划和数据可靠性保证.3.4.1 细粒度的数据冗余策略通用云存储都是在一个统一的存储层面,比方设定目录或是节点的冗余策略,常见的如多副本策略或是纠删码等方式,这种方式是割离了计算,单纯从存储层面进行的数据保证举措,但其粒度过大,性能开销大,存储设备硬盘配置要求高的缺陷也在一定程度上转嫁给了客户投资.而CDS,将安防业务中密切与存储或是媒体相关的功能进行了合理抽象,能将数据的冗余策略精确到更细粒度的时间片段数据,或是某一张图片文件,并通过告警或是事件联动的业务入口,提供应客户更灵活

14、的可定制流程.治理平台流媒体分发及点播服务器3.4.2 数据逐级退化,有效提升留存空间比宇视CDS云存储依然保存了对摄像机存储方案及留存期设定等过程,但在内部存储时,由于所有的存储空间均被CDS虚拟化,使得存储空间的组织和退化,均能从总体上来考虑.这个带来几层含义,一方面,留存期的维护是录像过程相对公平,同时也是系统容量可预测可配置的保证,另一方面,由于存储空间的池化处理,充分利用共享化容量来尽可能的拉长录像的留存期是实实在在的节约用户投资的手段,因此,所谓留存空间比,就是以尽可能少的存储空间来获取更长的留存期.通过在存储面引入诸如抽帧存储、录像清洗等手段来对事件类、超时效范围如30天留存期中

15、后15天录像进行录像空间的压缩,既能保证重要录像的不丧失,又能降低用户存储空间的总需求.抽帧存储抽帧存储是在尽量保证数据完整性的情况下将备份的录像数据压缩到最小,以提供高效完整,节省存储空间的目的.当前IPC使用SVC即ScaledVideoCoding可分层视频编解码技术,就是在时间,空间,质量上会进行划分,输出多层码流包括根本层和增强层,其中根本层的数据可以使解码器完全正常的解码出根本视频内容,但是根本层的数据获得的视频图像可能帧率较低,分辨率较低,或者说质量较低,而增强层又是可以多层编码的,这就意味着,在视频码流总码率的范围内,接收到的码率越大,视频质量越好.也就是说通过定制抽取的规那么

16、,比方设定某个摄像机存储空间规那么为15天全帧存储、超15天抽帧存储,并确定抽帧规那么为只保存I帧、1/2抽帧、1/4抽帧等.如下是只保存I帧的实测数据,仅作参考：视频码率配置原始录像/天抽帧备份录像/天比例2Mb/s21GB7GB33%4Mb/s42GB12GB28%6Mb/s63GB16GB25%录像清洗录像清洗效劳是结合前端设备的告警,如移动侦测等触发,来扫描这个时间点一定范围内的录像,然后根据录像中的移动量是否超过设定的阈值,来进行录像的抽取和清洗.可以分别配置警前留存时间和警后留存时间,警前录像取值范围05分钟,缺省1分钟,警后录像取值范围130分钟,缺省5分钟.此时录像空间的浓缩比

17、例视告警的发生概率而来.3.5 CDS云存储可靠性设计3.5.1 从低到上的全栈数据高可用性CDS云存储并不是重新创造宇视存储,而是充分利用已有积累,在充分考量了数据路径的每一个环节合理性的同时,对每个环节进行了强化处理o故障率从3%睡3.5.2 跨数据中央级的业务可靠性保证蛀籍部门2苗酝I.露.甘商防监芮区匠1监控区麻监控区域3在业务流程设计上,分级自建的监控机房不一定能到达运营商机房的可靠性,当发生机房断电、网络异常等情况下,利用前端IPC的网络可达性,将IPC的存储流引到更上级的部署机房存储,然后当本地机房恢复后,再将录像回传到本地机房存储空间中3.6 CDS云存储平安设计云存储的开放性

18、的系统特点导致面临一系列平安问题,CDS采用一种以云存储为核心的在线分布存储系统,该系统有效结合数据分散存储治理技术以及数据自动恢复技术,来更好的保证云存储数据的平安性.一应用接口层到访问层的设计.为了有效提升云存储系统的平安性,CDS采用访问限制、身份认证以及ssl加密技术来对云存储的数据进行保护,使数据在网络传输中能有效防止各种平安威胁.同时通过实现云存储效劳器与用户之间的相互认证,对双方的身份进行有效鉴别后用户代理通过平安应用程序接口来和云存储效劳器建立通信连接,然后进行数据存储效劳.二根底治理层的设计.在进行根底治理层的设计时CDSPJ用数据分片把存储的数据信息进行分片处理,从而使这些

19、完整的数据变成一系列的数据片段,这样就不能被那些没有得到认证的系统识别.这样能够保证云存储的数据进行分片后就不会产生数据被窃取的现象,从而可以有效提升云储存数据的平安性.三存储层的设计.为了保证数据存储的平安,可以有效利用数据分散存储技术来满足用户大量的存储数据的要求.由于随着存储系统存储容量的增加,存储数据的出错率就会相应的增加.而数据分散存储技术能有效保证云存储数据的可靠性和可用性,由于基于数据分散存储技术的系统存储层中的设备是分布部置的,这些设备之间有一定冗余机制,从而可以有效提升设备的存储利用率及其容错水平.3.7 CDS运维治理设计3.7.1 集中运维,统一治理针又tCD除存储系统及

20、各项软硬件的数据采集,运维治理平台对整个系统进行监控并收集数据、汇总、生成报告.主要对云存储的以下局部数据进行采集：治理效劳器数据采集；云存储节点数据采集；该系统支持云存储部署环境的综合数据采集及检测,能对系统平台效劳器、存储设备以及支持SNM初议的终端设备和网络设备进行全面的深入的数据采集治理.系统使系统治理人员能在日趋复杂的IT环境中即时快速方便的了解整个系统的运行状况,从而能从应用层对IT系统的关键资源、应用进行全方位的实时监控治理.对于详细的数据采集及监控要求如下所述：治理效劳器数据采集系统可以从多个方面对治理效劳器效劳器的硬件设备、操作系统进行监控管理.通过采集相应效劳器的CPU内存

21、、磁盘、网卡等硬件的关键运行参数,软件和应用程序的进程、效劳、端口的运行状况,系统能够及时对影响平台效劳器运行性能的故障事件发送报警,并采取相应的故障处理举措,保证效劳器的正常平安运行.系统中提供的与效劳器相关监控指标主要包括CPU内存、磁盘空间、效劳、进程、网卡、错误日志、事件日志、LOGC件等.对平台治理效劳器主机的监测主要包括如下性能指标:处理器CPU利用率内存内存使用率逻辑磁盘逻辑磁盘剩余空间逻辑磁盘使用率磁盘IO传输速率每秒读取字节数每秒写入字节数网络适配器输入错误数据包数输入总的数据包数输出错误数据包数输出总的数据包数进程系统中关键进程数量目录系统中特定目录卜文件数量错误日志系统中

22、指定日志中的错误条数进程排名系统中CPU使用率第一的进程名系统中CPU使用率第二的进程名系统中CPU使用率第三的进程名存储设备数据采集及监控系统可以对存储设备进行监控,监控方式主要是采用SNM新议,监测的具体指标如下：设备根本信息,包括处理器、磁盘、设备使用的端口信息等；设备性能信息,包括磁盘的读写速率以及字节数,磁盘缓存性能,处理器状态、磁盘状态等数据；其他方面,包括：设备温度,风扇状态等.其他类型的设备可以根据用户要求提供定制开发.3.7.2 事件告警治理CDS统可以实现非常灵活的事件及警告治理功能.在治理平台中对于事件告警治理采用如下流程：告警推送-告警分析一一告警处理.告警推送系统可以

23、收集CDS8统各节点的告警信息、文本文件格式的日志、NT事件日志、SNM净件、SNMPTrap消息、Syslog、WM事件,并且提供了基于SNMPSocket、WM等标准协议的采集接口,为用户提供了灵活的、可扩展的事件采集方式.通过这些接口用户可以采集自定义事件而不需要进行二次开发.告警分析系统对采集到的事件数据提供了分析规那么,规那么主要分为两种：预定义规那么、自定义规那么.预定义规那么是指和治理包一起发布的,已经定义好的规那么,自定义规那么是指在预定义规那么不能满足用户分析过滤的需求时,所提供的接口,通过使用自定义规那么用户可以定制自己的事件分析规那么.事件分析规那么主要由事件源、过滤条件

24、、报警信息组成.告警处理系统根据事件过滤表达式对事件进行过滤后,生成统一的事件格式并保存在系统的数据库中.事件数据主要包括：事件范围、级别、事件数据、消息、编号、事件参数等字段.其中事件级别包括：成功、信息、警告、错误、认证成功、认证失败六个级别,事件参数用于保存用户自定义的字段,并且支持多个自定义属性,事件数据展示时将以统计报表形式展现.系统中的事件数据存储在报表数据库,运行时数据库中的事件数据供实时查看使用,报表数据库中的事件数据为历史数据供生长报表以及分析时使用.事件在处理过程中不进行事件压缩,而是只针对该事件产生的报警进行压缩和抑制.unMew4系统优势总述见版工存储特总我生g保7视M

25、云存储特点4.1海量数据秒级检索,永无碎片CDS云存储系统可扩展至上百PB级,音视频数据量过亿条,但是依然能够具备高效、准确、快速的数据检索水平.1)一体化索引设计CDSS存储系统的索引治理遵循宇视一代云数据块直存的思路.所有与用户业务相关的索引信息统一由云存储系统的存储治理节点进行治理.视频云存储治理集群在对索引的一体化设计上将海量数据索引查找、筛选进行了全面的优化,大大的提升了查找速度.在规模不断扩大时性能几乎相同,均能做到毫秒级耗时.2与平台的应用设计CDSS存储系统本着安防云存储系统的特有性,在视频、图片的某些专有信息上也进行了独特的设计.平台可以根据监控点位案件发生频率,调整录像的存

26、储时长；也可以与大数据、智能分析业务联动,满足平台的易用性.3块级存储,永无文件碎片传统文件存储的数据存储过程是：数据->文件系统->卷->RAID->磁盘数据块整个过程中每份数据存储、读取都需要在单台存储设备上经过以上的流程,存在性能瓶颈也较多.安防行业中在设备层面还会更多的增加流媒体服务器这个环节.CDS云存储通过SANft群的设计,通过解决lun资源共享问题,对数据存储过程进行了优化,通过优化存储过程减少瓶颈、提升存储效率,优化后的数据存储过程是：视频/图片->Raid>磁盘数据块整个存储流程简化,速率更快,对数据块的地址限制那么由视频云存储治理服务器

27、唯一进行限制.海量i小/大文件1CDS;无辟片、一,存4.2 统一治理,弹性伸缩CD&存储系统具有高效灵活的空间治理水平.为了突破传统存储在存储容量和系统性能上的矛盾,在治理大容量空间时通过SANB群的设计将系统的治理资源进行整合,并根据负载均衡算法提供全高效并发处理机制,大大地提升了系统的整体性能.1存储资源的虚拟化CDS系统将全域各存储节点的资源进行虚拟化,向用户呈现出一个持续的、超大的数据资源池,将其称之为存储资源池.存储资源池的整合过程完全透明,由系统算法自行完成,将用户从繁琐的空间治理和配置中解脱出来,提升了治理效率.2存储资源的在线扩展当存储资源无法满足用户的容量需求,需要进行存储资源的扩展时,CDSzJ存储系统能为用户提供十分便易的操作.只需要在集群内添加新增存储设备的IP地址,系统会自动区分新增设备,对新增设备进行虚拟化整合,这样新增设备的容量就能融入集群,并作为集群内全部存储资源的一局部为用户所用；同时,在整个存储资源的扩展过程中,在线业务正常运行,保证用户不会由于系统的扩容而中断正在进行的正常业务,从而实现存储资源的在线扩展,秒级交付.云存储的系统架构保证