存储模块化方案(CVR+SAN).doc

存储系统模块化方案（CVR+SAN）海康威视结合在安防行业领先的技术优势和存储方面的专业研究，基于通用的存储产品和技术的基础上推出了更贴近安防应用的基于流媒体传输协议的存储技术和产品。1.1 流媒体直写技术概述流媒体是指以流的方式在网络中传输音频、视频和多媒体文件的形式，常见的流媒体协议有RTSP/SIP（GB/T28181）/ONVIF/PSIA等标准流媒体协议或私有SDK流媒体协议。海康威视在业内率先提出的中心流媒体直写，是基于TCP/IP或UDP网络传输协议，前端IPC/DVR/DVS/NVR等编码设备以流媒体协议，通过网络直接写入存储设备的技术。存储设备集成前端设备管理，视频存储，实时流转发、预览，历史视频查询、检索、回放、下载等功能，可独立构建小规模视频管理平台，亦可结合视频管理服务平台（海康iVMS或第三方管理平台）组建大中型视频综合管理系统。海康威视支持流媒体直写的存储产品统称为CVR（Center Video Record）。1.1.1 视频存储流程视频流直写存储系统可通过直连前端编码设备或流媒体（VTDU）方式实现前端设备视频数据的存储。视频流直写存储分析各通道的码流的信息，建立索引信息，同时将码流数据及索引信息写入存储设备内。1.1.2 实时流转发流程视频流直写存储系统内部嵌入了一个流媒体服务器（VTDU），从前端设备获取码流数据，转发给远程实时监控客户端。1.1.3 实时流预览流程远程实时监控客户端可通过VTDU转发，直连前端设备，登录CVR存储系统三种方式实现实时视频预览。1.2 流媒体直写技术优势1.2.1 低成本l 省去视频存储服务器（PCNVR）、流媒体转发服务器（只支持海康流媒体）；l 支持低价的监控级硬盘作单盘模式或组建RAID；l 支持视频抽帧存储，可节省存储空间1.2.2 高性能l 支持高达350路2M码流并发写入l 视频流无需打包成文件，可即时回放查看、快速定位，检索效率高l 采用专用数据管理结构，无文件系统，规避长期循环覆盖写产生的文件碎片而引起的系统性能下降的问题l 对外提供大容量录像卷1.2.3 高稳定l 规避断网断电情况下，出现文件不可读或丢失的问题l 由于省去了存储服务器，简化了系统架构，降低了系统单点故障1.2.4 高可靠l 设备级保护，支持N+1备机冗余，当在线设备故障时，备机自动接管其业务l 断网补录（ANR），当前端设备与CVR设备之间的网络中断时，录像可自动保存在前端，待网络恢复后再回传到CVR设备l 数据备份，可支持前端设备录像备份，录像数据本地备份和异地备份l 录像丢失检测报警，支持实时数据的丢帧报警（取流失败持续15秒报警）和历史数据丢失报警（每小时定时检测）1.2.5 架构开放前端IPC/DVR/DVS/NVR等编码设备以RTSP/SIP（GB/T28181）/ONVIF/PSIA等标准流媒体协议或SDK私有流媒体协议，直接通过网络写入存储设备1.3 关键技术和重点功能1.3.1 流数据管理结构视频流直写存储采用流数据结构进行底层数据管理，实现基于裸空间的预分配策略，规避文件系统损坏引起的文件不可读或丢失的问题，同时避免因文件碎片累积造成的覆盖写入性能衰减，保证性能稳定。l “合流”技术：无论多少个视频流进入存储后结合海康Smart Sequence in Cache技术完全汇聚成一个写入磁盘的顺序数据流，实现并发随机转化为顺序录像，优化录像性能。为了实现合流技术，CVR内部维护了一个全局虚拟化的映射表完成随机到顺序的数据映射。l “流存”技术裸空间直接存储视频流，循环写入时视频流不断从头到尾覆盖整个存储空间，消除文件系统损坏问题带来的隐患，同时完全消除循环覆盖带来的文件碎片问题，彻底解决因文件碎片导致的写入性能下降问题。1.3.2 丰富的部署方式和录像方式l 支持从IPC/DVS/DVR/NVR直接取流录像；l 支持从流媒体服务器取流录像和在存储中进行流媒体转发；l 支持主子码流录像，并可自动或手动切换l 报警录像、定时录像、手动录像、移动侦测录像、信号量报警录像、视频丢失报警录像等多种录像方式1.3.3 抽帧存储针对安防应用的特性，对过去一定时间的数据可进行抽帧存储，减少存储容量需求，抽帧后的录像数据仍然可以播放，录像质量不会降低。支持按1/2、1/4、1/8的剩余容量比例和抽I帧的不同策略抽帧方式。1.3.4 N+1模式系统运行时间较长时，难免不出现设备级故障。N+1备机冗余功能保证工作机故障时，录像业务不中断，数据不丢失，提供设备级保护，提升系统可靠性。其工作原理如下：指定一台存储设备作为监控主机，对网域内其他存储设备（工作主机）启动监控功能，当发现被监控的工作主机出现异常成为故障主机时，此台监控主机主动接管故障主机的工作，可以实现取流，存储，下载，回放等功能，同时继续监控故障主机，当发现故障主机恢复正常成为工作主机时，则停止所有的接管工作，并将接管期间的录像数据回迁到工作主机中。1.3.5 数据完整性1.3.5.1 智能补录前端与数据中心网络异常时，前端设备启动录像并保存在本地存储设备上（SD卡，硬盘等）；网络恢复后，录像自动回传到中心CVR存储，保证数据的完整性。同时，CVR设备支持回传策略设定，可选择在业务空闲时（例如下班时间）进行回传，解决业务繁忙时录像数据与业务数据的带宽竞争问题。1.3.5.2 录像丢失检测报警针对恶劣的网络环境，经常出现网络中断导致视频数据丢帧或整段录像丢失的问题，为提升系统的可靠性和安全性，方便客户即时发现数据的不完整性，海康威视提出录像丢失检测及报警技术，该技术支持实时流检测机制和历史数据定时检测两种机制。实时流即时检测，当录像取流失败持续15秒以上则触发报警机制；历史数据固定每小时检测一次，当发现在策略调度时间段内或者手动录像时间段内存在录像丢失，则报警，同时恢复策略录像。1.3.6 数据可靠性1.3.6.1 数据备份l 多种数据备份模式：与前端共同实现双重备份、存储本地备份以及存储间的异地备份。l 双重备份：带存储功能的前端设备实现本地录像存储，可同时吐流存入存储设备，实现数据前端和存储双重备份；l 存储本地备份：存储设备从前端设备取流后，将流数据写到录像卷的同时，自动将流数据备份到存档卷，不占用外部数据带宽，也无需平台干预。由于存档卷不会被循环覆盖，这增加了重要通道数据的安全性。l 存储间异地备份：是指将存储A机器上的录像数据备份到B机器的存档卷中，防止A机器因为异常或录像卷循环覆盖而造成重要录像数据的丢失，可实现跨局域网备份，无需平台干预。1.3.6.2 录像锁定针对关键视频，需要超过录像周期时也不被循环覆盖。海康威视CVR存储设备可自动或按照策略对视频进行锁定。锁定方式： 根据锁定策略,录像的同时实现加锁；手动执行锁定录像段。锁定周期过后，自动解锁，同时支持随时手动解锁。1.4 解决方案海康威视根据安防行业的发展趋势和当前面临的问题与挑战，深入研究行业和客户的真实需求，针对不同的应用环境推出了不同的组网方案。1.4.1 SAN组网1.4.1.1 组网架构该组网模式下，海康威视存储系统通过标准的iSCSI协议（FCP协议）或NAS功能对外提供存储服务。存储空间直接挂载在存储服务器或应用服务器上，上层应用和原来一样直接访问存储服务器或者应用服务器。该模式适用于视频数据存储系统和业务数据存储系统。1.4.1.2 基本组成单元存储系统、存储（应用）服务器、千兆交换机（或光纤交换机）1.4.1.3 主要特点l 集中存储，统一管理：采用中心集中存储模式，前端视频资源集中存储，系统资源统一管理；l 同时提供SAN和NAS：SAN提供高性能块级数据访问，NAS兼容多种文件存储协议，满足异构环境下文件共享需求；l 兼容性好：存储设备通过标准的存储协议与第三方服务器、平台实现连接；l 扩展便利：可实现LUN卷、RAID空间和整机设备的在线扩容，扩容过程不影响原系统应用；l 带宽预留功能：实现任一个客户端到存储的带宽预留，优化带宽竞争时的系统性能；l 多设备统一管理：提供集中管理监控软件，可以统一管理和监测多台设备。1.4.2 流媒体直写组网1.4.2.1 组网架构海康威视CVR存储系统作为视频录像和回放的中心节点，前端编码器以视频流的方式直接写入CVR存储系统，录像回放由CVR存储系统直接回放至客户端和解码器，录像和回放不通过中转环节。同时CVR存储系统可内嵌流媒体，集成转发功能。1.4.2.2 基本组成单元CVR存储系统、视频前端、管理服务器、千兆交换机。1.4.2.3 主要特点l 流媒体直写：前端、平台采用流媒体协议与存储直接交互，提高系统性能，精简存储服务器，消除服务器单点故障和性能瓶颈；l 集成视频转发功能：视频流可通过存储系统转发，进一步精简流媒体服务器；l 流媒体存储技术：底层采用流媒体管理结构，可保证断电断网等情况下系统的稳定性，并基本完全消除覆盖读写情况下的文件碎片；l 秒级检索、快速回放、批量下载；l 数据归档：提供录像锁定、录像数据本地备份和异地备份等多种数据归档功能；l N+1备机冗余：工作机故障时，备机即时接管录像服务；故障机恢复后，服务和数据自动回迁；l 智能补录：断网期间，前端在内置存储介质上录像，网络恢复后，录像上传存储设备；l 双码流录像：支持主子码流录像，并可通过策略灵活切换。1.5 存储容量计算单个通道24小时存储1天的计算公式(GB)码流大小（Mbps）83600秒24小时1天1024。1.5.1 标清D1格式按1.5Mbps码流计算，存放1天的数据总容量 1.5Mbps83600秒24小时 （1天）102415.8GB。 30天需要的容量(GB)15.8GB30天474GB以20个标清通道为例：20个通道的容量(TB)4742010009.48TB1.5.2 高清130万格式按4Mbps码流计算，存放1天的数据总容量 4Mbps8 3600秒24小时 （1天）102442.2GB。 30天需要的容量(GB