网络视频监控详解与实践之存储篇.docx

网络视频监控详解与实践之存储篇频存储的特点视频存储是网络视频监控系统应用中非常重要的一个环节。海量的视频数据通常需要进行长时间的存储，并为日后的视频录像资料检索、回放等提供服务。用户可以通过系统提供的应用检索界面，对某路、某个时间段的监控录像进行检索、回放或导出生成文件。从磁带到硬盘，从IDE到SAS接口，从单磁盘、JBOD到各种RAID技术，从DAS到NAS、SAN架构，存储领域的每一次技术变革都带动了视频存储领域相应的发展。视频监控领域的存储与民用领域(如视频网站)视频的存储应用不同，民用领域视频的存储主要指广播电视、网络视频等，它将视频文件存储在服务器上，然后网络用户通过对视频服务器的访问获得视频流，因此，主要是视频的直播或点播，是从存储设备中“读”并播放视频的过程。而监控领域的视频存储主要是“写”的过程，是将网络上的视频数据写入到磁盘阵列进行保存或备份的过程，当然，在写的过程中也会并发一定比例的“读”操作，即网络用户对视频录像的回放请求操作。视频监控系统中采用的存储设备在数据读写方式上具有与其他类型系统不同的特点。视频监控系统一般具有监控点多(摄像头数量多)、视频数据流大、存储时间长、24小时连续不间断作业等特点。视频监控应用中主要是视频码流的写入，具体特点如下：?视频数据以流媒体方式写入存储设备或从存储设备回放，与传统的文件读写不同。?多路视频长时间同时写入同一个存储设备，要求存储系统能长期稳定工作。?实时多路视频写入要求存储系统具有高带宽，且恒定。?容量需求巨大，存储扩展性能要求高，可在线更换故障设备或进行扩容。?多路并发读写时对存储设备性能要求非常高。视频存储的发展过程如本书先前介绍过的，视频监控技术的发展过程分模拟视频监控、数字视频监控及网络视频监控，模拟视频监控时代的存储设备是磁带录像机(VCR);数字视频监控时代的代表产品是数字硬盘录像机(DVR)，内置或外挂硬盘是主要的存储设备;在网络视频监控时代，网络摄像机、编码器负责视频的编码传输，而存储主要采用网络视频录像机，即NVR，NVR具有多种存储方式，如DAS、SAN可选。在网络化视频监控时期，数据呈爆炸性增长，存储方式变得多样化，不同的存储结构都得到应用，DAS、NAS、FCSAN及IPSAN等存储系统与数字网络视频监控系统配合应用，实现视频数据的海量、高速、实时、稳定的存储与检索。视频监控系统中存储系统的发展过程如图12.23所示。图12.23中，在数字视频监控时期，DVR作为数字化存储设备，通常采用的存储方式是内置多块大容量硬盘的方式实施存储扩展，或通过扩展接口外接磁盘阵列，可以理解为DAS方式的存储。DAS架构的存储在早期的单点及小规模DVR系统中，因为部署容易，成本不高而得以广泛应用，此方式的特点是单服务器(DVR)独享存储空间。DAS架构的视频存储的缺点如下：?存储系统难以扩展，日后扩容、升级、维护比较困难。?存储系统无法多机共享，设备利用率不高。?视频的存储与回放操作都依赖服务器，服务器负荷较高。?易发单点故障，无法高可靠运行。随着网络视频监控系统的发展，系统变得分散而规模不断扩大，因此，存储系统的容量、带宽、稳定性、集中管理、易维护、成本等方面均成为重点考虑因素。在此情况下，网络化、规模化的存储架构正好可以弥补DAS架构的各种不足，NAS、IPSAN、FCSAN以其良好的网络性、扩容性、冗余性、易管理性等优势得到更多的应用。视频监控存储需求对于磁盘阵列在数字视频监控系统中的应用，主要功能是视频的存储及视频回放检索。在大型系统中，对于海量的数字视频数据，存储系统的负荷是非常巨大的。一方面，系统需要24小时不间断地工作;另一方面，数据在不断地写入的同时可能伴随着视频回放、导出等工作。主要性能指标是容量、传输带宽(MB/s)、访问速度、成本等因素。对于视频监控系统，无论是DVR、NVR还是存储服务器，其核心工作是将视频码流写入磁盘(还有一小部分工作是响应视频回放请求，读取视频数据流)，因此，需要按照计划的码流值来考虑存储带宽(吞吐率)需求。2.存储容量需求通常，对于视频监控系统，无论是DVR、NVR还是存储服务器，其核心工作是视频存储，而存储设计的一个重点工作就是存储容量计算。其中主要需要考虑的因素如下：?系统中总共有多少个通道视频需要存储。?视频存储方式，如24小时存储、预置时间表存储或报警触发存储等方式。?通道的码流大小，可以由帧率与分辨率情况参考，如4CIFRT可以按2M计算。3.磁盘的IO性能视频监控系统应用中主要是以一定码流多路并发写入数据到磁盘中，并伴有随机读取应用。在采用MPEG-4编码方式的情况下，4CIF分辨率实时码流一般为2Mbps左右。假如视频流一次IO最大块为128kb，则100路需要执行的IO次数为2Mb/s128kb100=1562.5IOPS，而吞吐率为2Mb/s1008=25MB/s。4.视频存储的可靠性视频监控系统的数据存储，具有“养兵千日，用兵一时”的特点，可能存储系统中几十TB甚至上百TB的视频数据，“年年月月日日存储，日日月月年年覆盖”。期间甚至没有人需要进行录像回放，因为和谐社会，犯罪率极低，没有事故发生，也就没有进行回放录像的需求。但是，万一在某个时刻某个地点发生事故，就要求必须能够调出录像来，如果恰恰这个摄像头的这个时间段因为存储或其他原因而没有录像或不能回放，那么，这个系统是失败的，这叫“百密一疏”，是绝对不能允许的。视频录像、存储绝对不能百密一疏，这实质考核的是视频监控系统的可靠性。目前提高视频数据可靠性的方法如下：?分散存储、中央备份的方式。?分散存储、重点录像备份的方式。?存储服务器的冗余技术，以保证无间断工作。?磁盘阵列控制器的冗余技术。?磁盘的冗余技术，如采用各种RAID机制。?磁盘的在线更换机制，通常采用热备盘实现故障的自动更换。?采用NVR冗余备份技术提高可靠性。DVR采用内置硬盘的方式进行存储，同时，可以与存储备份服务器配合使用，对DVR中的重要通道视频、报警触发后的视频进行远程备份存储以保证数据的可靠性;而DVS具有本地缓冲存储以克服网络不可靠问题，DVS编码压缩后的视频数据发送到网络上，由NVR进行视频的存储与转发。与DVR类似，NVR可以与存储备份服务器配合使用，对NVR中的重要通道视频、报警触发后的视频进行远程备份存储以保证数据的可靠性，另外，NVR还可以采用N+1冗余备份方式以实现视频存储转发的高可靠性。视频存储的瓶颈说明无论视频监控系统的架构如何，其主要流程都是视频的采集、编码压缩、传输、存储与回放等几个环节，各个环节经过的路由基本是编码压缩、网络、各类服务器和存储设备。典型视频监控系统数据流如图12.26所示，图中，视频流从DVS、DVR通过网络发送过来，存储设备(NVR、归档备份服务器、媒体服务器)将视频写入到磁盘阵列中去。对于视频(存储)服务器，实质上包含两个环节，即“一进一出”。通过前端网络接口(网卡)进行视频流的捕获，然后通过后端存储接口HBA卡(当然也可能还是网络接口)，如SCSI卡或光纤卡等将视频流数据写入磁盘。这里的“视频(存储)服务器”，指的是NVR或归档服务器(ArchiveServer)，主要作用是对编码后的数字视频信号进行存储、转发、并响应用户的请求进行录像回放工作。需要注意，先前介绍的流