监控存储器.docx

监控存储器网络存储技术的产生、发展是随着经济社会的商业化快速发展而发展的，现代商业经济模式的变化使得计算机技术走出校园得以实用化，大量商业数据的产生和流动催生了计算技术和存储技术模式的变化。从集中的大型计算和一体化存储发展到分布式计算和分布式网络存储，如今又随着网络通信的高速发展诞生了云计算、云存储。其实最核心的还是其中的存储与流动的数据。视频监控的录像就是数据，因此谈到网络存储技术、产品或架构其实基本点在于我们需要保存何种数据，如何利用这些数据。所以在设计视频存储产品或者设计视频监控的存储架构时要充分考虑到这一点才能为用户提供最佳的产品和架构。网络存储的技术发展网络存储是适应分布式计算而产生的。在商业高度发达的时代，商业机构营业范围越来越大，分支机构越来越多，业务也越来越分散。在每个分支机构都会有大量的应用进行计算，计算产生的数据迅速增加，导致服务器内部存储不足。并且数据保存在不同服务器上形成了信息孤岛。不利于部门之间信息共享，同时信息基础架构的成本也大大增加。网络存储的出现就解决了这些问题，服务器计算产生的数据通过存储网络保存在网络存储器里，不但节约了信息基础架构的成本，还使数据在不同部门之间得到共享。而通过对网络存储上的数据进行集中的备份和归档使得总部能够掌握全面的销售数据、能快速调整企业战略及实现成本控制。网络存储有FC SAN、IP SAN、NAS等几种类型，就存储设备本身而言这三者没什么不同，区别在于不同的存储网络协议和前端接口的物理形式。1、FC SAN应该是最早的网络存储形式，采用光纤存储网络连接服务器和存储器，有专门的光纤存储交换机，采用可靠的光纤存储传输协议。存储器前端接口是光纤接口，这是非常可靠的网络存储形式。通过RAID分组、划分LUN为主机提供外部存储扩展，数据以块的形式存在于存储器上，优点是数据传输的效率高，可以达到80%以上网络利用率;高可靠传输方式，发送端得到接收端确认后再传后续数据。其缺点在于需要构建专门的光纤存储网络，在信息技术普及的初期，由于光纤技术成本高昂，所以在很多用户的印象里这是一个高成本的存储解决方案。但是随着科学技术的快速发展，光纤网络构建的成本大大下降，如今已经可以跟IP网络的成本持平了。2、IP SAN跟FC SAN一样都是块存储，存储原理相同，不同的是IP SAN为了延长FC SAN的传输距离而产生的，利用IP网络传输，前端接口是IP接口。由于裸光纤的传输距离有限，即便使用一些光传输设备去延长，也无法适合超过百公里的传输。因此IP SAN就是为解决远距离网络存储专门设计的，而并不是为了降低存储网络成本。当然在信息技术普及初期，客观上IP存储网络和光纤存储网络相比还是有比较大的成本优势。3、NAS是文件共享存储形式，主机产生的数据以文件形式通过IP网络保存在NAS存储设备上。优点是文件共享方便，缺点是效率较低，速度慢，并且由于早期文件系统的限制，存储容量较小，无法横向扩展，多数在16TB或32TB大小。最新的网络存储技术是统一分层存储，统一是指对于一台存储器来说同时提供支持FC、IP、NAS乃至最新的MPFS、FCoE等存储传输协议的前端接口和控制，这样一台存储设备就可以支持不同的主机应用;分层是指有效利用多种磁盘类型，例如：固态硬盘、光纤硬盘、SAS硬盘以及SATA硬盘，在同一LUN里存在不同类型的磁盘，存储器自动扫描热点数据，把应用的热点数据自动移动到较快的磁盘上，当该热点数据不再被频繁访问的时候，自动将其移到较慢的磁盘上。整体上达到高效、降低成本的效果，也是云计算的基础。视频监控存储的选择对于海量高清视频存储来讲，相信这些视频监控数据对用户来讲毋庸置疑是非常重要的，其重要性不仅仅在于事件发生后对真相的调查，而最重要在于利用最新的视频分析手段进行大量自动化或人工的视频数据分析，通过主动的调查分析，总结出不同事件中规律性的特点、特征帮助决策。这里提到的决策包括安防、商业运营、管理等多方面策略的决定与调整。上面提到网络存储的不同类型和特点，在规划视频存储架构如何具体选用?结合作者具体参与的案例做一下说明，例如某“平安城市”项目，最初的设计是几百台存储容量在100TB左右的小型IP SAN视频专用存储。在这里简要谈谈IP SAN视频专用存储，这是利用通用的IP SAN存储设备在其控制器内嵌视频录像软件，再通过视频平台软件统一设置、管理。笔者认为这种设备不是信息存储行业所说的IP SAN存储，实际上这是安防产品供应商基于信息技术产品开发的一种网络硬盘录像机，通常这种设备只支持供应商自己的平台软件，在接入其它平台时会存在兼容性问题。并且由于信息产品更新速度非常快，常常导致安防产品供应商无法保证此类OEM产品的连续性，造成用户无法升级与扩容。当笔者与“平安城市”的最终用户进行了多次技术交流后，根据用户的海量视频监控数据存储、应用网络环境、管理模式、对视频数据进行事后分析的需求，提出使用大容量集中式架构，标准的、开放式、高性能的FC SAN网络存储作为视频监控存储的解决方案。1、首先，构建大规模网络视频监控系统，IP传输网络一定不能成为瓶颈，不可能说网络条件不够好，需要进行分散存储然后再转发其中重要的视频进行中央存储。其实，如果能够从派出所转发，就能够从摄像机直接传输到市局中心。再者，如果网络有瓶颈那就必须先解决网络的问题，再讨论系统架构。一般应认为网络带宽无限制是开始构建整个系统的基础。2、标准化、开放式能够使用户能够避免基础架构的兼容性和差异性。标准化指使用标准的PC服务器运行视频管理数据库、流媒体转发、录像、GIS、交通卡口等等“平安城市”系统应用。同时利用服务器虚拟化技术优化计算环境，使应用进一步脱离硬件的限制或者解除应用对硬件的过分控制，达到优化硬件资源，实现资源共享、提高系统效率、提高硬件可靠性无需专门的硬件冗余设计。开放性表现在应用和基础架构互相透明，应用不再依赖特定的硬件资源。3、集中式运维管理模式，有效提高管理效率，降低系统管理难度。良好的数据中心环境能确保系统正常运转，降低故障率，提高系统的可用性。4、数据中心范围内的光纤存储网络成本较低，传输效率高。5、FC SAN高性能存储确保大量数据的同时读写，录像是大量的顺序写。事件的调查和大量视频录像数据分析是随机读或顺序读。大量的数据同时读写是对存储设备的巨大考验，小型的IP SAN或IP SAN视频专用存储则不具备这种能力。用户非常接受这样的结论，通过工程实施中的测试验证，最终为用户构建了基于虚拟化服务器以及大容量FC SAN集中存储的“平安城