“云存储”解决方案建议书

动态架构之监控“云存储”解决方案块存储云解决方案建议书

一.携手动态架构，共同步入监控“云”端1.1认识“云”关于云存储对于“云”的概念，可以说是既熟悉又陌生。说熟悉是因为大多数人早就对“云”有所耳闻，说陌生是因为对“云”有深刻认识的人还不多。实际上，我们这里所说的云是一种“资源池”，由一些可以自我维护和管理的虚拟计算资源构成，通常是一些大型服务器集群，包括计算服务器、存储服务器、宽带资源、软件和应用等等。云计算将所有的计算资源集中起来，并由软件实现自动管理，动态创建高度虚拟化的资源提供给用户使用。您可以简单地把它理解成一个数据中心，这个数据中心的计算资源可以自动地管理和动态地分配、部署、配置、重新配置以及回收，也可以动态安装软件和应用。我们可以说，云计算是一种基础架构管理的方法论。同时，云计算是也一种计算模式，在这种模式中，计算资源、软件、数据、应用以服务的方式通过网络提供给用户使用。在云计算模式下，用户只需要连入互联网，借助轻量级客户端，例如手机、浏览器，就可以完成各种计算任务，包括程序开发、科学计算、软件使用乃至应用的托管。提供这些计算能力的资源对用户是不可见的，用户无需关心如何部署或维护这些资源，在用户看来，“云”中的资源是可以无限扩展的，可以随时获取、按需使用并按使用付费。“云”就像是一个发电厂，只是它提供的不是电力，而是虚拟计算资源，包括计算服务器、存储服务器、宽带资源，以及软件、数据和应用。云计算按照运营模式可以分为三种，即公共云、私有云和混合云。公共云：直接向最终用户提供服务，用户通过互联网访问获得云资源服务，但并不拥有云资源。目前Google、Amazon、xx公司都搭建有公共云，通过自己的基础架构直接向用户提供服务。私有云：自己搭建的基于“云”的数据中心基础架构，面向内部用户或外部客户提供云计算服务。拥有基础架构的自主权，并且可以基于自己的需求改进服务，进行自主创新。混合云：同时具备公共云和私有云特征，既有自已的云计算基础架构，也使用外部公共云提供的服务。通常，“云”的资源可从三个层面以服务的方式提供给使用者。首先是基础架构服务（Infrastructureasaservice），提供的是虚拟化服务器、存储服务器及网络资源；其次是平台服务（Platformsasaservice），提供的是优化的中间件，包括应用服务器、数据库服务器、服务器等；最后是软件服务（Softwareasaservice），包括应用、流程和信息服务。云环境的建设可以根据实际情况，从基础架构开始逐步实现或一步到位。在基础架构层面，按照云资源类型划分，我们又可以把云分成计算云和存储云。计算云的云资源以服务器为主，旨在为Unix/Linux/Windows应用提供计算资源的服务；存储云的云资源则以存储设备为主，为云用户提供块存储及文件存储服务。当然，也有很多云同时提供存储资源和计算资源服务。云存储是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云存储系统的结构模型由4层组成。存储层、基础管理层、应用接口层、访问层。存储层是云存储最基础的部分。存储设备以NAS和iSCSI等IP存储设备为主，也可以是SCSI或SAS等DAS存储设备。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。1.2部署“云”环境，构建动态架构改进服务、降低成本和管理风险是战略的三大用户价值，同时也是云计算带给用户的实际利益，抛开各自的具体架构，从最终的实现效果来看，云计算和动态架构可以说不谋而合。xx公司动态架构作为视频监控业务架构的基石，它超越了传统的监控业务，将视野延展到基于智慧城市的各种监控解决方案。其最大独特性在于能够灵活、快速地提供最佳的IT和业务服务。形成一个动态的基础架构，能及时响应变化的业务需求，灵活支持业务的扩展。让视频监控业务更实时，更迅速的进行业务决策。云计算会产生一些动态部署的功能，一些高资源利用率，一些标准的服务交付方式，所有的这些云计算带来的优势，动态架构一样可以带来。动态架构如果在一个监控业务的环境里面，可以让监控业务内部运转得更加灵活、更加安全，同时更低成本。放到一个开放的公共数据中心，动态架构也同样重要，比如一个公共娱乐提供商，怎样把公共娱乐环境的数据中心做得相当灵活、相当动态，这也是云计算和动态架构所交汇的部分。云计算是动态基础架构的一种资源配置方式的体现，部署一个“云”环境，也就构建了一个动态架构。在私有云当中，主要包含以下几个组件：物理基础架构、虚拟化层、服务自动化层、服务门户、安全体系、云API和可集成的其它功能。（如图私有云参考架构）图3.4私有云参考架构1.2.1 物理基础架构物理架构的定义是组成私有云的各种计算资源，包括存储、计算服务器、网络，无论是云还是传统的数据中心，都必须基于一定的物理架构才能运行。在私有云参考架构中的物理基础架构其表现形式应当是以资源池模式出现，也就是说，所有的物理基础架构应当是统一被管，且任一设备可以看成是无状态，或者说并不与其它的资源，或者是上层应用存在紧耦合关系，可以被私有云根据最终用户的需求，和预先定制好的策略，对其进行改变。1.2.2虚拟化层虚拟化是实现私有云的前提条件，通过虚拟化的方式，可以让计算资源运行超过以前更多的负载，提升资源利用率。虚拟化让应用和物理设备之间采用松耦合部署，物理资源状态的变更不影响到虚拟化的逻辑计算资源。且可以根据物力基础资源变化而动态调整，提升整体的灵活性。1.2.3服务自动化层服务自动化层实现了对计算资源操作的自动化处理。它可以监控集中存储的模式而言，针对整体解决方案设备的状态，比如性能、可用性、故障、事件汇总等等，并通过预先定义的自动化工作流进行相关的处理。服务自动化层是计算资源与云计算服务门户相关联的重要部件，服务自动化层拥有自动化配置和部署功能，可以进行服务模板的制定，并将服务内容和选择方式在云计算服务门户上注册，用户可以通过服务门户上的服务目录来选择相应的计算资源请求，由服务自动化层实现服务交付。1.2.4云视频接入监控云存储解决方案，视频接入使用私有云计算资源的接口，在视频前端和云存储进行交换的流程中可以执行申请、变更、退回等计算资源使用服务。云存储收到最终用户的请求时，将根据预先定义好的策略对该请求进行立刻存储空间的分配、预留或者排队。不同的前端视频接入通过同一个云服务到同一台云存储节点上，将会看到只属于自己的应用、计算资源和服务目录，这是利用的云计算当中的多租户技术，用户使用的资源在后台集中，但是在前端是完全的逻辑分离，有众多的安全保护措施来确保隔离。1.2.4安全体系在私有云当中，具有完整的安全体系，包括物理资源、虚拟化平台、系统安全、应用安全和用户访问安全，每个层次都有相关的安全监控和控制，确保最终用户的应用运行稳定可靠。1.2.6集成私有云当中可以集成其它更多的功能，以达到更好的服务效果。如服务级别管理，提供更好的服务质量。容量管理，为私有云的服务能力和扩展趋势作出建议。计量和收费，真正实现按使用付费。

二．xx公司云存储解决方案2.1私有“块存储云”需求概述私有云可能是目前能得到较快接受的监控业务云应用，因为在私有云中，所有云服务所带来的风险都会降低很多。私有云更适用于关键业务应用、在线事务处理，满足用户对数据安全性、系统可用性的要求，私有云是建设数据中心，特备是视频监控中心的首选方案。私有“块存储云”需求分析什么是块存储？其实，块存储是相对于文件存储的一个概念，块存储和文件存储的本质差异在于数据传输方式不同。块存储设备也被称为裸设备，通过SCSI/SAS或FCSAN与服务器连接，服务器直接通过SCSI/SAS或FC协议控制和访问数据；而文件存储设备是通过以太网与服务器连接，服务器通过NFS、CIFS、HTTP、FTP等标准协议进行数据访问，数据通过以太网传输，数据有打包/解包的过程。反之，块传输方式则不存在数据打包/解包的过程，因此可提供更高的性能，绝大多数的数据库都只能使用块存储设备，如FC磁盘存储系统。文件存储设备以NAS（网络附加存储）产品为主，主要用于文件共享。今天，特别是监控行业的数据量都在以惊人的加速态势增长，同时业务需求快速变化，信息化建设与业务发展之间存在着较大差距。现有存储设施对业务支撑缺乏灵活度、存储资源利用率低、管理复杂、不能满足关键业务的对数据库的快速访问要求。因此，平安城市所需要的存储基础架构必须具备如下几个关键特征：首先，它必须自治的，也就是说，它必须内嵌有自动化技术，消除人工部署和管理任务，允许平台自己智能地响应应用的要求。其次，它必须是弹性的，能够对动态变化的工作负载作出迅速响应。换句话说，要具备虚拟化技术和集群化技术，能灵活扩展和应对服务请求的快速变化。最后，它还要稳定、简单易操作、易于维护和管理。“块存储云”作为“云”的一种类型，同时具备“云”的优势和块存储设备的特性，可以满足以上需求。2.2针对平安城市的云存储解决方案云存储平台采用世界先进的分布式集群存储技术为框架，以全局冗余技术为核心，架构一个支持各种不同应用接口需求的云服务平台，并且支持多数据中心之间异地迁移数据，提高数据安全等级和异地访问效率，提供一个安全稳定、高效快捷、易扩容、易管理的云服务平台。2.2.1整体框架整体业务设计如上图。云存储系统，为个人/部门提供素材共享空间，实现多类型设备/多网络渠道的随时访问；为应用系统提高NFS/CIFS接口的数据存储服务，并能够与Symantec/CommVault等主流备份软件协同实现数据备份；建设总社中心和分中心的分布式部署，并能够实现统一管理和数据迁移。云存储系统采用了分布式存储技术，通过分布式存储软件的数据冗余存储、自动恢复机制，有效的保证了构建在云存储预集成架构上的数据可靠性，同时通过横向扩展机制保证了系统的可扩展性和性能，通过统一存储名字空间保证了对上层业务的统一支持。本次云存储项目首先应用于基础的视频录像。2.3xx公司监控云存储及其特点xx公司监控云存储系统是一款针对海量数据存储应用而设计的大规模通用集群存储系统，采用通用硬件设备作为基本的构建单元，为应用提供全局统一的系统映像和完全POSIX兼容的API接口，可与应用平台无缝兼容。云存储系统系统由服务器客户端、元数据服务器集群、智能存储集群三大部分组成：元数据集群由2台以上专用服务器组成，管理数据中心云存储的文件系统的元数据（包括文件目录树组织、属性维护、文件操作日志记录、授权访问等），管理整个存储系统的命名空间，对服务器客户端提供单一的系统映像。智能存储集群由3台以上专用存储服务器组成，是实际存储数据的单元，是云存储系统的存储资源提供者。服务器客户端安装于用户需要使用存储资源的应用服务器，对云存储提供的存储资源进行读写访问。如前所述，xx公司块存储云解决方案可以为内部的数据库用户提供受管理的块存储服务，方案由两部分组件构成：需要纳入块存储云的管理资源——DM8500-E云存储管理系统存储模块——VX1600系列存储模块如下图所示，左侧部分是块存储云解决方案的主体，由DM8500-E云存储管理系统和VX系列的存储设备模块组成，向云的用户提供块存储服务。右侧部分是最终用户看到的云资源——虚拟或网络驱动器，存储基础设施在云内是不可见的，前端IPC或编解码器像使用本地硬盘一样使用存储资源。xx公司块存储云解决方案具备弹性、可扩展的特点，帮您快速部署存储应用，动态适应业务变化，并保证业务的连续性。xx公司云存储管理系统突破性的网格架构提供杰出的性能、可扩展性、可靠性和方便的管理。xx公司VX1600系列存储模块基于SATA磁盘，运用独特的并行架构及缓存算法，不但消除了热点，其性能水平也远超出基于FC的磁盘系统，容量可以从几十TB扩展到PB级。而DM8500-E基于网格的全虚拟化设计的自管理结构，大大简化了海量存储环境下的管理。通过创新的冗余配置，能够以超快的重建时间实现自动化自修复，从而提供卓越的可用性与可靠性。利用内置动态分配功能实现按需分配存储空间，降低无效浪费，节省20％～50％空间，极大提高空间利用率。此外，VX1600系列还包括备份、复制功能与远程镜像在内的软件功能帮助进一步简化配置，保护业务核心录像数据，以防意外中断。xx公司iMP是一套针对监控存储基础架构进行管理的工具软件。针对监控网络中的服务器、SAN网络和磁盘阵列、摄像机等，提供单一、集成的视图来管理存储平台，能够对生产环境中的存储系统做出全面细致的自动化监控、预警、管理和评估，从而减少管理复杂存储基础结构的工作量，让您的存储基础架构变得更为灵活。xx公司监控云存储特点2.3.1海量计算数据统一高效管理随着计算数据量的增加，存储系统中需要存储大量的用户数据，存储系统里面的文件数量也会快速增长。当存储系统内的文件数量增长到数千万以上时，文件的检索查找等操作将会给文件系统带来巨大的压力，特别是一个目录下面存放的文件超过一定数量甚至会造成文件查找效率急剧下降。采用带外架构，降低元数据与数据信息相互干扰云存储系统采用带外架构，降低元数据与数据信息相互干扰，单卷可支持PB级的存储空间，高效的管理海量文件，使得存储环境在文件规模较大的情况下，也能高效检索访问，提高计算系统整体访问效率。元数据集群化技术，提高海量文件的访问效率和文件上限云存储系统通过世界领先的元数据集群化技术，所有元数据集群服务器统一参与数据检索及分配操作，大大提高了海量文件的访问效率，并且提高单套文件系统下能支撑的文件数量上限，可以达到单套文件系统下，支撑上千亿个文件高效存储及访问，单目录可以高效支持万级的文件数量。这些特性对于数据量较大又需要统一管理的应用非常重要。2.3.2无缝在线扩展，单卷支持256PB以上传统存储方案使用SAN或NAS架构，单卷大小受文件系统限制，使得传统存储方案扩容复杂，需要停机维护，单卷大小有扩容瓶颈等问题。而云存储系统，支持无缝在线扩展存储容量，单卷容量支持超过256PB，无需停机维护，对业务端完全透明。用户可以通过云存储的配置工具动态添加存储服务器以扩大系统的容量和规模，而且随着工业标准的通用硬件良好的兼容性和可获得性方便了整套存储系统将来的使用和扩展，云存储支持在1小时内部署上百TB的存储系统，无缝的在线增加存储容量，对音视频海量文件的存储非常有利。2.3.3分布式存储提供高效读写聚合带宽数据读写模式带外架构提高数据读写效率多个计算节点同时进行数据读写的过程中，由于频繁需要对数据进行读写操作，所以需要不停的对数据的元数据信息进行访问，而云存储系统的元数据与数据分离技术，大大提高的数据访问效率，提高整体读写性能。分布式存储提供高效读写聚合带宽云存储系统通过分布式架构，把数据分散在所有的存储服务器上，并且由云存储服务器直接与存储服务器进行数据读写通道的链接，使云存储服务器在数据存储与读取的过程中，同时会有多台存储服务器对云存储服务器的需求进行响应，形成一个多对多数据访问通道，大大提升数据读写带宽，提高计算工作效率。比如在计算应用服务器端，当计算程序往存储系统上存储文件时，文件将会被根据一定大小进行分片存放到多台存储服务器上；在计算程序读文件时，则并发的从多个服务器上读取数据。由于大量的数据IO请求都被分散到多台存储服务器上，使得所有的存储服务器上的磁盘性能和网络带宽都可以同时得到充分的利用，这样云存储系统的聚合带宽由多台的存储服务器上的IO带宽相加而成，可以满足多台计算应用节点并发访问的带宽需求。2.3.4高可靠的跨节点冗余，防止单点故障跨节点数据冗余，消除单点故障传统存储在数据保护方面普遍使用单机RAID的形式，保证单一节点内部，有硬盘损坏不会丢失数据。但是如果节点损坏，则无法保证数据安全；并且数据损坏以后，如果RAID组中硬盘过多，或者硬盘为2TB或更大硬盘，数据恢复较为困难，并且恢复速度较慢，在数据恢复期间会极大的影响硬盘读写效率，而且由于数据恢复期间硬盘读写压力大，极易在此期间内，RAID组再次损坏硬盘，造成整个RAID组数据丢失。云存储系统提供高效跨节点冗余技术，将数据的冗余数据与数据根据算法分别存储在不同的节点上，提供高安全等级的数据保护模式。例如，在运行中存储服务器由于磁盘损坏而丢失了该磁盘上的部分数据，云存储系统将会立刻发现该异常并自发的启动数据恢复流程，利用存放于其它存储服务器中该部分数据的校验数据重新生成一份以保证数据仍有一定的冗余度。在此过程中，业务不会中断，也不会影响业务访问。跨节点冗余及恢复模式元数据服务器交叉冗余，预防元数据单点故障部分带外架构存储系统，由于只有单个元数据服务器，或者一主一备的模式提供访问，在元数据服务器宕机时，要么无法访问存储环境，或者在主备元数据服务器切换时容易出现问题。云存储系统的所有元数据服务器同时在线提供服务，并且每两台元数据服务器为一组，每组元数据服务器内部相互之间会进行交叉备份，保证一组内，任何一个元数据出现问题，另一台元数据也拥有这组元数据服务器的完整数据，并且接管服务，不中断业务。元数据冗余流程双交换机冗余环境，防止网络单点故障云存储系统，通过双网卡、双交换机网络链路，提供冗余网络，防止集群存储系统的任何节点，在网卡损坏、网线损坏、交换机故障的情况下，存储系统能正常访问，不影响监控存储业务的使用，防止因为网络原因而影响监控存储业务的工作效率。视频录像的秒级恢复，并且不中断业务访问传统存储数据冗余使用RAID模式，在有硬盘损坏的情况下，RAID组进行数据重建的过程中，需要对RAID组内所有硬盘上的所有数据进行操作，比如6块3TB的硬盘做一个RAID，有一块硬盘损坏时，RAID控制器需要把剩下的5块3TB的硬盘共15TB的数据都操作一遍，来重建出丢失的硬盘上的数据，普遍需要2天以上，而且RAID组重建期间，对业务的访问影响极大，很容易相互影响，导致业务中断或者重建失败。xx公司云存储系统的数据恢复是基于真实丢失的数据，直接查找相对应的校验数据，对数据进行恢复；并且数据恢复是通过整个存储集群同时并发进行，相当于多个服务器同时对多个服务器进行读写数据，能实现秒级的数据恢复，相较于传统RAID技术的几块磁盘往一块硬盘上写数据，xx公司云存储系统具备更快的数据重建速度，有效降低恢复时间也能大幅提升数据的安全性。通过将数据和校验数据存放在不同存储服务器的方法可以对一系列的软硬件故障（网络、主机、磁盘等）进行自动的隔离，消除了存储系统的任何单点故障，而且也无需配置任何复杂的配置。可访问时长/全年时长≥99.999％；2.3.5数据安全保密xx公司云存储系统，在数据存储时，采用对象存储模式，分离元数据与数据信息，同时由元数据统一管理；当需要获取数据信息时，须通过自主开发的云存储软件，沟通元数据集群与存储集群，获取所有相关元数据信息与数据信息，经过云存储软件整合，才能获得有效数据，即使任何一个磁盘、一个云存储节点被盗或被入侵，都无法得知具体的数据内容。入侵者无法将零散的数据恢复成完整的数据内容。从而保证数据在存储过程中的安全。保证数据在存储过程中不被窃取。同时，对象在写入和读出时，系统通过元数据集群校验的机制保证数据的安全和一致性；2.3.6在线扩容与负载均衡技术保障存储空间高效利用传统存储通过增加设备数量来增加整体容量，但新增加的阵列或卷都没有数据，需要人工进行数据迁移，以保证新环境与老环境能同时对外提供读写空间。云存储系统，通过内置的自动负载均衡机制，在老环境空间利用率较高时，增加新的存储空间后，可以根据业务的繁忙程度，比如业务较空闲的时候，打开自动负载均衡开关，存储系统会自动对老环境内的部分数据进行数据迁移，以保证集群环境下，数据利用空间基本相同，以提高整体存储空间利用率，快速融合新加存储节点，整体提升存储读写效率。开放性平台云存储平台提供标准的POSIX接口，与标准操作系统接口无缝兼容，满足大部分应用软件的接口调用，降低二次开放成本；云存储平台支持所有X86架构服务器进行搭建，降低总体成本的同时，也极大提升云存储平台对于选择硬件的灵活性，充分利用所有空闲硬件，提高硬件利用率。数据快速恢复传统存储数据冗余使用RAID模式，在有硬盘损坏的情况下，RAID组进行数据重建的过程中，需要对RAID组内所有硬盘上的所有数据进行操作，比如6块3TB的硬盘做一个RAID5，有一块硬盘损坏时，RAID控制器需要把剩下的5块3TB的硬盘共15TB的数据都读一遍，来重建出丢失的硬盘上的数据，一般需要1天以上，而且RAID组重建期间，对业务的访问影响极大，很容易相互影响，导致业务中断或者重建失败。云存储的数据恢复是基于真实丢失的数据，并且数据恢复是通过整个存储集群同时并发进行，所以相对于传统的RAID技术具备更快的数据重建速度，这也能够有效提升数据的安全性。而且通过将数据和校验数据存放在不同存储服务器的方法可以对一系列的软硬件故障（网络、主机、磁盘等）进行自动的隔离，消除了存储系统的任何单点故障，而且也无需配置任何复杂的配置。在线更换失效硬件所有硬件均有使用寿命，一旦机器使用时间过长，机器很容易出现问题，为了确保业务的连续性，所以需要在线更换老旧硬件或有问题的硬件，以保证业务的健康运行。云存储系统，通过内置的数据迁移机制，可以针对设备进行数据迁移，把老旧设备上的数据迁移到新设备上，并且业务不中断访问，极大的提高了存储系统的生命力和工作效率；系统可维护性云存储系统配有简单易用的图形化管理界面，支持通过专用的安全通道进行远程配置，能够智能的发现各类软硬件故障并进行处理，减少了管理员的工作量。在监控管理界面中，支持简洁易用的事件配置和报警功能，可量化的性能指标如CPU利用率、内存利用率、磁盘使用量等应该都可以定义为报警事件。报警事件的管理和配置应同时支持全局层面和指定设备层面，实现从宏观到精细的事件管理和报警。在线限制权限，监控重命名、删除操作及安全管理为确保数据的安全性，云存储系统提供针对数据重命名权限、删除权限的限制功能，确保数据在特殊情况下，也不会丢失。同时提供监控功能，可以监控所有危险操作并记录，以确保数据的安全可靠。云存储系统也可以根据存储系统中各服务器的硬件状态，对硬件老旧、硬件健康状态不太好的服务器进行数据预保护机制，限制健康状态不好的服务器写入数据，防止新数据写入到高危服务器上，并且可以根据需要迁移高危服务器上的数据。云存储平台支持多监控中心数据推送云存储平台支持多数据中心架构，多数据中心之间可以通过同步服务器进行数据推送服务，以保证多个数据中心之间，数据一致，并且数据推送时不会与业务相互影响，导致推送失败或业务效率下降。视频监控云存储建设目标图xx公司提供的块存储云解决方案由xx公司最新的VX系列磁盘存储系统和DM8500-E云存储管理服务器组合而成。该方案可为监控的录像业务的提供块存储服务，并能够快速部署存储应用，动态适应业务变化，并保持业务的持续运行。对于文件存储需求，该方案同样可以满足。xx公司的DM8500-E+VX系列的云存储产品产品采用SATA磁盘，运用独特的并行架构及缓存算法，其性能水平远超出基于FC的磁盘系统，且容量可以从几十TB扩展到PB级。而DM8500-E云存储管理服务器是基于网格的全虚拟化设计，形成系统的自管理结构，大大简化了海量存储环境下的管理。VX系列创新的冗余配置，能够以超快的重建时间（10秒）实现自动化自修复，具备极强的自恢复能力，确保系统的稳定性。另外，利用DM8500-E的Thin-Provisioning功能可实现按需分配存储空间，降低无效浪费。xx公司的云存储系统提供的易管理性、瘦供给功能、扩展性、自恢复能力及出色的性能，非常适用于云环境。xx公司云存储系统是一套对开放式存储基础架构进行管理的工具软件。其中的iMP模块能够对生产环境中的存储系统做出全面细致的自动化监控、预警、管理和评估，让您的存储基础架构变得更为灵活，让存储随需应变，为云管理提供了有力工具。虚拟化监控中心基础架构平台是面向监控系统以虚拟化技术为核心的一体化架构平台。它主要包含：统一计算资源层：无状态的前端视频接入节点，各个视频接入节点能够透明的添加，调配，更改或删除，并且不影响应用系统的正常运行；单个存储节点应具备更好的虚拟化技术支持能力，优化的CPU和MEM配比，充分保证虚拟技术对物理资源的充分利用；多协议支持能力，要对iSCSI和NFS协议均具备良好的拨接端口和支持能力；精简的连接架构，网络交换架构要控制在二层之内，做到一次布线的多协议，多链路支持能力；图形化的管理界面，能实施动态监控和管理各个模块单元；开放的体系架构，能够连接第三方的统一网络和统一存储及虚拟化资源层。统一网络资源层：与虚拟交换机环境一体化的网络交换环境，能实现虚拟机提供的平滑漂移；端到端的网络QoS保障，能动态调节虚拟机的网络负载；可支持跨地域的二层网络交换架构，同步状态下能支持100KM的同城数据中心间实现一体化资源池体系；能与现有的网络结构充分融合，应由业界领导的网络厂商的核心产品构成，充分保障兼容性和用户投资。统一存储资源层：多协议支持能力，要同时具备iSCSI和NFS的稳定支持能力；动态的I/O资源调整能力，通过分层存储（企业级闪存磁盘，SAS磁盘和SATA磁盘）自动化的调度其上的所处的位置，使虚拟机在存储资源层具备透明的I/O随需调整能力；存储级的虚拟环境快照和克隆能力，要能支持虚拟机环境的快照和克隆技术，对虚拟化环境提供高效的保障环境；针对虚拟化环境的存储消重技术，充分利用虚拟化环境下大量数据重复的特点进行消重支持，更高效的利用存储资源；与虚拟资源层紧密结合的复制和灾备技术，从数据层充分保障虚分保障虚拟化操作系统层的稳定可靠运行；极小的性能消耗，最大限度的把物理资源有效的提供给虚拟机进行使用；个体封装，各个虚拟机之间独立运行，互不影响；高可用的支持支持能力，保障虚拟化的业务应用系统可以按需实现容错，漂移，冷备等不同层次的高可用能力；开放性的支持能力，对统一计算平台、统一网络平台和统一存储平台的第三方环境具备良好的兼容性和支持能力，并得到充分的测试认证。拟化环境的备份，复制和灾备体系的稳定和高效实现。虚拟化资源层：稳定可靠的虚拟化操作系统，具备安全高效的内核，充在各个统一资源层的基础上通过开放的API接口，构建一体化的监控部署工具进行统一管理，其目标就是构建一套有机结合在一起的，可以快速灵活部署和调用的虚拟化数据中心基础架构体系。图-虚拟化数据中心基础架构平台组成图三.xx公司云平台的组成3.1xx公司云平台功能特性虚拟化数据中心基础架构平台要求整个平台能够端到端的灵活调整资源部署，能够按照业务部署的要求快速的添加和调用资源部署；在这个平台上运行的应用业务系统能够实时调节计算、网络和存储资源配置，而且对应用用户完全透明没有影响；因此该平台应该具备以下功能特点：为应用业务系统提供可快速部署、调配的资源池体系，满足虚拟机的部署和资源灵活调整需求；与虚拟化层技术紧密结合在一起，使虚拟化层的管理工具可以直接快速的调用底层资源；一体化的监控和部署环境，能够对统一计算平台、统一网络平台和统一存储存储的各个层资源进行一体化的监控和快速部署及调整；统一计算平台的各个计算单元应具备无状态的属性特点，满足透明的实时变更、添加和调整计算资源的需要；统一网络平台应具备多协议的稳定支持能力，具备面向虚拟化层的QoS保障能力，具备一致的网络性能和安全规则部署能力；统一存储平台应具备稳定的多协议支持能力，具备面向虚拟化层的I/O实时调节能力，具备完整的与虚拟化技术紧密结合的存储备份、复制与恢复技术能力；经过严格测试认证和预先集成的体系架构，有效避免各个层面的潜在风险，并最大限度的发挥虚拟化平台的优势；在空间、能耗和维护成本上应比传统的物理架构具备明显的优势；能够提供面向SLA的服务级别保障，使用户的整个IT资源平滑的向ITaaS架构过渡；提供统一的支持服务体系，帮助用户快速准确的解决问题。3.2xx公司云平台扩展性虚拟化数据中心基础架构平台要能够满足用户业务应用系统实施变更和快速增长的需求，因此要求整个平台能够具有非常灵活和高效的扩展能力：模块化的快速部署能力，可一体化的添加计算、网络和存储资源，并与原有虚拟化基础平台能够形成统一的资源体系；按需独立横向扩展计算资源、网络资源或存储资源的能力，满足各个层面资源扩展的需求；具备跨地域的资源融合能力，可以将位于不同地理位置的虚拟化基础架构平台融合为统一的虚拟资源池架构，满足用户构建双活或多活数据中心及未来云架构数据中心的需求。3.3xx公司云平台性能虚拟化数据中心基础架构平台必须能够充分发挥虚拟化技术的性能，支持业界领先的虚拟化技术软件所需要的各种功能，并能够在最大程度上发挥虚拟化技术的优势。在稳定可靠的前提条件下，整个统一虚拟化基础架构平台应具备足够的灵活性以满足用户业务应用系统对不同规模和性能的要求。例如：应具备小型、中型、大型的平台建设规模，它们之间的性能和容量不同，但又在一定的范围内灵活可调，同时具备统一在一起融合管理的能力。3.4现有环境融合虚拟化数据中心基础架构平台是用户今后部署和运维业务应用系统的主要资源平台，同时它又是全面面向虚拟化技术紧密集成的资源平台，所以它需要完善的支持好虚拟化技术所需的各种支撑，而虚拟化资源层则需要尽量丰富的支持用户现有的应用部署环境。以用户现有环境为例，Intel平台上的Windows环境和Linux环境的支持是十分必要的。另外还应该提供有效的工具和服务能够为用户提供所需的从物理环境到虚拟化环境下的应用迁移服务。在用户今后的使用过程中还应提供相应的规划、部署、运维等方面的最佳实践建议。3.5高可用大规模视频业务系统的基础架构平台至少需要具备“5个9”或更高的高可用性，还应该能够用户需求扩展相应的保护和安全手段，满足用户迈向“永不停顿”的云计算数据中心的需求。至少应该从以下层面综合考虑：产品层次的高可用性：冗余的产品模块和结构，在发生局部硬件故障时不影响产品正常使用或可以实时更换修复；架构层次的高可用性：计算，网络和存储控制节点都是冗余的体系架构，充分保障整个系统的高可用性；管理层次的高可用性：管理控制节点和路径均有冗余保障，充分实现管理架构的高可用性；提供不同层级的应用和数据保护能力：根据用户的SLA模型，结合备份恢复，快照，克隆，归档，压缩，消重，同步异步复制，灾备技术，多路径负载均衡技术，等等方面的技术保障，来实现不同级别，比如：小时级别、分钟级别或秒级别的高可用业务保护能力；提供不同层级的安全访问控制能力：能实现针对不同需求用户的功能分层管理，在虚拟化的动态数据中心中也要实时保障整个系统认证的稳定可靠，保障权限分配系统的安全和高效运行，实时监控异常状态，并能够进行处理和恢复。四.xx公司云存储系统存储更多地被视为“云计算”的基础平台。时至今日，许多云计算提供的仅仅局限于CPU内核的集合，定量的内存分配，低转速存储，或者还有一些面向互联网的IP技术。近来，出现了有趣的与云计算和存储相关的高级技术，特别是使用WebServices访问方式，使得访问存储不再受限于设备文件或者NFS加载点。典型的数据存储和管理的“企业级特征”在IT架构创新上不断推成出新。但监控应用模式和传统的数据存储模式又有较大的区别，在监控业务中，云存储系统应该具备4.1功能性4.1.1性能性能需要付出成本。在一个架构良好的应用里，性能和成本处于平衡状态。达到这点的关键是使用合适的技术去匹配数据中心业务应用的性能，首先要求将视频监控存储业务转换成IT模式。因为这种转换困难，xx公司云监控存储系统提供了一个更能应对变化着的性能需求的平台。在早期的云计算平台里，存储I/O一般都会有较高的延迟。这是因为厂商注意到使云计算的数据更容易访问，但没注意到提高与性能、带宽和IOPS相关的服务级别。有两个原因导致延迟较高：访问的模式和类型，以及存储分布的配置。访问模式包括位于OSI模型物理层之上的多层协议的组合(如SOAP,NFS,TCP,IP和FCP)。数据访问包括共享的物理服务层(如以太网)和几个协议层(如SOAP或NFS)，一般比专门的物理层(如FC)产生更多的延迟。市场上大多数云计算平台包括Internet的数据访问，产生了更多的数据访问延迟。对于存储介质，大多数云计算的市场在RAID或JBOD配置中使用SAS或SATA磁盘。当你采用低性能存储介质的相对低带宽和高延迟的访问模式时，使用整个存储系统的吞吐能力无法支持更多的关键业务应用的需求。相比来说，监控云计算平台不仅仅是视频类的原始数据的存储，还会涉及重要录像的备份、多备份、视频分析等需要提供更多不同性能存储层的选择。当性能需求的变化时，云存储系统应该能使用这种变化。理想的云计算的存储应该有多种性能区，能够被调整，以提供合适的I/O性能级别给业务性能的需求。最后，为了满足视频存储及视频分析的性能需求，监控云存储的存储必须采用高于或者目前正在使用的普通的监控存储技术。此外，如何使用技术与技术本身同等重要。在一个云监控存储系统管理环境里，必须能够持续提供高性能为基础。3.2安全性安全性和虚拟化通常被视为相互矛盾的。毕竟虚拟化使得应用从物理硬件和网络边界中解放出来。安全性，换而言之，就是建立边界，需要考虑虚拟化设计的初始架构。在大多数云计算市场里，无论公有的还是私有的，数据安全性都是基于信任的，这信任通常都在管理程序里。当多数虚机共享物理LUN，CPU和内存时，由管理程序确保数据是否毁坏或者被错误的虚机访问。这与集群服务器多年来面临的基本挑战相同。任何也许需要接管进程的物理服务器必须能访问数据/应用/操作系统的权限。例如，为了主机外备份，LUN也许需要映射给公共的备份服务器。在云计算中，有两种方式去保护业务数据。第一种涉及系统程序管理安全。主要的目标是：系统尽可能少地被使用，避免任何虚拟机被其他虚拟机造成负面的影响。也需要保护LUN被其他服务器访问，如同主机外备份服务器。3.3自动ILM存储信息生命周期管理（ILM）曾经成为非常有效的市场行为的重心，被那些出售分层存储的厂商所推崇。虽然ILM本质上非常简单—存储的成本与数据的业务价值相匹配，实际的挑战来自于真正的执行效果，众多所谓的ILM方案，粒度都不够细，难以达到这样的目标。今天，传统的ILM并没有部署到市场上的大多数云计算平台中。原因有两个，第一，在许多云计算中，大部分磁盘介质采用处于典型ILM方案中的最低层存储，这样就没法把数据往更底层迁移，ILM也就无法部署。第二，用户不需要为云计算常用的计算类型而更长时间地管理数据，因为传统云计算通常用于功能测试/开发、概念验证(POC)、Web服务器测试等。考虑到多种因素，实施ILM策略所需细粒度的复杂性和成本与经济节省的云计算不相符。根据一些行业报告，70%的数据是静态的。通过将合适的数据存储在合适的介质上，能削减成本。他们能意识到通过部署云平台能节省成本，在云计算中实施ILM带来的经济效益意义重大。但前提是无需中断应用，而且不能增加不必要的操作复杂性。为了做到这些，必须使用基于策略的块级ILM方法，无论访问方式和应用类型。通过在数据块一级跟踪数据的属性，就无需在操作系统这一级执行数据归档或数据迁移。这种方法还能独立于操作系统类型，且独立于用于存储数据的访问方式。它不仅在保持性能(所有的数据写入都在高速层完成)的同时优化存储的成本，而且通过将不使用的数据块沉淀到低速层减少电能的消耗。这很合理，因为近线存储仅消耗存储的大约20%的能耗。为此，要做到真正适合业务级应用的自动分级存储，卷级或文件级数据迁移无法胜任，颗粒度必须细化到数据块级。只有数据块级的数据迁移才可能独立于操作系统类型，且独立于存储数据的访问方式，做到对应用支持的随需相应。3.4存储访问模式访问存储空间有三种主流方式：基于数据块（iSCSI）、基于文件（CIFS/NFS）、或通过Web服务。基于块和文件的访问方式在存储应用中最常见，能更好地控制性能、可用性和安全性。在这点上，市场上大多数云计算平台利用Web服务的接口，如SOAP和REST(代表性状态传输)访问数据。虽然，这是最灵活的方式，但有性能的影响。理想的情况是，云提供全部的三种访问存储的方式来支持不同应用架构。3.5可用性IT架构的维护窗口被大量的缩减，因为业务需要支持在不同时区的用户并保证全天候的可用性。虽然服务级别协议(SLA)一般与可用性密不可分，从业务角度看，它难以衡量，因为有着多种架构的复合SLA的重叠。在前面提到，在市场上大多数云计算平台中，I/O性能最先得到考虑。如果云平台依赖于不被内部IT集团管理的部分架构，那么冗余的架构部分和途径是减少停机风险的最佳方式。虽然，云存储服务提供商在考虑成本的同时继续增加可用性，但是目前市场上的服务级别协议不能满足大规模视频监控存储的关键应用的需求。在高端的数据中心级云计算中，包括多路径、控制器、RAID技术、端到端的架构控制/监控，和成熟的变更管理过程。为了提供满足大规模视频存储需要的服务水平，云存储供应商必须利用健全的架构设计和被充分验证过的创新技术。3.6重要录像数据的保护重要的录像数据是在被提升为案件或警情等重要的数据。重要的警情数据能够采用单一技术，或者结合多种技术进行保护。一些常用的方法包括：RAID保护、多份拷贝、远程复制、快照、和持续数据保护。在市场上大多数云计算解方案里，主数据保护的问题常常留给用户。今天，很少发现上述的方法在大众云计算平台中使用，因为技术的复杂性和成本。有一些大众云存储方案通过维护数据的多份拷贝来保护主数据，整个系统运行没有RAID保护的存储里，以此降低成本。云存储的主数据保护应该基于基础视频数据。当重要的视频录像需要行程案件或警情时，例如快照和复制（容灾）等可靠的技术应该就绪。3.7普通视频数据的防护普通级视频监控数据来源于视频接入端24小时的不间断的写入。一旦某个时间点的数据被这种数据保护意味着减少数据损坏，恢复被删除或被写覆盖的数据，为了业务或法规的需要将数据长期保存。典型的方案常包括备份软件和几类存储媒介。数据重复删除也许能被用上，但这在关系到数据隔离的多用户环境下，可能产生些问题。有些商业和公共领域上的方案，被加入到大众云存储中，以完成次级数据保护。但大众云计算平台的供应商很少将这些与在线存储一并打包。虽然原因各异，但在许多情况下，与恢复时间和保留期相关的服务水平(SLA)问题很难处理。无论方案是私有的还是多客户云平台，管理手段、可见性和恢复的服务水平是次级数据保护的关键。一旦提交恢复请求，恢复的启动应该直接而且能够自动完成。用户应该能掌控可预见的恢复性能水平(恢复的数据GB/时长)，而且应该能从一个简短的选项列表中选择保留的时长。最后，用户应该能检查那些在线备份的状态。因为频度和保留期决定了存储备份所需的资源—也就是成本—客户应该能够在线观察资源使用状况和收费情况，以免在结账时感到意外。3.8存储的灵活适应性存储的灵活适应性是指能够根据业务的需要的变化做到存储资源的随需响应。归根结底，它取决于操作系统对存储变化的检查能力和所使用的访问方式。在这里讨论的要素里，这一点是大众型云计算平台做得最好的要素。大多数方案都有按照预先设计的数量，逐渐增加存储的能力。删除空间也是一个选项，通常用于卷或加载点。如上所述，操作系统对存储变化的应对能力通常是个局限。支持云需求的存储需要能灵活扩展，需按照客户能理解的方式计费。虽然增加和删除存储空间非常重要，用户倾向于仅为其用到的空间付费。他们也希望在基于Web的管理方式下，具有调整和生成使用状况报表的功能。这种功能帮助他们控制成本，提供业务规划的智能。3.9存储报表当公司考虑将其全部或部分IT架构外包的时候，经常顾虑的是这些特定技术的不可见性。客户需要包括从容量和性能角度了解运行环境的状态。为了达到这个目的，通过用户管理界面，输出丰富的存储报表成为必须，使得客户对于存储高效的运行充满信心。在市场上云计算平台里，与存储相关的报表是最基本的工具。许多提供商提供标准的报表来使用，在一些场合下，他们也提供基本的性能评估工具，或者来自提供商，或者来自共享厂商，或者是第三方工具。云存储解决方案比传统存储解决方案有优势，传统存储解决方案的用户普遍具备数据业务模式单一，数据量有限等特征。云计算云存储解决方案的提供商应该具备更综合性、更精确的报表能力，尤其是对于存储系统使用情况的可见性。4.2扩展性考虑到后期扩容的需求，对系统扩展性的要求十分重要。主要体现在以下几个方面：可以实时对容量进行扩充和升级；支持磁盘的热插拔，新增的资源可以立即被平台辨识，管理和分配；最低要求可以同时更换两块坏磁盘，更换上的新磁盘自动进行数据填充修复，以保持数据完整性、一致性；新增磁盘空间要对磁盘的总体负载要起到良好的均衡作用；支持新增空间的主动和被动的数据备份作用。4.3容量为了提供优秀的读取速度，稳定的数据存储性能，对云存储系统的整体容量和最小容量提出要求，具体如下：整体支持ＰＢ级的存储能力，具有快速部署一个ＰＢ的能力；最小磁盘支持1TB(7200rmp)；整个云存储平台最大存储能力要求达到30PB以上；4.4性能云存储平台的吞吐能力要求能够随着存储能力的增长而线性增长；要求能够通过调整云存储平台的硬件配置，灵活调整吞吐能力与存储能力的比率，以适应业务变化对平台能力的要求；要求支持客户端多线程并发上传下载文件，提供访问速度；要求支持大文件分片存储在多个存储节点，各存储节点能够完成对各分片的并发读写能力，提高大文件的访问速度；4.5可靠性云存储一旦投入运作，是全年不断电无休系统，需要确保高度的可靠性。具体要求以下几点：全年不下电，不停机，不闪断；出现故障及时进行告警（声音、灯闪），告警分等级，界面可见，具有详细说明和修复手段提示；要求有raid保护机制，在用户数据写单份的情况下，要求数据访问的可靠性达到99.999%，即对单个存储节点要求：可访问时长/全年时长>=99.999％要求用户数据可靠性可灵活配置，支持设置用户数据的副本数、是否异地存放，向用户提供不同级别的可靠性保护；要求任意两块磁盘或单个存储节点损坏，不会导致用户数据丢失；要求任意磁盘或存储节点故障，不影响云存储平台其他设备的正常使用和用户访问。

五.xx公司方案价值及优势通过实施xx公司块存储云解决方案，可以将存储资源进行集中化和标准化管理，为IT运行环境带来更多的价值：存储应用可根据需要得到迅速部署；存储基础设施能够适应动态变化的业务需求；实现系统内部的协作和数据共享；DM8500-E的动态分配供功能可帮助节省30％的磁盘空间，极大提高空间利用率；XIV的高级复制服务，确保数据的可用性；降低电力消耗，降低系统维护成本。xx公司块存储云解决方案，改变现有存储设备的使用方式，帮您应对未来难以预计的业务变化和数据的急速增长，并为云方案的升级和扩展做好准备。xx公司提供的基于监控业务的“块存储云解决方案”的优势在于：经过优化的整体数据吞吐量，提供出色的性能快速存调录像，确保关键业务应用的高效运作数据流和管理流分离，消除系统瓶颈，减少服务器相比同类解决方案，提供最高级别的弹性，确保关键应用随时可用监控云存储解决方案可完全满足多大规模的视频监控存储的功能需求，而且优势明显，主要包括：1) 领先的云存储技术架构，无缝在线扩展，单卷支持容量256PB以上。国内领先的集群存储系统，已经突破了NAS、SAN、等传统产品的各种限制，真正实现了用户数据的云存储管理，成为下一代存储技术发展的主流。它支持无缝在线扩展存储容量，单卷容量支持超过256PB，无需停机维护，而对用户来说看到的始终是一致的文件系统视图，对业务端完全透明。2) 高可靠的跨节点冗余，提供整体高可靠性。采用独特的冗余算法，进行数据保护，保证数据与冗余数据分配到集群的不同的机器上，避免系统中任何部件损坏、服务器损坏、网卡损坏，均可保证数据安全可靠并自行恢复到健康节点，业务不受影响无需停机维护；且所有部件均可在线更换，不影响业务。如需增加可靠性，可通过设置三副本或四副本参数，轻松实现数据更高的安全性。解决方案配置了冗余的网络交换机，从架构上保证了网络层面上亦无单点故障。3) 提供高聚合带宽，满足高并发音视频点播需要。云存储系统基于分布式系统实现，所有的智能存储服务器共同分担点播服务器对存储造成的读写、检索压力，提供10GB以上的IO吞吐带宽；而且扩容时节点增加，性能也呈线性增加，而不会造成现有系统出现性能瓶颈，同时也无需改造现有系统架构。4) 提供高效的海量文件检索性能，提高视频和图片访问高峰时的打开速度。xx公司监控云存储系统拥有世界领先的多元数据服务器集群技术和高效的海量文件检索技术，在存放上百亿文件的同时保持极高的文件检索效率。例如在单目录下存放上千万数量文件时，仍能够提供每秒数万次的文件检索效率。5) 降低运维管理成本和扩容成本。系统实现文件全局共享，无需给视频业务规划单独的卷，防止存储资源利用率不均衡而导致的存储资源管理复杂、数据需要人工迁移的现象，极大降低运维成本和运维风险。由于存储资源的统一管理，使得存储扩容时完全做到按需扩容，扩容成本也得到有效的控制。

六.xx公司监控云存储解决方案产品6.1云存储管理服务器DataManager8500-E是xx公司科技专门针对安防监控应用开发的云存储管理服务器，采用IMOS架构，具备高性能、大容量、弹性扩展、批量管理、智能路由、录像管理、缓存补录、录像备份等特点以及丰富的业务支撑能力，可以满足各种大、中型安防视频监控系统的录像应用，可广泛应用于公安、金融、交通、电力、能源、教育、大型园区、楼宇、医疗等行业。DM8500-E云存储管理服务器强大的数据管理能力Scale-out扩展方式，系统容量可从TB级平滑扩展到160PB级支持128个数据节点的接入支持集中管理和全局统一命名空间管理，具备全局调度和路由功能元数据节点支持多机备份，系统无中心故障点拥有独特的多媒体存储专利“MAS”技术，能实现块存能接入IMP8500智能网管管理，版本自动更新支持多维度的设备和业务异常的告警上报智能化的全系统无损升级和扩容，节点即插即用业务的自动负载分担基于业务的故障自切换超级多媒体块的多备份支持给每路摄像机动态分配存储资源提供快速录像检索功能，支持长时间跨度（可达数月）录像的秒级检索支持最高16倍速前进和后退，支持单帧回放提供录像备份的管理功能支持录像存储和备份的计划管理功能，能有效减少无效数据的存储支持高速下载录像支持即时回放和多路同步回放高可靠性推荐接入支持RAID5的存储设备服务器有看护进程驻守，能有效防止进程异常采用Linux操作系统，支持7×24小时稳定运行，并且不易受到黑客、病毒的入侵和攻击全IP网络传输支持多种网络协议：TCP/IP、RTSP、UDP、HTTP、IGMP、Telnet、ICMP、ARP，SIP、SNMP、FTP、TFTP支持双网卡部署方式支持VPN的部署方式产品标准化业务的建立和拆除完全基于SIP消息，配置管理基于SNMP消息回放码流支持标准的TS和PS格式封装回放支持标准的RTSP协议支持国标和Onvif协议产品硬件规格列表处理器Corei7内存容量4GB-128GB硬盘2TB企业级HDD网络接口2个千兆以太网接口6.1云监控存储模块VX1600是xx公司科技为监控解决方案量身定制的具备极高性价比的云存储解决方案存储模块，是集视频数据管理、iSCSI存储、RAID5计算、数据的永久保护技术与业界顶级的磁盘管