海康威视视频云存储与解决与方案

-.z海康威视视频云存储解决方案V2.1-.z阅读提示一、文档类别系统应用设计方案二、适用性简述一、方案重点阐述1、方案对海康威视视频云存储系统进展了介绍，使受众能够对海康威视视频云存储解决方案有整体的了解。2、方案详细阐述了视频云存储的三种场景，针对不同的应用场景进展详细的视频云存储解决方案设计，最终可以根据实际的工程需求，形成可落地的工程软硬件配置清单。3、方案最后将视频云存储与传统集中存储进展比照，视频云存储与文件云存储比照，使受众加深对海康威视视频云存储解决方案的认识。二、方案适用性方案是以推广、应标和工程设计为目的而提供的系统解决方案，在使用此方案时需要根据具体的工程情况，进展相应内容的选择及修改，以符合实际应用。请仔细阅读第二章说明，判断实际工程应该选择云存储应用场景，明确后直接阅读第三章、第四章或第五章。三、方案受众：公司解决方案、售前相关人员以及技术人员三、关联可参考文档?视频云存储容量计算工具??视频云存储配置清单?其他云存储相关文档：ftp://hikftp.hikvision.:400\产品资料\01.股份公司\08.视频云存储文档控制序号修订内容修订时间修订人审核人1?海康威视视频云存储解决方案V0.8?赵斌王淑文汪渭春王冠2?海康威视视频云存储解决方案V1.0?赵斌王淑文汪渭春王冠3?海康威视视频云存储解决方案V1.1?汪渭春王冠4?海康威视视频云存储解决方案V2.0?王冠廖雄*重5?海康威视视频云存储解决方案V2.1?增加图片直存云存储方式的描述。王冠6?海康威视视频云存储解决方案V2.2?增加验收内容的章节2021.03.06王冠正文目录TOC\o"2-3"\h\z\t"标题1,1"第一章概述81.1系统简介81.2设计原则81.3设计目标91.4术语及缩略语解释10术语解释10英文/缩略语解释11第二章总体设计152.1需求说明15功能性需求说明15非功能性需求说明162.2技术路线172.3逻辑架构182.4系统特点20高效灵活的空间管理20海量数据的快速检索21持续可靠的数据效劳22高可扩展的应用支撑23开放透明的兼容系统242.5应用场景24第三章视频类云存储设计263.1系统软硬件设计26软件设计26硬件设计343.2系统物理拓扑353.3系统功能设计37视频存储功能37录像管理功能38系统管理功能38运维管理功能393.4系统业务流程39视频存储流程39视频检索流程40视频读取流程413.5系统工程设计42工程信息收集42云存储设计流程43云存储管理效劳器设计44存储容量计算463.6系统软硬件总参考清单48第四章图片类云存储设计494.1系统软硬件设计49软件设计49硬件设计544.2系统物理拓扑554.3系统功能设计57图片存储功能57系统管理功能58运维管理功能584.4系统业务流程59图片存储流程59图片检索流程61图片下载流程614.5系统工程设计62工程信息收集62云存储设计流程63云存储管理效劳器设计64存储容量计算664.6系统软硬件总参考清单67第五章视频、图片混合云存储设计695.1系统软硬件设计69软件设计69硬件设计775.2系统物理拓扑775.3系统功能设计79视频存储功能79录像管理功能79图像存储功能79系统管理功能80运维管理功能805.4系统业务流程80视频业务流程80图片业务流程805.5系统工程设计80工程信息收集80云存储设计流程81云存储管理效劳器设计82云存储存储设备设计845.6系统软硬件总参考清单86第六章存储技术比照分析88存储技术现状88存储技术比照分析94第七章987.1?视频云存储容量计算工具?987.2主要硬件产品介绍98存储管理效劳器98存储主机99表格目录TOC\fF\h\z\t"表1"\c表1视频监控云存储与传统集中存储比照表94表2视频监控云存储与文件云存储比照表96图片目录TOC\h\z\t"题注,图片"\c图1.云存储逻辑架构图18图2.CVM软件架构27图3.CVS软件架构29图4.CVA软件架构31图5.ASS软件架构33图6.视频云存储物理构造图36图7.视频云存储系统功能图37图8.视频存储流程40图9.视频检索流程41图10.视频读取流程42图11.管理节点双机部署方式45图12.管理节点集群部署方式46图13.CVM软件架构50图14.CVS软件架构52图15.ASS软件架构53图16.图片类云存储系统物理构造56图17.视频云存储系统功能57图18.图片直存流程60图19.图片非直存流程61图20.图片下载流程62图21.管理节点双机部署方式65图22.管理节点集群部署方式66图23.CVM软件架构70图24.CVS软件架构72图25.CVA软件架构74图26.ASS软件架构76图27.视频图片混合云存储物理构造图78图28.视频云存储系统功能图79图29.管理节点双机部署方式83图30.管理节点集群部署方式84图31.CVR直连存储图90图32.视频云存储拓扑图93概述系统简介随着视频监控系统规模越来越大，以及高清视频的大规模应用，视频监控系统中需要存储的数据和应用的复杂程度在不断提高，且视频数据需要长时间持续地保存到存储系统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了新的要求。在未来的复杂系统中，数据将呈现爆炸性的海量增长，提供对海量数据的快速存储及检索技术，显得尤为重要，存储系统正在成为视频监控技术未来开展的决定性因素。面对百PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展上会存在瓶颈。而云存储可以突破这些性能瓶颈，而且可以实现性能与容量的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。云存储是在云计算〔cloudputing〕概念上延伸和开展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。依据云存储的技术及功能特点，海康威视公司专门针对大容量视频数据的存储和管理以及满足视频监控领域特殊的应用需求，量身设计了一套海康威视视频云存储系统〔以下文章中称为海康威视视频云存储〕。设计原则视频云存储系统的设计和实施主要遵循“技术先进性、应用高效性、开放兼容性〞等方面的原则。采用前瞻性的存储技术架构采用以云存储为核心的IT技术与安防监控行业特点进展结合，进而针对性开发出具有行业属性的先进视频、图片专有云存储系统。将云存储核心技术如集群化部署、资源虚拟化整合、分布式流数据存储等技术应用到本套云存储系统中。同时充分考虑安防监控行业的开展需要，该套云存储系统需要能够支撑未来大数据处理、智能分析处理等云计算技术的需要，实现云存储系统在安防监控领域的先进性和前瞻性。专注与应用结合的设计方式本套云存储系统是针对安防监控行业内视频数据、图片数据存储而设计的，对视频数据的具体业务应用进展详细的应用分析后，从系统底层的流数据构造的设计一直到上层的应用调度策略设计都必须站在应用的角度考虑存储。云存储系统需要明确自己作为应用的支撑这一深层次的角色定位，而不能再停留在传统存储和通用的文件云存储仅仅是数据存储的这一较低的层次认识。因此专注于视频和图片的应用是本套视频云存储系统的重要设计原则。提供开放和兼容的系统环境云存储系统的开放性和兼容性是需要考虑的重要原则，本套云存储系统要成为业内领先的专业存储系统，就必须要考虑到与标准应用平台的无缝对接和第三方标准存储设备的兼容性问题。本套云存储系统需要对应用平台提供统一的接口，可在不同的行业中与其应用平台进展良好的互动，对用户的应用提供优秀的数据保障。同时对于第三方标准存储设备，云存储系统应该做到良好的兼容性，以保护用户的前期投入提供一个开放、公平的系统环境。设计目标海康威视视频云存储系统设计的核心目标其一是视频和图片数据在存储方面能够很好的满足用户需求；其二是为用户应用数据提供高效、稳定、快速的效劳；其三是系统可以实现便捷、可靠的统一管理及运维。数据存储海康威视视频云存储系统实现百PB级的海量存储，突破传统的SAN或NAS在容量和性能的扩展上存在的瓶颈，实现性能与容量的线性扩展，满足用户对高性能、高可用性的需求。视频云存储系统通过集群智能化部署设计，不同于传统视频存储的部署模式，系统性能全面提升，而且不再存在单机故障及性能瓶颈应用，从而实现高效实用的存储系统。应用效劳海康威视视频云存储系统是一套贴合用户需求而设计视频云存储系统，其先天的基因中就融入了面向应用的特质，在不断开展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠的专业级存储效劳。统一管理及运维视频云存储系统具有高效灵活的空间管理能力，通过全系统分层集群的设计将系统的管理资源进展整合，并根据负载均衡算法提供全高效并发处理机制，提高了系统的整体性能。视频云存储系统内的设备和资源的运行情况进展统一监控，以标准的SNMP协议与运维效劳器进展数据交互，能够非常便捷的实现系统整体运维。术语及缩略语解释术语解释云存储：是与云计算同时兴起的一个概念。云存储一般包含两个含义：1〕云存储是云计算的存储局部，即虚拟化的、易于扩展的存储资源池。用户通过云计算使用存储资源池，但不是所有的云计算的存储局部都是可以别离的。2〕云存储意味着存储可以作为一种效劳，通过网络提供应用户，用户可以通过假设干种方式来使用存储。云计算：〔Cloudputing〕是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供应计算机和其他设备。双机热备〔双机容错〕：就是对于重要的效劳，使用两台效劳器，互相备份，共同执行同一效劳。当一台效劳器出现故障时，可以由另一台效劳器承担效劳任务，从而在不需要人工干预的情况下，自动保证系统能持续提供效劳。集群〔cluster〕技术：是一种较新的技术,通过集群技术，可以在付出较低本钱的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。虚拟化：是指计算元件在虚拟的根底上而不是真实的根底上运行，是一种多设备虚拟整合、虚拟应用的技术；是一种简化了管理，优化资源的解决方案。负载均衡：一种分布式计算机处理技术，用来平衡电脑各部件或大型电脑、效劳器各主机的资源使用率。I帧：表示关键帧，可以理解为这一帧画面的完整保存；解码时只需要本帧数据就可以完成。H.264：是MPEG-4标准所定义的最新，同时也是技术含量最高、代表最新技术水平的视频编码格式之一，H.264最具价值的局部无疑是更高的数据压缩比。720P：是美国电影电视工程师协会〔SMPTE〕制定的高等级高清数字电视的格式标准，有效显示格式为1280×720，P是Progressive,逐行的意思。1080P：是美国电影电视工程师协会〔SMPTE〕制定的高等级高清数字电视的格式标准，有效显示格式为1920×1080，P是Progressive,逐行的意思。英文/缩略语解释AAFP：Apple公司开发的文件协议API〔ApplicationProgrammingInterface〕，称为应用编程接口，就是软件系统不同组成局部衔接的约定。软件的规模日益庞大，常常会需要把复杂的系统划分成小的组成局部，编程接口的设计十分重要。ASSN〔AsynchronousStorageServiceNode〕第三方存储效劳节点ASS〔AsynchronousStorageService〕异构存储软件CCIFS〔monInternetFileSystem〕通用Internet文件系统在windows主机之间进展网络文件共享，是通过使用微软公司自己的CIFS效劳实现的。CVMN〔CloudVideoManageNode〕视频云存储管理节点CVSN〔CloudVideoStorageNode〕视频云存储节点CVM〔CloudVideoManage〕视频云存储管理软件CVN〔CloudVideoNet-Snmp〕视频云存储运维软件CVS〔CloudVideoStorage〕视频云存储软件CVA〔CloudVideoAccess〕视频云存储接入软件FFC协议〔FibreChannel〕提高硬盘协议的传输带宽，侧重于数据的快速、高效、可靠传输，FC光纤通道拥有自己的协议层。FCSAN网络介质为光纤通道，把效劳器与存储设备连接起来的存储技术。FTP〔FileTransferProtocol〕文件传输协议，使得主机间可以共享文件。GGUI〔GraphicalUserInterface图形用户接口〕是指采用图形方式显示的计算机操作用户界面。HHot-Spare，当一个正在使用的磁盘发生故障后，一个空闲、加电并待机的磁盘将马上代替此故障盘，此方法就是热备。〔Hyperte*ttransferprotocol超文本传输协议〕是一种详细规定了浏览器和万维网效劳器之间互相通信的规则。IIO〔Input/Output〕输入/输出。IP〔InternetProtocol网络之间互连的协议〕中文简称为“网协〞，就是为计算机网络相互连接进展通信而设计的协议。IPC〔IPCamera〕网络摄像机名称缩写。IPSAN：是在传统IP以太网上架构一个SAN存储网络把效劳器与存储设备连接起来的存储技术。IPSAN其实在FCSAN的根底上再进一步，它把SCSI协议完全封装在IP协议之中即iSCSI协议。iSCSI是一种由IBM公司研究开发的，是一个供硬件设备使用的可以在IP协议的上层运行的SCSI指令集。JJPEG〔JointPhotographicE*pertsGroup联合图像专家小组〕图像压缩标准。MMibs网络中所有可能的被管理对象的集合的数据构造。NNAS〔NetworkStorageTechnologies〕基于标准网络协议实现数据传输。NFS〔NetworkFileSystem〕即网络文件系统.网络文件系统允许一个系统在网络上与他人共享目录和文件。PPB数据单位，1PB=1,024TB=1,048,576GBRRaid〔RedundantArraysofIndependentDisks〕，中文为独立冗余磁盘阵列。RTSP〔RealTimeStreamingProtocol〕实时流传输协议，是TCP/IP协议体系中的一个应用层协议。SSAN〔StorageAreaNetwork〕集中式管理的高速存储网络，由多供应商存储系统、存储管理软件、应用程序效劳器和网络硬件组成。SAS是新一代的SCSI技术，和现在流行的SerialATA〔SATA〕硬盘一样，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SNMP〔SimpleNetworkManagementProtocol〕简单网络管理协议，它是一个标准的用于管理IP网络上结点的协议。SSD〔SolidStateDrives〕固态硬盘简称固盘，简单的说就是用固态电子存储芯片阵列而制成的硬盘。TTrap广义的trap即snmptrap，指被管理设备〔代理〕上报的陷阱报文，说明设备发生故障或变更的主动通知。TB数据单位，1TB=1,024GB=1,048,576MBTCP〔TransmissionControlProtocol〕传输控制协议，是一种面向连接、可靠的、基于字节流的运输层〔Transportlaye〕通信协议。UUDP〔UserDataProtocol〕用户数据报协议是与TCP相对应的协议，它是面向非连接的协议，它不与对方建立连接，而是直接就把数据包发送过去。URL〔UniformResourceLocator〕称为网页地址，是因特网上标准的资源的地址。WWEB广泛译作网络、互联网等技术领域。WebService是一种效劳导向架构的技术,通过标准的Web协议提供效劳,目的是保证不同平台的应用效劳可以互操作。总体设计海康威视视频云存储系统是由海康威视自主研发的一套针对安防监控行业应用的专业级云存储系统。采用软硬件一体化设计，结合先进的集群化技术、虚拟化技术、离散存储技术等，通过流式文件系统对存储资源进展虚拟化和应用化整合，为用户提供高性能、高稳定、高扩展性的数据存储效劳。需求说明功能性需求说明视频功能要求视频存储系统具备7×24小时大码流视频录像、快速检索、回放和管理的功能，同时，对于视频的回放，须有相应的优化，比方I帧序列回放等。检索要求支持对录像按照多种方式检索，如按照类型、标签、时间段等方式。回放要求按照类型、时间、I帧、正序、倒序、倍数等方式进展回放。管理要求支持删除、锁定、标注、循环覆盖〔时间、空间〕等方式进展管理。图片功能要求视频存储系统支持图片的高速写入、并发下载、图片压缩、锁定、删除等功能。下载要求支持按时间段和URL的方式获取图片。图片压缩要求能支持按照图片尺寸、大小进展压缩。提供图片直存和非直存两种解决方案，丰富图片存储的多项选择性。运维管理功能要求支持对系统的运行状态、存储使用情况进展监控，以及对软硬件异常状态报警，便于用户处理。系统管理功能要求统一效劳接口，系统提供的统一的效劳接口便于与应用平台进展对接。要求提供统一的管理界面，通过管理界面能进展存储设备和资源的配置。非功能性需求说明可靠性需求采用视频云存储技术，将网络中大量各种不同类型的存储设备通过应用软件整合起来协同工作，共同对外提供视频数据存储和业务访问。保证单个节点失效时，系统能够通过自动负载将业务调整到其他设备上以满足用户业务的持续性；并且需要能够提供数据的迁移备份，在设备故障无法快速修复时依然能够支持数据的正常读取来满足业务应用的需要。稳定性需求随着容量和存储设备的增加，如何保证海量数据存储的平安性和可靠性是传统视频存储面临的巨大挑战，要求存储系统具备7×24小时的不连续写入的能力。在系统运行的过程中，运行压力的持续或加大系统能够通过集群技术、虚拟化技术动态自动调整业务压力，将业务响应的压力进展分散来减少单点压力过大。扩展性需求云存储系统的建立在不同的阶段可能会有不同的容量要求。随着工程的不断扩大、应用的不断加强，容量将会不断扩大。则云存储系统需要能够提供动态扩展功能，要求对在线系统增加、减少设备时业务不中断。设备一旦融入云存储系统后立即可用作为整体存储资源的一局部进展调用，在扩展存储设备时要求能够支持对接标准第三方存储设备。另外对于系统的扩展性，在动态调整具体监控区域的存储资源时要求能够做到良好的灵活性，即不但能够增加存储资源的配给，也能够减少存储资源的配给工作，充分表达出良好的扩展性。可用性需求云存储系统需要提高良好的可用性，将复杂的应用、繁琐的操作流程简单化。对用户而言只需要使用唯一的IP地址就能够访问和管理云存储系统。用户在唯一的界面上就能够准确并平安地进展配置、部署、监控整套云存储系统，能够为用户对设备状态、资源、报警、升级、扩展，维护方面提供便捷。性能需求要求系统提供线性递增的性能属性，容量越大性能越强；同时提供并发响应机制，加快数据业务的处理能力。技术路线海康威视视频云存储系统基于云架构进展开发，采用面向用户业务应用的设计思路，融合集群应用、负载均衡、虚拟化、云构造化、离散存储等技术，可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作，共同对外提供高性能、高可靠、不连续的数据存储和业务访问效劳。在视频云存储系统的设计中，采用的核心技术如下：采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩容防止瓶颈限制，可以更有效的进展资源管理，灵活增减空间，到达最大程度上合理利用空间的效果。采用集群技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和平安性。采用离散存储技术，保障了用户高效的读写的同时保证了业务的持续性。采用统一完善的接口，降低对接本钱、平台维护本钱和用户管理的复杂度。采用开放的集成构架，使其可兼容业界各类iSCSI/FC存储设备，保护用户现有存储投资资源。采用数据备份和容灾技术，保证云存储中的数据不丧失，确证云存储效劳的平安稳定。采用视频、图片的全直存技术方案，保证工程整体的本钱控制，优化存储系统流程。逻辑架构云存储系统采用分层构造设计，整个系统从逻辑上分为五层，分别为设备层、存储层、管理层、接口层、应用层。云存储逻辑架构图设备层设备层是云存储最根底、最底层的局部，该层由标准的物理设备组成，支持标准的IP-SAN、FC-SAN存储设备。在系统组成中，存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。存储层在存储层上部署云存储流数据系统，通过调用云存储流数据系统，实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据〔视频、图片、附属流〕和设备层存储设备之间的通信连接，完成数据的高效的写入、读取和调用等效劳。管理层在管理层，融合了索引管理、方案管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像方案的主动下发，以及硬件设备的状态监控和故障维护等；实现整个存储系统的虚拟化的统一管理，实现上层效劳〔视频录像、回放、查询、智能分析数据请求等〕的响应。接口层应用接口层是云存储最灵活多变的局部，接口层面向用户应用提供完善以及统一的访问接口，接口类型可分为WebService接口、API接口、Mibs接口，可以根据实际业务类型，开发不同的应用效劳接口，提供不同的应用效劳。实现和行业专属平台、运维平台的对接；实现和智能分析处理系统之间的对接；实现视频数据的存储、检索、回放、浏览转发等操作；实现关键视频数据的远程容灾；实现设备以及效劳的监控和运维等。应用层从逻辑上划分，除了应用层外，剩下的四层都属于通常云存储的*畴，但是在海康威视视频云存储系统中，为了与视频监控系统的建立和应用更加严密的结合，更加符合用户的业务需求，将应用层纳入了整个系统架构中，从根本上提高海康威视视频云存储系统的针对性。可将行业视频监管平台、运维平台、智能分析平台等通过相应的接口与云存储系统对接，实现与云存储系统之间的数据以及信令的交互。行业视频监控平台可与云存储系统进展配置录像方案、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互，辅助流数据、视频数据、图片数据的存取。运维平台采用标准的SNMP协议实现并提供Mibs接口，对云存储系统以及效劳进展监控管理，及时将产生的告警传递给用户。将智能分析平台可与云存储系统进展对接，实现根底数据的读取，以及经过存储的二次分析后的片段信息，文本信息写入和检索。系统特点海康威视视频云存储系统通过全集群化设计、全域虚拟化设计、分布式文件系统设计、面向应用的算法、功能设计为用户提供了更为海量的存储空间、更为庞大的前端路数支持、更为高效的处理能力、更为透明的系统环境。对于面向视频、图片等监控行业无疑是一套非常优秀的云存储系统。高效灵活的空间管理海康威视视频云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进展整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。存储资源的虚拟化对存储空间的管理方面海康威视视频云存储系统将全域各存储节点的资源进展虚拟化后，向用户呈现出一个持续的、超大的数据资源池，将其称之为存储资源池。存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。存储资源的在线扩展当存储资源无法满足用户的容量需求，需要进展存储资源的扩展时，海康威视视频云存储系统能为用户提供十分便易的操作。用户只需要在集群内添加新增存储设备的IP地址，系统会自动区分新增设备，对新增设备进展虚拟化整合，这样新增设备的容量就能融入集群，并作为集群内全部存储资源的一局部为用户所用；同时，在整个存储资源的扩展过程中，视频云存储系统的录像业务正常运行，保障用户不会因为系统的扩容而中断正在进展的正常业务，从而实现存储资源的在线扩展。云存储的系统架构保证了存储资源在线扩容的同时，可以满足容量与处理性能的线性增长，从而提供了无限制的容量增长能力。虚拟空间的灵活使用用户对存储资源池的使用完全可以做到随心所欲，可以按照监控系统的需要和监控区域的容量大小将存储资源池的存储资源进展分配，分配后的存储资源称为录像池。录像池的划分采用灵活策略方式，对于已经分配好的并在线运行的录像池策略依然能够进展调整。调整方式非常灵活，不但能够做到将录像池进展扩大，同时也能非常灵活的支持将录像池进展缩小，而这点在传统存储中则非常困难。海量数据的快速检索海康威视视频云存储系统管理着百PB级的存储容量空间，但是依然能够具备高效、准确、快速的数据检索能力。一体化索引设计海康威视视频云存储系统的索引管理遵循着高效、简洁、一体化的设计思路。所有与用户业务相关的索引信息统一由海康威视视频云存储系统的视频云存储管理节点或者集群进展管理。视频云存储管理集群在对索引的一体化设计上将海量数据索引查找、筛选进展了全面的优化，大大的提高了查找速度。在规模不断扩大时性能几乎一样，均能做到毫秒级耗时。深化的应用设计海康威视视频云存储系统本着视频云存储系统的特有性，在视频、图片的*些专有信息上也进展了独特的设计。可以支持快速的对I帧定位并直接读取I帧信息，防止了传统存储在I帧数据获取时反复读取视频数据再分析呈现的过程。该项设计使得海康威视视频云存储系统在数据存储索引设计与用户应用更严密地进展了融合，使得海康威视视频云存储系统能够为用户提供更为高效的海量数据的快速检索能力。持续可靠的数据效劳海康威视视频云存储系统为用户能够提供7*24小时不连续高效可持续的数据效劳，充分保护数据平安和可靠性。集群化管理节点设计海康威视视频云存储系统在管理层面通过部署集群化视频云存储管理节点向用户提供系统级的存储性能和可靠性。通过视频云存储管理集群将管理压力、业务压力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上，不但能够使系统整体性能提升，还可以使得单台节点的压力下降。通过这种方式单台视频云存储管理节点的系统消耗更小，也就使得使用寿命更长，可能出现故障的概率降低。即使视频云存储管理集群中局部〔一台或多台〕节点出现故障，也不会影响到视频云存储系统的效劳，因为在视频云存储管理集群中的其他节点会主动接过故障节点的工作，继续为视频云存储系统提供管理效劳。持续并发业务存取在数据存储层面同样由于视频云存储节点也采用的集群化部署，所有的存储资源是采用虚拟化的方式由系统统一进展管理的。在数据存储时海康威视视频云存储系统采用离散存储算法，可以为用户提供系统级分散存储效劳。支持将同一IPC提供的数据流按照分片的方式分布式存储在不同视频云存储节点上。这样即使单台或多台存储节点出现故障该IPC的录像数据仍然可用。在存储节点内运行管理和业务软件也可用对数据进展合理分配，同时高效的Raid技术在设备层面也能保证数据的高平安和可靠性。高可靠的录像功能海康威视视频云存储系统在存储节点上内置视频云接入软件，所提供的录像效劳和流媒体效劳也是由视频云存储管理节点统一进展调度的，每套视频云接入软件负责一局部前端的录像工作。当这台节点宕机时视频云存储管理集群会根据当前资源情况按照负载均衡策略将这局部录像任务重新进展分配，保证业务的不中断。高可扩展的应用支撑海康威视视频云存储系统是一套为视频、图片等监控行业而设计视频云存储系统。其先天的基因中就融入了面向应用的特质，在不断开展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠、的专业级存储效劳。数据应用性能支撑由于视频数据具有持续时间长、数据量大等特点，在存储和读取上对存储设设备的压力会尤其的严重。传统存储在遇到视频流数据的时候往往会出现存储/读取慢、前端支持路数底的瓶颈。而海康威视视频云存储系统就能够很好的解决这些问题。流数据存储构造设计海康威视视频云存储系统的集群化、分布式设计使得系统的性能有很大的提升，能够并发效劳以满足视频数据的高速读取需求。海康威视视频云存储系统的流数据构造系统也是专门为视频、图片数据而设计，能够合理将整段数据进展划分。这样设计的优点是满足视频数据的持续写入。对于划分的粒度，通过海康威视多年视频监控行业的效劳经历，同时配合对大数据效劳的扩展需要，以及考虑到后期数据读取和应用的频率而进展的专业调整。在具体存储空间的分配**康威视视频云存储也是自有知识产权的设计，摒弃传统存储的分配方式而为视频、图片数据而特别设计的。高扩展性应用设计视频录像的应用方面海康威视视频云存储也进展了充分的考虑。如支持对I帧的快速定位、对录像标注、修改、对存储周期采用时间和存储容量双轴线覆盖策略等。海康威视视频云存储这些专业化设计使得用户在应用过程中不再需要平台分析效劳器采用反复读取完整录像后再进展分析而得出结论的方式。这样大大优化了应用的效劳质量，使得监控系统的效劳也更加专业、有效。同时为有云计算需求的用户提供了优质的数据根底。开放透明的兼容系统海康威视视频云存储系统的设计理念就是通过云的概念将所有不同类型的应用、业务接口全部封闭在云内，为上层业务和用户提供统一的、透明的、可调用的系统级存储资源。统一开发平台接口云存储系统在软件接口设计上采用API的模式对内部所有处理模块进展筛选，将对业务有决定性的模块按照接口的模式进展统一封装，提供应上层业务进展调用，这样云存储系统内部实现对上层业务就不再重要，上层业务只用调用云存储系统提供的统一接口即可，大大的优化了上层业务的代码构造、简化了操作步骤，也将应用的效率和性能进展了大幅提高。标准第三方设备接入海康威视视频云存储系统采用的是标准的设备兼容模式，支持标准IPSAN、FCSAN存储设备的接入。海康威视视频云存储系统通过部署第三方存储效劳节点的方式，将用户环境中现有或者需要使用的标准第三方存储设备统一进展管理。第三方存储设备接入到海康威视视频云存储系统后，由视频云存储管理集群统一进展管理，第三方存储设备的资源也纳入到虚拟池内进展管理。用户在使用上并不会感受到差异，真正实现透明、统一、兼容的视频云存储系统。应用场景海康威视视频云存储解决方案作为安防监控行业整体方案中的存储技术局部，在确定使用云存储方案前需先明确存储业务的类型。当前云存储业务应用场景分为三种类型：纯视频云存储场景、纯图片云存储场景、视频与图片混合类云存储场景。视频云存储场景与图片云存储场景的主要区别在于：视频云存储中视频数据流采用直写方式存储到存储磁盘阵列上。在此场景中云存储的存储节点替代了流媒体效劳器的功能，将流媒体转发与存储结合，简化了系统构造。因此云存储不需要部署流媒体效劳器，可以节省工程的整体本钱。同时大幅提高存储系统的效率和可靠性。图片云存储方案中高清抓拍相机的图片数据流需要通过平台接入效劳器转发到存储磁盘阵列。以云存储替代传统的存储方式，可以最大限度的发挥存储设备的整体性能，大幅提升存储效率和可靠性。对于图片中我司的图片直存云存储方案则可省去接入效劳器，效率更为优良。混合云存储场景支持一套云存储能同时满足视频和图片数据的存储要求。并综合视频和图片的在云存储系统中的存储优势，将复杂的业务存储场景简单化，向用户提供一体化的存储解决方案。因此本方案针对业务应用场景进展了分类：纯视频类数据的云存储设计请参考第三章；纯图片类数据的云存储设计请参考第四章；工程既包含视频存储又包含图片存储的情况请参考第五章。视频类云存储设计海康威视视频云存储系统应用于纯视频存储时，主要是承担整个系统内的视频数据写入/读取工作。云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计，在系统内部实现了多设备协同工作、性能和资源的虚拟整合，最大限度利用了硬件资源和存储空间。另一方面，通过将云存储的存储功能、管理功能进展打包，通过开放透明的应用接口和简单易用的管理界面，与上层应用平台整合后，为整个安防监控系统提供了高效、可靠的数据存储效劳。系统软硬件设计软件设计海康威视视频云存储系统主要由四大部件组成：云存储管理软件〔CVM〕，云存储软件〔CVS〕，云存储接入软件〔CVA〕以及云存储异构软件〔ASS〕。下面分别介绍四大软件内部构造及功能。视频云存储管理软件CVM视频云存储管理软件：CVM〔CloudVideoManage〕整套软件，主要功能包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。软件包含六大功能模块，分别为：索引管理模块、调度管理模块、集群管理模块、方案管理模块、资源管理模块、辅助管理模块，整体软件架构如以下列图所示：CVM软件架构索引管理模块索引管理模块集群化管理集群中的全部管理节点，能并发响应用户的检索、插入、修改和删除操作情况，提供一体化、高并发、快响应的索引效劳。同时，索引管理模块提供视频索引、标注索引效劳，支持以通道号、时间段、录像类型和锁定状态为条件的视频信息检索效劳，支持以通道号和时间段为条件插入、修改、删除和检索标注的功能，以及根据标注关键字检索视频的特色功能。调度管理模块调度管理模块根据集群中设备的负载状况，灵活的调度集群资源为应用业务提供支撑。作为集群系统中的逻辑引擎根据不同的逻辑策略执行不同的调度算法，提供资源分配调度、分散策略调度、循环覆盖调度、录像方案调度等效劳。集群管理模块集群管理模块统一管理集群中分布式设备节点，包括管理节点和存储节点。它负责管理节点之间关键信息的实时同步，保证集群中不同管理节点信息的一致性，无差异化的对外提供效劳。同时也负责管理存储节点，将存储节点参加到集群中作为存储资源的一局部，集群管理模块维护集群中设备节点的实时状态信息，对外提供设备状态查询接口便于管理和了解集群的整体运行状态信息。方案管理模块方案管理模块负责录像方案的管理、下发、切换，保存监控平台下发的录像方案，调度系统中的录像方案并执行录像方案，当接入效劳器异常时负责动态切换录像方案到其它接入效劳器。资源管理模块资源管理模块负责对集群中所有存储设备的存储空间进展统一管理，根据入网存储设备上报的资源信息计算出集群存储总容量和空闲容量，负责创立、删除录像池，为存储业务分配适宜的存储资源。同时能动态的调整录像池的大小，弹性的对录像池进展扩容或者缩减，将集群存储空间切分成细小独立的存储单元，再根据用户需要，将很多个存储单元有机组合后虚拟化成录像池对外提供存储效劳。辅助管理模块辅助管理模块包含日志管理、运维管理、数据迁移等功能，日志管理为其他模块提供日志打印效劳，对外具备日志查询和日志文件下载功能，包含调试日志、事件提示日志、错误日志、告警日志和重要日志。运维管理云视频管理节点的运行参数获取接口，供运维平台获取管理节点的实时运行信息。数据迁移功能对外提供将第三方数据迁移到本视频云存储系统中保存的功能。视频云存储软件CVS视频云存储软件：CVS〔CloudVideoStorage〕是视频云存储系统中的重要模块，主要负责执行具体的视频数据读写操作。CVS集成在视频云存储节点〔CVSN〕上，每一台存储设备上都必须装载该软件模块。视频云存储软件〔CVS〕承受视频云存储管理软件〔CVM〕的管理，从视频云接入软件〔CVA〕接收海量视频数据，高效无误的存放在本机指定的数据块中。在一套视频云存储系统中，视频云存储存储管理软件〔CVM〕会均衡分配多台视频云存储软件〔CVS〕的业务负载量，使整个系统的读写性能到达最正确。视频云存储软件按照功能模块化设计，整体软件架构如以下列图所示：CVS软件架构通信模块本模块主要是负责和CVA及CVM进展数据信息的交互，采用多线程并发接收和发送数据的方式，高效完成跨机器的数据交互。运维管理本模块主要是负责和视频云运维软件进展交互，采集系统数据及程序运行数据，并按照特定协议格式发送给视频云运维部件，方便平台对整个云存储系统运行状态进展实时监控，如有故障出现，及时报警提醒相关人员进展处理。视频接入本模块主要是负责处理从CVA传输进来的视频数据，并按分类进展一定的逻辑处理。采用多线程的处理方式，可同时支持数百路的视频数据接入。日志管理本模块主要是负责对CVS的日志进展统一管理，记录一些重要事件，方便事件回溯，对外提供日志查询和日志下载功能。视频文件系统本模块根据视频的特性，定义流式存储构造，主要是负责视频数据的高效读、写。数据库管理本模块主要是负责对CVS系统运行时需要临时存放的一些重要数据进展保存，可以方便的以SQL接口提供插入和查询，简化数据存放和获取的机制。视频云存储接入软件CVA视频云接入软件CVA〔CloudVideoAccess〕也是整个云存储系统的重要组成局部，主要包括录像任务管理、录像效劳、设备状态管理和局部流媒体转发效劳等功能。视频云接入软件支持定时录像、移动侦测录像和事件录像〔如：手动录像〕，其中事件录像的优先级要高于定时录像和移动侦测录像。视频云接入软件实时检测用户配置的录像方案任务信息表，当接入软件检测到有通道需要执行录像任务时，接入软件首先通知流媒体效劳从前端设备读取视频数据，然后根据录像类型执行相关录像。视频云接入软件按照功能模块化设计，软件包括六大功能模块：录像任务管理、流媒体效劳、设备状态管理、负载信息管理、录像效劳、视频帧分析。整体软件架构如以下列图所示：CVA软件架构录像任务管理录像任务管理功能主要包括定时录像管理、移动侦测录像管理和事件录像管理等功能。定时录像和移动侦测录像是用户设置的方案录像，事件录像是用户方案外的录像。录像管理功能需要按照用户的需求从前端设备获取视频数据、执行录像、停顿录像和停顿从前端设备取流等操作。移动侦测录像，录像管理功能首先需要对前端设备布防，并监控前端设备的报警状态，同时还可以根据用户的需求提前从前端设备获取视频数据，通过预先获取数据流保证了视频的完整性，当接入软件收到前端设备的移动侦测报警命令后，立即执行录像。事件录像，录像管理功能接收到事件录像命令，首先检索当前通道是否有定时录像或移动侦测录像，如果没有上述两种录像，立即执行录像，事件录像的优先级要高于移动侦测录像和定时录像。流媒体效劳流媒体效劳主要包括流媒体转发模块和流控制管理模块，流媒体效劳具有稳定和高效等特点，整个系统提供持续的视频数据支持。流媒体效劳传输视频数据支持RTSP、TCP和UDP协议，可以根据不同环境选择适宜当前网络性能的传输方式。流媒体效劳视频流转发功能：流媒体效劳从前端设备获取到视频流后可以根据用户的需要将视频流转发给多个用户或设备。通过视频转发功能降低了前端设备的压力，节省了网络带宽，极大的提高了系统性能。设备状态管理设备状态管理是云存储接入软件的根底功能，它主要包括监控前端设备状态、布防状态和取视频数据流的状态。前端设备状态监控：状态管理功能实时获取前端设备的状态，当检测到前端设备异常，接入软件会及时上报。设备布防状态监控：状态管理功能实时监控前端设备的布防状态，当前端设备布防失败，接入软件会及时上报。读取视频流状态监控：状态管理功能实时监控流媒体效劳的工作状态、如果流媒体效劳取视频流时发生异常，接入软件会及时上报。负载信息管理负载信息管理功能主要是接入软件实时监控当前效劳器的内存和CPU使用情况，并定时上报当前资源使用信息，云存储管理软件〔CVM〕根据上报的资源使用信息均衡分配录像方案到云存储接入软件〔CVA〕。录像效劳录像效劳包括取流管理模块和执行录像效劳模块两个局部。录像效劳接收录像任务管理模块下发的录像信令，当录像效劳接收到录像任务管理模块开启录像信令后，首先通过取流模块向流媒体效劳发送取流信令，然后将流媒体转发的视频数据发送到云视频存储软件为一次录像的开场。当录像效劳接收到录像任务管理模块下发的停顿录像信令，录像效劳首先向流媒体效劳发送停顿取流的信令，然后通知云视频存储软件停顿录像为一次录像的完毕。视频帧分析帧分析模块主要是对流媒体效劳读取的视频数据进展帧分析，从视频数据中分析出关键帧等信息，为系统提供关键帧查询和关键帧回放提供技术支持。视频云存储异构软件ASS异构存储软件ASS〔AsynchronousStorageService〕主要负责接入第三方iSCSI/FC标准存储设备，软件集成安装在ASSN节点内，具体负责接入第三方iSCSI/FC存储设备的工作。软件主要由三个模块实现，分别为识别模块、挂载模块和管理模块；主要和CVS交互。通过识别模块和挂载模块实现对第三方标准存储设备的兼容工作。通过管理模块与存储设备以及上层CVS之间进展交互。整体软件架构如以下列图所示：ASS软件架构识别模块探测到异构设备后获取其相关系统信息，将其视作为存储设备，在设备目录中添加相应节点。挂载模块将新加的设备节点转化为通用存储设备节点，并挂载到软件系统中以备CVS使用。管理模块本模块的功能是：将本机内存储设备和异构设备统一管理，实现设备的参加和退出，以及相关状态的保存和记录。除上述三项软件外，在云存储系统内部实现了运维信息的收集与告警机制。该机制负责对云储存系统内的设备和资源的运行情况进展统一监控，以标准的SNMP协议与将机器运行状态以及产品特性运行指标反响给运维系统。实现对设备状态实时检测，对异常状态实时报警，如：硬盘丧失、CPU/内存使用率过高、存储空间缺乏、设备温度过高、管理效劳器运行异常、设备下线等。硬件设计海康威视视频云存储系统由存储管理效劳器〔存储管理节点CVMN〕、存储设备〔存储节点CVSN〕及异构效劳器〔第三方存储效劳节点ASSN〕组成。视频云存储管理节点CVMN视频云存储管理节点：CVMN〔CloudVideoManageNode〕在云存储标配效劳器上集成安装视频云管理软件CVM〔CloudVideoManger〕，其主要功能包括视频云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。根据视频云存储系统的规模情况和可靠性要求管理节点部署可分为：HA部署和集群部署两种模式。其中HA部署模式适用于1024路以内监控前端视频读写规模，通过两台效劳器做双机热备；集群部署模式适用于较大型的视频云存储系统，可以进展三台或三台以上配备，集群部署的效劳器台数必须是奇数增加。集群部署的优势在于通过视频云存储管理节点内部集群功能将协调各节点设备资源，将用户配置、数据库信息、策略方案进展统一进展调度，整体性能呈现线性增长。同时也增加了系统的可靠性，多台设备的故障不会影响到系统的运行。无论是HA部署模式还是集群部署模式，视频云存储都使用唯一的虚拟IP地址对外提供效劳。视频云存储节点CVSN视频云存储节点：CVSN〔CloudVideoStorageNode〕在存储设备上集成安装视频云存储软件CVS〔CloudVideoStorage〕和视频云接入软件CVA〔CloudVideoAccess〕作为存储节点。主要是响应视频云存储管理节点〔CVMN〕和应用层的录像、查询、下载等操作申请，以及管理物理存储设备和空间，视频云存储节点模块具有以下功能：负责根据接收云存储管理节点下发的录像方案，并根据录像方案向对应的前端摄像头进展取流操作。负责将接收到的录像数据写入到存储底层或从存储底层读取数据，通过协议接口主要向API提供录像、查询、回放及下载效劳。提供存储设备的状态检测和信息上报功能。存储底层：使用Raid技术来保证数据平安，支持节能的磁盘休眠功能。第三方存储效劳节点ASSN第三方存储效劳节点：ASSN〔AsynchronousStorageServiceNode〕在效劳器上集成安装异构存储软件ASS〔AsynchronousStorageService〕、视频云存储软件CVS〔CloudVideoStorage〕、视频云接入软件CVA〔CloudVideoAccess〕的接入第三方存储效劳节点。其主要功能是通过安装异构软件〔ASS〕完成对第三方iSCSI/FC标准存储设备的接入，实现对工程已有资源的兼容性利用。使得第三方存储设备通过ASSN的整合后，具备与CVSN同样的功能。系统物理拓扑视频云存储系统主要由存储管理节点〔效劳器〕和存储节点〔物理存储设备〕两局部组成。系统内部需要配置的元数据信息由云存储管理效劳器统一管理，管理节点还需要负责集群内部的负载均衡，失败替换等管理职能；视频云存储系统可以组建海量的存储资源池，容量分配不受物理硬盘数量的限制；并且存储容量可进展线性在线扩容，性能和容量的扩展都可以通过在线扩展完成。视频云存储物理构造如以下列图所示：视频云存储物理构造图视频云存储管理节点〔CVMN〕：部署存储管理效劳器，是视频云存储系统的核心节点，作为云存储系统的调度中心负责云存储系统资源管理、索引管理、方案管理、策略调度等。根据工程对存储容量需求、前端支撑数目、性能要求、可靠性要求，存储管理节点可以按照两种方式部署：HA部署、集群部署。视频云存储节点〔CVSN〕：作为云存储系统业务的具体执行者负责视频数据存储、读取、存储设备管理、存储空间管理等。系统功能设计海康威视视频云存储系统面向视频应用定制化开发，提供了丰富的功能接口供视频监控管理平台调用，主要功能如以下列图所示：视频云存储系统功能图视频存储功能功能项功能说明视频录像系统可以按照用户制定的方案保存前端设备采集的录像数据，录像类型、录像头由用户指定，存储开启相关的资源。动态修订录像类型：前端采集视频数据过程中，按报警类型可以修改录像的类型，修改后采集的视频数据即时保存到系统中，并在数据保存类型上得到反映。视频检索用户可以按监控点编号、录像类型、时间组合、锁定、标注等条件查询录像数据。视频回放支持根据监控点编号以及时间段、录像类型对录像数据进展回放。支持根据监控点编号以及时间段对录像数据进展回放时间定位。支持快放、慢放。支持倒序回放。支持I帧回放。支持手动停顿回放。视频下载支持根据监控点编号以及时间段对录像数据进展下载。支持断点续传。视频锁定支持指定的录像片段进展锁定，锁定后的数据不被循环覆盖掉。支持已锁定的录像片段锁定时长到期自动解锁。视频标注对录像数据信息所对应的标签进展打标、存储、备份等操作；对录像等数据信息的标签信息进展查询、检索、筛选工作；对录像等数据信息所对应的标签进展修改、删除等操作。视频删除支持根据监控点编号、录像时间、录像类型删除视频录像。周期覆盖按策略支持按周期、容量进展录像数据的周期覆盖式存储。录像管理功能功能项功能说明录像方案管理关联平台配置好的录像方案，并将录像方案同步到各个存储节点。录像方案执行根据配置要求确定通道和存储地址，负责将录像数据向下层模块的写入操作。移动侦测录像根据设定移动侦测区域自动执行相应的录像任务事件录像根据具体事件执行录像任务，优先级高于定时和移动侦测录像系统管理功能功能项功能说明集群化管理视频录像索引采用集群方式，无单点故障，保证索引数据的平安性。集群采用快速索引管理，能根据用户的各种查询条件〔监控点编号、录像类型、时间段等〕进展快速定位。负载均衡管理集群采用虚拟IP技术，对外提供统一的入口IP形式，将集群的访问在集群中根据各种算法进展分摊，降低单个节点的访问压力。后端存储节点压力进展实时监控，当单台存储节点压力过大时能根据智能算法将业务平滑迁移至其他存储节点，到达整个集群间负载均衡目的。虚拟化管理支持对存储设备统一管理，虚拟化为资源池，且将虚拟资源划分为块进展管理。自动精简管理动态分配存储空间，通过实时的数据录像情况调整和分配系统内存储资源空间，提高系统存储空间利用率。分散存储管理将前端数据通过特定算法，平滑分散至各个存储节点，从而降低大量回放对单台存储节点的压力。存储空间管理支持为摄像机随机分配录像空间，且分配的存储空间可灵活调整，支持摄像机恢复录像时，记录日志。运维管理功能功能项功能说明系统信息获取支持系统信息：版本、CPU、内存、网卡、磁盘等信息的获取。系统故障告警支持系统故障〔CPU、内存等超过阈值〕主动告警到运维平台。存储设备告警支持设备故障、掉线会主动告警到运维平台。标准协议对接支持标准的SNMP协议对接。系统业务流程视频存储流程视频数据存储：视频监控平台向视频云存储管理节点下发视频录像方案，存储管理节点根据各存储节点