云存储PPT培训版.pptx

安防监控迈入云存储时代 安防监控迈入云存储时代 安防监控迈入云存储时代 背景篇 行到水穷处，坐看云起时 大数据时代下的云存储安防监控迈入云存储时代 这是一个大数据的时代 安防监控迈入云存储时代 大数据时代的4V特征 Volume 海量数据 从TB级别，增长到PB级别 Variety 数据种类繁多 有各类文本、图片、视频等数据， 而且非结构化数据越来越多 Velocity 实时性 海量数据需要快速的处理和检索 Veracity 真实准确 利用数据挖掘和分析得出真实准确的信息 安防监控迈入云存储时代 大数据时代，对存储系统提供更高要求 大容量 高效率 高可用 安防监控迈入云存储时代 大数据时代,现有存储系统面临的难题 以智慧城市的建设为例 安防监控迈入云存储时代 海量数据存储，如何统一管理和统一调度 数以万计的监控点，存储容量已经达到PB级别 智能分析抽离出的图片、文字、摘要视频等，数据种类多种多样。 白色小型车 沪FW6461 逆行 闯红灯 红色上衣 红色小型车 人员聚集告警 人脸抓拍图片 黄色衬衫 行车轨迹 北纬31.3 东 经120.6 除视频监控数据外，各类应用系统的数据也需进行融合 移动警务 图像资源信息库 车牌信息数据库 移动警务 人员信息数据库 移动警务 安防监控迈入云存储时代 在并发读写时，存储设备的性能瓶颈在控制器或处理能力上。为提升并发处理能力，必须不断的 进行硬件升级。 大容量并发读写，设备性能成为瓶颈 存储设备 300路高清 存储设备 200路高清 存储设备 100路高清 单台最大并发处理能力 升级CPU 升级内存 安防监控迈入云存储时代 设备故障须及时修复，维护成本激增 硬盘 存储设备 硬盘硬盘硬盘 硬盘硬盘硬盘硬盘 热备硬盘硬盘硬盘 RAID硬盘硬盘硬盘 某块硬盘发生故障时，例如RAID，只允许设备 中有一块硬盘失效。而RAID恢复时间往往需要十 几个小时，期间再坏盘，就无法恢复了。因此，需 要立即更换或修复故障硬盘。 存储设备 存储设备 存储设备1 某台设备发生故障时，虽可以用负载均衡技术分担 给其它设备，但需要立即更换或修复故障设备，否 则存储于其中的数据无法读取。 故障 故障 容量达到“PB”级别，维护就成为最大的难题 安防监控迈入云存储时代 NAS存储设备 NAS存储设备 NAS存储设备 卡口平台监控平台 IP SAN存储设备 IP SAN存储设备 IP SAN存储设备 图像资源数据库 NAS集群存储设备 NAS集群存储设备 NAS集群存储设备 不同的应用系统间数据难以融合 各个应用系统，都建设独立的一套存储调度系统，可移植性和重复利用率较差。而且，不同的应用系统 需要各种类型的存储系统，NAS、IPSAN或集群NAS，难以融合。 安防监控迈入云存储时代 如何解决些难题？ 海量数据存储，如何统一管理和统一调度 大容量并发读写，设备性能成为瓶颈 不同的应用系统间数据难以融合 设备故障须及时修复，维护成本激增 云存储应运而生 安防监控迈入云存储时代 概念篇 只在此山中，云深不知处 安防监控迈入云存储时代 什么叫做”云”？ 使用者按需获取资源，无需关心资源在何处，如何构建。 就像从“云端”获取资源 云 Cloud 安防监控迈入云存储时代 像是拧开水龙头取水，打开开关获取电一样便捷，用户也可以方便的使用“云”资源。 什么叫做”云”？ 安防监控迈入云存储时代 什么是云存储？ 用户按需使用存储资源，无需关心存储设备在何处，如何构建。在视频监控领域，云存储作为基础资 源，其“用户”为各类业务系统。 云存储 Cloud Storage 卡口平台 视频监控平台 图像资源数据库 统一数据平台 智能应用系统 高可用性高可用性 海量存储海量存储 高性能高性能 统一访问空间统一访问空间 高可靠性高可靠性 弹性伸缩弹性伸缩 安防监控迈入云存储时代 难题的解决之道 海量数据存储，如何统一管理和统一调度 大容量并发读写，设备性能成为瓶颈 不同的应用系统间数据难以融合 设备故障须及时修复，维护成本激增 提供分布式文件系统，数据调度与存储分离 将单打独斗升级为团队作战 由及时维护转变为定期维护 将各种数据融合，提供统一接口 安防监控迈入云存储时代 架构篇 有形不累物，无迹却随风 安防监控迈入云存储时代 存储节点 存储节点 存储节点存储节点 云存储的系统架构 云存储的系统架构，分为“控制节点”和“存储节点”两个部分。 控制节点 控制节点 控制节点 控制节点采用集群架构，存储元 数据，对存储节点进行调度 存储节点对数据进行分布式存储 ，可进行复制或者RAID备份 注：元数据（metadata），包括文件目录组织、属性维护、访问控制 信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置 等。 安防监控迈入云存储时代 云存储的工作流程 数据 控制节点控制节点控制节点 存储节点 存储节点 存储节点 存储节点 网 络 业务系统 申请 调度 调度 备份 同步 云 存 储 系 统 3412 1 2 3 4 业务系统向控制节点申请存储资源，控制节点回复调度信息数据经由网络，到达存储节点进行分布式存储控制节点与存储节点间同步调度与存储信息控制节点间进行元数据同步备份存储节点的数据进行复制或RAID备份 安防监控迈入云存储时代 存储节点 存储节点存储节点 存储节点存储节点 海量存储，弹性伸缩 相比传统的存储设备，云存储可支持的存储节点数以千计，支持的容量达百PB级别，并可弹性伸缩，无缝扩 展。 1 2 34 85 6 79 控制节点控制节点 控制节点 1 234 85 6 79 增加存储节点 ，数据自动重组 减少存储节点 ，数据自动恢复 6 47 大数据时代下的云存储 传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离 的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。 存储节点 存储节点存储节点 存储节点存储节点 控制节点控制节点 控制节点 数据流不经过控制节点 千兆交换网络万兆交换网络 高并发读写性能，摆脱单台设备能力束缚 安防监控迈入云存储时代 传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离 的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。 高并发读写性能，摆脱单台设备能力束缚 存储设备 300路高清 已经撑不住了 毫无压力 30000路高清 云存储 安防监控迈入云存储时代 云存储系统的控制节点采用集群架构，单点发生故障时，可无缝切换，系统业务不会中断。 控制节点控制节点 控制节点 工作节点 备份节点 备份节点 高可靠，系统业务不中断 安防监控迈入云存储时代 云存储可为多个业务系统同时提供服务，内部架构对其透明，提供统一的访问入口，利于数据共享与融合。 控制节点控制节点 控制节点 存储节点存储节点存储节点存储节点存储节点 业务系统1业务系统2业务系统3业务系统4 统一访问入口，多用户并行访问 安防监控迈入云存储时代 云存储的特点-高可用，由及时维护变为定期维护 云存储系统摆脱单台束缚，采用数据冗余存储机制，硬盘或存储节点损坏时，其余节点可自动重组，数据不 丢失，系统运行不受影响。 安防监控迈入云存储时代 一个月后 云存储的特点-高可用，由及时维护变为定期维护 维护人员仅需定期检查受损硬盘或节点，更换或修复即可。 安防监控迈入云存储时代 应用篇 多谢好风吹起后，化为甘雨济田苗 安防监控迈入云存储时代 19英寸4U 机架式 支持16 盘位，支持热插拔，支持不同容量磁盘混插 单台设备既可作为控制节点，也可作为存储节点 控制节点支持三台以上集群部署，业务不受中断 存储节点支持双份、多份复制或RAID的方式，确保数据完整 支持数百PB级存储容量 科达云存储系统- KCloudStor KCloudStor1000-48T 3T企业硬盘 2折售价 ￥80000 KCloudStor1000-S48T 3T监控硬盘 2折售价 ￥75000 科达云存储系统- KCloudStor1000 部署模式与关键特性 控制节点与存储节点合一，工程部署时自由选择三台设备作为控制节点，在做为控制节点的 同时，它也可以作为存储节点使用。 控制节点 KCloudStor1000内置： 控制模块 手动启用 存储模块 手动启用 安防监控迈入云存储时代 视频监控主平台 LAN 视频监控从平台云存储 智慧城市对云存储的要求 KCloudStor在视频监控系统中的应用 智慧城市的监控点规模从几千个到几十万个不等， 一般存储30天，存储容量可达数百PB。 海量存储，弹性伸缩 智慧城市中所有的摄像机以平均码率2Mbps- 4Mbps并发存储，并发写数据量巨大。 高并发写性能 智慧城市对可靠性要求高：724小时不间断存储， 系统业务不中断，数据损坏可恢复。 高可用，高可靠 安防监控迈入云存储时代 视频监控平台 云存储 卡口平台 违章查询系统 KCloudStor在卡口和电警解决方案中的应用 卡口&电警解决方案对云存储的要求 海量小文件存储 卡口平台存储图片与车牌信息，视频监控平台存储视频 码流，图片和视频可存储在同一系统中，便于相互调 度。 图片与视频数据共享 违章记录通过网站发布，应用系统从云存储系统中直接 读取违章图片，供市民查询，要求云存储系统有快速检 索与读取性能，满足并发读取的需求。 快速检索与读取 LAN 每台卡口式电警一年的抓拍量约在300w张左右，对于存 储系统来说，需要管理大量的小文件。KCloudStor可以 管理的文件数量达百亿级别，完全符合需求 安防监控迈入云存储时代 图像侦查系统 视频监控平台 移动警务 KCloudStor在视频图像信息数据库中的应用 视频图像信息数据库对云存储的要求 统一访问空间 信息数据库中的数据需要永久保存，数据量可达数百PB 级别。为保证数据不丢失，通常采用复制方式进行备 份。 海量存储，高可用 LAN 云存储图像资源库 实战应用系统卡口平台 信息数据库库中的数据可由不同的业务系统并发写入和 读取，云存储系统可提供统一访问空间，无需在各类业 务系统间进行调度，极利于数据的融合与共享。 安防监控迈入云存储时代 竞争篇 曾经沧海难为水，除却巫山不是云 安防监控迈入云存储时代 存储系统的发展历程 首先，我们来回顾一下存储系统的发展历程 业务系统 操作系统 磁盘柜 SCSI、FC、SAS 优点：部署简单 缺点：不易于扩展 ，已被淘汰业务系统 操作系统 磁盘柜 优点：基于块存储 ，性能高，速度快 缺点：不易于用户 访问和数据共享 FC或IP 磁盘柜 业务系统 操作系统 磁盘柜 优点：基于文件存储 ，可多用户访问和共 享 缺点：性能较低，不 利于扩展 IP DASSANNAS 安防监控迈入云存储时代 “集群NAS”的诞生 集群NAS “NAS”机头，可以集群，2-32台服务器不 等。 利用“SAN”技术，采用数据“块”存储方式 交换节点 存储节点存储节点存储节点存储节点 交换节点 管理节点 LAN 为了同时满足快速存储与数据共享的需求，业内很多厂家集合了“SAN”“NAS”和“集群”概念的，推出了“ 集群NAS”。 安防监控迈入云存储时代 “集群NAS”的局限性 业务系统业务系统业务系统 3412 近年来，业内厂家利用“集群NAS”技术来打造“云存储”产品，但它真正是“云”么？ 集群NAS 交换节点 存储节点存储节点存储节点存储节点 交换节点 管理节点 LAN 控制与存储数据均需要通过交换节点，交换节点可以集 群部署，2-32个节点不等，但无法无限扩展。 性能易出现瓶颈 数据存储节点一般为数据“块”存储，利用RAID进行冗 余存储。RAID重构时间在十几小时左右。期间若再有一 块硬盘损坏，就无法恢复了。 数据可靠性差 数据均需通过交换节点，对交换节点性能要求极高； 存储节点采用RAID机制，对硬盘性能要求较高 对设备依赖性强 友商分析之海康 海康威视云存储系统是海康威视监控云平台和云存储系统的结合，其系统设计之初就融合了海康威视 视频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式 文件系统（HDFS），对于构建针对视频流应用的监控云存储系统具有天然的应用优势。 具体的应用场景为： l视频监控：平安城市项目或大中型企业厂区视频监控； l网络电视节目：海量扩展，用于存放网络IPTV内容的数据； l高性能分析：公安视频业务应用数据，要求大量可访问的命名空间作分析和非常高的性能计算； IPSAN CVR (网络直存） 云存储 基于流媒体的文件管理结构和Hadoop分布式文件系统 自主第二代流媒体直写技术 海康威视云存储系统是海康威视监控云平台和云存储系统的结合，其系统设计之初就融合了海康威视视 频监控技术优势和自研的流媒体存储技术特点。它采用了基于流媒体的文件管理结构和Hadoop分布式文 件系统（HDFS），对于构建针对视频流应用的监控云存储系统具有天然的应用优势。 友商分析之海康 友商分析之海康 云存储管理 服务器 前端设备 存储设备集群存储设备集群 LAN 产品形态管理与存储分离 管理节点（元数据节点）采用相互热备、负载 均衡机制，同时工作。 强调自己是在开发一套符合视频监控特点（与 时间强关联）的流式云存储文件系统。 云存储与云计算的基本数据单元应在格式、大 小和标准上保持一致，减少云计算的系统消耗。 融合快速索引引擎，可实现图片和视频I帧快速 检索 应用开发接口，例如录像标签、I帧回放和图片 缩放 海康的“云”产品 海康习惯于在架构和接口制定完善的基础上，搭积木一样，组合成符合市场需求的可独立使用的产品或整个 系统解决方案。 海康的“云”，目前的产品为“云存储”与“视图库”，前者是分布式存储，后者是分布式检索。而上层监 控平台和业务系统架构维持不变，可兼容各类“云”和“非云”的技术和产品。 分布式 数据库 视图库 监控平台业务系统 普通存储云存储 海康非常注重于实用功能。 友商分析之海康 具体的应用场景为： l视频监控：平安城市项目或大中型企业厂区视频监控； l网络电视节目：海量扩展，用于存放网络IPTV内容的数据； l高性能分析：公安视频业务应用数据，要求大量可访问的命名空间作分析和非常高的性能计算； 宣传点为： 云存储产品作为独立的产品进行推进， 强调符合安防监控需求的，流式云存储文件系统， 竞争分析是与集群NAS作对比，强调其更适合安防监控需求。 友商分析之宇视 十分怀疑宇视是否有自己的独立的云存储产品，在任何可见的资料中，宇视均强调其“云”监控概念 ，弱化“云”存储概念。 近期推出的DM8500-E云存储管理服务器与原有的数据管理服务器无论是硬件规格还是产品型号均 是相同的。这款DM8500-E和原来的数据管理服务器相比，新增的特性有： 1、由双机热备升级为多级备份 2、具有全局统一命名空间 3、超级多媒体块的多备份 与原来的数据管理服务器相比，相同的特性有： 1、