视频监控系统云存储的介绍

大数据时代的4V特征,大数据时代，对存储系统提供更高要求,大容量,高效率,高可用,大数据时代,现有存储系统面临的难题,以智慧城市的建设为例,海量数据存储，如何统一管理和统一调度,数以万计的监控点，存储容量已经达到PB级别,在并发读写时，存储设备的性能瓶颈在控制器或处理能力上。为提升并发处理能力，必须不断的进行硬件升级。,大容量并发读写，设备性能成为瓶颈,单台最大并发处理能力,升级CPU,升级内存,设备故障须及时修复，维护成本激增,某块硬盘发生故障时，例如RAID，只允许设备中有一块硬盘失效。而RAID恢复时间往往需要十几个小时，期间再坏盘，就无法恢复了。因此，需要立即更换或修复故障硬盘。,某台设备发生故障时，虽可以用负载均衡技术分担给其它设备，但需要立即更换或修复故障设备，否则存储于其中的数据无法读取。,故障,故障,容量达到“PB”级别，维护就成为最大的难题,不同的应用系统间数据难以融合,各个应用系统，都建设独立的一套存储调度系统，可移植性和重复利用率较差。而且，不同的应用系统需要各种类型的存储系统，NAS、IPSAN或集群NAS，难以融合。,如何解决些难题？,海量数据存储，如何统一管理和统一调度,大容量并发读写，设备性能成为瓶颈,不同的应用系统间数据难以融合,设备故障须及时修复，维护成本激增,云存储应运而生,概念篇,只在此山中，云深不知处,什么叫做”云”？,云Cloud,像是拧开水龙头取水，打开开关获取电一样便捷，用户也可以方便的使用“云”资源。,什么叫做”云”？,什么是云存储？,用户按需使用存储资源，无需关心存储设备在何处，如何构建。在视频监控领域，云存储作为基础资源，其“用户”为各类业务系统。,难题的解决之道,架构篇,有形不累物，无迹却随风,存储节点,存储节点,存储节点,存储节点,云存储的系统架构,云存储的系统架构，分为“控制节点”和“存储节点”两个部分。,注：元数据（metadata），包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置等。,云存储的工作流程,控制节点,控制节点,控制节点,存储节点,存储节点,存储节点,存储节点,网络,业务系统,调度,备份,同步,云存储系统,3,4,1,2,1,2,3,4,业务系统向控制节点申请存储资源，控制节点回复调度信息,数据经由网络，到达存储节点进行分布式存储,控制节点与存储节点间同步调度与存储信息,控制节点间进行元数据同步备份,存储节点的数据进行复制或RAID备份,存储节点,存储节点,存储节点,海量存储，弹性伸缩,相比传统的存储设备，云存储可支持的存储节点数以千计，支持的容量达百PB级别，并可弹性伸缩，无缝扩展。,1,2,3,4,8,5,6,7,9,控制节点,控制节点,控制节点,1,2,3,4,8,5,6,7,9,增加存储节点,，数据自动重组,减少存储节点,，数据自动恢复,6,4,7,传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。,存储节点,存储节点,存储节点,数据流不经过控制节点,千兆交换网络,万兆交换网络,高并发读写性能，摆脱单台设备能力束缚,传统的存储设备并发读写性能，受到NAS机头、CPU或控制器的能力限制，而云存储系统采用控制与数据分离的架构，脱离了单台设备的能力束缚，整个系统的性能主要受到网络吞吐能力的限制。,高并发读写性能，摆脱单台设备能力束缚,已经撑不住了,毫无压力,云存储系统的控制节点采用集群架构，单点发生故障时，可无缝切换，系统业务不会中断。,控制节点,工作节点,备份节点,备份节点,高可靠，系统业务不中断,云存储可为多个业务系统同时提供服务，内部架构对其透明，提供统一的访问入口，利于数据共享与融合。,控制节点,控制节点,控制节点,存储节点,存储节点,存储节点,存储节点,存储节点,业务系统1,业务系统2,业务系统3,业务系统4,统一访问入口，多用户并行访问,云存储的特点-高可用，由及时维护变为定期维护,云存储系统摆脱单台束缚，采用数据冗余存储机制，硬盘或存储节点损坏时，其余节点可自动重组，数据不丢失，系统运行不受影响。,一个月后,云存储的特点-高可用，由及时维护变为定期维护,维