视频存储基础知识培训.ppt

1、视频存储基础知识培训,20071127,H3C存储产品部 许志峰,学习目标,硬盘技术,RAID技术,磁盘阵列,视频监控系统的图像数据存储,1,2,3,4,硬盘结构,主轴马达 (Spindle Motor),磁头,基座(Base Plate),磁头停放区 (Parking Zone),盘片 (Media),传动部件,接口,容量：指硬盘能存储的数据量大小，以字节为基本单位 单碟容量：硬盘都是由一个或几个盘片组成的，单碟容量就是指包括正反两面在内的单个盘片的总容量 转速：即主轴马达转动速度，单位为RPM（Round Per Minute)，即每分钟盘片转动圈数 缓存：是硬盘控制器上的一块内存芯片，具

2、有极快的存取速度，它是硬盘内部盘片和外部接口之间的缓冲器,常用指标,硬盘的主要指标（一）,常用指标,平均访问时间：硬盘磁头找到目标数据所需的平均时间 平均寻道时间：磁头寻找目标数据所在磁道所需的平均时间 平均潜伏时间：当磁头移动到数据所在的磁道后，等待指定的数据扇区转动到磁头下方的时间 数据传输率： 内部数据传输率：数据从盘片表面传输到硬盘的缓存的速率 外部数据传输率：数据从硬盘的缓存读出到外部总线的速率 MTBF：MeanTimeBetweenFailure，平均无故障时间,硬盘的主要指标（二）,常用指标,硬盘类型及接口,SAS,SATA,FC,SCSI,ATA/IDE,LC,SC,硬盘类型

3、,接口视图,硬盘发展历史及趋势,硬盘接口发展趋势,硬盘各类接口间的对比,学习目标,硬盘技术,RAID技术,磁盘阵列,视频监控系统的图像数据存储,1,2,3,4,RAID出现原因,RAID定义,RAID （Redundant Array of Independent Disks）即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。根据不同的组合方式可以分为不同的RAID级别,RAID、逻辑卷的形成过程,物理磁盘,RAID,RAID、逻辑卷的形成过程,物理磁盘,逻辑卷,RAID,分割,RAID级别 RAID 0,D,H,L,C,

4、G,K,B,F,J,定义： RAID0即没有容错设计的条带硬盘阵列（Striped Disk Array without Fault Tolerance），以条带形式将RAID组的数据均匀分布在各个硬盘中,A,B,C,D,E,F,G,H,数据,A,E,I,RAID级别 RAID 1,RAID 1 定义： RAID 1又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘,E,D,C,B,A,E,D,C,B,A,A,B,C,D,E,=,数据,RAID级别 RAID 3,定义： RAID 3即带有校验的并行数据传输阵列（Paralleled transfer with parity），数据条带

5、化分布在数据盘中，同时使用专用校验硬盘存放校验数据,D0,C0,B0,A0,D1,C1,A1,B1,D2,C2,A2,B2,P D,P C,P A,P B,A,B,C,D,异或运算,数据盘,校验盘,RAID级别 RAID 5,定义： RAID 5与RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上。RAID 5是最常用的RAID方式之一,P4,A3,A2,A1,A0,B4,P3,B2,B1,B0,C4,C3,P2,C1,C0,D4,D3,D2,P1,D0,E4,E3,E2,E1,P0,异或运算,A0,B0,C

6、0,D0,A1,B1,C1,E1,A2,B2,D2,校验信息Px分布式存储,数据,RAID组合级别 RAID 10,定义： RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。RAID10也是一种应用比较广泛的RAID级别。,A,B,C,D,E,F,G,H,A,A,C,B,B,C,D,D,E,E,F,F,G,G,H,H,RAID组合级别 RAID 50,P13,F1,定义： RAID 50是将RAID5和RAID 0进行两级组合的RAID级别，最低一级是RAID 5，第二级为RAID 0,A2,P02,A1,A0,B2,B1,P01,B0,P

7、03,C1,C0,P00,异或运算,A0,B0,D0,E0,A1,C0,D1,F0,B1,C1,D2,P12,D1,D0,E2,E1,P11,E0,F0,P10,硬盘0,硬盘1,硬盘2,硬盘3,硬盘4,硬盘5,异或运算,学习目标,硬盘技术,RAID技术,磁盘阵列,视频监控系统的图像数据存储,1,2,3,4,磁盘阵列包括两大主要部件：控制器和磁盘柜 控制器是磁盘阵列的“大脑”，主要部件为处理器和缓存，最先主要实现简单IO操作、RAID管理功能，随着技术发展，能够提供各种各样的数据管理功能，如快照、镜像、复制等 磁盘柜包含了多块的磁盘，本身既没有处理器，也没有缓存，RAID及数据管理功能通过控制器

8、实现,磁盘阵列,控制器,磁盘柜,磁盘电缆,常见磁盘阵列,常见的磁盘阵列组成部分：,常见磁盘阵列分类,按控制器数量 JBOD：无控制器，通常用于扩展柜或者与主机端RAID结合使用 双控制器阵列：如IX5000s 多控制器阵列：如IX5000 按对外接口 SCSI阵列 FC阵列 iSCSI阵列 ,控制器缓存工作模式,主机写入 数据流,反馈 写OK,Write-back 回写,主机写入 数据流,反馈 写OK,Write-through 透写,磁盘,控制器的缓存保护技术,Cache电池,阵列内置UPS,三种常见控制器Cache保护设计,电池保护Cache,内置UPS保护控制器,外置UPS保护整机,阵列

9、外置UPS,控制器缓存镜像,1、主机数据写入缓存；,2、缓存数据进行异或运算，产生校验数据；,控制器缓存镜像,1、主机数据写入缓存；,2、缓存数据进行异或运算，产生校验数据；,3、将校验数据添加到缓存；,控制器缓存镜像,1、主机数据写入缓存；,2、缓存数据进行异或运算，产生校验数据；,3、将校验数据添加到缓存；,4、将缓存数据复制到目标控制器；,5、目标控制器处理完数据和校验数据返回消息；,6、源控制器返回主机消息，操作完毕。,OK,学习目标,硬盘技术,RAID技术,磁盘阵列,视频监控系统的图像数据存储,1,2,3,4,存储主要架构,存储系统的分类如下：,封闭系统的存储 封闭系统主要指大型机,

10、开放系统的存储,内置存储,外置存储,直接附加存储（DAS）,存储区域网络（SAN）,网络附加存储（NAS）,基于iSCSI协议的IP SAN,基于FC协议的FC SAN,开放系统指基于包括Windows、UNIX、Linux等操作系统,如：DVR的存储方式,视频监控系统的图像数据存储内置存储,内置存储DVR视频数据的存储结构： 目前所有嵌入式DVR和绝大部分PC式DVR采用的存储架构由于成本原因，多使用IDE硬盘和EIDE硬盘总线（BUS）完成硬盘控制和扩展功能。DVR根据硬盘地址顺序规划逻辑盘符。图像数据根据盘符顺序，依次写入硬盘。,采用内置存储(DVR)的问题,非专业 不可靠,桌面级IDE

11、硬盘，可靠性差 单块硬盘压力大，故障率高 无RAID冗余技术，硬盘损坏后数据丢失不可恢复 系统本身自带硬盘存储容量小，扩展性差 散热差，长期运行风险大,数据分散， 无法集中管理,两大弊端,系统维护困难，成本高 难以实现视频图像的集中检索和查阅 无法防止监守自盗，内外串通作案,视频监控系统的图像数据存储DAS,PC式DVR,视频监控系统的图像数据存储DAS,ADSL,DVS,DVS,LAN / PPPOE,VDSL,DVR/DVS,LAN / 城域网,DVR/DVS,视频服务器,视频服务器,磁盘柜/DAS,磁盘柜/DAS,监控客户端,嵌入式DVR/DVS,采用DAS 存储方式的问题,DAS（Di

12、rect Attached Storage 直接附加存储）存储架构是比较早的存储形式。在视频监控应用中，它是通过硬盘录像机或服务器，直接连接磁盘阵列柜实现存储的模式。 扩展性差 在保证存储系统性能的前提下，一般一台服务器至多只能连接两台阵列，其扩展性无法 满足大规模监控系统产生的海量数据存储需要 资源利用率低，无法实现存储资源的共享 DAS方式的存储使得存储空间无法充分利用，存在浪费。部分应用的存储空间不够用， 另一些却有大量的存储空间闲置的不均衡情况。 可管理性差 管理分散繁琐，无法集中 异构化严重 DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备，设备之间异构化现象严重，维护成

13、本居高不下,视频监控系统的图像数据存储NAS,由NAS设备提供统一的存储空间，是基于“文件级”的存储方式,适用于重要监控图像资料的备份。 NAS用于视频监控系统图像在线存储的问题： 访问效率低 NAS（网络附属存储）只能以“文件”为单位，且通过至少两次文件格式转换才完成数据的读写，一定程度上影响了访问效率和应用模式。 大容量NAS成本高 大容量的高端NAS设备价格高昂，且后期扩展费用也很高。,视频监控系统的图像数据存储SAN,ADSL,DVS,DVS,LAN / PPPOE,VDSL,DVR/DVS,LAN / 城域网,DVR/DVS,视频服务器,视频服务器,监控客户端,实时视频数据流,视频数据流存储,存储视频数据调阅,SAN,FC SAN架构,FC作为一个强调效率但缺乏管理功能的协议，其兼容性、可管理性远低于IP FC SAN存储设备的主要问题在于： 成本高昂：FC交换机、FC HBA卡相比以太网交换机、普通网卡价格高昂，连接复杂。特别对于有海量存储需求的监控项目，采用FC SAN存储成本太高 管理困难，维护成本高：由于FC协议的封闭性，了解和掌握的人员较少，需专业技术人员进行支持，后期维护成本高。,IP SAN架构,组网成本低廉 可以借鉴和利用已经成熟的IP网络，无需构建一套跟业务网络完全异构的FC网络