视频存储基础知识培训

第一页，共三十九页，编辑于2023年，星期一学习目标硬盘技术RAID技术磁盘阵列视频监控系统的图像数据存储1234第二页，共三十九页，编辑于2023年，星期一

硬盘结构主轴马达(SpindleMotor)磁头基座(BasePlate)磁头停放区(ParkingZone)盘片(Media)传动部件接口第三页，共三十九页，编辑于2023年，星期一容量：指硬盘能存储的数据量大小，以字节为基本单位单碟容量：硬盘都是由一个或几个盘片组成的，单碟容量就是指包括正反两面在内的单个盘片的总容量

转速：即主轴马达转动速度，单位为RPM（RoundPerMinute)，即每分钟盘片转动圈数缓存：是硬盘控制器上的一块内存芯片，具有极快的存取速度，它是硬盘内部盘片和外部接口之间的缓冲器常用指标硬盘的主要指标（一）常用指标第四页，共三十九页，编辑于2023年，星期一平均访问时间：硬盘磁头找到目标数据所需的平均时间平均寻道时间：磁头寻找目标数据所在磁道所需的平均时间平均潜伏时间：当磁头移动到数据所在的磁道后，等待指定的数据扇区转动到磁头下方的时间数据传输率：内部数据传输率：数据从盘片表面传输到硬盘的缓存的速率外部数据传输率：数据从硬盘的缓存读出到外部总线的速率MTBF：Mean

Time

Between

Failure，平均无故障时间硬盘的主要指标（二）常用指标第五页，共三十九页，编辑于2023年，星期一硬盘类型及接口SASSATAFCSCSIATA/IDELCSC硬盘类型接口视图第六页，共三十九页，编辑于2023年，星期一硬盘发展历史及趋势时间点容量FC硬盘100GB300GB750GB1000GB146GB300GBSAS硬盘250GB400GB500GB750GB1000GBSATA硬盘73GB300GB146GB500GB73GB300GB146GB19982008SCSI硬盘73GB第七页，共三十九页，编辑于2023年，星期一硬盘接口发展趋势SCSI-2SCSI-3FC-AL100MB/SperPortFC-AL200MB/SperPortSynchronousSCSI5MB/sFastWideSCSI10/20MB/sUltraSCSI20/40MB/sUltra2SCSI40/80MB/sUltra160SCSI160MB/sUltra320SCSI320/MB/sSAS300MB/sperportSATASATAIISerialATA150MB/sSerialATAII300MB/sFC-AL400MB/SperPort串行并行第八页，共三十九页，编辑于2023年，星期一硬盘各类接口间的对比ATASATASCSISASFC转速（RPM）7,2007,20015,00015,00015,000缓存（兆）8/168/168/168/168/16串行/并行并行串行并行串行串行硬盘主流容量（GB）250750300300300MTBF600,0001,200,0001,400,0001,400,0001,400,000第九页，共三十九页，编辑于2023年，星期一学习目标硬盘技术RAID技术磁盘阵列视频监控系统的图像数据存储1234第十页，共三十九页，编辑于2023年，星期一RAID出现原因计算机发展初期，大容量硬盘价格非常高，而需要存储的数据量越来越大容量性能CPU运算速度飞速提高，数据读写速度不应该成为计算机系统处理的瓶颈信息时代，数据对企业和个人的重要性越来越大，数据存储安全更需要保障RAID可靠性第十一页，共三十九页，编辑于2023年，星期一RAID定义RAID（RedundantArrayofIndependentDisks）即独立磁盘冗余阵列，RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。根据不同的组合方式可以分为不同的RAID级别RAID0数据条带化，无校验RAID1数据镜像，无校验RAID3数据条带化读写，校验信息存放于专用硬盘RAID5数据条带化，校验信息分布式存放RAID10RAID0和RAID1的结合，同时提供数据条带化和镜像RAID50先做RAID5，后做RAID0，能有效提高RAID5的性能第十二页，共三十九页，编辑于2023年，星期一RAID、逻辑卷的形成过程物理磁盘RAID第十三页，共三十九页，编辑于2023年，星期一RAID、逻辑卷的形成过程物理磁盘逻辑卷RAIDLUN1LUN2LUN3分割第十四页，共三十九页，编辑于2023年，星期一RAID级别——RAID0DHLCGKBFJ定义：RAID0即没有容错设计的条带硬盘阵列（StripedDiskArraywithoutFaultTolerance），以条带形式将RAID组的数据均匀分布在各个硬盘中ABCDEFGH数据……AEI第十五页，共三十九页，编辑于2023年，星期一RAID级别——RAID1RAID1定义：RAID1又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘EDCBAEDCBAABCDE……=数据第十六页，共三十九页，编辑于2023年，星期一RAID级别——RAID3定义：RAID3即带有校验的并行数据传输阵列（Paralleledtransferwithparity），数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据

D0C0B0A0D1C1A1B1D2C2A2B2PDPCPAPBABCD……异或运算数据盘校验盘第十七页，共三十九页，编辑于2023年，星期一RAID级别——RAID5定义：RAID5与RAID3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上。RAID5是最常用的RAID方式之一……P4A3A2A1A0B4P3B2B1B0C4C3P2C1C0D4D3D2P1D0E4E3E2E1P0异或运算A0B0C0D0A1B1C1E1A2B2D2校验信息Px分布式存储数据第十八页，共三十九页，编辑于2023年，星期一RAID组合级别——RAID10定义：RAID10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID0。RAID10也是一种应用比较广泛的RAID级别。ABCDEFGHAACBBCDDEEFFGGHH第十九页，共三十九页，编辑于2023年，星期一RAID组合级别——RAID50P13F1定义：RAID50是将RAID5和RAID0进行两级组合的RAID级别，最低一级是RAID5，第二级为RAID0A2P02A1A0B2B1P01B0P03C1C0P00异或运算A0B0D0E0A1C0D1F0B1……C1D2P12D1D0E2E1P11E0F0P10硬盘0硬盘1硬盘2硬盘3硬盘4硬盘5异或运算第二十页，共三十九页，编辑于2023年，星期一学习目标硬盘技术RAID技术

磁盘阵列视频监控系统的图像数据存储1234第二十一页，共三十九页，编辑于2023年，星期一磁盘阵列包括两大主要部件：控制器和磁盘柜控制器是磁盘阵列的“大脑”，主要部件为处理器和缓存，最先主要实现简单IO操作、RAID管理功能，随着技术发展，能够提供各种各样的数据管理功能，如快照、镜像、复制等磁盘柜包含了多块的磁盘，本身既没有处理器，也没有缓存，RAID及数据管理功能通过控制器实现磁盘阵列控制器磁盘柜磁盘电缆第二十二页，共三十九页，编辑于2023年，星期一常见磁盘阵列常见的磁盘阵列组成部分：控制器模块+磁盘柜控制器和磁盘柜一体磁盘阵列=控制器磁盘扩展柜(JBOD)磁盘阵列=+控制器和磁盘柜分离第二十三页，共三十九页，编辑于2023年，星期一常见磁盘阵列分类按控制器数量JBOD：无控制器，通常用于扩展柜或者与主机端RAID结合使用双控制器阵列：如IX5000s多控制器阵列：如IX5000按对外接口SCSI阵列FC阵列iSCSI阵列……第二十四页，共三十九页，编辑于2023年，星期一控制器缓存工作模式前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存

写缓存主机写入数据流反馈写OKWrite-back回写主机写入数据流反馈写OKWrite-through透写磁盘第二十五页，共三十九页，编辑于2023年，星期一控制器的缓存保护技术FC或IP(GE)缓存(Cache)CPUCPU后端总线磁盘FC或IP(GE)缓存(Cache)CPUCPU后端总线Cache电池FC或IP(GE)缓存(Cache)CPUCPU后端总线阵列内置UPS三种常见控制器Cache保护设计电池保护Cache内置UPS保护控制器外置UPS保护整机阵列外置UPS第二十六页，共三十九页，编辑于2023年，星期一控制器缓存镜像前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存写缓存1、主机数据写入缓存；2、缓存数据进行异或运算，产生校验数据；第二十七页，共三十九页，编辑于2023年，星期一控制器缓存镜像前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存写缓存1、主机数据写入缓存；2、缓存数据进行异或运算，产生校验数据；3、将校验数据添加到缓存；第二十八页，共三十九页，编辑于2023年，星期一控制器缓存镜像前端总线系统缓存CPUCPU后端总线读缓存写缓存前端总线系统缓存CPUCPU后端总线读缓存写缓存1、主机数据写入缓存；2、缓存数据进行异或运算，产生校验数据；3、将校验数据添加到缓存；4、将缓存数据复制到目标控制器；5、目标控制器处理完数据和校验数据返回消息；6、源控制器返回主机消息，操作完毕。OK第二十九页，共三十九页，编辑于2023年，星期一学习目标硬盘技术RAID技术

磁盘阵列视频监控系统的图像数据存储1234第三十页，共三十九页，编辑于2023年，星期一存储主要架构存储系统的分类如下：封闭系统的存储封闭系统主要指大型机开放系统的存储内置存储外置存储直接附加存储（DAS）存储区域网络（SAN）网络附加存储（NAS）基于iSCSI协议的IPSAN基于FC协议的FCSAN开放系统指基于包括Windows、UNIX、Linux等操作系统如：DVR的存储方式第三十一页，共三十九页，编辑于2023年，星期一视频监控系统的图像数据存储－内置存储

内置存储－DVR视频数据的存储结构：目前所有嵌入式DVR和绝大部分PC式DVR采用的存储架构由于成本原因，多使用IDE硬盘和E－IDE硬盘总线（BUS）完成硬盘控制和扩展功能。DVR根据硬盘地址顺序规划逻辑盘符。图像数据根据盘符顺序，依次写入硬盘。

DVR的主控电路板视频存储数据流E－IDE1E－IDE2Master主盘Slave从盘Master主盘Slave从盘E－IDE3Master主盘Slave从盘E－IDE4Master主盘Slave从盘12345678DVR硬盘录像机第三十二页，共三十九页，编辑于2023年，星期一采用内置存储(DVR)的问题非专业不可靠桌面级IDE硬盘，可靠性差单块硬盘压力大，故障率高无RAID冗余技术，硬盘损坏后数据丢失不可恢复系统本身自带硬盘存储容量小，扩展性差散热差，长期运行风险大数据分散，无法集中管理两大弊端系统维护困难，成本高难以实现视频图像的集中检索和查阅无法防止监守自盗，内外串通作案第三十三页，共三十九页，编辑于2023年，星期一视频监控系统的图像数据存储－DAS

2/4/8/12/16

路视音频输入监控客户端监控客户端监控客户端监控客户端外挂磁盘柜PC式DVR第三十四页，共三十九页，编辑于2023年，星期一视频监控系统的图像数据存储－DASADSLDVSDVSLAN/PPPOEVDSLDVR/DVSLAN/城域网DVR/DVS视频服务器视频服务器磁盘柜/DAS磁盘柜/DAS监控客户端实时视频数据流视频数据流存储存储视频数据调阅嵌入式DVR/DVS第三十五页，共三十九页，编辑于2023年，星期一采用DAS存储方式的问题DAS（DirectAttachedStorage直接附加存储）存储架构是比较早的存储形式。在视频监控应用中，它是通过硬盘录像机或服务器，直接连接磁盘阵列柜实现存储的模式。扩展性差

在保证存储系统性能的前提下，一般一台服务器至多只能连接两台阵列，其扩展性无法满足大规模监控系统产生的海量数据存储需要资源利用率低，无法实现存储资源的共享

DAS方式的存储使得存储空间无法充分利用，存在浪费。部分应用的存储空间不够用，另一些却有大量的存储空间闲置的不均衡情况。可管理性差管理分散繁琐，无法集中异构化严重

DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备，设备之间异构化现象严重，维护成本居