存储基础知识-V1.0-20061115-B

1、存储基础知识,全球技术服务部 业务与软件集成产品部,Page 2,课程目标,学习完此课程，您将会： 掌握存储的基础知识和技能 了解存储的基本构架和可靠性设计 熟悉存储的各种特性和功能,Page 3,培训提纲,存储组网形态 存储接口技术 RAID 磁盘热备与重构 存储冗余 快照与复制 存储设备举例,Page 4,传统计算机存储系统的问题,CPU,硬盘,RAM,计算机存储系统,传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,Page 5,外部磁盘阵列的产生,CPU,硬盘,RAM,

2、早期外部存储系统,SCSI卡,SCSI电缆,JBOD(Just Bound Of Disk),传统计算机存储系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,Page 6,智能磁盘阵列的产生,CPU,硬盘,RAM,SCSI卡,控制器,SCSI电缆,控制器中包含RAID功能、大容量Cache，同时使得磁盘阵列具有多种实用的功能，配置专用管理软件进行配置管理,Page 7,存储网络的产生,SCSI电缆最长支持25米 FC光纤连接距离可达10公里至100公里,Server,HBA卡,传统计算机存储

3、系统的局限性： 硬盘成为整个系统的性能瓶颈 有限的硬盘槽位，难满足大容量需求 单个硬盘存放数据，数据可靠性难以保证 存储空间利用率低 本地存储，数据分散,Page 8,存储网络的三种形态,什么是DAS？ 什么是NAS ？ 什么是SAN？ DAS、NAS和SAN的比较？,Page 9,DAS(Direct Attached Storage),存储设备（RAID系统、磁带机和磁带库、光盘库）直接连接到服务器； 传统的、最常见的连接方式，容易理解、规划和实施； 缺点是： DAS没有独立操作系统，也不能提供跨平台的文件共享，各平台下数据需分别储存；各DAS系统之间没有连接，数据只能分散管理；备份软件不

4、能离开服务器支持；DAS的前期投资比较少。,Page 10,NAS(Network Attached Storage),NAS本身装有独立的OS，通过网络协议可以实现完全跨平台共享，支持WinNT、Linux、Unix等系统共享同一存储分区；NAS可以实现集中数据管理；一般集成本地备份软件，可以实现无服务器备份功能；NAS系统的前期投入相对较高。 NAS是在RAID的基础上增加了存储操作系统；NAS内每个应用服务器通过网络共享协议（如：NFS、CIFS）使用同一个文件管理系统；NAS关注应用、用户和文件以及它们共享的数据上数据；磁盘I/O会占用业务网络带宽。,Page 11,SAN(Stora

5、ge Area Network),一种高可用性，高性能的专用存储网络，用于安全的连接服务器和存储设备并具备灵活性和可扩展性；SAN对于数据库环境、数据备份和恢复存在巨大的优势；SAN是一种非常安全的，快速传输、存储、保护、共享和恢复数据的方法。 SAN是独立出一个数据存储网络，网络内部的数据传输率很快，但操作系统仍停留在服务器端，用户不直接访问SAN的网络；SAN关注磁盘、磁带以及连接它们的可靠的基础结构 ；,Page 12,存储网络的三种形态比较,SCSI/FC,GE,GE,FC,FC,DAS,NAS,SAN,FC Switch,LAN Switch,SCSI存储/FC存储,NAS存储,FC

6、存储,Server,Page 13,培训提纲,存储组网形态 存储接口技术 RAID 磁盘热备与重构 存储冗余 快照与复制 存储设备举例,Page 14,存储接口技术,IDE/ATA-低成本存储连接总线结构 SCSI-高性能连接存储设备和服务器 Serial ATA-串行ATA技术，速度更快 iSCSI-利用TCP/IP协议连接存储设备 Infiniband-替代PCI总线的高性能的网络技术。 Fiber channel-存储区域网(SAN)的基础，扩展性更大，距离更远。（重点介绍）,Page 15,IDE/ATA-低成本存储连接总线结构,IDE/ATA接口出现，使硬盘在性能、可靠性和兼容性上有

7、了飞跃的发展。 IDE/ATA硬盘在当今个人计算机上广泛使用。并以较低的成本提供卓越的性能。 用于系统内部存储设备。例如：硬盘、光驱、磁带机的连接。,补充：SATA与并行ATA的不同 并行ATA数据线由80根线组成，非常宽；SATA数据线仅有7根弦，较窄，不会影响机箱内部散热风流。 并行ATA数据线最远传输距离为12英寸，过长会造成信号的衰减；SATA数据线最远传输距离可达1米，更有利于机箱内部走线，保障系统散热。,Page 16,SCSI-高性能连接存储设备和服务器,各方面特性优于IDE，主要用于高端系统的连接，由于成本较高很少在家用和商用个人电脑中使用。 SCSI存储是以主机为中心的；一条

8、SCSI总线上可以串接多台不同类型的设备。,Page 17,iSCSI和Infiniband,iSCSI-利用TCP/IP协议连接存储设备 iSCSI是Internet Small Computer System Interface的缩写，可以理解为SCSI over IP。 Internet SCSI(iSCSI)目前是一个标准协议草案，其目的是要将SCSI命令封装到TCP/IP数据包中，使I/O数据块可通过IP网络传输。 iSCSI可用于构成基于IP的SAN，一种简单而强大的技术为用户提供高速、低价、长距离的存储解决方案。 InfiniBand 是一种交换结构I/0技术 它的结构设计非常紧

9、密，大大提高了系统的性能、可用性和有效性，能缓解各硬件设备之间的数据流量拥塞。,Page 18,Fiber Channel 标准与组件,Fiber Channel 标准： Fiber channel是一种高性能的串行连接标准。 FC的接口传输速率目前有1G、2G、4G、10G（将来）bit/s几种标准。 支持多种通用的传输协议(SCSI、IP)。 传输介质可以选择铜缆或光纤，支持多种互联拓扑结构。,Fiber Channel 组件： HBA卡：Host Bus Adapter(主机通道适配器)，FC HBA卡在应用中，相当于SCSI卡。我们后面讲到的node和port就在HBA卡上， FC s

10、witch：光纤交换机，SAN架构中核心设备，连接服务器和存储设备。,Page 19,FC网络,Server,HBA卡,Page 20,Node基本概念,Node发送或者接收传输数据 它是数据的源或者目的地 一个Node包含一个或多个Port,NODE,Port从Node取得数据，并发送或者接收这些数据 Port与光纤相连 数据以1Gb/s或2Gb/s（即100MB/s或200MB/s）的速度传输,Page 21,Link基本概念,Link将Fibre Channel中的数据从一个Port传到下一个Port 包含光/电接收器/发送器 一个Link由两个相对方向的单向光纤传输组成 用于任何一种F

11、C拓扑结构,Page 22,Fibre Channel寻址,每一个Node和每一个Port都有一个唯一的WWN（Word Wide Name）,Page 23,Fibre Channel的拓扑结构是怎样的？,Point to point （点到点） Arbitrated loop （仲裁环） Switched Fabric （交换光路）,Page 24,Point-to-point,N_Port,两个Port独享所有的Link带宽 是Arbitrated Loop的一种特例,Node,N_Port,Node,Fibre,Page 25,Arbitrated loop,Node之间共享带宽 采取

12、仲裁协议来获得对Loop的控制权,NL_Port,Node,NL_Port,Node,Page 26,Switched fabric,Port之间通过FC Switch相连 带宽得到极大扩展 扩展性很强，一个Switched fabric网络理论上支持1600万个设备地址,F_ports,N_Port,N_Port,Switch,Page 27,各级RAID 的比较,NRAID即Non-RAID，所有磁盘的容量组合成一个逻辑盘，没有数据块分条（no block stripping）。NRAID不提供数据冗余。要求至少一个磁盘。 JBOD代表Just a Bunch of Drives，磁盘控制

13、器把每个物理磁盘看作独立的磁盘，因此每个磁盘都是独立的逻辑盘。JBOD也不提供数据冗余。要求至少一个磁盘。,Page 28,培训提纲,存储组网形态 存储接口技术 RAID 磁盘热备与重构 存储冗余 快照与复制 存储设备举例,Page 29,RAID0,Page 30,RAID0,RAID0 即Data Stripping数据分条技术。整个逻辑盘的数据是被分条（stripped）分布在多个物理磁盘上，可以并行读/写，提供最快的速度，但没有冗余能力。要求至少两个磁盘。本质上RAID0 并不是一个真正的RAID，因为它并不提供任何形式的冗余。 RAID0 优点：能实现多个I/O操作并行的处理。RAI

14、D 0不需要计算校验，因而它是所有类型的阵列中吞吐量最快的。 RAID0 缺点： 假如一个RAID 0的磁盘失败，那么数据将彻底丢失。,Page 31,RAID1,Page 32,RAID1,RAID1 是非校验的RAID 级，其数据保护和性能都极为优秀，因为在数据的读/写过程中，不需要执行XOR 操作。 RAID1 优点：RAID 1的数据保护功能是所有类型的阵列中最好的。读性能很优秀。 由于工作磁盘和备份磁盘的内容完全一样，多个磁盘可同时动作而有重迭读取的功能。 RAID1 缺点：磁盘利用率很低，只有50% 。,Page 33,RAID3,Page 34,RAID 3 (条带分布+专用盘校

15、验),原理：使用至少三块硬盘配置，在其中的一块硬盘上存贮专用的校验数据，当某块硬盘出现故障时，其它硬盘可以通过校验数据将有故障的硬盘的数据重新恢复出来。 特点：数据以位或字节的方式存于各盘（分散记录在组内相同扇区的各个硬盘上）,优点 高可用性 磁盘利用率较高(N-1) 并行I/O传输，顺序读性能较高 缺点 校验盘成为性能瓶颈 每次读写牵动整个组，每次只能完成一次I/O,应用 流媒体服务器 图像编辑 视频编辑,Page 35,RAID4,Page 36,RAID5,Page 37,RAID 5 (条带技术+分布式校验),原理：RAID5 将所有校验的数据分别存贮在所有的硬盘上,每一个硬盘的不同地

16、方既存贮数据，也存贮校验数据。当某块硬盘出现故障时，其它硬盘可以通过校验数据将故障的硬盘的数据重新恢复出来。,优点 高可用性 磁盘利用率较高(N-1) 随机读写性能高 缺点 异或校验影响存储性能,应用 文件及应用服务器 数据库服务器 Web, E-mail, and News 服务器 局域网服务器,Page 38,RAID 1+0,RAID 10 (镜像阵列条带化),RAID1,RAID1,RAID0,Page 39,RAID 级别比较,其中RAID3与RAID5的区别为：RAID3更适合于顺序存取，RAID5更适合于随机存取。需要根据具体的应用情况决定使用那种RAID级别。,Page 40,

17、RAID 级别比较,Page 41,降级模式,“降级模式”意味着：当RAID 阵列（RAID 0 除外）中一个磁盘失败后，磁盘子系统将继续工作，而不需要这个失败的磁盘。当这种情况发生时，RAID阵列将调整其功能，以保证数据的一致性。,Page 42,RAID 1+0降级模式,（1）在配置域标记该RAID组工作在降级模式； （2）对于包含失败磁盘的RAID 1， 主机I/O请求仅在正常磁盘上完成； （3）对于包含失败磁盘的RAID 1，写操作不需要生成两份完全相同的写命令。,Page 43,RAID5降级模式,Page 44,RAID5降级模式,（1）在配置域标记该RAID组工作在降级模式； （

18、2）当要访问失败磁盘上的数据分条单元，且需要响应读请求时，阵列将恢复由失败磁盘引起的丢失数据； （3）当要访问失败磁盘上的数据分条单元，且需要响应写请求时，数据将不被写到失败的磁盘，但会更新校验数据。这样，即使数据实际没有写到失败磁盘上，失败磁盘的数据也能被恢复； （4）当要访问的分条在失败磁盘上是校验和时，RAID子系统工作如正常情况下相同只是无需处理校验和；,Page 45,培训提纲,存储组网形态 存储接口技术 RAID 磁盘热备与重构 存储冗余 快照与复制 存储设备举例,Page 46,所谓热备份是在建立RAID磁盘阵列系统的时候，将其中一磁盘指定为热备磁盘，此热备磁盘在平常并不操作，当

19、阵列中某一磁盘发生故障时，热备磁盘便取代故障磁盘，并自动将故障磁盘的数据重构在热备磁盘上。 热备盘分为：全局热备盘和局部热备盘 全局热备盘：针对整个磁盘阵列，对阵列中所有RAID组起作用。 局部热备盘：只针对某一RAID组起作用。 因为反应快速，加上快取内存减少了磁盘的存取，所以数据重构很快即可完成，对系统的性能影响不大。 对于要求不停机的大型数据处理中心或控制中心而言，热备份更是一项重要的功能，因为可避免晚间或无人守护时发生磁盘故障所引起的种种不便。,常用的存储技术简介-HotSpare,Page 47,热备与重构,在线操作特性 系统中需设置一个热添加的备份盘或用一个新的替代磁盘替代故障磁盘

20、 当满足以下条件时开始数据自动重构 1、有一个热备份盘存在独立于故障磁盘的 2、 所有磁盘都配置为冗余阵列(RAID1,3,5,0+1) 所有的操作都是在不中断系统操作的情况下进行的,RAID5 set of drives:4 active,1 hot-spare,COPY BACK完成,某个磁盘损坏，重构过程开始,重构过程结束，RAID5可靠性恢复冗余,插入新磁盘，COPYBACK开始,Page 48,热备盘重构,DISK1,DISK2,DISK3,DISK4 失效,DISK5,raidgroup1,热备盘,XOR,读出,写入,Page 49,copyback,DISK1,DISK2,DIS

21、K3,DISK4 换回 可用盘,DISK5,raidgroup1,热备盘,从热备盘读出数据写入,Page 50,成员盘重构,Page 51,培训提纲,存储组网形态 存储接口技术 RAID 磁盘热备与重构 存储冗余 快照与复制 存储设备举例,Page 52,可靠性设计,多通道软件（又称为Multipath/Failover软件）,Page 53,Redundant Cabling with muliti-path（多路径冗余连接）,Server,HBA,Server,HBA,FC Switch,Server,HBA,Server,HBA,FC Switch,Page 54,培训提纲,存储组网形态

22、 存储接口技术 RAID 磁盘热备与重构 存储冗余 快照与复制 存储设备举例,Page 55,逻辑卷快照(snapshot),基本概念： Base Volume ：快照源卷 Repository Volume ：快照仓储卷，保存快照源卷在快照过程中被修改以前的数据 Snapshot Volume ：快照卷 某一个时间点的逻辑卷映像： 逻辑上相当于整个Base Volume的拷贝 可将Sanpshot Volume分配给任何一台主机 Snapshot Volume可读取、写入或拷贝 存储空间需求 需要相当于Base Volume 20%的额外空间 用途 文件、逻辑卷恢复 备份、测试、数据分析等,

23、Page 56,快照(snapshot) 过程演示,B,A,S,E,V,O,L,U,M,E,X,Y,Z,并且我们的卷有足够的空间来创建快照,首先保证我们的源卷和阵列的运行是正常的,Page 57,W,R,E,P,O,S,I,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y,Z,R,I,T,E,S,首先，在快照完成之前控制器是禁止对源卷进行写操作的。,仓储卷默认是源卷大小的20%,满足上面条件后，快照过程开始进行,快照(snapshot)开始,Page 58,仓储卷（20%源卷大小）现在可用,快照(snapshot)完成,R,E,P,O,S,

24、I,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y,Z,W,R,I,T,E,S,快照完成状态，实际上是一些指针,当快照完成之后，控制器释放对源卷的写权限，我们可以对源卷进行写操作,Page 59,当源卷数据改变时,我们的源卷数据在改变之前会顺序的写到仓储卷上，然后再把快照指针指导这边来。,B,A,S,V,O,E,T,S,N,A,P,S,H,O,T,V,O,L,U,M,B,A,S,E,V,O,L,U,M,E,X,Y,Z,W,R,I,T,E,S,然后源卷的数据才会开始更新,Page 60,最后一步,我们源卷的原数据已经写到了仓储卷上,B,A,S,V,O,E,T,S,N,A,P,S,H,O,T,V,O,L,U,M,W,R,I,E,T,E,L,U,M,S,X,Y,Z,快照卷的指针指到了新的数据位置,源卷数据更新完毕,Page 61,逻辑卷拷贝(Volume C