03 磁盘子系统.ppt

1、03 磁盘子系统,湖北文理学院 数学与计算机科学学院,课程目的：,2,3,4,1,硬盘和内部I/O通道,JBOD磁盘阵列,使用RAID的存储虚拟化,RAID等级及配置示例,0 应用服务器与磁盘子系统,应用服务器与磁盘子系统的关系 对于应用服务器，磁盘子系统可以被看成是一个硬盘服务器 磁盘子系统的内部结构对应用服务器完全隐蔽，应用服务器公看到磁盘子系统向它提供的硬盘,磁盘子系统的组成 硬盘 控制器 缓存 内部I/O通道 控制器的作用 控制器可以实现即时复用、远程镜像以及其他的服务 控制器可以使用缓冲区来加速应用服务器的读写访问,磁盘子系统可以将空闲磁盘空间灵活地分配给连接到它的每一个服务器,1

2、硬盘和内部I/O通道,硬盘 容量 性能指标（寻道时间、缓冲区大小） 内部I/O通道 单通道 备用通道 无负载平衡的双通道配置 有负载平衡的双通道配置,单通道 物理硬盘仅通过1个I/O通道 如果这个访问通道失效了，那么就不能够访问数据,备用通道 物理硬盘通过2个I/O通道连接 正常情况下，控制器通过第一个I/O通道跟硬盘通信，不使用第二个I/O通道 在第一个通道失效的情况下，硬盘子系统从第一个通道切换到第二个通道,无负载平衡的双通道配置 硬盘被分成二个组 正常操作中，第一组通过第一个I/O通道访问，第二组通过第二组I/O通道访问 如果有一个I/O通道失效了，那么二个组都通过另一个I/O通道访问,

3、有负载平衡的双通道配置 所有的硬盘在正常情况下，都通过两个I/O通道访问 控制器把负载动态地在二个I/O通道之间划分，使得可提供的硬件能够被最佳的使用 如果有一个I/O通道失效了，那么通信公通过另一个I/O通道进行,2 JBOD磁盘阵列,从控制器的角度，对磁盘子系统进行分类： 无控制器 RAID控制器 具有诸如即时控制和远程镜像这种附加服务的智能控制器,JBOD（简单磁盘捆绑）,JBOD（ Just a Bunch Of Disks，简单磁盘捆绑） 在一个底板上安装的带有多个磁盘驱动器的硬盘。它只是把多个磁盘装在一起的机箱，即简单磁盘捆绑 官方术语称作“Span” 在这种情况下，磁盘被永久地装

4、配进机箱，对I/O 通道和电源的连接都是在机箱的单个点向外引出。,JBOD磁盘阵列 在逻辑上把几个物理磁盘一个接一个串联到一起，从而提供一个大的逻辑磁盘。JBOD上的数据简单地从第一个磁盘开始存储，当第一个磁盘的存储空间用完后，再依次从后面的磁盘开始存储数据。 JBOD存取性能完全等同于对单一磁盘的存取操作。JBOD也不提供数据安全保障。它只是简单地提供一种利用磁盘空间的方法。 JBOD的存储容量等于组成JBOD的所有磁盘的容量的总和。,JBOD磁盘阵列 JBOD不提供镜像、 数据条带集存储和奇偶校验等功能, 这些功能通常由主机上的软件来实现。 JBOD是一种最简单廉价的“裸存储”设备。独立的

5、磁盘保存在一个机箱之中, 允许不同的服务器分组访问。 一般不提供“缓冲”(高速缓存)和提供先进功能的控制器. JBOD的扩展空间有限。由于缺少智能，数据条带集存储或奇偶校验，对于任意磁盘的损坏没有保护。磁带存储是磁盘损坏后恢复保存信息的常用手段。,3 使用RAID的存储虚拟化,RAID Redundant Array of Inexpensive Disks：廉价磁盘冗余阵列（早期） Redundant Array of Independent Disks：独立磁盘冗余阵列（现在）,磁盘阵列（Disk Array）: 是由一个硬盘控制器来控制多个硬盘的相互连接，使多个硬盘的读写同步，减少错误，

6、增加效率和可靠度的技术。 简单的说，磁盘阵列是把多个磁盘组成一个阵列，当作单一磁盘使用，它将数据以分段(striping)的方式储存在不同的磁盘中，存取数据时，阵列中的相关磁盘一起动作，大幅减低数据的存取时间，同时有更佳的空间利用率。,磁盘阵列的诞生： 冗余磁盘阵列技术诞生于1987年，由美国加州大学伯克利分校提出。,RAID出现原因,传统RAID的四种需求目标安全、经济、效率、扩充 解决了单个磁盘容量的限制 解决了单个磁盘速度的限制 解决了数据可靠性问题,虚拟磁盘 由RAID控制器把多个物理硬盘组合在一起的集成设备服务器，称为虚拟磁盘 连接到RAID系统的计算机仅能看到这个虚拟磁盘，RAID

7、控制器把数据分布到多个物理硬盘上的事实对服务器是完全透明的,虚拟磁盘的好处 通过冗余保证数据的安全性 虚拟磁盘可以由多个物理磁盘组成，可以具有比较大的容量，在I/O通道中，可以使用较少的设备地址，同时也简化了对服务器的管理工作。,RAID的主要目标 通过条带化提高性能 通过冗余增加容错能力 条带化 就是反数据分布到多个上，从而把负载分配到更多的硬件上。 冗余 意味着存储附加信息，使得在有一个硬盘失效的情况下，使用存储数据的应用程序还可以继续运行。 单个硬盘可以改善其容错，不能提高操作性能； 对于多个物理硬盘适当地结合在一起，可以显著地增强容错能力以及系统的整体性能。,RAID基本概念 条带,分

8、条,条带,硬盘0,硬盘2,硬盘1,硬盘3,RAID基本概念 校验,异或运算,P=A0 XOR A1,数据A0和A1通过异或运算进行奇偶校验得到校验位P,表1-3 异或 XOR 的校验原理,A1,P,数据盘,数据盘,校验盘,RAID基本概念 重建（Rebuild）,数据盘,A1,P,A0,A1,P,XOR,故障,数据盘,校验盘,A2,A2,XOR,数据盘,更换,RAID硬盘失效处理-热备和热插拔,热备：Hot Spare 定义：当冗余的RAID组中某个硬盘失效时，在不干扰当前RAID系统的正常使用的情况下，用RAID系统中另外一个正常的备用硬盘自动顶替失效硬盘，及时保证RAID系统的冗余性 全局

9、式：备用硬盘为系统中所有的冗余RAID组共享 专用式：备用硬盘为系统中某一组冗余RAID组专用 热插拔：Hot Swap 定义：在不影响系统正常运转的情况下，用正常的硬盘物理替换RAID系统中失效硬盘 关键在于热插拔时电子器件的保护机制,全局热备示例,该热备盘由系统中两个RAID组共享，可自动顶替任何一个RAID中的一个失效硬盘,磁盘1,磁盘2,磁盘3,热备盘,磁盘4,磁盘5,磁盘6,RAID 5,RAID 5,磁盘阵列,RAID基本概念RAID组状态,RAID组 正常工作,RAID组 降级,RAID组 重建,RAID组 创建,RAID组 失效,RAID等级 按照RAID控制器把服务器往虚拟磁

10、盘写的数据的方式的不同，将RAID分成不同的等级,4 RAID等级及配置示例,自1987年被定义以来，RAID定义了一系列的等级，某些早期使用的等级已被淘汰，同时其他的一些等级被修改，并且增加了新的等级 RAID技术将多个单独的物理硬盘以不同的方式组合成一个逻辑硬盘，从而提高了硬盘的读写性能和数据安全性。根据不同的组合方式可以分为不同的RAID级别: 、,同时采用两种不同的RAID方式，组合成新的RAID级别,RAID级别 RAID 0,RAID0即没有容错设计的条带硬盘阵列（Striped Disk Array without Fault Tolerance），以条带形式将RAID组的数据均

11、匀分布在各个硬盘中,RAID 0，可以提高虚拟磁盘的性能，但不能增加容错能力； 准确地讲，对于RAID0，RAID中的R其实并不意味着“Redundant(冗余)”，而是代之以“0Redundancy(零冗余)”。,RAID级别 RAID 1,RAID 1又称镜像（Mirror），数据同时一致写到主硬盘和镜像硬盘,RAID 1 关注点在于容错；,RAID级别 RAID 3,RAID 3即带有校验的并行数据传输阵列（Paralleled transfer with parity），数据条带化分布在数据盘中，同时使用专用校验硬盘存放校验数据,象RAID 0一样以并行的方式来存放数，但速度没有RAI

12、D 0快。 如果数据盘（物理）损坏，只要将坏硬盘换掉，RAID控制系统则会根据校验盘的数据校验位在新盘中重建坏盘上的数据。 不过，如果校验盘（物理）损坏的话，则全部数据都无法使用。 利用单独的校验盘来保护数据虽然没有镜像的安全性高，但是硬盘利用率得到了很大的提高，为n-1。 RAID 3对于大量的连续数据可提供很好的传输率； 但对于随机数据来说，奇偶盘会成为写操作的瓶颈。,RAID级别 RAID 4,RAID 4是带有共享校验硬盘的独立数据盘（ Independent data disks with shared parity disk），与RAID 3类似，不同在于对数据访问是每次一个盘，而

13、RAID 3是每次一个条带，RAID4的读写性能较差，目前较少使用,异或运算,P0,P1,P2,P3,A0,A1,A2,A3,B0,B1,B2,B3,C0,数据盘,校验盘,RAID 4使用一块磁盘作为奇偶校验盘，每次写操作都需要访问奇偶盘，这时奇偶校验盘会成为写操作的瓶颈，因此RAID 4在商业环境中也很少使用。,RAID级别 RAID 5,RAID 5与RAID 3机制类似，但校验数据均匀分布在各数据硬盘上，RAID成员硬盘上同时保存数据和校验信息，数据块和对应的校验信息保存在不同硬盘上。RAID 5是最常用的RAID方式之一。,P4,A3,A2,A1,A0,B4,P3,B2,B1,B0,C

14、4,C3,P2,C1,C0,D4,D3,D2,P1,D0,E4,E3,E2,E1,P0,异或运算,A0,B0,C0,D0,A1,B1,C1,E1,A2,B2,D2,校验信息Px 分布式存储,数据,RAID 5更适合于小数据块和随机读写的数据 ； 对于RAID 5来说，大部分数据传输只对一块磁盘操作，并可进行并行操作 ； RAID 5的写损失 在RAID 5中有“写损失”，即每一次写操作将产生四个实际的读/写操作，其中两次读旧的数据及奇偶信息，两次写新的数据及奇偶信息。 RAID5的读出效率很高，写入效率一般，块式的集体访问效率不错 ； RAID 5提高了系统可靠性，但对数据传输的并行性解决不好

15、，而且控制器的设计也相当困难。 当有两块盘坏掉的时候，整个RAID的数据失效。,RAID级别 RAID 5,RAID 5小结：,RAID3、RAID4、RAID5区别,RAID 3是与RAID 4类似，在每组盘中使用单一的校验盘，但是RAID 3中条带划分较小，使得每一个操作都要跨越阵列中所有的磁盘。例如，一个块数据中的第一个字节可能在第一个盘上，第二个字节在第二个盘上，诸如此类。 RAID 3经常处于磁头同步状态以减少等待时间，RAID 3适于单一大文件以高数据率进行读写的应用，诸如超级计算机和图形图像处理。 对于多用户并行发起众多互不相关磁盘操作的应用则不适宜。作为对比， RAID 4盘组

16、中的每一个数据盘都可以同时满足一个单独用户的请求。 RAID 5与RAID 4类似，但与RAID 4拥有独立校验盘不同，RAID 5在阵列中所有磁盘上存储校验信息。RAID 5的主要的优势在于它可以防止校验盘本身成为读写瓶颈。主要的缺点是不能方便的将一块新磁盘添加到现有的RAID组中。,RAID 3/4/5的读和写,读操作：多磁盘同时读取数据 写操作：更新数据之前，需要将条带中其他部分数据读出并重新计算校验值，新数据和校验数据同时被写更新。,RAID3,RAID 4 / 5,RAID级别 RAID 6,RAID 6 指带有两种分布存储的检验信息的磁盘阵列，它是对RAID5的扩展。 是带有两个独

17、立分布式奇偶校验方案的独立数据硬盘（Independent data disks with two independent distributed parity schemes）。 主要是用于要求数据绝对不能出错的场合，使用了二种奇偶校验方法，需要N+2个磁盘。 广义上讲，能够允许两个硬盘同时失效的RAID级别统称为RAID 6， 狭义上讲，特指Intel的RAID P+Q技术。硬盘空间利用率为(N-2)/N，N为RAID6阵列硬盘总数,RAID 6技术： 目前RAID 6还没有统一的标准，各家公司的实现方式都有所不同： RAID P+Q：INTEL和HDS公司 RAID DP： NetApp

18、公司 RAID ADG：HP公司,RAID级别 RAID 6原理示例,A1,A3,A2,A4,A7,A10,A8,A5,A9,A13,A6,A15,A11,A12,A16,异或运算,A1,A2,A3,A4,A5,A6,A7,A9,横向校验盘中P1P4为各个数据盘中横向数据的校验信息 例：P1=A1 XOR A2 XOR A3 XOR A4 斜向校验盘中DP1DP4为各个数据盘及横向校验盘的斜向数据的校验信息 例：DP1=A1 XOR A6 XOR A11 XOR A16,P1,P2,P3,P4,横向校验盘,斜向校验盘,数据盘,A8,DP1,DP2,DP3,DP4,A14,DP5,组合不同级别的

19、RAID,组合不同级别RAID的目的 从RAID0到RAID6，不同级别的RAID在性能、冗余、价格等方面做了不同程度的折中 组合不同级别的RAID，目的是扬长避短，产生具有优势特性的混合RAID级别 主要的组合RAID RAID 10 RAID 0+1 RAID 50,RAID组合级别 RAID 10,RAID 10是将镜像和条带进行两级组合的RAID级别，第一级是RAID1镜像对，第二级为RAID 0。即先镜像，再条带。RAID10也是一种应用比较广泛的RAID级别。,A,B,C,D,E,F,G,H,A,A,C,B,B,C,D,D,E,E,F,F,G,G,H,H,RAID10的特性,RAI

20、D组合级别 RAID 0+1,A,B,C,D,E,F,G,H,RAID 0+1是将条带和镜像进行两级组合的RAID级别，第一级是RAID 0，第二级为RAID 1。即先条带，再镜像。 一般来说，RAID 0+1的失效概率要比RAID 10大，不过无硬盘故障下，RAID 0+1的读取速度要比RAID 10快。,A,B,C,D,E,F,G,H,A,B,C,D,E,F,G,H,RAID组合级别 RAID 50,P13,F1,RAID 50是将RAID5和RAID 0进行两级组合的RAID级别，最低一级是RAID 5，第二级为RAID 0,A2,P02,A1,A0,B2,B1,P01,B0,P03,C

21、1,C0,P00,异或运算,A0,B0,D0,E0,A1,C0,D1,F0,B1,C1,D2,P12,D1,D0,E2,E1,P11,E0,F0,P10,硬盘0,硬盘1,硬盘2,硬盘3,硬盘4,硬盘5,异或运算,二个独立的奇偶校验信息块 与RAID 5相比，RAID 6增加了第二个独立的奇偶校验信息块。 两个独立的奇偶系统使用不同的算法，数据的可靠性非常高，即使两块磁盘同时失效也不会影响数据的使用; 写性能差 但RAID 6需要分配给奇偶校验信息更大的磁盘空间，相对于RAID 5有更大的“写损失”，因此“写性能”非常差。 实际使用较少 较差的性能和复杂的实施方式使得RAID 6很少得到实际应用

22、。,RAID级别 RAID 50,RAID 50小结：,常用RAID比较,常用RAID选择,不同等级RAID效率对比,RAID 5 7D+1P,数据,数据,数据,奇偶校验,数据,数据,数据,数据,RAID 6 6D+2P,数据,数据,奇偶校验 1,奇偶校验 2,数据,数据,数据,数据,RAID 1 2D+2D,镜像,镜像,数据,数据,RAID 5 3D+1P,数据,奇偶校验,数据,数据,RAID 1 4D+4D,镜像,镜像,镜像,镜像,数据,数据,数据,数据,流行的RAID等级在理论上的比较,在实践中，硬盘子系统的制造商在下列的若干方面还有自已的选择： 内部物理磁盘的选择 在磁盘子系统内部通信

23、使用的I/O技术 对多个I/O通道的使用 RAID控制器的实现 缓冲区的大小 缓冲算法本身,5 使用缓存加速对磁盘的访问,磁盘子系统使用缓存来加速对物理硬盘的访问 缓存的类型 硬盘上的缓存 RAID控制器上的缓存 RAID读缓存 RAID写缓存,硬盘上的缓存 每个磁盘都有缓存，这是必要的 因为I/O通道到磁盘控制器的传输速度要比磁盘控制器从物理硬盘读或向物理硬盘写的速率更高,RAID控制器中的写缓存 用途：许多应用都不是连续的速率写数据，而是采用批处理的方式。如果一个服务器把多个数据块发送到磁盘子系统，那么起初控制器会把所有的数据块都放进写缓存，并且立即向服务器报告所有的数据都已安全地写到驱动

24、器上。然后，磁盘子系统再反数据从写缓存复制到比较慢的物理硬盘上。 磁盘子系统中的缓存可以达数千兆字节 写缓存一般有一个备用电池， 写缓存理想情况下是镜像的,RAID控制器中的读缓存 实现的困难性： 使用缓存加速读操作，比使用缓存加速写操作困难； 磁盘子系统不知道服务器下次要读什么地方的数据； 解决办法： 方法一：根据服务器先前的数据访问，推断下次将访问的数据块；这种方法对于顺序读有效，但对于随机访问效果较差； 方法二：当服务器打开一个文件后，将此文件的所有块都装入内存,6 智能磁盘子系统,智能磁盘子系统 就控制器而言，智能磁盘子系统代表在JBOD和RAID阵列之后的第三层次的复杂性。 智能磁盘

25、子系统在RAID之上提供的附加功能 即时复制 远程镜像 逻辑设备号掩盖,即时复制 即时复制，即在很短时间内将一个磁盘子系统内部数太字节的数据，使得另一个服务器在几秒钟之后就能够实际地访问复制过去的数据。 所有的即时复制的实现，都需要使用控制器的处理时间和缓存，并把负载放到内部I/O通道和硬盘上。 适合在磁盘子系统内部进行数据的复制,即时复制在对磁盘子系统的读写控制上，应该注意的事项： 控制器要管理二个数据区域：原始区域、复制区域 在开始即时复制后，第一次改变一个数据块时，控制器必须先把旧的数据块复制到复制数据区域后，才能将要改写的数据写到原始数据区域 对于服务器2而言，控制器必须确定其要读的数

26、据是否已被复制，以确定其读取的位置是原始区域，还是复制区域,远程镜像 将一个磁盘子系统中的数据，镜像到相隔很远的第二磁盘子系统。 远程镜像操作由二个参与镜像的磁盘子系统处理，远程镜像对于应用服务器不可见，并且不消耗应用服务器的资源。 但远程镜像需要使用在二个磁盘子系统中的资源，以及把二个磁盘子系统连接在一起的I/O通道中的资源，这就意味着由此产生的性能减退可能影响到应用。 作用：提供防御灾害的保护。,远程镜像的分类 同步远程镜像 异步远程镜像,同步远程镜像 指通过远程镜像软件，将本地数据以完全同步的方式复制到异地，每一个本地的I/O事务均需等待远程复制的完成确认信息，方予以释放。 同步镜像使远

27、程拷贝总能与本地机要求复制的内容相匹配。当主站点出现故障时，用户的应用程序切换到备份的替代站点后，被镜像的远程副本可以保证业务继续执行而没有数据的丢失。 换言之，同步远程镜像的RPO值为零（即：不丢失任何数据），RTO也是以秒或分为计算单位。不过，由于往返传播会造成延时较长，而且本地系统的性能是与远程备份设备直接挂钩的，所以，同步远程镜像仅限于在相对较近的距离上应用，主从镜像系统之间的间隔一般不能超过160公里（约合100英里）。,异步远程镜像 由本地存储系统提供给请求镜像主机的I/O操作完成确认信息，保证在更新远程存储视图前完成向本地存储系统输出/输入数据的基本操作，也就是说它的RPO值可能

28、是以秒计算的，也可能是以分或小时为计算单位。 它采用了“存储转化（store-and-forward）”技术，所有的I/O操作是在后台同步进行的，这使得本地系统性能受到的影响很小，大大缩短了数据处理时的等待时间。 异步远程镜像具有“对网络带宽要求小，传输距离长（可达到1000公里以上）”的优点。不过，由于许多远程的从镜像系统“写”操作是没有得到确认的，当由于某种原因导致数据传输失败时，极有可能会破坏主从系统的数据一致性。,同步远程镜像与异步远程镜像比较 同步远程镜像与异步远程镜像最大的优点就在于，将因灾难引发的数据损耗风险降低到最低（异步）甚至为零（同步）； 其次，一旦发生灾难，恢复进程所耗费

29、的时间比较短。这是因为建立远程数据镜像，是不需要经由代理服务器的，它可以支持异构服务器和应用程序。,服务器,子系统1,子系统2,服务器,子系统1,子系统2,同步远程镜像,异步远程镜像,写块A,对A的响应,对A的响应,写块A,写块A,写块A,对A的响应,对A的响应,远程镜像的特点 远程镜像软件和相关配套设备的售价普遍偏高，而且，至少得占用两倍以上的主磁盘空间。不过，如果贵公司的业务流程本身对数据的丢失程度（RPO）或恢复时间（RTO）相对要求较高的话，建立远程镜像将是最佳的解决之道。 无法阻止系统失败（rolling disaster）、数据丢失、损坏和误删除等灾难的发生。如果主站的数据丢失、损坏或被误删除，备份站点上的数据也将出现连锁反应 。 目前市面上只有极少数的异步远程镜像产品可做到给每一个事务