计算机硬件和网络要点-存储子系统简介

1、计算机硬件和网络要点存储子系统简介计算机硬件和网络要点存储子系统简介RAID : Redundant Array of Independent DisksJBOD：Just a Bunch Of Disks计算机硬件和网络要点存储子系统简介RAID的优势： 容量和管理上的优势 性能上的优势 可靠性和可用性优势计算机硬件和网络要点存储子系统简介RAID中所使用的两种基本分条方法：并行访问阵列独立访问阵列计算机硬件和网络要点存储子系统简介图4-5 写数据到并行访问的分条阵列 T=0 T=1 T=2 T=3 T=4驱动器1缓冲接受 驱动器1写数据 驱动器2写数据 驱动器3写数据 驱动器4写数据 驱

2、动器2等就绪 驱动器2缓冲接受 驱动器3缓冲接受 驱动器4缓冲接受 驱动器1缓冲接受 1连锁（并行）访问阵列（通过分条提高性能）同步成员磁盘驱动器中的转动介质，使得单个的I/O请求在每个成员驱动器上执行相等、短时的操作。该方式，每个I/O请求都发往多个成员磁盘。它要求阵列中的驱动器必须精确工作（转动、读写速度等），成本相对昂贵。计算机硬件和网络要点存储子系统简介 图4-6 独立访问的磁盘驱动器阵列存储总线RAID控制器独立访问的磁盘驱动器阵列I/O操作I/O操作磁盘驱动器独立访问分条阵列每一个驱动器由单独的主机I/O控制器操作，按照所建立的虚拟设备映射，I/O操作可分散到各驱动器上执行。评价：

3、适用于事物处理应用。它可将多个I/O发送到多个驱动器，支持重叠I/O操作。效率远高于单磁盘。适用于：事物处理、ERP系统、Internet服务、多用户服务器应用、多小文件的文件服务器。计算机硬件和网络要点存储子系统简介1校验冗余：通过计算阵列中成员磁盘上的校验值，并将它存在另外的磁盘上，以实现校验冗余（常用XOR校验）。2校验恢复（重建） ：当RAID阵列中的一个成员磁盘失败时，对剩余磁盘上的数据进行校验操作的逆操作（XOR），恢复失败磁盘上的数据。 当一个成员磁盘失败时，主机发出数据请求，阵列控制器将其余成员磁盘的数据与校验数据读出，用XOR操作计算出丢失的数据。然后将恢复的数据发送到主机，

4、完成I/O请求。计算机硬件和网络要点存储子系统简介图4-7 使用XOR功能建立校验数据和恢复丢失的数据数据磁盘失败磁盘校验磁盘XORXOR使用XOR功能在校验磁盘上建立校验数据XOR功能使用校验数据恢复失败磁盘计算机硬件和网络要点存储子系统简介图4-8 使用校验恢复在置换磁盘上重建数据 数据磁盘置换磁盘校验磁盘XOR使用校验恢复在置换磁盘上重建数据当用新的磁盘代替阵列中的失败磁盘时，校验恢复进程读出其它所有磁盘上的数据，并用XOR功能在置换后的磁盘上恢复数据。计算机硬件和网络要点存储子系统简介使用分区划分磁盘 RAID咨询委员会（RAB）定义分区概念为：一组地址连续的成员磁盘存储块，单个磁盘可

5、有一个或多个分区。一个磁盘上的多个分区可以有不同的大小。多个可能不连续的分区可以通过虚拟磁盘到成员磁盘的映射，成为同一虚拟磁盘的一部分。分区也称为逻辑盘，对于操作环境，它们通常不是直接可见。 分区的组合可以形成RAID子系统的阵列、镜像和虚拟驱动器。组织RAID阵列中的数据:分区、分块和分条计算机硬件和网络要点存储子系统简介图4-17 在一个4个磁盘的阵列的成员磁盘上定义的分区DABCABCABCDABC分区1A分区1B分区1C分区2A分区2B分区2C分区2D分区3A分区3B分区3C分区4A分区4B分区4C分区4D磁盘1磁盘2磁盘3磁盘41A4A，1B4B分别组合成2个阵列。分区1C+3C、2

6、C+4C及2D+4D组合形成镜像对。一种组合方式：计算机硬件和网络要点存储子系统简介图4-18 成员磁盘地址到虚拟驱动器地址的统一成员磁盘地址成员磁盘地址虚拟驱动器地址虚拟驱动器中的成员磁盘分区的统一组合在阵列中的成员磁盘分区使用虚拟驱动器统一地址 阵列管理软件将分区组合成阵列，并提供给主机，实现统一管理的映像。资源的统一表示也可称为虚拟设备。从虚拟驱动器到成员驱动器I/O操作传送计算机硬件和网络要点存储子系统简介图4-19 分条、分块及分区三者之间的关系分块1分块2分块3分块4分条1分条2分条3分条4分区1分区2分区 3分区4从分区到分块分条 (strip)磁盘分区可以进一步细分成更小的段作

7、为单个I/O操作对象，并称之为块（大小相等，地址相邻）。若分区又属于一个阵列，分块的长度（不同分区相应块的组合数）成为分条的深度。在某些环境下，分块被称为分条的元素。组合分块成分条分条是同阵列中的两个或更多分区上的一组位置相关的分块，位置相关意味着每个分区的第一分块属于第一分条，第二分块属于第二分条，以此类推。计算机硬件和网络要点存储子系统简介图4-20 组合分块形成分条分条1分条2分区1分区2分区3分区4分块1分块2分块1分块2分块1分块2分块1分块2另一种分条的分块组合表示方式计算机硬件和网络要点存储子系统简介图4-21 逻辑而不是物理地组合分条分区A1分区A2分区A3分区B1分区B2分区

8、B3分块7分块3分块11分块7分块3分块11分条7分条3分条11磁盘A磁盘B分区组合：A1+B2，A2+B3，A3+B1，形成3个阵列。分区中的块是按它们在分区中的相对位置排列。计算机硬件和网络要点存储子系统简介校验分块数据 使用XOR函数建立校验数据 XOR函数在逐位基础上对实际数据进行操作，建立校验数据。（在并行（连锁）访问RAID和独立访问RAID上建立校验数据的方法是不同的） 1校验计算 RAID校验数据的计算多使用布尔XOR函数。XOR函数可用于多位的组合运算，并与位的操作顺序无关。 2XOR的逆操作也是XOR 例：1 XOR 1 = 0 ；其逆操作：0 XOR 1 = 1； 0 X

9、OR 1 = 1 ；其逆操作：1 XOR 1 = 0； 计算机硬件和网络要点存储子系统简介3并行访问阵列中的简约模式操作 “简约”用在RAID环境下是指：当一个磁盘失败后，磁盘子系统将在少一个坏盘情况下继续正常工作。 若失败的是数据磁盘，对于读操作，阵列将恢复由失败磁盘引起的丢失数据；对于写操作，除了数据不被写到失败的磁盘，并将更新校验数据写到校验磁盘外，简约环境下的写操作与常规的写操作相同。这样，即使数据实际并没有写到失败磁盘上，失败磁盘上的数据也能恢复。当一个替代磁盘安装后，校验恢复操作将为新的磁盘重建数据。 计算机硬件和网络要点存储子系统简介图4-22 校验磁盘失败的子系统性能数据磁盘数

10、据磁盘数据磁盘校验磁盘当校验磁盘失败时无须XOR功能RAID控制器RAID子系统计算机硬件和网络要点存储子系统简介并行访问RAID的校验在并行访问RAID中，写操作将数据分条，写入磁盘阵列中。同时也计算校验数据，并将它写入一个附加的同步校验磁盘。校验磁盘与阵列中的数据磁盘分区和分条大小相同。同样，由于数据磁盘失败而需要信息恢复时，从同步磁盘中读出分条数据（包括校验磁盘），对数据进行XOR操作，由此重建失败磁盘的数据。计算机硬件和网络要点存储子系统简介独立访问RAID的校验 独立访问RAID的情况稍复杂，数据并不分块写入几个转动速度相同的同步磁盘，而是写入单个分区中的分块，然后再写入下一个分区。

11、1独立访问阵列的写额外开销 在计算新数据的校验值时，需要从阵列磁盘中读出存在的数据。为了写新的数据并计算其校验值所需执行的读和计算操作，称为RAID写的额外开销。 在更新某一个磁盘的数据时，并不读出阵列中所有其它磁盘对应位置的数据来计算新的校验值，仅需读出原校验数据和需要更新的数据。经过XOR运算，除去原数据值对校验值的影响，再将校验数据与新数据进行XOR运算，形成新的校验数据，最后写入各自的磁盘。 计算机硬件和网络要点存储子系统简介XOR2号磁盘数据1，2，3，4号磁盘的校验数据1，3，4号磁盘的校验数据（去除2号磁盘的影响）例 除去2号磁盘对校验值的影响计算机硬件和网络要点存储子系统简介新

12、数据写入独立访问阵列的过程（更新校验数据和写入新数据）从主机I/O控制器接收I/O请求和新数据；读出将被替代分块的原有数据；读出该块的校验数据；对校验数据与原有数据实施XOR操作（去除原有数据对校验数据的影响）；对该校验数据与新数据实施XOR操作（得到新的校验数据）；将新的校验数据写入磁盘；将新数据写入磁盘。计算机硬件和网络要点存储子系统简介图4-23 读、修改及写周期数据磁盘数据磁盘数据磁盘校验磁盘XORXOR读写I/O请求（更新磁盘3）计算新的校验数据从校验数据中去除原有数据的影响RAID控制器新数据新的校验数据原有数据原有数据原有的校验数据123下图显示了一个带有4个成员磁盘阵列（包含校

13、验盘）的读、修改和写的过程，要求更新3号数据盘上的数据。计算机硬件和网络要点存储子系统简介独立访问阵列的读、写性能 在一个读、修改和写周期中，一次单个驱动器的写操作需要独立访问阵列做4次数据传输，从而导致开销增大。所以独立访问阵列的读操作比其写操作快的多。它的写操作慢于连锁访问阵列和单个磁盘。使用磁盘写缓存减少额外开销 计算机硬件和网络要点存储子系统简介图4-24 回写缓存减少了由读、修改和写的回复数据磁盘数据磁盘数据磁盘校验磁盘123XOR保存写回写磁盘缓存RAID控制器新数据新数据新的校验数据计算新的校验数据读磁盘更新磁盘1+2下图显示了一个回写缓存示例，它的作用是保存阵列写，直到有足够多

14、的数据，即占有分条中的多数分块为止。计算机硬件和网络要点存储子系统简介XOR磁盘 为了满足一些RAID 子系统的要求，XOR功能可以集成到磁盘驱动器控制器中用来提高性能。其基本思想是：将多个I/O操作和XOR功能组合在一起，形成一个磁盘驱动器的请求。（原有校验数据）XOR（原有数据）XOR（新数据）= 新的校验数据表达式修改后（原有数据）XOR（新数据）XOR （原有校验数据）= 新的校验数据计算机硬件和网络要点存储子系统简介带有XOR功能的磁盘驱动器具有以下功能：从主机I/O控制器接受新数据；从磁盘读出原有数据；计算新数据和原有数据的XOR值；传送XOR值到阵列中的另一磁盘，如校验数据存放的

15、磁盘；从另一磁盘操作接受XOR数据，并使之与其数据实行XOR操作，产生即将写入磁盘的新校验数据。计算机硬件和网络要点存储子系统简介图4-25 XOR磁盘驱动器的读、修改和写的流水过程数据磁盘数据磁盘数据磁盘校验磁盘123数据磁盘4XORXOR 新数据新数据原有数据XOR原有+新数据新的校验数据原有的校验数据块转换I/O请求RAID控制器下图显示了5个具有XOR功能磁盘驱动器的阵列，这些XOR磁盘驱动器可以计算校验数据。计算机硬件和网络要点存储子系统简介各级RAID的比较八十年代，由伯克利完成最初的RAID工作，RAID分为5级，每级拥有不同的特性和算法，后又发展为6级。随着时间的推移，另一级R

16、AID也广泛地被工业界所接受，即RAID0。RAID 0：分条RAID 0是简单的不带校验的磁盘分条。本质上它并不是真正的RAID，因为它不提供任何形式的冗余。假如RAID 0的磁盘失败，该磁盘上的数据将丢失。典型的RAID 0使用独立访问的方法将数据分条，然后发送给成员磁盘。因为RAID 0不需要校验计算，因而它是所有类型的阵列中吞吐量最快的。对于以性能为第一要求，且数据保护需要最小的应用，适合选择RAID 0。如多媒体产品应用。第四讲 存储子系统-RAID (2)计算机硬件和网络要点存储子系统简介图4-26 RAID 0的数据映射虚拟驱动器成员磁盘1成员磁盘2成员磁盘3成员磁盘4RAID

17、0的数据映射 RAID 0具有逻辑磁盘到物理磁盘的映射功能，实现虚拟磁盘管理计算机硬件和网络要点存储子系统简介图4-27 RAID 1中的磁盘映射虚拟磁盘成员磁盘1成员磁盘2RAID 1：镜像 RAID 1是非校验的RAID级，其数据保护和传输性能都很优秀。RAID 1的数据映射：对一个磁盘的操作时对另一个磁盘同样实施。计算机硬件和网络要点存储子系统简介RAID 2：专有的校验码磁盘访问 RAID 2的定义涉及RAID控制器中的错误校验电路，由RAID控制器执行。今天，该项功能已被集成到磁盘驱动器中。RAID 2没有形成产品，文献中也几乎被忽略。计算机硬件和网络要点存储子系统简介RAID 3：

18、使用专有校验磁盘的并行（连锁）访问RAID 3子系统将数据分条存放到阵列中的所有驱动器，将校验数据写到阵列中的一个另外的校验磁盘。RAID 3被认为是校验RAID。本讲前面所讨论的连锁访问RAID都属于RAID 3。为了获得高性能，RAID 3需要同步磁盘转动。由于严格控制磁盘操作很困难，所以RAID 3很少在主机卷管理软件中实现，而在带有集成RAID控制器的RAID子系统中实现。RAID 3的大部分性能优势来自于缓存和高磁盘转速。RAID 3技术已不多见。RAID 3适用于写性能要求严格的环境中，也适合大的顺序访问应用，如数据挖掘、多媒体/电影制作等。计算机硬件和网络要点存储子系统简介RAI

19、D 3的数据映射：如图4-5所示图4-5 写数据到并行访问的分条阵列 T=0 T=1 T=2 T=3 T=4驱动器1缓冲接受 驱动器1写数据 驱动器2写数据 驱动器3写数据 驱动器4写数据 驱 动器2等就绪 驱动器2缓冲接受 驱动器3缓冲接受 驱动器4缓冲接受 驱动器1缓冲接受 计算机硬件和网络要点存储子系统简介RAID 4：使用专用校验磁盘的独立访问RAID 4是一种独立访问的RAID实现，它有一个专用的校验磁盘。与RAID 3不同的是，RAID 4有更大量的分块，使多个I/O请求能同时处理。它具有读性能优势，但写开销很大，因为每次读、修改和写周期中，校验磁盘都被访问2次。当RAID 4中的

20、磁盘数量增加时，它的写瓶颈效应也会随之增加。缓解的办法是使用回写缓存。RAID 4的数据映射：如下图所示计算机硬件和网络要点存储子系统简介图4-28 RAID 4的数据映射虚拟驱动器XOR成员磁盘1成员磁盘4成员磁盘2成员磁盘3校验成员磁盘RAID 4的数据映射：如下图所示计算机硬件和网络要点存储子系统简介RAID 5：使用分布式校验的独立访问 RAID 5是一个独立访问的RAID阵列，校验数据被分布在阵列中的所有磁盘。由于没有一个专有的校验磁盘，因而没有像RAID 4一样的写瓶颈。RAID 5比RAID 4更适合支持的磁盘，可以拥有更大的容量和更多的磁盘臂，因而也具有更高的性能。RAID 5

21、的数据映射：由于没有校验数据分布的规范和标准，所以在RAID 5中，各厂商实现的校验数据分布方案也不相同。RAID 5阵列的最优负载是事物处理。多个I/O请求能在RAID子系统中交叉执行。对于写操作比例很大的应用不建议使用RAID 5。回写缓存可以缓解该问题。计算机硬件和网络要点存储子系统简介图4-29 RAID 5的数据映射校验数据分条4校验数据分条3校验数据分条2校验数据分条1成员磁盘虚拟驱动器下图中的方法：第一个分条的校验数据方在第一个磁盘上，第二个分条的校验数据方在第二个磁盘上，以此类推。由于本阵列中只有5个磁盘，所以第六个分条的校验数据将回放在第一个驱动器上。计算机硬件和网络要点存储

22、子系统简介RAID 6：使用双校验的独立访问RAID 6提供两级冗余，使阵列中两个驱动器失败时，阵列仍然能够继续工作。一般而言，RAID 6的实现代价要比其它级的RAID高。DAID 6的校验数据 使用多种算法，如XOR和其它函数；在不同的分条上或磁盘上使用排列的数据。RAID 6的一维冗余 使用两个校验磁盘支持数据磁盘。例：第一个校验磁盘支持一种校验算法P，而第二个校验磁盘支持另一种校验算法Q，使用两种算法也称为P+Q校验。计算机硬件和网络要点存储子系统简介图4-30 一维 RAID 6的数据映射校验数据A分条2校验数据B分条2校验数据A分条1校验数据B分条1成员磁盘虚拟驱动器计算机硬件和网

23、络要点存储子系统简介3 RAID 6的二维冗余 二维冗余基于的概念：阵列可以按逻辑安排成由行列组成的矩阵。数据的排列以行和列表示，校验数据可作为阵列空间的正交矢量来计算。 该方法可简单地看作MN的矩阵，M个校验磁盘需要N个校验计算，N个校验磁盘需要M个校验计算。总的需要校验磁盘数为M+N。 二维方法的优点之一是可以利用同样的算法计算校验数据，大大简化了用于简约功能的操作。4二维RAID 6阵列的数据映射 图4-31所示。实际上矩阵排列没有必要与磁盘排列一致。一般不要将几排独立的阵列构造成矩阵，如果这样做的话，需要阵列具有完全相同的分区大小和分条深度。而由同一阵列的分区逻辑地构造矩阵将容易的多。

24、计算机硬件和网络要点存储子系统简介 图4-31 二维RAID 6阵列的数据映射虚拟驱动器成员磁盘1成员磁盘2成员磁盘3成员磁盘4校验数据磁盘1， XOR磁盘3校验数据磁盘2， XOR磁盘4校验数据磁盘1， XOR磁盘2校验数据磁盘3， XOR磁盘4计算机硬件和网络要点存储子系统简介组合不同级的RAID 阵列管理软件可以驻留在RAID子系统中，也可以驻留在主机卷管理软件或主机I/O控制器中。因此，在逻辑上可以把RAID功能分成多层，以取得综合优势。例如，将镜像和分块组合就可以同时获得性能和可靠性（冗余）两方面的优势。多层RAID阵列的目标 组合多个RAID级的目的是扬长避短，用一个级的优点补偿另

25、一级的缺点，产生具有综合优势的混合RAID阵列。 表6-3 不同RAID级的特点比较RAID级 相对优点 相对缺点RAID 0 性能较好 无冗余RAID 1 无校验冗余 花费较多RAID3 写开销最小 无交叉操作RAID 4 少量交叉I/O操作 校验磁盘瓶颈RAID 5 少量交叉I/O操作 写额外开销较小 计算机硬件和网络要点存储子系统简介图4-32 多个低级位置阵列表示为单 个高级位置阵列的虚拟成员驱动器磁盘磁盘磁盘磁盘磁盘磁盘磁盘磁盘磁盘最低位置阵列虚拟驱动器的最高位置 为了讨论方便，我们将管理磁盘的RAID称为最低级，最靠近CPU的RIAD称为最高级。最高位置的阵列是虚拟化的，并不包括物

26、理硬件。计算机硬件和网络要点存储子系统简介分块和镜像的组合：RAID 0+1/RAID 10 RAID 0 和RAID 1的组合称为RAID 0+1或RAID 10。通过将RAID 0分条的速度优势和RAID 1镜像的冗余进行组合，结果可以产生一个快速、没有写开销、具有极好冗余性质的子系统。如图4-33所示，此图中RAID 0部分处于最高位置， RAID 1阵列处于最低位置。 RAID 0+1/RAID 10正变得越来越流行。RAID 0+1/RAID 10的特点操作量减少，性能不降低；与校验RAID 比，它的写开销小；一个带有X个虚拟成员驱动器的阵列，在所有X个驱动器失败之前，它还能继续工作；阵列容量的扩展并不减少MTDL（平均数据丢失时间）；MTDL取决于单个磁盘，而不是多个磁盘；容易使用多个产品的实现。计算机硬件和网络要点存储子系统简介图4-33 RAID 0+1/RAID 10：一个分块虚拟驱动器到镜像磁