（计算机软件与理论专业论文）平衡网络raid中磁盘访问速度差异的方法——子阵列法.pdf

摘要 摘要 网络磁盘阵列中磁盘的访问速度是有差异的，它是导致原有的数据布局方式 对网络磁盘阵列不能适应的主要原因，本文针对这一问题，进行了深入的分析， 并提出了一种方法子阵列法，通过改变原有的数据布局方式，来平衡磁盘之 间访问速度差异，并提高网络磁盘阵列在大数据访问的应用中的性能。 本文首先介绍了单机磁盘阵列和网络磁盘阵列的基础知识，然后分析原有的 数据布局不能适应网络磁盘阵列的原因，并针对它提出了子阵列法来改变这种情 况。最后使用仿真实验对子阵列法和原有方法进行比较，并分析了得出的实验结 果。 关键词： 单机磁盘阵列，网络磁盘阵列，磁盘访问速度，数据布局 a b s t r a c t a b s t r a c t t h ea c c e s sr a t eo fe a c hd i s ki nt h en e t w o r kr e d u n d a n ta r r a yo fi n d e p e n d e n td i s k s ( r a i d ) i sd i f f e r e n t ，w h i c hl e a d st oo r i g i n a ld a t al a y o u tn o ta b l et oa d a p tt on e t w o r k r a i d t os o l v et h i sp r o b l e m ，t h i sp a p e rp r o v i d e sa l li n - d e p t ha n a l y s i s ，a n dp r o p o s e sa n e wm e t h o dc a l l e ds u b r a i d t h i sm e t h o dr e s o l v e st h ep r o b l e mb yc h a n g i n g o r i g i n a ld a t al a y o u t ，r e s u l t i n gi ni m p r o v e dp e r f o r m a n c eo fn e t w o r kr a i dw h e n p r o c e s s i n gc o n t i n u o u sb u l kd a t a t h ep a p e rs t a r t sw i t hi n t r o d u c i n gb a s i ck n o w l e d g eo fr a i da n dn e t w o r kr a i d ，t h e n a n a l y z e st h er e a s o nw h yo r i g i n a ld a t al a y o u tc a n n o ta d a p tt on e t w o r kr a i d ，a n d p r o p o s e ss u b - r a i dm e t h o da s 趾i m p r o v e m e n t t h ep a p e rc o n c l u d e sb yc o m p a r i n g t h el a y o u tm o d eo fs u b - r a i dm e t h o dw i t ho r i g i n a l l a y o u tm o d eb ya r t i f i c i a l e x p e r i m e n la n dt h e np r o v i d e s 趿a n a l y s i so f t h ee x p e r i m e n t a lr e s u l t k e yw o r d s ： r e d u n d a n ta r r a yo fi n e x p e n s i v ed i s k s ，n e t w o r kr a i d ，d i s ka c c e s ss p e e d , d a t a l a y o u t y8 f l t s t 6 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：伢_ 匕莲乡 秒口；年【只2 6 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 解密时间：年月日 各密级的最长保密年限及书写格式规定如下 内部5 年( 最长5 年，可少于5 年) 秘密1 0 年( 最长l o 年，可少于1 0 年) 机密2 0 年( 最长2 0 年，可少于2 0 年) 苍瞩嚣字思 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作 所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含 任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉 及的研究工作做出贡献的其他个5 k , 矛d 集体，均己在文中以明确方式标明。本学 位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 弥习睦 功口e 年f 窍2 6 日 第1 章绪论 第1 章绪论 第一节本文的研究背景 随着网络存储技术的发展，网络磁盘阵列的应用越来越广。受网络环境的 影响，网络磁盘阵列与单机磁盘阵列有很大的不同。在网络磁盘阵列中，磁盘 数量大，种类多，分布广，因此，磁盘的访问速度存在差异是不可避免的。 原有的数据布局设计是在磁盘访问速度一致的条件下进行的，而网络磁盘 阵列中磁盘的访问速度存在差异，它造成了原有的数据布局方式并不能对网络 磁盘阵列的特点很好的适应。因此，寻求一种新的能适应网络磁盘阵列特点的 数据布局方法就显得尤为重要。 第二节本文所做的工作 以往在网络磁盘阵列布局方面的研究，多集中在通过改变校验单元的布局 来提高阵列在重构过程和降级状态下的性能，而本文着重通过改变数据单元的 布局来提高阵列的访问速度。本文以平衡磁盘访问速度差异，提高阵列访问速 度为目标，针对大数据访问为主的应用，提出了一种新的数据布局方法一一子 阵列法。子阵列法可以根据每个网络磁盘阵列的不同情况，定制不同的数据布 局方案，以达到最佳的访问速度。 本文所作的工作包括： l 。通过对网络磁盘阵列与单机磁盘阵列在并行性上的差异分析，使用夹 角现象揭示了原有的数据布局方法对网络磁盘阵列不能很好的适应。 2 提出了种新的数据单元布局的方法一一子阵列法。它可以根据网络 磁盘阵列中磁盘的访问速度差异来布局数据单元的。 3 从理论上对子阵列法和原有的布局方法进行了对比分析，证明它能够 改善网络磁盘阵列的性能。 4 在各种参数条件下，使用仿真实验对子阵列法和原有的布局方法进行 了对比，并深刻分析了子阵列法性能较高的原因。 第1 章绪论 第三节本文的组织结构 本文的组织方式如下； 第2 章介绍磁盘阵列相关知识。首先介绍了磁盘阵列技术的起源，然后介 绍了磁盘阵列技术的基本思想、几种基本r a i d 结构、以及r a i d 的一些性能 评价变量等等。 第3 章介绍网络磁盘阵列的研究与发展现状。首先介绍网络存储技术的发 展，然后引出了网络存储中广泛应用的网络磁盘阵列技术，介绍了几种网络 r a i d 的实例。最后通过把网络磁盘阵列与单机磁盘阵列进行对比，分析出网 络磁盘阵列特有的优缺点。 第4 章针对网络磁盘阵列中磁盘访问速度的差异及原有布局方法对网络 磁盘阵列的不适合，提出了平衡网络磁盘阵列中磁盘访问速度差异的子阵列法。 首先对磁盘访问速度差异进行定量描述，然后提出并分析要解决的问题，之后 对解决问题的方案进行了阐述，分析了方法中的主要技术和重点问题，最后通 过概率计算从理论上分析了子阵列法的应用条件。 第5 章介绍对子阵列法的仿真实验。首先介绍了仿真实验的基础原理，然 后介绍了现有的仿真程序对网络磁盘阵列及子阵列法的不适用的方面，之后又 介绍了对程序改进的方法，最后对实验结果进行了详细的分析。 第6 章对所作研究工作进行了总结，并展望了今后的工作方向。 第2 章磁盘阵列技术的介绍 第2 章磁盘阵列技术的介绍 廉价的冗余磁盘阵列( r a i d ) 开始于2 0 世纪8 0 年代，当时它是加州大学 b e r k e k e y 分校的一个研究项目，此后，存储工业一直将它作为研究与发展的主 题。本章将介绍一些磁盘阵列技术的基本知识，包括r a i d 技术的起源、r a i d 的基本数据布局以及评价r a i d 性能的一些变量。 第一节磁盘阵列技术的起源 自从硬盘技术出现以来，就以其大容量、高性能和低价格，成为计算机系统 中永久保存海量数据的主要存储设备。一直以来，硬盘技术的发展是非常迅速 的。特别是容量，几乎以每年1 0 0 的速度持续增长，而其价格却在不断下降， 这也促进了需要大容量存储的应用的发展。但由于计算机的硬盘和处理器的处 理速度本来就有数量级的差异，在硬盘自身机械特性的限制下，其性能提高速 度一直较为缓慢，远远落后于c p u 、内存等系统其它部分的发展速度。于是， 硬盘的性能便成为计算机系统的瓶颈，拉低了计算机系统的整体性能，若不能 有效的提升硬盘的存取速度，c p u 、内存及磁盘问的不平衡将使c p u 及内存的 改进形成浪费。 为了解决单一硬盘在容量、性能以及可靠性方面的不足，p a t t e r s o n 、g i b s o n 和k a t z 于8 0 年代末期提出了廉价磁盘冗余阵列技术( r e d u n d a n ta r r a y so f i n e x p e n s i v ed i s k s ，r a i d ) 【1 ，2 3 1 。r a i d 通过使用条纹化技术( s t r i p e ) 4 , 5 , 6 , 7 1 ，实现 大量硬盘的并行操作，从而满足对存储系统的高性能要求；同时，在阵列系统 中使用大量硬盘也满足了对存储系统高容量的要求。大量硬盘的同时使用也引 入了另外一个问题：随着硬盘数目的增加，存储系统的可靠性迅速降低。实际 上已经证吲町，磁盘阵列的平均无故障时间间隔随着硬盘个数的增加呈指数阶递 减。所以，越多的磁盘组合在一起，发生故障导致数据丢失的可能性就越大。 而r a i d 通过存储空间的冗余，较好地解决了大系统带来的可靠性问题。归纳起 来，造成r a i d 流行的主要原因有三个【l l 】： r a i d 在容量和管理上的优势。 第2 章磁盘阵列技术的介招 r a i d 的性能优势。 r a i d 的可靠性和可用性优势。 r a i d 从物理结构上看是一组磁盘被置于一个物理封套内，形成一个单一的 虚拟磁盘驱动器。所有磁盘由r a i d 控制器( 计算机与磁盘阵列间的接口设备) 集中管理，并由它负责与计算机通信。图2 1 是一个典型r a l l ) 系统实现的体系 结构示意图。 p c 1 总 线 图2 1 典型的r a i d 系统物理结构 第二节磁盘阵列技术的基本思想 磁盘阵列技术的基本思想有两个方面：利用数据条纹化( s t r i p i n g ) 提高性能， 利用数据冗余( p a r i t y ) 提高可靠性。 提出磁盘阵列技术的一个主要的目的就是要解决硬盘性能落后于系统其他 部分的问题，解决的办法就是利用大量磁盘的并行操作来提高性能，而数据条 纹化就是使磁盘阵列具有并行工作能力的技术。所谓条纹化，就是将原来顺序 存放在单个磁盘上的用户数据透明地分布到多个磁盘上形成一个单一、快速的、 海量的大磁盘，以实现磁盘操作的并彳亍性。这种并行性体现为两种方式：一种 方式是，多个独立的小请求同时由不同磁盘处理，这种方式减少了请求的响应 时间，提高了i o 率，它可称为“请求间并行”方式；另一种方式为，一个大的 请求同时由多个磁盘协同进行处理，这种方式可以提高数据传输率，它可称为 “请求内并行”方式。显然，组成磁盘阵列的磁盘数日越多，阵列的性能就有 可能越高。 但随着磁盘数目的增加，发生故障的可能性也随之增大。磁盘阵列技术中 第2 章磁盘阵列技术的介绍 的另一个基础数据冗余就是用来提高系统的可靠性。数据冗余技术通过牺 牲一些存储空间保存校验数据，来实现对用户数据的保护，从而达到提高可靠 性的目的。计算表明，即使只采用简单的容错技术也可以将r a i d 系统的可靠性 显著地提高。 第三节磁盘阵列的几种常用结构 根据数据条纹化的粒度，以及如何计算和分布冗余数据，p a t t e r s o n 、g i b s o n 和k a t z 最初提出了5 种基本r a i d 结构i l 】，划分为r a i d 级别】到级别5 。后来 又增加了两种r a i d 结构，r a i d 级别0 和r a i d 级别6 1 9 1 。其中商业上常用的 是r 越d0 ，l ，4 ，5 级。此外还有一些混合型的r a i d 分类，如i 认i d l o 即r a i d 0 + 1 ，实际上是两级r a i d 。本节将介绍这几种基本r a i d 结构。在这之前，先 介绍一下描述不同r a i d 结构常用的一些术语和描述方式。 通常按照条纹化数据交错单位的大小，将每个磁盘划分成固定大小的数据 块，这种数据块称为条纹单元( s t r i p i n gu n i t ) 。用户数据按条纹单元为单位分布 到磁盘，条纹单元大小即为在一个磁盘上放置的连续数据的最大量。保存用户 数据的条纹单元称为数据单元，保存校验数据的单元称为校验单元。条纹单元 大小一般可以由磁盘阵列控制器设置，小至1 个位、1 个字节，大可以到整个磁 盘大小，以满足不同应用的需求。进行校验计算的最小的条纹单元集合称为一 个校验条纹。图2 2 给出了r a i d 基本术语的示意。 图2 2 磁盘阵列基本术语示意 显然，磁盘阵列的管理对于用户而言应该是透明的，阵列呈现给用户的应 该是一个大的虚拟磁盘，用户访问阵列使用线性地址空间。而将线性地址转换 为硬盘物理地址的工作，以及写操作中所涉及的校验数据的定位工作，都由阵 第2 章磁盘阵列技术的介绍 列控制器负责。通常把这种用户数据的逻辑地址到其物理地址及相应的校验数 据地址的映射称为磁盘阵列的数据布局。简单来说，布局就是描述用户数据如 何存储在磁盘阵列中的。多数磁盘阵列结构和容错编码的相关研究都涉及到数 据布局，实际上就是进行某种特定映射关系的研究。而如果一旦给出了映射关 系，也就准确描述了阵列结构和数据布局。实际上，这种映射应该包括两个步 骤：第一步为用户数据地址空间到阵列地址空间的映射，即将用户数据地址转 换为条纹单元编号；第二步为阵列地址空间到物理磁盘地址空间的映射。 2 3 1r a i d - 0 ( 无冗余，条纹化) r a i d 0 没有使用冗余技术，而只使用了条纹化技术。因为无需写校验数据， 因此它的写性能在所有基本r a i d 结构中是最好的，但它的读性能不如r a i d l ( 镜像) 。由于没有冗余，单个磁盘故障就会造成数据损失。因此i l a i d 0 常用于 那些对性能和容量的需求优先于可靠性的系统，如科学计算环境。 条纹0 条纹1 条纹2 条纹3 条纹4 磁盘1磁盘2磁盘3 d 1 d 5 d 9 d 1 3 d 1 7 图2 3r a i d 0 数据布局方法 2 3 2r a i d 级别1 ( 镜像) d 2 d 6 d 1 0 d 1 4 d 1 8 d 3 d 7 d 1 1 d 1 5 d 1 9 r a i d l 是一种传统的存储予系统容错技术。磁盘两个一组分成镜像对，每 个数据块在一个镜像对的两个磁盘上都保存一个复本，这样，只要不是同一镜 像对中两个磁盘都损坏，磁盘阵列可以容许多达n 2 个磁盘故障。r a i d l 还使用 了条纹化技术，即在镜像对间交错存放数据。r a i d l 的缺点是磁盘冗余度较大， 单位容量价格较高( 为r a i d 0 的两倍) ，因此常用于对可靠性要求非常高的应用， 如数据库系统。 6 第2 章磁盘阵列技术的介绍 条纹0 条纹1 条纹2 条纹3 条纹4 磁盘0磁盘l磁盘2磁盘3磁盘4磁盘5磁盘6 磁盘7 d 0 d 4 d 8 d 1 2 d 1 6圈禺斟禹尉圈圈 图2 4r a i d l 数据布局方法 2 3 3r a i d 级别2 ( 类似内存的纠错码) r a i d 2 采用内存系统中常用的纠错码海明码( h a m m i n ge r r o rc o r r e c t i n g c o d e ) 进行数据保护。用户数据以位或字节为单位进行条纹化，用户数据划分为 若干相互重叠的子集( 一个数据属于多个子集) ，每个子集的用户数据计算校验 数据存放在一个校验磁盘上。由于校验磁盘的数目正比于磁盘总数的对数，因 此r a i d 2 的磁盘冗余度要小于r a i d l ，阵列规模越大这种优势越明显。当一个 磁盘发生故障时，几个校验组的数据会不一致，而丢失数据即为这几个校验组 共同包含的数据，用其中一个校验组的剩余数据即可恢复丢失数据。图2 5 给出 了r a i d 2 的数据布局方法，d 表示用户数据，h 表示海明码校验数据。 条纹 0 条纹 1 条纹 2 条纹 3 条纹 4 磁盘0磁盘1磁盘2磁盘3磁盘4 - 6 d o d 4 d 8 d 1 2 d 1 6 d 1 d 5 d 9 d 1 3 d 1 7 图2 5r a i d 2 数据布局方式 2 3 4r a i d 级别3 ( 位交错奇偶校验) 囊s l 眵+ 0 0 曩； ；。h 4 7 。 蔓。 ，l of + o 涵8 1 1 _ 2g + _ ： ； h 1 2 1 5 、 - h i 6 1 9 1 1 对于磁盘阵列这种“差错通道”系统，只需使用奇偶校验编码方法即可 第2 章磁盘阵列技术的介绍 而无须像r a i d 2 那样使用更复杂、冗余度更高的海明码。 r a i d 3 就是采用奇偶校验编码，按位字节进行数据交错的r a i d 结构。 r a i d 3 只需一个校验磁盘，存放用户数据通过异或运算( x o r ) 得出的校验数 据：c = d 0 d ：0 0 d 。o d 。当一个磁盘发生故障时，利用异或运算的逆运 算仍为自身这一特点，条纹中剩余数据仍通过异或运算即可恢复丢失数据，例 如，数据d 2 丢失，则：d ：= c o d 。o 以o o d 。0 d 。由于条纹单元大小为 位或字节，一个i 0 请求需要由所有磁盘共同处理。因此所有磁盘的磁头的移动 是一致的，磁头定位的磁道也总是一样的。这就保证了处理一个请求时，所有 磁盘的寻道时间都是一样的，从而避免了一些磁盘处于空闲状态，等待其他磁 盘的情况。为了保证所有磁盘的旋转延迟也是一致的，使用r a i d 3 的系统通常 使用特殊电路同步磁盘主轴的旋转。r a i d 3 可以达到非常高的数据传输率，因 此适合于单进程进行顺序大数据访问的应用，如科学计算环境。图2 6 给出了 r a i d 3 的数据布局方法，其中一d 表示用户数据，p 表示奇偶校验。 条纹0 条纹1 条纹2 条纹3 条纹4 磁盘0磁盘1磁盘2磁盘3磁盘4 d 1 d 5 d 9 d 1 3 d 1 7 d 2 d 6 d 1 0 d 1 4 d 1 8 图2 6p a i d 3 数据布局方式 2 3 5r a i d 级别4 ( 块交错奇偶校验) d 3 d 7 d 1 1 d 1 5 d 1 9 p 0 3 一p 4 - 7 p 8 ：- 1 p t 2 - 1 5 ：p 1 6 - i 9 r a i d 4 与r a i d 3 基本相同，不同之处在于r a i d 4 采用粗粒度条纹化，条 纹单元较大( 3 2 k b 或更大) 。由于条纹单元较大，多数较小请求只涉及到一个 磁盘，磁盘阵列可并行处理多个请求。因此r a i d 4 更适合于并发度高，而请求 相对较小的应用，如在线事务处理系统( o p ) 。但对于相对较大的请求，r a i d 4 也可提供较高的数据传输率。因此，对那种大多数请求较小，而包含少量较大 请求的应用，r a i d 4 的效率也是较高的。 条纹0 条纹1 磁盘2 厂石门 尉 磁盘4 网 圃卣苗苗 第2 章磁盘阵列技术的介绍 条纹2 条纹3 条纹4圉圉圉目圈 图2 7r a i d 4 数据布局方式 2 3 6r a l d 级别5 ( 块交错校验分布) r a i d 4 的数据布局方式存在着严重的校验磁盘瓶颈问题。因为使用专用校 验磁盘，对于每个小的写请求，在更新数据单元的同时也要更新相应的校验单 元，这样校验磁盘的负载就是数据磁盘的n - 1 倍，校验磁盘成为磁盘阵列系统的 瓶颈。而r a i d 3 却不存在这个问题，这是因为r a i d 3 采用细粒度条纹化，每个 请求都由所有磁盘共同完成，每个请求相对校验单元大小而言都是“大请求”， 因此校验磁盘的负载与数据磁盘是一样的。通过将校验数据分布到所有磁盘， 使校验更新负载均匀分布，r a i d 5 解决了r a i d 4 的这一缺点。r a i d 5 另一个不 易察觉的好处是，用户数据也分布到所有磁盘，所有磁盘在读操作中均可利用， 因此r a i d 5 的读性能也优于r a i d 4 。r a i d 5 有多种不同的数据和校验布局方式， 图2 8 给出了左对称布局方式。 条纹0 条纹1 条纹2 条纹3 条纹4 磁盘0磁盘1 d 0 d 5 d 1 0 d 1 5 ：莹l 1 9 1 d l d 6 d 1 l 囊霉鸠毒l 擎i ； d 1 6 磁盘3磁盘4 d 3 i t 4 , 7 i d 8 d 1 3 d 1 8 图2 8 左对称r a i d 5 数据布局方式 2 3 7r a i d 级别6 ( p + q 冗余) p 0 - 3 + d 4 d 9 d 1 4 d 1 9 奇偶校验编码只能恢复单一自识别故障。但有很多因素，如阵列规模越来 越大、重构过程中遇到不可恢复位故障等等，要求磁盘阵列系统使用容错能力 更强的编码。r a i d 级别6 p + q 冗余就是一种可容许双故障的r a i d 结构。 r a i d 6 采用m = 2 的r e e d - s o l o m o n 编码。如果要求更高的可靠性，使用m = k 的 r e e d s o l o m o n 编码，即可使阵列具有容许k 个故障的能力。r a i d 6 除了校验计 9 第2 章磁盘阵列技术的介绍 算方法不同外，其他各方面与r a i d 5 均很相似，图2 9 给出了类似左对称的 r a i d 6 布局方式。r a i d 6 的优点是磁盘冗余度低，只比r a i d 5 增加了一个磁盘 就提供了双故障容错能力。但r e e d s o l o m o n 编码计算较为复杂，一般需要特殊 硬件辅助才能获得较好性能，不适于用软件实现。 条纹0 条纹l 条纹2 条纹3 条纹4 磁盘0 d o d 6 ，p 8 。n i d 1 2 d 1 8 磁盘2 d 2 ，p z 7 d 8 d 1 4 刚6 - 1 9 图2 9r a i d 6 数据布局方式 磁盘4磁盘5 p o a 3 7 d 4 d 1 0 ”p 1 2 1 5 d 1 6 第四节磁盘阵列性能的评价变量 q 0 ：3 d 5 d 1 1 q 1 2 - 1 5 d 1 7 为了评价磁盘阵列组织结构的优劣，g i b s o n 提出了四个标准10 】：( 基于 c l u s t e r ) m t t d l ( m e a n t o n et od a t al o s 曲 m t i d l 是衡量磁盘阵列性能的最重要标准，表示一个阵列系统的平均无故 障时间。它实际上就是计算在修复第一个硬盘故障期间，发生第二个硬盘故 障的概率。在磁盘阵列数据布局的可靠性模型中有三种状态：“正常”状态、 “降级”状态和“失败”状态。 图2 1 0 磁盘阵列数据布局的状态转换模型 如图2 1 0 所示，平时，阵列系统工作在“正常”状态。以单容错阵列为例， 当任意一个硬盘故障，阵列系统进入“降级”状态。如果故障硬盘被修复， 1 0 第2 章磁盘阵列技术的介绍 系统回复“正常”状态，这个过程称为重构。在“降级”状态下，如果再有 一个硬盘故障，系统进入“失败”状态。在“正常”和“降级”状态，系统 存储的数据可以被使用。在“失败”状态，数据丢失。在实际应用中，一般 使用蒙特卡洛模拟计算具体值。 c h e c kd i s ko v e r h e a d c h e c kd i s ko v e r h e a d 是阵列系统中校验空间和数据空间的比例。它表明了 磁盘阵列系统存储空间的冗余度，即存储空间利用率。 u p d a t ep e n a l t y u p d a t ep e n a l t y 表示数据更新的代价；当一个给定的数据单元的内容被改变 后，需要更新的校验单元的数目。如果一种阵列系统的设计方案要求大于1 个 硬盘的校验单元被更新，则说明这种设计降低了阵列系统的并行性。而并行性 正是磁盘阵列系统的最重要的优点之一。 g r o u p s i z e g r o u ps i z e 是只指当一个硬盘失败后，重构该盘的数据所需要访问的硬盘 数目。当g r o u ps i z e 变大时，重构所需的时间也会相应的线性增加。这将增加 m t t r ( m e a nt i m et or e c o v e r y ) ，从而减少系统的m t t d l 。 第3 章网络磁盘阵列的研究与发展现状 第3 章网络磁盘阵列的研究与发展现状 随着应用的推动和技术的不断发展，网络存储逐渐成为学术界和业界的热 点。相关的研究工作十分活跃，新的技术和产品也不断涌现。但这些工作大多 数着眼于网络存储系统的体系结构和互连技术方面，对于无论是在传统存储系 统还是在网络存储系统中都非常重要的磁盘阵列，由于在网络存储环境下其特 点有了很大变化，需要研究的问题就更多了。 本章首先介绍了网络存储技术的产生和发展，作为网络磁盘阵列知识的基 础，然后列举了网络磁盘阵列的几种基本类型，以加深对网络磁盘阵列技术的 理解。最后将网络磁盘阵列与单机磁盘阵列进行对比，详细分析了网络磁盘阵 列的特点。 第一节网络存储技术 3 1 1 网络存储技术的特点 近年来，网络存储技术发展十分迅速，推动网络存储技术产生、发展的主 要有以下几个因素： 1 网络和服务器系统的瘫痪将会给企业经营和生产造成巨额的损失。 2 多媒体服务、可视化计算等应用以及电子商务等互联网应用发展迅速， 对存储系统的容量、性能和可靠性要求越来越高。 3 传统的基于工作站或主机系统的文件服务器系统很难满足应用需求的 发展，而利用高速网络通用、灵活、伸缩性强的特点，则可构建更高性能、 更强伸缩性的存储系统。 4 高性能通用网络技术( 如千兆以太网技术) ，和专用的高性能存储网络 技术( 如光纤通道技术) 的迅速发展，为网络存储技术的发展提供了可能。 图3 1 给出了存储网络的工作原理示意图。存储网络可以在网络上的任何 地方提供对存储设备的集中式管理。这一结构的目标是将存储任务从各种特定 第3 章网络磁盘阵列的研究与发展现状 的服务器上分离出来，从而实现以高速网络技术作为主干的存储设备共享形式。 网络存储方式主要具有以下优点： 存储效率：通过集中管理存储设备和存储设备的共享，网络存储可以有效 地减少存储容量的浪费，在整个企业范围内提高资源的利用率。 服务器和存储设备的独立扩展：将存储设备从服务器上分离出来，实现外 部化。服务器可以在不影响存储的情况下升级。存储设备也可以在不停机 的情况下随时得到补充，并且在服务器之间动态分配。 高可用性：传统存储系统的备份工作需要通过服务器，必须在夜间系统空 闲时进行。而在网络存储系统中，备份可在任何时候，在存储设备和离线 的磁带存储器间直接进行，支持2 4 * 7 的商务运行需求。 存储管理：通过集中存储设备和存储的管理，可以减少管理开销和提高管 理质量。 图3 1 存储网络工作原理 网络存储的不足主要包括以下几个方面： 成本：复杂的网络存储系统价格昂贵，尽管它可以通过减少管理人员的需 求量来节约成本，但对数小企业来说还是可望不可及。 品牌兼容性：由于存储网中的硬件，软件及连接器等组件由很多不同的厂 第3 章风络磁盘阵列的研究与发展现状 商生产，而且还没有一个全面统一的标准，所以不能保证它们之间都能相 互兼容。不过，这个问题正在缓解。 网络复杂性：系统遍布网络所带来的复杂性，如系统协同工作的一致性处 理，网络存储访问的额外开销，以及数据的一致性和网络安全性等等。实 际上，这也是所有分布式应用和i n t e r a c t 应用所面i 临的问题，而网络存储也 可以借用这些领域的进展来解决这些问题。 3 1 2 网络存储技术的最新发展n a s 、s a n n a s ( n e t w o r k a t t a c h e ds t o r a g e ，附网存储) 和s a n ( s t o r a g e a r e a n e t w o r k s ， 存储区域网络) 是近几年出现的较为重要的两种网络存储技术。 n a s n a s 的设计宗旨是使数据传输脱离服务器i o 总线的控制。n a s 存储设备 是一种仅向客户端提供文件存取服务的精简功能的服务器。n a s 设备直接连在 l a n 上，采用t c p i p 协议与客户端进行直接数据传输，这种数据传送方式也称 作第三方传送。n a s 结构中的服务器只起到控制管理的作用【2 0 j 。 n a s 的优势体现在 2 1 , 2 2 】： 可扩展性：可以在不改变原有网络结构和设备的条件下向局域网挂接 多个存储设备： 高带宽利用率：多个存储设备可同时向网络传送数据； 响应速度快：这主要是由于网络服务器的资源从管理文件传输中解放 了出来； 低价位：因为对服务器的要求降低，所以大大降低了服务器成本。 n a s 的最大缺点是传输速率慢且不稳定，这主要是由于普通的l a n 不是针 对存储应用设计的网络。普通局域网只有1 0 m 1 0 0 m 的速率，而且网络上已有 大量计算机，所以网络上剩余的有限带宽不能满足大量数据传输的需要。 s a n s a n 产品自1 9 9 7 年开始进入市场，其设计思想是建立一个存储专用的网络， 专门用于存储管理和数据交换口0 1 。 s a n 的专用网络多采用光纤通道和f c 协议，该网络专用于存储、不提供其 它服务，可以做到独享带宽。但是s a n 的存储设备仅能被连接到s a n 上的服 1 4 第3 章网络磁盘阵列的研究与发展现状 务器直接访问，l a n 上的客户端必须通过服务器间接访问s a n 上的存储设备， 构造专用网络的需要也大大提高了s a n 产品的价格。 s a n 的优点主要有： 数据传输率高：可以达到1 0 0 m b s e c ； 传输距离远：s c s i 的极限距离为2 5 m ，而光纤的传输距离高达l o k m ； 可连接节点数多：s c s i 协议至多可挂接1 6 个节点，光纤通道可连接 1 2 8 个节点。 除此之外，高可靠性和易于扩展等特点也是s a n 的优势。 综合本节所述，在应用需求的推动下对存储系统的要求越来越高。为了 满足这种需求，存储系统必须提供资源合并、快速部署、集中管理、高可用性 以及数据共享等功能，还可能要提供地理分布、安全机制以及高伸缩性等能力。 而网络存储技术是解决这些问题的最好方法。 同时也看到，这些网络存储系统的研究工作( 产品技术) 多着重于系统体 系结构和互连技术的研究，丽很少有关于网络存储环境下磁盘阵列方面( 如数 据布局) 的研究。而对于类似p e t a l 、n r a i d 的网络存储系统，磁盘阵列跨越多 个节点，这种网络磁盘阵列系统，有很多与传统的单机磁盘阵列系统不同的特 性，这些特性对于磁盘阵列的数据布局也相应有所影响。本文正是从这一点入 手，针对网络磁盘阵列的自身特性，对其数据布局的方法进行了研究。 第二节几种典型的网络r a i d 实例 3 2 。1 基于多控制器r a i d 的系统实现 多控制器r a i d 就是在磁盘阵列系统中使用多个控制器，每个控制器管理一 组磁盘，通过控制器的并行处理实现系统的负载均衡。当某个控制器失败后， 其任务由其它控制器自动接管。与原有的阵列系统相比，虽然多控制器r a i d 的 整体性能有了很大提高，但是它仍然没有摆脱原有阵列系统的集中式体系结构， 对容量和性能的提高有一定限制。同时多控制器r a i d 往往要求使用一些专门的 硬件，造成它的成本非常高。 目前多控制器r a i d 研究更注重多个控制器的并行处理，管理系统的存储资 第3 章网络磁盘阵列的研究与发展现状 源，实现系统的负载均衡。爿= p l a b s 的a u t o r a i d 【i3 】是其中比较有代表性的： a u t o r a i d 是瑚l a b 研制的一种采用层次型r a i d 结构的存储系统。其中， 它的第一层使用r a i d l ，第二层使用r a i d 5 。在这两个层次之间可以自动实现 数据的迁移和转换。当前的活跃数据和常用数据存储在r a i d l 区域，而非活跃 数据和只读数据存储在r a i d 5 区域。实现这一设计的前提是：活跃数据子集的 范围变化是比较缓慢的，从而避免在两个r a i d 级别之间频繁的升降级操作。 a u t o r a i d 的层次型设计结合了r a i d i 和r a i d 5 两者的优点：利用r a i d l 高效的读写性能存储活跃数据，通过镜像保证数据的可用性；利用r a i d 5 较好 的读性能存储非活跃数据，通过r a i d 5 减少数据的冗余度。 a u t o r a i d 采用的是智能阵列控制器方式在设备级上实现。它对文件系统是 透明的。a u t o r a i d 的结构示意图如下： 固 图3 2a u t o r a i d 结构示意图 a u t o r a i d 系统具有显著的特点： 首先，它可以自适应调整数据存储方式。初始状态，存储系统是空，当有 新数据加入后，数据全部以r a i d l 方式存储，直到没有足够的空间为止。此时， 第3 章网络磁盘阵列的研究与发展现状 部分存储空间被降级为r a i d 5 ，非活跃数据迁移到r a i d 5 区域。这一过程可以 不断地在后台进行，直到r a i d l 空间只占全部空间的1 0 为止。同时，活跃数 据子集的范围也是动态变化的：新的活跃数据升级到r a i d l ，同时非活跃数据 降级到r a i d 5 区域。 其次，可以实现在线存储扩展。系统可以在任何时候增加新的硬盘。新加 的存储空间分配给r a i d l 空间，然后通过a u t o r a i d 的自适应调整逐渐分布到 整个存储区间。 3 2 2 基于分布式虚拟磁盘系统的系统实现 分布式虚拟磁盘系统( d v d s ：d i s t r i b u t el 巧r t a a ld i s ks y s t e m ) 基于c l u s t e r 结 构，利用网络技术把多个节点的硬盘组合成为统一的大容量存储系统。d v d s 是在设备一级实现分布式系统，其具体实现对上层是透明的。文件系统和应用 程序见到的只是一个大容量的虚拟磁盘设备，从而保证了现有的应用程序可以 不需改动直接使用。 目前，这一领域主要的研究工作包括：d e cr e s e a r c h 的p e t a l 1 4 】，南加州大 学k a ih w a n g 提出的r a i d - x ”1 等。 其中，以p e t a l 的工作最具代表性： p e t a ，【1 4 】是d e c r e s e a r c h 在1 9 9 6 年完成的一个大容量分布式存储系统。p e t a l 是一个设备级的存储系统，对上层应用是透明的。p e t a l 最初的原型系统于1 9 9 6 年1 月建立，包括四台d e c3 0 0 0 7 0 0 工作站，3 2 个s c s i 硬盘，这些工作站通 过1 5 5 m b f 加的a t m 网连接。1 9 9 6 年9 月，d e c 公司又建立了一个包含8 个节 点，2 5 6 g b 存储空间的p e t a l 存储系统，作为著名搜索引擎a l t a h s t a 的数据存储 系统。p e t a l 原型系统的结构示意图如下： 第3 章网络磁盘阵列的研究与发展现状 划掣 图3 3p e t a l 的原型系统示意图 p e t a ls e r v e r 是一个用户态的程序，它直接管理物理硬盘( r a wd i s k ) ，不需 要通过文件系统。每一个& n 馏r n o d e 带有1 4 个d i g i t a l r z 2 9 硬盘( 3 5 英寸， 4 3 g b ) 。p e t a l s e r v e r 和p e t a l c l i e n t 之间通过u d p i p 协议进行通信。p e t a l c l i e n t 是运行在d e cu n i x 上的k e r n e l 态d e v i c ed r i v e r 程序。它可以使c l i e n t 端的应 用程序像访问本地硬盘一样访闻p e t a l 虚拟磁盘设备。 p e t a l 的特点包括；可以容许任何单个组成部件的失败，包括硬盘、n o d e 和网络；各个n o d e 可以分布在不同的地理位置，因此可以实现容灾；系统性能 可以通过增加n o d e 和硬盘得到增加；可以在系统的各个n o d e 之间实现负载的 均衡；可以为文件服务、数据库等应用提供存储服务。 3 2 3 基于网络的软磁盘阵列n r a l d 的系统实现 n r a i d i l6 】是南开大学并行实验室开发的基于网络的软磁盘阵列系统项目。 图3 4 给出了n r a i d 的体系结构示意【2 4 】。可蛆看到，其结构与p e t a l 较为相似， 也是使用通用硬件( p c 机、工作站、i d e 磁盘、s c s i 磁盘以及高速局域网络等 等) 和专用软件构建系统，客户端和服务节点通过高速网络连接，呈现给上层 软件的也是一个虚拟磁盘接口。与p e t a l 不同的是，n r a i d 不是完全的分布式结 构，在系统中存在一个中心节点，中心节点运行r a i d 软件管理本地磁盘和远端 第3 章网络磁盘阵列的研究与发展现状 i o 节点的磁盘，构成大的网络磁盘阵列，而客户端对网络r a i d 的访问均需通 过中心节点。与p e t a l 相比，中心节点局限了系统的性能和伸缩能力。但对于实 验室、小组部门等对性能要求不是很高的应用环境，利用服务器作为中心节点， 工作站、p c 机作为i o 节点构造n r a i d 系统，还是可以满足性能需求的，也是 一个比较合理的方案。 图3 , 4 基于网络的软磁盘阵列系统的体系结构 在系统设计上，通过n b d ( n e t w o r kb l o c kd e v i c e ，网络块设备) 软件【1 7 j 将远端磁盘映射为本地一个虚拟的块设备，r a i d 驱动程序可以像访问本地磁盘 一样方便实现对网络磁盘的访问。网络通信等工作由n b d 来完成，对r a i d 驱 动程序来说是完全透明的。这种层次结构的优点是结构明晰，有利于软件的开 发和维护。只要接口不变，任何层次模块的改动均不影响其他层次。例如，可 使用i s c s i 协议替代n b d ，系统其他部分无需改动，即可提高系统性能。 该系统具有如下特点： 1 基于l i n u x 系统。作为一种源码开放的操作系统，l i n u x 系统近年来得 到了广泛的应用。网络软磁盘阵列系统实现了l i n u x 内核级的设备驱动程 序，因此具有广阔的应用前景。 2 配置灵活，价格低廉。网络软磁盘阵列系统的构建使用普通的p c 机、 i d e 硬盘、以太网络即可，无需昂贵的特殊硬件设备，可充分利用已有硬 件资源。加之基于l i n u x ，花费远低于昂贵的硬磁盘阵列系统。非常适合大 学校园，以及企业小组、部门构建廉价海量存储系统，进行资源共享。 3 ， 网络软磁盘阵列的体系结构设计是完全层次化的，结构灵活。一方面， 系统的配置可采用不同的硬件设备；另一方面，系统实现也非常灵活，修 第3 章网络磁盘阵列的研究与控展现状 改、替换任意层次的模块不会对系统其他部分造成影响，可以方便地对系 统进行改进。 使用基于网络的软磁盘阵列系统替代磁盘阵列柜系统，其好处一是提供了 一种简单、灵活、廉价构造海量存储系统的方法，对于学校、小组部门等应用 环境，提供了一个构造海量存储系统的可行方案，二是具有网络存储系统共有 的优点，如高性能、高扩展能力等等，另外，通过将系统分布于不同地理位置， 还可以避免自然灾害造成系统的崩溃。 第三节网络磁盘阵列与单机磁盘阵列相比的特点分析 网络磁盘阵列是构建在网络环境之上的，因而它具有单机磁盘阵列所没有 的灵活性和可扩展性，但是，由于受网络复杂性的影响，在并行性能和可靠性 方面与单机磁盘阵列有一定差距。本节将对比单机磁盘阵列，详细分析网络磁 盘阵列的特点。 3 3 1 网络磁盘阵列构建的灵活性 同一种网络结构上的磁盘集合，可以有多种不同的方式构建网络磁盘阵列， 而且每种方式的性能是不同的，这就体现了网络磁盘阵列构建的灵活性。 下面以一个n * m 个n o d e 的二级网络为例，对网络磁盘阵列构建的灵活性进 行说明。对分级网络中两种划分r a i d 的方式进行比较。假设各分支网络传输速 度相同，各节点至中心节点的