(计算机应用技术专业论文)双容错磁盘阵列校验散布布局问题的研究.pdf_第1页
(计算机应用技术专业论文)双容错磁盘阵列校验散布布局问题的研究.pdf_第2页
(计算机应用技术专业论文)双容错磁盘阵列校验散布布局问题的研究.pdf_第3页
(计算机应用技术专业论文)双容错磁盘阵列校验散布布局问题的研究.pdf_第4页
(计算机应用技术专业论文)双容错磁盘阵列校验散布布局问题的研究.pdf_第5页
已阅读5页,还剩72页未读, 继续免费阅读

(计算机应用技术专业论文)双容错磁盘阵列校验散布布局问题的研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ab s t r a c t r a id h a s g o t a n e x t e n s i v e a p p l i c a t i o n a s a m e t h o d t o i m p r o v e t h e r e l i a b i l i ty a n d p e r f o r m a n c e o f d is k s t o r a g e s u b s y s t e m s . e s p e c i a l l y , t h e d e v e l o p t r e n d o f n e t w o r k i n g , l a r g e - s c a l e e t c . o f , t h e s t o r a g e s y s t e m s d u r i n g t h e l a s t y e a r s m a k e s m u l t i p l e f a u lt - t o l e r a n t c o d i n g t o b e c o m e m o r e i m p o r t a n t . i n s o m e a p p l i c a t i o n d o m a i n o f t h e a r r a y s y s t e m , f o r e x a m p l e o n - l i n e t r a n s a c t i o n p r o c e s s in g s y s t e m s o f a i r l i n e r e s e r v a t i o n s y s t e m s a n d , a u t o m a t e d t e l l e r n e t w o r k s in b a n k i n g s y s t e m s , i t r e q u i r e s t h a t t h e p r o v i d e o f d a t a s e r v i c e m u s t b e c o n t i n u o u s a n d a v a i l a b l e a n d t h e s y s t e m s e r v i c e c a n n o t b e i n t e r r u p t e d . a l l t h e s e a p p l i c a t i o n s r e q u i r e v e ry h i g h p e r f o r m a n c e a n d re l i a b i l ity o f t h e s to r a g e s u b s y s t e m s . b u t s t o r a g e s u b s y s t e m s l i k e r a id h a v e v e ry p o o r p e r f o r m a n c e u n d e r t h e s i t u a t i o n t h a t t h e d i s k , a p p e a r s f a i l u r e s . p a r ity d e c lu s t e r i n g t e c h n i q u e s i s a k i n d o f t e c h n i q u e w h i c h m a k e s t h e re c o n s t r u c t i v e l o a d w e l l - d i s t r i b u t e d t h r o u g h t h e s p r e a d o f t h e c h e c k o u t s t r i p e s a n d e n h a n c e s t h e a v a i l a b i l i ty a n d re li a b i l i ty o f t h e s y s t e m . t h e r e h a v e b e e n m a n y m e t h o d s o f p a r ity d e c l u s te r i n g , b u t t h e y l i m i t t h e p a r a m e t e r s . i n t h i s d i s s e r t a t i o n , it m a i n l y a d o p t s r a n d o m p e r m u t a t i o n . t h e n it a p p l i e s a m o d e m o p t i m i z a t i o n a l g o r i t h m , s i m u l a t e a n n e a l i n g a l g o r i t h m s , t o c h e c k o u t , d i s t r i b u t e a n d o p t im i z e t h e r a n d o m p e r m u t a t i o n o f d o u b l e d i s k f a i l u r e s i n r a i d , r a i d 6 , m a k i n g i t m o re a p p r o x im a t e t o t h e o p t i m a l l a y o u t . a n d i t c a r r i e s o u t t h i s a l g o r i t h m . c o m p a r i n g t h e o p t i m i z a t i o n d a t a l a y o u t a n d t h e o r e t i c a l o p t i m a l l a y o u t , t h e re s u lt s h o w s t h a t t h e y a r e v e ry a p p r o x i m a t e . f i n a l l y , s i m u l a t i o n e x p e r i m e n t s i n d i s k s i m o f o p t i m i z a t i o n d a t a l a y o u t h a v e b e e n d o n e t o t e s t i t s p e r f o r m a n c e . t h r o u g h a n a l y s i s , i t s h o w s t h a t t h i s l a y o u t m e t h o d i m p r o v e s t h e p e r f o r m a n c e o f r a i d 6 i n t h e m o d e o f d e g r a d a t i o n a n d r e c o n s t r u c t i o n . k e y wo r d s : r a i d , d a t a l a y o u t , p a r i ty d e c l u s t e r i n g , d o u b l e d i s k f a i l u re s i n r a i d , s i m u l a t e a n n e a l i n g a l g o r i t h m s 南开大学学位论文版权使用授权书 本人完全了解南开大学关于收集、保存、使用学位论文的规定, 同意如下各项内容:按照学校要求提交学位论文的印刷本和电子版 本;学校有权保存学位论文的印刷本和电子版,并采用影印、缩印、 扫描、 数字化或其它手段保存论文; 学校有权提供目 录检索以及提供 本学位论文全文或者部分的阅览服务; 学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版; 在不以赢利为目的的前 提下,学校可以适当复制论文的部分或全部内容用于学术活动。 学 位 论 文 作 者 签 名 : 张 声、 - ? p7 7 年二月 一 f 日 经指导教师同意,本学位论文属于保密,在年解密后适用 本授权书。 学位论文作者签名: 指导教师签名: 年 解密时间: 各密级的最长保密年限及书写格式规定如下: 内部5 年 ( 最长5 年,可少于5 年) 秘密1 0 年 ( 最长 1 0 年,可少于 1 0 年) 机密2 0 年 ( 最长 2 0 年,可少于2 0 年) 南开大学学位论文原创性声明 本人郑重声明: 所呈交的学位论文, 是本人在导师指导下, 进行 研究工作所取得的成果。 除文中己经注明引用的内容外, 本学位论文 的研究成果不包含任何他人创作的、 已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体, 均己在文中以明确方式标明。 本学位论文原创性声明的法律责任 由本人承担。 学 位 论 文 作 者 签 名 : 4 y 本 2- ft 7 年 了月一 宁日 第 1 章绪论 第一章绪 论 自 从硬盘技术出现以来,就以其大容量、高性能和低价格,成为计算机系 统中永久保存海量数据的主要存储设备。一直以来,硬盘技术的发展是非常迅 速的。 特别是容量, 几乎以 每年1 0 0 %的速度持续增长, 而其价格却在不断下降, 这也促进了需要大容量存储的应用的发展。但由于硬盘自 身机械特性的限制, 其性能提高速度一直较为缓慢,远远落后于 c p u 、内存、网络等系统其它部分 的发展速度。即便是发展速度较快的容量,也难以满足不断提高的应用需求。 为了 解决单一硬盘在容量、性能以及可靠性方面的不足,1 9 8 8年美国加州 大学b e r k e l e y 分校教授d a v i d a . p a t t e r s o n 正式提出r a i 技术,是廉价磁盘冗 余阵列技术( r e d u n d a n t a r r a y s o f i n e x p e n s i v e d i s k s ) 的缩写. 开发的目 的是替代当 时 数 据中 心系统普遍采用的 价格昂 贵的s l e d s ( s i n g l e l a r g e e x p e n s iv e d i s k s ) 磁盘。 作为高性能的存储系统, r a i d得到越来越广泛的应用,开始进入企业级 市场,随着磁盘技术的发展,价格不断降低, 现在 r a i d中的字母 i 被理解为 i n d e p e n d e n t , 翻译过 来就是“ 独立冗余磁盘阵 列” , 简称为“ 磁盘阵 列,o 简单的说, r a i d技术是一种把多块独立的硬盘 ( 物理硬盘) 按不同的方式 组合起来形成一个硬盘组 ( 逻辑硬盘) ,通过磁盘的并行操作来提高存储系统的 性能,通过数据的冗余来提高可靠性,提供了一种以低廉的价格构造大容量、 高带宽、高可靠性、低成本的存储系统的方法,因此很快就成为大容量存储系 统中最重要的技术之一。数据冗余的功能是在用户数据一旦发生损坏后,利用 冗余信息可以使损坏数据得以恢复,从而保障了用户数据的安全性。在用户看 起来,组成的磁盘组就像是一块硬盘,用户可以 对它进行分区,格式化等等。 对磁盘阵列的操作与单个硬盘的操作是一样的,不同的是,磁盘阵列的存 取速度要比单个硬盘高很多, r a i d可以充分发挥出多块硬盘的优势,实现远 远超出任何一块单独硬盘的速度和吞吐量。 除了性能上的提高之外, r a i d还可 以提供良 好的容错能力, 利用不同的编码方式, 可使r a i d在任何一块或多块硬 盘出现故障的情况下都可以继续工作,不会受到损坏硬盘的影响,这对于现在 网络应用中的在线事物处理非常重要。 在许多应用领域要求提供的数据服务必须是连续可用的,系统服务不能中 第 i 章绪论 断,在这些系统中,如果服务中断,造成的损失是巨大的。比如说像机票预售 系统、银行的自 动柜员机、商场的终端结算系统、网络上的文件服务器等等的 在线事务处理系统。还有一些应用要求数据有高可靠性,不需要连续操作,比 如说环境方面的研究和发展。这些应用都要求存储子系统有很高的性能和高可 靠性。 对以上的这些应用来说,存储子系统仅具有较高的可靠性是不够的,还应 该在故障状态 降级模式)和数据恢复状态 ( 重构模式)下具有较好的性能。 这些系统不仅要求存储子系统具有故障恢复能力,还要求故障恢复过程满足以 下条件: 1 、 故障恢复过程不能中断系统的正常运行。 2 )故障恢复过程要尽可能快速。 3 )故障恢复过程对系统正常操作的 性能影响要尽可能小。 系统的可用性和性能是相互关联的,因为当恢复故障时要占 用存储子系统 的输入/ 输出带宽,所以这时系统的吞吐量要保持在一个比 较低水平,以 保证系 统的性能不会因为重构故障所产生的额外负载而降低很多。比如说,出现故障 的 存储子系统的负载比正常状态增加了 5 0 %, 这时它的吞吐量要低于最大吞吐 量的 6 5 %,以避免达到饱和状态出现数据的丢失。但是可以通过重新设计负载 的分布方式使重构状态的负载仅增加 2 5 %,这样系统的吞吐量就可以达到最大 吞吐量的8 0 % ,因此,提高重构状态的性能就可以提高整个系统的性能。 现在比较常用的存储子系统就为r a i 系统, 但是像r a id这类的存储子系 统在磁盘出现故障的情况下,性能是非常低的,对于以上的那些应用,如果系 统性能低下就相当于系统不可用,因此解决这个问题首先考虑的是怎样在阵列 中组织数据和冗余信息。将故障磁盘所引起的负载分布到更多的磁盘上,可以 减少重构故障盘时对整个阵列系统的影响。一旦指定了数据和冗余信息的组织 方式,通过设计恢复故障盘数据的算法就可以 提高重构过程的性能。于是有人 提出了校验散布技术。 校验散布布局技术 ( p a r it y d e c l u s t e r i n g ) 最初是由m u n t z 和l u i 为了 解决 r a 1 d 5 在故障状态下性能较差的问题而提出的,而后h o l l a n d 和g ib s o n 对其进 行了详细的研究。校验散布布局通过校验条纹的散布,重构负载的均匀分布, 改进了r a id 5 结构降级模式下和重构模式下性能差的缺点,提高了磁盘阵列系 统的可用性。并且,由于同时也加快了磁盘重构过程的速度,校验散布布局也 第 1 章绪论 提高了磁盘阵列系统的可靠性。校验散布技术的基本思想,就是令条纹长度小 于磁盘数,通过校验条纹的适当散布,将重构负载 访问故障磁盘或磁盘重构 所引起的正常用户负载之外的额外负载)均匀分布,使剩余磁盘的负载增加比 率从1 0 0 %降低为一个较小的值,从而提高r a i d 5 在故障状态下的性能。 h o l l a n d 提出了 评价校验散布布局的六条标准,满足这些标准的布局称为理 想布局, 在校验散布布局方法的研究工作中,都是试图构造更为接近理想的布 局。尽量满足更多的标准,不能满足的标准也尽量接近最优.其中标准 2是校 验散布技术的核心, 标准3 对性能影响也较大,因此标准2 和3 都是研究工作 中考虑较多的问题。 校验散布布局方法的研究工作有很多,已经提出方法有: h o l l a n d 和 g i b s o n 提出基于平衡不完全区组设计 ( b 1 b d ) . a lv a re z 等人提出了 两种布局p r i me和r e l p r , s c h w a r z 等人提出了p d d l布局方法等。 目 前由 于信息量呈指数级的增长, 所以网络存储系统规模不断增大, 但是随 着系统规模的增大,它的可靠性是不继降低的,因此容多磁盘故障的磁盘阵列 得到了更多发展,如今容双错的磁盘阵列系统有了很多应用,有关这方面的研 究也很多,提出了很多容双错的编码方法。本文主要对容双磁盘故障的磁盘阵 列r a i d 6 的校验散布问题进行研究,以 提高它在故障状态和重构下的性能。利 用现代优算法一一模拟退火算法来优化r a i d 6 的数据布局,使它在降级模式和 重构模式下的负载得以均匀分布,从而使它的性能得以提高。 经过大量优化实验表明,与r a i d 6 和分组r a i d 6 相比, 优化后的数据布局 与最优布局已非常接近,而且和其它校验散布布局方法相比,这种布局方式对 系统参数没有任何限制,布局方法简单,可生成负载均匀的数据布局,因此有 一定的实用价值。最后将优化后的数据布局进行了仿真实验,通过对仿真实验 的结果的分析, 验证了 这种布局方法在很大程度上提高了r a i d 6 在降级和故障 模式下的性能。 本论文组织结构如下: 第 1章主要介绍了本文的写作背景。 第 2章主要主要介绍磁盘阵列的相关知识,包括磁盘阵列的基本思想、 基本r a i d的级别、 结构, 以及对r a i d各个级别读写性能的分析. 另外还介绍 了单容错r a i d编/ 解码方式, 和双容错r a i d编懈码方式, 重点介绍了r a i d 6 的编码方法一r e e d - s o l o m o m编码。 第 3章介绍了磁盘阵列校验散布布局方面的研究进展,首先介绍校验散 第 i 章绪论 布技术的基本思想, 和评价最优布局的标准, 然后介绍b i b d , p r i m e , r e l p r , p d d l 、随机排列等校验散布布局方法,以 及它们的 优缺点。 第 4章介绍了模拟退火算法基本内 容, 利用模拟退火算法来优化r a i d 6 的数据布局,并将优化后的数据布局和最优布局进行了比较,最后对优化后的 数据布局进行了仿真实验,并对实验结果进行了分析。 第 5章对所作研究工作进行了总结,并展望了今后的工作方向。 第z 章磁盘阵列相关知识 第二章磁盘阵列基础知识 本章介绍磁盘阵列技术的一些基础知识,包括磁盘阵列技术的基本思想, 几种基本r a i d级别的结构,读写性能的分析,阵列的编解码方式等等。 第一节r a i d技术的基本内容 与单个磁盘驱动器及其简单的组合相比, r a i d能够在三个方面加强在线存 储的性能: 第一、 r a i d采用数据条纹化和映射技术, 将数据分布到各个磁盘成 员上,由于各个磁盘成员可以并行处理请求,从而减小了读写等待时间, 提高 了系统的性能; 第二、 在r a i d中存储了冗余的校验数据, 当用户数据所在的某 个磁盘成员故障时,可以根据无故障的的磁盘成员上的数据来重新恢复无法读 出的数据,从而极大地提高了数据的安全性和完整性; 第三、 r a i d将多个物理 盘集合成一个大的 逻辑盘,提供给用户一个虚拟的存储环境,简化了存储管理, 提高了 存储的灵活性和可扩展性。磁盘阵列的超大容量和级联的扩展方式, 使得 存储空间可无限扩容。 由于这些特性, r a i 可以 在现有磁盘技术之上, 提供更高的数据传输速率 和数据可用性,因而成为了大型机v 0系统和网络存储服务器的主要的存储体。 2 . 1 . 1 磁盘阵列技术的基本思想 磁盘阵列技术的基本思想有两个方面:利用数据条纹化提高性能以及利用 数据冗余提高可靠性。 条纹化: 提出磁盘阵列技术的一个主要的目的就是要解决硬盘性能落后于系 统其他部分的问题,解决的办法就是利用大量磁盘的并行操作来提高性能,而 数 据 条 纹 化 d 1z ii 3 ii 4 ii 5 11 就 是 使 磁 盘 阵 列 具 有 并 行 工 作 能 力 的 技 术。 所 谓 条 纹 化, 就是将原来顺序存放在单个磁盘上的用户数据交错分布到阵列中的所有磁盘, 以实现磁盘操作的并行性,这样可以获得高的输入输出带宽。显然,组成磁盘 阵列的磁盘数目 越多,阵列的性能就有可能越高。但随着磁盘数目的增加,发 生故障的可能性也随之增大。如果不同磁盘发生故障的概率是无关的话,那么 第2 章磁盘阵列相关知识 1 0 0 个磁盘总的可靠性就只有单个磁盘的1 / 1 0 0 。 这种可靠性显然是不能接受的。 冗余校验: 磁盘阵列技术中的另一个基础数据冗余就是用来提高系统的 可靠性。数据信息写入多个磁盘,并使用一至多块磁盘存储校验信息。如果一 个磁盘发生故障,校验信息可与未发生故障磁盘上的数据信息相结合,重新生 成丢失信息。数据冗余技术通过牺牲一些存储空间保存校验数据,来实现对用 户数据的保护,从而达到提高可靠性的目 的。 构建磁盘阵列,也是区分不同磁盘阵列结构最基本的两个问题就是:数据 交错 ( 条纹化)的粒度,以及如何计算和分布冗余数据。数据条纹化可以是细 粒度的,即数据以 较小的单位交错分布到所有磁盘 ( 极限情况按位交错) 。在这 种情况下,任何大小的请求都将由所有磁盘共同进行处理。在寻道和定位操作 完成后, n个磁盘的阵 列可以以单个磁盘n倍的速度与主机进行数据传输。 但 在任意时刻,阵列只能同时处理一个请求。因此,细粒度条纹化在单一进程的 情况下可以使性能达到最优,但不适用于高并发度的环境。 条纹化还可以 是粗 粒度的,将数据交错单位设置得较大,使得多数较小的请求均可由一个磁盘完 成。这样阵列就可以同时处理多个不同的请求,只要访问模式不带有规律性, 负载就能均匀分布到所有磁盘,使阵列达到较高的并行度.因此在多进程高度 并发访问环境下,使用粗粒度条纹化可达到最佳性能。同时,对于较大的访问 请求,仍由多个乃至所有磁盘共同处理完成,仍可达到较高的数据传输率。 如前所述, 在磁盘阵列中使用冗余技术带来两方面的问题。 一方面是冗余数 据如何计 算, 虽然某些r a i d结构使 用海明码 ( h a m m i n g c o d e s ) 或 里德 一所罗 门 编码 ( r e e d - s o l o m o n c o d e s ) ,但出于效率上的考虑,多数情况下还是使用较 为 简单的 奇偶校 验( p a ri ty ) 。 另一方面的问 题就是冗余数 据如 何分 布。 按照冗余 数据的分布方法的不同,可将磁盘阵列粗略地分为两类:使用少数磁盘专门存 放校验数据;将校验数据均匀分布到所有磁盘。后者与前者相比,避免了可能 出现的热点问题和其他负载不均的问题,显然性能更优。在实际应用中,数据 条纹大小和冗余方案应综合考虑可靠性、性能和价格三个因素来决定。 2 . 1 . 2 基本r a i d结构 图2 . 1 ( a ) 所示的是一种磁盘阵列结构, 磁盘通过低价格、 低带宽的 控制器连 在一起 ( 如s c s i ) , 而控制器则通过一个或多个高带宽的总线连接到一个或多个 第2 章磁盘阵列相关知识 计算机上。阵列控制器和总线一般都有两根,这样其中一根坏了还可以继续使 用,控制器也可以分布在阵列中的磁盘之间.这种结构是现在常用的一种阵列 体系结构。 图2 . 1 ( b ) 所示的 磁盘阵列, 磁盘之间是连续相互连接在一起的, 而且是高带 宽全双工连接。这种体系结构比较适合大型的阵列系统,因为它不需要将阵列 控制器组成一个大的线性控制器,此外,由于每个磁盘之间的连接是全双工的, 所以它给每个磁盘提供两条路径,而不需要两根总线。这种结构并不常用。 p o r t ( s ) t o h o s t c o m p u t e r s ) p o r t ( 习t o h o s t c o mp u t e 武 s ) ( a ) 总线连接( b )高带宽连接 图2 . 1 磁盘阵列的体系结构 下面介绍一下描述不同r a i d结构常用的一些术语和描述方式。 通常按照条纹化数据交错单位的大小,将每个磁盘划分成固定大小的数据 块, 这 种 数 据 块 称 为 声 灰 事 元( s t ri p in g u n it ) 6 1 。 用 户 数 据 按 条 纹 单 元为 单 位 分 布到磁盘,条纹单元大小即为在一个磁盘上放置的连续数据的最大量。保存用 户数据的条纹单元称为盛甫毕元,保存校验数据的单元称为扮碧毕元。条纹单 元大小一般可以由磁盘阵列控制器 ( 或磁盘阵列软件) 设置, 小至 1 个位、1 个 字节,大可以到整个磁盘大小,以满足不同应用的需求。进行校验计算的最小 的条纹单元集合称为一个戎里挤少 ( 严格说应该是最小的自 保护的条纹单元集 合,即假定容许k 个故障,则条纹中丢失任何k 个单元都可由 其他单元恢复)。 图2 .2 给出了r a i d基本术语的示意。 若干个数据单元以 及由 这些数据单元通过 校验计算得到的一个或若干个校验单元所组成的集合,称为校验组。 第2 章 磁盘阵列相关知识 图2 .2 磁盘阵列的基本结构 显然,磁盘阵列的管理对于用户而言应该是透明的,阵列呈现给用户的应 该是一个大的虚拟磁盘,用户访问阵列使用线性地址空间。而将线性地址转换 为硬盘物理地址的工作,以 及写操作中所涉及的校验数据的定位工作,都由阵 列控制器负责。 通常把这种用户数据的逻辑地址到其物理地址及相应的校验数 据地址的映射称为磁盘阵列的数据布局。多数磁盘阵列结构和容错编码的相关 研究都涉及到数据布局,实际上就是进行某种特定映射关系的研究。而如果一 旦给出了映射关系,也就准确描述了阵列结构和数据布局。实际上,这种映射 应该包括两个步骤:第一步为用户数据地址空间到阵列地址空间的映射,即将 用户数据地址转换为条纹单元编号, 如s t ri p e ( a ) = ( s , u ) 表示用户数据单元a 映射 到条纹s 的条纹单元u ; 第二步为阵列地址空间到物理磁盘地址空间的映射, 如 a r r a y ( ( s , u ) ) = ( d , p ) 表示条纹单元( s , u ) 映 射到磁盘d 的 块p 。 但由 于 通常 用户数据 都是顺序存放到阵列地址空间,第一步映射关系非常简单,因此一般不对它们 进行区分。 第二节r a i d级别简介 p a t t e r s o n , g i b s o n 和k a t z 最初提出了5 种基本r a i d结构(7 ) , 按照用户数据 和冗余数据组织方式的不同, 划分为r a m级别1 到级别3 。 后来又增加了两种 r a m结构, r a m级别0 和r a m级别6 8 , 这种分类方 法和术语都已 被 广泛接 受。 本小节介绍这几种基本r a m 结构。 另外, 还有些实际中常用的基本的r a m 级别的组合,比如r a i d 1 0 ( r a i d o 与r a i d i 的组合) 。 不同的r a i d级别有着 不同的数据组织形式、 不同的存储性能、 不同的安全性和存储成本。 下面对r a m 级别详细介绍。 第2 章磁盘阵列相关知识 2 . 2 . 1 r a i d 0条纹化 r a i d o是将用户数据条纹化到各个磁盘上如图2 . 3所示,它不具备容错能 力, 其中 一块盘故障, 则所有的数据丢失, 不是真正意义上的r a i d 。 实现r a i d o 至少需要两块磁盘,它的特点是实现了一种条纹化的磁盘阵列,数据分块存放 在不同的磁盘设备中,每一数据块称为一个条纹单元,可将多个磁盘创建为一 个大的逻辑卷。 在r a i d o 中,由于i / 0负载分布到多个通道和设备上, 1/ 0性能 得到很大提高。如果数据的条纹化存取由多个控制器来实现,并且每个控制器 只管理一个硬盘,可获得最好 i / 0的性能。r a i d o不需要校验计算,易于设计 和实现,所以它的所有磁盘都存储的是用户数据,没有冗余磁盘,磁盘利用率 是最高的为1 0 0 %。 它的缺点是由于没有容错能力, r a i d o 并不是真正意义上的 冗余磁盘阵列,因此绝不能用于对数据可靠性要求较高的任务环境中。应用领 域:视频制作和编辑、图像编辑、前期排版,以及任何要求高带宽的应用领域。 图 2 . 3 r a i d 0 2 .2 . 2 r a i d 1镜像 r a i d i 也被称为镜像或影像, 如图2 .4 所示, 它是一种传统的存储子系统容 错技术。磁盘两个一组分成镜像对,每个数据块在一个镜像对的两个磁盘上都 保存一个复本,这样,只要不是同一镜像对中两个磁盘都损坏,磁盘阵列可以 容许多达n / 2 个磁盘故障。与传统镜像技术不同, r a i d i 还使用了条纹化技术, 即在镜像对间交错存放数据。r a i d i 的缺点是磁盘冗余度较大,它的磁盘存储 空间利用率是所有r a i d级别中最低的为5 0 %, 单位容量价格较高。 实现r a i d i 至少需要两块磁盘,这两块盘互为备份。它的特点是每对镜像磁盘可支持一个 第2 章磁盘阵列相关知识 写操作或两个读操作,与单磁盘相比读传输率是其两倍,写传输率与其相同。 1 0 0 % 的数据冗余意味着在磁盘故障时不需要进行重构,只需用备份磁盘代替故 障磁盘,不会引起故障期间的性能降级。 r a i d i 能承受多个并发的磁盘故障, 但如果互为备份的的两个磁盘同时发生故障,则会造成数据丢失。镜像对中的 磁盘均包含所有信息,因此不需要特殊的r a i d硬栩软件的支持。主要用在账 目 统计、计算报告、财政分析,以及对可靠性要求非常高的应用,如数据库 系统如数据库系统19 1 11 0 1 11 1 1 图2 .4 r a i d 1 2 . 2 3 r a i d 2位交叉海明码 e c c校验 r a i d 2以 位( b i t ) 为单位进行数据的分割与重构, 采用海明 码容错的磁盘阵 列。它模仿主存中的容错技术,使用海明码来恢复失效数据,冗余盘的数目是 磁盘阵列系统总盘数的对数,随着磁盘阵列系统规模的增加,磁盘的利用率也 会相应的提高。它的缺点是冗余率高。数据读写性能很差,数据读涉及所有磁 盘,因为是位交叉分割数据, 所以不支持并行的多个v 0请求, 数据写需要写所 有数据盘和多个校验盘。 r a i d 2的冗余信息量很大,代价昂贵,一般很少使用。 2 . 2 : 4 r a i d 3位交错奇偶校验 r a i d 3是位交叉奇偶校验磁盘阵列,以 位为粒度进行数据的分割与重构, 采用奇偶校验编码,将数据盘上的所有数据经 “ 异或”后产生的校验值存放在 单独的校验盘上,当任何一个磁盘控制器发现磁盘失效时,均可以通过计算其 它盘上的奇偶信息来恢复丢失的数据。 所有读、 写数据的v o操作都需要所有磁 盘参与完成。它的特点是读性能很好,可容许一个磁盘故障,易于实现。缺点 是数据读需要读所有数据磁盘,数据写需要涉及所有数据盘和校验盘,同一时 间只能响应一个v 0请求,因此不能同时处理多个并发v 0操作。小数据v o操 第2 章磁盘阵列相关知识 作的性能差,在降级状态下性能会受影响,只适用于单用户环境。应用领域: 适用于对带宽要求较高, 但不要求高v 0率的应用领域, 特别适用于大数据传输 的单用户、单任务环境。 图2 .5 r a i d 3 如图2 .5 所示,小写的d 表示用户按位交叉与各个磁盘,校验p 按位异或运算。 2 . 2 . 5 r a m 4块交错奇偶校验 r a i d 4 是块交叉奇偶校验磁盘阵列。 它与r a i d 3 的区别是以块为粒度进行 数据分割和重构6 。 读盘时只需读数据盘上的 数据, 只有盘失效时才去读冗余盘 的校验信息来重构数据。写盘时必须在更新数据块的同时计算并更新奇偶校验 信息块。 它的特点是可用空间为阵列磁盘数减 1 , 容许单磁盘故障, 故障情况下, 可从剩余磁盘重新生成丢失数据。 小数据读时, 可支持并行的v 0操作。 它的缺 点是r a i d 4 只有一个冗余校验盘,所有的写操作都必须写校验盘,等待冗余校 验盘的数据更新后才算完成,保存冗余信息的校验盘很容易成为磁盘阵列的瓶 颈。主要应用在单块磁盘性能大大高于阵列中其他磁盘性能的环境中 ( 高性能 磁盘作为校验盘) 。有软件实现,但几乎没有应用。 图2 .6 r a i d 4 如图2 .6 所示, 大写的d表示用户按块交叉与各个磁盘, 校验p按块运算, 所 有r a i d 4 的 校验单元都集中在一块盘上。 第2 章磁盘阵列相关知识 2 . 2 . 6 r a i d 5块交叉的校验散布 r a i d s 是块交叉分布式奇偶校验磁盘阵列, 它是r a i d 4 的改进型。以 块为 单位进行数据的分割与重构,使用奇偶校验来保存冗余信息。但它的奇偶校验 值不是保存在固定的某一冗余校验盘上,而是分布在各个数据盘上。因为奇偶 信息块是分布的,所以也没有冗余校验盘的 “ 瓶颈”问题。 r a i d s有多种不同 的 数据和校验布局方 式1 1 2 1! 1 3 1 , 图2 . 7 给出了 左 对称布局方式. 从图中 可见, 左 对 称布局可以看作以r a i d o 布局为基础,将校验单元插入对角线,校验单元之后 的数据单元依次后移的结果。从图中可见,左对称布局可以看作以r a i d o 布局 为基础,将校验单元插入对角线,校验单元之后的数据单元依次后移的结果。 因此左对称布局保持了r a i d o 用户数据条纹化连续性的特点,对于连续数据请 求,其负载总是均匀分布到所有磁盘。也就是说,当顺序读取数据时,总是会 依次访问所有磁盘,而不会出现有的磁盘没有访问,而有的磁盘却已读取多个 单元的情况。因此在多种不同的r a i d s 布局方式中,左对称布局的性能是最优 的。 但是r a i d 5 执行小块数据写的效率较低, 即小写问 题, 这是r a i d s 结构主 要的缺点。r a i d s 加快了奇偶校验信息的计算速度,而且也使得多道同时读/ 写 成为可能,v 0数据传输率高,己获得广泛应用。和前面介绍几种的容单错的 r a i d磁盘阵列相比, r a i d s 的各个方面都有非常好的性能。 它具有最好的数据 读和大数据写性能,特别适用于以读操作为主的应用环境。主要应用在对数据 可用性要求高的领域, 有不同大小i / 0传输的多任务环境, 要求好的读性能、中 等写性能的领域。如文件和应用程序服务器、数据库服务器、www, e - m a i l 和n e w服务器,以及i n t r a n e t 服务器。r a i d s 是最通用的r a i d级别。 图2 . 7 r a i d 5 第2 章磁盘阵列相关知识 2 . 2 .7 r a i d 1 0 和r a i d 0 + 1 r a i d组合 以上介绍了r a i d系统的基本级别, 实际的应用中, 还可以有各种层次的组 合形式,表示将划分存储的每一块数据同时进行镜像备份,从而提高了系统的 可靠性。比如r a i d 1 0 和r a i d o + 1 等。 r a i d 1 0 是指由多个r a i d i 镜像磁盘对 构成,并在这些镜像设备上进行条纹化的数据存储,将多个磁盘组合为一个大 大容量虚拟设备。它的优点是具有非常高的可靠性,可以承受多个磁盘同时发 生故障的情况,但前提是同一镜像对中的两个磁盘至少有一个正常工作,但由 于总是写双份数据,写性能次于单个磁盘写。冗余量大,每个镜像对需要一个 额外磁盘,实际数据存储容量只有总容量的一半,这是这最大的缺点。 r a i d o + 1 创建顺序与r a i d 1 0 恰好相反,磁盘设备首先进行条纹化,磁盘 设备首先进行条纹化,然后为这些设备建立镜像磁盘。通常用两个或两个以上 的磁盘进行条纹化数据存储,创建为一个大的虚拟设备,然后再用同等数目的、 也采用条纹化存储技术的磁盘设备创建其镜像。 具有高u o性能, 能够创建大的 逻辑卷。缺点是可靠性不如 r a i d i 和 r a i d 1 0 。如果一个盘发生故障,即降级 为r a i d o 结构。 而由多个盘构成的r a i d o 结构, 发生磁盘故障的可能性会增大。 需要两倍的存储设备,可利用的数据存储容量只有实际物理磁盘容量的一半 2 . 2 . 8 r a i d ( p +q 冗幻 奇偶校验编码只能恢复单一自 识别故障。 但有很多因素,如阵列规模越来 越大、重构过程中遇到不可恢复位故障等等,要求磁盘阵列系统使用容错能力 更强的 编码。 r a i d级别6 - 一 一 - p + q冗余就是一种可容许双故障的r a i d结构。 r a i d 6 采用r e e d - s o l o m o n 编码。 r e e d - s o l o m o n 编码使用范德蒙行列式作为系数 矩阵进行校验数据的计算和维护,在解码过程中使用高斯消去法解方程组来恢 复丢失 数据, r e e d - s o l o m o n 编码的 所有计算都是有限 域上的 运算p a ) 。 校验数据 的计算如下所示: 第2 章磁盘阵列相关知识 试姚dncl马 队队盯卜风 00:1凡凡 n0 凡几 凡几 r a ii ) 6 使用的是m = 2的r e e d - s o l o m o n 编码,就是有两块校验盘, 用矩阵 乘以数据盘得出校验盘数据,r a i d 6用两块校验盘就可以恢复任意两块盘的并 发故障。 如果要求更高的可靠性, 使用m = k 的r e e d - s o l o m o n 编码, 即可使阵列 具有容许 k个故障的能力。 r a i d 6除了校验计算方法不同外,其他各方面与 r a ii ) 5 均很相似,图2 . 8 给出了类似左对称的r a i d 6 布局方式。r a i d 6 的优点 是磁盘冗余度低,只比 r a i d 5增加了一个磁盘就提供了双故障容错能力。但 r e e d - s o l o m o n编码计算较为复杂,一般需要特殊硬件辅助才能获得较好性能, 不适于用软件实现。 图2 . 8 r a i d 6 的数据布局方式 第三节基本r a i d结构读写性能 2 .3 . 1 r a i d 0的读/ 写操作 r a i d 0采用阵列管理软件处理应用程序对虚拟盘的读、 写请求的方法是一 样的。首先将用户虚拟盘的开始地址转换为磁盘成员的物理块地址,若应用程 序请求的数据可以由开始块所在的成员磁盘满足,则阵列管理软件仅生成到一 个磁盘成员的 i / o请求: 若需要访问多个阵列成员,则阵列管理软件生成多个磁 盘成员的i / o请求, 然后同时执行所有请求; 当 所有的u o请求完成后, 向 应用程 序传送数据。 第2 章磁盘阵列相关知识 r a i d 0 不需要处理冗余信息, 执行写操作时可以多个磁盘并行操作, 所以 写的性能最好。 2 3 . 2 r a i d 1的读2 写操作 r a i d i的两个数据盘的内容应时刻保持一致,当执行读请求时,阵列管理 软件执行如下操作:首先选择满足读请求的磁盘成员。一般情况下,可规定一 个磁盘成员为主盘,用于满足应用程序的读请求,只有当主盘故障或负载过重 时才将访问定向到备份盘上。然后将应用程序请求的虚拟地址转换为磁盘成员 的块地址,接着调度对磁盘成员的读请求,若读请求定向到一个磁盘,相当于 单个磁盘的读访问,若请求映像到多个磁盘,则需要阵列管理软件同步它们的 访问, 直到所有的 磁盘成员访问结束后才将数据传输给应用程序。 r a i d i 执行写请求的步骤为:首先确定哪些磁盘成员的数据需要更新,然 后执行磁盘调度程序执行写请求,写操作结束后,向应用程序报告。多个磁盘 成员可以并行执行写操作,这样两个磁盘的写时间只稍微大于单个磁盘的写操 作。 r a i d i采用完全备份的方法处理冗余数据,可靠性最好。数据盘和镜像盘 都有独立的数据通道,操作时可以选择寻道时间和旋转时间短的磁盘首先提供 服务,也可以同时提供服务,所以读的性能最好。但是它的校验冗余量大,磁 盘的利用率只有 5 0 0/ 0 ,写的性能低。当其中一个磁盘故障时,可以用另一个磁 盘上的数据来响应主机请求,同时阵列管理软件执行重构算法,将备份盘数据 复制到替换盘上,形成新的数据备份。在降级模式下,写操作只写完好磁盘, 不会使磁盘负载增加,反而会使性能有所提高。但完好磁盘要承担故障磁盘的 读操作,因 此对于 读密集的 应用, 故障 模式下磁盘的 负 载会增 加一倍 l l 1 5 j l 6 j 2 3 . 3 r a i d 3的读v 写操作 r a i d 3是位交叉奇偶校验磁盘阵列,采用细粒度条纹化,每次磁盘操作都 涉及到一个条纹中的所有的磁盘成员,要求各驱动器之间同 步。 读操作的过程: 首先将应用程序请求的虚拟地址转换为磁盘成员的条纹号, 对相应条纹中的每个磁盘成员调度执行读操作,各磁盘的读操作并行执行;当 数据传送到应用程序请求的目 标内存中后,向应用程序发信号,标志读请求结 第2 章磁盘阵列相关知识 束。 写操作的过程:控制器接收应用程序请求写入的数据,接着将应用程序数 据流划分为连续的划分序列,然后为接收应用程序数据的条纹重新计算校验值 ( 常有硬件辅助) , 最后对各成员盘的数据同时 执行写操作, 当所有数据和校验都 写入相应的磁盘后,同应用程序发请求完成信号. r a i d 3每次读操作要访问所有的数据盘, 仅在失效时才访问冗余盘重构失 效的数据,每次写操作要访问所有的数据盘与冗余盘。每次数据读写时宏观上 都要对同一个条纹中的所有磁盘成员同时存取,并要等到最慢的磁盘完成读写 后整个操作才算完成,小块数据读写时速度较慢。 r a i d 3每个读写操作都由 所有磁盘共同 完成,因 此其降级模式下读写操作 与无故障模式下基本相同。写操作的区别在于降级模式下无需写故障磁盘,而 读操作的区别在于降级模式下需要额外的异或运算恢复丢失数据。因此 r a i d 3 在两种模式下的性能几乎没有差别。 2 . 3 . 4 r a i d 5的宙 写操作 r a i d 5为块交叉分布式奇偶校验磁盘阵列,其读操作的 执行过程为:首先 确定读的磁盘物理地址,如果一个磁盘成员可以满足请求,则从该成员磁盘上 读出所需数据,若需要多个磁盘成员的读操作,则通过一定的调度程序,使各 磁盘成员并行读出所需数据,然后将读出的数据传递给主机。 r a i d 5 的写操作执行比较复杂,由于r a i d 5 的应用范围比较广, 我们将其 写操作的执行

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论