（控制理论与控制工程专业论文）网络磁盘阵列结构和数据布局研究.pdf

a b s t r a c t a r c h i t e c t u r e a n d d a t a l a y o u t o f n e t w o r k b a s e d d i s k a r r a y s ab s t r a c t ” 尸 r e d u n d a n t d i s k a r r a y s a r e a p o p u l a r m e t h o d t o i m p r o v e t h e r e l i a b i l i t y a n d p e r f o r m a n c e o f d i s k s t o r a g e a n d a n e v e r - i n c r e as i n g n u m b e r o f a r r a y a r c h i t e c t u r e s a n d d a t a l a y o u t s a r e b e i n g p r o p o s e d t o b a l a n c e c o s t , p e r f o r m a n c e , a n d r e l ia b i l i t y . i n r e c e n t y e a r s , a l o n g w i t h t h e r a p i d p a c e o f s e c o n d a r y s t o r a g e t e c h n o l o g y a n d n e t w o r k t e c h n o l o g y , n e t w o r k s t o r a g e h a s b e c o m e m o r e a n d m o r e c o m m o n . u n f o rt u n a t e l y , t h e r e a r e f e w r e s e a r c h e s o n a r c h i t e c t u r e a n d d a t a l a y o u t o f n e t w o r k b a s e d d i s k a r r a y s . t h i s d i s s e rt a t i o n d i s c u s s e s d a t a l a y o u t t e c h n o l o g y f o r i m p r o v i n g r e l i a b i l i t y a n d s c a l a b i l i t y i n n e t w o r k b a s e d d i s k a r r a y s . t w o p a r i t y d e c l u s t e r i n g d a t a l a y o u t s f o r n e t w o r k b a s e d d i s k a r r a y s a r e p r o p o s e d i n t h i s d i s s e rt a t i o n . we i g h t e d p a r i t y d e c l u s t e r i n g d a t a l a y o u t d i s t i n g u i s h e s l o c a l / r e m o t e d i s k a c c e s s p e r f o r m a n c e w h e n u s e p a r i t y d e c l u s t e r i n g t e c h n o lo g y i n n e t w o r k r a i d . i t im p r o v e s d e g r a d e d - a n d r e c o n s t r u c t i o n - m o d e p e r f o r m a n c e a n d r e l i a b i l i t y g r e a t l y . s t r i n g p a r it y d e c l u s t e r i n g d a t a l a y o u t c a n t o l e r a t e s i n g l e s t r i n g ( n o d e ) f a i l u r e i n n e t w o r k r a i d , t h e r e l i a b i l i t y o f t h i s d a t a l a y o u t i s s e v e r a l o r d e r o f m a g n i t u d e s b e t t e r t h a n t h o s e o f o t h e r d a t a l a y o u t s . t h i s d i s s e rt a t i o n a l s o s t u d i e s d o u b l e - e r a s u r e - c o r r e c t i n g c o d e s a n d d o u b l e - e r a s u r e d a t a l a y o u t s . a n e w d o u b le - e r a s u r e d a t a l a y o u t m e t h o d i s p r o p o s e d i n t h i s d i s s e rt a t i o n . t h e d o u b l e - e r a s u r e d a t a l a y o u t s p r o d u c e d b y t h i s m e t h o d h a v e b e t t e r c h e c k d i s k o v e r h e a d t h a n t h o s e p r o d u c e d b y o t h e r m e t h o d s . f i n a l l y , r a i d e x p a n s i o n i s d i s c u s s e d i n t h i s d i s s e rt a t i o n , a n d a f a s t e r r a i d e x p a n s i o n m e t h o d i s p r o p o s e d a s w e l l . t h e e x p a n s i o n p e r f o r m a n c e o f t h i s m e t h o d i s s e v e r a l o r d e r o f m a g n i t u d e s b e t t e r t h a n t h a t o f t h e s i m p l e m e t h o d . t h e p e r f o r m a n c e o f d a t a l a y o u t s t h a t i s p r o d u c e d b y t h i s m e t h o d i s c o m p a r e d t h a t o f d a t a l a y o u t p r o d u c e d b y t h e s i m p l e m e t h o d . , 洲 k e y wo r d s : r a i d , n e t w o r k r a i d , d a t a l a y o u t , p a r i t y d e c l u s t e r i n g , d o u b l e - e r a s u r e - c o r r e c t i n g , r a i d e x p a n s i o n 第 1 章 绪论 第1 章 绪论 近2 0 年来， 计算领域发生了巨大变化， 以前必须由大型计算机完成的工作， 现在由廉价的微型计算机和计算机集群就可完成。 技术的进步推动了一些新型应 用的 发展， 如多 媒体服务、 可视化计算、空间 数据 库等等【 h o l l a n d 9 4 b 。 这些应 用的共同特点是，对存储子系统在容量上、性能上、可靠性上的要求越来越高， 这些应用的出现推动了存储技术的不断进步。 另一方面， 数据本身的重要性却没 有改变。 而且， 随着计算技术逐渐应用到社会生产、 生活的各个领域， 数据可靠 性、 可用性的问题显得更为突出。 一旦数据丢失， 企业在经济上会蒙受巨大损失， 甚至会濒临倒闭。例如，在去年发生的9 1 1 恐怖事件中，摩根 斯坦利银行由于 在数据保护方面做得很好， 第二天就恢复了正常运营， 从而避免了巨大损失。 而 另一些企业在这方面则做得较差， 不但数据恢复需要大量财力， 企业停止工作期 间的损失更是无法估量。 现实生活中的事例充分说明了数据的重要价值， 值得庆 幸的是， 人们越来越认识到数据价值， 数据保护技术的研究和应用己 成为计算技 术中重要的分支。 自 从硬盘技术出现以 来， 就以其大容量、 高性能和低价格， 成为计算机系统 中永久保存海量数据的主要存储设 备。 一直以来， 硬盘技术的发展是非常迅速的。 特别是容量，几乎以每年 1 0 0 %的速度持续增长，而其价格却在不断下降，这也 促进了需要大容量存储的应用的发展。 但由于硬盘自 身机械特性的限制， 其性能 提高速度一直较为缓慢，远远落后于 c p u 、内存、网络等系统其它部分的发展 速度。 即便是发展速度较快的容量， 也难以满足不断提高的应用需求。 为了解决 单一硬盘在容量、性能以及可靠性方面的不足，p a t t e r s o n 等人于8 0 年代末期提 出了 廉价磁盘 冗余阵 列技术 ( r e d u n d a n t a r r a y s o f i n e x p e n s i v e d i s k s , r a i d ) p a t t e r s o n 8 8 , k a t z 8 9 , p a tt e r s o n 8 9 o r a i d 技 术 将 大 量的 磁 盘组 合 成单一 的 虚 拟磁 盘， 通过磁盘的并行操作来提高存储系统的性能， 通过数据的冗余来提高可靠性， 提供了一种以低廉的价格构造大容量、 高性能、 高可靠性的存储系统的方法，因 此很快就成为大容量存储系统中最重要的技术之一。 近年来， 随着互联网迅速深入到人们生产生活的各个领域， 出现了一些基于 互联网新型应用，如 w e b服务系统、电子邮件服务系统、电子商务系统等等。 这些应用的共同特点是用户数量庞大， 是传统应用所无法想象的， 而且其发展速 度极快，因此对存储系统的容量、 性能、 可靠性以及扩展性等方面的要求与传统 应用相比也是不可同日 而语的。 例如， 电子邮件服务系统的用户数量级一般都在 百 万、千万以上，如新浪网注册的电子邮件用户为2 7 0 0 万，每个用户邮箱至少 为5 mb ，这样仅用户邮箱就需要 1 3 5 t b的存储空间。当然，通过某些技术可以 网络磁盘阵列结构和数据布局研究 减少所需存储容量， 但所需容量还是很大的。 如果使用传统的基于存储服务器的 存储系统结构，即便使用 r a i d技术，也难以满足这类应用的需求。而近几年， 网络技术的发展非常迅速，网络的.舒日能、高伸缩性、 灵活性和通用性， 恰恰是 解决传统存储体系结构缺陷的最佳方法。因此，将存储技术和网络技术相结合， 构建高性能、 高可靠性和高伸缩性的海量网络存储系统已经成为一种趋势。 目前， 如 r a i d - i i . p e t a l 等相关的研究项目 十分活跃，而如n a s . s a n等新技术和新 产品也不断出现，可以说己经形成了网络存储技术的热潮。而我们在完成国家 8 6 3 计划重点课题 “ 基于网络的软磁盘阵列的设计与实现”的过程中，也完成了 个廉价海量网络磁盘阵列 n r a i d的设计与实现。 由于应用需求的推动， 网络存储系统的发展趋势是规模越来越大， 而且发展 速度越来越快。 因此， 可靠性、可用性和可扩展性已 经成为网络存储系统的非常 重要的特性， 这方面的研究工作已 经成为网络存储系统相关研究中非常重要的部 分。 磁盘阵列技术作为海量存储系统中广泛应用的技术， 在网络存储环境下， 也 具有非常重要的地位。 但在网络存储技术的相关研究中， 多数工作着眼于网络存 储系统体系结构和互连方式的研究， 有关网络磁盘阵列结构和数据布局方面的 研 究则不是很多。本论文试图通过对网络磁盘阵列的结构和数据布局问题进行研 究， 来提高网络存储系统的可靠性、 可用性和可扩展性。 本文对网络磁盘阵列环 境下的校验散布布局、多故障容错编码/ 数据布局和磁盘阵列扩展问 题进行了 较 为深入的研究， 提出了一些新的 研究思路和新的方法。 对于各种新方法， 不仅进 行理论上的分析， 还通过仿真方法进行实验， 来验证其对网络磁盘阵列系统可靠 性、可扩展性的提高。 对于类似飞机订票系统的应用系统，不仅要求存储系统具有较高的可靠性， 还要求在故障状态下数据具有连续的可用性， 因为如果服务中断， 造成的损失是 巨大的。 这些系统要求存储系统具有在线故障恢复能力， 并且恢复过程应该尽可 能快速， 对系统正常操作影响应该尽量小。 校验散布布局思想，即是一种提高磁 盘阵列可用性的技术。 通过校验条纹的散布， 重构负载的均匀分布， 校验散布布 局改进了r a i d 5结构降级模式下和重构模式下性能差的缺点，提高了磁盘阵列 系统的可用性。 并且， 由于同时也加快了磁盘重构过程的速度， 校验散布布局也 提高了磁盘阵列系统的可靠性。 而对于p e t a l . n r a i d等网络存储系统，都使用了磁盘阵列技术，磁盘阵列 跨越多个存储服务节点。 这种网络磁盘阵列结构， 显然有很多与传统的单机磁盘 阵列系统不同的特性， 这对校验散布布局方法也必然有所影响。 本文从这些不同 的特性出发， 对网络磁盘阵列的校验散布布局方法进行了研究。 针对网络磁盘阵 列系统中， 网络磁盘与本地磁盘访问速度的差异，以及磁盘相关性问题， 提出了 两种新的布局方法“ 加权校验散布布局”和 “ 链校验散布布局” 。对于两种 第 章 绪论 布局方法， 除了进行了详细的理论分析， 还进行了大量的仿真实验。 仿真实验结 果表明， 与传统校验散布布局相比， 加权散布布局在磁盘重构速度和故障状态下 性能两方面都占有优势， 提高了磁盘阵列系统的可靠性和可用性。 而链校验散布 布局相对传统正交布局和加权校验散布布局， 则大幅度地提高了磁盘阵列系统的 可靠性。 校验散布局技术可以有效地提高磁盘阵列系统的可用性和可靠性， 它最初是 以r a i d 5 为基础的，只能容许单一故障。虽然配合 r a i d 6 等 md s 编码，可以 容许多故障， 但有许多局限。而日前的网络存储系统规模不断增大， 只容许单 磁盘故障已不能满足可靠性的需求了， 使用容错能力更强的编码成为必要。 因此， 本文对多故障容错编码和数据布局方法进行了 研究。 提出了一种使用无向图表示 双故障容错编码和数据布局的方法， 这种方法具有形象、 简明的 特点， 并提供了 使用图论方法研究双故障容错编码和数据布局问题的可能。 本文还提出了一种新 的双故障数据布局方法， 该方法具有校验计算简单、 更新代价最优、 校验磁盘开 销较低的优点。 大量优化实验表明，与同类方法相比， 新方法效果相当，且对系 统参数没有限制，可生成任何类型的双故障数据布局。 随着应用对存储系统的要求不断提高， 存储系统的扩展性也成为一个重要问 题。本文对磁盘阵列扩展问 题进行了研究，针对磁盘阵列平凡扩展方法的缺陷， 提出了利用结构转换进行磁盘阵列快速扩展的新的研究思路。并在此基础之上， 提出了一种新的磁盘阵列快速扩展方法。 与平儿方法相比， 新方法极大地提高了 磁盘阵列扩展的速度， 减小了对系统正常操作的影响。 为了比较新方法生成的布 局和标准r a i d结构的性能， 进行了大量仿真实验， 结果表明， 对于常见的多用 户并发访问模式， 两者的性能是完全相当的。 新的磁盘阵列扩展方法对提高存储 系统的可扩展性，具有一定意义。 总之，本论文有如下创新之处: . 对网络磁盘阵列校验散布布局问题进行了研究，提出了 加权校验散布布 局和链校验散布布局两种网络磁盘阵列布局方法，极大地提高了网络磁 盘阵列系统的可靠性，和降级模式和重构模式下的性能。 . 对多故障数据编码和布局方法进行了研究，提出了用无向图表示双故障 容错编码和双故障数据布局的方法，并提出了一种新的可容许双磁盘故 障或双节点故障的数据布局方法，与其他双故障编码和数据布局方法相 比，新方法具有明显的优点。 . 对磁盘阵列的扩展问题进行了研究，提出了新颖的通过结构变换进行阵 列扩展的研究思路，并提出了一种新的r a i d结构扩展方法，与平儿方 法相比，这种方法的扩展速度提高了几个数量级，而扩展后阵列的性能 在常见应用模式下并没有明显损失。 网络磁盘1作列4 , 构和数据布局4 ) 1 究 本论文组织方式如下。 第 2 章介绍磁盘阵列知识。 首先介绍了应用发展对数据高可靠性和高可用性 的需求。 然后介绍了硬盘技术的纂本知识和硬盘技术的发展趋势。 最后介绍了磁 盘阵列技术， 包括磁盘阵列的基本思想、 基本r a i d结构、 性能分析以及基本可 靠性模型等等。 第3 章介绍了我们在网络磁盘阵列数据布局方面的研究。 首先介绍了国内外 有关网络存储技术方面的发展。 然后介绍了国内外有关校验散布布局方面的研究 工作。 最后详细讨论了我们在网络磁盘阵列校验散布布局方面的研究工作， 介绍 了我们提出的两种网络磁盘阵列校验敞布布局方法加权校验散布布局和链 校验散布布局，并进行了详细的j日 肩旨 分析和仿真实验。 第4 章介绍了多故障容错编码和数据布局方面的研究工作。 首先介绍了国内 外相关研究成果。 然后介绍了用无向图表示双故障容错编码的方法和一种新的双 故障数据布局方法，并详细分析了它与其他双故障容错编码的优劣。 第5 章介绍了磁盘阵列扩展问题的研究工作。 首先提出了利用结构变换进行 阵列扩展的研究思路。 然后介绍了一种新的r a i d结构扩展方法， 并对扩展过程 性能和扩展后阵列性能进行了详细分析。 第6 章对所作研究工作进行了总结，并展望了今后的工作方向。 第 2章 磁盘阵夕 d 相关知识 第2 章 磁盘阵列相关知识 计算机己经深入到社会生产生活的各个领域， 数据的可靠性、 可用性因而变 得更为突出。 而硬盘技术由于其自身特性的局限， 发展速度落后于计算机系统其 他部分， 更难以满足应用需求的高速发展。 这些因素都促进了磁盘阵列技术的产 生和发展。本章介绍磁盘阵列的一些相关知识。第一节介绍近2 0 年来计算领域 发生的巨 大变化， 以及这种变化对存储系统提出的更高的要求， 并给出了在商务 应用中对数据价值的估算。 第二节介绍硬盘技术的一些基础知识， 首先介绍了存 储系统的分层模型和硬盘在这种分层结构中的位置， 然后较为详细地介绍了硬盘 技术的基本原理， 最后分析了硬盘技术的发展趋势以及这种趋势对磁盘阵列技术 产生和发展的推动。 第三节介绍磁盘阵列技术的一些基础知识， 包括磁盘阵列技 术基本思想，几种基本 r a i d结构，性能分析，纂本可靠性模型等等。 2 . 1数据可靠性和可用性的重要性 2 . 1 . 1计算领域的变化对存储系统的要求 在过去加 年中，计算领域发生了巨大的变化，其中最大的变化莫过于微型 计算机的产生和发展。 微型计算机改变了计算机只被少数人利用的情况， 其低廉 的价格使众多中、小型公司乃至家庭用户都可以承受。 2 0年的发展， 微型计算 机己经深入到社会生产、 生活的各个领域， 它使计算机从实验室走出来， 成为辅 助人们生产、 生活的有力工具， 对人类社会传统的生产、 生活的方式的冲击是十 分巨大的，说它改变了我们的生产、生活的方式是毫不为过的。 计算技术发展迅速，2 0年前必须由大型机系统刁 能完成的许多工作，现在 已 经可以由价格低廉而功能强大的微型计算机和计算机集群系统来完成。 计算技 术的应用方式也发生了很大变化， 随着计算机深入到社会生产、 生活的各个领域， 它的应用己由 最初的复杂科学计算转变为大量数据处理， 特别是商务应用数据的 处理。 近年来， 随着处理器计算能力的 匕 速提高， 以及在线存储器容量的不断提 高和价格的持续下降，极大地促进了那些需要高 1 / o 能力应用的产生和发展 h o l la n d 9 4 b 。 其中 最明 显的 例子就 是 数 字 音频 和数 字视 频 应用如 视 频点 播服务 的 迅速发展 r a n g a n 9 3 。 其他的 例子还 有可视 化科学计算， 大 对象服务如空间 数 据库等 m c k e o w n 8 3 . s t o n e b r a k e r 9 2 。 这些应用对存储系统的 容量、 性能 和可靠 j胜要求都相当高， 对于较大规模的系统，目前的存储子系统的能力很难达到其要 求。因而，这些应用反过来又推动了存储技术特别是高度并行存储技术的发展。 5 网络磁盘队o 1 结构和数据布局n i 随着这些新型应用的出现， 计算机在数据处理方面的作用变得更为突出， 存储技 术海量数据的存储、处理和保护已经成为计算领域中非常重要的一个分支。 另外， 近几年网络技术的飞速发展， 使得利用高速网络互连技术来提高存储系统 的性能和可扩展性逐渐成为可能， 这方面的新技术和新产品不断出现。 而在网络 环境下特别是异构网络环境下的存储管理是相当困难的， 因此这带来了新的挑战 如何提供具有2 4 x 7 连续操作能力的高性能、高可靠性的网 络存储系统。以 上这些计算领域的变化都推动了存储技术的快速发展。 2 . 1 . 2商务应用中数据的价值 数据类型 w e b 站点的产品页面 w e b 站点的共享页面 顾客电话询问中心 内部网h r系统 e - m a il 消 息 数 据 库 顾客服务数据库 销售/ 营销资料 具有竞争力的智力资源 应支付的账单 应收的账单 购买 履行中的合同 开发中的智力财富 制造/ 生产文档 承兑文档 验证/ 加密密钥 估计值 日 销售额的i % - 1 0 % 日 销售额的1 平均发货单的 1 1 0 倍 每 1 0 0 个雇员每月 1 万美元 每个雇员1 0 0 0 美元 支持咨询的l %-2 % 销售估计的1 % - 1 0 % 年销售额的1 % 一5 % j决 速支付信用，积累利润 增加信用利润 普通购买定单量的1 % - 1 0 % 预算利润的 1 %一5 % 预期的专利费的 、 0 % 1 0 0 % 市场份额收入的1 % 2 0 % 平均承兑的资金的1 % 一5 % 日产量的 1 %一5 % 表 2 - 1估计的数据价值 虽然计算技术和应用需求都发生了如此巨大的变化， 但有一点却没有变， 即 计算机所处理和产生的数据的重要性没有改变， 因为一旦数据丢失， 多么强大的 计算能力都变得毫无意义。 当 今社会已步入信息时代， 人们越来越认识到数据的 巨 大 价 值。 表2 - 1 给出 了 一 些商 务 应 用中 数 据价 值的 估算 f a r le y 0 1 . 数据价值的定量分析使我们对数据的重要性有一个大致的认识， 更重要的是 要制定详细的灾难恢复计划口 因为当数据丢失之后， 再设法进行恢复， 其代价是 非常巨大的。 研究结果表明， 数据丢失的后果是灾难性的，以下是一些统计结果 f a r l e y 0 1 : 9 3 % 的公司 在遭受重大的 数据丢 失后， 在5 年 之内 倒闭 美国 劳 工局 ) 。 4 3 %的美国公司在遭受数据灾难后，就立即倒闭，2 9 %的公司在两年之 : 第 2章 磁盘阵列相关知识 内 倒闭 ( 华盛顿大学) 。 . 3 0 %的计算机用户说，每年他们花费大约等价于一周的时间重建他们丢 失的数据 ( 3 m公司) 损失 在线投资服务 软件开发 一 作 产品设计 制造数据 定单表目 承兑账单 支付账单 库存管理 市场研究 软件和许可权数据 销售和示范数据 所有的we b 商务利润 偿还量和诉讼费用 重新设计和编码的花费 重新产生1 : 程文档的花费 取消定单和延迟交货的罚金 系统所有预算的利润 所有偿还中的信贷债务 发货清单的延迟费及利润 重新库存管理花费 收集及重编辑信息，或重新购买信息的费用 重新购买软件的花费 销售定单量 表 2 - 2丢失数据的代价 表2 - 2 列出了一些数据丢失所造成损失的估计， 这其中不包括数据灾难引起 的 系统更 换的 损失， 而 是纯粹由 数据丢失引 起的 损失匡 a r l e y 0 1 。 从表 2 - 1 和表 2 - 2 可见，数据的价值和恢复数据的花费都是很高的，因此提高存储系统的可靠 性和可用性是极其重要的。 2 . 2硬盘技术 硬盘是计算机存储层次中用来永久存储大量数据的主要硬件设备， 也是构建 磁盘阵列系统的基础。本节介绍计算机存储层次结构及硬盘技术。 2 .2 . 1存储层次 计算机存储系统的设计实际上就是在容量、 速度和价格三方面的因素之间进 行折衷，这三个因素一般存在以下关系: . 存取速度越快，单位容量的价格越高 . 容量越大，单位容量的价格越低 . 容量越大，存取速度越慢 这样显然面对一个两难的境地，即大容量、低价格与高性能很难同时满足。 解决的方法是在存储系统中采用多层存储方式，而不是依赖于单一的存储技术。 一种典型的存储层次划分方法如图2 - 1 所示【 s t a l l i n g s 9 8 。 存储层次自 上而下， 一 7 网络磁盘阵列结构和数据布局o f 究 般满足以下几个特点: 1 ) 与 处理器的 “ 距离” 更远 2 ) 单位容量存储的价格更低 3 ) 容量更大 4 )存取速度史快 5 )被处理器所访问的频率更低 寄存器 高速缓存 内存 磁盘缓存 磁盘 可移动介质 图 2 - 1存储层次 分层结构是利用大容量、 低价格、 慢速的存储设备作为小容量、昂贵、 但快 速的存储设备的补充， 这种方式之所以能解决存储系统设计中的矛盾， 关键在于 访问频率逐层降低这一特点。 考虑一个简单的两级存储系统， 其中一级存储的容 量为1 0 0 0 个字，访问时间为t , = 1 u s ，二级存储的容量为 1 0 0 0 0 0 个字，访问时 间为 t 2 = 1 0 u s 。若数据位于一级存储，则处理器可直接访问，若数据位于二级 存储，则先将数据迁移至一级存储， 再供处理器访问。显然， 如果数据大多数情 况下均可在一级存储中找到， 则存储系统的性能接近于快速的一级存储。 通常将 可由快速存储独立完成的访问操作占总操作数的比例， 称为命中率。 显然， 只要 保证较高的命中率，就可以解决存储系统设计中三个因素间的矛盾。 山 于众所周知的“ 访问 局部性原理” d e n n i n g 6 8 ，即处 理器对指令和数据 的访问 是聚集的。 因此合理地组织数据， 使得对上层存储的访问 频率远远低于下 层存储， 保证较高的命中率， 是完全可能的。如二级存储模型中， 将全部数据保 存在二级存储中， 而将处理器最近访问的数据保存在一级存储中， 即可保证较高 的命中率，使存储系统具有较高的性能。 更多层次的存储模型，当然也可利用此原理， 如图2 - 1 所示的当前通用计算 机普遍使用的存储层次模型。 处在最高 层的是寄存器， 它位于处理器的内部， 访 第 2章 磁盘阵列相关知识 问速度最快， 同时也最贵， 数量很少， 通常只有几十个到几百个。 第三层为内存， 它是计算机主要的内部存储部件， 也称作主存或一级存储， 主要用来存放处理器 当前运行的程序和所需的数据， 目 前通用计算机的内存容量一般为几百兆字节到 几吉字节， 存取时间在几纳秒左右。内存一般辅以小容量高速缓存， 存放当前被 处理器使用的数据， 以加速内存和寄存器间的数据传输。目前微处理器通常具有 二级高速缓存，其中一级缓存集成在处理器内部，容量较小，通常为十几 k字 节到几十k字节，二级缓存容量较大，可达几百k到几兆字节，但位于处理器 外部 ( 不过一般均与处理器封装在一起) ，因此速度要慢一些。高速缓存的速度 一般为处理器速度的几分之一， 甚至全速， 而且与处理器封装在一起，因此访问 速度大大优于内存。 存储层次高三层的存储部件的共同特点是均使用半导体技术，因此速度很 快。 但它们都是易失性存储部件， 断电后数据就会丢失， 因此只能用于暂存处理 器所需程序、数据和计算结果 ( 目前也有非易失性半导体存储器，但价格昂贵， 还不适合于保存大量数据) 。如果想永久保存大量数据，则需使用存储层次中的 第五层磁盘 ( 主要是硬盘) 和第六层可移动介质 ( 磁带、 光存储设备等 等) 。硬盘是计算机永久保存数据的主要部件，所保存的数据通常以文件、记录 的形式组织， 供用户直接使用， 它也被称为二级存储或在线存储。 可移动介质一 般用作二级存储数据的备份， 所保存的数据用户不能直接使用， 因此也被称为三 级存储或离线存储。 另外， 存储层次中一般还有一层用软件实现的部分磁盘 缓存，它实际上是内存的一部分，通过缓冲磁盘写操作数据来提高磁盘写性能， 通过缓存常用数据来提高磁盘读性能。 在存储层次的各个部分中， 用来永久保存大量数据的主要是硬盘和可移动介 质。因此， 有关海量存储的研究， 如磁盘阵列方面的研究，主要是针对这两级存 储， 特别是硬盘。 本文对网络磁盘阵列结构和数据布局的研究， 也是以硬盘作为 基础存储设备。下面就介绍一下硬盘技术。 2 .2 .2硬盘技术 目前的硬盘驱动器本身通常由机械装置和控制器两部分组成， 与主机相连的 总线通道也是重要部件。图 2 - 2给出了硬盘驱动器机械部分的结构示意图 r u e m m l e r 9 4 。 从图中可见， 硬盘的机械装置分为两部分:记 录部件 ( 盘片和磁 头)和定位部件 ( 机械臂和磁道定位装置) 。 2 . 2 . 2 . ，记录部件 硬盘驱动器的直径从 1 .3 - 8英寸，目前台式机一般使用 3 . 5英寸硬盘，而笔 记 本机一般使用2 . 5 英寸硬盘。一个硬盘驱动器由 一个或多个盘片 ( p l a t t e r ) 组 网络磁盘阵列结构和数据布局训究 成， 这些盘片以一个共同的中心轴同步旋转。 中心轴的转速越高， 硬盘的数据传 输率就越高，旋转延迟就越小。每个盘片的表面都有一个磁头 ( h e a d ) ，负责记 录 ( 写) 和检测 ( 读) 盘片表面磁通量的变化。每个硬盘驱动器都有一个读写通 道，在读写操作过程中，它会在不同磁头间进行切换，其作用是编码/ 解码，完 成数据流和磁信号之间的转换工作。如果有多个通道，显然可以提高硬盘性能， 但实现多通道磁盘存在很多技术难点。 盘片的表面都被划分为一系列同心圆， 用 来存放数据，这些同心圆被称为磁道 ( t r a c k ) 。而不同盘片上距中心轴相同距离 的那些磁道组合在一 起，被称为一个 “ 柱面” ( c y l i n d e r ) 。若想访问一个磁道中 存放的数据，则需将磁头移动到该磁道上。磁头都连接在机械臂 ( a r m，安装在 旋转轴承上的一个控制杆)上，移动磁头的工作就山它来完成。 ai m陌口 d mss . m b ly 印in d l e y h n d w a .侧视图b .俯视图 图 2 - 2硬盘机械部 件的结构 2 . 2 . 2 . 2定位部件 硬盘驱动器的定位部件的任务是尽可能快地将磁头移动到指定磁道( 寻道) ， 并将磁头保持在相应位置不动 ( 定位) 。 寻道 ( s e e k i n g ) 过程由4 个阶段的动作组成: . 加速。机械臂加速，直到到达寻道距离的一半或达到最大速度为止。 . 匀速运行。对于长距离寻道， 机械臂会以最大速度运行一段距离。 . 减速。机械臂移动到指定磁道附近。 . 定位。控制器调整磁头到准确位置。 可见，对于距离非常短的寻道操作 ( 如 2 - 4个柱面) ，其时间主要由定位时 间决定， 实际上寻道过程并不存在， 磁头只是定位到一个新磁道。 对于距离较短 的寻道操作 ( 2 0 0 - 4 0 0 柱面) ， 几乎所有时间都处于加速阶段， 寻道时间与寻道距 离的平方根加上定位时间成比例。 而对于距离较长的寻道操作， 大部分时间处于 匀速运行阶段， 寻道时间与距离加上一个固定开销成比 例。 硬盘驱动器的发展趋 势是盘片变得更小，密度更大，因此定位时间在寻道时间中比例越来越大。 在寻道过程最后阶段微调磁头位置以及保持磁头位于正确磁道是磁道跟踪 系统( t r a c e f o l l o w i n g ) 的 任务。 磁道跟踪系统还负责磁头切换， 当 控制器将通道 第 2章 磁盘阵列相关知识 从柱面中的一个盘片切换到下一个盘片时， 可能需要重新定位磁头， 以适应不同 盘片磁道对齐的细微差别。 此操作的时间通常是定位时间的 1 / 3 到一半。 类似地， 当机械臂从一个柱面的最后一个磁道移动到下个柱面的第一个磁道时， 就发生磁 道 ( 柱面) 切换。 此操作时间与定位时间大致相等。由于磁盘密度的趋势是不断 增大，因此定位时间也相应增大， 不同盘片磁道的定位差别更大， 磁头切换时间 己经接近于磁道切换的时间。 2 . 2 . 2 . 3数据布局 图2 - 3 给出了硬盘驱动器物理数据布局 h o l l a n d 9 4 b 。 从图a 可见，一组用 户数据( 一般为5 1 2 字节) 组织为一个扇区， 扇区也是磁盘读写操作的最小单位。 每个扇区的头部包含扇区标识信息和时钟同步信息， 中间部分为用户数据， 尾部 为校验信息。 多个扇区组成一个磁道，如前所述，多个磁道又组成一个柱面。图 b 给出的是数据在硬盘驱动器上的布局顺序， 数据的布局是按柱面由外至内的顺 序排列的。值得注意的一点是，在柱面内不同磁道的边界处 ( 如扇区7 和扇区 8 之间)以及不同柱面的边界处 ( 如扇区2 3 和扇区2 4 之间) ，分别略过了1 个和 2 个扇区。 这就是为了抵消前面所述的磁头切换时间和柱面切换时间对性能的影 响，使切换后磁头马上可以 进行读写操作，避免磁头空转降低性能。 通常硬盘驱动器展现给用户的并不是物理扇区， 而是逻辑块( 一个或几个扇 区大小) 序列， 而在其内部将这些块映射为物理扇区。 这种将逻辑视图和物理视 图分离的方法， 可以透明地实现坏块隐藏和进行一些低层优化。 但对于一些希望 控制硬盘细节的上层软件来说，则增大了难度。 另 外，目 前的 硬盘驱动器一 般都 采用了 分区 技术 ( z o n i n g ) 来最大程度地利 用存储容量。 通过将临近柱面组成分区， 并令较长的外圈分区中磁道的扇区数多 于较短的内圈分区中磁道， 保证了最大的存储密度， 最大限度地利用了存储空间。 而此技术带来的一个结果就是磁盘外圈的传输率要大于内圈。 2 . 2 . 2 . 4硬盘控制器 硬盘控制器的职责是协调对磁盘介质的访问操作， 运行磁道跟踪系统， 在硬 盘驱动器及其用户之间传输数据， 以及管理内置缓存等等。 控制器由一组特殊设 计的微处理器组成， 通过特殊的接口直接控制硬件。 控制器中微处理器的性能越 来越强大， 因此虽然其负责的工作越来越复杂， 但其开销在硬盘访问过程中的比 例还是呈不断下降趋势的。 2 . 2 .2 . 5总线接口 虽 然光纤通道 ( f i b r e c h a n n e l ) f i b r e 9 l ， b e n n e r 9 6 和 i e e e 1 3 9 4 i e e e 9 5 等串行总线接口逐渐普及，但目使用最多的还是 i d e接旧和 s c s i ( s m a l l c o m p u t e r s y s t e m i n t e r f a c e ，小型计 算机系统接口) 接口 a n s i 8 6 o s c s i 接口 j 网络磁盘阵列结构和数据布局 州究 于连接能力和性能上的优势，在高性能海量存储系统中使用最多。s c s i 接口在 刚刚出 现时， 最大 数据传 输率仅为5 m b p s ( s c s i - i ) 。 而目 前主流s c s i 适配 器 和 s c s i 硬盘的数据传输率已 达到 1 6 0 m b p s ( u l t r a 1 6 0 s c s i ) 。最新的标准为 u l t r a 3 2 0 s c s i ， 速度达到3 2 0 m b p s ， 相应的产品也己出 现。 s c s i 既然是一种“ 总 线” ，因此就可以连接多个设备。最初的标准可以连接 8 个设备，而目前已发展 到 1 6 个设备。 s cr i oi ( l g n j r i 一 : 5 药 . 二 - 4 4一 -4 i ld i. s n n cu a l u 支 爹一 分一 互 、 州 卜 一 4 、 子q、 - 卜一 0一的 ， 甲 甲 自 f 一4 、 ! ia 二: 月 -t 一 产- - 一一 火 一 _ _ 钾 - 1补 刁 r . : _ 厂- 一 、 - - 一 _ f 翔 k冬 ， 一一 2( ， - 一一 ， _ _论3 a . 数据组织为扇区、磁道和柱面b . 扇区布局顺序 图 2 - 3硬盘驱动器物理数据布局 1 9 9 72 0 0 1 年增长率 容量 ( g b )9 . 11 8 0 1 1 1 % 磁道密度 ( 磁道/ 英寸，t p i )6 9 3 2 3 8 0 0 05 3 % 线密度 ( 千位/ 英寸， k b p i )1 3 54 8 2 3 7 % 磁盘旋转速度 ( 转/ 分钟) 1 0 0 0 01 5 0 0 01 1 % 平均旋转延迟 ( 毫秒)2 . 9 92 1 1 % 最小寻逆时间 0 . 60 . 31 9 % 平均寻道时间8 . 03 . 62 2 % 最大寻道时间1 9 刀7 . 02 8 % 内部数据传输率 ( 兆位/ 秒)1 2 2 - 1 7 75 4 8 - 7 0 641 % s c s i 接口 ul t r a s cs iul t r a s cs i 1 6 041 % 可靠性 ( 万小时)1 0 01 2 04 . 7 % 表 2 - 3硬盘技术的发展趋势 2 . 2 . 2 . 6内 置缓存 目 前的 硬盘一般都配有内置缓存， 其大小一般为5 1 2 k b到2 m b 。内置缓存 的一个作用是总线和磁盘间的速度匹配。 缓存作为数据在磁盘和总线间传输的中 转， 既可以解决磁盘等待总线的问题， 避免磁盘空转影响性能。 又可以解决总线 等待磁盘的问题，避免一个磁盘长时间占有总线，影响其它磁盘进行数据传输， 从而使系统性能达到最优。 第2 章 磁盘阵4 u 相关知识 内置缓存的另一个作用是作为读写缓冲 i b m 0 6 6 1 , m a x t o r 8 9 , r u e m m l e r 9 4 . 通过使用 “ 预读取” ( r e a d - a h e a d ) 技术， 可提高磁盘读操作的性能。内置缓存还 可作为写缓冲来提高写性能，但此时应考虑易失性缓存所引起的数据丢失问题。 读写缓冲对提高磁盘性能有明显作用，西部数据公司去年推出了8 mb大容量缓 存的硬盘wd 1 0 0 0 11 13 - s e ，与配备2 m b缓存的主流磁盘相比， 其性能有显著提 高，某些应用的性能提高幅度达3 0 % 【 张广彬o 1 o 2 . 2 .3硬盘技术的发展趋势 由于硬盘技术自身的一些特点的局限，硬盘的某些技术指标提高非常迅速， 而其他一些技术指标则发展十分缓慢。 表2 - 3 给出了 1 9 9 7 年和2 0 0 1 年典型高端 s c s i 硬盘的 相关技术指标的 变化l s e a g a t e 9 7 , s e a g a t e 0 l . 显见， 磁盘容量，记 录密度等技术指标提高较为 迅速， 而磁盘转速、 寻道时间、 数据传输率等技术指 标的提高速度则明显落后于磁盘容量，这主要是由 硬盘技术的自 身特点决定的。 由于磁头和盘片表面的距离不断减小， 定位精度的不断提高， 以及磁介质质量的 不断提高三重因素的影响， 磁盘记 录密度得以高 速增长。 这带来了两方面的好处。 一方面， 记录密度的快速提高使硬盘容量大大增长， 从表2 - 3 可见， 硬盘容量每 年增长一倍以 上。 另一方面，记 录密度的快速提高， 再加上磁盘转速的提高， 使 得数据传输率也有较大提高。 从表2 - 3 来看， 数据传输率的年增长率在4 0 % 左右， 这对大数据的读写操作性能的提高作用非常明显。 而由于机械特性的限制， 硬盘 定位系统性能的提高则较为缓慢。 从表2 - 3 看， 磁盘转速的每年只提高1 0 % 左右， 而寻道时间每年也只减少2 0 % 左右。 由于小数据读写操作的性能很大程度上依赖 于磁盘的寻道速度， 因此定位系统性能的缓慢增长对小数据读写性能的增长影响 非常大。而据 h p存储实验室 1 9 9 9年跟踪通用服务器和科学实验环境得到的统 计结 果 c