（计算机科学与技术专业论文）高性能磁盘阵列（raid）关键技术的研究.pdf

国防科学技术大学研究生院学位论文 摘要 近年来以计算机和网络为基础的信息产业获得了空前的发展，对信息存储提出了更高 的要求，主要表现在：t b 以上的存储容量；高可靠性；访问请求处理快，带宽高，延迟小： 可提供有效的共享存储的解决方案。 从信息存储系统组成上，存储系统可分为以下三大组成部分：磁盘阵列、连接和网络 子系统和存储管理软件。从信息存储系统体系结构上可以归纳为三个方向：d a s ( 直接附 连存储) ，n a g ( 网络附接存储) 和s a n ( 存储区域网络) 。无论从哪方面分析，磁盘阵列 都是存储系统的关键和核心。 r a i d ( 冗余磁盘阵列) 能够在现有磁盘技术和接口技术的基础之上，有效提高i o 请 求处理能力，满足信息存储对数据可靠性和可用性的需求。随着对数据安全性的要求越来 越高，掌握存储的核心关键技术成为迫在眉睫的任务。 本文深入研究了r a i d 设计中的多种关键技术，对c a c h e 管理策略、数据分布策略、 小写改进策略、数据重建等关键技术提出了自己的实现算法，设计了一个采用双处理器和 大容量c a c h e 的高性能磁盘阵列系统方案。该方案能够满足企业级大规模信息存储的需要。 大规模信息存储技术方兴未艾，我国各行业对磁盘阵列系统的需求越来越大，特别是 军队和国家安全部门需要我国自行研制的磁盘阵列系统。因此掌握r a i d 的关键技术对我 国实现安全快捷的网络存储具有深远的意义。 、 v 、 7 关键词：r a i d数据分布 c a c h e 小写数据重建 一 第1 页 一一一里堕型兰垫查盔堂竺壅生堕兰垡笙苎 a b s t r a c t b a s e do n c o m p u t e ra n dn e t w o r kt e c h n o l o g y ，t h ei n f o r m a t i o n i n d u s t r yi n d u s t r y h a sb e e ng r e a t l yd e v e l o p e di nr e c e n ty e a r s ，i n c r e a s i n gt h ed e m a n df o r h i g hs t o r a 口e c a p a c i t ym o r et h a nt e r a b y t e sa n dh i g h e rr e a l i b i l i t ya n dh i g h e rs p e e dt o p r o c e s s t h ea c c e s s r e q u i r e m e n t ，p r o v i d i n gb r o a d e rb a n d w i d t ha n ds l o w e r d e l a y a n dt h e a b i l i t yt os h a r es t o r a g e f r o mt h ev i e wo f c o m p o n e n to fs t o r a g es y s t e m ，i ti n c l u d e st h r e ep a r t s ：d i s k a r r a y ，i n t e r c o n n e c tn e t w o r ks y s t e ma n d s t o r a g es o f t w a r e it si n f r a s t u r ec a nb e c o n c l u d e di nt h r e em a i nf i e l d s ：d a s ( d i r e c ta t t a c h e ds t o r a g e ) ，n a s ( n e t w o r ka t t a c h e d s t o r a g e ) a n ds a n ( s t o r a g ea r e an e t w o r k s ) o ne v e r yp o i n t d i s ka r r a yi st h ek e ya n d c o r eo ft h es t o r a g es y s t e m r a i dc a ne f f i c i e n t l yi n c r e a s et h e a b i l i t yt op r o c e s si or e q u i r e m e n t sw i t h n o r m a ld i s ka n di n t e r f a c e i tc a n s a t i s f y t h ed e m a n df o rd a t ar e a l i b i l i t ya n d a v a i l i a b i l i t y i t ht h ed e m a n df o rd a t as e c u r i t yh i g h e ra n dh i g h e r i tb e c o m e sa n u r g e n tt a s kt om a s t e rt h ek e ys t o r a g et e c h n i q u e a f t e rt h o r o u g h l ys t u d i e dt h ec a c h e m a n a g e m e n tp o l i c y ，d a t al a y o u tp o l i c y ，s m a l l w r i t ep r o b l e ma n dd a t ar e c o n s t r u c t u r ea l g o r i t h m ，t h ea r t i c l eb r i n g so u to u ro w n i m p l e m e n t i n ga l g o r i t h m w i t h t h eh a r d w a r e p l a t f o r m o ft w o p r o c e s s o r a n d b i g c a c h e ，w ed e s i g n ar a i d s y s t e m ，r a i d f c i t c a n s a t i s f y t h e s t o r a g ed e m a n d o f e n t e r p r i s eu s a g e m a s s i v ei n f o r m a t i o n s t o r a g et e c h n o l o g y i si nt h e a s c e n d a n t e v e r y w a l ko f b u s i h e s sh a sg r o w l n gd e m a n df o rr a i ds y s t e mi nc h i n a t h ea r m ya n dn a t i o n a ls e c u r i t y d e p a r t m e n te s p e c i a l l ya s kf o ro u r o w hp r o d u c t s o i ti so fl o n gt e r mm e a n i n gt o m a s t e rt h ek e yt e c h n o l o g y k e y w o r d s ：r a id d a t al a y o u t c a c h e ，s m aiiw rit e d a t ar e c o n s t r u t 第1 i 页 国防科学技术大学研究生院学位论文 第一章绪论 1 1 课题研究的背景 1 1 1 信息存储的发展需求 近年来以计算机和网络为基础的信息产业( i t ) 获得了空前的发展，许多新的应用， 如视频服务、科学计算、数据中心等的出现，使人们对数据的需求以每年成倍的速率增长。 这就对信息存储提出了更高的要求，主要表现为：要求存储容量大，达到t b 级；系统可 靠性高，具有防灾能力( 抗设备故障等) ；访问请求处理快，带宽高，延迟小；多个计算 机系统可以共享一组存储设备。 这样，存储资源不再仅仅属于某一台服务器，而成为网上的一种公共服务设施。存储 不再仅仅与容量、速度有关，而且涉及到电子商务、2 4 7 全天候运营、支持开放异构环 境等更高的要求。这就要求存储系统有更大的灵活性、更轻松的可管理性和可扩展能力、 更高的存储密度和可靠性，以及真正的投资保护。在这种条件下出现了各种以r a i d ( r e d u n d a n t a r r a yo f i n e x p e n s i v e i n d e p e n d e n t d i s k ) 为存储体的网络存储体系结构，其中典 型的有d a s 、n a s 和s a n 等。当前，信息存储技术的发展十分迅速，所涉及的范围十分 广泛，从信息存储系统体系结构上可以归纳为三个方向： l d a s ( d i r e c t a t t a c h e ds t o r a g e ，直接附连存储) ，也称s a s ( s e r v e r - a t t a c h e ds t o r a g e ， 服务器附加存储) ，是直接连接在各种服务器或客户端的数据存储设备： 2 n a s ( n e t w o r k a t t a c h e d s t o r a g e ，网络附接存储) 为一种特殊的专用数据存储服务 器，内嵌管理软件，可提供跨平台文件共享功能。 3 s a n ( s t o r a g e a r e a n e t w o r k i n g ，存储区域网络) 是以数据存储为中心，采用可伸 缩的网络拓扑结构，通过具有高传输速率的光通道的直接连接，提供s a n 内部任 意节点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存 储区域网内。 从信息存储系统组成上，存储系统可分为以下三大组成部分： 1 磁盘阵列，它是存储系统的基础，完成数据的存储； 2 连接和网络子系统，实现一个或多个盘阵与一个或多个服务器间的连接； 3 存储管理软件，在系统和应用级上，实现多服务器间的共享、防灾等存储管理任 务。 无论从哪方面分析，r a i d 磁盘阵列都是存储系统的关键和核心。 r a i d ，最早在1 9 8 8 年的a c ms i g m o d 大会上由p a t t e r s o n 、g i l b s o n 等人提出。其设 计原理是：通过资源冗余来提供需要的服务质量。它将多个独立的磁盘组织成一个逻辑盘， 提供更大的存储容量：通过数据分割、多通道并行来提高数据的i o 速率；通过保存冗余 的数据、校验信息来提高存储系统的可靠性。 因此，r a i d 能够在现有磁盘和接口技术之上大大提高数据的可靠性、可用性和i o 速率，成为大规模信息存储的重要存储介质。 第1 页 国防科学技术大学研究生院学位论文 1 1 2 磁盘和接口技术的发展现状 r a i d 技术的基础是单个磁盘技术。r a i d 提出时，单个磁盘的容量仅仅有几百m b ， 平均故障时间( m t t f ) 只有2 0 ，0 0 0 3 0 ，0 0 0 小时，s c s i 接口的传输率仅有5 m b s e c 。无论 在容量、速度和可靠性上都不能满足关键系统应用的需求。这些因素也限制了r a i d 系统 结构的规模和整体性能。 随着磁盘技术的发展，磁记录密度越来越高，磁盘体积由5 2 5 ”下降到l8 ”、1 3 ”，甚 至更低，单盘容量达到几百个g b ，访问时间下降到原来的一半，而且，各种智能芯片的 嵌入，增加了磁盘对各种异常和故障的处理能力。目前，在系统软件支持下，磁盘可以支 持热插拔，大大简化了系统的维护。 同时，s c s i 接口技术也在不断发展，经过了s c s i - - 2 ( 8 0 m b s e c ) ，s c s i 3 ( 1 6 0 m b s e c 和3 2 0 m b s e c ) ，接口的数据传输率也大大提高。今天，光纤通道作为一种日渐成熟的高可 靠、g i g a b i t 互联技术，已成为新一代的存储接口。光纤通道提供了对多种上层协议的支持， 为r a i d 中磁盘成员的互联和管理提供了一种经济的实现方式，成为设计高性能r a i d 时 的首选连接方式。 磁盘体积的缩小、容量的增大、数据传输率的提高，这些都为构造大容量的r a i d 系 统提供了良好的基础。设备的热插拔能力使系统具有了动态配置的能力，大大缩短了维护 时间，提高了系统的可靠性。f ca l 的支持使系统规模可以大大增加，为高性能的r a i d 设计提供了更简单、更标准和更经济的途径。 1 2 国内外的研究现状 存储已作为i t 行业近年来一个主要的增长点，该领域的竞争相当激烈。表1 i 列出了 一些国外主要的r a i d 产品。在中端市场的产品以s c s i 接口为主，使用s c s i 或i d e 磁盘， 提供1 0 0 m b s 4 0 0 m b s 的数据传输率，内部缓存3 2 m 5 1 2 m b 。在高端市场上，主要有 e m c 、i b m 和h i t a c h i 等几家大公司的产品，结构上采用多个i o 处理器，提供多个面向 主机和磁盘的光纤接口，数据传输率达4 0 0 m b 以上，集成多达几百个磁盘驱动器，磁盘 容量可达几十t b ，内部缓存为g b 级，支持面向i n t e m e t 的各种应用。同时高端产品还提 供一系列的共享存储解决方案，使存储系统有更好的性能。 表1 1 国外主要的r a i d 产品配置一览表 容量保护特征 最大支持 产品名称、代号 最大磁晟大远程 c a c h er a i dl e v e l热插 盘数量容量镜像 容量拔 e m cf c 4 7 0 01 0 073 t b2 g b 0 ，l ，o + l ，5 yy e m c 3 8 42 8 t b1 6 g b 0 ，1 ，o + 1 ，5 yy s y m m e t r i x 3 0 0 0 r a i d t e c 1 2 087 6 t b1 2 8 m b 0 ，l ，0 + i ，5 yy f i b r e a r r a y h l 1 2 l s l o g i cc 2 4 0 04 230 6 t b5 1 2 m b 0 ，l ，3 , 5 ，o + 1 rn c o m p a qm a s 0 0 0 4 2l5 t b5 1 2 m b 0 ，1 ，3 5 ，j b o d yy 第2 页 国防科学技术大学研究生院学位论文 表1 1 国外主要的r a i d 产品配置一览表( 续) 互联特性存 【占管理 产品名称、代号 前端( 到主机)后端( 到磁盘)主机支持存储管理软件 h p - u x ，i b ma i x ，n a v i s p h e r em a n a g e r ： s u n s o l a r i s ，s i l i c o nc o m p l e t ec o n f i g u r a t i o n ， g a p h i c si r i x ，m a n a g e m e n t , a n de v e n t 每个存储处理 w i n d o w sn t 2 0 0 0 ，n o t i f i c a t i o n ； 两个存储处理器有一个 n o v e l in e t w a r e ，c l a r a l e r t ： 器，每个处理器1 0 0 m b s e n 的 r e dh a tl i n u xc o n s t a n ts y s t e m e m cf c 4 7 0 0有两个f ca l 双冗 m o n i t o r i n ga n dr e m o e 1 0 0 m b ，s e s 的光余环路提供 d i a g n o s t i c s 纤通道接口4 0 0 m b s e c 的 m i f f o rv j e w ： 最大带宽 r e m o t es y n c h r o n o u s m i r r o r i n gf o rd i s a s t e r p r o t e c t i o n f i b r e r a i d h i 控s o l a r i s ，i b ma i x ，f c r a i d m a n 制器，含一个光 c o m p a qu n i x ， g u a d m l n s t m t i o n ， r a i d t e c 通道h u b ，最大 f ca l h p - u x ，l i n u x ，f c - r e p l i c a t i o nf i b r e f i b r e a r r a y h l l 2 可同时支持到主 m a c o s ，s g ii r i x ， c h a n n e lr e m o t em i r r o r i n g 机的1 6 个连接 w i n d o w s n t 2 0 0 0 9 8 每个模块双驱w i n d o w s n t 2 0 0 0 9 8s a n t r i c i t ys t o r a g e l s il o g i c 动器通道总s o l a r i s h p u x ，m a n a g e r 2 f c e 2 4 0 0带宽l i n u x ，n e t w a r e ， 2 0 0 m b s 。l b ma i x m a c w i n d o w s n t 2 0 0 0 ， s a n w o r k se n t e r p r i s e ， n e t w a r e ，t r u 8 4 s a n w o r k ss t o r a g e c o m p a q f ca l 或光纤通s e u i t r a - w i d e u n l x ， m a 8 0 0 0道交换结构s c s i 6 通道 s u ns o l a r i s s g i i r i x h p - u x i b ma i x l i n u x 。国 外一些大学和科研机构，如卡内基梅农大学、伯克利分校、汉普郡大学互联实验室和h p 实验室等都在深入研究存储技术，并在数据的可伸缩性访问、数据迁移、提高数据的可用 性和服务质量、存储系统自动设计和安全存储等方面都取得了很大的进展，成为推动存储 技术发展的主要技术支柱力量。 根据i d c ( 国际数据中心) 的统计：2 0 0 0 年，我国的信息存储量是2 ，9 1 4 t b ，2 0 0 1 年 达到6 。4 0 3 t b ，增长了近三倍，预计到2 0 0 5 年，数据的存储量将达到5 8 ，5 5 5 t b 。面对如 此巨大的存储需求，国内存储产业的研究与发展却相对缓慢，数据存储所用的主要设备仍 大多依赖于i b m 、e m c 、c o m p a q 、l s i l o g i c 等外国公司的产品，没有拥有我们自己知识 产权的产品。随着人们对信息安全、存储安全的重要性认识越来越高，尤其对军队和国家 国防科学技术大学研究生院学位论文 安全部门，拥有自己知识产权的r a i d 产品具有很现实和迫切的意义。 1 3 课题研究的目标和主要工作 本课题对r a i d 设计中的各种关键技术进行了深入的研究，重点研究了c a c h e 管理策 略、数据分布策略、小写改进技术和故障重建算法等，提出了自己的方案和实现算法。在 此基础之上，设计了一个基于光纤通道的企业级磁盘阵列r a i d - f c 系统总体方案。 1 4 本文的组织 本文是我硕士阶段课题研究的全面总结。全文共分六章： 本章介绍课题研究的背景、技术现状、课题目标和主要研究工作。 第二章介绍r a i d 的基本概念，包括基本的术语、各种r a i dl e v e l 的技术特性、衡量 r a i d 性能的主要指标及各种不同的实现方式，作为进行r a i d 研究的基础。 第三章分析了典型的r a i d 系统的基本软硬件结构和各r a i dl e v e l 在不同模式下的操 作特征，分析出了影响系统性能的关键技术，为设计r a i d 系统明确了方向。 第四章设计了r a i df c ，研究了它的软硬件结构、控制和数据流程，以及系统的配置 方法。 第五章重点研究了数据分布策略、c a c h e 管理和使用策略、小写方法和重建算法等影 响r a i d 系统性能的关键技术，提出了它们在r a i d f c 中实现算法，并对实现效果进行 了分析，完善了一个高性能的磁盘阵列设计方案。 第六章对所做工作进行了总结，提出了课题需进一步做的工作，对信息存储技术未来 的研究方向进行了展望。 国防科学技术大学研究生院学位论文 第二章r a i d 技术研究的基本内容 与单个磁盘驱动器及其简单的组合相比，r a i d 能够在三个方面加强在线存储的性能： 第一、r a i d 采用数据划分和映射技术，将i o 请求分布到各个磁盘成员上，由于各个磁 盘成员可以单独处理请求，从而减小了读写等待时间，提高了系统的性能；第二、在r a i d 中存储了校验数据，当用户数据所在的某个磁盘成员故障时，可以根据正常工作的磁盘成 员上的数据来重新生成无法读出的数据，从而极大地提高了数据的可用性：第三、r a i d 将多个物理盘集合成一个大的逻辑盘，提供给用户一个虚拟的存储环境，简化了存储管理， 提高了存储的灵活性和可扩展性。 由于这些特性，r a i d 可以在现有磁盘技术之上，提供更高的数据传输速率和数据可 用性，因而成为了大型机i o 系统和网络存储服务器的主要的存储体。 2 1 1r a i d 的定义： 2 1r a i d 技术的基本内容 在i o 系统中，磁盘阵列指来自一个或多个公用的磁盘系统的磁盘及其阵列控制硬件 和管理软件的集合。阵列管理软件控制磁盘的操作，并将它们的容量作为一个或多个虚拟 盘提交给主机。r a i d 是磁盘阵列的一种特殊形式，其中部分存储容量保存了用户数据的 校验信息。校验信息保证了当个别阵列磁盘成员或访问路径故障时，可以通过读取正常工 作的磁盘成员上的内容来重新构造出用户数据，从而提高数据的可用性。 2 1 2r a i d 中的数据组织层次 数据中以块为单位分布存储在各个磁盘成员上。在r a i d 中，将基本的数据块按照 b l o c k ( 块) 、s t r i p ( 划分单元) 、s t r i p e ( 划分) 和e x t e n t ( 区间) 的逻辑层次组织起来， 如图2 1 所示。 成员a 成员b 成员c 图2 1r a i d 中的数据组织层次 第5 页 国防科学技术大学研究生院学位论文 在确定数据存储的基本单元块( b l o c k ，磁盘数据块为一个基本的扇区) 后，将存储在 个磁盘成员上地址连续的数据块组织为一个划分单元( s t r i p ) ，各个磁盘成员上相应的 s t r i p 组成一个完整的划分( s t r i p e ) ，每个磁盘成员上地址连续的s t r i p 形成一个e x t e n t ( 扩 展区间) ，e x t e n t 也称为逻辑盘。每个s t r i p 中包含的基本数据块( b l o c k ) 的数量称为s t r i d e 的深度。阵列管理软件利用s t r i p 来实现虚拟盘到磁盘成员的地址映射，同一个s t r i p e 中的 s t r i p 的成员关系由阵列管理软件唯一确定。 2 1 3 阵列管理软件 阵列管理软件完成对r a i d 的控制和管理，它通过执行地址映射、校验计算、i o 算 法和错误处理等例程，将阵列内部的复杂性隐藏起来，提交给主机用户的是一个虚拟的磁 盘空间。阵列管理软件是r a i d 系统的核心。 2 1 4r a i dl e v e l r a i dl e v e l 代表r a i d 中用于数据保护和数据映射的一组方法。最初提出时，只有5 级，后经过不断的完善，由r a b ( r a i d a s s o c i a t eb o a r d ) 审定，现基本层次分为7 级， 表示为r a i do 6 。 2 1 4 1 r a i do ：( d a t as t r i p i n g a r r a yw i t h o u t p a r i t y ) r a i d 一0 将数据分割交叉存储在所有的磁盘成员上，所有的磁盘成员都是数据盘，无冗 余数据，因而没有容错功能。数据分割的粒度可以是位、字节、块。r a i d 一0 广泛应用于 要求数据传输速度很快、存储容量很大，而对数据的可靠性要求不高的某些超级计算环境 中。 d r i v e ld r i v e2d r i v e3d r i v e 4 回回回回 耐耐耐耐 几石；丽 赢再nn 磊i 羽n 赢而一 孤司蕊刮忑刮卜丽剖 图2 2r a i d0 示意图 2 1 4 2 r a i d1 ( m i r r o r e dd i s k a r r a y ) r a i d 1 是镜像磁盘阵列，它采用和数据盘相同数目的磁盘作为镜像盘，利用完全备 份的方法来提高数据的可靠性。如果数据盘失效，可以用镜像盘提供服务，并由镜像盘的 数据重新构造出数据盘上的数据。 圈离耐耐 尉唰 图2 3r a i d1 示意图 第6 页 里堕型兰垫查查兰竺垄尘堕兰垡堡苎 2 1 4 3r a i d 2 ( m e m o r y s t y l ee c c ) r a i d 一2 以位( b i t ) 为单位进行数据的分割与重构，采用海明码容错的磁盘阵列。它模仿 主存中的容错技术，使用海明码来恢复失效数据，冗余盘的数目是磁盘阵列系统总盘数的 对数，随着磁盘阵列系统规模的增加，磁盘的利用率也会相应的提高。p a i d 一2 的冗余信 息量很大，代价昂贵，般很少使用。 d r i v e0 d r i v e1e c c d r i v e5e c c d r i v e6 e c c d i i v e7 i b l o c k l li b l o c k l i1 e c c l - 3 2 li e c c l - 3 2 il e c c l - 3 2 l i 唑! ! ii 竺! ! f i ! 竺塑! ii ! ! ! ! ! 竺f i ! ! ! ! ! 竺f i b l o c k3 ii b l o c k3 li e c c6 5 - 9 6 ll e c c6 5 9 6 ll e c c6 5 9 6 l l b l o c k4 ll b l o c k4 ll e c c9 7 - 1 2 8i l e c c9 7 1 2 8l l e c c9 7 1 2 8 l 图2 4p a i d2 示意图 2 ，14 4 r a i d3 ( b i t - i n t e r l e a v e dp a r i t y ) r a i d 一3 是位交叉奇偶校验磁盘阵列，以位为粒度进行数据的分割与重构，采用奇偶 编码，将数据盘上的所有数据经“异或”后产生的校验值存放在校验盘上，当任何一个磁 盘控制器发现磁盘失效时，均可以通过计算其它盘上的奇偶信息来恢复丢失的数据。 d r i v e0d r i v e1d r i v e2 p a r f t y d r i v e 霞圈嚣圈 图2 5r a i d3 示意图 2 1 45r a i d4 ( b l o c k i n t e r l e a v e dp a r i t y ) p a i d 一4 是块交叉奇偶校验磁盘阵列。它与r a i d 3 的区别是以块为粒度进行数据分割 和重构。读盘时只需读数据盘上的数据，只有盘失效时才去读冗余盘的校验信息来重构数 据。写盘时必须在更新数据块的同时计算并更新奇偶校验信息块。 d r i v e0d r i v e1d r i v e 2d r i v e3 p a r i t y 圈圉圉圉圈 剖剖斟斟趟 图2 6 p a i d4 示意图 r a i d 4 只有一个冗余盘，所有的写操作必须等待冗余盘的数据更新后才算完成，保 存冗余信息的成员盘很容易成为磁盘阵列的瓶颈。 第7 页 望堕型兰垫查奎兰堕窒圭堕兰焦堡茎 21 4 6 r a i d5 ( b l o c k i n t e r l e a v e dd i s t r i b u t e dp a r i t y ) r a i d 一5 是块交叉分布式奇偶校验磁盘阵列，它是r a i d 4 的改进型。以块为单位进行 数据的分割与重构，使用奇偶校验来保存冗余信息。但它的奇偶校验值不是保存在固定的 某一冗余盘上，而是分布在各个数据盘上。因为奇偶信息块是分布的，所以也没有冗余盘 的“瓶颈”问题。但是r a i d5 执行小块数据写的效率较低，即小写问题，这是r a i d 一5 结构主要的缺点。 r a i d 5 加快了奇偶校验信息的计算速度，而且也使得多道同时读写成为可能，i o 数 据传输率高，已获得广泛应用。 d r i v e0d r i v e1d r i v e2d r i v e3p a r i t v l b l o c k l i | b l o c k2 | i b l o c k3 l l b l o c k4 i | p a r i t y i 崮b l o c k5 型b l o c k6 尉b l o c k7 倒p a r i t y5 - 8 崮r a 1 y b 1 圈b l o c k1 3 圜p a r i t y 1 3 1 6 冒b l o c k1 4 胃b l o c k1 5 离b l o c k1 6parity 2 0b l o c kb l o c k1 8b l o c k1 9 b l o c k2 0 f| f - f ff ff l1 7 f | 1 7 l 1| i| |i 图2 7r a i d5 示意图 21 4 7r a i d6 ( p + q r e d u n d a n c y ) r a i d 6 中冗余码采用r e e d s o l o m o n 码，使用两个冗余盘，可以同时恢复两个失效盘 上的数据，在结构上与块交叉分布式奇偶校验盘阵相似，工作方式上也相似。 以上介绍了r a i d 系统的基本层次。实际的实现中，还可以有各种层次的组合形式， 如r a i d0 + 1 ，表示将划分存储的每一块数据同时进行镜像备份，从而提高了系统的可靠 性。 从系统结构上看，r a i d 实际上还有一个配置和使用的问题。例如：对由两个磁盘成 员构成的盘阵，无论使用r a i d 1 结构，r a i d 0 l 结构、r a i d 3 结构或r a i d 4 结构，其 结果是相同的，都是镜像盘阵。而如果将r a i d 4 结构中的分块单元定义为位，则成了 r a i d 一3 。所以在实现r a i d 结构时，需充分考虑磁盘阵列的配置和规模。 2 2 衡量r a j d 性能的主要指标 r a i d 系统最重要的度量指标包括可靠性、吞吐率、容量和响应时间。每一种指标都 有很多种度量方法。在不同的应用中这些指标的重要性不同，具体使用哪种方法主要取决 于比较的目的和系统的应用类型。不过，任何情况下这些指标首先要满足可靠性的要求。 2 2 1 可靠性 可靠性是任何i o 系统最重要的指标之一，也是磁盘阵列受欢迎的主要原因之一。衡 量可靠性的主要指标包括m t t f 、m t t r 和m t b f 。 m t t f ( 平均故障时间) ，指系统投入运行到发生第一次故障时持续运行的时间。虽然 现在单盘的m t t f 已经很高，但是如果没有冗余的校验信息，则在一个有多个磁盘成员的 第8 页 国防科学技术大学研究生院学位论文 阵列中，系统的m t t f 会变得不可接受： 一 =瓦丽7mittlfsin蕊8：le_diskmttfdlsl a r r a y i _ 孑石 ( 21 ) 一 2 瓦而了厂面i _ ：孑丽 ( 21 ) 在校验r a i d 中，将阵列中的磁盘分成s t r i p e ，每个s t r i p e 有一个磁盘保存校验数据， 当磁盘故障的时候，在一定时间内，将故障盘替换，然后重建其上的信息，可以大大提高 盘阵的可靠性。该段时间称为m t t r ( 平均修复时间) 。 设：n ：阵列中的磁盘数量 g ：阵列分成的校验组的数目，则系统的m t t f 为： m 肝：罂盘( 2 2 1 n o ( “一1 ) m t 7 r 若r a i d 阵列中每个s t r i p e 含两个冗余磁盘，如r a i d 6 ( p + q ) ，则 m t t f ：一生里鱼 = 脚) n x ( g i ) ( g 一2 ) 删缸 m t b f ( 平均故障间隔时间) 指系统每连续两次故障之间的平均间隔时间，则由定义 可得： m t b f = 硝仃f + m t t r f 24 ) 2 2 2 吞吐率 吞吐率用于度量存储系统传输数据的速度。可以用两种方法来表征：一是i o 速率， 用a c c e s s s e c o n d 来度量，常用于每个请求的数据量都很小的应用；二是数据速率，用 b y t e s s e c o n d 来表示，常用于请求大数据量的应用，如科学计算。 2 2 3 响应时间 响应时间指存储系统用多长时间来获得要访问的数据。可以从用户、操作系统和磁盘 控制器等多个不同的角度来度量。 2 2 4 各种层次特性的比较 下表给出了各种使用r a i d 保护层次时，系统的一些综合性能的比较 表2 1 各种r a i dl e v e l 特性比较 r a i d 大的i o 数据小l ，0 请求 代价特征数据可用性 l e v e l 传输能力处理速率 d a t a s t r i p i n g a r r a y读写速率 r a i don 低于单盘很高 w i t h o u tp a r i t y 都很高 高于读性能比单盘高， 读性能为单盘 r a i d 】2 nd i s k m i r r o r i n g操作的2 倍，写 r a i d 2 ，3 ，4 ，5 ，6写性能相近 性能与之相当 远高于单盘，高于在所有r a i d大约为单盘 r a i d2n + m m e m o r y s t y l ee c c r a i d 3 4 或5l e v e l 中最高性能的2 倍 b i t i n t e r l e a v e d远高于单盘与在所有r a i d大约为单盘 r a f d3n + i p a r i t yr a i d2 , 4 5 相当l e v e i 中厦高性能的2 倍 第9 页 国防科学技术大学研究生院学位论文 表2 1 各种r a i dl e v e l 特性比较( 续) b ) o c k i n t e r l e a v e f l 远高于单盘与 读性能与r a i d o读性能与r a i d 0 r a i d4n + l 接近，写性能远低接近写性能 p a r hr a i d2 , 4 ，5 相当 于单盘远低于单盘操作 读性能与单盘操读性能与r a i d 0 b l o c k i n t e r l e a v e d 远高于单盘，与 r a i d5n + 1作接近，写性能低 接近，写性能常 d i s t r i b u t e dp a r i t yr a i d2 , 4 ，5 相当 于单盘操作低于单盘操作 读性能与单盘操读性能与r a i d 0 r a i d6n + 2 p + or e d u n d a n c y仅次于r a i di作接近写性能低接近写性能 于r a i d 5远低于r a i d 5 n ：表示每个s t r i p e 中数据盘的数量；i i l ：表示阵列中校验磁盘的数量 2 3r a i d 的各种实现方式 r a i d 系统可以通过硬件实现，也可以软件实现：可以用操作系统白带的r a i d 函数 库，也可以使用第三方软件实现r a i d 功能。它们都执行相应的r a i d 算法，响应主机的 i o 请求，它们的主要区别比较如表2 2 。 表2 2 软、硬件实现的性能比较 特征硬件实现 软件实现 对硬件对硬件要求高，需要专门的i o 处 对硬件要求较低，主要利用主 的要求理器、内存、电源等板上集成的资源 r a i d 控制软件运行在r a i d 控制器的专用处理器 运行在主机的处理器上，受主 运行位置上，独立于主机工作机工作负载的影响 有软、硬件备份机制，可靠性较低 可靠性 可靠性高 成本软、硬件成本高 成本低 一经设计完成即定型，对新的要求 可以整合新的处理算法，灵活 灵活性 需重新设计，灵活性较低性较高 软件r a i d 也有两种不同的实现方式，即操作系统绑定的r a i d 方案和第三方软件的 解决方案。这两种方案比较起来，其圭要区别如表2 3 ： 表2 3 系统绑定的实现方案和第三方软件的实现方案比较 操作系统绑定的 特征 第三方软件实现方案 软件实现方案 对系统硬件的与操作系统支持同样的硬 可能只适用于具有某些专门特征的 要求件平台 硬件平台 引导能力 一般不支持r a i d 引导可以支持r a i d 引导 对系统性能的对系统性能提高不大采取了改进系统性能的方法，可以提 影响高系统性能 对故障处理比较简单，可靠以提高可靠性、可用性为目标，可靠 可靠性 性较低性较高 成本随操作系统附带 专门开发需一定的成本 灵活性灵活性较低 灵活性较高 国防科学技术大学研究生院学位论文 本文研究的内容是硬件实现的r a i d 子系统，此后所有的讨论都围绕硬件实现r a i d 系统的技术问题。 2 4 小结 本章是r a i d 研究的基础，主要介绍了r a i d 设计中的基本概念、各种r a i d 保护层 次的基本特点和衡量r a i d 系统性能的主要指标，并对各种实现方式在成本、可靠性、灵 活性等方面进行了比较。 第1 1 页 垦堕型兰鉴查盔兰竺窒生堕兰垡丝苎 第三章r a i d 系统的基本结构和特征 r a i d 不是多个磁盘的简单的组合。在磁盘组合的基础之上，需要添加专门的硬件和 算法来计算和处理冗余数据，提供数据的重构和重建故障数据的能力；在硬件设计上，需 要提供部件的冗余备份和热插拔能力，使得r a i d 系统能够提供比单盘更大的容量，更高 的读写速率和可靠性、可用性，从而缩小或消除计算机系统中存在的i o 瓶颈。本章将讨 论关于r a i d 的基本组织结构和各种r a i dl e v e l 基本操作和过程的主要特征。 3 1 典型的r a i d 控制器系统结构 r a i d 控制器是主机和磁盘设备之间的数据传输通路，包含有面向主机和磁盘两个方 面的接口，同时处理来自两个方面的信息，通过多个磁盘成员并行操作，提供远高于单盘 的传输速率，从而匹配主机和磁盘设备之间的数据传输速度，使其达到均衡。典型的r a i d 阵列控制器结构图如下 惮鬈医。 压习r a i d 控制器 , g f 一_ 一缓存l l _ j 1 7 1 一 内 冈露 部 蚋旧 设备通道 1 接口n 一 一l 二- j 白爸 主机通道 总 冈c # 一癣一 制 蚋恫 1i 盐i 摊nk 一 一l ：二j 、 i fi f 7 qj 9 3 1 1 硬件结构 图3 1 典型的阵列控制器结构图 从图3 1 可以看出，r a i d 控制器主要包括处理器、数据缓存、内部总线和主机及设备 通道等几个部分。 3 1 1 1 控制处理器 通常所有的r a i d 都采用了专门的i o 处理器来完成控制。处理器执行控制程序，控 制完成多种功能，如应用程序的i o 请求分析，资源分配，校验计算，产生状态信息和错 误处理等。一般情况下使用一个处理器，但为了提高重负载下的吞吐率和响应时间，可以 采用多个处理器，从而提高系统处理请求的能力。 第1 2 页 国防科学技术大学研究生院学位论文 3 1 12 数据缓存 由于设备和主机i 0 接口的数据传输率不同，且来自多个i o 请求的数据和控制信息 在主机接口处互相重叠，因此控制器需要一个内部数据缓存区来消除不同设备之间的速度 差别，并实现数据分布到不同磁盘时的拆分及读出时的整合。缓存区越大，对处理器和 r a i d 算法的要求就越高，控制器的性能也会越高。 3 1 13 主机接口 主机接口包括特定的接口互联逻辑、序列控制逻辑和f i f o 缓存，实现r a i d 与主机 系统之间的通讯连接。多个主机接口不仅可以提高控制器和主机i 0 数据流的速度，也可 提高系统的容错能力。多个接口允许同时连接多个主机。 3 1 1 4设备接口 设备接口包括设备通道所需的控制和转接逻辑，在通道和控制器之间实现数据格式转 换和协议操作。设备通道接口通常还包括特定的互联电路，控制逻辑和小的缓存区( f i f o ) 。 在多数控制器中，每个设备通道由单独的设备接口控制。 3 1 2 阵列管理软件结构 阵列管理软件是系统的核心，它处理主机和磁盘控制器之间的请求、状态信息的传递、 命令格式的转换和数据的传输。阵列管理软件应该包括如下一些功能模块： 阵 列 配 置 3 12 1 阵列配置模块 阵列管理软件 驯悱 i j | | 数 据 重 建 图3 2r a i d 控制器模块示意框图 配置模