（计算机科学与技术专业论文）高性能磁盘阵列自修复技术研究.pdf

国防科技大学研究生院硕士学位论文 摘要 随着并行计算机体系结构和半导体工艺技术的发展，高性能计算机( h p c ) 的计算速度已经达到千万亿次量级【1 】，对应的外围存储容量达到p b 量级。以当今 单磁盘容量最大为1 t b 计算，总容量为p b 的外围存储系统中的磁盘数量将达到 千个的量级。磁盘是机电磁一体的设备，厂家标称的平均无故障工作时间一般在 十万小时左右，但实际使用过程中故障率较高，可靠性远低于c p u 、主存等纯电 子部件。因此，对于高性能计算机系统，磁盘存储系统的可靠性在很大程度上决 定了整个系统的可靠性。 当前存储系统通过r a i d 技术提高性能和可靠性。但是目前通用的r a i d 系统 单盘故障时，系统将进行数据重构，这使读数据的时间增加，同时限制了写操作。 若两个或者两个以上的磁盘同时故障，则可能导致数据损坏，无法恢复，对核心 数据这将是灾难性的损坏。 根据在美国j n # l 大学进行的伯克利t e r t i a r yd i s k 系统项目的统计，部件在故障 之前的很长一段时间就会有不正常的情况出现，磁盘故障也是一个渐变的过程。 本课题分析了磁盘可靠性工作状态的渐变过程，研究了可监测的磁盘工作参数对 磁盘可能发生故障的预警方法和提前替换工作状态不正常的磁盘的方法，以及对 被预警故障磁盘实现对用户透明处理的方法，即研究了磁盘故障的自修复技术， 以大幅度提高系统的可靠性。 采用单层r a i d 结构存储系统的可靠性处决于单个r a i d 控制器采用的单层容 错处理技术，通常是容许1 个磁盘故障，可靠性不高。多层r a i d 结构通过对r a i d 结构进行组织，实现数据的二维存储和访问，通过冗余校验信息进一步提高系统 的可靠性，同时可以成倍提高存储系统的传输速率，如达到g b s 的量级。 本文主要围绕提高基于r a i d 的存储系统的可靠性和性能，研究磁盘存储系 统的自修复技术来提高可靠性，研究基于自修复磁盘阵列的多层r a i d 结构技术 来提高性能。主要的工作和创新点如下： 1 通过量化分析磁盘存储系统中不同功能部件出现故障的概率，说明磁盘设备 的可靠性是影响整个存储系统可靠性的主要因素。磁盘故障引起的系统整体故障 约占整个系统故障的5 0 。根据可靠性的层次定义和磁盘工作原理，给出了磁盘 的故障树模型。 2 提出了单盘状态监测的t 2 u s ( t i m e ，t e m p e r a t u r e ，u t i l i z a t i o na n ds m a r t a t t r i b u t e ) 算法和磁盘无故障运行时间的依概率分布算法。对磁盘可能的故障进行预 测是研究磁盘存储系统故障自动修复技术的重要基础。v 2 u s 算法主要包括运行环 境质量判定和当前状态相容性判定两部分。环境质量判断根据磁盘故障树选定环 第i 页 国防科技大学研究生院硕士学位论文 境变量采用阀值判断；状态相容性判定则由根据统计结果总结的基于磁盘 s m a r t ( s e l f - m o n i t o r i n g ，a n a l y s i sa n dr e p o r t i n gt e c h n o l o g y ) 技术获得的状态 参数组成状态集，采用扩展的自学习算法( e x t r a - s l a ) 判定，给出单盘状态预测的 变量的定量标准，根据统计结果推测，在通常情况下可以提前预测4 5 5 2 的单 盘故障。 3 基于单盘状态监测和数据调度的自修复磁盘阵列r a i d5 t 结构和数据分布 算法的设计和实现。基于磁盘运行状态的监测，设计了支持故障数据实时响应的 t r d p ( t 2 u sr e d e p l o y m e n tp o l i c y ) 数据迁移和磁盘重组策略，实现了对单个磁盘 故障引起的开销的屏蔽，容许一个磁盘故障或两个预测将要失效的磁盘的准故障。 4 为了实现高性能的数据存储和访问，采用通用的计算机部件构建了r a i d 6 ( 4 ) 5 t ( 8 ) 阵列，实现数据平面存储和校验。r a i d 6 编码结果作为下层r a i d5 t 阵 列的数据源，重新生成校验信息，进一步提高可靠性，整个阵列结构可冗余6 个 磁盘故障。 主题词：磁盘故障树模型，t 2 u s 磁盘状态监测算法，s m a r t ，自修复技 术，多层r a i d 结构 第i i 页 国防科技大学研究生院硕士学位论文 a b s t p a c t w i t ht h ea m o u n to fd a t ab e c o m e st h el e v e lo fp bi ns c i e n c et e c h n o l o g y ，s c i e n c e c o m p u t i n gh a sb e c o m ed a t a - i n t e n s i v e d a t a c e n t r i cc o m p u t i n gm o d e ln e e d san e w s t a n d a r df o r t h ea v a i l a b i l i t ya n dr e l i a b i l 时o fd a t a m a s s i v e ，h i g h - r e l i a b i l i t ya n d m 西p e r f o r m a n c es t o r a g ed e v i c e sb e c o m et h eb a s i ce l e m e n t so fh p c a tt h es a m et i m e ， i n e v i t a b l ef a i l u r e so fs t o r a g ec o m p o n e n t sg r o ww i t i lt h ec a p a c i t ya n dp e r f o r m a n c e s e n h a n c e m e n t a st h ec o n t r o ls y s t e mp o s ei n c r e a s i n gc o m p l e x i t y ，f a i l u r er a t e so fs t o r a g e s y s t e mi n c r e a s e sr a p i d l y ， b et r a n s p a r e n tt ot h eu s e r s ，t h a ti s ，p r o c e s s e so ft h ec o r r u p td a t ar e c o v e r yw a sr u n w i t h o u td e c r e a s i n gt h ep e r f o r m a n c eo fd a t a sr e a d w t i t eo p e r a t i o n t r a n s p a r e n tt ou s e r s w a sa l s on a m e d “s e l f - h e a l i n g ”a n di tb e c o m e sa n o t h e rg o a lo fs t o r a g es y s t e m 即吐sa r t i c l em a i n l yr e s e a r c h e so nt h et e c h n o l o g yo fs t o r a g es y s t e m sc a p a c i t y ， p e r f o r m a n c e ，r e l i a b i l i t ya n dt h ea b i l i t yo fb e i n gt r a n s p a r e n tt ou s e r s 砀es e l f - h e a l i n gt e c h n o l o g yw h i c ha d d r e s s e st h es y m p t o mr a t h e rt h a nc a u s e b e c o m e sap r i n c i p l eo fd i s ka r r a yd e s i g n i n g b a s e do nt h eb a s i cd i s kr e a d w r i t ep r o c e s s a n dc o m b i n e dw i t ht h er e l i a b i l i t yl e v e lm o d e li nt h et h e o r yo fr e l i a b i l i t yd e r i v e dt h ed i s k f a i l u r em o d e lt r e eb o t hi nt h ef o r mo ft o p d o w na n db o t t o m u pa n a l y s i s t h e nd e s i g n a n dr e a l i z et h ed i s km o n i t o ra l g o r i t h mr s uw i t hs o m ea p p r o p r i a t ep a r a m e t e r sf o rt h e e n v i r o n m e n tf r o mt h el e a v e so ft h et w om o d e lt r e e sa n dt h ec h a r a c t e r i z a t i o no ft h e c u r r e n td i s ks t a t ef r o mt h es m a r ，ta t t r i b u t e s r e s p e c t i v e l y t z s um a k e su s eo ft h e t h r e s h o l dm e t h o dt od e t e r m i n et h eq u a l i t yo ft h ee n v i r o n m e n ta sw e l la st h ee x p a n s i o n o fs e l f - l e a r n i n ga l g o r i t h ma n ds e l f - l e a r n i n ga l g o r i t h mt oe s t i m a t et h ec o m p a t i b i l i t yo f t h es t a t e a c c o m p a n yw i t ht h et h e o r yo fs t a t i s t i c s ，t h ep r e d i c t i o nt e c h n i q u eo ft h ed i s k s m t t fi na c c o r d a n c ew i t hp r o b a b i l i t yd i s t r i b u t i o nf o r mf r o mn o wo nw a sc r e a t e d r a i d5 td i s ka r r a ys t r u c t u r ew i t h ”s e l f - h e a l i n g ”t e c h n o l o g yw a sd e s i g n e da c c o r d i n gt o d i s ks t a t u sm o n i t o t i n g 1 1 1 i sd i s ka r r a ya r c h i t e c t u r ew a st r a n s p a r e n tt ou s e r sw h e nad i s k f a i l u r eh a p p e n sw i t ht h et r d pd i s kd a t am i g r a t i o na n dr e s t r u c t u r i n gs t r a t e g y i no r d e rt oa c h i e v eh i g h p e r f o r m a n c eo fd a t a sw r i t e r e a do p e r a t i o n s ，a m u l t i r 舢ds t r u c t u r e ：r a i d6 ( 4 ) 5 t ( 8 ) w a sd e s i g n e db yg e n e r a lc o m p u t e r c o m p o n e n t ss u c ha sm o t h e r b o a r d c p ua n do t h e r s n l ef o r mo fr e d u n d a n c yi n f o r m a t i o n d a t aa n ds o u r c ed a t ai nt h i sa r r a yw a sp l a n e i na c c o r d a n c ew i t ht h ep r i n c i p l e so f h i e r a r c h i c a lm a n a g e m e n t a f t e rt h es n i a ss t a n d a r da b o u tr a i d6w a sa c h i e v e d ，i tw i l l g e n e r a t ed a t ab o t h o fs o u r c ed a t aa n dp a r i t yd a t ab yl i b e r a t i o na l g o r i t h ma n d d e p l o y m e n ta l lt h ed a t ao fr a i d6a st h ed a t as o u r c eo f t h ef o l l o w i n gr a i d5 ta r r a y s w i t ht h er e p a r i t yi n f o r i l l a t i o n a tl e a s tm u l t i r a i dc a ns t i l lw o r ka f t e r6d i s k s f a i l u r e k e yw o r d s ：d i s kf a i l u r et r e em o d e l ，t 2 u sd i s ks t a t u sm o n i t o ra l g o r i t h m ， s m a r t 。s e l f - h e a l i n gt e c h n o l o g y 。m u l t i r a l d 第i i i 页 国防科技大学研究生院硕士学位论文 图目录 图2 1磁盘差错引起系统故障8 图2 2 磁盘阵列结构9 图2 3 存储系统失效故障树模型9 图2 4 硬件，软件故障分布图1 0 图2 5自底向上磁盘故障树1 2 图2 6自顶向下磁盘故障树1 3 图2 7 属性分布图1 4 图2 8 浴盆曲线【2 7 】。1 4 图3 1 磁盘故障分布和间隔统计【5 】1 8 图3 2 磁盘状态监测原理。：1 8 图3 3 状态监测流程：1 9 图3 4 磁盘实际故障率2 l 图3 5 参数改变参数正常失效比例2 2 图3 6s m a r t 属性与磁盘失效概率关系2 2 图3 7t 2 u s 判定流程图2 3 图3 8 相容性判定算法流程图2 5 图3 9 无故障工作时间预测2 7 图3 1o 温度分布与a f r 1 4 】2 8 图3 1 1 扩展的“浴盆曲线 2 9 图4 1r a i d6 标准与r a i d5 年失效率比3 5 图4 2r a i d5 t 结构3 6 图4 3r a i d5 t 运行过程j 3 8 图4 4r a i d5 t 数据分布3 9 图4 5 冗余盘恢复序列4 1 图4 6 数据修复和阵列重组4 2 图5 1 系统物理结构4 5 图5 2r a i d6 数据分布图【5 8 】4 6 图5 3 写操作流程4 7 图5 4r a i d 6 编码修改操作开销【6 1 】4 9 图5 5 转换矩阵5 0 图5 6 系统转换矩阵兀5 1 第v 页 国防科技大学研究生院硕十学1 1 ：7 ：论文 图6 1可靠性系数与年失效率5 4 图6 ，2t b 8 0 可靠性_ 5 5 图6 3 预测概率显著性水平5 6 图6 4r a i d5 t 可靠性系数5 7 图6 5 改进t b 8 0 结果5 8 图6 6 可靠性改善比例5 8 图6 7m u l t ir a i d 结构6 1 图6 8 多层r a i d 可靠性6 2 第v i 页 国防科技大学研究生院硕士学位论文 表目录 表2 ，1 存储系统性能依赖关系8 表2 2 系统故障差错分布表j 1 1 表3 1磁盘使用时间状态2 4 表3 2 状态判定拒绝域3 0 表3 3s m a r t 技术属性参数31 表3 4 预测等级表3 2 表4 。l通用r a i d 结构性能总结3 4 表4 ，2r a i d5 操作开销3 5 表5 1r a i d6 操作开销4 9 表6 1r a i d5 可靠性系数5 4 表6 2t b 8 0 构成5 5 表6 3 稳定概率与可靠性水平对应关系5 6 表6 4r a i d 6 数据及编码结果6 0 第1 v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文题目：直性能壁垄隍到自修复拉苤盟究 学位论文作者签名： 日期：年协月万日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：商! 睦能邀耋隍到宜修复拉苤盈究 学位论文作者签名： 作者指导教师签名： 斟乡 一哆 年 年 船蹦 期 期 国防科技大学研究生院硕+ 学位论文 第一章绪论 存储是一种不易被人们关注的技术。但是，如果仔细分析现状，我们就会发 现存储才是真正的王者。有人甚至认为已经变成商品的服务器成了存储设备的外 围设备： - m i c l 雠lv i z a r d ，i n f o w o r l d 主编。 1 1 课题背景 高性能计算机的性能提升迅速，现已突破千万亿次计算能力。d o e 和i b m 联 合研发的具有1 2 ，9 6 0 个p o w e r x c e l l8 ic p u 、6 4 8 0 个a m d 的o p t e r o n 双核处理器、 1 0 3 6 t b 内存的“游骑兵”系统的峰值性能达到1 7 p e t a f l o p s t n 。计算机性能的充分 发挥依赖于数据的存储，数据存储的基础是存储系统的性能和可靠性。随着高性 能计算机系统的广泛应用，支持高性能计算的数据存储和对计算过程中使用的数 据进行高速、可靠的存储成为高性能计算机系统实现的基础。高性能、高可靠的 存储系统的设计越来越成为关注的焦点。 。 基于以下三个原因，作为存储系统基础部件的磁盘阵列和磁盘设备的读写性 能和可靠性水平逐渐成为整个高性能计算机系统的重要组成部分。 1 磁盘阵列在高性能计算机系统中的地位非常重要 科学计算是典型的数据密集型应用，一台典型的高性能计算机系统的数据存储 量已达到p b ( p e t a b y t e s ) 量级。n a s a 的地球观测系统e o s d i s ( e a r t ho b s e r v i n g s y s t e md a t aa n di n f o r m a t i o ns y s t e m ) 己存储了3 p b 数据，并以每周1 t b 的速度增 长i 2 j ；美国能源部斯坦福线性加速器中心s l a c ( s t a n d a r dl i n e a r a c c e l e r a t o rc e n t e r ) 已达到了几个p b t 3 】；2 0 0 7 年欧洲c e r n 启动的大型强子对撞机l h c ( l a r g eh a r d o n c o n l i d e r ) 实验将产生2 0 p b 的数据【4 】。 近年来，磁盘技术获得了快速发展，如提高位存储密度、提高磁盘转速、缩短 磁头定位时间等，现在单磁盘的容量已达1 t b 左右，转速1 5 0 0 0 转秒，接口速率 3 g b p s 。尽管如此，单个磁盘是无法在读写性能和容量上满足高性能计算机的需求 的。为此人们提出了磁盘阵列的存储结构，以期在超大存储容量和超高存储速率 上满足高性能计算机的要求。 2 磁盘阵列的可靠性是影响高性能计算机系统可靠性的重要因素。 数据存储的可靠性是整个计算机系统可靠性的基础。根据统计结果，磁盘故障 导致系统失效的比例占整个系统失效的1 6 4 9 1 【5 】，为了提高系统的可靠性，在 r a i d 中采用冗余和错误恢复技术实现存储系统的可靠性。 第1 页 国防科技大学研究生院硕士学位论文 3 磁盘自身的低可靠性和机械装置控制的复杂性限制了磁盘自身的可靠性 水平，作为构成磁盘阵列的基本部件，同时也限制了磁盘阵列整体的可靠性。 磁盘是机电磁一体设备，通过步进电机控制读写过程中磁头的定位。磁盘的使 用过程中，由于介质老化、磁头定位过程中受到高温、震动、电流电压变化等影 响可能导致数据的读写操作失败，引起单盘故障，多个磁盘故障则可能导致相关 的r a i d 崩溃。另外，存储系统的磁盘数量的增加也使可靠性情况更加恶化。 高性能计算中心所需的磁盘数量均以千为单位。例如：e m c t m 的s y m m e t r i x d m x 一4 最多可以配置2 4 0 0 个磁盘【6 1 ，g o o g l e t m 文件系统集群由1 0 0 0 个存储节点 构成 7 1 ，n e t a p p 的f a s 6 0 0 0 系列每个存储节点可以支持多于1 0 0 0 个磁盘，最多可 以配置2 4 个存储节点【8 1 。按照当前的磁盘年失效率为1 7 8 6 【5 1 的可靠性水平， 对于一个多于1 0 0 0 个大型磁盘的阵列，每3 周至少出现一个单盘故障，单盘故障 直接影响系统整体可靠性和可用性。 磁盘阵列通过有效组织磁盘的互联结构和数据存储的分布方式，定程度上提 高了系统的可靠性，是h p c 存储系统组成的有效选择，磁盘阵列的可靠性是h p c 建设的重要指标之一。 在存储系统中，磁盘出现故障是不可避免的，尤其是随着存储系统规摸的扩大 和磁盘数量进入干个的量级，单个磁盘故障的概率大大提高。现在的r a i d 技术 主要采用容许单磁盘故障的方式，当某一磁盘发生故障时，采用数据重建的方法， 恢复被损坏的数据，并将恢复出的数据存放在备份磁盘中。但是，数据的恢复过 程对用户是非透明的，只允许用户读数据，写操作被限制。这影响了整个计算机 系统的可用性，使用户的部分操作失效。如何在磁盘阵列数据修复过程保持系统 的性能和系统的可用性，使数据修复过程不影响用户对被存储数据的正常访问， 郎修复过程对用户透明，是当前存储系统设计面j 缝的又一重大挑战。数据修复过 程对用户透明的存储系统称之为“自修复”存储系统，它将使磁盘存储系统的可 靠性和可用性水平大幅提高。 通过对当前存储系统现状的分析可知，当前存储系统面临超大容量、高性能、 高可靠、系统维护对用户透明的诸多挑战。本课题重点研究具有自修复功能的磁 盘阵列和多层r a i d 结构的关键技术。具有自修复功能的磁盘阵列通过一组磁盘 提高系统存储容量；通过数据存储和访问的并行操作提高系统带宽；通过原始数 据计算生成校验信息实现冗余一个或者多个磁盘故障：通过监测磁盘工作状态和 对磁盘可能出现的失效提前处理，提高r a i d 的可靠性和可用性。 另外，为了提高磁盘阵列的访问性能，采用多层阵列和多层次编码的技术方 法，进一步提高存储系统的可靠性，并提高系统的i o 访问速率。 第2 页 国防科技大学研究生院硕士学位论文 1 2 国内外研究现状 存储系统的可靠性取决于系统结构和系统构成部件，在不同的层次上提高各 自的可靠性是当前国内外研究的重点。 1 2 1s m a r - t 技术研究和应用 s m a r t ( s e l f - m o n i t o r i n g ，a n a l y s i sa n dr e p o r t i n gt e c h n o l o g y ) 技术【1 0 。，即 “自我监测、分析及报告技术”。它由c o m p a q 公司的i n t e l l i s a f e 诊断技术和i b m 的p f a 检测技术构成，支持s m a r t 技术的硬盘可以通过硬盘上的监测指令和主机上的 监测软件对磁头、盘片、马达、电路的运行情况、历史记录及预设的安全值进行 分析、比较。当出现安全值范围以外的情况时，自动向用户发出警告，降低单个 硬盘的失效率。 s m a r t 信息保留在硬盘的系统保留区( s e r v i c ea r e a ) 内，这个区域一般位于 硬盘0 物理面的最前面几十个物理磁道，由厂商写入相关内部管理程序。除了 s m a r t 信息表外还包括低级格式化程序、加密解密程序、自监控程序、自动修 复程序等。s m a r t 标准中采用二进制代码作为s m a r t 的基本指令，并写入 标准的寄存器中，形成特定的s m a r t 信息表，以供正常检测和运行。 s m a r t 参数种类分为三个部分： 磁盘具体结构和读写原理相关的基本参数。 这类参数主要描述硬盘当前基本运行和物理状态，是s m a r t 技术的基础， 同时也是提供第三方监控的基础，与具体设计、生产厂商无关，一般作为硬盘状 态评测基础。s m a r t 技术的基本参数如表1 1 所示： 表1 1磁盘s m a r t 基本参数 属性名 b e t t e r 描述 r e a de r r o rr a t ev 读操作出错频率 r e a l l o c a t es e c t o rc o u n t v 重分配扇区数目，读写校验错误时增加 s p i nr e t r yc o u n t v 启动旋转时重试次数 r e a l l o c a t ee v e n tc o u n t v 重新分配扇区次数，包括分配成功与不成功两类。 c u r r e n tp e n d i n gs e c t o rc o u n tv 不稳定扇区数目，分配成功则减去，不成功保留。 u n c o r r e c t a b l es e c t o rc o u n tv 扇区读写错误总数 s o rr e a de r r o rr a t ev 偏离磁道错误次数 t e m p e r a t u r e v 驱动器温度 t h r o u g h o u tp e r f o r m a n c e 驱动器输出性能 注：v 表示数值越小越好，表示数值越大越好。 第3 页 国防科技大学研究生院硕士学位论文 厂商相关参数。 s m a r t 参数的设计与具体的硬盘厂商有关，除基本参数外，不同的厂商可 以在保留部分加入自己的参数。 例如：通过磁盘故障模型的分析，磁头的飞行高度是影响磁盘可靠性的一个 重要因素，一些厂商提供的s m a r t 参数中包含磁头飞行高度，但是磁头的飞 行高度只可以通过磁头读取到的磁信号的强弱进行判断，由于此时的信号微弱， 估算的偏差较大。 保留参数。 由于技术总是在不断发展，无论是制造工艺还是硬件设计的方式随着肘间变 化而增加新的参数，为了保持向后兼容，设有保留参数区。 单磁盘状态监测是自恢复技术的基础。当前的单磁盘状态监测一般采用 s m a r t 技术方法。状态监测过程为选择合适的s m a ，r t 属性集合，根据磁盘 的结构、特性和可能的工作环境设定属性的相应阀值，在运行中通过对属性值进 行简单的阀值判断监测磁盘状态。 1 2 2 自修复磁盘阵列 随着半导体工艺、接口技术和磁盘技术的快速发展，磁盘阵列的容量和读写 速度已经不再是存储系统构建的瓶颈。由于数据量的指数级增长，存储系统的可 靠性管理面临越来越严峻的挑战。根据e s g 公司的调查结果，7 9 的公司在关键 性事务的数据丢失并造成严重经济损失之前，最多只有1 2 个小时的数据恢复时间， 其中6 3 的公司数据需要在4 个小时以内恢复，还有5 的公司重要数据根本没有 恢复时间。可以看出，对于如今的磁盘阵列数据重建而言，由于构成磁盘阵列的 单个磁盘存储容量的增长。恢复的时闯窗口太小，提高磁盘阵列的可靠性迫在眉 睫，具有自恢复特性的高可靠磁盘阵列已经成为存储技术发展的方向之一。 自修复磁盘阵列的研究主要包括以下几个方面： 1 改善磁盘运行环境 磁盘的运行环境包括运行的物理环境和磁盘工作的存储环境，即磁盘的利用 率、数据访问特性和多个磁盘的合理配置等。 磁盘故障模型的分析表明：磁头的定位过程中，加速度可以达到3 0 4 0 9 1 8 】，当前 磁盘的转速最高为1 5 0 0 0 r p m ，商业产品的最高磁介质的密度到达了数百亿位 c m 2 ，磁头的飞行高度仅为_ t m 鲁铝，微小的震动和少量的粉尘就可能导致盘面的 i b 日， 划伤和磁头的磨损，影响读写的准确性，产生错误；同时由于磁介质对高温和辐 射敏感的特性，物理环境质量是磁盘可靠工作的基础。 长期的超负荷工作和磁头的频繁使用会导致磁盘可靠性的降低，随着使用时 第4 页 国防科技大学研究生院硕士学位论文 f h j 的增加，这一效应更加明显。 磁盘运行环境的改善对物理环境和存储环境都有严格的要求，如：降低振动， 保持运行环境合适的温度，防止电磁干扰和辐射，按照i o 需求改变配置模式等是 改善环境的具体措施。 2 监测磁盘运行状态，对磁盘可能出现错误进行提前预警 磁盘状态监测的目的是对可能出现故障的磁盘进行预警，它的基础来源于对 大量磁盘工作过程中故障的跟踪观察和统计，预警的准确性是在磁盘管理上实现 有效“自修复 的基础。 3 对被预报警的磁盘进行处理 预警的磁盘进行的处理包括数据迁移、数据重组、重构磁盘阵列和预警磁盘 故障检测与修复等。 4 提前重组磁盘阵列。 磁盘阵列的重组包括两种情况：对于预警磁盘采用备份盘( s p a r ed i s k ) 进行 替换，阵列的总体架构不变，利用日志盘c a c h e 技术完成数据的迁移和阵列结构 的重组，不影响存储系统的整体性能。 x i o t e c h 公司的i s e 结构是当前自修复磁盘阵列的典型代表。据厂家称，可以 百倍提高系统的可靠性【4 6 】。它主要通过改善磁盘运行环境，监测磁盘状态，提前 替换可能失效的磁盘，实现对用户透明，提高存储系统的可靠性，可以达到百倍 的可靠性改进效果。但是i s e 结构的高可靠是建立在系统内部的r a i d1 镜像结构 的基础上实现的，对系统写操作性能的影响较大。 1 2 3 多层r a i d 结构 当前的存储系统实现的r a i d 结构采用的是单层r a i d 模式，是一种一维的存 储，系统性能的增加是通过增加组成r a i d 阵列磁盘个数的方式实现，系统性能 受到接口速度的限制，在当前的主板集成多个扩展接口的情况下，不能充分利用 现有的硬件潜力。对于实现平面数据存储、访问、校验的多层r a i d 结构，研究 集中在现有的非自修复的阵列之间，如r a i d5 1 ，r a i d5 5 等，这样的存储方式在 提高系统性能和可靠性的比例上弱于自修复磁盘阵列的层次结构。尽管这样，多 层r a i d 结构可以提供远大于单层结构的性能和可靠性。 1 3 课题主要研究内容和创新 鉴于高性能计算中海量数据存储的高性能、高可靠和对用户透明的需求，本课 题主要研究具有自修复能力的高可靠、高性能和超大容量磁盘阵列的关键技术。 课题研究的主要工作有以下几个方面： 第5 页 国防科技大学研究生院硕士学位论文 ( 1 ) 磁盘故障树模型 随着高性能计算中数据量的增长和数据访闯频率的提高，存储系统的可靠性 成为高性能计算机系统可靠性的重要指标。通过对整个存储系统组成结构和系统 故障分布的统计和分析，了解了在引起存储系统故障的因素中，磁盘故障约占其 中的5 0 t 7 1 ，因此，提高磁盘可靠性是提高系统可靠性的基础。结合磁盘基本结构、 工作原理以及可靠性的基本理论，提出了自顶向下和自下而上的磁盘故障树模型， 它们是进行单盘状态监测的基础。 ( 2 ) 基于s m a r t 属性集合的单盘故障预测算法 单磁盘可靠性是整个磁盘阵列的可靠性的基础。结合磁盘工作环境质量和表 征磁盘内部状态的s m a r t 参数集合，设计并实现了单盘状态监测的t 2 u s 算法， 对环境质量和状态的相容性分别采用阀值判断和扩展的自学习的相容性判定方法 ( e x t r a - s l a ) ，给出了单盘状态预测的变量的定量标准，简化预测过程的同时提 高了单盘预测的准确率，是实现磁盘阵列自修复功能的基础。 ( 3 ) 自修复磁盘阵列r a i d5 t 设计 在当前广泛采用的磁盘阵列中，单个磁盘故障对于用户操作不透明，影响系 统效率；多个磁盘失效可能导致系统崩溃。本课题结合t 2 v s 状态监测算法和r a i d 5 结构，提出了一种具有单盘故障自修复、高可靠模式下可近似冗余双盘故障的 r a i d5 t 磁盘阵列，即s t r i p i n g + n o n d e d i c a t e d p a r i t y + h o t s p a r e d i s k + t s d i s k 的阵 列结构。通过对磁盘状态的监测降低磁盘实际故障率，通过t r d p 数据迁移策略 完成阵列中实际逻辑磁盘至实际物理磁盘的转换，改变普通r a i d5 结构中数据的 分布，实现实时响应的数据修复算法，隐藏单盘故障影响，使数据的恢复对用户 透明。高可靠模式下，t s d i s k 结合热备份盘，可以同时冗余一个实际的磁盘故障 和个t 2 u s 预测的“准失效”故障。 ( 4 ) 基于r a i d5 t 的多层r a i d 结构 提高磁盘存储系统的访问速率是个一个非常重要的目标。本课题研究了实现 高速磁盘r a i d 的技术方法，提出了双层结构的r a i d 。采用商用s e r v e r 主板，实 现了r a i d6 ( 4 ) r a i d 5 t ( 8 ) 结构的多层阵列。利用l i b e r a t i o n 算法完成了高 层的r a i d6 结构校验数据的生成，按照s n i a 定义中袱三= 0 6 ，魁q = 0 1 的规范， 实现了r a i d6 数据的组织。结合自修复磁盘阵列r a i d5 t 生成的校验信息，在 对角户透明的条件下，整个系统可以容错6 个单盘故障。 1 4 论文组织结构 第一章是绪论，主要介绍课题研究背景，课题研究的主要内容、工作、创新 第6 页 国防科技大学研究生院硕士学位论文 点和论文组织结构。 第二章对存储系统可靠性迸行分析，建立磁盘故障树模型。通过分析存储系 统故障的分布和磁盘物理结构和工作过程，分析了影响磁盘可靠性的外部因素。 结合故障产生的层次理论，总结出磁盘故障模型树。 第三章描述磁盘状态监测的算法。结合磁盘故障模型，利用磁盘使用的历史 信息和当前状态( s m a r t 属性) ，选择合适的环境质量参数和状态相容性的判 定参数，实现磁盘状态监测的t 2 u s 算法。说明了算法中环境质量的阀值判定和状 态相容性的单参数判定自学习算法( s l a ) 以及多参数判定的扩展自学习算法 ( e x t r a = s l a ) 流程，确定了磁盘可靠度计算的过程和定量标准，给出对单个磁盘 可靠度计算的具体流程。 第四章介绍自修复磁盘阵列r a i d5 t 结构。讨论了通过对r a i d5 结构添加 t s d i s k 磁盘和磁盘监测功能的自修复r a i d5 t 结构，通过增加t 2 u s 监测控制逻 辑磁盘至实际物理磁盘的转化矩阵正描述了阵列运行过程和出现错误时处理的 t r d p 策略，包括物理磁盘的替换策略和数据迁移算法。 第五章为多层r a i d 结构。讨论了多层r a i d 结构r a i d 6 ( 4 ) 5 t ( 8 ) 的物 理构成、冗余信息生成和整体数据分布方式、r a i d6 校验数据生成的l i b e r a t i o n 算法、r a i d5 t 数据源的组织，讨论了实现整个系统的数据控制过程。 第六章是分析实验及模拟结果。提出标志存储系统可靠性的可靠性系数概念， 与现有的平均无故障时间进行比较，同时利用互联网档案存储系统的构成和相关 部件可靠性的预测，对该存储系统进行分析并结合实际中的磁盘故障率，提出安 全区间的概念，在该平台的基础上分析单盘监测，自修阵列等方案对可靠性的改 进，分析多层r a i d 结构的可靠性，并以实例对数据的分布流程进行说明。 第七章为总结及后续工作展望。首先对论文成果主要是其中的创新点迸行总 结，同时提出课题的后续工作。 第7 页 国防科技大学研究生院硕士学位论文 第二章磁盘故障模型 系统的可靠性取决于系统构成的基础。虽然磁盘存储系统在性能、容量和可 靠性等方面已经取得了快速的进步，但是作为磁盘存储系统基础的磁盘机依然是 机电磁一体结构，在高端存储系统中，磁盘差错引起的系统故障占所有类型系统 故障接近故障总数的5 0 1 7 i ，如图21 所示。 阿2l 磁盘差错引起系统故障 本章在分析影响存储系统整体可靠性各重要因素的基础上，结合可靠性理论 总结出磁盘故障树模型，为单盘故障预测奠定基础。 2 11 磁盘存储系统结构 2 1 磁盘存储系统构成 从用户角度看来，磁盘存储系统是挂接在系统上的一个虚拟磁盘，这个磁盘 应该便于管理并且为用户提供需要的容量、台适的性能和可以接受的可靠性。 从设计者的观点看来，适应当前海量数据存储需求的存储系统可以分为功能 部件( 主机适配器、磁盘、电源等) 、冗余机制( r a i d 阵列、旁路数据通道等) 和管理系统( 系统管理、调度软件) 几个部分。衡量存储系统性能的三个标准为 系统容量，系统可靠性和处理速率。三者与系统功能部件的关系如表21 所示： 表2 1 存储系统性能依赖关系 功能部件冗余机制管理系统 容量 可靠性 速率 冗余机制试图解决磁盘功能部件可靠性不高的问题的基本方法，提高系统可靠性 的措施可以分为硬件冗余和软