（计算机系统结构专业论文）网络存储中高可靠性关键技术的研究.pdf

华中科技大学博士学位论文 摘 ( 网络存储技术集成了存储技术和网络技术，为数据存储提供了更高的存储容 量和带宽。然而，因为网络技术的体系结构具有一定的开放性，必须采取必要的 措施来保证网络存储系统的高可靠性。 系统的可靠性以可靠度和可用度来衡量，其中系统的可靠度函数服从指数分 布规律，这是可靠性建模和分析的基础。y 当前主要的可靠性技术是容错技术和高可用性技术。通常高可用性技术的研 究大都集中在并行计算，其侧重点在计算能力，而网络存储系统侧重提供文件服 务。根据网络存储系统体系结构的特点而提出的多层次容错的高可靠性网络存储 系统容错模型，从四个层次( 存取控制层、文件系统层、网络传输层和节点层) 分 别对高可靠性关键技术进行了研究和实践。 存储i o 高可靠性技术主要是实现冗余磁盘阵列( r a i d ) 。r a i d 技术的实现方 式分为基于硬件的r a i d 技术和基于软件的r a i d 技术，两者各有千秋。随着处 理器运算能力越来越强，软件r a i d 的运用日益广泛。 软件r a i d 必须在操作系统内核加载之后才能启动，这使得传统的文件系统 分布策略不能修复可引导系统盘的失效。提出的文件系统镜像分布策略：启动分 区复制，根文件系统采用r a i d l 镜像，成功地解决了这个问题。 在线数据重构机制是网络存储卷管理器的重要功能，其理论基础是重构算法， 有基于带区调度的羹构算法和基于磁盘调度的重构算法。实验结果表明，基于磁 盘调度的重构算j 去能更有效地利用系统资源。 ，磁盘热插拔技术允许在线更换有故障的磁盘，提高了服务器的可用性，但只 有猗端的s c s i 磁盘才支持热插拔，i d e 磁盘并不支持。通过分析并改进操作系 统的i d e 磁盘驱动，在硬件背扳的配合下，实现了i d e 磁盘的热插拔。 网络传输常用的容错技术是链路绑定( b o i l d 蛾术，当其中一条链路失效时， 冗余的链路会接替工作，保持网络传输的畅通负载均衡算法决定传输链路的选 择，常用的包括轮转法、基于m a c 地址的算法、基于p 地址的算法和基于口 地址和t c p 端口地址的算法。常见的实现方法是构造一块虚拟网卡，好处是支持 不同品牌、不同速率的网卡，但实现复杂。提出的多网卡链路绑定m n c b ( m u l t i p l e n e t w o r kc h a n n e lb o n d i n g ) 解决方案，直接修改了网络驱动程序。测试结果表明， 该方法容错性能优异，实现简单，对系统性能影响小。y 、一 本文的研究工作获得8 6 3 计划项目。存碡虚拟化及其文件系统的研究”( 项目代号：2 0 0 1 从1 1 1 0 1 i ) 赞助 i 华中科技大学博士学位论文 双辊冗佘煞备份是疆褰系统霉鬻度静蠢效方法乏一。鬟出豹基予薯恚斡双挺 热备份模型，使用曰志来记录发生猩主 1 1 1 务器文件系统的改变，并将日志而不是 整令被更赣豹文锋传递绘备份服务器。备爨艇务器擞擐日惑孛豹内褰t 在逶当懿 时候从主服务器中获取更新文件的内容。在文件备份机制中，提出了转移的写回 式缓存秘基于时戳的改进缓枣算法，缓解7 圭服务器的工佟负担 本研究的主要内容已运用到实鼯系统中。 关键词：阚络存，可靠馥k l 技 术，褰密_ 冗采蘧蠡箨列，数据董藕，燕撬狻，链 路绑定，热备份 爿 矿 v 。 华中科技大学博士学位论文 a b s t r a c t + n e t w o r ks t o r a g et e c h n o l o g y , w h i c hi sac o m b i n a t i o no f s t o r a g et e c h n o l o g ya n d n e t w o r k t e c h n o l o g y , c a l lp r o v i d el a r g e rc a p a c i t ya n dh i g h e rb a n d w i d t h f o rd a t as t o r a g e h o w e v e r , b e c a u s en e t w o r kt e c h n o l o g y sa r c h i t e c t u r ei ss o m e w h a to p e n i n g ，m e a s u r ei s n e c e s s a r yt oe n s u r en e t w o r ks t o r a g es y s t e m sh i g hr e l i a b i l i t y t h i st h e s i ss y s t e m a t i c a l l y s t u d i e dt h ek e y t e c h n o l o g yo f h i g hr e l i a b i l i t yo f n e t w o r ks t o r a g es y s t e m s y s t e m i cr e l i a b u i t y i sm e a s u r e db yr e l i a b i l i t ya n da v a i l a b i l i t y , w h e r e s y s t e m i c r e l i a b i l i t yf u n c t i o no b e y se x p o n e n t i a ld i s t r i b u t i o n , w h i c hi st h eb a s i so fm o d e l i n ga n d a n a l y z i n gr e l i a b i l i t yi nt l l i st h e s i s c u r r e n t l y d o m i n a n t r e l i a b i l i t yt e c h n o l o g y i sf a u l t - t o l e r a n t t e c h n o l o g y a n d h i g h a v a i l a b i l i t yt e c h n o l o g y r e s e a r c ho nh i g h - a v a i l a b i l i t yt e c h n o l o g yi sc o m m o n l y f o c u s i n go np a r a l l e lc o m p u t i n gw h i c he m p h a s i si sc o m p u t i n ga b i l i t y , h o w e v e r , n e t w o r k s t o r a g es y s t e me m p h a s i z e sp a r t i c u l a r l y o nf i l es e r v i c e b a s e do nt h ef e a t u r eo f a r c h i t e c t u r eo fn e t w o r kg o r a g es y s t e m ，t h i st h e s i s p r o p o s e san o v e lh i g h - r e l i a b i l i t y n e t w o r k g o r a g es y s t e mm o d e lw i t hm u l t i l e v e lf a u l t - t o l e r a n c e , a n d r e s e a r c ha n d p r a c t i c e o nt h e k e yt e c h n o l o g yo fh i g hr e l i a b i l i t y h a v eb e e nd o n ea tt h ef o u r l e v e l s - s t o r a g el e v e l ，f i l es y s t e ml e v e l ，n e t w o r k l e v e la n dn o d el e v e l t h e k e yt e c h n o l o g yo f h i g hr e l i a b i l i t yo ns t o r a g ey o i sk a i d ( r e d u n d a n t a r r a yo f i n e x p e n s i v ed i s k s ) h a r d w a r e - a n ds o f t w a r e b a s e dr a i d a r eb o t hv i a b l et e c h n o l o g i e s ， a n dh a v et h e i ro w ns t r o n gp o i n t w i t ht h ee n h a n c e m e n to fp r o c e s s o r s c o m p u t i n g p e r f o r m a n c e ，s o f t w a r e b a s e dr a i ds o l u t i o ni sb e c o m i n gs p r e a dm o r eb r o a d l y t h i s t h e s i sh a s c o m p u t e dt h er e l i a b i l i t y i na l lk i n d so fe n v i r o n m e n to nt h eb a s i so f h i g h - r e l i a b i l i t ya n a l y z i n gm o d e lo f s o f l w a r e - b a s e dr a i da r r a y s a i i i i i n ga tt h ed r a w b a c ko f s o f t w a r e - b a s e dr a i d ，t h i st h e s i sp r o p o s e sas e r i e so f f a u l t t o l e r a n tt e c h n o l o g i e s s o f t w a r e - b a s e dr a i dc a l l o n l yw o r ka f t e ro p e r a t i n gs y s t e mk e r n e l i s l o a d e d ， w h i c hr e s u l t si nt h a tt r a d i t i o n a lf i l es y s t e m l a y i n gp o l i c yi sn o ta b l et of i xt h ef a i l u r eo f b o o t a b l es y s t e md i s k t h i st h e s i sp r o p o s e san o v e lf i l e s y s t e mm i r r o rl a y i n gp o l i c y ， w h i c hs u c c e s s f u l l ys o l v e dt h ei s s u e i nt h em e t h o d ，t h eb o o t a b l ep a r t i t i o ni sm i r r o r e d b yd u p l i c a t i o na n dr o o t 丘l es y s t e mt m p l o i t e sr a i d l t h i sr c s e a r e h w o r k i ss u 呻q n e d b y n 面硼1 1 8 6 3 h i g h t e d a p r o g r a m ( c a r a t n o 2 0 0 1 a a l l l 0 1 1 ) 华中科技大学博士学位论文 o n - l i n ed a t ar e c o n s t r u c t i o ni so n eo ft h ei m p o r t a n tf u n c t i o n so fv o l u m em a n a g e r i nn e t w o r k s t o r a g e ，w h o s et h e o r e t i cp r i n c i p l e i sr e c o n s t r u c t i o na l g o r i t h m 、t h i sr e s e a r c h h a sa n a l y z e dt h es t r i p e - o r i e n t e da l g o r i t h ma n dd i s k o r i e n t e da l g o r i t h m , a n dt h et r i a l r e s u l ts h o w st h a t ，d i s k o r i e n t e da l g o r i t h mu t i l i z e sm o r e e f f e c t i v e l yt h es y s t e m r e s o u r c e h o t s w a p i n gt e c h n o l o g yc a ni m p r o v es e r v e r sa v a i l a b i l i t yb ya l l o w i n go n - f i n e r e p l a c i n gf a i l e dd i s k ，b u to n l yh i g h - e n ds c s id i s ks u p p o n sh o t - s w a p i n gw h e r e a sd e d i s kd o e s n t s u p p o s e db y t h eh a r d w a r e b a c k p l a n e , h o t s w a p i n g d e d i s ki s i m p l e m e n t e db ym o d i f y i n g t h ei d ed i s kd r i v e ri nk e r n e l b o n d i n gt e c h n o l o g yi sc o m m o n l y u s e di nn e t w o r kt r a n s m i s s i o n w h e no n el i n k 螽i l s t h er e d u n d a n tl i n kw i l lt a k eo v e rt om a i n t a i nt h el i n kc o n s i s t e n c y l o a db a l a n c i n g a l g o r i t h m d e t e r m i n e st h el i n kt ob eu s e dt ot r a n s f e r d a t a , i n c l u d i n gr o u n d - r o b i n a l g o r i t h m ，m a ca d d r e s s - b a s e d 鞋g o f i l h 甄i pa d d r e s s - b a s e d 越g o d t h ma n di pa d d r e s s p l u st c pp o r t b a s e da l g o n t h m b o n d i n 8i sc o m m o n l yi m p l e m e n t e db yc r e a t i n g a v i r t u a ln i c ，t h i sm e t h o dh a sb o t ht h ea d v a n t a g eo fs u p p o r t i n gd i f f e r e n tb r a n da n d s p e e dn i ca n dd i s a d v a n t a g eo fc o m p l e xi m p l e m e n t a t i o n t l l i st h e s i sp r o p o s e s a n e a s i e r m e t h o d m n c b ( m u l t i p l e n e t w o r kc h a n n e l b o n d i l 国，w h i c h m a k e sd k e c t m o d i f i c 撕o nt on e t w o r kd r i v e r t 酶t e s tr e s u l ts h o w st h a tt h i sm , a h o db r i n g se x c e l l e n t p e r f o r m a n c ea n d h a st h el i t t l e 硪b c to ns y s t e m p e r f o r - m a n c e h o t - s t a n d b yi s o l l eo ft h ev i a b l et e c h n o l o g i e st oi m p r o v es y s t e m i ca v a i l a b i l i t y b a s e do nt h ep r e v i o u sw o r k , t h i st h e s i sp r o p o s e san o v e l l o g - b a s a dh o t - s t a n d b ym o d e l ， w h i c h l o g st h em o d i f i c a t i o nt of i l es y s t e m o f m a s t e rs 翻揪a n dt r a n s f e r st h el o gf i l et o s l a v es e r v e ri n s t e a do ft h ew h o l e u p d a t e df i l e s l a v es e n ，盯w i l lf e t c ht h eu p d a t e df i l e f r o mm a s t e rs e r v e ro r it h ea p p r o p r i a t eo c c a s i o na c c o r d i n gt ot h e l o gc o n t e n t a r e l o c a t e dt i m e - s t a m p - b a s e dw r i t e - b a c kc a c h i n ga l g o r i t h mi sp r o p o s e dt of i g h t e am a s t e r s e r v e r sw o r k l o a d t h em o s tr e s e a r c hp r o d u c t i o nh a sb e e ne x p l o i t e di nr e a l - w o r l ds y s t e m l k e yw o r d s ：n e t w o r ks t o r a g e , r e l i a b i l i t yt e c h n o l o g y , f a u l tt o l e r a n t ，r a i d ，d a t a r e c o n s t r u c t i o n , h o t s w a p i n g , b o n d i n g ，h o t - s t a n d b y i v 华中科技大学博士学位论文 1 绪论 随着信息技术的迅猛发展，信息数字化所带来的信息量、数据量以爆炸式的 几何级数递增，如何高效、可靠地存储、处理这些数据，已成为关系到i t 产业界 的电子商务和互联网等领域发展的关键问题。与传统总线连接存储佃u sa t t a c h e d s t o r a g e ，b a s ) 相比，网络存储( n e t w o r k e ds t o r a g e ) 集成了存储技术和网络技术，并 采用更优的体系结构为数据存储提供了更高的存储容量和带宽，同时它还具有高 可用性、可靠性和可扩展性等优点。然而因为网络技术的使用，其体系结构具有 一定的开放性，数据使用者和存储设备分散在不同的位置【l 】。为了向用户提供准 确可靠的存储服务，必须采取必要的措施来保证网络存储系统的高可靠性。 1 1 网络存储概念的发展及层次结构 网络技术的发展极大地影响了计算机的体系结构。不管是“网络就是计算机” 还是“计算机就是网络”，都反映了这种影响的存在和影响的程度。首先是分布式 系统，然后是集群系统( c l u s t e r ) 叭，到工作站网络( n o w ：n e t w o r k s o f w o r k s t a t i o n s ) t 4 ，计算机系统与设备的网络化已成为不可逆挡的趋势嗍这种趋势 同样冲击了传统的存储系统【6 l o 1 1 1 存储模式的变革 分布式系统中，传统的数据存储与交换以服务器为中心，即s e r v e r c e n t r i c 。 客户端通过文件服务器访问网络与数据资源。被访问的数据对象经过服务器的多 次存储一转发与拷贝操作，然后才送给客户端，如图1 1 所示。尽管服务器并不 关心数据的内容，也不对数据对象进行任何操作，但所有的客户端请求与数据传 送都需服务器的介入。当出现大量的客户端请求时，服务器便成了新的访问瓶颈。 卡耐基梅隆大学的研究结果表明，这种瓶颈效应有时会导致存储系统的资源利 用率只有3 1 7 j 。造成这种资源浪费的根本原因就悬以服务器为中心的迂回访问模 式。解决这个问题的方法是以数据为中心，即d a t ac e n t r i c 。通过将数据对象的访 问管理与访问分离，消除服务器所带来的瓶颈。客户端需要访问数据对象时，直 接看到该对象，并与之建立直接传输通道，如图1 2 所示。这种以数据为中心的 访问方式导致了今天网络存储概念的蓬勃发展1 7 8 1 。 华中科技大学博士学位论文 图1 1 传统文件系统的拷贝、转发过程 11 2 网络存储基本概念 网络存储领域有两个基本概念：网络存储和存储网络1 9 1 。尽管这两个概念只 是顺序不同，但它们却是完全不同的两种技术l 加1 。 圈1 2 网络蒋树暾据路径 网络存储n a s ( n e t w o r ka t t a c h e ds t o r a g e ) 的技术核心是把存储系统和设备与 其它设备连接到相同的通信网络上，如a t m 、l a n 等，使用相同的底层协议， 2 华中科技大学博士学位论文 如t c p 1 p 、u d p 等。网络存储的组成相当于传统的文件服务器，即必须具有c p u 、 内存、操作系统与相同的协议栈。 存储网络s a n ( s t o r a g ea r e an e t w o r k ) 则是一种全新的技术和概念，它与网络 技术如l a n 、w a n 更接近，是一种连接存储设备的专用网络技术。与网络存储 不同，存储网络处理与传输面向块设备的操作协议，如s c s i 协议。因此，在某 种程度上讲，可以把存储网络看作是一种扩展的共享总线。 1 1 3 网络存储n a s 网络存储技术n a s 泛指存储设备网络化的各种方法，其基本的功能单元称为 网络存储设备( n a s d ：n e t w o r k a t t a c h e ds t o r a g ed e v i c e ) ，可以是一个磁盘、光盘、 磁带，也可以是磁盘阵列、光盘库或磁带库。根据存储设备连接网络方式的不同， 可以将网络存储设备分为四类i l ：服务器连接设备s a d ，服务器集成设备s i d ， 网络s c s i ( n e t s c s i ) 和网络存储设备n a s d t l 2 i 。 服务器连接设备s a d s a d ( s e r v e r a t t a c h e dd e v i c e ) 是普通存储设备在网络存储领域的另一个名称， 这类存储设备只有连接到服务器上才能被网上的其它用户访问，如图1 3 中的 s c s i 磁盘。 圈1 3s d 的连接方式 服务器集成设备s i d s i d ( s e r v e ri n t e g r a t e dd e i c e ) 与s a d 基本类似，只是它与服务器集成在一起， 形成单一功能的存锗设备，如图1 4 所示有时，这种技术也称为瘦服务器技术 3 华中科技大学博士学位论文 ( t h i ns e r v e rt e c h o l o g y ) t n 1 。 图i 4s 1 1 ) 的连接方式 n e t s c s i 大量的拷贝转发操作往往使文件服务器不堪熏负，从而导致文件服务器性 能严重下降。若对s c s i 这样的智能设备作小小的改动，使它可以直接将数据送 到客户端或从客户端接收数据，则可将服务器从大量的存储转发中解脱出来，集 中于存储系统的管理和维护。这便是提出n e t s c s i 的初衷【i 。由于s c s i 协议已 经支持三方传送( t h i r dp a r t yt r a n s f e r ) ，所以改动不大，如图1 5 所示。 图1 5n e t s c s i 的数据流动路径 4 华中科技大学博士学位论文 网络存储设备n a s d 1 4 】 n a s d 是彻底缓解服务器过载的最好方法。n a s d 通过网络直接从客户端接 收读写命令，并建立数据传输通道，服务器只需对客户访问进行授权和登记，因 而可以消除服务器所引入的访问瓶颈效应。n a s d 的工作方式如图1 6 所示f 1 4 , 15 。 114 存储网络s a n 图1 6n a s d 数据及控制命令流动路径 s a n 是一种网络，它可以在存储设备、服务器和客户端之间建立直接的连接， 并支持三种高速的数据传输方式：服务器刭服务器、服务器到存储设备和存储设 备到存储设备。同时，s a n 又是一种总线，是一种面向块数据i o 协议( 如s c s i 协议) 的存储总线，是一种可用l a n 中类似交换技术互联的总线。s a n 是有总线 特征的网络，是由存储设备接口技术发展而来的网络技术。 s a n 中有三个重要的概念：s a n 接口、s a n 互联和s a n 拓扑结构i l “。 s a n 接口 s a n 接口( s a ni n t e r f a c e ) 指存储设备和服务器连接到s a n 的接口类型，s a n 支持的接口包括s c s i 、f ca c 、s s a 、e s c o n 及h i p p i 等。s a n 接口支持存储 设备被多个服务器所共享，并支持多通道或多环路操作，以提升存储系统的性能 和可靠性。 s a n 互联 华中科技大学博士学位论文 s a n 互联( s a ni n t e r c o n n e c t s ) 指存储设备和服务器连接到s a n 网络上的方 式。s a n 的互联方式有扩展器( e x t e n d e r s ) 、复接器( m u l t i p l e x o r s ) 、集线器( h u b s ) 、 路由器( r o u t e r ) 、网关( g a t e w a y ) 及交换机( s w i t c h e s ) 等。这些互联方式看起来与 l a n 、w a n 中的互联方式一样，而事实上它们的功能也的确一样，只是交换的 协议不同而已。 s a n 拓扑结构 s a n 拓扑结构( s a nf a b r i c ) 反映s a n 网络的基本协议。基于s c s i 、f c 与s s a 的协议交换网络是s a n 的常见拓扑结构。当与网关一起工作时，s a n 可以扩展 到w a n 的范围。常见的s a n 拓扑结构为f c 。 s a n 接口、s a n 互联及s a n 拓扑的概念可用图1 7 来说明【1 7 l 。 1 1 5 网络存储的屡次结构 圈1 7s a n 的相关概念 网络存储概念彻底缓解了多媒体存储系统i 0 带宽与容量上的局限性对于 v o d 、d l 这样的i 0 密集型应用，带宽资源不再是严重的限制因素。因而，网 络存储概念将最终推动多媒体应用的真正普及。网络存储是一个开放系统，涉及 到较多的硬件和软件构件，其硬件构件包括六个部分：存储介质、存储设备和子 系统、i o 总线和网络连接、主机i o 控制器、主机i ，o 总线和系统内存总线，软 件构件包括：设备驱动程宁、卷管理器、文件系统和数据库、操作系统以及应用 6 华中科技大学博士学位论文 软件。 为分析存储i 0 的操作枧理鄹过程，划分慰络衣键系统戆b o 结梭为7 个蔟 次引，如表1 1 所示。 表1 1 网络存储的t l o 层次结构 第七层应用层产生高屡i o 请求 第六层 数据定件逻辑屡数据文件组织：目录、文件等等 第五层数据分配屡内部存储结构、版本控制、空闲空间管理等 第四层瑰转换层设备虚拟化、块i o 映射、软件r a i d 等 第三层设备遵接屡敷搪传输命令、设备状态、控制命令 第二屡 介质静问屡棚 c )总线的仲裁，连接管理，地址选择等 第一层薪埋屡存储设备，子系统、总线、网络缆戢、遣接嚣 在存储i o 层次孛，最上鬈是艨矮艨，其涉及范醒极冀广泛，铡如i n t e r n e t 上的餐秘数撼应厢，宅对下层都表瑗必产生蹇层y o 请求，对下层懿鞋文律方式 缎织的数据进行拽象访娥。第六堪是数撼f 文传逻辗慰，以交传方式缎织数据t 对 上层丽言就是文件系统的逻辑视豳，如文l 牛、耳录、文传夹等等。它可以是单援 的文件系统，或糟是由分布式计算枫系统构成的全局的逻辑文件系统。第五层悬 数据分配层，负责文件系统内部存储结构、版本控制、空闲空间管理等等，如 w i n d o w 下面的文件势区褒。第四层怒块转换，它主要进行设备康拟化、块y o 映 射，这就是设备驱动和卷管理功能。第曼层怒设备连接层，如总线和网络，负责 数据传输、设备静状态管理和控嗣。第二屡怒介质访问鼷，定义了总线的伸簸、 逡接篱理帮蟪缝选择。最底盛是携瑾朦，包括存储设备，予系统、总线、网络线缆、 逡接器等。 一般她，最下嚣三层舱功能蠢暖件实瑗，这些襞 牛毽据生抚y o 控制嚣、存 德设豢和予系统、总线和网络连接设蒜，其功毙还在扩展之中。氆s c s i 黟f c 串t 这三层结构已成为标准。第四层黧第七层的功能由专用的款传实现。通霉，数据， 文件逻辑层和分配层由文件系统和数据库负责 砸块转挠层酉虫卷管理、设餐驱 动程序、主机i o 控制器、存储予系统及存储域管理器负责。 1 2 可靠性问题 璇善亭主会信惠纯鹃蟊薤普及，数据对子入们来说越来越羹要。尤其熹企馥， 一垦鬟要靛数据竣酸坏或丢失，就会瓣企泣鑫鬻生产造成霪大鹩影响，甚至怒难 以弥 鲍摸失，甥l 虹，美滠“9 1 1 ”事 芈使许多装耗在 缝贸牵一拯熬众业豹羹要赛务 7 华中科技大学博士学位论文 资料在爆炸声中毁于一旦，给这些公司的业务和声誉造成重大损失。所谓“九层 之台，起于垒土”，数据作为构成信息的基本要素，其可靠性的高低将直接决定信 息的准确度。因此，金融、军事、大型企业等对网络存储系统的可靠性提出了更 高的要求【1 9 l 。 在选择网络存储服务器的一系列需要考虑的因素中( 如性能价格比、网络功 能、i o 速度、可靠性) ，可靠性一直是首要因素。存储服务器在数据中心广泛地 应用于关键任务，使得服务器的可靠性和容错性越来越重要。服务器可用性极其 关键，因为宕机时间意味着损失。p cw e e k 一个对4 0 0 家大公司的调查显示可 用性只有9 9 9 的系统每年的宕机时间导致$ 7 0 0 ，0 0 0 的损失。见下图1 8 【2 0 l 。 可用性( )宕机时间( 小时)年度损失( $ ) 1 0 0o 0 9 9 9 90 8 8 7 ，0 0 0 9 9 98 7 6 7 3 6 ，4 0 0 9 9 54 38 0 3 ，6 7 9 ，2 0 0 9 98 7 6 0 7 ，3 5 8 ，4 0 0 图1 8 每年的宕机时闻和损失( 数据来源：p cw o e k ) 1 3 可靠性参数和特性 1 3 ，1 可靠性参数 关于系统可靠性的定义和参数，目前还没有一个统一的定论。但大家普遍公 认的定义是1 9 5 2 年r o b e r tl u s s 盯在s a nd i e g o 的一次论坛上首次提出的。1 9 5 3 年r i c h a r dr c a r h a r t 对它作了概括，指出系统可靠性是在一定的条件下，系统在 一定的时间内完成一定功能的能力m l 。在不同的发展阶段以及人们对系统可靠性 的关注的角度不同产生了不同的描述系统可靠性的参数，主要有：可靠度 ( r e l i a b i l i t y ) 、可维度( m a i n t a i n a b i l i t y ) 、可用度( a v a i l a b i l i t y ) 和保能度( p e r f o r m a b i l i t y ) 等 2 1 , 2 2 , 2 3 , 2 4 , 2 5 , 2 6 。 可靠度 可靠度参数( r m ) 主要从一个系统能够正常工作的时间长短来描述系统的可 靠性。它定义为：系统在t o 时刻正常工作的条件下，在 t o ，叼时间区间内正常工 作的概率。 8 华中科技大学博士学位论文 j r ( f ) = 尸留 f ) 不可靠度为： f ( ，) = 1 一月( f ) 它主要应用于不可修复或极难修复的系统等。在可靠性发展的早期阶段，人 们便主要使用可靠度参数。 可维度 随着可维修系统的出现和大量应用，人们又提出了维修性的概念。维修性是 衡量系统发生故障时维修难易程度的一种指标，其定量测度称为可维度( 系统失效 后在时间间隔t 内被修复的概率) ，记为m ( t ) ： m ( f ) = p 仁t ) 可用度 可靠性是与系统的生存周期有关，而维修性与系统的维修能力有关。1 9 8 2 年， t i l l m a n 等通过把这两者结合起来创造了一类反映系统有效性的参数，这就是系统 的可用性( 在任意时刻t 系统正常工作的概率) 。他们倡导：稳态可用度( a s s ) 作为 系统的连续工作的令人满意的度量，平均可用度( 承丽) 作为系统在一定周期内 的度量，而在任意时刻的瞬时可用性( n t ) ) 是系统的最好的度量【2 。2 引。 丽万2 击f , i 2 a ( f ) 应 允。熟4 ( f ) 对于不可维修系统有a ( t ) = l k t ) 。 保能度 保能度p ( l ，0 的定义是：系统在时刻t 其性能保持在l 级或l 级以上水平的概 率。它是把性能与可靠性结合起来的一项指标，其中引入了一个部分失效的概念。 系统发生一定的故障，但并不影响系统的运行，只不过系统性能降了一定的等级。 特别是提出q o s ( q u a l i t yo f s e r v i c e ) v 以来，保能度的研究越来越受到重视。1 9 7 8 年 首次出现了保能度分柝的一个通用的框架，到1 9 8 0 年出现了更精确的描述【2 4 1 。 保能度和可靠度的一个重要区别是：可靠度是衡量系统能够正确执行全部功 能的可能性的一种指标，而保能度则是衡量系统能正确执行最低限度部分功能的 9 华中科技大学博士学位论文 可能性的一种指标。 m t t f 、m t t r 、m t b f l 2 s ，2 6 1 平均无故障时间m t t f ( m e a n t i m et o f a i l u r e ) 指系统发生故障前正常运行的 平均时间，表征系统可靠性( r e l i a b i l i t y ) ；平均修复时间m t t r ( m e a n t i m et o r e p a i r ) 指用于修复系统和在修复后将它恢复到正常工作状态所用的平均时间，表征系统 可维护性( m a i n t a i n a b i l i t y ) ；平均故障间隔时间m t b f ( m e a n t i m eb e t w e e nf a i l u r e ) 指两次故障之间间隔的平均时间。它们三者之间的关系如图1 9 所示。 故障( 发生错误)o k 1 3 2 可靠性特性 图1 9m 。t f 、k i t i t 、m t b f 关系 理论和实践表明，在一个系统的整个寿命周期中，系统的失效率随时间的变 化规律可以用著名的浴盆曲线来描述，如图1 1 0 所示2 ”。 圈1 1 0 浴盆曲线 在图1 1 0 中，系统的寿命周期可以分为三个阶段：第一阶段是早期故障期( 1 ) ， 通常又称为调试期随着调试的进行，早期故障不断排除，接着进入第二阶段随 机故障期( 2 ) 。这一时期是正常工作的时期，它们的失效率不随时间的变化而变化。 随着系统运行时间越来越长，失效率不断增大，系统进入损耗故障期( 3 ) 。 随机故障期是系统的实际使用期，也是系统可靠性建模和分析最关心的时期。 由于这期间系统的失效率基本稳定，可得到： 华中科技大学博士学位论文 r ( t ) = e “ 上式中，旯为为系统处于随机故障期的失效率。 由上式可见，在随机故障期，系统的可靠度函数服从指数分布规律，这是系 统可靠性建模和分析中很重要的一个特性。 1 4 高可靠性关键技术的研究内容 14 1 提高可靠性的基本方法 对于存储系统而言，高可用性主要是指系统的稳定性和数据的安全性【2 引。稳 定性指作为服务方的网络存储设备能够提供持续不间断服务的能力，即每周7 天、 每天2 4 小时的服务。一般来说，单台设备发生故障是不可避免的，这种故障可能 来自主板、内存、电源、硬盘、网卡等，也可能出于操作系统、应用程序等软件 故障，因而稳定性指标具体就是当设备发生故障时用户能在合理的时间内将其重 新恢复运行的能力。 数据的安全性是指系统中的数据在运行中保持安全可靠，作为数据载体的 n a s 系统在运行中的故障不影响数据的正确。企业应用系统中的数据一旦被破 坏，无法恢复，就会造成灾难性的后果。因此，企业关键性业务要求做到确保数 据的完整、一致、安全、可靠。即使出现故障，也应有多种手段在最短的时间内 对数据进行故障恢复，保证业务的正常开展。 这里，定义系统可用性( a v a i l a b i l i t y ) 为一个系统可以为用户所使用时间的百分 比，即正常运行时间的百分比，见下式： 可用性= 函开m f i t f 丽 从可用性的定义可以看出，提高系统可用性的基本方法有两种：增加m t t f 或减少m t t r 。增加m t t f 要求提高系统的可靠性。减小m t t r 即减少故障的恢 复时间，采用多控制器或多计算机的集群结构可通过减小系统的m t t r 来提高可 用性。 一般提高m t t f 有四种方法【2 9 l ： 1 ) 避错( f a u l ta v o i d a n c e ) ：设计构造时，考虑如何避免故障发生。避错要求 增加设备的可靠性。然而，进一步提高单个设备的可靠性非常困难且花费 很大，随着技术的不断发展这种可行性的空间逐渐缩小。 2 ) 容错( f a u l tt o l e r a n c e ) ：利用冗余，当故障发生时，能照常提供服务。容错 华中辞技大学博士学位论文 采用多余的硬件部件，在故障发生时接替救障部件使系统保持工作正常。 其姣点是努须花费受多的磺侔来佟为冗余部件。僵鲡果冗余部件不仅仅作 为备份，而是与主设备同时提供服务，这样也可以提高系统的性能。 3 豫镫( e r r o rr e m o v a l ) ；葶g 焉校疆，森错误出境后戆够圭动纠正。系统产生 一然校验码，在错谡发生后可以通过校验码纠正错误。其缺点是系统需要 产生茏余筠，趸余褥懿簧送占霆了耀终带宽，影响窍效数攥匏簧输效率。 4 ) 差锵预测( e r r o rf o r e c a s t i n g ) ：利用评估，预测差错的出现、形成和结果。 系统在执嚣浆都要进行判敷，预测运毒亍嚣熬结果，农确认誉文错的憾提方 执彳亍下一步的步骤。其缺点是每执行一步都要进行计算和判断，极大地消 耗了c p u 及其它系统资源。 本文主簧讨论采取容错技术来提高系统可靠性。 1 4 2 容锚技求援高网络存储系统胃纛性的壤论基础 褰密技零圭要愁聚焉凌戆褶霹辩冗余帮俘莠学魏缀合在一莛，系统中爻要有 一个郝件芷常工作，系统就能正常疋作。因此，在可靠性理论中，这是一个典型 戆势联系统，其霹纛性攘瑟翔鬻1 1 l 所示。 图1 1 1 冗余系统可靠性模型 簸定整个系统巍n 个帮徉组成，第i 令帮律静爵纛度为建国，羹| j 系统可靠度 墨( ，) 为： 咫( f ) = l h 1 1 - r ( 0 l ( 1 一1 ) d 因f 0 ，0 r ( r ) t ( i = l ，五，押) ，则 1 2 华中科技大学博士学位论文 匙( f ) 一( 0 = 1 - n 1 - r ，( f ) 卜r ( f ) 其中，f = 1 一式( ，) 】 显见 即 = 1 一足( f ) 】一h 1 1 一日( r ) 】 =