（计算机系统结构专业论文）基于多线程io技术的容双磁盘错阵列系统研究.pdf

华中科技大学硕士学位论文 摘要+ 光纤通道技术以其高性能、连接距离长、扩展性强的特点成为了构建网络存储 系统的主要组成部分。将光纤通道技术和s c s i 一3 协议结合在一起构成的光纤磁盘 阵列可以大大提高磁盘阵列系统i o 性能，由此也为容双错磁盘阵列的实现提供了 更好的可行性。 光纤磁盘阵列就是选用支持光纤技术的光纤卡作为阵列的外部通道以及遵循 s c s i 一3 协议的总线适配器作为阵列的串控制器的一种新的阵列体系结构。这种磁盘 阵列既可以向主机提供高速接口，又可以支持高速的s c s i 存储设备。 s c s i 设备驱动程序是光纤磁盘阵列软件体系中非常关键的部分，一个高效的 s c s i 设备驱动程序可以显著地改善磁盘阵列的整体性能。开发s c s i 设备驱动程序 需要对整个磁盘阵列系统的工作流程、开发平台、所遵循的s c s i 协议标准等方面 进行深入的分析和研究。在详细分析工作流程的基础上，提出了利用s c s i 协议所 支持的失连一再选功能来实现多线程技术，以提高磁盘阵列每个串控制器下所挂接 的磁盘i o 操作的并行度。通过实现和比较测试证明了多线程i o 技术能有效地提 高磁盘阵列的数传率和减少i o 响应时间。 在光纤通道磁盘阵列中采用e v e n o d d 编码方案构成容双错磁盘阵列结构。该结 构可以在双盘出错的情况下，能够有效地恢复丢失的数据，从而以相对较低的性能 损失满足了用户对数据高可靠性的要求。 关键词：容双错磁盘阵列，光纤通道技术，设备驱动程序 本文的研究工作受国家自然科学基金( 6 0 2 7 3 0 7 4 ) 和全国优秀博士论文专项基金资助 华中科技大学硕士学位论文 a b s t r a c t + t h ef i b e rc h a n n e lt e c h n o l o g yi st h em a i np a r to ft h en e t w o r ks t o r a g es y s t e mw i t 1 t h ea d v a n t a g eo fh i g hp e r f o r m a n c e ，l o n g - d i s t a n c ec o n n e c t i o na n ds t r o n ge x p a n s i b i l i t y c o m b i n et h ef ct e c h n o l o g ya n ds c s i - 3p r o t o c o lt o g e t h e rt oc o n s t r u c tan e wr a i d a r c h i t e c t u r e f cr a i d ，w h i c hc a ng r e a t l yi n c r e a s et h ei op e r f o r m a n c eo ft h er a i d s y s t e m t h u sm a k e i tm o r ef e a s i b l et oc o n s t r u c tar a i df o rt o l e r a t i n gd o u b l ed i s kf a i l w e ， f cr a i du s e st h ef cc a r dw h i c h s u p p o r tt h ef ct e c h n o l o g y a st h eo u tc h a n n e la n d t h es c s ih b aw h i c h c o m p l yw i t ht h es c s i 一3p r o t o c o la st h ed i s kc o n t r o l l e r t h i sn e w r a i da r c h i t e c t u r ec a l ln o to n l yp r o v i d eh i g hs p e e di n t e r f a c ef o rt h eh o s t ，b u ta l s oc a r l s u p p o r th i g hs p e e ds c s is t o r a g e d e v i c e s c s id e v i c ed r i v e ri sak e yp a r to ft h ef cr a i ds o f t w a r ea r c h i t e c t u r e ah i g m y e f f e c t i v es c s id e v i c ed r i v e rc a l l a p p a r e n t l yi m p r o v et h ep e r f o r m a n c eo ft h er a i d d e v e l o p i n gs c s id e v i c ed r i v e rn e e df u r t h e rr e s e a r c ho n t h ew o r k i n gf l o w , d e v e l o p i n g p l a t f o r ma n d t h es c s i p r o t o c 0 1 b a s e do n t h ea b o v em s e a r c h ，am u l t i - t h r e a dt e c h n o l o g y ， s u p p o r t e db y s c s ip r o t o c o l ，i sp r e s e n t e d ，t h u sc a ni m p r o v et h ep a r a l l e lp r o c e s s i n go ft h e r a i d t h et e s to ft h er e s u l ts h o wt h a tt h em u l t it h r e a dt e c h n o l o g y ，c a l le f f e c t i v e l y i m p r o v et h et r a n s m i ts p e e do f t h e r a i da n dr e d u c et h ei or e s p o r l s et i m e t h ed o u b l ed i s k sf a u l tt o l e r a n tr a i d e m p l o y sf ct e c h n o l o g y a n de v e n o d d c o d e t h i st y p eo fr a i dc a l le f f e c t i v e l yr e c o v e rt h el o s td a t ae v e ni fd o u b l ed i s kf a i l ，t h e r e f o r e c a nm e e tt h ed e m a n do fh i g h r e l i a b i l i t y o ft h eu s e rw i t h c o r r e s p o n d i n g l y l o w e r p e r f o r m a n c e l o s t k e yw o r d s ：d o u b l ed i s k sf a u l tt o l e r a n tr a i d ，f i b e rc h a n n e lt e c h n o l o g y ，d e v i c e d r i v e r t h er e s e a r c hi ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o n ( 6 0 2 7 3 0 7 4 ) a n d n a t i o n a l e x c e l l e n td o c t o rt h e s i sf o u n d a t i o n 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均己在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 晦为羽牛 i 1 日期：工o o 斗年犀月蠕日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅 和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密回。 ( 请在以上方框内打“”) 学位论文作者签名：谭赫躏l f 日期：2 0 0 年4 月2 譬同 指导教师签名： 汤丹 日期：2 考年午月；o 日 华中科技大学硕士学位论文 1 1 课题背景 1 绪论 信息化时代的出现，对存储设备的容量、可靠性和访问速度提出了越来越高的 要求。而随着工业技术的发展，处理器的性能和网络速度不断提高，使得服务器的 性能瓶颈越来越集中在存储系统上，因此，如何在不大幅度增加开支的情况下增加 存储容量、如何确保数据永远不会丢失、如何提高磁盘的存储速度成为计算机界研 究的重点。 磁盘阵列技术为解决这些难题提供了一种非常可行的方案。 首先，磁盘阵列是把多个廉价的磁盘按照某种方式组成的一个大容量的逻辑磁 盘 卜2 】。这样，用户就不需要为不断增加的数据去购买昂贵的大容量的磁盘，节省了 成本。其次，磁盘阵列可以采用多种冗余技术来保证数据的安全可靠性p 】，因此既 使在出现系统故障的情况下，都能够快速地恢复损坏的数据，从而为企业3 6 5 x 2 4 x 7 不间断提供信息服务创造了可能。最后，相对于高速发展的c p u ( c e n t r a lp r o c e s s u n i t ) 处理速度和内存存取速度，磁盘控制器由于内部机械特性的限制，存取速度 较为缓慢。磁盘阵列采用数据分块和交叉存取技术，使得阵列中的各个磁盘控制器 高度并行工作，可以显著地提高访问速度【4 。j 。 随着接口技术的发展和用户对数据安全性、访问速度的不同要求，磁盘阵列也 需要适应这种变化。因此，利用新的接口技术来研究新的磁盘阵列和新的磁盘结构 就显得尤为重要。光纤技术作为一种新的通道技术，具有连接距离长、传输速率高、 扩展能力强的优势，很适宜于作为磁盘阵列系统与外部通道的接口 8 - 9 o 而采用新的 s c s i ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ) 规范的总线控制器传输速率快、并行 度高。因此，综合了这两种通道技术的光纤磁盘阵列( 内部是s c s i 控制器，外部 是光纤通道) 既增加了存储子系统与网络服务器之间的传输距离，又提高了数据传 输速度，消除了潜在的i o 瓶颈，从而提高了磁盘阵列的总体性能i l 。在此基础上 构建的容双盘错磁盘阵列，可以在出现两个磁盘失效的情况下，都能快速地恢复丢 失的数据，满足了企业对数据高可靠性的要求。 华中科技大学硕士学位论文 1 2 国内外概况 自从p a t t e r s o n 教授提出磁盘阵列的概念以来，磁盘阵列主要是沿着两个方囱 发展。其一，r a i d ( r e d u n d a n ta r r a yo fi n d e p e n d e n td i s k s ) 结构的演化；其二， r a i d 中存取通道的演化。 12 。1 r a l d 结构的演化 r a i d 结构实际上经历了一个从单级r a i d 到多级r a i d 的演化过程，可以划分为 以下级别“1 - 1 4 。 1 r a i d o ：r a i d o 使用一种称为“条带”( s t r i p i n g ) 的技术把数据分布到各 个磁盘上。每个“条带”被分散到连续“块”( b l o c k ) 上，数据被块后，再交替写 到磁盘中。分割数据可以将i o 负载平均分配到所有的驱动器中。由于驱动器可 以同时写或读，使得性能显著提高。但是，它却没有数据保护能力。如果一个磁盘 出现故障，那么数据就会全盘丢失。因此，r a i d o 不适用于关键任务环境，但是， 它却非常适合于视频、图像的制作和编辑。 2 r a i d l ：r a i d l 也称为镜像，因为一个磁盘上的数据被完全复制到另一个磁 盘上。如果一个磁盘的数据发生错误，或者磁盘出现了坏道，那么另一个磁盘可以 恢复因磁盘故障而造成的数据损失和系统中断。镜像的缺点是需要多出一倍数量的 磁盘来复制数据，增加了开支，但系统的读写性能并不会由此而提高。r a i d i 可以 由软件或硬件方式实现。 3 r a i d 2 ：r a i d 2 是为大型机和超级计算机开发的带海明码校验磁盘阵列。把 磁盘分为数据盘和校验盘。用户数据按位或按字节分散存放于数据盘上，校验盘上 存放相应的海明纠错码，这使冗余度从镜像盘的1 0 0 降至大约2 5 4 0 ，同时系统 能容忍的失效盘数也减少了。由于纠错码的限制，r a i d 2 中每一次数据的读写，所 有的磁盘都要参与工作，i o 请求的并发性降低，吞吐量受到限制。r a i d 2 对大数 据量的读写具有极高的性能，但少量数据的读写时性能反而不好，而且数据存储的 效率低，目前很少使用此种结构。 4 r a i d 3 ：r a i d 3 即带有专用奇偶位( p a r i t y ) 的条带。每个条带片上都有一 块空间用来存储冗余信息，即奇偶位。奇偶位是编码信息，如果某个磁盘的数据有 误，或者磁盘发生故障，就可以用它来恢复数据。在数据密集型环境或单一用户环 华中科技大学硕士学位论文 境中，组建r a i d3 对访问较长的连续数据有利，不过同r a i d 2 一样，访问随机性 的数据时，奇偶盘会成为写操作的瓶颈，性能会有所下降。 5 。r a i d 4 ：r a i d 4 是带奇偶校验码的独立磁盘结构。它和r a i d 3 很相似，不同 的是r a i d 4 对数据的访问是按块( 扇区) 进行的，而r a i d 3 是按位或字节交叉存取。 所以r a i d 3 常须访问阵列中所有的磁盘驱动器，而r a i d 4 只需访问有用的磁盘驱动 器。这样读数据的速度大大提高了，但在小容量的写数据方面，每次写数据不仅可 能会读取数据盘上的旧数据，还要读取校验盘上的旧数据，因此校验盘将成为瓶颈， 处理时间也会相应延长。 6 r a i d 5 ：r a i d 5 也被叫做带分布式奇偶位的条带。与r a i d 3 不同的是，r a i d 5 把奇偶位信息也分布在所有的磁盘上，而并非一个磁盘上，大大减轻了奇偶校验盘 的负担。尽管有一些容量上的损失，r a i d 5 却能提供较为完美的整体性能，因而也 是被广泛应用的一种磁盘阵列方案。它既适用于大数据量的操作，也适用于各种事 务处理。 7 r a i d 6 ：r a i d 6 是带有两种分布存储的奇偶校验码的独立磁盘结构。它使用 了分配在不同的磁盘上的第二种奇偶校验来实现增强型的r a i d 5 。它能承受多个驱 动器同时出现故障，但是，用于计算奇偶校验值和验证数据正确性所花费的时间比 较多，造成了系统的负载较重，大大降低整体磁盘性能，而且，系统需要一个极为 复杂的控制器。同时，由于引入了第二种奇偶校验值，所以需要n + 2 个磁盘。 8 r a i d 7 ：r a i d 7 自身带有智能化实时操作系统和用于存储管理的软件工具， 可完全独立于主机运行，不占用主机c p u 资源。r a i d 7 存储计算机操作系统( s t o r a g e c o m p u t e ro p e r a t i n gs y s t e m ) 是一套实时事件驱动操作系统，主要用来进行系统 初始化和安排r a i d 7 磁盘阵列的所有数据传输，并把它们转换到相应的物理存储驱 动器上。通过s t o r a g ec o m p u t e ro p e r a t i n gs y s t e m 来设定和控制读写速度，可使 主机i o 传递性能达到最佳。如果一个磁盘出现故障，还可自动执行恢复操作，并 可管理备份磁盘的重建过程。r a i d 7 采用的是非同步访问方式，极大地缓解了数据 写瓶颈，提高了i o 速度。( 所谓非同步访问，即r a i d7 的每个i o 接口都有一 条专用的高速通道，作为数据或控制信息的流通路径，因此可独立地控制自身系统 中每个磁盘的数据存取。) 如果r a i d 7 有n 个磁盘，那么除去一个校验盘外，可同 时处理n 1 个主机系统随机发出的读写指令，从而显著地改善了i o 应用。r a i d 7 系统内置实时操作系统还可自动对主机发送过来的读写指令进行优化处理，以智 能化方式将可能被读取的数据预先读入快速缓存中，从而大大减少了磁头的转动次 数，提高了i o 速度。r a i d 7 可帮助用户有效地管理日益庞大的数据存储系统，并 华中科技大学硕士学位论文 使系统的运行效率提高至少一倍以上，满足了各类用户的不同需求。但r a i d 7 的成 本相当高，并且对电源的要求很高，必须使用u p s ( u n i n t e r r u p t i b l ep o w e rs u p p l y ) 才能保证不至于因为掉电而丢失c a c h e 中的数据。 9 r a i d 0 ( r a i d o + i ) ：r a i d i o 也被称为镜像阵列条带，它提供1 0 0 的数据冗 余，支持更大的卷尺寸。组建r a i d1 0 需要4 。个磁盘，其中两个为条带数据分布， 具有r a i d o 的读写性能，而另外两个则为前面两个硬盘的镜像，保证了数据的完整 备份。其构造如图1 1 所示。 划1 1r a i d i o 1 0 r a i d 3 0 ：r a i d 3 0 具有r a i d0 和r a i d3 的特性，由两组r a i d3 的磁盘( 每 组3 个磁盘) 组成阵列，使用专用奇偶位，而这两种磁盘再组成一个r a i d o 的阵列， 实现跨磁盘存取数据，如图1 2 所示。r a i d3 0 也提供高可靠性，因为即使有两个 物理磁盘驱动器失效( 每个阵列中一个) ，数据仍然可用。r a i d 3 0 最小要求有6 个 驱动器，它最适合非交互的应用程序，如视频流、图形和图象处理等。这些应用程 序顺序处理大型文件，而且要求高可用性和高速度。 r a i d o 幽1 2r a i d 3 0 1 1 r a i d 5 0 ：r a i d s o 称为分布奇偶位阵列条带，具有r a i d 5 和r a i d o 的共同特 性。它由两组r a i d5 磁盘组成( 每组最少3 个) ，每一组都使用了分布式奇偶位， 而两组硬盘再组建成r a i d0 ，实验跨磁盘存取数据。其结构类似于r a i d 3 0 ，只是 校验信息均匀分布在各个磁盘上。r a i d 5 0 提供可靠的数据存储和优秀的整体性能， 并支持更大的卷尺寸。即使两个物理磁盘发生故障( 每个阵列中一个) ，数据也可 以顺利恢复过来。r a i d 5 0 最少需要6 个驱动器，它最适合需要高可靠性存储、高读 取速度、高数据传输性能的应用。这些应用包括事务处理和有许多用户存取小文件 的办公应用程序。 1 2 r a i d s 3 ：r a i d 5 3 实际上就是r a i d 0 3 ，它是以r a i d 3 阵列为分块的r a i d o ， 4 圈望 里塑寻 华中科技大学硕士学位论文 图1 3 是它的构造图。r a i d5 3 具备了r a i d3 的容错能力，其高速数据传输率归功 于r a i d 3 ，对小块数据请求的高速i o 速率归功于r a i d 0 。但它实现起来非常昂贵， 所有磁盘必须主轴同步，按字节分块导致了格式化容量的低利用率。 r a i d 3 1 2 2r a id 中存取通道的演化 这里所说的存取通道主要是指外部总线技术和磁盘控制器接口技术。 i s c s ir a i d ：磁盘阵列的传统接口一直使用的是s c s i ，s c s i 协议经历了 s c s l 2 ( n a r r o w ，8b i t s ，1 0 船s ) ，s c s l 3 ( w i d e ，1 6 b i t s ，2 0 m b s ) ，u 1 t r aw i d e ( 1 6 b i t s ，4 0 m b s ) ，u l t r a 2 ( u l t r au l t r aw i d e ，8 0 m b s ) ，u l t r a 3 ( u l t r au l t r a u l t r aw i d e ，1 6 0 她s ) 等几个发展阶段，数据传输率和能够挂接的磁盘数也相应地 得到了提高。这种接口可以说是服务器产品的“专利”，由于它在过去的一段时间 里和传统的桌面系统使用的i d e 接口相比具有明显的速度优势，而且s c s i 总线能 够挂接的磁盘数也从7 个增加到1 5 个，所以具有s c s i 接口的硬盘要比传统的 i d e ( i n t e g r a t e dd e v i c ee l e c t r o n i c s ) 硬盘贵许多。使用基于s c s i 的r a i d 系统， 在较大的阵列系统中，随着硬盘的数量增多，整体造价就明显地提高i ”。7 1 。 2 i d er a i d ：与s c s ir a i d 相反，可以看成被视为低端产品的i d e 硬盘却具 有明显的价格优势，近年来随着i d e 接口标准的升级，从u d m a 3 3 ( u l t r ad i r e c t m e m o r ya c c e s s ) 到u d m a 6 6 ，再到a t a i 0 0 ( a d v a n c e dt e c h n o l o g ya t t a c h m e n t ) ， 可以说，i d e 的传输速度有了明显的提高，串行a t a 又可加大i d e 硬盘连接数量， 于是r a i d 产品逐步开始渗透到了所谓低端的i d e 硬盘领域。i d e 由于通道的数量 限制，每个通道最多能够使用两块硬盘，而且有主次之分，不能真正实现数据的阵 列存储，这也严重地阻碍了在i d e 上使用r a i d 技术。针对i d e 的速度提升和所面 临的通道问题，几家相关的厂商都相继发布了自己基于i d e 接口的r a i d 板卡，但 由于技术问题，一直停留在原始的单通道多硬盘的基础上【”4 ”。 3 s a t ar a i d ：s a t a ( s e r i a la d v a n c e dt e c h n o l o g ya t t a c h m e n t ) 是一种高速 的串行连接方式，接口及连接线缆针脚较少，成本较低，它采用点对点方式进行数 华中科技大学硕士学位论文 据传输，能够保证每个磁盘专用1 5 0 m b s ，第二代s a t a 产品的接口速率达到了 3 0 0 m b s 。而且与传统的i d e 接口技术相比，s a t a 易于连接，布线简单，传输距离 长，具有热插拔功能和c r c ( c y c l i cr e d u n d a n c yc h e c k ) 错误校验功能，可以连接数 量更多的磁盘。正是因为这些优点，s a t ar a i d 已经逐渐取代i d er a i d ，成为r a i d 市场的主流产品。 4 f cr a i d ：与s c s i 和i d e 技术相比，f c ( f i b e rc h a n n e l ) 具有三个明显的优 势。其一，传输距离长，多模光缆可以达到3 0 0 5 0 0 m 的连接距离，单模光缆则可 以达到l o k m ，而s c s i 总线最长不超过2 5 m ，i d e 总线更短，两者都不适合于阵列和 服务器不在同一处的环境；其二，强大的扩展能力，在一个光纤仲裁环路上，可以 连接1 2 6 个设备，而在一个交换式结构中，可以容纳6 万多个设备。相比之下，s c s i 通道上最多只能容纳3 1 个设备的限制，严重地影响了系统的升级扩展能力。尤其 是在大数据量的情况下，由于光纤通道可以采用相对较少的通道控制芯片，使其管 理方式简单，故障点减少，从而增加了系统的稳定性和可靠性。另外，光纤通道设 备可以通过仲裁环路或者交换式结构，连接成一个网络，即所谓的s a n ( s t o r a g e a r e a n e t w o r k ) 。而s c s i 技术只能实现点对点的连接，这使其在一些环境下根本无法满 足需求。其三，性能的优势，目前光纤技术的标准已经发展到了单通道2 0 0 m b s 的 带宽 9 - 1 0 0 “，而s c s i 技术的带宽通常为1 6 0 m b s ，最新的s c s i 标准提供3 2 0 m b s 的 带宽。虽然从这个数值比较上看，2 0 0 m b s 和1 6 0 m 8 s 并无太大差异，而且新的 3 2 0 m b s 带宽的s c s i 技术看上去还要更胜一筹，但是在实际的使用中，光纤通道的 带宽比s c s i 的带宽要离出很多，甚至要数倍于s c s i 技术。因为s c s i 所宣称的 1 6 0 m b s 和3 2 0 m b s 都是在绝对理想条件下的一个理论数值，在实际的环境中根本 无法得到这样的性能。实际上3 2 0 m b s 的s c s i 技术在实际环境中一般可以得到6 0 7 0 m b s 的性能【1 0 1 ，1 6 0 m b s 的s c s i 技术性能略低，大概在5 0 m b s 左右。而光纤通 道技术则不同，在经过优化的环境中完全可以达到宣称的性能指标，即便在普通的 环境中，2 0 0 m b s 的光纤技术也可以得到1 5 0 1 9 0 m b s 的实测性能。不过，虽然 f cr a i d 具有这么多的优点，但由于其造价高的特点，还没有得到普遍应用。 5 混合r a i d ：所谓的混合r a i d 都是基于一个性价比的考虑，目前主要有 s c s i i d er a i d 和f c s c s lp a i d ，前者采用s c s i 总线连接外部主机，内部使用i d e 硬盘，后者采用s c s i 硬盘并通过光纤通道接口连接外部主机田j 。 6 网络r a i d ：网络r a i d 就是在传统的内部通道的基础上，增加了一个外部通 道一网络接口胆3 。5 】，这样既可以实现命令和数据的有效分流，同时又可以充分利用 先进的网络传输技术，使得磁盘阵列的传输速度更快，传输距离更长。 华中科技大学硕士学位论文 1 3 课题主要研究工作 本文研究的主要内容是高速存储接口技术在磁盘阵列中的应用，重点研究s c s i f 办议中的多线程技术以及容双盘错磁盘阵列，这项工作包括以下几方面内容。 1 分析磁盘阵列系统的体系结构； 2 研究磁盘阵列的软件开发平台和s c s i 协议； 3 研究在实时操作系统下基于多线程技术的s c s i 设备驱动程序的实现； 4 研究容双盘错磁盘阵列的原理和实现。 华中科技大学硕士学位论文 2 光纤磁盘阵列的体系结构 磁盘阵列是由多个廉价磁盘构成的一个超大容量的存储子系统，通过使用数据 分块和交叉存驳两项技术，实现了多个磁盘上数据的并行传输，从而达到提高数据 传输率、缩短响应时间的目的，而对不同冗余技术的使用，又可以大大提高数据的 可靠性。本章羞重分析磁盘阵列的硬件和软件体系结构。 2 1 磁盘阵列的硬件体系结构 一般来说，磁盘阵列控制器可以由两种方式构造，一种方式是设计专用电路板， 成为可以直接插入计算机总线插槽的阵列卡。使用这类磁盘阵列控制器的电源，磁 盘驱动器等都用另外的机柜组成一个独立设备，或者共用服务器机箱成为服务器的 一部分。另一种方式是采用通用计算机部件，包括主板，接口适配器等组成阵列控 制器，与电源，磁盘驱动器，显示装置等装于机柜内形成独立的磁盘阵列 2 6 - 2 8 。前 者在容量不大，磁盘驱动器数目不多的情况下，易于嵌入服务器内形成一个结构比 较紧凑的整体。后者则具有更新速度快，维修方便，配置灵活，性价比高等优点。 我们所设计的光纤磁盘阵列就是采用后面一种方式，其硬件体系结构如图2 1 所示。 图2 1磁盘阵列的硬件体系结构 8 华中科技大学硕士学位论文 2 2 磁盘阵列的i 0 通道分析 数据的i o 通道为从数据源到目的地的数据和命令传输的路径。数据源和目的 地通常是存储器或存储设备，包括数据源和目的地以及两者之间的物理器件便组成 了一条i o 通道，排除操作系统和软件的因素，那么在这种集中式的磁盘阵列中， i o 通道包括主存，主控制器，串控制器，外围设备总线，存储设备【2 9 】。很显然， i o 通道中的所有硬件环节都对数据存取的速度有着直接的影响，而且由于磁盘阵 列采用c p u 作为i o 控制器，因此c p u 的性能毫无疑问对阵列系统的性能存在一定 的影响，但这种影响是通过阵列控制程序和控制器驱动程序间接作用的，所以在构 建实际的磁盘阵列时，我们只分析主存，主控制器，串控制器，外围设备总线和存 储设备对阵列性能的影响，而不考虑c p u 的因素。 2 2 1 主存 主存是i o 通道中的高速部分，但仍然要在数据传输中占用一定的时间。在微 处理机中( 主频在8 0 0 m h z 以上) ，存入主存i m b 的数据大约要花费4 6 m s 。在集 中式阵列中，主存起着保存执行代码和充当c a c h e - b u f f e r 用于缓存数据的双重作 用，因此要求主存必须具备速度快、容量大的特点。 2 2 2 外围设备总线 p c i ( p e r i p h e r a lc o m p o n e n ti n t e r c o n n e c t ，外围设备互连) 具有高带宽，高 速度，能支持多个p c i 插卡，多个处理器配置，以及芯片组价格低的特点，实现它 也只要很少的芯片。而且它独立于处理器，提供一组通用功能并使用同步时序和集 中的仲裁机制。由于外围设备( i o 设备) 性能的日益提高和数目的增加，为了充 分发挥外围设备的能力，工业界普遍采用p c i 总线连接系统总线和外围设备3 1 1 。 从i n t e l 在1 9 9 0 开始为其p e n t i u m 系统开发p c i 开始，已经先后推出了p c i i 0 、 p c i 2 0 、p c i 2 。l 、c - p c i 、p c i - x 等版本，其中p c i l0 已经很少使用。当前的p c 机 和中低档的服务器普遍采用支持p c i 2 0 或p c i 2 1 规范的总线，因为这两个版本都 具有以下特性：独立于处理器：支持多达2 5 6 个p c i 总线：每个p c i 总线支持多达 2 5 6 个功能器件；低功耗；突发模式读写：支持峰值为1 3 2 m b s 、2 6 4 m b s 、5 2 8 m b s 的读写传输速率；并行总线操作；支持主控总线、p c i 总线和扩展总线的并行操作； 华中科技大学硕士学位论文 支持完全总线主控；软件透明；隐藏的总线仲裁；管脚数少等等。c - p c i 是一种紧 凑的p c i ，常用于工业控制与通信领域。与前几种规范相比，在相同的频率下，p c i x 将能提供比p c i 高1 4 - 3 5 的性能。p c i x 又一有利因素就是它有可扩展的频率，也 就是说，p c i x 的频率将不再是固定的，而是可随设备的变化而变化，比如某一设 备工作于6 6 m h z ，那么它就将工作于6 6 m h z ，而如果设备支持i o o m h z 的话，p c i x 就将于i o o m h z 下工作。p c i x 可以支持6 6 、1 0 0 、1 3 3 m h z 这些频率，而在未来，可 能将提供更多的频率支持，因为这些优势，p c i x 总线已经广泛用于高端服务器中。 表2 1 为p c i 总线四种版本的性能比较。 表2 1p c i 总线性能 性能指标 p c i2 0c p c ip c i2 1p c i - x 周期速度( m h z ) 3 33 36 61 3 3 适配器插卡数( 个) 382l 最大宽度( 位) 3 26 46 46 4 最大数传率( m b s ) 2 6 42 6 45 2 81 0 6 6 2 2 3 总线适配器 在磁盘阵列中，有两个地方需要使用到总线适配器，一个是与外设通道相连的 主控制器，另一个是与存储设备相连的串控制器。总线适配器是一种将存储设备或 其他外围设备接入主机i o 总线，并对存储设备和外围设备进行控制的硬件，它正 确地寻址每个存储设备，并正确而完整地传输i 0 请求命令和数据。因为主机i o 总线的不同和接口协议的差别，总线适配器也有多种多样，工业上包括i d e ，s c s i ， f c ，s s a ( s e r i a ls t o r a g ea r c h i t e c t u r e ) 、s a t a 等等的i o 总线适配器。考虑到 总线的性能和传输距离以及相应的存储设备，在设计阵列时一般采用了利用s c s i 协议或者f c 协议的总线适配器，目前市场上也有很多基于s a t a 接口的磁盘阵列。 1 s c s i 协议【3 1 i s c s i 是为小型机定制的存储接口，是由美国s h u g a r ta s s o c i a t e s 公司的小型 硬磁盘驱动器和软磁盘驱动器的接口协议s a s i ( s h u g a r ta s s o c l a r e ss y s t e m i n t e r f a c e ) 过渡而来的。s a s i 协议具有总线仲裁、设备选择等功能，设备之间是 一种双向对等关系，而不是一种主从关系。从s a s i 开始，发展至今，已形成s c s i i 、 s c s i 一2 与s c s i 一3 系列协议。 华中科技大学硕士学位论文 ( 1 ) s c s 卜l s c s i i 主要面向磁盘驱动器和磁带驱动器等存储设备，其主要特点是传输速率 高。s c s i 1 定义了两种传输模式：异步和同步。同步模式支持的传输速率为5 m b s ， 异步模式为3 m b s 。它具有支持多i o 任务并行运作的能力。然而，由于它在定义 上有许多模糊之处，所能适应的设备类型不够广泛，性能较低，于是提出了s c s i 一2 。 f 2 ) s c s i 一2 s c s i 一2 家族包括差分s c s i 一2 、w i d es c s i 一2 和f a s ts c s i 一2 ，u l t r a 2s c s i 四 种，在兼容性、速率、总线宽度等方面有了显著改进。其中差分s c s i 规定了每个 信号都有地线，从而降低了噪声，提高了传输率，同时允许电缆长度达到2 5 m 。w i d e s c s i 的数据宽度可达1 6 位和3 2 位，f a s ts c s i 的数据传输可达1 0 m b s ，若与w i d e s c s i 组合，数传率可达2 0 m b s 和4 0 m b s 。u 1 t r a 2s c s i 采用了l v d ( l o wv o l t a g e d i f f e r e n t i a l ，低电平微分) 传输模式，1 6 位的u l t r a 2s c s i ( l v d ) 接口的最高传 输速率可达8 0 m b s ，允许接口电缆的最长为1 2 米，大大增加了设备的灵活性。但是， 随着s c s i - 3 的出现，它的部分应用将被取代。 ( 3 ) s c s i 一3 s c s i 一3 协议则增加了能满足特殊设备协议所需要的命令集，使得s c s i 协议既 适应传统的并行传输设备，又能适应最新出现的一些串行设备的通讯需要，如光纤 通道协议、串行存储协议、串行总线协议等。作为s c s i 一3 家族的一员，u l t r a i 6 0s c s i 在u l t r a 2s c s i 的基础上采用了双边界时钟控制、域确认和循环冗余检测等3 项新 技术，不仅使得数据传输率最高可达1 6 0 m b s ，而且也增强了设备管理能力和纠错 功能。 2 f c 协议 8 - 9 , 3 2 光纤通道( f c ) 作为s c s i 的一种替代的连接标准的解决方案，把千兆以太网络技 术与i o 通道技术结合起来，形成了单一、集成的技术体系。毋庸置疑，光纤通道是 现有接口中传输速度最高的通道之一，信号失真率小。同时，光纤通道提供了多种 增强的连接技术，服务器系统可以通过光缆远程连接，最大可跨越1 0 公里，每个光 纤仲裁环路最多可连接1 2 6 个设备，与并行s c s i 的最长距离2 5 m 、最多连接设备数1 5 个 相比，这是令人难以置信的。由于光纤不需要终结器，同时它支持网络设备的连接， 所以它 e s c s i 电缆连接更容易，但其连接技术较难实现。 华中科技大学硕士学位论文 2 2 4 磁盘驱动器 现代工业一般将磁盘驱动器和磁盘做成一个整体，因此，我们在这里讨论的磁 盘，实际上包括这两个部分。目前，市场大致有三种类型的磁盘：i d e 硬盘、s c s i 硬盘和f c 硬盘，一般来说，硬盘的四个参数决定了它的整体性能【3 0 】。 1 寻道时间：寻道时间是移动磁头臂时磁头对准磁道所花费的时间。它受到 几个因素的影响：初始启动时间、加速到指定速度和跨越若干个磁道所用的时间。 厂家一般只提供平均寻道时间。 2 旋转延迟：旋转延迟是当找到相应的磁道时，盘片旋转到读写的位置时需 要的时间。厂家一般只提供平均旋转延迟。 3 内部传输率：内部传输率是当定位到所要读写的数据时，硬盘内部数据传 输的速度。 4 缓存大小：现在的硬盘一般都带有一定容量的缓存用以缓存读写的数据。 对于读命令，如果所要读的数据已经在缓存中，则不需要再从硬盘上读取数据；而 对于写命令，数据先放到缓存中，只有当写数据的容量达到缓存的定比例时，才 会一次性地写入硬盘，从而在很大程度上免去了寻道时间、旋转延迟和传送时间的 开销。 上面已经很细致地分析了组成i o 通道的各个硬件成分，虽然说采用最先进的 技术或者产品会有利于提高阵列的性能，但在实际构造磁盘阵列的时候，考虑到性 价比因素，需要研究相关硬件环节的匹配与选择问题，从而确保阵列的整体性能。 从图2 1 可知，除了主存以外，在i o 通道中有三个硬件部分的性能匹配问题需要 分析。其一，p c i 总线与主控制器的性能匹配；其二，p c i 总线与串控制器的性能 匹配；其三，总线适配器的串内磁盘驱动器数目的匹配【”。4 】。 1 p c i 总线与主控制器的性能匹配 尽管p c i x 总线的最高传输速度已经达到1 0 6 6 临s ，但是由于现在还仪是定位 于高端服务器，价格较高。因此在般的主机中还是普遍采用遵循p c i 一2 1 协议 的6 6 m h z 6 4 b i t 的p c i 总线，其峰值传输率可达5 2 8 m b s 。在集中式磁盘阵列系统 中，主控制器作为与主机相连的外设接口，需要与主机系统所采用的p c i 总线相匹 配，才能充分利用p c i 总线的高带宽。而一般来说，主机系统可能会带有网络接口 或其它外设，这些都会占用一定比例的p c i 总线带宽。因此在磁盘阵列系统中，可 以采用峰值传输率为2 0 0 m b s 的光纤卡或者峰值传输率为1 6 0 m b s 的s c s i 适配器 华中科技大学硕士学位论文 作为连接外部通道的接口。与s c s i 总线技术相比，因为光纤连接具有传输距离长 和传输速度能够接近峰值的优势，磁盘阵列采用了光纤卡适配器作为与主机相连的 外设接口，从而在一定程度上避免了使得主控制器成为磁盘阵列的性能瓶颈。 2 p c i 总线与串控制器的性能匹配 磁盘阵列一般挂接多串s c s i 总线适配器作为串控制器，为了尽量使p c i 总线 的带宽达到饱和，假设串控制器的个数为r l ，峰值传输率为v m b s ，在p c i 总线的 峰值传输率为5 2 8 m b s 的情况下，必须尽量满足n v 5 2 8 m b s 。由于目前的f c 适配器造价相当昂贵，而其对应的f c 硬盘也是价格不菲，因此磁盘阵列系统中一 般可采用遵循s c s l 3 协议的总线适配器作为串控制器，其峰值传输率为1 6 0 m b s ， 这样，阵列一般可挂接2 4 个s c s i 总线适配器。相应地，为了与外围设备总线相 匹配以避免协议的转换，阵列采用了s c s i 硬盘。 3 总线适配器的串内磁盘驱动器数目的匹配 虽然根据s c s l 3 协议标准，s c s i 总线适配器可以连接3 1 个s c s i 硬盘，但是在 实际的构造中，考虑到系统的整体性能，也必须选择合适的串内磁盘的数量。假设 阵列中每个串控制器下有n 个硬盘，其最高内部传输率均为v m b s ，而且所有硬盘 完全并行操作，则必须满足n v 1 6 0 m b s 。为了降低阵列系统控制部分的系统 开销，一般串内只挂接3 4 个硬盘。 由此，我们可以确定光纤磁盘阵列需要采用的硬件如下。 遵循p c i - 2 1 协议的6 6 m h z 6 4 b i t 的p c i 总线； 遵循f c 协议的q l