（计算机系统结构专业论文）光纤盘阵列中逻辑卷管理与光纤通道接口研究.pdf

乎中科技大学硕士学位论文 摘要+ 高速通道接口是决定并行存储系统i o 性能的一个重要因素，充分发挥通道接 口的数据传输潜力能使整个存储系统的性能得到很大的改善。光纤通道技术以其高 性能、连接距离长、扩展性强等特点成为构建高性能网络存储系统的重要组成部分， 我们采用支持s c s i 一3 协议的s c s i 总线适配器作为内部设备通道，结合支持光纤通 道协议的光纤通道适配器作为外部主从通道，设计并实现了一种新的高性能磁盘阵 列存储系统，大大提高了磁盘阵列的i o 性能。 光纤通道设备驱动程序是光纤通道磁盘阵列软件体系中非常关键的一个环节， 高效的光纤通道设备驱动程序可以显著地改善磁盘阵列的整体性能。开发光纤通道 设备驱动程序需要对整个磁盘阵列存储系统的工作流程、开发平台、所遵循的光纤 通道协议标准等方面进行深入的分析和研究。在详细分析工作流程的基础上，提出 了利用精简中断操作技术来减少系统开销和提高驱动程序的执行效率，利用聚散技 术来减少内存拷贝合并次数并有效地提高磁盘阵列的数据传输率，减少了响应时 间。通过实践和测试比较证明了这一结论。 在光纤磁盘阵列系统中实现逻辑卷管理，将各物理磁盘存储资源映射到统一的 逻辑存储视图，更有效更灵活地对物理磁盘存储资源进行管理。逻辑卷管理器是在 光纤通道磁盘阵列上实现的一种存储虚拟化技术，大大提高了磁盘阵列存储系统的 可扩展性和易用性。 关键词：磁盘阵列，光纤通道，、逻辑卷管理 本文的研究工作受国家自然科学基金( 6 0 2 7 3 0 7 4 ) 和全国优秀博士论文专项基金资助 华中科技大学硕士学位论文， a b s t r a c t + h i 曲一s p e e d c h a r m e li n t e r f a c ei sa n i m p o r t a n t f a c t o rt h a td e t e r m i n e st h ei o p e r f o r m a n c eo fp a r a l l e ls t o r a g es y s t e m ，a n di tc a l lg r e a t l yi m p r o v et h ep e r f o r m a n c eo f s t o r a g es y s t e mi ft h et h ed a t at r a n s f e rc a p a b i l i t yo fc h a n n e li n t e r f a c ei se x e r t e df u l l y f i b r ec h a n n e lt e c h n o l o g yb e c o m e st h em a i n p a r to fh i g h p e r f o r m a n c en e t w o r ks t o r a g e s y s t e mf o ri t s a d v a n t a g eo fh i g hp e r f o r m a n c e 、l o n gd i s t a n c ec o n n e c t i o na n dh i 【曲 e x p a n s i b i l i t y b a s e do ft h es c s ih b a sw h i c hc o m p l yw i t hs c s i - 3p r o t o c o la st h e d e v i g ec h a n n e la n df ch b aw h i c h c o m p l i e s w i t l lf c p r o t o c o la st h eo u t e rc h a n n e l ，t h e n e w h i g h p e r f o r m a n c er a i ds t o r a g es y s t e mw h o s e i op e r f o r m a n c ei si n c r e a s e dg r e a t l y i sd e s i g n e da n d i m p l e m e n t e d f cd e v i c ed r i v e ri so n ek e y p a r to f c o n t r o ls o f t w a r ea r c h i t e c t u r eo ff c r a i d ，a n d 1 1 i 曲1 ye f f e c t i v ef c d e v i c ed r i v e rc a l la p p a r e n t l yi m p r o v et h ep e r f o r m a n c eo ft h er a i d d e v e l o p i n gf cd e v i c ed r i v e rn e e dr u i n e rm s e a r c ho nt h ew o r k i n gf l o w ，d e v e l o p i n g p l a t f o r ma n d t h ef c p r o t o c o ls t a n d a r d b a s e do nt h ea b o v er e s e a r c h ，r e d u c e di n t e r r u p t o p e r a t i o nt e c h n o l o g yi sp r e s e n t e dt or e d u c es y s t e mo v e r h e a da n di m p r o v ed r i v e r s e f f i c i e n c y a n ds c a r e r g a t h e rt e c h n o l o g yi s a l s op r e s e n t e dt or e d u c em e m o r yc o p y c o u n t s ，r e d u c er e s p o n s et i m ea n de f f e c t i v e l yi m p r o v ed a t at r a n s f e rr a t e o fr a i d z h m u g h t h er e s u l to f t e s t ，t h ec o n c l u s i o ni sp r o v e t ， l o g i c a lv o l u m em a n a g e m e n t ，w h i c hi si m p l e m e n t e di nf cr a m ，p r o v i d e st h e m a p p i n g f r o m p h y s i c a ld i s k s s t o r a g er e s o u r c e t ot h eu n i f o r ml o g i c a ls t o r a g ev i e w i tc a n b eu s e dt o m a n a g es t o r a g e r e s o l r o e e f f e c t i v e l y a n d f l e x i b l y l o 百c a l v o l u m e m a n a g e m e n ti s o n ei m p l e m e n t a t i o no fs t o r a g ev i l t u a l i z a t i o nt e c h n o l o g yi nf c a i d ， a n di tc a l li m p r o v et h ee x p a n s i b i l l t ya n d f l e x i b i l i t yo f r a i dg r e a t l y k e yw o r d s ：r a d ，f i b r ec h a n n e l ，l o g i c a lv o l u m em a n a g e m e n t t h er e s e a r c hi ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o n ( 6 0 2 7 3 0 7 4 ) a n dn a t i o n a l e x c e l l e n td o c t o rt h e s i sf o u n d a t i o n 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他 个人或集体己经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 田磊 日期：劲口妒年毕月扣日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校 有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被套阅 和借阅，本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密口。 ( 请在以上方框内打“4 ”) 学位论文作者签名： 田磊 日期：曲口中年牛月弓。日 指导教师签名：- 4 - 日期：沙口垆年罗月日 华呻科技大学硕士学位论文 1 1课题背景 1 绪论 随着信息技术的高速发展和空前普及，用户对数据存储和数据传输能力提出越 来越高的要求。由于因特网的广泛应用导致数据的存储技术产生了革命性的变化： 第一，数据存储容量需求的急剧增长。根据i d c ( i n t e r n e td a t ac e n t e r ，互联网 数据中心) 预测，今后几年内存储需求年平均增长率为5 0 7 0 ；第二，数据可 用性的要求更高。今天，i n t e r n e t 使网络数据必须保证每年3 6 5 天、每周7 天、每 天2 4 小时处于就绪状态。第三，数据存储的结构也发生了巨大的变化。在i n t e r n e t 、和全球化电子商务的时代，数据应该是面向全世界的，数据的存取只应该受到安全 机制的管理而不应该受到地域空间的约束。 传统的存储体系结构的数据存储与交换以服务器为中心，即我们常说的直接连 接存储( d i r e c ta t t a c h e ds t o r a g e ，d a s ) 或者服务器附加存储( s e r v e ra t t a c h e d s t o r a g e ，s a s ) 。它是指将存储设备通过s c s i ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ) 接口或光纤通道直接连接到一台计算机上。d a s 包括存储器件( 例如硬盘驱动器阵 列、光盘驱动器、磁带驱动器或可移动的存储介质) 和集成在一起的简易服务器， 可用于实现涉及文件存取及管理的所有功能。随着技术发展，进入九十年代以后， 人们逐渐意识到i t ( i n f o r m a t i o nt e c h n o l o g y ) 系统的数据集中和共享成为一个亟 待解决的问题。 存储领域不断增长的巨大需求与相对落后的存储技术发展现状形成了鲜明的 对比。由于上述一系列因素的影响，计算机存储技术沿着两条主线在不断发展：一是 存储系统；二是存储设备。从2 0 世纪8 0 年代末提出来的磁盘阵列f 1 - 2 到现在广泛应 用的网络存储，存储系统的发展可以用日新月异来形容。存储系统在数据的安全性部】 和传输性能上、系统可用性、可扩展性和易用性等方面得到了极大的提高。磁盘阵 列向着接口协议多样化、网络化的方向发展，相应地产生了支持多种接口协议变换 的磁盘阵列、网络磁盘阵列【4 - 等新产品。而网络存储领域更是成为存储系统发展的 主流。目前应用较广的主要有附网存储系统0 1 和存储区域网 u - 1 2 。另外基于 i s c s l t 3 - 1 4 1 ( i n t e r n e ts c s i ) 的存储系统和p 2 p ( p e e rt op e e r ) 对等存储系统 也逐渐引起存储市场的关注。 华中科技大学硕士学位论文 从存储设备上的发展上看，大量采用新技术和新接口标准成为存储设备的发展 趋势，而以存储接口标准的发展尤为迅速。出现了f c 1 6 - 1 7 1 ( f i b r ec h a n n e l ) 、 s c s i 一3 【i s - t 9 、s a t a ( s e r i a la d v a n c e dt e c h n o l o g ya t t a c h m e n t ) 2 0 、u s b ( u n i v e r s a l s e r i a lb u s ) 2 u 、b 1 3 9 4 n - 2 3 1 、s s a 2 4 2 5 1 ( s e r i a l s t o r a g ea r c h it e c t u r e ) 等新型 标准并相继投入实用。光纤通道的出现，使得在存储设备的接口传输速率上和设备 总线的连接方式上都产生了巨大的变革。光纤通道磁盘阵列已经成为高性能并行存 储系统的发展方向。而随着 o g b p s 数据传输率的光纤通道适配器的问世，意味着 光纤通道在存储设备领域将会有更为美好的应用前景。 1 2 网络存储系统 为了解决传统存储体系结构固有的i o 瓶颈，人们将存储技术与网络技术结合 起来，构建网络存储，已经成为存储系统领域的发展趋势。网络存储是将网络i o 技术引入存储系统，它充分利用网络的高灵活性、高可访问性和易接入性，在容错 技术，并行i 0 技术、拚议高效性的支持下，从而构成易于有效管理、备份和数据 访问的分布式网络存储系统。随着网络存储概念的深入人心，在存储市场的巨大需 求的推动下，网络存储技术得到了空前的发展，并逐渐形成了几种较为成熟的网络 存储架构。最主要的代表有下述两种：附网存储( n e t w o r ka t t a c h e ds t o r a g e ，n a s ) 和存储区域网( s t o r a g ea r e an e t w o r k ，s a n ) 。 n a s 是将存储设备通过标准的网络拓扑结构( 例如以太网) ，连接到一群计算 机上。在n a s 存储结构中，存储系统不再通过i o 总线附属于某个特定的服务器或 客户机，而是直接通过网络接口与网络直接相连，由用户通过网络访问。n a s 实际 上是一个带有瘦服务器( t h i ns e r v e r ) 的存储设备，其作用类似于一个专用的文 件服务器。这种专用存储服务器不同于传统的通用服务器，它去掉了通用服务器原 有的不适用的大多数计算功能，而仅仅提供文件系统功能，用于存储服务，大大降 低了存储设备的成本。为方便存储到网络之间以最有效的方式发送数据，专门优化 了系统硬软件体系结构，多线程、多任务的网络操作系统内核特别适合于处理来自 网络的i o 请求，不仅响应速度快，而且数据传输速率也很高。与传统以服务器为 中心的存储系统相比，数据不再通过服务器内存转发( 这会引起额外延迟和阻塞) ， 直接在客户机和存储设备间传送( 即所谓第三方传送) ，服务器仅起控制管理的作 用，因而具有更快的响应速度和更高的数据带宽。 s a n 可以定义为；以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有 华中科技大学硕士学位论文 高传输速率的光纤通道的直接连接方式，提供s a n 内部任意节点之间的多路可选择 的数据交换，并且将数据存储管理集中在相对独立的存储区域网内，实现最大限度 的数据共享和数据优化管理，以及系统的无缝扩充。具体来讲它是连接一个或多个 系统到存储予系统的专用网络，可以在存储设备、服务器和客户之间建立直接联系， 支持服务器到服务器、服务器到存储设备和存储设备到存储设备三种高速数据传输 方式。s a n 是一种特殊的高速网络，连接网络服务器和诸如大磁盘阵列或备份磁带 库的存储设备，s a n 置于l a n ( l o c a la r e an e t w o r k ) 之下，而不涉及l a n 。利用 s a n ，不仅可以提供大容量的存储数据，而且地域上可以分散，并缓解了大量数据 传输对于局域网的影响。s a n 的结构允许任何服务器连接到任何存储阵列，不管数 据置放在哪里，h 月艮务器都可直接存取所需的数据。与n a s 相比，s a n 具有下面几个 一特点：首先s a n 具有无限的扩展能力，由于s a n 采用了网络结构，服务器可以访问 存储网络上的任何一个存储设备，因此用户可以自由增加磁盘阵列、带库和服务器 等设备，使得整个系统的存储空间和处理能力得以按客户需求不断扩大。另外，s a n 具有更高的连接速度和处理能力。 1 3 高速通道技术 i o 通道是在计算机和用于存储数据的设备之间使用的传输技术，它既可以是 存在计算机内部，也可以扩展到外部的存储设备，常见的高速i o 通道主要有s c s i 、 f c 、s a t a 、s s a 、u s b 等。下面只介绍与光纤通道磁盘阵列相关的通道技术：s c s i 系列和f c 系列。 1 3 1s c s i 及其衍生协议族 s c s i 是由s h u g a r ta s s o ci a t e s 公司( s e a g a t e 前身) 于1 9 7 9 年设计并推出的， a n s i 在1 9 8 6 年将其批准成为标准，现称为s c s i 一1 。由于s c s i 的广泛应用，继s c s i 一1 标准规范之后，s c s i - 2 在1 9 9 0 年获得x 3 t 9 委员会批准，在1 9 9 4 年获得a n s i ( a m e r i c a nn a t i o n a ls t a n d a r d si n s t i t l f t e ) 批准( a n s ix 3 1 3 1 ) 。s c s i 一3 是目前 最新的国际标准。它是多个标准的集合，每个标准定义s c s i 一个非常特殊的部分： 物理接口、传输接口、指令接口、体系结构模式、程序接口等。 串行附加s c s i ( s e r i a la t t a c h e ds c s i ，s a s ) 是在并行s c s i 基础之上发展 起来的，其标准定义是：一个集s c s i 向下兼容性、串行点对点互连、双端口、寻 址性和向小型化的扩展能力于一身的设备层级企业存储接口。s a s 实现了对现有并 华中科技大学硕士学位论文 行s c s i 的有效逻辑兼容，为企业级数据中心提供了健壮的解决方案和延续的系统 技术支持。基于串行接口的s a s 为服务器和网络存储等领域提供了大数量设备、高 带宽、可扩展性支持，通过简单化的电缆寻路为系统提供了简易的解决方案。s a s 也充分利用了工作于小型屯缆连接器上的s e r i a la t a 技术，为用户提供了桌面级 的a t a 技术的向下兼容。 1 。 互联网小型计算机系统接口( i n t e r n e ts c s i ，i s c s i ) 是一种在i n t e r n e t 协议 网络上，特别是以太网上进行数据块传输的标准。它是由c i s c o 和i b m 两家发起的， 并且得到了i p ( i n t e r n e tp r o t o c 0 1 ) 存储技术拥护者的大力支持。是一个供硬件设 备使用的可以在i p 协议上层运行的s c s i 指令集。简单地说，i s c s i 可以实现在i p 网络上运行s c s i 协议，使其能够在诸如高速千兆以太网上进行路由选择。i s c s i 技术的出现对于以局域网为网络环境的用户来说，它只需要不多的投资，就可以方 便、快捷地对信息和数据进行交互式传输和管理。相对于以往的两络接入存储， i s c s i 的出现解决了开放性、容量、传输速度、兼容性、安全性等问题：其优越的 性能使其自发布之日始便受到市场的关注与青睐。 1 3 2f o 及其衍生协议族 光纤通道是一种利用光纾( 或者铜缆) 作为物理链路的高性能串行数据接口， 它具有低延迟、高带宽、远距离传输的特性和集通道、网络优点于一身的拓扑结构。 光纤通道模型可以分为5 层：f c 一0 f c 一4 。f c - o 主要是针对物理介质，它规定了收 发信号和传输的介质；f c - i 采用了8 b l o b 进行编码和字节同步以保持端口间的连 接；f c - 2 则规定了具体的传输机制，包括帧格式、节点间的信息交换管理：拓扑结 构和提供的类服务；f c 一3 规定了同一节点上多端口的传输类型：f c - 4 则是从应用 出发，把各种主要通道、外设接口和网络的上层协议等映射到光纤通道上。光纤通 道定义了3 种拓扑结构：点对点p o i n t t o p o i h t ) 、伸裁环( a r b i t r a t e dl o o p ) 和交换机( f a b r i c ) 。其网络的拓扑结构对于所连接的设备是透明韵。更详细的光 纤通道协议参见第三章。 “ 互联网光纤通道协议( i n t e r n e tf i b r ec h a n n e lp r o t o c o l ，i f c p ) 是一个网关 到网关的协议，它利用i p 网络中的交换机、路由器等组件，补充、增强或代替由 光纤通道组建的s a n 网络，以实现多个f c 网络中最终存储设备之间利用t c p i p ( t r a n s m i s s i o nc o n t r o lp r o t o c o l i n t e r n e tp r o t o c 0 1 ) 网络建立端到端的连接。 i f c p 支持光纤通道第四层光纤通道协议( f i b r ec h a n a e lp r o t o c o l ，f c p ) ，并能像 华中科技大学硕士学位论文 光纤通道的协议层( f c 一2 ) 一样，支持通过串行链路在s c s i 发起者和目标之间传送 标准s c s i 命令、数据和状态信息。i f c p 利用i p 网络协议替代光纤通道的第二层传 输层协议( f c 2 ) ，但是保留了光纤通道的上层协议( f c 一4 ) 信息，此由存在的f c 传 输服务与t c p f l i p 的映射完成，使得i f c p 能适应地部署到潜在不可靠的i p 网络环 境当中。 。 f c i p ( f i b r ec h a n n e lo v e ri p ) 是在t c p i p 上用管道技术来实现f i b r ec h a n n e l 的受推荐标准。它采用封装技术将f i b r ec h a n n e l 协议封装在i p 包中，以使它能 够通过i p 网。已经拥有f i b r ec h a n n e l 网络的用户可以通过调节他们已经存在的 s a n 以使它们能够扩展到城域网和广域网。f c i p 正是这样一种将多个f i b r ec h a n n e l 孤岛连接起来的手段。举个例子，f c i p 可以用来连接地理上分开的f i b r ec h a n n e l 存储阵列，并实现数据的同步更新。这样一旦有数据遭到破坏，系统立即可以通过 f c i p 链路获得远端的热备份数据。这样做的好处是使数据具有灾难恢复功能，而这 一点对于有些商业数据又是必不可少的。 1 4 光纤通道磁盘阵列技术及其国内外发展现状 1 4 1 光纤通道磁盘阵列技术 光纤通道磁盘阵列，指的是使用光纤通道作为通道接口的磁盘阵列存储系统。 采用光纤通道技术有两层含义，一层是指其内部采用光纤通道技术来连接其内部的 各个磁盘，一层是指其对外，即对主机使用光纤通道接口连接方式。在这里，我们 指的是后者，即内部采用s c s i 、s s a 等存储接口，对外才是光纤通道接口。 。 与其它接口( 如s c s i ) 的磁盘阵列相比，基于光纤通道技术的磁盘阵列具有下 列的几大优点：一是存储共享，这是它最大的优点，与其它阵列，如s c s i 阵列不 同，光纤磁盘阵列可以接入存储区域网，多台主机可以通过存储区域网同时访问一 台或多台光纤磁盘阵列。这就为存储集中和共享提供了最为灵活的硬件和网络平 台。二是其高可用性。光纤磁盘阵列不但具有普通磁盘阵列所支持的各种高可用性 功能，如对r a i d ( r e d u n d a n ta r r a yo fi n d e p e n d e n td i s k s ) 的支持、h o t s p a r e ， 硬盘、r a i d 自动重建、后台在线重建、在线r a i d 扩容、硬盘热插拔、。支持并发i o 及命令队列、磁盘阵列配置备份、缓存电池保护、硬盘故障自动检测等；而且双控 制器、多冗余环路、多主机接口的冗余配置，不但保证了本机的可用性，而且可以 防止存储区域网上其它设备故障对数据存取的影响。在存储共享和高可用性的基础 上进步提高性能才能充分发挥其优势。光纤通道较传统存储技术，如s c s i 来说， 5 华中科技大学硕士学位论文 支持更高的性能。目前光纤磁盘阵列对内、对外都可以支持2 0 0 m b y t e s 的全双工 读写，不久的将来1 g b y t e s 的产品即将上市。 此外光纤磁盘阵列的另一个优势是其高可扩展性。一方面，对于同一个磁盘阵 列来说，由于其采用仲裁环结构，理论上一个环上可以接多达1 2 6 块硬盘，这相对 于s c s i 总线上最多1 5 块硬盘的容量明显高了很多；而且还可以通过增加同一个磁 盘阵列支持的环路数来增加支持的硬盘数。另一方面，在由光纤通道构成的存储网 络中，由于光纤磁盘阵列可以被共享，当某台主机访问某台阵列上安装的硬盘达到 最大而不能再扩充容量时，完全可以通过将另一个阵列上的存储空间共享给该主机 实现实际上的存储空间的扩展。 1 4 2 国内外发展现状 由于光纤通道磁盘阵列技术所具有的优势和特点，国内外厂商都积极投入到光 纤通道磁盘阵列的研发工作当中，并形成了一系列的产品以及基于光纤通道磁盘阵 列的高性能存储解决方案。 1 h ps t o r a g e w o r k s 系列 惠普推出的s t o r a g e w 0 r k s 企业级模块化阵列系列是一款全面集成的光纤通道 存储解决方寨家族，它支持惠普s t o r a g e w o r k s 机柜型号4 3 0 0 体系结构。包括 e m a l 2 0 0 0 和e m a l 6 0 0 0 两种。以e m a l 6 0 0 0 为例，它是一款为需要配置高性能、大容 量系统的数据中心而专门设计的一款产品。e m a l 6 0 0 0 是模块化、可扩展、无单点故 障的解决方案，具有容灾和业务持续能力，支持在异构s a n 上进行存储归并。 e n a l 6 0 0 0 拥有较高的带宽，由于每个存储控制器或冗余控制器对有2 个光纤通道端 口。每个控制器到主机接口均可提供高达1 0 0 m b s 的数据吞吐量，每个控制器的最 大吞吐量为2 0 0 m b s 。e m a l 6 0 0 0 也具有高的容错功能，冗余电源、风扇、控制器、 高速缓存备用电池、热插拔全局备用硬盘以及多级r a i d 体系结构( o 、1 、3 5 、l + 0 ) 提供了容错能力：可预防系统宕机和数据丢失。所有e t a l 6 0 0 0 型号均提供冗余冷 却、n + i 电源冗余和环境监测。硬盘和大多数解决方案组件都支持热插拔特性。每 种解决方案都可配置双控制器，以双冗余模式工作。每个控制器都有1 对f c 主机 端口。当1 条路径出现故障时，控制器可自动敌障切换到另l 条路径。 2 i b mt o t a l s t o r a g ef a s t t 系列 1 i b m 最新的光纤通道磁盘阵列产品主要是一t o t a l s t o r a g ef a s t t 系列，从入门级 的f a s t t 2 0 0 ，到面向企业应用环境的f a s t t 6 0 0 、f a s t t 7 0 0 ，再到关键行业应用级的 华中，科技大学硕士学位论文 f a s t t 9 0 0 ，为不同应用层次的用户提供了各取所需的存储服务。以最高性能的 f a s t t 9 0 0 为例，支持2 到2 2 4 个硬盘驱动器，提供可超过3 2 t b 、易于扩展的存储 容量；使用2 g b 光纤通道连接支持高性能( 磁盘吞吐速度达7 7 2 m b s ) ，实现更快、 响应性更好的数据访问；使用冗余组件和经过镜像处理、拥有电池后备的高速缓存，。 为实现连续可用性提供支持；提供f a s t t 存储管理器，帮助管理存储子系统：提 供高级复制功能，如f l a s h c o p y 和远程镜像( r e m o t em i r r o r i n g ) ，提供数据高可 用性和保护。 3 e m cc l a r i j o nf c 4 x 0 0 系列、 f c 4 5 0 0 和f c 4 7 0 0 是e m cc l a r i i o n 光纤通道磁盘阵列第4 代产品之代表。以 f c 4 7 0 0 为例，它充分使用了新的多处理器存储处理器、4 路光纤通道连接、每个存 储处理器至光纤通道磁盘间采用冗余通路以及高达7 3 t b 的原始存储容量。f c 4 7 0 0 系统充分利用光纤接口的潜在能力，提供卓越无比的性能。f c 4 7 0 0 系统拥有4 路 g b i c 连接或端口，每路都具备i 0 0 兆字节秒光纤通路吞吐量。e m cf c 4 7 0 0 系统每 秒能够传送5 万多次缓存输入输出和超过3 6 0 兆字节秒的持续吞吐萤。f c 4 7 0 0 系统可采用机架安装配置，利用易配置构建模块支持i 0 1 0 0 个磁盘。现在，该阵 列可采用1 8 、3 6 和7 3 g b 容量1 0 0 0 0 转磁盘，形成最高7 3 t b 总体磁盘容量。磁盘 容量可以在线扩充，系统也能够动态的重新进行配置。c l a r i i o nf c 4 7 0 0 支持最高 2 g b 内存，其中一部分内存为在两个存储处理器之间的镜像写入缓存预留。 4 联想s f i r e f i b r e 系列 。 联想的s u r e f i b r e 光纤通道磁盘阵列产品系列主要包括下面两类： s u r e f i b r e 2 1 0 和s u r e f i b r e 4 0 0 r j ，以高端的s u r e f i b r e 4 0 0 r j 为例：采用全光纤， 全冗余和模块化的设计思想，r a i d 级别支持0 、1 、0 + i 、3 、5 、1 0 、3 0 、5 q 、s p a r e ： s u r e f i b r e 4 0 0 系列存储产品采用2 g 光纤通道标准，可提供独立的四条f c a l 通 道，能够提供极大的提高数据的吞吐量。联想s u r e f i b r e 4 0 0 r j 在存储信息与数据 应用之间建立了最快的硬件o 通道。系统可提供4 个f c a l ( f i b r e c h a n n e 卜a r b i t r a t e dl o o p ) 主机通道，4 个f c a l 磁盘通道，每通道提供2 0 0 m b s 的环带宽。在配置双控制器时，系统可支持高达i g b 的c a c h e 缓存，从而使数据吞 吐量达到了8 0 ，0 0 0i o p s 的高性能。 1 5 本文的内容与组织 本文共分为六章。 华中科技大学硕士学，位论。文 = = = = = ：= = = ：= = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = 一 第一章阐述研究光纤通道磁盘阵列系统的目的和意义，介绍主要用到的高速通 道技术以及光纤通道磁盘阵列的国内外研究现状。 第二章介绍我们实验室自主开发的光纤通道磁盘阵列的系统组成和软件体系。 第三章介绍光纤通道协议以及光纤通道适配器的一些特性，详细阐述光纤通道 接口的设计与实现。 第四章具体介绍逻辑卷管理的概念和方法，并分析逻辑卷管理器的实现流程以 及基于逻辑卷管理技术的功能扩展。 第五章介绍了系统测试方法并对测试结果进行分析。 第六章对全文进行总结并展望未来工作。 华冲科技大学硕士学位论文 2 光纤通道磁盘阵列的体系结构 磁盘阵列是把多个廉价的磁盘按照某种方式组成的一个大容量的逻辑磁盘。光 纤通道磁盘阵列采用了f c 作为它的外部通道，雨在内部则采用了s c s i 总线作为它 的设备通道。本章将详细介绍光纤通道磁盘阵列的开发平台以及软硬件体系结构。 2 。1 p s o s + 实时操作系统 实时操作系统一般具有软件代码的高质量和高可靠性，任务切换时间短，中断 响应及时等显着的性能优势，因此，在很多任务业控制系统、航天设备、智能仪表、 仿真系统中都采用了实时操作系统。由于我们的磁盘阵列是面向大量高密度的i o 任务，涉及到大量输入输出中断处理和频繁的任务切换，对于实时性要求极为苛刻； 而且控制软件及其操作系统本身都必须固化到控制卡上，这就要求内核小，系统开 销少。所以如何选择一个合适的嵌入式实时操作系统成为决定磁盘阵列性能的重要 因素之一。 在国内，主要使用的嵌入式实时操作系统主要有q n x 、w i n c e 、实时l i n u x 、 v x w o r k s 、p s o s 等等。q n x 和w i n c e 擅长于图形用户界面；实时l i n u x 是软实时， 。实时性不强；v x w o r k s 和p s o s 都是目前应用得最广泛的商业嵌入式实时操作系统， 但v x w o r k s 的费用非常昂贵。综合上述考虑，我们选择了p s 0 s + 作为我们磁盘阵列 的开发平台。 2 1 1 系统概况 p s o s y s t e m 是美国i n t e g r a t e ds y s t e m s 公司( 现已与美国w i n d r i v e r 公司合并) 研发的世界上最早的实时系统之一，也是最早进入中国市场的实时操作系统。 d s o s y s t e m 是一个模块化、高性能的实时操作系统，专为嵌入式微处理器设计，提 供一个完全多任务环境，在定制的或是商业化的硬件上提供高性能和高可靠性。可 以让开发者根据操作系统的功能和内存需求定制成每一个应用所需的系统。开发者 可以利用它来实现从简单的单个独立设备到复杂的、网络化的多处理器系统。目前 d s o s y s t e m 的最新版本是p s o s y s t e m3 。 华中，科技大学硕士学位论文 。 2 1 2 系统结构组成 p s o s 2 6 - 2 8 是个由标准软组件组成的，可剪裁的实时操作系统。分为内核层、 系统服务层、用户层。 1 内核层 p s o s 内核负责任务的管理与调度、任务间通信、内存管理、实时时钟管理、中 断服务；可以动态生成或删除任务、内存区、消息队列、信号灯等系统对象；实现 了基于优先级的、。选择可抢占的任务调度算法，并提供了可选的时间片轮转调度。 p s o sk e r n e l 还提供了任务间通信机制及同步、互斥手段，如消息、信号灯、事件、 异步信号等。p s o s 操作系统在k e r n e l 层中将与具体硬件有关的操作放在一个模块 中，对系统服务层以上屏蔽了具体的硬件特性，从而使得p s o s 很方便地从支持 i n t e l8 0 x 8 6 系列转到支持m c 6 8 x x x 系列，并且在系统服务层上对不同应用系统不同 - ，用户提供标准的软组件如p n a + 、p h i l e + 等。 2 系统服务层 p s o s 系统服务层包括p n a + 、p r p c + 、p h i l e + 等组件。p n a + 实现了完整的基于流 的t c p i p 协议集，并具有良好的实时性能，网络组件内中断屏蔽时间不大于内核模 块中断屏蔽时间。p r p c + 提供了远程调用库，支持用户建立一个分布式应用系统。 p h i l e + 提供了文件系统管理和对块存储设备的管理。p r e p c + 提供了标准的c 、c + + 库，支持用户使用c 、c + + 语言编写应用程序。 由于p s o s 内核屏蔽了具体的硬件特性，因此，p s o s 系统服务层的软组件是标准 的、与硬件无关的。这意味着p s o s 各种版本，无论是对8 0 x 8 6 系列还是m c 6 8 x x x 系 列，其系统服务层各组件是标准的、同一的，这减少了软件维捷工作，增强了软件可 移植性。 每个软组件都包含一系列的系统调用。对用户而言，这些系统调用就象一个个 可重入的c 函数，然而它们却是用户进入p s o s 内核的唯一手段。 3 用户层 用户指的是用户编写的应用程序，它们是以任务的形式出现的。任务通过发系 统调用而进入p s o s 内核，并为p s o s 内核所管理和调度。 p s o s 为用户还提供了一个集成开发环境p s o s i d e 。p s o s i d e 可驻留于u n i x 或d o s 环境下，它包括c 和c + + 优化编译器、c p u 和p s o s 模拟仿真和d e b u g 功能。 华中科技大学硕士学立论文 2 1 3p s o s + 的i 0 系统 p s o s + 核心包括一个i 0s u p e r v i s o r ，其目的是提供一个与设备无关的标准的 方法，使用它既可以将设备驱动程序集成到系统中去，也可以从用户应用程序调用 这些设备驱动程序。当一个应用程序调用p s o s + i o 系统，一个i o 操作就开始了。 p s o s + 核心检查调用的参数，将控制传递给相应的设备驱动程序，设备驱动程序执 行请求的i o 服务并将控制返回给p s o s + 核心，然后p s o s + 核心再将控制传递给调 用任务。 由于设备驱动程序是基于对应的硬件设备的，所以不同的硬件设备具有不同的 驱动程序。然而，p s o s + 核心定义了一套标准的由设备驱动程序支持的i o 服务，它 们是d ei n i t ( ) ，d e _ o p e n ( ) ，d e _ c l o s e ( ) ，d e _ r e a d ( ) ，d e _ w r i t e 0 ，d e c n t r l 0 。 p s o s + p q 核通过i o 转换表调用设备驱动程序。i o 转换表是一个包含设备驱动 程序入口指针的表。它是一个p s o s i o _ j u m pt a b l e 结构的队列。这个结构的定义 是： s t r u c tp s o s i o _ j u m pt a b l e + = v o i d ( * d e v i n i t ) ( s t r u c ti o p a r m s ) ； v o i d ( * d e v _ o p e n ) ( s t r u c ti o p a r m s ) ； v o i d ( * d e v _ c l o s e ) ( s t r u c ti o p a r m s ) ： v o i d ( * d e v r e a d ) ( s t r u c ti o p a r m s ) ； v o i d ( * d e v _ w r i t e ) ( s t r u c ti o p a r m s ) ； v o i d ( * d e v c n t r l ) ( s t r u c ti o p a r m s ) ； u n , s i g n e dl o n gr s v d l ： u n s i g n e dl o n gr s v d 2 ； u n s , n e ds h o r tf l a g s ； 其中的f l a g s 是一个1 6 位字段，它是用来控制驱动程序选项的，第8 b i t 是 i oa u t o i n i t ，它控制了调用驱动程序的初始化函数的时间。假如这个b i t 被置位， p s o s + 蝴p s o s y s t e m 部件启动后，主任务未启动之前调用这个驱动程序的初 始化函数。 2 1 ，4p s o s + 的板支持包 板支持包( b o a r ds u p p o r tp a c k a g e s ，b s p ) 用以支持t a r g e t 系统的正常工作， 华中科技大学硕士学位论文 它由一组功能函数组成，包括t a r g e t 硬件的初始化函数，连接设备驱动程序( 连 接设备有：定时器、以太网接口控制器、主机总线适配器、磁盘驱动器适配器以及 其它设备等) 。通常，在p s o s + 系统内包含有显示器、键盘、串口、并口、日历、 时钟、磁盘驱动器、以太网适配器、调制解调器等设备驱动程序。允许用户修改或 添加新的设备驱动程序，它们都包括在b s p 内，通过重新配置b s p ，形成新的l i b b s p a 库文件。b s p 包含的组件由板目录( 如p c 目录，i n t e r 3 8 6 e x 目录，n s 4 8 6 s x f 目 录等) 下的s r