（计算机系统结构专业论文）基于以太网的存储系统研究.pdf

摘要 摘要 计算机硬件技术不断发展，计算机系统结构也随之发生了巨大改变。计算机系统的 - l i 心正在逐步由传统的c p u ，内存和网络向存储系统转移。网络存储系统适应这种要求 得到迅速发展。特别是基于以太网的存储系统的出现，使得网络存储系统的火规模普及 成为可能。机群系统是当今并行计算的主流结构，在机群系统r 巾通常采用基于s a n 架构 的网络存储子系统。由于s a n 的总拥有成本过高，阻碍了机群系统的普及。因此研究机 群环境下的以太网存储系统具有现实意义。 “前的以太网存储系统主要是基于t c p 传输协议的i s c s i 系统，通过对t c p 上的软 件i s c s i 系统性能的测试和分析，我们发现，t c p 传输协议无法很好地适应存储系统应 f 的特殊需求，使得i s c s i 系统传输带宽较低，c p u 资源占用较多。传输协议开销过高 导致i s c s i 系统性能的降低，因此改善传输协议性能有助于提高i s c s i 存储系统性能。 为了提高i s c s i 传输性能，本文提出了一种新的传输协议h s p 。针对以太网环境f 的i s c s i 存储系统，h s p 协议精简了协议层次，直接使用数据链路层提供的服务来发送 数据。它使用基于数据组窗口的流量控制方式，使得其可以在一次传输中发送更多的数 据。它使用基于定时器的确认和数据包重传，以及定时器的动态调整机制，使得其能有 效的防止网络拥塞的发生，使用正向确认和选择性确认使得系统能获得更高的带宽利用 率。h s p 协议还提供包括身份认证和数据加密的安全机制。 c p n 作为讲模型工具，广泛应用在分布式系统，并发系统，以及协议的描述与验 证t t 。为了校验h s p 协议的数据传输正确性，我们使_ _ j 了c p n 作为描述h s p 数据传输 的工具。在使川c p n 对h s p 数据传输过程建立模型后，我们也使用了软件工具对该模型 进行了校验，结果表明，h s p 能正确地传输数据。 通过分析l i n u x 操作系统的网络子系统体系结构，我们给出了h s p 协议实现的方法， 并在l i n u xj 二成功地实现了h s p 协议。我们对h s p 协议实现进行了初步的性能测试和分 析，通过与t c p 的比较，结果表明h s p 协泌在网络存储这种大数据量传输的环境下，其 性能优于t c p ，其网络物理带宽利用率超过9 0 。同时我们在h s p 传输协议上运行i s c s i 软件，并对其进行了性能测试，测试结果显示，其性能超过了在t c p 上运行的性能。 基于h s p 传输协议，我们提出了一种适合机群系统的以太网存储系统。在个高速 的占比特以太网环境下，连接了多台存储服务器，它们组成一个小型机群系统。这些存 储服务器都连接了大容量的磁盘设备，存储服务器通过h s p 传输协议和i s c s i 将本地硬 揣输出给其他存储服务器成为一个可共享的网络磁盘设备，将所有这些网络磁盘设备使 用逻辑卷组织成个单一的虚拟磁盘设备。在虚拟磁盘设备上构建具有全局单一欧象的 机群文件系统。通过网络文件系统，将机群文件系统输出给外部使用。这利，以太网存储 系统具有成本低廉，高可扩展，易管理等特点，不仅适合于作为机群系统的存储子系统， 也n j 应用存许多其它领域。 关键词：网络存储系统、以太网存储系统、传输协议、i s c s i 、h s p r e s e a r c ho ne t h e r n e t - b a s e ds t o r a g es y s t e m h u f e n g h u a ( c o m p u t e ra r c h i t e c t u r e ) d i r e c t e db yp r o f e s s o rh o u z i f e n g w i t ht h ed e v e l o p m e n to fh a r d w a r et e c h n o l o g i e s c o m p u t e ra r c h i t e c t u r eh a sh a dg r e a t c h a n g e s t h ec e n t r eo fc o m p u t e rs y s t e mi s t r a i l s f e r r i n gf r o mi r a d i t i o n a lc p u m e m o r ya n d n e t w o r kt o s t o r a g es y s t e m m e e t i n gt h er e q u i r e m e n t , n e t w o r k i n gs t o r a g es y s t e mi sm a k i n g p r o g r e s ss p e e d l y , p a r t i c u l a r i l y , e m e r g i n go fe t h e m e t - b a s es t o r a g es y s t e mm a k ei tp o s s i b l et o p o p u l i z eb r o a d l y c l u s t e ri s t h em a i na r c h i t e c t u r ei np a r a l l e lc o m p u t i n g ，i tg e n e r a l l ye m p l o y s s a n b a s e d n e t w o r k i n gs t o r a g es y s t e m b e c a n s eo ft o oh i g ht c oo fs a n b a s e d s t o r a g e s y s t e m c l u s t e rh a s n t b e e nd e p l o y e dw i d e l y i ti s v e r ys i g n i f i c a n tt os t u d ye t h e r n e t - b a s e d s t o r a g es y s t e m i nc l u s t e re n v i r o n m e n t c u r r e n t l ne t h e m e t - b a s e ds t o r a g es y s t e m i sb a s e do n1 s c s ip r o t o c o lw h i c hu s e st c p t r a n s p o r tp r o t o c 0 1 t h r o u g he v a l u a t i n ga n da n a l y z i n gt h ep e r f o r m a n c eo fi s c s is y s t e mo v e r t c p , w ed i s c o v e rt h a tt c p c a n n o ts a r i s f yt h es p e c i a ln e e do fs t o r a g es y s t e m ，i tl e a d st ol o w t r a n s f e r r i n gp e r f o r m a n c ea n dh i g hc p u u t i l i z a t i o n o v e r h e a do np r o c e s s i n gt r a n s p o r tp r o t o c o l l o w e r st h e s y s t e mp e r f o r m a n c e ，s oi m p r o v i n gt r a n s p o r tp r o t o c o lp e r f o r m a n c ew i l lh e l p t o i n c r e a s et h ep e r f m a n a n c eo f i s c s i s t o r a g es y s t e m ， i no r d c rt oi m p r o v ei s c s it r a n s f e lw ep u tf o r w a r dan e w t r a n s p o r tp r o t o c o ln a m e dh s p w h i c ha i m sa ti s c s is t o r a g es y s t e mi ne t h e m e te n v i r o n m e n t h s pu s e ss i m p l i f i e dp r o t o c o l s t a c k i te m p l o y st h es e r v i c ep r o v i d e db yd a t al i n kt ot r a n s m i td a t a a n dh s pu s e san e wf l o w c o n t r 0 1m e t h o dw h i c hi sb a s e do nd a t ag r o u pw i n d o w , i nt h i sw a yh s pc a nt r a n s m i tm o r cd a t a i no n e t r a n s p o r tp r o c e s s h s pa l s oe m p l o y ss o m e m e c h a n i s m si n c l u d i n ga c k n o w l e d g ea n dd a t a r e t r a n s m i s s i o nb a s e do nt i m e r , a n dd y n a m i ct i m ea l t e r n a t i o nt oa v o i dt h eo c c u r r e n c eo f n e t w o r k c o n g e s t i o ne f f e c t i v e l y i ta l s ou s e sp r o g r e s s i v ea c k n o w l e d g ea n ds e l e c t i v er e s e n d i n gs oa st o r e a c hm o r eb a n d w i d t hu t i l i z a t i o n ，i n a d d i f i o n ，h s pp r o v i d e s d a t a s e c u f i t yi n c l u d i n g a u t h e n t i c a t i o na n dd a t ae n c r y p t i o n a sam o d e l i n gm e t h o d ，c p ni s w i d e l ya d o p t e di nd e s c r i b i n ga n dv e i l f y i n gd i s t r i b u t e d s y s t e m ，c o n c u r r e n ts y s t e ma n dp r o t o c 0 1 i no r d e rt ov e r i f yh s p d a t at r a n s m i t t i n gp r o c e s s ，w e u s ec p nt od e s c r i b eh s pd a t at r a n s m i s s i o n a f t e rm o d e l i n gh s pt r a n s m i s s i o nw i t hc p n ，w e v e r i f yt h em o d e lu s i n gs o f t w a r et o o ld e s i g n c p n ，t h er e s u l ts h o w st h a th s p c a nt r a n s m i td a t a c o r r e c t l y a t i e r a n a l y z i n g t h ea r c h i t e c t u r eo fl i n u xo sn e t w o r k s u b s y s t e m ，w ep r e s e n t t h e i m p l e m e n t a t i o nm e t h o do f h s p p r o t o c 0 1 a n dw ea l s oi m p l e m e n th s pp r o t o c 0 1m o d u l eu n d e r l i n u x w em a k ep r e l i m i n a r ye v a l u a t i o na n da n a l y s i s ，c o m p a r e dw i t h t c p , u n d e rs t o r a g e e n v i r o n m e n tw h i c hh a v eb u l kd a t a t r a n s m i s s i o n ，h s pc a no b t a i nm o r ep e r f o r m a n c e ，i t s u t i l i z a t i o no f p h y s i c a ln e t w o r kb a n d w i d t he x c e e d9 0p e r c e n t w ea l s or a n 血ei s c s is o f t w a r e o v e rh s p p r o t o c o la n d t e s ti t sp e r f o r m a n c e ，t h er e s u l ts h o w st h a ti sb e t t e rt h a nt c r 1 1 1 a b s t r a c t b a s e do nh s p p r o t o c o l ，w ed e s i g nan e t w o r k i n gs t o r a g es y s t e m w h i c hi ss u i t a b l ef o rc l u s t e r w ec o n n e c ts e v e r a ls t o r a g es e r v e r st oah i g h - s p e e dg i g a b i te t h e m e t a n dm e vf o f i t iac l u s t e r s t r u c t u r e e a c hs t o r a g es e r v e ra t t a c h e sh i 曲c a p a c i t yd i s k s ，t h r o u g hh s p p r o t o c o la n di s c s i ， l o c a id i s k sa r ce x o o n e dt oo t h e rs t o r a g es e r v e ra n db e c o m eas h a r a b l cu e r o r kd i s k a l lt h e n c p l o r kd i s k si sc o m b i n e dt of o r n lav i r t u a ld i s ku s i n gl o g i c a lv o l u m e o nt h ev i r t u a ld i s k a c l u s t e rf i l es y s t e mi sc o n s t r u c t e dt op r o v i d eas i n g l ef i l es y s t e mi m a g e t h r o u g hn e t w o r kf i l e s y s t e m c l u s t e rf i l es y s t e mi se x p o s e dt oe x t e m a lc l i e n t t h i ss t o r a g es y s t e mb a s e do ne t h e r n e t h a sa d v a n t a g e si n c l u d i n gl o wc o s lh i g hs c a l a b i l i v ya n de a s ym a n a g e m e n t ，a n di ss u i t a b l ef o r s t o r a g es u s b s y s t e m o f c l u s t e rs y s t e m k e y w o r d s ：n e t w o r k i n gs t o r a g es y s t e m ，e t h e m e t b a s e ds t o r a g es y s t e m ，t r a n s p o r tp r o t o c o i s c s i ，h s p 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文中不 包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名： 日期：加舢夕 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许论 文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、缩印 或其它复制手段保存该论文。 作者签名 铈虢阳魄 印 t 2 9 1 第一章引言 1 1 计算机体系结构的变化 第1 章引言 自从九四六年世界上第一台电子计算机e n i a c 诞生以来，在近6 0 年的飞速发展 过程t - | j ，计算机硬件技术先后经历了从最初的电子管到晶体管再到集成电路，最后到大 规模和超大规模集成电路四个阶段 1 。在此过程中，电子器件体积不断缩小，功能不断 增强，极大地推动了计算机性能的持续改善。著名的摩尔定律指出：“集成电路芯片上的 晶体管数日每1 8 个月翻一倍”。图1 - 1 给出了微处理器的摩尔定律，幽r p 可以看出，i n t e l 推出的桌面计算机c p up e n t i t t mi v 包含多达四千二百万个晶体管【2 。e n i a c 的运算速度 仅为5 0 0 0 次每秒，而当今世界上最快的计算机能够在每秒内完成3 5 万亿次浮点运算， 是e n i a c 的7 0 亿倍 3 。 图】- 1 微处理器的摩尔定律 另一方面，伴随硬件技术的发展，计算机系统结构也发牛了很大的变化，出现了许多 不同的体系结构。根据体系结构的不同，可以对计算机进行分类。分类方法有多种，其 一f _ i 最为广泛接受的是f l y n n 方法 4 】，他将计算机系统按照指令流和数据流进行分类，计 算机呵归为单指令流单数据流( s i n g l e i n s t r u c t i o ns i n g l e d a t a ，s i s d ) ，单指令流多数据流 ( s i n g l ei n s t r u c t i o nm u l t i p l ed a t a ，s i m d ) ，多指令流单数据流( m u l t i p l ei n s t r u c t i o n ss i n g l e d a t a ，m i s d ) ，多指令流多数据流( m u l t i p l ei n s t r u c t i o n sm u l t i p l ed a t a ，m i m d ) 四类。 s i s d 论文：基于以太嘲的存储系统研究 单指令甲数据流计算机指的是传统的顺序处理计算机，一个处理单兀取得一条指令， 然后该指令对- 一个单一的数据流进行处理。所有冯。诺伊曼结构的计算机部属于s i s d 系 统。s i s d 是一种串行处坪结构，因此其性能较低。 s i m d 单指令流多数据流计算机是多个处理申在同一个控制器的控制下工作的系统，系统 r h 各个处理单元执行相同的指令，但作用于不同的数据流上。属于这一类的计算机包括 向量计算机和阵列处理机。 m i s d 多指令漉单数据流计算机有多个处理单元，它们同时作用子一个单一的数据流上。 m i s d 结构仪仪在概念上和理论上存在，在实际中，目前还没有任何一台计算机是采刚 m i s d 结构的。 m i m d 多指令多数据流系统是在多个不同的处理机上执行不同的指令流，并分别作用于不同 的数据流之上。根据各个处理机之间耦合程度的不同，它又可以细分为共享存储( s h a r e d m e m o r y ) 的多处理机系统( m u l f i p r o c e s s o r ) 和分布存储的多计算机系统( m u l t i c o m p u t e r ) 曲类。多处理机系统扩展性较差，性能和规模受到限制。多计算机系统成为一个主要方 向。最初的多机系统大多属于m p p ，但是m p p 的成本较高，后来出现了机群( c l u s t e r ) 结构，它使用商品化部件，能以低廉的价格提供优异的性能和良好的扩展能力。 m i m d 系统是实现作业、任务、指令和数据各个级别全面并行的理想结构，是当今 并行处理的主流系统。而多计算机系统是m i m d 中更好的结构，其中的机群系统更是当 今最为重要的结构之一。 1 9 7 7 年，d e c 公司最先推出了以v a x 为结点机的松散耦合的机群系统，并成功地 将v m s 操作系统移植到该系统上【5 。进入9 0 年代后，随着服务器技术的发展和高性能 网络产品的出现，机群系统在性能价格比( c o s t p e r f o r m a n c e ) 、可扩展性( s c a l a b i l i t y 、 可朋性( a v a i l a b i l i t y ) 等方面都显示出了强大的竞争力，尤其是它在对现有单机软硬件产 品的继承以及对商用软硬件最新研究成果的快速运用这两方面表现出传统m p p 无可比拟 的优势。日前，机群系统已在许多领域获得应用。随着s m p 产晶的大量使用和高性能网 络产品的发展完善以及各种软硬件支持的增多和系统软件、应t e | j 软件的丰富，机群系统 凭借其性能价格比、可扩展性、可用性等方面的优势，成为当今高性能计算领域的种 丰流平台。 具有代表性的机群系统有b e o w u l t l 6 、i b m 的r s 6 0 0 0s p 7 、d e c 的t r u c l u s t e r 8 、 u cb e r k e l e y 的n o w 9 】、s u n 的s p a r c c l u s t e r1 0 0 0 2 0 0 0 p d b 1 0 】以及m i c r o s o f t 的 w o l f p a c k 1l 】等，国内的曙光2 0 0 0 3 0 0 0 1 1 2 系列服务器和联想深腾1 8 0 0 6 8 0 0 高性能服务 器 13 采用的也是机群体系结构。 第一章引言 1 2 计算机系统中心的迁移 从历史和现状来看，计算机系统的发展正呈现从传统的以c p u 为中心和以网络为r f l 心向以存储为中心进化的趋势。 在计算机发展的初期到二十世纪7 0 年代，c p u 的计算能力是人们主要关注的对象。 由于硬件技术的限制，购买计算机成本高昂，只有极少数的大型企业和国家科研机构拥 有计算机，这时的计算机的结构都是大型的主机系统，人们通过终端连接到+ 厶主机上 来共享主机的计算能力。主要采用分时方式和批处理方式来处理作业。在这个时代，c p u 是计算机系统的绝对巾心。而存储系统作为一个主机的附件通过专用的电缆与之相连接， 一台主机j ：= 的存储系统是该主机独占的。 到了8 0 年代，硬件技术的进步使得c p u 的处理能力不断增强，价格持续下降，计算 机逐渐普及，计算机出现了小型化和微型化的趋势，另一方面，网络的出现和应用使得 人们可以通过网络将这些计算机连接在一起并利用网络上其它计算机的计算能力，在这 个时候，计算机系统的巾心逐渐向网络转移。s u n 提出的口号“网络就是计算机”正是 这个特征的真实写照。独立的服务器形成一个个信息的孤岛，每个服务器都有自己的存 储，存储分散在网络上。在这个时期，也逐步出现了文件服务器这种共享存储的方式。 到了9 0 年代，随着i n t e m e t 在全世界范同内的迅猛发展和新型应用的不断涌现，例 如w e b 服务，电子邮件，远程文件传输，导致数据量出现爆炸式增长，数据存储的问题 逐步显现出来，另方面，人们对于计算的认识进入一个新的阶段，计算的过程就是信 息的处理，传输和存储的过程。信息的处理代表了对c p u 计算能力的需求，而传输代表 了对于网络的需求，存储则是信息的最终归宿，在这个阶段中，存储系统扮演至关重要 的角色。计算机系统正在向以存储系统为中心转移，存储的集巾和共享是这个阶段的最 重要的特征。存储设备物理集中，管理集巾，为系统中所有服务器共享，服务器通过网 络连接到存储设备上，存储系统为巾心的时代正在到米。 1 3 高速连网技术 计算机系统逐渐向以存储为中心转移，在这个过程中，高速网络技术是存储设备之问 或者存储设备与主机之间，以及主机与丰机之间进行连接的必不可少的组成部分。为了 更好地理解高速网络在存储系统中所起的作用，在本节我们对当今的先进网络互连技术 进行一。个简要的概括。 口前网络技术的发展已经能够提供高达数吉比特每秒的传输速率，技术的发展特别是 高速网络技术不断取得进展，使得在不同的主机之间高速地传输大量的数据成为可能。 前，有多种网络技术能够适应大数据量高速传输的需求，但是只有几种技术是当前或 者未来最可能在存储系统中使用的，这些技术包括高速以太n j 1 4 ，1 5 ，光纤通道 1 6 ，1 7 ，18 和i n f i n i b a n d 1 9 ，2 0 1 。 沧文：基于以太扣4 的存储系统研究 1 3 1 光纤通道 光纤通道( f i b e r c h a n n e l ) 1 1 6 ，1 7 ，t s l 是由受美国国家标准协会( a n s i ) 委托的几个委 员会开发的一组集成标准的通用名称。这组标准确定了用于灵活传输信息的新协议，它 独立于介质，并支持同时传输多种不同协议。 光纤通道是一利，结合传统的通道技术和网络技术的串行互连技术，这使得其可以在长 距离上实现可靠的数据传输。方面，它利用通道技术的高可靠性和速度优势，另一方 面，它发挥网络的分布广泛的优势，能够将多个设备和服务器连入同一个基于交换结构 的网络中，从而可以突破传统通道的限制，实现存储设备的共享。 图1 - 2 光纠通道结构 与传统的通道技术相比，光纤通道在连接能力、可靠性、灵活性、传输距离及带宽等 方面有着明显的优势，从而使其一度几乎成为高速存储访问和服务器集群的事实连接标 准。现在，大约三分之二的存储厂商支持光纤通道标准，网络存储中的s a n 几乎都是采 用f c 来连接存储设备的。 图1 - 2 是个典型的使用光纤通道s a n 的例子。 但是，光纤通道网络最大的问题就是其昂贵的设备和管理成本，因此，高带宽、低价 格的f c 成为了主要的研究方向。传输速率为2 g b p s 的光纤通道技术已经非常成熟，当 前正在研发传输速率高达1 0 g b p s 的光纤通道。 1 3 2以太网( e t h e r n e t ) 以太网可谓是到目前为止最老也最成功的局域网标准1 1 4 ，1 5 1 。以太网的速率最初为 5 m b p s ，后来发展到1 0 m b 和1 0 0 m b p s 。它是一种局域网技术，因此基于以太网的系统具 第一章引吉 有高带宽低延迟的特性，使得它成为其它高速近距离通信技术的强有力的竞争者，这极 大地推动了以太网技术的发展。1 9 9 8 年，g i g a b i t e t h e m e t 标准i e e e8 0 2 3 z 发布，使得用 户可以获得高达1 g b p s 的数据传输率，目前，市场上已经有成熟的g i g a b i t e t h e m e t 产品， g i g a b i te t h e m e t 已经走入实用化的阶段。 以太网技术以其低的运营成本、不断提高的qos 和网管能力、以及易于移植和升级 等优势，打败了众多的挑战者，最终无可争辩地成为局域网、校同网和城域网的统治者， 世界上至少有80 以上的局域网采用以太网技术。 1 9 9 9 年，业界开始研制1 0 g i g a b i te t h e m e t ，这是i e e e8 0 2 3 - h s s g 计划的部分，该 计划日前正在为成为 e e e8 0 2 3 a e 标准的一部分而努力。已经有一些公司推出了基于 1 0 g i g a b i t e t h e r n e t 的产品，另外4 0 g b p s 和1 0 0 g b p s 的e t h e r n e t 标准也在讨论之巾。 1 0 g i g a b i te t h e m e t 目前的主要问题是价格。由于没有现有的技术可以借用及对各种光 纤类别支持的需求，使得1 0 g i g a b i te t h e m e t 技术极其复杂而且难于生产。其成本大约是 ! 与前使用的g i g a b i te t h e m e t 的2 0 到9 0 倍。与1 g i g a b i te t h e m e t 相比，其增长速度可能会 更慢些。因此e 1 前的研究主要集中于如何降低成本。 1 3 3i n f i n i b a n d 为了适应数据传输无限增长的带宽要求，并彻底解决处理器间的通讯开销和延迟问 题， 1 9 9 9 年1 0 月，c o m p a q 、d e l l 、h p 、i b m 、i n t e l 、m i c r o s o f t 和s u n 七个行业巨头成 立了l n f i n i b a n d 联盟，共同制定和开发基于t 业标准的高性能互连技术规范，称为 i n f i n i b a n da r c h i t e c t u r e 规范，简称i b a1 1 9 ，2 0 i 。 幽1 3 给出了i n f i n i b a n d 体系结构幽。它采用摹于通道的点对点的连接，l o a d s t o r e 的配置方式可以将i o 子系统和内存子系统隔离。这种设计采用的互连物理线可以是单 线，四线或者1 2 线并行。通过多线连接可以实现性能的扩展。i b a 规范支持通过铜缆或 者光纤进行连接。i n f i n i b a n d 技术可以应用于服务器内部通信，服务器之间的瓦连，服务 器与存储系统互联，存储设备之问互连，以及网络通讯设备连接等许多领域。 在。些业务关键的应用巾，譬如数据巾心，使用i n f i n i b a n d 技术在多个结点之间建立 多条冗余的路径，从而可以防止单条链路的失效造成整个系统的不可用。 i n f i n i b a n d 技术有三种版本，第一种版本可以提供2 5 g b p s 的传输速率，第二种版本 可以提供4 倍于版本一，也就是1 0 g b p s 的传输速率，第三种版本则可以达到3 0 g b p s 。 i n f m i b a n d 包括用于铜缆和光纤进行互连的版本，从而可以实现距离长达数公里的设备互 连，为远程数据复制，数据容灾等应用提供技术保证。 论文：基于以太网的存储系统韧f 究 图1 - 3i n f i n i b a n d 体系结构 i n f i n i b a n d 的出现改变了原先计算机系统在计算结点互连、网络接口、i o 接口等多 种互连标准上的混乱局面，采用一种统一的互连结构将服务器集群系统、存储域网和客 户网连接起米。同时i b a 所定义的互连结构独立于处理器平台和操作系统，使得其更加 开放，可移植性更好。 i b a 规范1 0 版已于2 0 0 0 年1 0 月正式发布，目前，联盟会员已超过1 3 0 个，各会员 公司纷纷公布其相关产品计划，一些开发环境及测试产品开始面世。但由于其初期的投 入和成本太高，它离大规模的应用仍然有一段距离。 1 4 文件系统的发展 作为计算机系统中信息管理的基础，文件系统在存储系统中具有非常重要的地位。当 前文件系统的发展不仅仅限于本地的基于磁盘的文件系统，更多的是基于网络的文件系 统。下面对这些文件系统做简单的回顾。 1 4 1 本地文件系统 本地文件系统就是对计算机系统内部的文件进行管理的系统，它管理系统自身所连接 的磁盘设备，对本地的文件访问请求进行响应。本地文件系统通常是操作系统等系统软 件驻留的地方，绝大部分计算机系统都有自己的本地文件系统，本地文件系统一般也被 ! j4 5 - 操作系统的。部分。一些本地文件系统的例子包括f a t ，n t f s 2 1 ，f f s 2 2 年 i e x t 2 e x t 3 1 2 3 ，2 4 等。 1 4 2 分布式文件系统 分布式文件系统是一种特殊的文件系统，客户机，服务器和存储设备分散在分布式系 统- f f 的各个机器上。它提供一种在分布式计算环境下共享文件的方式，通常分布式系统 第一章引占 是一种地珊位置分布较广的计算机，因此对于分布式文件系统来说，其关键在十提供文 件共享和全局目录树，分布式文件系统能够提供在全局范围内的位置透明性，外部客户 访问分布式文件系统如同访涮本地文件系统一样。在分布式文件系统中，性能的考虑并 不是首要的。著名的分布式文件系统包括s u n 的n e t w o r kf i l es y s t e m 2 5 ，2 6 ，2 7 ，a n d r e w f i l es y s t e m 2 8 ，2 9 ，c o d a 3 0 和s p r i t e 3 1 。 1 4 3机群文件系统 机群文件系统是一种应用在机群系统中的文件系统，所有服务器共享存储设备，机群 文件系统提供单一文件系统映象，从任意一台服务器上访问文件系统所看到的文件目录 结构和内容都是相同的。机群文件系统的关键是保证数据访问的同步与互斥，以及解决 缓存致性问题。b e r k e l e y 的x f s 3 2 ，r e d h a t 公司的g f s 3 3 ，s g i 的c x f s 3 4 干h v e r i t a s 的c f s 3 5 ，3 6 是机群文件系统的代表。 1 4 4 并行文件系统 并行文件系统是面向并行计算的，它提供极高的访问带宽，通常并行文件系统运行在 地理位置集中的多机系统中，针对i o 密集的并行程序。它的主要目的是获得更高的并发 访问带宽。在l i n u x 上应用广泛的p v f s 3 7 是并行文件系统的例子，其它的例子包括 p p f s 3 8 ，v e s t a 3 9 ，p i o u s 4 0 以及i b m 的g p f s 4 1 等。 1 5 存储系统的分类 根据存储系统与主机的耦合程度，我们可以将它分为两大类，一类是直接连接存储， 另一类是网络存储( n e t w o r k i n gs t o r a g e ) 。在直接连接存储中，主机系统和存储设备通过 内部电缆进行连接。网络存储系统则是通过网络为外部计算机提供存储服务的专用计算 机系统。根据网络存储系统中所使用的联网技术以及系统所提供的访问接口的方式，它 又可以分为四大类，如图1 - 4 所示： 论文：基十以a 同的存储系统剐f 究 1 5 1d a s 址 杈 巾 埔 媸 厘 怒 g m 粥 连网技术 以太网光纤通道 日日 日曰 图1 4 网络存储系统分类 直接连接存储( d i r e c t a t t a c h e ds t o r a 叠e ，d a s ) 自从大型机时代以来就直占据着存储 系统访问模式的主导地位，直到今天，d a s 方式仍然是目前大多数服务器所采取的方式。 简而青之，d a s 通过专用的通讯路径将存储设备直接连接到服务器来实现数据的访问。 在d a s 结构1 ，服务器通过专用路径( 典型的如s c s i ) 将存储设备连接起来，当需要访 问存储设备的时候，它发出i o 指令，存储设备根据指令进行相应操作，将数据返回给服 务器，或者将从服务器传来的数据写入到磁盘。d a s 的存储设备可以是磁盘驱动器，也可 以是r a i d ( 廉价磁盘冗余阵歹r j ) 4 2 ，4 3 1 子系统，或者是其他的存储设施。通常d a s 与服务 器之间提供块级的接口，也就是说，数据的传输是以块为单位的。文件系统位于服务器 上，由它来决定在一次访问中，需要访问哪些数据块。 举于d a s 的存储系统具有如下优点：部署简单，技术成熟，成本较低。但是相比其 优点，其缺点要多得多。首先它无法实现有效的多机数据共享，其次由于电缆电气性能 等的限制，其传输距离非常短，存储系统必须在物理上非常靠近主机，第三，其可扩展 性非常差，第四，分散的d a s 系统无法进行有效的管理。因此，d a s 现正逐步被出现的 基于网络的存储系统所替代。 1 5 2n a s 网络连接存储( n e t w o r k a t t a c h e ds t o r a g e ) 本质上是1 个以文件服务器为中心的系统， 它为网络上的客户提供文件级的访问接口。 n a s 主要由n a s 服务器，网络和应州服务器组成。在这种结构中，系统的计算任务 由应= 1 j 服务器来完成，而n a s 服务器为应用服务器提供存储( 即应用服务器是n a s 服 务器的客户机) 。n a s 服务器是种专用服务器，它带有大容量的存储设备，为应用服务 器提供文件服务。为了提高效率，n a s般都采用专用操作系统，或者使用经特别优化 的通用操作系统。应j h 服务器通过网络从n a s 服务器读写文件数据。在n a s 中通常使 用局域网作为数据传送通道，用得最多的是e t h c m e t ，这样用户可以利用现有的e t h c m e t 而不需要为存储部署单独的网络。对于应j - h n 务器来说，他们不需要关心与存储相关的 问题，这样使之更专注于对数据的处理。n a s 服务器自身带有文件系统，文件系统构建 于其所连接的存储设备上。n a s 服务器与应用服务器之间采用文件级接口，n a s 服务 器通过将文件系统输出来使得外部客户可以访问其上的数据。通常在n a s 服务器上采用 t 业标准的n f s ，c i f s ，h t t p 和f t p 等作为网络文件访问接口协议，因此n a s 能在异 构计算机系统之间提供数据共享能力。 n a s 的丰要优点在于它能够以低廉的价格提供基于网络的存储系统，由于它使用文 件级的接口，冈而能实现在异构系统之间共享存储，另外n a s 系统的部署和管理都非常 简单，使得其成为数据容量和流量较小的中小系统的首选。其缺点是其性能往往比较低， 可扩展性较差，另外它无法支持象数据库这类基于块的应用。 1 5 3s a n s a n 是一种专用的高速存储网络技术。根据存储联网工业协会( s n i a l 的定义：它是 一利r 在计算机系统和存储元素之间或者在存储元素之问传输数据的网络。s a n 技术最初 米自于i b m 的e s c o n 和f i c o n 3 9 ，后来发展为基于光纤通道的s a n 。 s a n 可以被看作是存储总线概念的一个扩展，它使用局域网( l a n ) 和广域网( w a n ) 。类似的单元，实现存储设备和服务器之间的互连。这些单元包括：路由器、集线器、 交换机和网关。s a n 可在服务器间共享，也可以为某服务器所专有，既可以是本地的 存储设备也可以扩展到地理区域上的其他地方。s a n 的接口可以是企业系统连接 ( e s c o n ) 、小型计算机系统接口( s c s i 4 5 ) 、串行存储结构( s s a 4 6 】) 、高性能并行 接口( h i p p i 4 7 ) 、光纤通道( f c 1 6 ，1 7 ，1 8 ) 或任何新的物理连接方法。 采用s a n 网络技术的存储系统一般由服务器，存储设备和s a n 网络互联设备组成。 服务器运行应用程序，数据存放在存储设备上。多个服务器和存储设备通过s a n 连接在 起，理论上网络中的所有服务器都可以访问系统中的所有存储设备，通过z o n i n g 技 术可以对存储设备进行分区，从而为数据访问提供安全保证。当前s a n 实现一般采用光 纤通道( f c ) 作为网络传输介质，在s a n 结构中，磁盘设备和磁带设备都可以直接连接到 网络t h 从而可以实现无局域网( l a n f r e e ) 的数据备份。基于s a n 的存储系统为服务器 提供块级的数据访问。与d a s 相似，文件系统构建在服务器上，由它们来决定需要访问 的数据块。 s a n 主要用于氽业级的存储网络中，它也可应用于数十公里范围的城域网l hs a n 的丰要优点是其具有非常优异的性能，它也能提供强大的扩展能力，适台于对性能和扩 展性要求高的系统。其缺点在于其硬件成本很高，且由于使用专门网络，所以培训成本 也较高，另外s a n 结构的管理非常复杂，这些都对