（计算机科学与技术专业论文）基于san的异构机共享文件系统的设计与实现.pdf

西北工业大学硕士学位论文摘要 摘要 大型企业的计算设施通常是由开放平台和大型机组成的多服务器异构环境， 实现二者的计算资源集中存储和共享访问，对降低企业的存储管理成本具有非常 重要的作用。 基于存储区域网络( s 吣a 陀a n e 嘲o r k ，s a n ) 异构机共享文件系统正是 为实现开放平台和大型机对存储资源的共享访问而设计的。系统采用双网络型架 构：将开放平台和大型机通过s a n 网络连接存储设备，借助s a n 的直接存储访 问能力，系统可以拥有接近本地文件系统的存储访问性能；通过局域网( l c 晒a l a 坨an e t w o 伙，l a n ) 来传递开放平台和大型机间的文件访问控制信息，能很好 地协调二者对设备的共享访问。此外，系统在开放平台上通过元数据代理模块和 文件访问模块来模拟大型机文件系统功能，从而屏蔽了开放平台和大型机的文件 系统差异，实现了数据的透明存储访问。 针对本系统主要的研究工作和研究成果如下： 1 ) 研究了缓存、预读和聚集写、异步、裸设备访问等多种磁盘文件读写 技术，将其综合应用于系统的文件读写访问中。提出了一种与大型机文 件系统特征相结合的b p b 肿b 缓冲区长度调整策略。实验结果表明，采 用上述策略后，系统的读性能最多可以提高o 1 5 倍，写性能最多可以提 高o 2 5 倍。 2 ) 研究了元数据服务器集群和冗余们0 路径的技术，并提出适用于本系统的 简单且有效的负载均衡和容错算法，如针对元数据服务器集群的负载均 衡提出了以服务器性能为权值的加权最小a p 数算法等。采用上述两种技 术后，系统的处理速度得到了提高并且避免了单点故障，系统具有了高 可用性和高可靠性。 3 ) 根据元数据事务消息的传输需求，在t c m p 的基础上设计了新的两层协 议r a c p r t c p ，该协议通过一对一的请求和确认消息以及连接异常时的 自动恢复功能，保证了元数据事务的可靠性传输。 4 ) 根据字符设备的特殊需求，设计了一个伪设备驱动程序，它将块设备驱 动的策略例程应用到字符设备的访问中，从而解决了光纤通道发生故障 时字符设备的i ，o 死等问题。 基于s a n 的异构机共享文件系统已被实现，并在实际中得到了初步应用。 关键词：存储区域网络、大型机文件系统、元数据服务器集群、伪设备驱动程序 西北工业大学硕士学位论文 a b s 自r a c t a b s t r a c t c a l c l l l a 士ce n v i 啪l e n ti nl a r g es c a l ec o r p o r a t i o n si sf o r m e db ym a n yd i s s i i i l i l 盯 s e n ，e r si i l c l u d i n g ( 枷ls y s t 啪s 蛳dm a i n 丘锄e s i fc a l c u l a t c s o u r c eo fo p 匝 s y s t 锄疆a n dm a i n 矗a r n e sc 姐b es 幻r e dc e n 圩a l i 瑟d l ya n da c c e s dg h a r c d l y ，t h e s t d m g em f m a g 锄锄tc o s t 谢】lb er c 司曲v i o u s l y s a n b a s e ds h a d e df i l es y s t e mf b rd i s s i r n i l 盯s y s t e m si sd e s i 驴e dj u s tf o r r e a l 曲gs h a r e da c c e s so f 脚u r o eb t 出啪o p e ns y s t l 嘲1 sa n dm a i n | h i m e g t h e s y s o e mh 鹤t 、v on e t w o r k s ：o n ei ss a n ( s t 0 i 鹆e 舡c an 印o r 岣，a n dt i l eo t h e ri sl a n ( l o c a ia r e an 酣o r k ) c l p e ns y s t e i n s 锄dm a i l 血珊e sc o m e n t 、i ms 蛔r a g ed e 、，i c e s t h r o u 曲s a n ，h lv i 帆o f 血ed 胁a c c e s s 缸m t yo f s a n ，血es y 咖mc m h a v em e 鳓t i ，op e r f 0 咖粕c cc l o s e dt 0l o c a l 丘l es y g t e m a n do p e ns y s t e m s 柚dm a i n 舰m e s c o n i c n t 晡t he a c ho t h c rt l l f o u 曲l a n 蒯c hu s c df o r 妇l s 传血g 缸矗i ec o n l i l d - o n 嘣o nb e l ：w e e nt h eb o t l l t h ec 叫i t r o li n f o n n a ：t i o nc a na v o i ds h 删a c c e s s c o 蝴i c tb e 咖( x c ns y s t e m s 锄dm a i n 矗锄e s ，b e s i d e s ，垃l e 磊ks y t e mh a s 咖k e y m o d 试e s ：m 砌a t ea g e n tm o d u l ea 1 1 df i l ea c c e s sm o d u l e ，w h i c ha r ei m p l 比脚t e d 0 | p e ns y s t e m $ a n du s e df o rs i n l l l l a 士i n gt h em a 抽如m ef i l cs y s t e l n t h r o u 曲t 1 1 e m o d 试e s ，位s y s 咖m a s k st h ef i l es y s t e r nd i 饪b r e n c eb e t v ，e e no p e ns y s t c f n s 锄d a i n 触m e s a n dt b e r e f b 佗t h e 毋蛐咖s t o r e 粕da c c e s s 廿a n ：驴龃e n t l 孓 kl h en l e s i s ，a l lt h ew 耐k 锄dr e s e a r c hr e s u hc a nb e 翻儿n l n a r i z e da si o n o w s ： 1 ) m a n yd i s ka c c e s st e d h n o l o 西e sh a v eb e 髓r e s e 缸c h e d 蜘d 璐e d 细嘲雕“e l yj n f i l ea c c e 鹤，s i l c h c a c h e ，p r e f b t c l l i l 唱a n dw n t e - c 1 l l s t e r i n g ，a s y i l 曲枷i 锄 m ，r 矗wd i s ka c c e s s 锄ds o a n da c c o r d i n gt o 廿地s p a c el a y o u to f t l 把 m a i l l 丘a mf i l es y s t e m ，as 眈t e g yo fa d 吲m n gc a c h es i z e ，c a l l e db p b 肿b ，i s p l 廿p o s e d t h et e s tr e s u l t ss h o w t l l a tb y l i t i l i z i n gt h es 仃：啦g y ，也ep e r f 0 加a n c e o fr e a da i l dw r i t em a yb ei n c r c a s e da tm o s tb yaf k t o ro fo 1 5a n d0 2 5 s p 洲v e l y 2 ) m c t a d a t c 辩r v 盯c l 咖粗d 托血i i 血n t p a m st e c l l r i o 王。百e sh a v eb e e n m s e a r c h e 正 s i m p l e 锄d e 艉c t i v el o a d - i n 而1 卸c c 锄df a l l l tt o l e m c e a i g o r i t h 】 n s ，w f i i c ha r es i i i 协b l ef b rt l l es y s c e m ，a wi t i i p i e m e 曲蟠f o r “a n l p i e ， u s e dt h em a i n | b m es e r v i c ep 曲唧a n c e 嬲aw e i 曲t ，an e ww e i g h t e da p n 嘲b e r1 e a s ta l 鲥t h m si s p r o p o s e d 岛r 也e m a i n 蠹幻砖c l u s 把r ，s l o a d i n 七l a n c c a f t e rl l s i n gt h et w ot e c h n o l o 百e s ，t l l es y g t e m sp r o c 鹤ss p e e d h 丛b 嘲i n l p r o v e dk g h 眵a n dt h e 母仅e mh a sa v o j d e dt l l es 如掣ep o j n le r r i d r 姐dm c f o rt h es y s t 咖l l a sm e 1 1 i g ha v a i l a b i l 畸a i l dr e l i a b i l 时 m 西北工业大学硕士学位论文 a b s t r a c t 3 ) am e 雠啦仃a n s a c t i o n 仃a n s f e ra p p i i c 矾o n 0 r i 咖c dl a y 硎p r o t o c o l a c p ，r t c p ) i sp r o p o s c d ，w h i c hi sb a s e do nl h es t a i l d 盯dt c p 口p r o t o c 0 1 ht h ep f o t o c o l ，加嘲u e s t 锄da c l c l l o w l e d g e i n e n tm u s tb e e - t o - o ，孤d w h e nd i s o r d e r h a p p e n d s i nn 坨d a t ac o n n 虹o n ，t h e p f o t o c o l c 锄 a u t o m a t i c a l l yr e c o v c rt l l ec 彻皿c c t i o ni n 血n e s ot l l er a c p 瓜t c pp r o t o c o l c a nm a k es u r et h a tt h em e t 戳妇t r 以l s a e t i o n sw i l lb et a n s 是删f e l i a b l y 4 ) a n e wp s e u d od r i v e ri si m p l e m e m e df o rc h a m c t e rd c v i c e s ，w 1 1 i c h 印p i y st l l e s t z 妇g yr o u t i i l eo f b l o c kd r i v e fi i l t ot b er c a d 、v r i t cr o u t i n e so f c h a r a 曲e rd f i v e r t h ep s e u d oma ：k e s 也er e a ( ”w r i t e0 1 删o n “也ed 墙r a c t e rd e v i c e sr e 咖 i m m e d i a l l yw h e n 筋l t u h a p p e n c d si i lf i b r ec h a 衄e l s ，锄dt l l e r c f o r 血e d c a d - 1 0 c kp r o b l e mi sa v o i d e d 1 ks a n _ b a s e ds h a r e df i l es y g c e mf o rd i s s i i i l i l a rs y s 衄璐h 勰b e e n i n l p l 锄e n t e da n d 咎瞳si n i t i 8 l l y1 1 s e d 抽删i c e k e yw o r d s ：s t o r a g ea 咒an 舒r km a i 幽m n l ef i l es y s t c i n m e t a d a ：t es e r v e rc l l i s _ 吼 p s e d u od r i v e rd e v e l o p m e m 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位 期间论文工作的知识产权单位属于西北工业大学。学校有权保留并向国家有 关部门或机构送交论文的复印件和电子舨。本人允许论文被查阅和借阅。学 校可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存和汇编本学位论文。同时本人保证，毕业 后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业大学。 保密论文待解密后适用本声明。 学位论文作者签名：王延墓指导教师签名：煳 叫年弓月1 日叼年岁月日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位 论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文 中已经注明引用的内容和致谢的地方外，本论文不包含任何其他个人或集体 已经公开发表或撰写过的研究成果，不包含本人或他人已申请学位或其它用 途使用过的成果。对本文的研究做出重要贡献的个人和集体，均已在文中以 明确方式标明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名：至i 王墓 a o 可年j 月1 日 西北工业大学硕士学位论文 第l 章绪论 1 1研究背景 第1 章绪论 大型企业的计算设施通常是包含大型机、u n 仅、w i i l d o w s 在内的多服务器平 台异构环境。企业希望多种异构平台能够在数据层面上实现无缝集成，能在文件 系统的层面上实现交互。这对于实现计算资源的整合以及降低企业的数据存储成 本有十分重要的意义。因此，实现异构环境的文件共享成为企业的迫切需求。 传统上，异构系统通过客户端服务器模式来实现文件共享。文件存储在服 务器的私有磁盘上，客户端想要访问数据时需提出文件访问请求，由服务器获取 数据并将数据转发给客户端。二者的数据交互是通过网络完成的。这种文件共享 模式的最主要缺点是数据访问性能低下。造成这种现象的原因有两个：一是数据 的访问性能受限于网络带宽；二是数据在存储设备、服务器、网络以及客户端的 多个缓冲区中移动，大大降低了数据的访问性能。由于这些缺点使得传统的文件 共享方式很难满足企业日益增长的对海量数据的处理要求。 近年来，存储区域网络( s t o r a g e 觚a n e r k ，s a n ) 的出现改变了传统存 储系统的互联方式、访问语义和传输性能，其最显著的特征是：将存储设备从主 机系统中剥离出来，通过高速光纤通道( f i b r ec l l a l l l l e l ，f c ) 将二者连接，存储 设备成为多台计算机的共享资源，即任意计算机都可以通过f c 直接对任意存储 设各进彳亍访问。利用s a n 的网络共享存储直接访问能力【”，可以构建出一种全 新的高性能共享文件系统。任意计算机可以直接访问共享存储设备上的数据，而 不再需要通过服务器进行数据的存储，转发，从而可以在很大程度上解决服务器 性能瓶颈问题和网络带宽过度消耗问题，获得接近本地文件系统的性能。 基于s a n 的共享文件系统提出了新的数据访问模型，成为当前的业界的研 究热点之一。同时，这也使褥许多传统的分布式文件系统技术不再适用，基于 s a n 的共享文件系统在实现其高可靠性、高可用性和可扩展性目标时面临一些 新的挑战。 1 2 国内外研究现状 存储区域网络的迅速普及和发展宣告了共享存储时代的到来，并掀起了国内 外学术界和工业界研究与开发基于存储区域网络的共享文件系统的热潮。目前， 比较成熟的存储区域网络共享文件系统有： ( 1 ) 2 0 0 3 年，m m 推出了i b mt o t a ls t o r a g es a nf i l es y 咖m 【2 】，该文件系统 西北工业大学硕士学位论文第l 章绪论 实现了u n 、w i n d o w sn 1 2 0 0 0 等开放平台间的文件共享。由于借助s a n 的 直接访问能力，系统具有接近于本地文件系统的数据访问性能。 ( 2 ) 地址伍s ( h i g l l l ya 嘶l a b l em u m s e r 、惯f i l es y s t e m ) 例是f 【j j i t s u 计算 机系统实验室开发的一个基于s a n 的共享文件系统，其面向的应用环境是完全 由i n 系统构成的大规模商业环境。 ( 3 ) c x f s l 4 j 是s g i 公司研制的一个共享文件系统，其设计目标是在s a n 环 境下实现异构平台之间的数据共享，并保证数据访问的高可用性；同时具有良好 的可扩展能力，以保护用户已有的投资和满足未来企业计算环境的需求。 ( 4 ) d i f f s i ”是h p ( h e w l e t t p a c k a r d ) 实验室研制的一个基于s a n 的分布式 文件系统。d i f f s 将共享存储划分为多个分区，每一个分区由一个分区服务器管 理，这样就将存储资源的访问冲突问题限制到单个分区内，从而具有了良好的系 统可扩展性。 ( 5 ) 蓝鲸共享文件系统( b l u ew h a l ef i l es y 昧：n 1 ，b w f s ) 嘲是中科院计算所 国家高性能计算机工程中心正在开发的一个文件系统。b w f s 是一个支持垮平台 文件共享、可扩展的大型海量分布式文件系统，可以支持l i n l l ) 【、m n d o w s 平台 上的多种应用。 从上面的分析看出，基于存储区域网络的共享文件系统已经成为国内外的研 究热点之一。这些研究项目的共同特点是：都是实现同构或异构的开放平台环境 下的文件共享。而关于u n i 】【、w m d o w s 等开放平台和大型机间完全异构环境下 的共享文件系统，国内外研究较少。实现开放平台和大型机间的文件共享也具有 很重要的意义，而且因为这二者具有完全异构的文件系统，所以实现它们的文件 共享难度较大。 1 3 研究意义 大型机系统具有高可靠性、高可用性及高稳定性等特点，并且具有强大的i o 处理能力，通常承担关键性的大数据量处理的工作，长期以来积累了大量的数据 资源。但是，目前大型机的使用方式既复杂又繁琐，使用者只能通过大型机终端， 利用j c l ( j o bc o n 仃o ll a i l g u a g e ) 来控制大型机存储系统。而开放平台( 如 w m d o w s 、u m x 、l i n l l ) ( 等) 具有易接入b l t e m e t 、界面友好、使用灵活和应用软 件丰富等优点。在存储界，人们也一直在研究如何将它们结合起来，以充分利用 两类机器的优势，降低企业的数据存储成本，并在存储整合基础上实现异构系统 的计算资源整合。 s a n 的主要思想是将l a n 上的存储转换到主要由存储设备组成的s a n 上， 使得数据的访问、备份和恢复不影响l a n 的性能，在有大量数据访问时，不会 2 西北工业大学硕士学位论文第1 章绪论 大幅度降低网络性能。将大型机、开放平台通过s a n 网络环境连接磁盘阵列， 能够非常好的整合二者的计算资源，并可以充分的发挥二者的优势。 但由于大型机和开放平台的文件系统存在很大差异，开放平台的文件系统是 面向字节流的，而大型机的文件系统是面向记录的。开放性服务器无法直接识别 共享卷上的大型机文件，这就需要开发一个基于s a n 的开放平台和大型机间的 共享文件系统，来屏蔽两类机器文件系统的差异，使得用户使用开放平台就可以 直接访问共享卷上的大型文件。本课题的研究目标就是构建这样一个软件系统， 用来实现大型机、u n i x 、晰n d o w 等开放平台对大型机文件系统格式的磁盘阵列 的共享存储。 1 4 研究工作与论文组织 本课题在对存储区域网络和文件共享技术研究的基础上，设计并实现了开放 平台和大型机共享文件系统，并利用s a n 的直接存储访问能力获得接近本地文件 系统的访问性能。主要进行了以下方面的工作：网络存储技术和文件共享技术的 研究；缓存、异步i o 等文件读写技术的研究；元数据传输协议的设计；大型机 集群和冗余玉，o 路径技术的研究；伪设备驱动程序的开发技术的研究；文件访问 模块l i 妊i d ，和元数据代理模块a d l 【s v r 的设计实现。 论文按照作者承担的主要研究工作来安排，共分为6 章，每一章的主要内容 如下所示： 第1 章绪论。本章简要介绍了本文的研究背景和意义、研究工作内容以及 论文内容的安排。 第2 章存储区域网络文件共享技术分析。本章首先简要介绍了存储区域网 络的拓扑结构和软硬件组成，其次分析了大型机文件系统的特点， 从而提出实现存储区域网络下的文件共享需要解决的关键问题。 第3 章异构机共享文件系统的设计。本章从系统的物理架构和整体模块构 成方面给出系统的整体设计思想，并对系统中比较关键的l i b m r y 和 a d l ( s 、i r 两个模块进行了详细地设计说明。此外，对系统高可靠性方 面设计思想以及对一种新的元数据事务信息的传输协议的设计进行 了简要的说明。 第4 章异构机共享文件系统的实现。本章在前一章的设计思想指导下，给 出系统的实现技术。主要介绍了l i b r a u c y 和a d l ( s w 两个模块实现的具 体算法、重要数据结构和对关键问题的解决方法，并从系统高可靠 性方面给出了系统的实现方法。 第5 章异构机共享文件系统的性能分析。本章对系统的各项关键性能指标 西北工业大学硕士学位论文第1 章绪论 进行测试，并对性能是否达到预期的设计目标进行说明，最后对系 统的整体性能做以总结。 第6 章结束语。本章总结异构机共享文件系统的优点，并指出了其存在的 不足之处，展望了进一步的研究工作。 4 西北工业大学硕士学位论文第2 章网络存储和文件共享技术 第2 章网络存储和文件共享技术 本章首先介绍了各种网络存储技术，通过比较说明了存储区域网络的优势； 并结合本研究课题，分析大型机文件系统的特点；最后给出在存储区域网络环境 下实现文件共享需要解决的关键问题。 2 1网络存储技术 2 1 1 直连存储 直连存储( d i 嬲= t 舭c hs t o 瑚喀e ，d a s ) 是传统的存储方式，它把存储设备( 通 常为磁盘阵列) 通过s c s i 总线结构连接到单个服务器上，以服务器为中心，服务 器与存储设备进行数据交换时使用非网络拓扑结构。图2 1 给出了d a s 的结构。 存锗管理 图2 1 d a s 的结构 备份警理 这种存储方式的缺陷是显而易见的。直连式存储依赖服务器主机操作系统进 行数据的读写和存储维护管理，数据备份和恢复要求占用服务器主机资源( 包 括c p u 、系统的等) ，数据流需要回流主机再到服务器连接着的磁带机，数据 备份通常占用服务器主机资源2 0 3 0 ，因此许多企业用户的日常数据备份常常 在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的 数据量越大，备份和恢复的时间就越长，对服务器硬件的依赖性和影响就越大。 但当服务器在地理位置上非常分散时，很难通过远程连接互连时，直连存储是比 较好的解决方案，甚至可能是唯一的解决方案。 西北工业大学硕士学位论文第2 章网络存储和文件共享技术 2 1 2网络附带存储 网络附带存储( n e 咖r ka t t a c hs t o r a g e ，n a s ) 7 j 是整套的网络存储服务器产 品。典型的n a s 都连接到以太网，提供带有预先配置好的磁盘容量、集成的存 储系统和存储管理软件，构成一个完备的存储解决方案，其结构见图2 2 所示。 n a s 系统中数据以文件的形式按照t c p 仰协议在客户机和存储设备之间流动， 并利用n f s ( n e t 、o r kf i l es y s t e m ) 实现异构平台的客户机对数据的共享，专用 的文件系统服务器对数据进行集中处理和管理，提高了文件加i 的速度。 o 柏e r s d 阿材r 图2 - 2 n a s 的结构 n a s 具有较高的性价比，原因有两个：其一，采用t c p ，口网络进行数据交 换，t c p 妇p 是i t 业界的标准协议，不同厂商的产品( 服务器、交换机、n a s 存 储) 只要满足协议标准就能够实现互连互通，无兼容性的要求；其二，直接将 n a s 产品连接到以太网上就可以进行网络存储，无需特殊的互连设备，实施和 管理都很简单。但其自身也具有明显的缺陷： ( 1 ) 专用的文件服务器是系统的一个隐患。当有大量的客户访问存储资源的 时候，文件服务器成为m 瓶颈。同时，文件服务缺乏高可用配置，存在单点故 障。 ( 2 ) n a s 只是利用已有的n 网络，那么大量数据的存储和访问会给l a n 网络带来较大的负担。同时，因为数据传输是通过以太网进行，所以数据读写性 能不高。 但千兆以太网( 1 0 0 0 m b p s ) 、v u n 虚网、t n m k 以太网通道( e t l l c r n e tc h 锄n e l ) 的出现，使得n a s 的读写性能得到改善。并且2 0 0 2 年万兆以太网( 1 0 0 0 0 m b d s ) 的出现和投入商用，为n a s 带来质的变化和广泛的市场认可。目前，n a s 已经 成为多数企业，尤其是中小企业的最好选择。 6 西北工业大学硕士学位论文 第2 章网络存储和文件共享技术 2 1 3存储区域网络 1 s a n 的网络架构 s a n 是继n a s 之后出现的一种网络存储新技术。它的主要思路弘j 是通过专 用的集线器、交换机和网关建立服务器和磁盘阵列之间的直接连接，将l a n 上 的存储事务转换到主要由存储设备组成的s a n 上。与n a s 不同，& n 并非一 种产品，它是配置网络化存储的一种方法，这种网络技术支持远距离通信，并允 许存储设备真正与服务器隔离，使存储成为可由服务器共享的资源。s 肖n 也允 许各个存储子系统，如磁盘整列和磁带库，无需通过专用的中间服务器即可相互 协作。图2 3 是s a n 的架构示意图。 图2 - 3 s a n 的架构 在s a n 网络架构网中，服务器和磁盘阵列间的通讯采用s a n ，而客户和服 务器同的通讯采用的是必n 。采用s a n 适合服务器间大容量数据传送。而客户 和服务器间的数据交换，l a n 又可以发挥其灵活的优势。s a n 解决了n a s 数据 访问对网络带宽占用的问题，使得数据的访问、备份、恢复不影响l a n 的性能， 在有大量数据访问时，不会大幅度降低网络性能。 2 s a n 的物理组成 典型的s a n 环境由四个部分组成：最终的用户平台、服务器、存储子系统 和互连设备。s a n 的存储子系统可以包含毫无智能的存储设备，如磁盘阵列， 它们仅仅有一定的内部控制功能，能完成镜像等数据功能；也可以包含带有很强 智能的存储服务器，同时带有专有的处理器和管理软件。s a n 的互连设备是通 过高带宽的光纤通道( f i b r ec h 栅e i ，f c ) 连接起来的。光纤通道是当前构筑s a n 的首选，已经成为s a n 接口的标准。 7 西北工业大学硕士学位论文第2 章网络存储和文件共享技术 ( 1 ) 磁盘阵列和r a j d 为了增强磁盘的存取速度，防止数据因磁盘的故障而丢失以及有效的利用磁 盘空间，磁盘阵列( d i s k 蜘) 技术孕育而生。磁盘阵列是把多个磁盘组成一 个阵列，它可以把数据以分条的方式储存在不同的磁盘中，存储数据时，阵列中 的相关磁盘并行执行请求，大幅减低数据的存储空间，同时有更好的空间利用率。 磁盘阵列由控制器和存储介质两部分构成。控制器负责数据的组织和传输，而存 储介质是物理磁盘( p h y s i c a ld i s k ，p d ) ，用来存储数据。 廉价冗余磁盘阵列( r e d 岫d a ma m y so f i n e 删i v ed i s l ( s ，r a i d ) l i q 是通 过组合小的廉价磁盘来代替大的昂贵磁盘，以达到容量上的优势降低数据存储的 费用。同时，r a i d 采用磁盘镜像、奇偶校验等技术存储冗余数据，使得在一个 或多个物理磁盘失效时不会造成数据丢失。针对不同的应用，采用不同的r a d 级别来存储和保护数据，目前业界公认的标准是r a i d0 r a i d5 。 磁盘阵列控制器中的磁盘管理软件将阵列中的若干块物理磁盘( p d ) 定义为一 个r a l q k 。然后在ra n k 上定义具有某种r 灿d 级别的逻辑磁盘( l o 西cd i s k ， l d ) ，也称为逻辑卷( v o l 嘲e ) 。一个l d 可以跨多个p d ，但前提条件是这些p d 都在一个砒卅k 里。图2 - 4 给出l d 的构成示意图。 r a n x 图2 - 4 l d 的构成 ( 2 ) 光纤通道 光纤通道( f c ) 技术是一种利用光纤作为物理链路的高性能串行数据接口【1 1 】， 是对s c s i 和e m e m e t 的一种延伸，它支持现有的i ，o 接口和网络接口。f c 具有 低延迟、高带宽、低错误率和远距离传输的特性。f c 已经成为存储界广泛采用 的首要连接技术。 f c 采用光纤通道协议( f i b r ec h 籼e lp r o t o c o l ，f c p ) 。f c p 是在s c s i 基础 上发展起来的。由于s c s i 高效的数据传输特性已被实践证明，f c p 沿用了其核 心部分。同时，由于s c s i 的并行方式在传输距离、可连接性、可靠性方面有诸 多限制，f c p 对此进行了改进，并支持串行传输。这些改进加上f c 自身的特性， 使得f c 在传输距离、寻址空间、可连接性和可靠性等方面，具有了不可比拟的 优势。 8 西北工业大学硕士学位论文第2 章两络存储和文件共享技术 3 f c - s a n 和n s a n 采用光纤通道作为连接技术的存储区域网络成为f cs a n ，虽然f c 具有很 多不可比拟的优势，然而不可否认，其也存在以下局限性： ( 1 ) 需要专门的设备和机器，不能利用已有的基于i p 网络的设备，所以构筑 s a n 网络价格昂贵。 ( 2 ) 虽然f c 提供1 0 公里的传输距离，但在某些场合仍然不够，而f c 对进 一步的扩展网络距离无能为力。 ( 3 ) 用户在理网上的管理经验不能直接应用到f c 网络中，增加了管理成本。 ( 4 ) 不能保证不同厂商的不同产品的互操作性。 因此，为了解决上述限制，提出一种新的网络存储概念本地m 存储技 术口s a n l 。口s a n 以通用的i p 网络为应用环境，以i s c s i ( i n t e r 删s m a l l c 鲫呻s y s t 锄i n t e i f a c e ) 为技术基础，来实现具有s a n 优势的集中存储平台。 以千兆以太网甚至万兆以太网为骨干的网络连接，保证了本地口存储网络能够 以令人满意的效率工作。本地球存储技术，更进一步的模糊了本地存储和远程 存储的界限。在 s a n 中，只要主机和存储系统都能提供标准接口，任何位置 的主机就都可以访问任何位置的数据，无论是在同一机房中，相隔几米，还是数 公里外的异地。 2 2 大型机文件系统 开放平台和大型机具有完全不同的文件系统：开放平台的文件系统是面向字 节流的文件系统，而大型机的文件系统是种面向记录的文件系统。这使得开放 平台上的应用程序无法直接识别由大型机管理的共享卷上的记录文件。为了实现 这两者的文件共享，我们有必要首先了解一下大型枫文件系统的基本特征。 2 2 1大型机的f b a 磁盘格式 大型机管理的共享卷是f b a ( f i x e d b l o 出觚h i t e c t u r e ) 存储格式的。与c d k 磁盘不同，在f b a 磁盘装置中，没有柱面和磁道的概念。卷是按扇区( s e c t o r ) 进行物理初始化的。扇区是最小的物理存储单位，长度固定，为5 1 2 字节。在 f b a 磁盘装置上，扇区是连续排列的。扇区从头开始按照o ，1 ，2 的次序被分 配编号，每个扇区的编号是唯一的。 在f b a 磁盘装置中，引入了s a u 和l a u 这两个逻辑存储单位，分别对应 于c d k 磁盘装置的磁道和柱面。s a u ( s m a l l l o c a t i o n u n i t ) 相当于c d k 磁盘装 置中的磁道的分配单元。1s a u 的大小是6 4 k b ，它是文件的最小空问单位。l a u ( l a r g e m l o c a t i o n u 伍t ) 相当于c d k 磁盘装置中的柱面的分配单元。ll a u 的大小 9 西北工业大学硕士学位论文第2 章网络存储和文件共享技术 是1 m b ，它由1 6 个连续的s a u 构成。图2 5 给出s e c t o r 、s a u 、l a u 三者的 关系。 图2 5 f b a 磁盘格式 2 2 2大型机的卷结构 标准形式的卷( v o l 啪e ) 被分为四个部分：v o l l 领域、v t o c 领域、文件 领域和空余领域。其结构如图2 6 所示。 1 v o l l 领域( v o l 砌el a b e l ) 为了识别v o l u m e 和它的所有者，每个v o l 啪e 都必须有一个v o l u n l el a b e l 领域。v o l 啪el a b e l 领域在介质初始化的时候总是被确定在l a uo s a uo 的一 个扇区中。它的大小为5 1 2 字节，保存在番号为2 的扇区。 2 v t o c 领域( v o l u m et a b l eo f c o n t 咖s ) v t o c 是存放v o l 呲状态，文件状态等的各种l a b d 的领域，在介质初始 化的时候被确保。用户可以指定它的存放位置和大小，缺省位于从l a uo s a ul 开始到同一l a u 上的最后一个s a u 为止的区域。v 1 d c 由v 1 d c p 和v 1 d c s 构成，其分别管理着如下的信息： ( 1 ) v 1 0 c p 在f b a 磁盘装置中，为了能够按照文件名检索文件l a b e l ，在v 1 0 c 中创 建了索引，称之为v t o c p 。v t 0 c p 管理着文件名及其对应的文件l a b e l 的记录 地址。 ( 2 ) v t o c s 记录了对文件领域和文件属性等进行管理以及对v t o c 和v o l 啪e 全体进行 管理用的l a b e l 。v 1 d c s 能够管理形式1 至形式5 以及形式o 的l a b e l 。v i d c s 以b l o c k 长度为4 0 9 6 字节的顺序文件形式存在。一般每个l a b e l 大小为2 5 0 字节， o 西北工业大学硕士学位论文第2 章网络存储和文件共享技术 每个b l o c k 中存放1 6 个l a b e l 。另外，形式4 的l a b e l 大小为4 0 0 0 字节，每个 b l o c k 中存放1 个。 图2 6 卷的结构 y r o c p 和v t o c s 的大小根据v t 0 c 全体的大小自动分配，用户无法更改。 表2 1 给出v t c i c s 管理的各种类型的l a b e i 。 表2 1 v r o c s 管理的l a b e l 类型 l a b e lb v t e s 说明 形式l2 5 0 b y t e s记录了文件名、文件编成、r e c o f d 形式等文件属性的管理信息 形式22 5 0 b y t e s文件的e m m 数达到6 个以上的情况下，对6 号以后的e x t e n t 进行管理 形式3 2 5 0 b y t e s用于管理v t o c 自身的管理信息 形式44 0 0 0 b y t e s用于管理v o l u m e 上的空闲空间 形式5 2 5 0 b 弦记录了v t o c 上的l a b c l 记录领域使用状况的管理信惠 形式02 5 0 b ”髓空l 曲c l ，内容全为0 2 2 3大型机的文件组成 首先给出大型机文件的一些基本概念： l 记录( r c r d ) 是大型机文件系统和用户交换数据的单位， 2 b l o c k 是文件访问和控制的单位，其组成如图2 7 所示。其中m ( i i l t e 蓼时 i 龃d e r ) 和r r ( e 鲥t y1 菌1 ) 统称为i n t e g i i t yb y t e s ，是能够被数据访问者识别的完整性 控制信息。u s e r sd a t a 区存放的是一条或多条r e c o r d 。 西北工业大学硕士学位论文 第2 章网络存储和文件共享技术 - h u 瓣r n t hr r 图2 7 b l o c k 的结构 b l o c k 的大小和s e c t o r 的关系有如下几类：( 图为未使用领域) ( 1 ) b l o c k 的大小小于一个s e c b 呱见图2 8 ) 触w 图2 8 b l o c k 小于s e c t o r ( 2 ) b l o c k 的大小等于个s c c t o 吒见图2 - 9 ) s 协r 图2 - 9 8 1 0 c k 等于s e c t o r ( 3 ) b l o c 螨s e c t o r ( 见图2 1 0 ) 瓢佃rs o 脚 图2 1 0 b l o c k 跨s 蝴 说明：s e c t o r 是构成b l o c k 的基本单位，因此，图2 1 1 的构成关系是不允许 图2 一i l 不正确的b i o c k 构成 3 e x t 既l t e x t e 斑是f b a 磁盘v o l 啪e 上创建文件时分配空间的最小单位，它是大小为 6 4 k b 或者1 m b 连续存储空间。e x t e n t 是一个逻辑概念，与实际的物理构造没有 1 2 西北工业大学硕士学位论文 第2 章网络存储和文件共享技术 关系。f b a 文件可以由一个或者多个e x t e n t 构成，标准f b a 文件最大可以有2 5 5 个e x t e 曰t 。图2 1 2 显示了一个e ) ( t 曲t 中b 】o c k 和s e c t o r 的情况。 图2 - 1 2e x 嗽i t 、b 1 0 c k s t w 三者的关系 其次，我们给出大型机文件组成。大型机文件由以下三部分组成( 见图2 1 3 ) ： ( 1 ) f i l e l a b c l 区 位于、，o l 眦e 的v 1 d c 区域中，就是v 1 - o c 管理的形式l 的l a b e l ，记录了 文件名、b l o c k 大小、r e c o r d 形式等文件属性的管理信息。 ( 2 ) u s e r l a b c l 区 u s e rl a b e l 位于一个单独的e x t e n t 中，其作用是存储文件利用者在r c c ，o r d 之 外纪录的管理情报等内容。 o ) d a t a 区 存放真正的文件内容。数据位于不同的e x t e n t 中。各个d 【t e n t 在空间上不 一定是连续的。 图2 - 1 3 大型机的文件组成 2 3存储区域网络的文件共享 在基于光纤通道的s a n 中服务器和存储设备间的接口采用的是光纤通道协 议f c p f c p 是一种块协议【1 1 1 ，它按照“块地址+ 偏移地址，来定位数据位置，并 且通过串行s c s i 协议采用b l o c k 的方式直接从存储设备中存取数据。因为在 s a n 存储环境下，可以实现在异构系统间共享原始磁盘和磁带驱动器，即允许 西北工业大学硕士学位论文第2 章网络存储和文件共享技术 不同的服务器访问同一个原始磁盘和磁带驱动器。在物理层上，s a n 天生就具 有整合异构存储的功能【1 2 】。 然而s a n 本身并不提供异构系统间的文件共享。这是因为在整个网络中各 个服务器的操作系统和文件组织格式各异，例如开放文件系统是面向字节流的， 而大型机系统是面向记录的，开放系统并不能正确识别大型机文件格式磁盘上的 数据。数据的正确识别依赖于逻辑层上的文件组织功能。但s a n 没有文件组织 功能，其文件组织功能是位于服务器主机上的。所以为了实现异构系统的文件共 享，我们需要开发基于s a n 网络共享文件系统。该共享文件系统是一种分布式 系统，位于s a n 连接的多个服务器主机上，解决整个系统的文件共享以及文件 访问冲突问题。 2 3 1实现文件共享的两种系统模型 如