（计算机应用技术专业论文）智能网络磁盘存储文件系统的设计与实现.pdf

摘要 存储技术与计算技术及网络技术之间的不平衡发展，使计算机系 统中的存储环节日益显得薄弱，存储“瓶颈”日渐突出。尽管通过提 高存储系统总线带宽、优化存储请求调度策略和增加数据缓存，存储 系统性能在一定程度上得以改善，但是存储“瓶颈”依然制约着计算 机系统性能的提高。 光纤通道技术的产生为外存储设备提供高聚合网络带宽提供了 可能，嵌入式技术的发展为存储设备模块化的发展提供了条件。本文 在对共享存储模型研究的基础上，尝试性地提出了一种新型的网络存 储解决方案智能网络磁盘，重点研究了网络连接接口、文件存取 管理模式和智能网络磁盘集群等几个方面，通过高网络聚合带宽和任 务分散策略，以求达到缓解存储“瓶颈”来提高系统整体性能的目的。 论文详细论述了智能网络磁盘存储文件系统，给出了智能网络磁 盘存储文件系统的体系结构、功能模块、主要数据结构和操作，并重 点研究了智能网络磁盘存储文件系统命名空间、数据块缓存和数据一 致性策略等相关问题。该文件系统采用t c p i p 协议和8 0 2 3 协议通 信，用s u nr p c 实现磁盘底层i o 与网络通信接口的无缝联接，兼容 p o s i x 文件系统接口标准。结合嵌入式技术的发展，阐述了在 s 3 c 4 4 b o x 嵌入式开发板上移植和定制u c l i n u x 操作系统、增加智能 网络磁盘存储文件系统模块的过程，实现了客户进程对智能网络磁盘 的文件访问功能。a n d r e wb e n c h m a r k 和b o n n i eb e n c h m a r k 测试结果 显示，智能网络磁盘原型可以为局域网范围内的客户提供文件共享访 问功能，使用方便灵活，具备一定的可扩展性，为今后智能网络磁盘 文件系统进一步的研究打下了坚实的基础。 关键词智能网络磁盘，文件系统，共享存储，网络存储，i n d f s ， u c l i n u x a b s t r a c t s t o r a g et e c h n o l o g yd e v e l o p ss l o w e rt h a nc o m p u t i n gt e c h n o l o g ya n d n e t w o r kt e c h n o l o g y , t h u ss t o r a g es y s t e mg r a d u a l l yb e c o m e sw e a ki n c o m p u t e ra r c h i t e c t u r ea n ds t o r a g en e c k - b o t t l eg r o w sa p p a r e n td a yb yd a y a l t h o u g ht h ep e r f o r m a n c eo fs t o r a g es y s t e mi si m p r o v e dt os o m ed e g r e e b yi n c r e a s i n gs y s t e mb u sb a n d w i d t h , o p t i m i z i n gr e a d i n ga n dw r i t i n g r e q u e s ts c h e d u l i n gs t r a t e g ya n da f f o r d i n gc l i e n t - s i d eo rs e r v e r - s i d eb u f f e r , s t o r a g et a c h es t i l lr e s t r i c tt h ed e v e l o p m e n to fc o m p u t e rs y s t e m i ti sp o s s i b l et h a tf a b r i cc h a n n e la f f o r dh i g h e ra g g r e g a t i v en e t w o r k b a n d w i d t hf o rs t o r a g ed e v i c e sa n di ti sh e l p f u lt h a te m b e d d e dt e c h n o l o g y m a k es t o r a g es y s t e mm o d u l a r i z a t i o n o nt h eb a s i so f r e s e a r c h i n gs h a r e d s t o r a g em o d e l ，ak i n do fn e wn e t w o r ks t o r a g er e s o l v a t i o n ，i n t e l l i g e n t n e t w o r kd i s k , w a sp u tf o r w a r d n e t w o r kc o m m u n i c a t i o ni n t e r f a c e ，f i l e s t o r a g em a n a g e m e n t , i n t e l l i g e n tn e t w o r kd i s kc l u s t e r , e t c w e r ec o v e r e d b yt h er e s e a r c h t h i sa r t i c l ed i s c u s s e dt h ei n d s t o r a g ef i l es y s t e mi nd e t a i l e d g i v e d i t sa r c h i t e c t u r e ，f u n c t i o nm o d u l e ，m a i nd a t as t r u c t u r ea n do p e r a t i o na n d r e s e a r c h e df i l es y s t e mn a m es p a c e ，d a t ab u f f e r , d a t ac o n s i s t e n c y , e t c i n p a r t i c u l a r f i l es y s t e mc o m m u n i c a t e st oe a c ho t h e rb yu s i n go ft c p i p p r o t o c o ls t a c ka n d8 0 2 3p r o t o c a l ，s u nr p cw a su s e da sm i d w a r et o c o n j o i nd i s k i o o p e r a t i o na n di n e ts o c k e t t m sf i l es y s t e m i s c o m p a t i b l ew i t hp o s i xf i l es y s t e mi n t e r f a c e c o m b i n n a t i o nw i t ht h e d e v e l o p m e n to fe m b e d d e dt e c h n o l o g y , t h ep r o t o t y p eo f 岫w a s r e a l i z e d b yp o r t i n ga n dc o n f i g u r i n gt h eu c l i n u xo nt h es 3 c 4 4 8 0 xe m b e d d e d e v a l u a t i o na n da d d i n gi n df i l e s y s t e mm o d u l ei n t ou c l i n u xk e m e l a n d r e wb e n c h m a r ka n db o n n i eb e n c h m a r kt e s tr e s u l t sp r o v e dt h a ti n d c o u l da c c o m p l i s hs t o r a g et a s ki nl a nf o rs e v e r a lc l i e n t s i ti su s e d f l e x i b l ya n dc o n v e n i e n t l y , b u ti t sp e r f o r m a c es h o u l db eo p t i m i z e da n d i m p r o v e di nt h ef u t u r e k e y w o r d si n d ，f i l es y s t e m , s s m , n e t w o r ks t o r a g e ，i n d f s ，u c l i n u x 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学 位或证书而使用过的材料。与我共同工作的同志对本研究工作所做的贡献均已在 论文中作了明确的说明。 作者签名：垫翼重 日期； 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论穿的规定，即：学校有权保留学位 论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容， 可以采用复印、缩印或其它手段保存学位论文；学校可根据国家或湖南省有关部 门规定送交学位论文。 硕士学位论文 第一章概述 第一章概述 在过去的2 0 年里，存储系统一直保持着较慢的速度向前发展。尽管i d e 技 术、s c s i 技术的发展提供了更有效的据传输、更快的磁盘驱动和更大的提高磁 盘容量，但是存储系统仍然是作为服务器的附属设备，没有摆脱服务器存储系 统的模式，服务器单点失效及瓶颈问题依然存在。 随着商业对计算机的依赖越来越大，数据的爆炸性增长给信息的获取与存储 带来了新的挑战。1 9 9 9 年，新的合同法将传统的书面合同形式扩大到数据 电文形式，承认电报、电传、传真、电子数据交换和电子邮件等数据电文所载的 内容；以“金关”工程为背景建立的中国电子口岸数据中心，要求电子数据存证 期为2 0 年。数据维护逐渐成为日常计算环境维护的一个重要组成部分。图灵奖 获得者j a m e sg r a y 提出了一个新的经验定律：网络环境下每1 8 个月产生的数据 量等于有史以来数据量之和【。 面对这些问题，r r 界开始考虑将存储资源作为计算系统中的一种独立资源， 力求通过共享存储资源提供更高层次的服务、更好的灵活性以及更低的成本。吉 比特以太网和f i b r ec h a n n e l 技术的出现，使得服务器和存储系统作为对等的实 体存在于网络上成为可能，存储资源可以布髫在更广的范围内，存储系统不再依 附于服务器，服务器的失效不会导致对存储系统上数据访问的失效。 1 1 共享存储的产生 共享存储口一1 是一个重要的概念，它将一些相互连接且在地理上分布没有限 制的存储资源和管理功能集合成单一的存储系统。与传统的存储系统相比，它是 一组相互连接的资源集合，拥有独立的存储管理维护功能，潜在的好处在于降低 企业存储资源总成本，通过网络化的管理，获得更好的数据管理性能和效率。 1 2s n i a 共享存储模型 1 2 1s n i a 共享存储模型 共享存储模型s s m ( s h a r e ds t o r a g em o d e l ) 是由s n i a ( s t o r a g en e t w o r k i n g i n d u s t r ya s s o c i a t i o n ) 技术委员会开发的，目的是为了澄清主机应用、存储网络 和存储设备之间的关系，帮助企业制定共享存储解决方案。 硕士学位论文第一章概述 二】j 口 文件记录子系统 毯鬻蚕晶凰 服 存 l 基于主机 务 2 储子 曩 苴 域 块聚合层 i 墓f sa n l系覆 i 基于设备l 统 鬣葱翁瓣溺筏鞠 块f 系统 图1 - 1s n i a 共享存储模型 如图1 1 所示，共享存储模型分为应用层和存储域层。应用层支持在线事务 处理、数据库挖掘或w e b 服务器等用户行为。存储域作为用户应用程序操作数 据的仓库，包括文件记录子系统、块聚集层、块予系统和服务子系统。文件记 录子系统是高层应用与存储资源之间的界面；数据库应用( 如m ss q ls e r v e r 及 o r a c l e ) 使用记录作为处理单元，而大多数其它应用则使用文件作为处理单元。 对于高层应用来说，记录和文件都是数据处理的逻辑单位，数据最终还是以连续 的字节存储在磁盘或磁带上，我们称这些连续的数据字节为数据块。数据块的大 小以及记录或文件与块的映射方式，因系统而异。块聚集层的主要功能就是将数 据块与恰当的记录或文件关联起来，最终将数据存储在像磁盘驱动器、固态磁盘 和磁带驱动器这样的存储设备上，它可以基于存储设备、存储网络或主机系统来 实现。块子系统包括各种存放数据的物理设备，如磁盘和磁带。高层应用程序按 记录或文件识别数据，块聚集层将记录或文件映射成数据块，最终以某种顺序组 织在块子系统上。同属于存储区域，服务子系统是一个辅助子系统，包含一系列 存储相关的功能，如管理、安全、备份、可用性维护及容量规划等，这些服务既 可以作为存储产品所集成的功能，又可以作为监测和管理存储资源的独立软件。 1 2 2 常见的存储体系结构 以共享存储模型为指导，我们可以清晰地区分d a s ( d i d e c t a 札a c h c ds t o r a g e ， 直接附属存储) 、s a n ( s t o r a g ea r e an e t w o r k ，存储区域网) 及n a s ( n e t w o r k a t t a c h e ds t o r a g e ，网络附属存储) 的体系结构。 d a s 是最常见、最成熟、共享程度最低的高性能存储设计，每个存储互连 线上只有一个主机，使用块接口协议在互连接结构上进行操作，块聚合可能出现 在设备( 如阵列控制器) 或主机( 如逻辑卷管理器、软件或硬件r a j d ) 中。如 图l - 2 所示，图左边展示了一个具有l v m ( l o g i c a lv o l u m em a n a g e m e n t ，逻辑卷 管理) 以及r a i d ( r e d u n d a n ta r m yo f i n d e p e n d e n td i s k s ，冗余磁盘阵列) 的服 务器通过s c s i 并行电缆与磁盘阵列相连；l v m 以卷、目录的方式为高层应用提 2 硕士学位论文第一章概述 供数据，r a i d 将数据块分条存放在于多个磁盘上，服务器完成块聚集功能；图 右边的服务器通过s c s i 连接集成有r a i d 阵列控制器的磁盘阵列，块聚合功能 由磁盘阵列设备完成。 二j 叵 文件 蒺垲翠蘑 主机块聚旮 记 录层 块 同络块囊合 层 、 薷 设备块橐合 飞整咚i 图1 - 2s n i a 共享存储模型一一0 a s n a s 5 叼是最常见、最成熟、最容易安装以及目前支持异构主机最好的方案， 块聚合在文件服务器端完成，如图l - 3 所示局域网技术的广泛实施，在多个文 件服务器之间实现了互联，为实现文件共享而建立一个统一的框架。n a s 直接 运行网络文件系统协议，诸如n f s ，c 正s 等，客户端通过网络文件系统协议访 问存储资源。 二 叵 文件 v 记 最屉 主帆收囊音 ”8 块 竹皤块古 屉 破麟 鱼 图1 - 3s n i a 共享存储模型- - - - n a s s a _ n 7 - 9 是一个用在服务器和存储资源之间的，专用的，高性能的网络体系， 如图1 4 所示。它为了实现大量块数据的传输而进行了专门的优化。s a n 使用的 典型协议组是s c s i - 3 协议和光纤通道协议f c 。光纤通道技术能够实现块数据的 远距离传输，而s c s i - 3 协议完成数据的串行传输。s a n 的市场主要集中在高端 的，企业级的存储应用上。这些应用对于性能，冗余度和可获得性都有很高的要 求。 3 硕士学位论文第一章概述 二】叵 文件 黼瓣记 叼：蘧 录层 i霪筝 主机蜓囊分 块鄙 培块g 屡 性鲁块聚台 吲删l 渊徽青l 图1 4s n i a 共享存储模型一一s a n 1 3 国内外研究现状 二十世纪末，网络技术的发展和普及极大地推动了网络存储技术的发展，基 于光纤通道( f i b e rc h a n n e l ) 的s a n ( s t o r a g ea r e as t o r a g e ，存储区域网) 和n a s ( n e t w o r k a t t a c h e ds t o r a g e ，网络附连储存) 得到了广泛的应用。在多平台环境、 多用户共享、并行存取的分布式文件系统发展活跃，如g f s 儿2 1 、g p f s t ”1 、 t o t a l s t o r a g es a nf i l es y s t e m 1 4 1 5 】等；g l o b a lf i l es y s t e m ( g f s ) 吸取了对称 多处理器( s m p ) 系统设计和实现的原理，将系统中的每一个客户机类比于s m p 中 的一个处理器。客户机问没有任何区别，可以平等地访问系统中的所有存储设备， 就像处理器可以机会均等地访问主存一样。这样的设计可以更好地利用系统中的 资源，消除单个服务器带来的性能瓶颈和单点失效问题。因为客户端之间无需通 信，可以很好地消除客户机失效带来的威胁。g f s 采用特殊设计的d l o c k 锁机 制来同步多个客户机对同一设备的访问，具有很高的效率。g p f s 是目前应用范 围较广的一个系统。它是一个共享磁盘( s h a r e d - d i s k ) 的分布式并行文件系统， 客户端采用基于光纤的通道或者i s c s i 与存储设备相连，也可以通过通用网络 相连。g p f s 的磁盘数据结构可以支持大容量的文件系统和大文件，通过采用分 片存储、较大的文件系统块、数据预读等方法获得了较高的数据吞吐率；采用扩 展哈希( e x t e n s i b l eh a s h i n g ) 技术来支持含有大量文件和子目录的大目录，提高 文件的查找和检索效率。i b m 基于s t o r a g et a n k 的t o t a l s t o r a g es a nf i l es y s t e m ， 又将共享s a n 文件系统的设计理念和系统架构向前推进了一步。它们除了具有 一般的共享s a n 文件系统的特性之外，还采用s a n 作为整个文件系统的数据 存储和传输路径。它们采用带外结构，将文件系统元数据在高速以太网上传输， 由专门的元数据服务器来处理和存储。文件系统元数据和文件数据的分离管理和 存储，可以更好地利用各自存储设备和传输网络的特性，提高系统的性能，有效 降低系统的成本。 、 4 硕士学位论文第一章概述 在国内，同样也进行着该领域的研究工作。清华大学高性能计算技术研究所 网络存储实验室是国内较早开展海量信息存储技术研究的课题组。该研究所的研 究内容主要包括：海量信息的多层存储体系结构、海量信息的快速i o 技术、存 储容灾技术、存储智能管理技术、存储高可用技术、存储安全技术、分布式信息 服务技术、面向互联网服务的海量信息存储技术等。目前，该所研制出具有高可 扩展性、兼容多种磁盘的“高可扩展的海量存储网络系统”，实现了分布式虚拟 化存储系统、多路远程镜像、备份和快照等容灾系统以及具有智能的统一存储管 理软件，并在自主智能网络存储方面进行了有益的研究。2 0 0 5 年5 月，清华大 学国家重点实验室的网格中心使用一套清华t h - m s n s 系纠1 6 7 1 ，容量为8 t b ， 用于网格中心集群系统的共享存储。华中科技大学正在进行网络存储系统中虚拟 化存储技术的研究。通过虚拟化网络磁盘阵列，将分布在网络中的空闲资源收集 起来构建公共存储池，实现基本的j b o d 以及o 级和l 级磁盘阵列。同时还在研 究如何构建和管理公共存储池以及如何定制底层通信协议。 1 _ 4 课题的设计目标 以c p u 和内存为中心的发展阶段之后，计算机系统已经进入到以存储为中 心的发展阶段。数量众多的计算节点、高并发的数据访问，势必给存储系统带来 极高的压力。删以太网络技术的成熟程度和其高聚合带宽的优势，促使了存 储技术的发展。随着万兆以太网技术的普及，将一定程度上解决以太网络单端口 低带宽的问题，并进一步强化m 网络高聚合带宽的优势。基于共享存储资源思 想，根据共享存储设备灵活性、可靠性、可扩展性、可管理性及基于标准的互操 作性要求，本课题设计了一种新的网络存储解决方案一一i n d ( i n t e l l i g e n t n e t w o r kd i s k ，智能网络磁盘) 。i n d 是一种新颖的网络存储设备，采用网络连 接方式，而非总线连接方式，协议栈高层采用t c p i p 协议，方便与各种网络互 联；磁盘数据块在网络中传输；多个i n d 之间可以进行消息通信，实现数据容 灾、负载均衡等功能，构成一个高容量的网络存储设备。 i n d 具有以下特点： 智能化：客户端能自动识别i n d ；多个i n d 能够相互识别，协同工作，相 对于客户端组成一个高容量的存储器； 位置透明：客户端不需要知道i n d 具体位置，根据“路径文件名”模式访 问数据； 可靠性：多个i n d 协同工作时，单个i n d 的失效不会影响全局工作； 有效性：客户机在访问i n d ，其访问效率应与访问本地文件系统具有可比性， 两者的差异不大； 硕士学位论文第一章概述 经济性：智能网络磁盘存储器的价格要比采用服务器集群的方式低很多，可 以明显降低企业投资成本； 本课题得到国家自然科学基金( 6 0 5 7 3 1 4 5 ) 和湖南省自然科学基金 ( 0 5 j j 3 0 1 2 0 ) 的支持。 1 - 5 论文的内容结构 本文主要讨论i n d 文件存取管理模式，结构安排如下： 第一章：概述。主要介绍共享存储模型，描述存储应用和底层基础设施的基 本层次，澄清主机应用、存储网络和存储设备之间的关系，最后提出一种新型的 网络存储解决方案i n d 。 第二章：存储区域网与文件系统。详细介绍存储区域的其关技术，描述磁盘 文件系统的结构，讨论了分布式文件系统工作机制，为i n d 的提出提供了现实 依据。 第三章：智能网络磁盘存储文件系统设计。详细描述智能网络磁盘存储文件 系统的体系结构，给出了智能网络磁盘存储文件系统的数据结构及操作，最后分 析几个关键技术。 第四章：智能网络存储磁盘文件系统的实现。详细描述采用嵌入式技术实现 i n d 的方案，给出i n d 实现的步骤及部分文件系统代码。 第五章：测试分析。讨论智能网络磁盘存储文件系统性能测试方案，给出测 试结果。 第六章：总结与展望。对智能网络磁盘原型进行总结，结合网络存储发展趋 势，讨论智能网络磁盘进一步改进和完善之处。 6 p 裹 搦 - 硕士学位论文 第二章存储区域网及文件系统 第二章存储区域网及文件系统 在数字化和网络互联时代，多用户并行高性能计算应用系统的广泛部署对存 储系统的存储容量、数据可用性以及i o 性能等方面提出了越来越高的要求。存 储产品不再是附属于服务器的辅助设备，而成为互联网中最主要的花费所在。信 息技术正从以计算设备为核心的计算时代进入到以存储设备为核心的存储时代， 网络化存储将成为未来存储市场的热点，存储技术正在发生革命性的变化。网络 存储i o 性能、网络存储系统管理以及网络存储系统数据共享成为网络存储技术 的核心。以光纤通道技术为核心的存储区域网已成为新兴的存储体系架构，基于 文件的数据共享机制不断向前发展，本章主要论述相关存储区域网技术和文件系 统概念。 2 1 存储区域网 存储区域网是一个专用的、集中管理的、安全的信息基础设施，它能够使服 务器和存储系统任意互连。存储器接口被高度地优化，严格地受控制，而且存储 器接口不能与其他计算机共享，这使它具有高度的可预测性、高效性和快速性； 另一方面，网络接口速度非常慢，效率低且开销大，但它能够接到任何一台它知 道如何与之通信的计算机。光纤通道技术和吉比特以太网的产生，可以很好地将 存储器接口的优点和网络连接的优点有机地结合在一起，实现大量数据的有效传 送。2 0 世纪9 0 年代初，e s c o n ( e n t e r p r i s es y s t e m sc o n n e c t i o n ，企业系统连接) 作为第一个真正的存储区域网，将多个服务器通过高性能交换系统连接到多个存 储单元上。 2 1 1 光纤通道 光纤通道【1 牝1 1 ( f i b e rc h a n n e l ，f c ) 由i n c i t st l l ( i n t e r n a t i o n a lc o m m i t t e e o f i n d u s t r i a lt e c h n o l o g ys t a n d a r d ，美国国家工业技术标准委员会) 和a n s i 协会 制定，定义了计算机之间以及计算机与f o 设备之间高速数据传输的标准接口。 f c 采用铜缆或光纤作为传输介质，数据传输速率可达到1 g b p s 或2 g b p s ，最远 传输距离为1 0 k i n ，具有低延迟、高带宽和远距离传输的特性，集通道和网络优 点于一身，自产生以来，就在存储领域中得到了广泛的应用。目前，e m c 、m m 、 c o m p a q 、s u n 、h p 等公司于1 9 9 9 年相继推出了自己的f c 产品，f c 正逐渐成 为i t 业中的一个新星。 7 硕士学位论文第二章存储区域网及文件系统 光纤通道技术吸取了通道与网络两种通信方式的优点，与s c s i 总线和快速 以太网相比，具有明显的优势，如表2 1 所示。f c 在全双工工作的情况下最高 有效数据传输速率为2 0 0 m b s ，而u l t r as c s i 接口的数据传输速率为4 0 m b s ， 速度提高了4 倍。传统的s c s i 总线采用菊花链连接方式，最远传输距离为2 5 米，而f c 在单模光纤上利用长波激光进行数据传输最远可达1 0 公里。在连接 方式上，f c 也比总线方式更加灵活，支持设备的数量也更加可观。相对于快速 以太网等网络来说，f c 提供了更快的数据传输速度，更适应于数据密集型应用。 表2 - 1f c s c s i 和f a s t e t h e m e t 比较 技术标准最大带宽最远传输距离拓朴结构 f c2 g b s1 0 k i n 点到点、仲裁环、交换网络 u l t r a2s c s i 4 0 m b s2 5 m点到点 快速以太网1 0 0 m b s 1 0 0 m 总线 f c 协议包括有五个协议层f 1 9 1 ，分别定义了物理媒介和和传输速度( f c 0 ， 物理层) 、数据编码和解码方案( f c 1 ，代码层) 、成帧协议和流量控制( f c 2 ， 协议层) 、通用业务和功能选择( f c 3 ，服务层) 以及上层协议和应用接口( f c - 4 ) ， 如表2 - 2 所示。 表2 - 2f c 协议栈 层功能使用实例 f c - 4 上层协议接口 如s c s i - 3 、i p v c - 3 公用服务多播 f c - 2 数据传输组帧、流量控制、服务类型 f c - 1 有序集字节编码8 b 1 0 b 编译码 f c o 物理接口光纤、铜缆 最顶层f c - 4 定义了光纤通道和各种高层协议之间的接口，规定了高层协议 向低层协议映射的方法。目前，己规定的f c - 4 层网络和通道协议有：t c p 口、 i e e e8 0 2 2 、s c s i - 3 、h i p p i ( h i g hp e r f o r m a c ep a r a l l e li n t e r f a c e ，高性能并行接1 3 ) 、 s b c s ( s i n g l eb y t ec o m m a n dc o d es e t ) 等； f c 3 定义了某些特殊服务，诸如与视频服务器通信时所涉及的广播服务功 能和访问磁盘阵列时数据的封闭、拆卸等。f c - 3 层主要定义了点对多点的通信 功能，而f c - 2 层只定义了单一结点端口的通信功能，如果高层应用涉及多播通 信，f c 3 层将完成向多个通信对象发送消息。 f c 2 层是f c 体系结构中的主要工作层，执行基本的信令和帧形成功能，并 8 硕士学位论文 第二章存储区域网及文件系统 且定义了分层结构中下层数据的传输机制。帧最大长度为2 1 4 8 字节，包含2 1 1 2 字节的有效负载，格式如图2 1 所示；f c 设备地址分为结点地址和端口地址， 结点地址为“位，唯一标识一个设备；一个结点可以有多个端口，每个端口分 配一个2 4 位的地址。“位的结点地址并不用于网络中帧传输，而2 4 位的端口 地址由结点互连时动态分配，用于帧的路由。 4 1 32 4 b 2 1 1 2 b4 b4 b 图2 1f c 帧格式 f c l 层是编码，解码层，定义了c d r ( c l o c ka n dd a t ar e c o v e r y ，定时数据 恢复) 、串并行转换、8 b 1 0 b 编码译码、有序集逻辑和l p s m ( l o o pp o r ts t a t e m a c h i n e ，环端口状态机) 等功能。i b m 首先开发了8 b 1 0 b 编码算法，该算法将 每一个8 位的字节转换为1 0 位，转换后的l o 位不会包含1 或0 的个数超过6 ， 并且大多数都包含同样的0 和1 。 f c - 0 层定义传输介质类型和物理电气特性。f c 可以支持i g b p s 和2 g b p s 的数据传输速率，实现数据吞吐量分别为1 0 0 m b s 和2 0 0 m b s 。f c 连接可采用 铜缆、光纤、双绞线等介质，并且通过收发器可以支持不同介质混合连在同一网 络中，收发器可根据所使用的通信介质和协议选择合适的数据传输速率。 光纤通道硬件设备种类繁多，包括收发器、h b a ( h o s tb u sa d a p t e r ，主机 总线适配器) 、光纤通道r a i d 、光纤通道j b o d 、仲裁环h u b 和光纤网交换机 等产品。这些产品力争遵循s c d ( s a n m a r kc o n f o r m a c ed o c u m e n t ，s a n m a r k 标准) ，增强设备之间的互操作性。收发器、h b a 、f i b r ec h a n n e l - t o s c s i 桥接器、 仲裁环h u b 和光纤网交换机将支持光纤通道的r a i d 、j b o d 、光纤通道子系统 连接起来。光纤通道软件产品包括支持h b a 的设备驱动程序、h u b 和交换机的 管理软件、文件和卷管理应用程序、存储资源管理软件、故障恢复软件以及磁带 备份应用程序。 2 1 2s c s l 体系结构 s c s i l 2 2 j 协议最初是为了在计算机和并行设备提供数据的高效传输而开发 的。在s n i a 共享存储模型中，s c s i 位于文件记录层之下，接收上层的请求并 转发，或者从并行设备获取数据块。s c s i 目标使用三元组描述：总线，目标l u n 。 总线标识在一个主机系统上安装的数个s c s i 接口之一；目标标识一个总线上的 单个存储资源；l u n ( l o g i c f lu n i t n u m b e r ，逻辑单元号) 标识目标中的逻辑单 元。 9 硕士学位论文第二章存储区域网及文件系统 尸! 二 ii l i 广 i 瓣p 、_ 召会r 焉l 囊懑麓滗笺戮誊 图2 - 2s c s l 客户服务器模型 s c s i 发起方和目标方之间的关系，可以由图2 2 所示的s c s i 客户机服务器 模型来描述。s c s i - 3 应用程序为客户端，描述了高层应用程序、操作系统和文 件系统的f o 请求；s c s i 3 设备服务器为服务器端，负责对请求做出响应。客户 端和服务器端之间读写数据，是通过一系列s c s i 命令、分发请求、分发操作和 响应完成的。s c s i 命令和参数在c d b ( c o m m a n dd e s c 邱t o rb l o c k ，命令描述块) 中指定。c d b 是客户端向服务器端发送的命令帧的一部分。客户，服务器请求和 响应通过底层传输的方式进行交换，并且由合适的s c s i 3 服务发送协议进行管 理如f c 协议或者吉比特串行链路的i s c s i 协议。例如，到磁盘的s c s i 写 将使得在发起方( 如册a ) 上创建一个应用客户；该客户再发送s c s i 命令请求 给目标方，令其准备缓冲区以接收数据。目标设备服务器在其缓冲区准备好之后， 将发送一个写操作响应。发起方就开始发送数据块。根据底层分发子系统的不同， 这些数据块可能会作为字节进行并行传输( 如s c s i 电缆) ，也可能分段成帧进行 串行传输( 如光纤通道) 。 2 1 3i ps a n 技术 一直以来，基于f c 技术的s a n 为存储应用提供了灵活、高性能的数据访 问，但f cs a n 必须维护一个独立的f c 网络，这使得f cs a n 存在着价格高昂、 普及困难、灵活性小等问题。针对f cs a n 的不足，人们提出了新的基于t c p i p 的存储网络技术。 t c p i p 协议广泛地应用于网络互联，在网络拥塞的情况下确保数据的顺序 传输和报文恢复。t c p i p 协议具有技术成熟、普及程度高、设备价格低廉、辅 助性管理工具丰富、安全机制和加密技术多样等特点，将存储网络技术引入到主 流的数据通信领域之中，可为用户提供更加灵活、易操作和管理的存储解决方案。 目前，i e t f ( i n t e r a c te n g i n e e r i n gt a s kf o r c e ，i n t e r a c t 工程任务组) 正在制定三 1 0 k f l ； ： 硕士学位论文 第二章存储区域网及文件系统 种口存储协议：f c i p 2 3 、i f c p 2 3 ，7 1 ( i n t e m e tf i b r ec h a n n e lp r o t o c 0 1 ) 和i s c s i e 2 , 3 , t i ( i n t e m e t s c s i ) 。这三种技术解决问题的侧重点有所不同，f c i p 主要用于f c 网 络之间的互联，i s c s i 主要用于主机与基于光纤通道的存储设备之间的通讯， i f c p 则既可以用于f c 网络之间的互联也可以实现主机与基于光纤通道的存储 设备之间的通讯。i s c s i 协议将s c s i 命令封装在t c p 包中，依靠t c p i p 网络所 提供的可靠数据传输功能和网络路由功能，t c p i p 网络相对于s c s i 命令是一个 透明的数据传输层。i s c s i 协议可实现于任何支持t c p i p 协议的通信网络，但 目前只在吉比特以态网上实现了。f c i p 是一种基于t c p i p 网络的隧道技术， 实现光纤通道网络互联。f c 网络和t c p 1 p 网络用f c i p 设备互连，将f c p 数据 包完整地封装在t c p 的数据包。f c i p 将不同地点的f c 网络互联在一起，构成 一个更广范围的f c 网络。t c p i p 网对于存储设备和主机系统是完全透明的， 只有f c i p 设备能知道t c p i p 网的存在。i f c p 是一个网关到网关的协议，它不 仅是简单地对f c 交换机进行远程连接，还可以代替f c 交换机，以提供一个更 加集成的m 存储解决方案，f c 存储阵列、h b a 、f c 交换机和f c 集线器都可 以直接连接到i f c p 存储交换机上。在i f c p 的网络中本地和远端的s a n 网络是 独立的两网络。 2 1 4 存储区域网的应用 存储区域网可以很方便地通过光纤通道把各种服务器、存储设备连接在一 起，构成一个具有高带宽、较好的数据可用性、可扩展的集群环境。存储区域网 技术的这些特点使它具有了广泛的应用： l 、共享数据 s a n 技术的一个主要应用是共享数据，它具有让不同类型的服务器访问和 共享同一个存储器上数据的功能。在现有标准网络和文件系统的基础上，s a n 利用软件可以非常方便地共享各种数据。通过光纤通道技术，s a n 可以为多个 系统同时提供高于1 0 0 m b p s 的数据传输速率，s a n 中的存储设备对于网络中的 服务器和客户都是平等的，最大限度地提高数据吞吐率。 2 、远程镜像 远程镜像已经变成一种非常普遍的灾难恢复手段，除正在运行的应用程序， 远程镜像可以为站点上其它关键数据提供一份完整且最新的备份。目前，主站点 进行远程镜像的距离是1 0 到l o 千米，但是随着光通信技术及相关软件的发展， 这个距离可以变得更远。在远程镜像中有两种主要的数据传输类型；同步传输和 异步传输。同步传输指本地系统将备份数据作为i o 命令处理过程中必不可少的 一部分传给远程站点。这种类型的远程镜像通常需要很高的带宽，因此一般局限 硕士学位论文 第二章存储区域网及文件系统 在相对比较近的范围内。然而，这种技术目前被广泛应用，一旦主站点故障，用 户可切换到备用站点，利用其上的远程备份数据来维持系统的正常运行。异步传 输类型指本地的i o 数据传输需要排队等候，这样有利于长距离传输或受低带宽 系统的限制。显然，对于这种传输类型，如果主系统崩溃那么正在处理的数据和 排队等候的数据就很有可能会丢失。但是我们可以把这种情况控制在可以接收的 范围内。 3 、在线备份 随着数据存储从千兆字节到兆兆字节，备份已经成为数据中心日常数据维护 的一项重要工作。在备份数据流与通信数据流混合的情况下，磁带备份数据流往 往需要1 0 2 0 m b p s 的带宽，突然增加的备份数据流会耗尽网络核心资源，影响 用户通信；另一方面，在管理资源庞大的情况下，集中管理备份任务的服务器往 往变得不堪重负。基于上述两种情况，建立专用的存储区域网可以很好地解决问 题。采用l a n f r e e 备份技术，专用的存储区域网与数据通信网分开，数据的备 份不会影响用户的通信；使用获得第三方拷贝代理权的g - i b a b i te t h e r n e t - t o s c s i 网桥产品，可以将一般的备份任务从服务器中解脱出来，增加存储区域网的价值。 基于m 技术的存储区域网可以将分散的网络进行合理的磁带备份，简化管理， 强制执行那些本来难以实现的数据安全策略。 2 2 文件系统 文件系统最初是用来管理本地磁盘，提供用户访问数据接口。某些数据的逻 辑集合叫做一个“文件( f i l e ) ”，并赋予每一个文件一定的属性以标识该数据集 合的某些属性。文件按照树o r e e ) 结构层次进行管理和检索。最初的文件系统 只能管理本地磁盘空间。主机之间的文件共享与传输则通过文件传输协议( f 1 p f i l et r a n s f e rp r o t o c 0 1 ) 实现。但f t p 没有提供与本地文件系统一致的访问接口 和对象模型。 随着计算机应用范围的扩展，通过文件访问接口在不同主机之间共享文件的 需求日益增强。在二十世纪7 0 年代就出现了最初的分布式文件系统的尝试，并 且取得了巨大的成功，如n f s ，a f s 、c o d a 等。这些系统的主要功能是：支持 用户在一定网络范围内( 例如：局域网、校园网等) ，对一定数量的分布文件进 行透明访问。随着i n t e m e t 的出现，人们研制了面向i n t e m e t 的分布式文件系统， 如：j a d e ，u f o ，a l e x 和w j b f s 等，支持用户在i n t e m e t 范围内对一定数量的分 布文件进行透明访问。在科学计算与高性能计算领域，针对最近几年i n t e m e t 环 境下海量数据的管理与使用需求的增加，人们提出了称为d a t ag r i d 的面向广域 网的数据管理解决方案。该方案的策略为：在现有的数据管理系统( 如：文件系 硕士学位论文 第二章存储区域网及文件系统 统和数据库系统) 的基础之上，提供一层中间件，利用中间件对这些分布的、异 构的系统进行统一管理，使其形成一个整体，共同对外提供数据服务。典型的这 类系统如g a s s ，d a t ag r i d ，s r b 等。 2 2 1 磁盘文件系统 ( - - ) e x t 2 第二扩展文件系统( e x t 2 ) 是l i n u x 所固有的。在l i n u x 成熟时，引入了 扩展文件系统( e x tf s ) 。1 9 9 4 年引入了第二扩展文件系统( s e c o n de x t e n d e d f i l e s y s t e m ，e x t 2 ) 。e x t 2 已成为广泛使用的l i n u x 文件系统。磁盘分区结构如图 2 3 所示。 弓i 导块块组o ，一，7 7 2 4 普通文件用户文件 如果一个文件比较小，其所有属性能够存