（计算机系统结构专业论文）网络存储中数据共享技术研究.pdf

华中科技大学硕士学位论文 摘要 f 数据信息的急剧膨胀，对网络存储中数据共享的规模、效率、安全性和可靠性 都提出了更高要求。深入分析共享的基本理论，探讨共享机制的原理与关键技术对 研究网络存储系统具有重要的参考价值 数据共享技术与体系结构、智能存储技术、操作系统和通信协议都密切相关， 具有多层次多样化的特点。网络存储系统中数据流动的方式和层次结构，包括数据 流路径，数据合流与分流的特征决定了共享的方式、层次结构和效率。减少数 据流i ，o 路径的复杂性，分流传送控制信息、元数据与文件数据，以及降低数据 的层次是改进数据共享效率的有效途径。 基于s a n 实验平台的非对称结构共享文件系统原型开发，采用三方传送来实现 文件管理器控制下存储设备和主机之间的直接数据传递。系统分为本地文件系统和 逻辑文件系统两层，本地文件系统负责对s a n 中的存储设备进行直接的管理与操 作，并具有磁盘分组与并行存取、异步i o 、以及三方传送等功能，以满足s a n 环 境的需要。逻辑文件系统以r p c 为通信基础，负责实现统一资源管理、单一文件系 统视图和文件管理器等功能。 三方传送予系统的性能是决定整个系统数据共享效率的关键，采用服务器维护 文件状态参数、集中负责锁管理和操作互斥的三方传送方案，可以充分利用客户机 缓存进行文件数据的缓冲预读与异步回写，显著提高系统的整体效率。 关键词：网络存储；数据共享；文件系统：远程过程调用：三方传送；元数据 华中科技大学硕士学位论文 a b s t r a c t w i t ht h er a p i di n c r e a s i n go fd a t ai n f o r m a t i o n ，m o d e r nn e t w o r ks t o r a g es y s t e m sa r e n o wb i d d i n gf o rm o r ea n dm o r ed e m a n d so nd a t as h a r i n g i n s c a l a b i l i t y , e f f i c i e n c y , s e c u r i t y a n d a v a i l a b i l i t y d e e pa n a l y s i s o ft h eb a s i c t h e o r i e s ，p r i n c i p l e s a n dk e y t e c h n i q u e so f d a t as h a r i n ga r ee s s e n t i a lt ot h ef u r t h e rr e s e a r c hi nn e t w o r ks t o r a g ef i e l d d a t as h a r i n gh a sr i c h f e a t u r e sc o n c e r n i n gw i ma r c h i t e c t u r e i n t e l l i g e n ts t o r a g e t e c h n i q u e ，o p e r a t i n gs y s t e m ，c o m m u n i c a t i o np r o t o c o l s t h e m a n n e ra n dh i e r a r c h yo fd a t a s t r e a mi nn e t w o r ks t o r a g es y s t e m , i n c l u d i n gy op a t h , f e a t u r e so fe o n t l u e n c ea n d d i f f i u e n c e ，d e t e r m i n et h em a n n e r , h i e r a r c h ya n de f f i c i e n c yo fs h a r i n g d e c r e a s i n gt h e c o m p l e x i t yo f d a t a i 0p a t h ，d i f f i u e n c eo f c o n t r o li n f o r m a t i o n ，m e t a d a t aa n df i l ed a t a , l o w l a y e r d a t at r a n s f e ra r eg o o d a p p r o a c h e s t oi m p r o v es h a r i n ge f f i c i e n c y d e v e l o p m e n to fs h a r df i l es y s t e mp r o t o t y p ei ns a ne x p e r i m e n tp l a t f o r ma d o p t s a s y m m e t r i ca r c h i t e c t u r ea n dt h i r d - p a _ , qt r a n s f e rt oa c h i e v ed i r e c td a t at r a n s f e rb e t w e e n t h es t o r a g ed e v i c ea n dh o s tn o d eu n d e rt h ec o n t r o lo ff i l em a n a g e r t h ew h o l es y s t e mi s d i v i d e di n t ot w ol a y e r s l o c a lf i l es y s t e mi si nc h a r g eo fv e r yd i r e c tm a n a g e m e n ta n d o p e r a t i o n o f s t o r a g e d e v i c e f u n c t i o n ss u c ha sd i s k g r o u p a n d p a r a l l e l a c c e s s ， a s y n c h r o n o u sy oa n dt h i r dp a r t yt r a n s f e ra r ea d d e dt oa d a p tt ot h es i t u a t i o no fs a n e n v i r o n m e n t l o g i cf i l es y s t e ma d o p t sr p c a si t sc o m m u n i c a t i o nb a s i sa n di sm a i n l yi n c h a r g eo f u n i f o r m r e s o u r c em a n a g e m e n t ，s i n g l ef i l es y s t e mv i e wa n df i l em a n a g e r t h ep e r f o r m a n c eo f t h i r d - p a r t yt r a n s f e rs u b s y s t e mi st h ek e yt ot h ew h o l es y s t e m d e s i g ns c h e m eo fs e r v e rm a i n t a i n i n gf i l es t a t u s ，c e n t r a l i z e dl o c km a n a g e m e n ta n dc l i e n t c a c h e r e a d i n g i na d v a n c ea n dd e l a yw r i t e t e c h n i q u ec a ns i g n i f i c a n t l y e n h a n c et h e e f f i c i e n c yo f d a t as h a r i n g k e y w o r d s ：n e t w o r ks t o r a g e ；d a t as h a r i n g ；f i l e s y s t e m ；r p c ；t h j r d p a r t yt r a n s f e r ； m e t a d a t a 华中科技大学硕士学位论文 1 1 网络存储与数据共享 1 绪论 图灵奖得主j i mg r a y 指出“由于国际互联网和电子商务的超高速发展，每1 8 个月内全球新增加的信息量将是历史上全部信息量的总和”。信息量的迅速暴涨，使 得数据的高速存取与共享显得至关重要，越来越成为信息高速公路中的瓶颈问题。 附网存储【1 2 1 ( n e t w o r ka t t a c h e ds t o r a g e 简称n a s ) 和存储区域网p 4 j ( s t o r a g e a r e a n c t w o r k 简称s a n ) 提出了新的存储体系，代表着未来以网络为基础的存储结构的 发展方向。网络存储把网络技术集成到存储i o 之中，它融合了网络和i o 的特性， 特别是网络的可寻址能力、即插即用、远距离、连接性和灵活性1 5 l ，存储i o 的高性 能和高效率。网络存储设备提供网络信息系统的信息存取和共享服务，其主要特征 有：超大存储容量、大数据传输率、极好的扩展性以及高可用性。网络存储技术的 优良特性必将使其广泛应用于数据中心、出版、c a d 、图像、教育、银行、政府、 法律等那些对数据量有较大需求的应用中，具有广阔的市场前景。 数据共享是现代信息社会的基本特征之一，在公司企业、科研院校、互联网络， 数据共享无处不在。公司内部网络以及各子公司的各种数据共享与公司的日常运作 密不可分，科研场所利用数据共享来进行信息交流，i n t e r a c t 上的数据中心专职提供 数据共享输出的服务等。在数据共享的数量和规模都不断扩大的同时，对数据共享 的效率，安全性，可靠性，可管理性都提出了更高要求。 海量的数据存储、高速的i o 通道和高效的数据共享是网路存储必须具备的三 个根本要素，提供高效可靠的数据共享机制是网络存储系统的必然趋势和内在要求。 随着存储技术的发展，大容量与超大容量的磁盘设备已经出现，互联技术如光纤通 道【6 7 j ( f i b r ec h a n n e l 简称f c ) 可以提供超过l g b 的i o 带宽，而数据共享技术由 于和系统体系结构、智能存储技术、操作系统、通信协议都密切相关【8 一，具有多层 次多样化的复杂特性，对数据共享理论和技术进行深入研究对于存储系统的设计， 高性能网络服务器，n a s 和s a n 管理系统的研制都具有良好指导和参考意义。本 文研究的目的亦在探讨网络存储中各种数据共享机制，发挥利用现有的软硬件优势， 华中科技大学硕士学位论文 构造良好的共享环境，实现高效率，高可靠性，高安全性的数据共享。 本课题的研究得到了“九五”国防科技预研项目“高速串行s c s i 接口及系统” ( 项目编号：1 6 1 3 8 ) 、国防科技预研基金项目“军用存储网络原理的研究”( 项目编 号：9 9 j 1 6 2 1 j w 0 5 2 4 ) 、“基于光纤通道的集群存储容灾系统原理与核心技术的研究” ( 项目编号：o o j l 6 2 6 j w 0 5 3 3 ) 以及国际合作项目“n a s 系统软件开发”的资助。 1 2 共享技术的发展及国内外研究情况 虽然数据共享机制与操作系统以及存储设备都密切相关，但数据在存储设备中 是以文件形式存在，传统意义上的数据共享就是文件数据的共享，数据共享机制的 实现也归于文件系统范畴。计算机通过文件系统来管理存储资源，提供文件的组织， 存储，获取，共享和保护等功能以及应用程序编程接口，屏蔽存储空间分配的细节， 为用户访问存储设备提供了一种抽象的机制【1 0 - 1 2 。随着操作系统，网络通信，存储 技术的飞速发展，现代文件系统在共享协议、语义上呈现多样化，多层次的特点， 以适应不同网络存储的需要1 1 3 】。同时，文件系统中数据共享的结构也在不断发展变 化。 1 2 1 典型分布式文件系统数据共享方式 分布式文件系统是传统网络数据共享的主要方式，它主要实现弱连接( 如以太 网，无线，移动计算) 环境下同构或异构系统之间的数据共享 1 4 , 1 5 1 。 n f s 是这类共享方式的典型代表。n f s 是由s u n m i c r o s y s t e m s 在8 0 年代中期设 计的，目的是为了使多台u n i x 客户机实现透明的文件共享 1 6 - 1 8 】。最初的n f s 采用 无状态的服务器和弱共享语义，很难建立牢固的共享连接。在后来的版本以及很多 具体实现中，都设计为有状态的，以提高系统效率。n f s 的高版本如v 3 , v 4 放松了 同步更新的协议，对于目录搜索采用更快速的方法【1 9 删。有些n f s 变体，如 s p f i t e l y - n f s 采用了改进的缓存策略【2 l 2 2 1 。n f s 设计经典、简单，具有强大的生命力， 直到现在高版本的n f s 以及其变体仍然是u n i x 系统中主要的数据共享方式，n f s 采用的客户机服务器f 2 3 甜】模式依然为后来的大多数共享系统借鉴和使用。 2 华中科技大学硕士学位论文 另一个经典的分布式文件系统a f s 最初是在1 9 8 3 由卡耐基梅隆大学和i b m 联 合开发，目的是为校园范围的桌面机提供高效的数据共享【2 5 1 。a f s 汲取了集中服务 器分布式系统如n f s 和r f s 的一些特点，但在规模和共享能力上都有很大提升。 a f s 采用“最后关闭获胜”( 1 a s t c l o s e w i n s ) 的语义，这与u n i x 的“最后写获胜” ( 1 a s tw r i u ：w i n s ) 语义相对。a f s 的客户机缓存是相当稳定的，即使当客户机或服 务器重启后，这些缓存仍然可以依靠一种与每个文件相关的属性，称为“数据版本” 的机制来复用，提高了共享的效率。 与n f s 相比，a f s 的共享协议简单而更加强大。n f s 只是客户端发起r p c 调 用，服务器作被动的回应。a f s 则是双向的，服务端和客户端都必须回应对方的 r p c i 2 6 1 ( r e m o t ep r o c e d u r ec a l l ) 请求，这样客户机就可以得到服务器主动发来的通 知消息，保持数据的更新。 a f s 服务器提供统一的名字空间，无论哪台客户机看到的文件路径都是一样的。 a f s 采用c e l l 的概念，每个c e l l 是一个由a f s 服务器组构成的单一管理域，对 外输出文件卷，并设置相同的安装点，比如“a f s ”树的一个分枝。c e l l 中有一个 专门的服务器作定位服务器使用，当客户机遍历“a f s ”树时，定位服务器用以查找 存储该文件卷的a f s 服务器。 a f s 有很强的安全性，客户机是不被信任的，k a s k e r b e r o s 为客户和服务器提 供相互鉴权功能，从而只允许鉴权通过的用户使用系统。 c o d a 2 7 瑚】和i n t e r m e z z o 给了客户机更多的自主权，使用持久稳定的客户端文件 缓存。c o d a 的协议支持客户端的非连接操作，而i n t e r m e z z o 客户机采用了记录修改 日志的缓存写回技术，它们的共享语义都不是严格的u n i x 语义。 c o d a 对a f s 的改进如下： 1 采用重新集中的非连接操作。 2 采用多重r p c 协议，不需要串行发送r p c 请求，允许多个请求同时分派， 再比较响应结果，主要用以支持c o d a 的服务器文件多重备份机制。 为了实现非连接的操作，c o d a 在服务器不可用或者带宽受限不能同步更新文件 数据时，采用记录操作日志的方法，所有客户机的操作被记录到一个更新日志上( 称 作c m l ) ，当连接恢复后，这个日志用来重放操作以保持服务器文件系统的完整性。 华中科技大学硕士学位论文 这个过程称作“r e i n t e g r a t i o n ”。当服务器进行c m l 中的目录更新操作时，它再从客 户机上去取文件数据。c o d a 的带宽自适应机制根据先前的网络性能自动调整 “r e i n t e g r a t i o n ”操作的频率和时延。为了处理在“r e i n t e g r a t i o n ”过程中出现的客 户机、服务器崩溃或者网络中断等特殊情况，c o d a 的版本戳中增加了一个主机i d 用以标识执行更新操作的客户机，并且必须保持客户机缓存中的文件集，这样当连 接恢复时c o d a 可以根据文件和卷的版本戳迅速确认缓存状态以继续尚未完成的 “r e i n t e g r a t i o n ”操作。 另外在w i n d o w s 领域广泛应用的c i f s 协议也是一个有状态的共享协议【l3 1 。 1 9 9 7 年由i n t e l 、m i c r o s o r 和c o m p a q 三家公司联合推出v i a ( v i r t u a li n t e r f a c e a r c h i t e c t u r e ) 标准，它是在各个大学和研究中心对用户级通信系统所作研究的结晶。 它的推出标志着用户级通信系统从实验室走向了实用阶段。在v i a 中，将通信实体 抽象为v i ，每个应用有一个或多个，通信只能在建立连接的两个v i 之间进行； 同时v i a 采用了基于发送、接收和完成队列的面向连接的通信协议，底层的存储管 理完全交由上层应用程序来进行。在数据传送方式上既有通常的s e n d r e c v 操作， 也提供了远程写的功能。唤醒方式采用查询和中断两种机制。 由n e t w o r k a p p l i a n c e ，i n t e l 以及其他一些居于领导地位的系统和存储网络产品 制造商于2 0 0 0 年六月成立d a f s ( d i r e c ta c c e s sf i l es y s t e m ) 协作组，致力于直接 访问文件系统协议的研究与应用，该文件系统以v i a 为基础，旁路了深层的网络协 议口】，实现了应用层的直接数据访问，极大的提高了以文件为共享对象的传统分布 式系统的共享效率，可以与共享存储的文件系统相媲美。直接访问文件系统具有如 下特征： 1 采用隐式本地数据共享的轻量级文件访问协议。 2 高性能，为低延迟，高可靠网络而设计。 3 借用虚拟接口( v i ) 来实现传输独立性，传统分布式系统将文件访问的能 力建于m 网络之上，构建了局域网和相当程度上的广域网的文件共享， d a f s 将文件访问语义构建于v i 之上，主要适用于高可靠局域网中的文件 共享。 4 华中科技大学硕士学位论文 4应用程序直接访问传输介质：文件数据到应用缓冲的直接传输；旁路操作 系统。 5 借用n f s v 4 的文件系统语义，并能提供更高速稳定的锁机制，f a i l o v e r 和数据迁移功能。 d a f s 数据传递方式如图1 1 所示。 1 2 2 集群与共享存储方式 共享物理存储设备的文件系统，如c m ys f s 2 9 1 ，d e cv a x c l u s t e r l 3 0 1 文件系统， 以及o r a c l e 的p a r a l l e ls e r v e r 3 ，采用由附网存储设备构建的分布式无服务器模式， 提供高效的对存储设备的并行访问 3 2 1 。对这类文件系统的研究过去只是少数大型和 专有系统的专利，因为它们的实现需要专有存储设备和网络的支持，如d e c 的c i 图1 1d a f s 数据传递方式 华中科技大学硕士学位论文 ( c i u s t e ri n t e r c o n n e c t i o n ) 网络，昂贵的h i p p i ( h i g hp e r f o r m a n c ep a r a l l e li n t e r f a c e ) ， e s c o n ( e n t e r p r i s es y s t e mc o n n e c t i o n ) 等，或者用软件模拟提供共享的存储网络。 随着光纤通道协议的出现，使得网络存储从高端走向中低端，在桌面计算上提供开 放标准的附网存储接口成为可能p 3 ，3 “。 共享存储文件系统开创了数据共享的新途径，网络协议和通道协议的结合使存 储网络上的主机节点可以直接共享存储设备中的磁盘块。v m sv a x c l u s t e r ，x f s ， g f s ( g l o b a lf i l es y s t e m ) 代表这类系统，它们通常为客户提供单一的系统映像 3 5 , 3 6 1 。 g f s 最初是m i n n e s o t a 大学的一个s a n 文件系统项目口7 3 8 1 ，是一个完全的基于 设备锁的对称共享文件系统( s h a r e df i l es y s t e m ) 设计。m i n n e s o t a 大学与工业界合 作开发了一种在磁盘上实现的共享锁，称为d l o c k ( d e v i c el o c k ) 。g f s 系统用 d l o c k s 来实现主机节点对文件系统数据互斥操作的机制。d l o c k 用单个s c s i l 3 9 , 4 0 1 指 令实现磁盘操作的原语：测试并设置，清除，并具有如下特点： 1 设备锁指令独立于其他s c s i 指令。 2 设备本身并不意识到何种数据因互斥操作而被上锁。 3 每个锁只需要极少量的磁盘控制器缓存，比如一个字节。 c r a y 的s f s 也是采用基于磁盘锁的对称性结构，c r a y 开发了一种用于磁盘上元 图1 2n a s d 体系结构 数据互斥操作的信号灯，这种信号灯操作实际上是一种t e s t a n d s e t 原语。s f s 允许 6 华中科技大学硕士学位论文 主机节点本地缓存数据，但高速本地内存访问的代价是只能允许只读的文件共享操 作。当文件被一个或多个节点以只读方式打开时，有写方式请求打开该文件的主机 不得不等待所有的其他节点关闭该文件，这种并发机制很可能导致大的访问延迟a 卡耐基梅隆大学的n a s d ( n e 晰r k a t t a c h e ds e c u r ed i s k s ) | 4 1 1 在目前的实现中采 用了一个文件管理器，用于维护目录和其他操作，在系统结构上是一种非对称的方 式。n a s d 采用异步文件系统监督来降低文件管理器和主机节点之间的通信开销。 n a s d 在安全和对象两个方面最具鲜明的个性。文件管理器的一个主要功能就是为 磁盘和主机节点之间的安全通信提供鉴权，主机节点在访问磁盘之前，必须得到文 件管理器的授权，所有在网络上传递的信息都经过加密处理，具备智能的磁盘设备 具有加密解密的能力。如图1 2 ，客户机首次访问时必须向文件管理器请求访问检查 ；文件管理器给客户机授权；在一般情况下，客户机直接向存储设备发送读写 请求；存储设备对客户机进行鉴权后，直接回应请求。与对称系统中磁盘具备 的缓存处理能力相比，n a s d 大大提高了磁盘操作的文件系统语义，磁盘上集成了 基于对象的文件系统，磁盘对外输出i 扮不是传统意义上的固定尺寸的块，而是可变 长度的对象。这些对象可以是文件，目录，分离的文件组甚至是磁盘分区。文件管 理器维护n a s d 的名字空间，对主机节点发布盘设备的映射信息，在返回主机的文 件句柄中包含了磁盘i d 和对象d ，这样主机就可以方便的找到操作的对象了。用 于文件数据传输和取文件属性的操作在主机和盘设备之间直接传送，其他操作仍由 文件管理器处理。更高层设备操作语义层意味着主机只需要传递更少的命令就可以 实现通常的文件操作所需的功能，有效的降低了网络负载，并提高了系统的可扩展 性。 1 3 本文主要研究工作 1 3 1 研究设想及方法 针对当前网络存储中数据共享的发展现状，本文拟采用理论研究与实践开发相 结合的方法，对数据共享的理论和技术进行深入分析和探讨。本文先对共享进行定 义和分类，描述共享语义，阐明数据共享在网络存储技术中的重要地位，在剖析网 7 华中科技大学硕士学位论文 络存储系统中数据流i o 路径特点的基础上，分析数据共享与数据流的内在关系， 提出一种数据共享的层次结构。按共享的层次，分别对各层共享的机制特点，技术 原理进行分析探讨。主要包括高层数据流比i 的基于消息传递的共享机制，共享存 储系统中高层数据流与底层数据流相结合的非对称结构与基于底层数据流的对称结 构。 在理论研究和共享机制分析的基础上，采用非对称结构在s a n 上设计开发一套 共享文件系统原型，深入研究s a n 中数据共享的关键技术以及三方传送技术的实现 机理，并给出实验结果和分析结论，最后对课题的研究进行总结并指出尚需进一步 完善与探讨的工作。 1 3 2 本文的主要内容及结构安排 本文首先深入分析了存储网络中数据共享的理论，探讨了几种主要的共享机制 技术原理以及协议，结构特征，优点和不足，共享新技术新思想的发展及实例分析 等。在前章研究的基础上，设计实现了一个s a n 环境下共享文件系统原型，深入分 析了三方传送技术并给出实验结果。本文分为六章，结构安排如下： 第二章分析数据共享的基本理论，给出其定义分类，描述共享语义，阐述网络 存储中数据共享的重要地位。分析数据流的i o 路径，从而得出共享的层次结构， 分析每层的特点。 第三章探讨数据共享机制，按结构层次分别论述了基于消息传递分布式结构和 共享存储系统中对称性与非对称两种基本结构，并对每种机制的协议、共享结构、 关键技术思想、优劣特征等进行分析归纳。 第四章详细论述了s a n 环境下共享文件系统的设计思想，组织结构并分析了主 要功能模块和关键技术原理。 第五章详细阐述了三方传送子系统的设计技术实现，并给出了实验结果。 第六章全文总结和后续工作。 华中科技大学硕士学位论文 2 数据共享理论分析 数据共享的基本理论包括数据共享的定义、分类、共享语义，数据共享在网络 存储系统中的地位及与其他功能特性之间的内在联系，以及数据共享的基本原理、 特征和层次结构的划分等。 2 1 共享的定义 研究网络存储系统的共享机制，首先必须给出一个完整精确的定义，本文中对 共享作如下定义：即指一个系统实体a 在另一个系统实体b 授权下能够访问其管理 的输出资源。 并作如下说明： 1 共享是两个系统实体之间互操作对方资源的方式。 2 互操作的一套规则即共享协议。 3 按操作方式的不同有多种共享协议，共享方式，从而决定了不同的共享对 象和共享粒度。 4 共享协议描述了共享的方式，操作细节，文件系统的完整性和一致性维护， 以达到和实现某种共享语义。 2 1 1 共享语义 常用的文件共享语义有以下几种： ，1 i n 语义( u n i xs e m a n t i c s ) ：本语义对应于分布式共享内存系统中的顺序 一致性模型。它保证每次读文件操作都能看到所有发生在该读操作之前的 写操作的结果，并且客户共享文件指针。即“l a s t w r i t ew i n s ”语义。 2 会话语义( s e s s i o ns e m a n t i c s ) ：这里会话是指对某个文件从打开到其关闭期 间的所有操作。在会话语义下，本地客户可以直接看到对打开文件的写操 作，但远程客户则看不到。当文件被关闭时，该文件的所有修改结果对新 打开的对话是可见的，a f s 采用的就是会话语义。 9 华中科技大学硕士学位论文 3 不变共享文件语义( 1 r 彻1 u t a b l es h a r e d f i l es e m a n t i c s ) ：在该语义下，文件是 不可改变的，即文件只能只读共享。 4 事务处理型语义( t r a n s a c t i o n 1 i k es e m a n t i c s ) ：一个事务内部的所有操作要 么全部成功，要么全部失败。由于事务的原子性，不同的事务能按照一定 的次序执行。 共享语义的核心是一个写操作的结果何时为随后的读操作可见，采取何种共享 语义，以及该语义的实现程度是文件系统主要的共享特征之一。 2 1 2 共享的分类 按共享的对象粒度来划分： 1 v n o d e 级共享 如n f s ，使用r p c 进行通信，在v n o d e 操作这一层次上共享。 2 文件级共享 如c o d a 和i n t e r m e z z o 在文件级粒度上进行共享，所有用以实现和维护共 享语义的读写锁都由文件服务器统一管型2 7 娜1 。 3 对象级共享 共享输出对象不再是单纯意义上的文件，可能是有组织的文件的集合或者 目录，甚至是文件系统和分区。 4 磁盘块共享 共享存储系统，如s a n ，中的任意主机节点可以直接访问存储池中的磁盘 设备，他们的共享粒度是磁盘块。 按共享的方式来划分： 1 基于消息传递的共享； 2 共享存储设备。 传统的c s 结构的分布式文件系统主要依靠消息传递机制来实现共享，两个f s 实体之间并没有物理上直接共享的存储设备。文件系统采用共享机制输出共享目录， 客户机能够通过共享协议访问服务器的输出资源，他们之间的控制与数据，包括元 1 0 华中科技大学硕士学位论文 数据和文件数据是通过消息传递的。现代共享文件系统采用光纤通道或者专用网络， 网络节点可以共享内存或者附网存储设备。此时网络共享文件系统的主要任务是协 调管理对附网存储设备的多重访问，维护文件系统和数据的完整性，构造高效的共 享访问环境【3 2 1 。 2 2 数据共享在网络存储中的地位 海量的数据存储、高速的i 0 通道和高效的数据共享是网络存储的三个根本要 素，其中数据共享机制直接决定了网络存储系统的整体性能甚至体系结构，与网络 存储的其他功能特征如单一系统映像，高可用性，可扩展性都密不可分。 单一系统映像的设计目标是完全的透明性，可扩展性，以及系统的可靠性瞵j 。 即：s s i 应使用户看到一个单独的系统而不是互相独立的结点的集合。s s i 服务所涉 及的主要内容包括：单一入口点、单一文件层次、单一控制点、单一虚拟网络、单 一内存空间、单一作业管理系统和单一用户接口。在单一文件层次下，用户可以从 任何一个结点上进入单一文件系统的根目录，看到的是一个完全一样的树型目录结 构，其关键问题在于实现系统的透明性和严格的文件共享语义。有两种方法可以实 现单一文件层次：一种是共享磁盘方式，直接按照磁盘块来存取文件数据；另一种 是共享文件系统方式，它用到v n o d e v f s 接口，是传统的客户服务器方案，客户 端利用v n o d e v f s 接口实现一个虚拟文件系统，通过r p c 从服务端获得服务。 文件系统的各种透明性都与分布式文件系统的位置透明性有关。文件系统的透 明性包括以下几点： 1 结构透明性要求客户不应知道文件服务器及存储设备的数目和位置。 2 存取透明性保证了客户可以同样的方式来存取本地和远程文件。 3 命名透明性指文件的名字中不含有有关文件位置的( 提示) 信息。 4 复制透明性是指大多数分布式文件系统为了提高系统的性能和可用性采用 了缓存和复制技术，系统中同一个文件可能在多个结点上有拷贝副本，多 个拷贝的存在及其位置等信息对客户来讲应该是被屏蔽掉的。 5 用户的可移动性要求系统支持用户在不同的时间、不同的结点上工作的灵 华中科技大学硕士学位论文 活性，且用户感觉不到i o 性能有太大差异。 数据共享输出的可用性可以从两个方面来提高。一是提高单个系统( 如n a s ) 数据存取的可用性，通常采用r a i d 4 2 ，4 3 1 的方式，对于普通级服务器和数据处理需求 不高的用户，可以采用软件r a i d 技术。相对于硬件r a i d 来说，其成本低廉，可 扩展性和可管理性好，但是其数据处理的延迟较长，不能满足基于网络数据中心的 需求。另一种方法是多系统的f a i l o v e r 策略，当一个系统崩溃时，另一个系统就 来接替他的服务，保证数据存取的连续性。这需要在多个系统之间实现数据同步。 数据共享的可扩展性表现在在线加入新的存储设备，存储系统可以动态发现新 加入的资源，自动配置并且加入到单一的存储资源映像中对用户提供数据输出服务。 在动态扩展存储容量的情况下，不应降低系统的数据访问的效率，并能更优的利用 网络带宽。 2 3 数据共享的结构层次 数据共享技术和系统体系结构、智能存储技术、操作系统、通信协议都密切相 关，具有多层次多样化的复杂特性。数据共享存取的本质，实际上是一个数据在存 储设备与系统，系统内部，系统之间流动的一个过程。深入分析存储系统中数据流 的特点，包括数据i o 的路径，层次，命令流、元数据和文件数据的合流与分离的 特征，可以得出数据共享的基本原理、特征以及层次结构。 2 3 1 存储系统中数据流的特征分析 传统上，文件系统与操作系统紧密相连，操作系统管理调度系统资源，文件系 统则为系统所产生和使用的数据管理存储空间。在网络存储环境下，操作系统和文 件系统可以分开来实现，文件系统和操作系统的一部分可被拆分为更小的单元模块 分散到不同的处理器中，部分功能还可被向下迁移到存储予系统中，使得网络存储 系统具有较为复杂的结构，必须从较为微观的角度加以研究。 网络存储是一个开放系统，涉及到较多的硬件和软件构件，其硬件构件包括六 个部分：存储介质、存储设备和子系统、i o 总线和网络连接、主机i o 控制器、主 华中科技大学硕士学位论文 机i o 总线和系统内存总线，软件构件包括：设备驱动程序、卷管理器、文件系统 和数据库、操作系统以及应用软件。 为分析存储i o 的操作机理和过程，划分网络存储系统的i o 结构为7 个层次 3 , 4 5 1 ，如表2 1 所示。 表2 1 网络存储的i 0 层次结构 第七层应用层产生高层i o 请求 第六层数据，文件逻辑层数据5 c 件组织：目录、文件等等 第五层 数据分配层 内部存储结构、版本控制、空闲空间管理等 第四层块转换层设备虚拟化、块i o 映射、软件r a i d 等 第三层设备连接层数据传输命令、设备状态、控制命令 第二层 介质访问层( m a c ) 总线的仲裁、连接管理，地址选择等 第一层物理层存储设备，子系统、总线、网络缆线、连接器 在存储i o 层次中，最上层是应用层，其涉及范围极其广泛，例如i n t e m e t 上的 各种数据应用，它对下层都表现为产生高层i o 请求，对下层的以文件方式组织的 数据进行抽象访问；第六层是数据文件逻辑层，以文件方式组织数据，对上层而言 就是文件系统的逻辑视图，如文件、目录、文件夹等等。它可以是单机的文件系统， 或者是由分布式计算机系统构成的全局的逻辑文件系统：第五层是数据分配层，负 责文件系统内部存储结构、版本控制、空闲空间管理等等，如w m d o w 下面的文件 分区表，第四层是块转换，它主要进行设备虚拟化、块i o 映射，这就是设备驱动 和卷管理功能。第三层是设备连接层，如总线和网络，负责数据传输、设备的状态 管理和控制。第二层是介质访问层，定义了总线的仲裁、连接管理和地址选择。最 底层是物理层，包括存储设备，予系统、总线、网络缆线、连接器。 一般地，最下面三层的功能由硬件实现，这些硬件包括主机i o 控制器、存储 华中科技大学硕士学位论文 设备和子系统、总线和网络连接设备，其功能还在扩展之中。在s c s i 和f c 中，这 三层结构已成为标准。第四层至第七层的功能由专用的产品实现，通常，数据文件 逻辑层和分配层由文件系统和数据库负责，而块转换层可由卷管理、设备驱动程序、 主机i o 控制器、存储子系统及存储域管理器负责。 2 3 2 数据的共享的结构层次 通过对数据i o 层次的分析，可以得出数据从具体的物理存储设备传送到用户 须经过很多的中间环节，可以在不同的层次，经由不同的路径，层次路径的选择决 定了数据传输的协议结构，也决定了数据共享输出的效率、可靠性、管理及功能。 简而言之，数据流动的途径决定了共享的方式。 对应数据i 0 的结构层次，可以划分数据共享的层次结构，如表2 2 所示： 表2 2 数据共享的层次结构 第七层应用层应用级共享，如w e b 共享方式 第六层数据文件逻辑层 基于消息通信的文 件数据共享 非对称数据共 第五层数据分配层 享方式，既具 第四层块转换层 有消息通信， 第三层设备连接层 又有直接共享 共享存储设备方式 存储设备的特 第二层 介质访问层( m a c ) 征 第一层物理层 应用级共享主要指采用高层网络协议实现数据的共享输出，如使用h t t p 协议 和f t p 协议，这类共享方式的最大特点是平台无关性，协议结构简单，主要应用于 广域网范围，是i n t e m e t 中最广泛的数据共享方式。由于它不是存储网络中的主要数 据共享方式，本文不作主要讨论。 1 4 华中科技大学硕士学位论文 基于消息传递的共享机制主要在逻辑文件屡和数据分配层实现，采用r p c 、 t c p i p 、c i f s 等协议进行数据共享传输和消启、传递，网络存储中的n f s 、a f s 、c i f s 等主流文件共享方式都属于这个范畴，它的主要特点是命令和控制流、元数据流、 文件数据流都在同一层次上传输。 传统的高层数据流都要经过复杂的i o 路径在系统之间进行传递，见图2 1 。基 于消息传递的通信模型，必须提供高效的点到点的消息通道。高性能通信的主要实 现目的是降低网络时延和减少软件开销。降低网络时延的主要途径是采用高性能的 系统域网，现在比较成熟的产品如m y r i n e t 、g i g a n e t ，f a b r i cc h a n n e l ，s c i 的纯带 宽已经达到了几个g b s 。然而对最终的用户来说，他们的应用并没有获得同量级别 性能的提高。究其根源在于传统的通信方式使每个节点的软件处理开销很大，这些 图2 1 传统n f s 数据传递方式 开销包括协议处理、缓冲区管理、流量控制、数据拷贝、核心和用户空间、纠错和 校验等。旁路操作系统和t c p i p 协议栈的直接数据访问( d i r e c tm e m o r y a c c e s s 简 华中科技大学硕士学位论文 称d m a ) 方式，消除多层传递的制约因素，可以有效的提高数据的共享效率。用户 级通信技术和v i a 标准正是基于这种思想提出的，它将操作系统的干预从通信的关 键路径上旁路掉，使用户进程可以直接访问网络资源，提供了简单、灵活和高效的 通信协议支持上层应用，是构建新一代数据中心采用的方案之一。 随着智能存储系统的发展，扩展了存储结构中设备连接层和介质访问层的概念， 即通过对i o 总线的扩展，摆脱总线结构对存储设备扩展性和性能的约束，同时把 原来在文件系统层的某些功能迁移到磁盘控制器中，使存储子系统能够直接处理数 据的分配，甚至集成更高级的对象系统功能。包括元数据和文件数据在内的所有数 据命令都在存储设备( 或者存储子系统) 的块转换层和主机系统的对应层之间直接 流动，共享存储设备中的对称结构采用这种方式。相对采用上层网络传输协议的数 据i 0 ，这种共享方式的效率显著提高。 此类数据共享技术中存在的一个难题是如何保证每台主机系统见到的数据视图 是统一的。当多台主机系统共享存储池中的数据时，由于没有统一的数据文件逻辑 层，在逻辑上每个服务器都独占存储池，所以当读写同一物理设备时，就会产生数 据共享冲突的问题。因此必须采用锁机制来实现数据操作的互斥，保证元数据和文 件系统的完整性，通常锁机制在智能存储控制器中实现。 在非智能磁盘控制器的共享存储系统中，可以采用非对称方式来实现数据的共 享直接访问。这种实现的特点是将元数据和文件数据分流，即命令与元数据的流动 路径和文件数据的流动路径是不一致的。命令与元数据流采用普通网络协议在系统 的逻辑文件层和数据分配层之间流动，而文件数据在存储设备和主机系统的块转换 层之间流动。 2 4 小结 本章对数据共享的基本理论进行了深入分析。 首先对共享的定义、分类和共享语义进行了阐述，明确了本文的研究对象和共 享的基本概念；然后阐明了数据共享在网络存储技术中的重要地位，及与网络存储 的其他功能特征如单一系统映像，高可用性，可扩展性的内在联系。 1 6 。墨 华中科技大学硕士学位论文 在剖析网络存储系统中数据流i ，o 路径特点的基础上，分析数据共享与数据流 的内在关系，包括数据i 0 的路径，层次，命令流、元数据和文件数据的合流与分 离的特点与共享的关系等，提出一种数据共享的层次结构，即高层数据流动的基于 消息传递的共享模式，高层数据流和底层数据流相结合的非对称方式与底层数据流 的对称方式，并详细论述了各层结构数据共享的特点，指出数据流路径的优化能显 著提高共享的效率。 1 7 华中科技大学硕士学位论文 3 数据共享机制研究 在第二章引出数据共享的层次结构之后，本章将详细分析探讨各层数据共享的 机制特点，包括协议、共享结构、关键技术思想等，并对各优缺点，特征进行归纳 总结。 3 1 基于消息传递的共享机制概述 3 1 1 基于消息传递的共享结构 基于消息的共享结构通过在网络上的消息传递来实现存储在各自机器上的数据 的共享。这个定义阐明了这类结构的如下几个特点： 1 网络节点( 主机) 之间是独立的，可以是异构系统，如n o v e l l 与u n i x 并存的网络。 2 存储设备皆附属于主机系统，主机之间没有共享的存储设备，包括外部存 储设备与主机内存。 3 在一般情况下，采用普通的网络连接与公共的