（计算机应用技术专业论文）高性能网络存储技术研究.pdf

摘要 ( 随着i n t e m e t 及宽带网络应用的飞速发展，网络上的信息资源呈现出爆炸性 增长趋势。如何有效地存储这些不断膨胀的数据是网络存储技术面临的新挑战。 同时，在许多应用环境中提高存储系统性能是提高整个网络服务性能的关键。因 此，对高性能网络存储技术的研究，不仅可以提供有效的数据存储方案，也是提 供高性能网络服务的基础少， 目前网络存储技术研究主要集中于：广域网存储技术、集群文件系统、新型 磁盘文件系统三个方面。本文从如何提供高可用、高性能网络存储服务的角度出 发，在对网络存储领域的最新研究成果进行了系统、全面的学习和总结基础上， 在上述三个方面进行了深入细致的研究工作，取得了若干创新成果。 本文的主要创新点包括： ( 1 ) 广域网存储技术研究 本文提出了一种基于移动a g e n t 的新型分布式文件系统m a d f s a m a d f s 使用分层体系结构，具有很好的伸缩性和扩展性：使用移动a g e n t 来提高在广域 网中的通信效率，可以有效降低服务器负荷。7 - 本文提出了基于移动a g e n t 的分层汇聚c a c h e 管理机制_ h c c m 。自c c m 充 分利用分层汇聚思想，能有效降低服务器负荷，减小网络通信量，适合在w a n 中使用。本文建立了h c c m 的性能理论分析模型，并进行了性能分析实验。实 验表明h c c m 具有更短的响应时间和更低的服务器负荷。) ( 2 ) 协作写机制和集群文件系统研究， 本文提出了一种新型协作写机制c w m 。fc w i v l 可以在保证数据安全的基 础上，消除同步写过程，提高存储系统整体性能。本文详细描述了c w m 的工作 原理和运行机制，并分析了c w m 的运行效率和数据安全性。本文的实验表明 c v m v l 可以有效提高存储系统性能。 本文设计了一种新型协作写n f s 鑫登壁釜曼_ c w c n f s 。c w c n f s 兼具 n f s 的易用性和集群文件系统的高性能，同时创新性地将协作写机制( c w m ) 引入到集群文件系统中，有效提高了系统同步写性能。本文的性能对比实验表明， c w c n f s 可以显著提高n f s 系统的文件访问速度和系统吞度量。 ( 3 ) 新型高性能磁盘文件系统研究 ， 本文提出了一种新型高性能磁盘布局机制一a b l 。( a b l 依据磁盘文件的访 问频度对频繁访问的文件进行复制，复制的文件放置在磁盘“降温区”中。这使 文件系统中少数高频访问的文件在磁盘上进行了合理备份，从而提高这些文件的 访问速度。本文的实验表明，a b l 可以有效降低热文件的访问延迟，提高文件 系统性能。y 7 本文提出了一种新型的针对小文件同步写优化的文件系统一s t f s 。s t f s 充 分考虑了现代磁盘的非线性寻道特征，将文件系统的元数据和数据尽可能地放置 于同磁道，以减少在小文件同步写时带来的操作延迟。本文的实验表明，s t f s 可以有效地提高文件系统小文件同步写的性能。 i毒 关键词t 网络存储，文件系统，【分布式，高性能j 集群 a b s t r a c t a l o n g w i t ht h er a p i dd e v e l o p m e n to fi n t e m e ta n d b r o a db a n d w i d t h a p p l i c a t i o n t h ed a t aa m o u n ti nn e t w o r kh a si n c r e a s e dw i t hv o l a t i l e s p e e d h o wt os a v et h e s e c o n t i n u a l l ye x p a n d i n gd a t ai s an e w c h a l l e n g ef o rn e t w o r ks t o r a g et e c h n o l o g y i n a d d i t i o n ，i m p r o v i n gt h ep e r f o r m a n c eo ft h es t o r a g es y s t e mi st h ec r i t i c a lm e a n st o i m p r o v e t h e p e r f o r m a n c e o fn e t w o r ks e r v i c e i n m a n y n e t w o r k a p p l i c a t i o n e n v i r o n m e n t t h u s ，t h es t u d yo fh i g hp e r f o r m a n c es t o r a g et e c h n o l o g yn o to n l yc a n p r o v i d et h ee f f e c t i v em e t h o dt os a v ed a t a , b u ta l s oi st h ef o u n d a t i o no ft h eh i g h p e r f o r m a n c en e t w o r k s e r v i c e n l e p r i m a r yf i e l d si ns t u d yo f n e t w o r ks t o r a g ea r ec e n t r a l i z e d i n ：s t o r a g eo f w i d e a r e an e t w o r k ，c l u s t e rf i l e s y s t e m ，n o v e lh i g l lp e r f o r m a n c ed i s kf i l es y s t e m s d i s s e r t a t i o ne x p l o r e st h et e c h n o l o g yo fn e t w o r ks t o r a g eb a s e do nt h ei s s u eh o w t o p r o v i d eh i g l la v a i l a b l ea n dh i 曲p e r f o r m a n c en e t w o r ks t o r a g es e r v i c e o nt h eb a s i so f s y s t e m a t i cs u m m a r i z a t i o no fp r e v i o u sw o r ko nn e t w o r ks t o r a g e ，t h i sd i s s e r t a t i o n d e e p l yr e s e a r c h e s i nt h ef o r e m e n t i o n e dt h r e ep r i m a r yf i e l d s t h ea u t h o r s n o v e l v i e w p o i n t sa n db r e a k t h r o u g h sa r ep r e s e n t e di nt h i sd i s s e r t a t i o n t h ei n n o v a t i o n so f t h i sd i s s e r t a t i o na r e 嬲f o l l o w s ： ( 1 ) t h er e s e a r c ho ns t o r a g eo f w i d ea r e an e t w o r k t h i sd i s s e r t a t i o np r e s e n t sam o b i l ea g e n tb a s e df i l es y s t e m ：m a d f s ，m a d f s u s e sh i e r a r c h i c a la r c h i t e c t u r e ，w h i c hm a k e si th a v e g o o df l e x i b i l i t ya n de x p a n s i b i l i t y ； a n du s e sm o b i l ea g e n tt oi m p r o v et h ep e r f o r m a n c eo fc o m m u n i c a t i o ni nw i d ea r e a n e t w o r k ，w h i c hc a l lr e d u c et h el o a do f s e r v e r t h ed i s s e r t a t i o np r e s e n t san o v e lh i e r a r c h ya n dc o n v e r g e n c ec a c h em e c h a n i s m ： h c c m h c c m a d e q u a t e l y u t i l i z e st h ei d e ao f h i e r a r c h ya n dc o n v e r g e n c e ，w h i c hc a n e f f e c t i v e l y r e d u c et h eo v e r h e a do fc a c h e m a n a g e m e n t a n dc o m m u n i c a t i o ni n d i s t r i b u t e df i l e s y s t e m t h i s f e a t u r em a k e sh c c ms u i tt ow o r ki nw a n t h i s d i s s e r t a t i o ns e t su pa na n a l y s i sm o d eo f h c c ma n dd o e st h ep e r f o r m a n c ec o m p a r i s o n e x p e r i m e n t t h ee x p e r i m e n tr e s u l ts h o w st h a th c c m h a st h es h o r t e rr e s p o n s et i m e a n dl o w e rs e r v e rl o a d ( 2 ) t h e r e s e a r c ho n c o o p e r a t i v e w r i t ea n dc l u s t e rf i l es y s t e m t h i sd i s s e r t a t i o np r e s e n t san o v e lc o o p e r a t i v ew r i t em e c h a n i s m ：c w m c w m - i c a r le l i m i n a t et h es y n c h r o n o u sw r i t eo p e r a t i o ni n s t o r a g es y s t e ma n da l s oi n s u r et h e s e c u r i t y o fd a t a n l i sd i s s e r t a t i o n p r e s e n t s t h e w o r k i n gp r i n c i p l e a n d r u n n i n g m e c h a n i s m ，a n da n a l y s et h ed a t as e c u r i t ya n do p e m t i o n a le f f i c i e n c yo fc w m t h e e x p e r i m e n t s i nt h i sd e s s e r t a t i o ns h o wt h a tc w mc a l l e f f e c t i v e l yi m p r o v et h e p e r f o r m a n c e o f s y s t e m t h i sd i s s e r t a t i o np r e s e n t sac o o p e r a t i v ew r i t ec l u s t e rn f ss e r v e r ：c w c n f s c w c n f sn o to n l yh a st h ea v a i l a b i l i t yo f n f s ，b u ta l s oh a st h eh i g l lp e r f o r m a n c eo f c l u s t e rf i l es y s t e m c w c n f sa l s oi n t r o d u c e st h ec w m i n t ot h ec l u s t e rf i l e s y s t e m ， w h i c hg r e a t l yi m p r o v et h ep e r f o r m a n c eo f s y n c h r o n o u s w r i t eo p e r a t i o ni nc w c n f s t h e e x p e r i m e n t si nt h i sd i s s e r t a t i o ns h o w t h a tc w c n f sc a ne f f e c t i v e l yi m p r o v et h e f i l ea c c e s ss p e e da n ds y s t e m t h r o u g h p u t ( 3 ) t h e r e s e a r c ho nn o v e l h i g l lp e r f o r m a n c ed i s kf i l e ss y s t e m t h i sd i s s e r t a t i o np r e s e n t san o v e lh i g hp e r f o r m a n c ed i s kl a y o u tm e c h a n i s m ：a b l a b lc a l lr e c o r dt h ea c c e s sf r e q u e n c yo f e v e r yf i l ei n 弼es y s t e ma n da c t i v e l yo p t i m i z e t h eb l o c kl a y o u to ft h e s eh o tf i l e sb yb l o c kd u p l i c a t i n g t h ed u p l i c a t e db l o c k sc a nb e p l a c e di nt h es p e c i a lz o n eo f t r a c k ，w h i c hc a l l e d c o o l i n gz o n e ”t h i sd u p l i c a t i o n c a n m a k et h ef i l e sw h i c ha r ef r e q u e n c e l ya c c e s s e da p p r o p r i a t e l yd i s t r i b u t e di nt h ef i l e s y s t e m ，a n d t h e nc a ni m p r o v et h ea c c e s sp e r f o r m a n c e t h e e x p e r i m e n t i nt h i s d i s s e r t a t i o ns h o w st h a ta b lc a l le f f e c t i v e l yd e g r a d et h el a t e n c yo ff i l ea c c e s sa n d g r e a t l yi m p r o v e t h e p e r f o r m a n c e o f f i l es y s t e m t i f f sd i s s e r t a t i o np r e s e n t san o v e lh i g hp e r f o r m a n c ef i l e s y s t e mf o re f f i c i e n t s m a l lw i r t e ：s t f s s t f sc a nu t i l i z e 也en o n - l i n e rs e e kc h a r a c t e ro fm o d e md i s k d r i v e r , a n dp u tm e t a - d a t a a n dt h ef i l ed a t ai n t ot h es a m et r a c ki no r d e rt om i n i m i z et h e l a t e n c yo f t r a c ks e e k t h i sd i s kl a y o u to fs t f sc a ne f f e c t i v e l yr e d u c et h ed i s ks e e k l a t e n c yo fs y n c h r o n o u sw r i t e t h ee x p e r i m e n to f t h i sp a p e rs h o w st h a ts t f sc a l l e f f i c t i e l yi m p r o v e t h ep e r f o r m a n c eo f s y n c h r o n o u s s m a l lf i l ew r i t e k e y w o r d s ：n e t w o r ks t o r a g e ，f i l es y s t e m , h i g hp e r f o r m a n c e ，c l u s t e r - 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确地说明并表示致谢。 签名：中翠 日期：知o a 年7 月譬1 7 t 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：童圣导师签名： 日期：寻口。罩年7 月，e l ；一一一 皇三坠垫奎兰量圭兰垒竺奎 第一章绪论 1 1 网络存储技术现况 数据存储技术起源于7 0 年代的终端，主机计算模式。当时数据集中存放在主 机上，因此数据存储的核心是主机上高效率的文件系统。 随着8 0 年代以后客户机月鼹务器计算模式的普及，网络上的文件服务器和数 据库服务器通常成为核心数据聚集的地方。同时，在网络上分布的客户机也会存 放一些数据。这种情况导致了数据的分散性，推动了数据存储技术向网络数据存 储发展。 随着i n t e m e t 的出现和普及，数据存储技术发生了革命性的变化。这种变化 主要表现在三个方面： ( 1 ) 数据存储的地域空间更加广阔。i n t e m e t 是连接着全世界的网络，它的出 现可能使在世界任何地方的用户去访问世界另一个角落的数据，这导致了数据存 储的地域空间空前扩大。同样，一个企业也可能使用i n t e m e t 技术来构建企业内 部的分布于全球的i n t r a n e t ，这导致企业必须能够处理分布于全球范围内的数据。 ( 2 ) 数据存储量巨大。i n t e m e t 和宽带网应用的出现和普及，使数据存储量急 剧扩大，这要求存储系统不仅应该具有巨大的存储容量，更为重要的是存储系统 应该具备灵活的可扩充能力，这样才能保证存储系统不会滞后于存储容量发展的 要求。 ( 3 ) 网络存储需要更高的性能。在网络应用中，核心数据存储在关键服务器 上，大量的客户通过网络访问这些数据。如何提高核心关键数据存储系统的性能， 是提高各种网络服务质量的关键因素之一。集群文件系统、并行文件系统、分布 式文件系统等技术方案都是可行的解决方法。 1 1 1 网络存储技术简介 随着网络技术的飞速发展，计算机系统需要处理的数据大量增加。同时，这 些数据还需要有效地保存在存储系统中，为数据分析和处理提供保障和便利。网 络存储是全新的数据存储方式，随着技术的不断发展和创新，网络存储技术本身 也在飞速地发展。 ；：；查至：量；! ! ：垒一一； 本节简要介绍几种常见的网络存储技术。 ( 1 ) 直接附属存储( d i r e c ta t t a c h e ds t o r a g e d a s ) 在d a s 方式中，存储设备通过电缆( 通常是s c s i 接口电缆) 直接连接到服 务器，服务器的请求通过电缆直接发送到存储设备。d a s 的优点是：费用 低。缺点是：存储容量扩大困难，难以集中管理。 ( 2 ) 存储区域网络( s t o r a g e a r e a n e t w o r k s a n ) 在s a n 中存储设备通过光纤组成单独的网络，服务器和存储设备之间可以 任意连接，i o 请求直接发送到存储设备。s a n 的优点是：服务器和存储设备之 间可以远距离连接、高可靠性、高性能、存储容量共享、集中管理。缺点是：费 用昂贵。 ( 3 ) 网络附属存储( n e t w o r ka t t a c h e ds t o r a g e n a s ) n a s 是集成了操作系统和存储设备的专用网络服务器，可以连接到网络上， 通过文件存取协议存取数据。客户通过f i l ei o 方式发送文件存取请求到n a s ， n a s 通过操作系统将f i l ei o 转换成b l o c ki o ，发送到内部磁盘。n a s 是极具 发展前途的一种存储技术，具有安装简单、易于管理、文件共享、高扩展性等优 点。 1 1 2 网络存储技术发展趋势和研究热点 i n t e r n e t 和网络技术的飞速发展极大地推动了网络存储技术的进步。目前， 网络存储技术的发展趋势和主要的研究热点如下： ( 1 ) i n t e m e t w a n 存储技术 i n t e m e t 的发展使数据的异地存储成为可能，这也为存储系统带来了更大的 分布性。在i n t e r a c t w a n 中，数据分布的物理距离非常广阔，数据存储的平台 种类繁多，如何一致、高效地管理分布在广阔范围内和不同平台上的数据是网络 存储技术当前研究的一个热点。 ( 2 ) 高性能集群文件系统 随着数据存储量的激增，服务器的负荷越来越大，繁重的数据存储任务严重 地降低了服务器的性能。通常，为了提高网络服务的性能，可以使用处理速度更 快、i o 吞吐量更大的服务器来替换原有的服务器。但是，由于价格和技术的限 制，这样的升级通常难以有效满足性能提升的需求。集群文件系统( c l u s t e r f i l e s y s t e m ) 可以通过连接大量的普通计算机作为存储节点来提供高性能的网络存储 电子科技大学博士学位论文 服务，逐渐成为网络存储技术中的一个新的研究热点，其重点研究问题是高性能 储存服务和标准访问接口。 ( 3 ) 新型高性能磁盘文件系统 磁盘驱动器作为主要的存储介质，其发展经历了很多年。随着技术的发展， 磁盘驱动器出现了一些新的特性，例如z e r ol a t e n c ya c c e s s ( 零延迟访问) 、 r e a d a h e a d ( 磁道预读) 等。这些新技术可以降低磁盘驱动器的读写延迟，提高 磁盘驱动器性能。传统的磁盘文件系统并没有针对这些磁盘新特性对数据分布、 读写方式进行优化，因而这些新的磁盘特性还难以有效地提高文件系统的性能。 因此，设计新型的高性能磁盘文件系统，充分利用磁盘驱动器的新特征，从而有 效地提高文件系统读写性能也逐渐成为当前存储技术研究的个热点问题。 1 2 本论文的相关研究工作 在网络存储领域许多研究人员已经开展了大量的研究工作，提出了许多的技 术和方法。本节将介绍与本文相关的其它研究工作。 1 2 1 广域网存储技术 现代分布式文件系统的发展趋势是t r a n s p a r e n c y 、s c a l a b i l i t y 、u n i x s e m a n t i c s 、r e l i a b i l i t y 、a d a p t a t i o n 和s e c u r i t y r w a n g9 7 。随着技术的发展， 人们希望建立一种分布式文件系统来管理更广范围内的文件资源，例如管理 w a n 环境中的文件资源，甚至管理i n t e m e t 环境中的文件资源。 在广域网数据存储中，有很多问题需要认真地考虑，例如：系统体系结构、 网络延迟和带宽、数据存储策略等。工作在广域网内的分布式文件系统必须能够 有效地组织文件资源，保证这些文件资源的可用性。 c a c h e 管理机制是分布式文件系统中的一个重要问题，它的性能和分布式文 件系统的性能紧密联系【m d a h l i n9 4 】。传统c a c h e 管理机制在高时延、低带宽 的广域网中通常性能很差。因此，设计可以有效工作在广域网中的c a c h e 管理机 制是一个重要的研究问题。 为了提高大规模分布式文件系统的性能，一种可行的方法是在客户端使用永 久性的缓存( p e r s i s t e n tc a c h e o nc l i e n t s ) 。a f s l b ，h u s t o n9 3 ，z a l f r e d8 9 ， c o d 以f s l 是第一个在客户端实现了永久性缓存的分布式文件系统a 在a f s 中， 客户端可以缓存文件数据和目录数据。当客户进行文件操作的时候，可以假设本 第一章绪论 = = ；= # = ；2 # ；# ；= ；一；一 地缓存中的数据是始终有效的，直到服务器通过c a l l b a c k 机制，或者是 i n i t c a l l b a c k s t a t e r p c 过程来通知客户放弃一项或者所有的缓存数据。这种情况 通常发生在其它客户需要对文件进行修改操作。 在a f s 中，客户一旦对数据进行了缓存，就可以进行任意的处理而无需再 和服务器进行交互，即便是客户或者服务器重新启动后，客户的缓存仍然可以使 用。因为在a f s 中缓存数据都具有一个“d a t a v e r s i o n 标记，通过“d a t a v e r s i o n ， 标记可以判断缓存数据是否是有效的。 c o d a 【j j a m e s9 2 ，m s a t y a n a r a y a n a n8 9 ，c o d a a f s 】是在a f sv e r s i o n2 的 基础上发展而来的。在a f s 的基础上，c o d a 增加了一些重要的特色来支持大规 模网络文件服务，例如：支持客户暂时性断开网络操作、服务器缓存管理和网络 带宽适应能力、高性能m u l t i r p c 协议等。 c o d a 的目标是构建大规模的分布式文件系统。在这样的系统中可能会出现 因为服务器故障或者网络原因，客户无法和服务器通讯的情况。在这种情况下， 为了支持客户的暂时性断网操作，客户可以将对文件的修改操作记录到客户修改 日志( c l i e n tm o d i f i c a t i o nl o g ，c m l ) 中。当服务器恢复或者网络连接恢复的时 候，服务器可以依据客户c m l 中记录的内容对客户的文件操作进行“重演 ( r e p l a y ) ”，从而恢复客户对文件的修改。 通过对网络通信性能的感知，c o d a 的带宽适应机制可以在进行c m l 重演时 适应不同的网络带宽和传输延迟。为了处理在c m l 重演时可能出现错误，c o d a 在对每个客户执行c i v i l 重演操作时，都使用v e r s i o ns t a m p 机制对重演过程进 行版本和属主记录。通过这些记录，当重新继续进行曾经中断的c m l 重演操作 时，c o d a 可以快速确认数据的不同版本。 a v s g ( a v a i l a b l ev o l u m es t o r a g eg r o u p ) 是c o d a 的一种重要概念，a v s g 通常是v s g ( v o l u m es t o r a g eg r o u p ) 的一个子集。c o d a 的服务器使用类似c m l 的方法来记录对a v s g 的修改。为了使客户数据和服务器数据保持同步，c o d a 使用两阶段更新协议( t w op h a s eu p d a t ep r o t o c 0 1 ) 。第一步，每个服务器可能都 拥有一个数据的拷贝，这些拷贝都向客户进行更新，并且客户向服务器报告更新 是否成功。为了完成客户端的更新操作，客户必须使用c o p 2m u l t i r p c 为每个 a v s g 构造v e r s i o ns t a m p 来和服务器数据进行版本比较。如果在a v s g 中的服 务器返回不同的v e r s i o ns t a m p ，客户则需要进行版本决议工作( r e s o l u t i o n ) 。 r e s o l u t i o n 是一个服务器到服务器的仲裁协议，可以依据v e r s i o ns t a m p 信息和服 务器的更新日志来对不同版本的数据进行版本仲裁。 i n t e r m e z z of pj b r a a m9 9 ，i n t e r m e z z o 是从c o d a 派生而来的，同样使用了 电子科技大学博士学位论文 ；= ；= ；i j = ；= ；= ；：= c o d a 类似的w r i t e b a c k 机制来支持客户离线操作。i n t e r m e z z o 使用本地磁盘文 件系统作为数据高速缓存，在核心层中实现了w r i t e b a c k 机制。这些改进使得 w r i t e b a c k 的效率更高。在i n t e r m e z z o 中的w r i t e b a c k 机制是基于许可证来实现 的，客户对数据进行修改操作必须获得相应的许可证，这些许可证必须和客户修 改日志在数据修改完成后返回给服务器。 所有的这些系统在具有某些优点的同时，也都有一些没有解决的问题，例如 文件共享、c a c h e 管理效率、系统可伸缩性等。广域网通信的复杂性使广域网的 存储共享变得更为复杂，对于存储资源的访问有时是持久的( p e r m a n e n t ) ，有时 是间断的( p a r t - t i m e ) ，或者是按需的( o n d e m a n d ) 。对于变化的网络情况和不 同的资源访问需求，存储系统如何向用户提供一致和稳定的使用界面，并且提供 内建的机制保证在各种情况下为用户提供适应性( f l e x i b i l i t y ) 很强的存储服务， 是一个需要迸一步深入研究的课题。 1 2 2 高性能集群文件系统 随着计算机技术的发展，具有高性能计算能力不再是昂贵的巨型计算机的专 长了。随着微型计算机计算能力和网络技术的飞速发展，现在可以利用廉价的微 型计算机建立起集群系统( c l u s t e rs y s t e m ) gb u m s9 4 ，m a b a k e r9 5 ，m b u r n s o o ，实现和巨型计算机相媲美的处理能力。 c l u s t e r 的思想来自于1 9 9 4 年n a s ah p c c 地球和空间科学的b e o w u l f t s t e r l i n g9 5 ，c r e s c h k e9 6 项目。该项目的主要研究目是能否在不花费过多经费 的前提下使用微型计算机来实现高性能计算。1 9 9 6 年1 0 月，第一个b e o w u l f 系 统取得了成功，它的性能价格比优势使b e o w u l f 在科学研究和工业界获得了广泛 地应用。 集群是一组相互独立的、通过高速网络互联的计算机，它们构成一个组，并 以单一系统模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服 务器。与传统高性能计算机技术相比，集群技术可以利用低廉的服务器作为节点， 实现高性能计算。 集群计算技术一直是计算机界研究的一个热点问题。集群系统不但能够充分 利用现有的计算资源，而且能够通过较低的软、硬件代价实现较高性能的计算机 系统。随着微处理器技术和高性能网络技术的飞速发展，集群计算逐渐成为一种 具有很好成本效益的并行分布式计算模式。目前，最具代表性的集群系统是美 国u cb e r k e r l y 大学的n o w 项目 u cb e r k e l e y0 2 ，d c u l l e r9 4 ，t e a n d e r s o n 9 5 1 、n a s a 的b e o w u l f 项目 b e c k e r d j9 5 1 和著名的p v m v s s u n d e r a m9 0 ，a g e i s t 9 4 ，陈锡明0 0 ，陈锡明0 1 a ，陈锡明0 1 b ，陈锡明0 1 c 。 所谓集群文件系统( c l u s t e rf i l e s y s t e m ，c f s ) a m e r c h a n t9 2 ，m d e v a r a k o n d a 9 5 ，t s t e r l i n g9 6 ，h a k a nt a 虹9 9 ，b r i a np a w l o w s k i0 0 是指架构在 个可扩充服务器集群上的文件系统。用户不需要考虑文件是存储在集群中什么 位置，仅仅需要使用统一的界面就可以访问文件资源。当负载增加时，只需在服 务器集群中增加新的服务器就可以提高文件系统的性能。c f s 通常保留了传统文 件系统的语义，增加了集群文件系统必须的机制，可以向用户提供高可靠性、高 性能、可扩充的文件服务。 最早的集群文件系统是由d i g i t a le q u i p m e n tc o r p o r a t i o n 研制的 v a x c l u s t e r s 。v a x c l u s t e r s 拥有很好的体系结构，在文献 、姒f s 】和戗c l j 中 有详尽的描述。 v a x c l u s t e r s 文件系统是在本地文件系统的基础上增加了分布式锁管理 ( d i s t r i b u t e dl o c k m a n a g e r ) 丽构建形成的。锁管理协议是集群文件系统中决定 系统整体特色和语义的关键。在v a x c l u s t e r s 中，资源被命名和组织成为树型结 构，每个资源都有一个锁。v a x c l u s t e r s 中每个资源锁可以有六种不同的模式： 独占模式( e x c l u s i v e ) 、保护读模式( p r o t e c t e dr e a d ) 、保护写模式( p r o t e c t e d w r i t e ) 、并发读模式( c o n c u r r e n tr e a d ) 、并发写模式( c o n c u r r e n tw r i t e ) 和非锁 定模式( u n l o c k e d ) 。v a x c l u s t e r s 使用b i t m a p 来定义这六种模式。当一个集群 成员申请一个新锁的时候，拥有和新锁相冲突锁的所有拥有者将被通知放弃相应 的锁，同时执行一个c a l lb a c k 操作。 v a x c l u s t e r s 中的成员具有相当大的自治性。通过获得各种类型的锁，一个 成员可以使用本地读和本地写来访问文件，从而提高系统性能。 s p r i t e 【m n e l s o n8 8 ，j o u s t e r h o u t8 8 ，f d o u g l i s9 1 ，s p r i t e z e b r a 是一个 具有非常独特设计的分布式操作系统。s p r i t e 支持u n i x 系统a p i 、进程迁移和文 件系统。s p r i t e 通常运行在一个拥有大量成员的集群系统中。s p r i t e 的文件系统 是系统的核心部分，它充分使用了v m ( v i r t u a lm a c b i n e ) 的c a c h e 功能，提供 u n i x 的语义，支持进程迁移、远程设备访问。在s p r i t e 中，只有当一个文件没 有r e a d w r i t e 或w r i t e w r i t e 共享的时候，系统才会使用缓存。当在服务器上打 开一个文件的时候，如果打开文件时仅仅拥有一个非排它性锁，那么系统将不使 用缓存。s p r i t e 对普通文件服务的c l i e n t s e r v e r 接口类似于n f s 和a f s ，但是 s p r i t e 增强了分布式共享机制来适应于集群系统。 z e b r ar s p r i t e z e b r a 是s p r i t e 项目的最后一个版本，它提供了文件系统基于 磁盘阵列的条列化功能。z e b r a 并不对单个文件进行条列化，而是将用户对文件 ：；一； 皇三型垫奎耋堡圭兰堡垒兰 的修改记录到日志中，然后对用户日志进行条列化。在z e b r a 中使用了系统唯一 的文件管理器来定位数据的存放服务器和管理缓存一致性。 x f s x f s 是从z e b r a 发展而来的，它设计的使用环境是s a n ( s t o r a 2 ea r e a n e t w o r k ) 。在x f s 中，客户和服务器之间的界限是非常模糊的。同时，在x f s 中消除了中央服务器的存在，x f s 的原则是完全的分布式，也即是“任何东西在 任何地方( a n y t h i n ga n y w h e r e ) ”。x f s 最显著的特点是一个数据的最新拷贝可以 存在于一个客户的缓存中，如果需要的话其它客户可以在这个客户的缓存中将数 据取回。这种机制不需要使用一个中央服务器来管理文件缓存的一致性，因此也 就消除了中央服务器的存在。 l i n u x 集群技术已经发展成为成熟的低成本、高性能并行计算环境。p v f s ( p a r a l l e lv i r t u a lf i l es y s t e m ) b r i a np a w l o w s k i0 0 是基于l i n u x 集群的高性能 文件系统，它的设计目标是提供文件并发访问的高带宽；提供多种a p i 接口；基 于u n i xi oa p i 的应用程序可以不加修改直接访问；高可靠性和可扩充性。 p v f s 提供了集群内部一致性的名字空间，容许数据条列化到不同的i o 节点。 p v f s 基于c l i e n t s e r v e r 模型，系统中有多个服务器，称为i od a e m o n 。i o d a e m o n 运行在集群中的节点上，这些节点称为i on o d e 。每个i on o d e 都拥有 自己的磁盘驱动器。p v f s 中每个文件被条列化分布在不同i on o d e 的磁盘驱动 器上，从而提高文件访问速度。应用程序通过p v f s 提供的a p i 库( c l i e n tl i b r a r y ) 访问p v f s 。在p v f s 中有一个管理d a e m o n ( m a n a g e rd a e m o n ) 负责文件系统 中元数据操作，例如建立、打开、关闭和删除文件时进行权限检查。当对普通文 件进行读操作或写操作时，不需通过m a n a g e rd a e m o n 进行，i 0d a e m o n 和c l i e n t l i b r a r y 一起就可以完成对文件的读写操作。通常，i od a e m o n 和m a n a g e r d a e m o n 可以运行在不同的节点上以获得更好的性能。 1 2 3 新型高性能磁盘文件系统 随着计算机技术的发展，c p u 的运算速度越来越快，但磁盘存储系统速度 的提高却远远跟不上c p u 速度的提高p r o s e l l i0 0 1 。这种差别导致在许多计算 机系统中，存储系统成为系统性能的瓶颈。 磁盘驱动器一直是主要的数据存储介质。随着技术的发展，磁盘驱动器出现 了许多技术上新的的特性，例如z e r ol a t e n c ya c c e s