（计算机应用技术专业论文）智能网络磁盘（ind）集群存储系统设计与实现.pdf

摘要 随着i n t e r n e t 和宽带网络应用技术的飞速发展，网络上的信息 资源呈爆炸性的增长趋势。如何有效地存储这些不断膨胀的数据是网 络存储技术面临的新挑战。同时，在许多应用环境中提高存储系统性 能是提高整个网络服务性能的关键。因此，对高性能网络存储技术的 研究，不仅可以提供有效的数据存储方案，也是提供高性能网络服务 的基础。集群系统( c l u s t e rf i l es y s t e m ) 可以通过连接大量的普通 计算机作为存储节点来提供高性能的网络存储服务，逐渐成为网络存 储技术中的一个新的研究热点。传统集群系统实现单一用户访问点的 常用方法是设置一个前端机来统一进行用户请求的转发，这种方法很 好的解决了集群的单一入口问题，但容易引起单点失效，性能也难扩 展。 基于此，我们提出了i n d 存储系统【洼1 j 。其中本文深入分析了l i n u x 虚拟服务器三种集群技术以及网络通信、负载均衡等集群关键技术， 分析、设计了i n d 多机心跳检测机制。并在此基础上设计并实现了 一种新的网络存储集群系统，解决了单点失效问题，使得集群的可扩 展性、可用性均获得了增强。最后，在开放源代码的l i n u x 环境下 实现并验证了论文研究的一些技术思路，获取了初步的实验数据，同 时为i n d 集群存储系统开发中一些关键性技术问题的解决积累了经 验。实验证明，这是一种性价比高、实用而有效的网络存储集群解决 方案。 本文共五章，各章组织如下：第一章课题背景与来源，提出i n d 集群存储系统。第二章l i n u x 虚拟服务器分析，深入讨论了l i n u x 虚拟服务器中心式i p 层技术及其三种集群技术解决方案。是i n d 集 群系统设计与实现的主要理论基础之一。第三章i n d 集群存储系统 设计关键，通过对集群系统设计与实现过程中网络通信、负载均衡、 心跳检测机制关键技术的分析比较与归纳总结，得到了一些有用的结 论，从而为下一步i n d 集群系统设计与实现中一些相应关键问题的研 究与解决工作的开展奠定了基础；对i n d 多机心跳检测机制的深入探 讨，解决了主i n d 的选举生成与i n d 问i p 层通信的问题，并给出了 其算法理论支持。第四章i n d 集群存储系统设计与实现，通过前几 章的讨论分析和对国内外零星资料的归纳总结，设计了i n d 集群存储 系统架构与i n d 集群调度算法，实现并测试了原型系统。第五章全 文总结主要讨论了下一步的工作。 关键词智能网络磁盘，i n d ，集群，网络存储，负载均衡，心跳机 制 注l ：本课题为国家自然科学基金( 6 0 5 7 3 1 4 5 ) 和湖南省自然科学基金( 0 5 j j 3 0 1 2 0 ) 资助项目。 a b s t r a c t w i t l lt h e r a p i dd e v e l o p m e n to f i n t e r n e ta n db r o a db a n d w i d t h a p p l i c a t i o n ，t h ed a t aa m o u n ti nn e t w o r kh a si n c r e a s e dw i t hv o l a t i l es p e e d h o wt os a v et h e s ec o n t i n u a l l ye x p a n d i n gd a t ai san e wc h a l l e n g ef o r n e t w o r ks t o r a g et e c h n o l o g y i na d d i t i o ni m p r o v i n gt h ep e r f o r m a n c eo f t h e s t o r a g es y s t e mi s t h ec r i t i c a lm e a n st oi m p r o v et h ep e r f o r m a n c eo f n e t w o r ks e r v i c ei nm a n yn e t w o r ka p p l i c a t i o ne n v i r o n m e n t s t h u st h e s t u d yo f h i g hp e r f o r m a n c es t o r a g et e c h n o l o g yc a nn o to n l yp r o v i d et h e e f f e c t i v em e t h o dt os a v ed a t a , b u ta l s oi st h ef o u n d a t i o no ft h el f i 【g h p e r f o r m a n c e n e t w o r ks e r v i c e c l u s t e rf i l e s y s t e m c a no f f e ra h i 曲- p e r f o r m a n c en e t w o r ks t o r es e r v i c et h r o u g hc o n n e c t i n g al a r g e n u m b e ro fo r d i n a r yc o m p u t e r sa ss t o r i n gn o d e s ，i tb e c o m e san e w r e s e a r c hf o c u si ns t o r a g et e c h n o l o g yo fn e t w o r kg r a d u a l l y 1 1 1 eg e n e r a l m e t h o dt oi m p l e m e n ts i n g l ea c c e s sp o i n ti nc l u s t e ri st r a n s m i t t i n gt h e i n c o m i n gr e q u e s t st or e a ls e r v e r sb yo n ef i o n t - e n dn o d ea sag a t e w a y , w h i c hc a nw e l lr e s o l v et h es i n g l ee n t r y b u ti ti se a s yt ol e a dt os i n g l e p o i n to f f a i l u r ea n dd i 伍c u l tt oe x t e n dt h ep e r f o r m a n c eo f t h eg a t e w a y f o rt h e s eb a c k g r o u n d s ，w eo f f e ri n ds t o r a g et e c h n o l o g y t h i st e x t a n a l y s e si nd e p t h t h r e ek i n d so fc l u s t e rt e c h n o l o g ya b o u tl i n u xf i c t i t i o u s s e r v ea n dc r i t i c a lt e c h n o l o g i e so fc l u s t e rn e t w o r ks u c ha sc o m m u n i c a t i o n ， l o a db a l a n c i n ge t c a n a l y z i n g ，d e s i g n i n g i n dh e a r t b e a tm e a s u r e m e c h a n i s m p r o p o s e do n ek i n do f n e w n e t w o r ks t o r a g ec l u s t e rs y s t e mo n t h i sb a s e ，t h es i n g l ep o i n tf a i l u r ei ss o l v e d ，a n dt h ee x t e n s i b i l i t y , u s a b i l i t y o fc l u s t e rb o t ha c h i e v ea ne n h a n c e m e n t a t1 a s t ，s o m et e c h n i c a lm e t h o d s s t u d i e di nt h i sd i s s e r t a t i o na r ei m p l e m e n t e da n dv a l i d a t e du n d e rt h eo p e n s o u r c ee n v i r o n m e n to fl i n u x ，a n dp r e l i m i n a r ye x p e r i m e n t a ld a t ag a i n e d e x p e r i e n c e so fi m p l e m e n t a t i o na r ea c c u m u l a t e dt h o r o u g hd e v e l o p i n gt h e p r o t o t y p eo fw e bs e r v e rc l u s t e rs y s t e m a se x p e r i m e n th a dp r o v e n 。i ti s o n ek i n do f p r a c t i c a la n de f f e c t i v en e t w o r ks t o r a g ec l u s t e rs o l u t i o n t h et e x th a sf i v ec h a p t e r si na l l ，e a c hc h a p t e ra sf o l l o w i n g ：c h a p t e r f i r s ti sab r i e fa c c o u n to ft h et o p i cb a c k g r o u n d s ，p r o p o s e si n dc l u s t e r s t o r a g es y s t e m c h a p t e rt w oi s a na n a l y s i so fl i n u xf i c t i t i o u ss e r v e r i d i s c u s si nd e p t ht h ec e n t r a lt y p ei pt e c h n o l o g yo fl i n u xf i c t i t i o u ss e r v e r a n dt h r e em e a n sf o rc l u s t e rt e c h n o l o g y i ti so n eo f k e yr a t i o n a l e s c h a p t e r t h r e ei st h ek e yo fc l u s t e rs y s t e md e s i g n g e ts o m eu s e f u lc o n c l u s i o n s t h r o u g ha n a l y z i n g t h ec r i t i c a l t e c h n o l o g i e s ( c o m m u n i c a t i o n ，l o a d b a l a n c i n g ，h e a r t b e a tm e a s u r em e c h a n i s m ) i nd e s i g n i n ga n dr e a l i z i n g c l u s t e rs y s t e m t h u se s t a b l i s ht h ef o u n d a t i o nf o rs t u d y i n gs o m ec r i t i c a l p r o b l e m si nd e s i g n i n ga n dr e a l i z i n gt h en e x ts t e po f l n d c l u s t e rs y s t e m ； s o l u t e st h ee l e c t i o no fm a i nn o d si nd e s i g n i n ga n dr e a l i z i n gt h ei n d c l u s t e rs y s t e m ，p r o v i d e ss u p p o r t so fa l g o r i t h mt h e o r y , t h r o u g hd i s c u s s i n g t h eh e a r t b e a tm e a s u r em e c h a n i s m c h a p t e rf o u ri st h ed e s i g na n dr e a l i z e o fi n dc l u s t e rs t o r a g es y s t e m h a v ed e s i g n e dt h ei n dc l u s t e rs t o r a g e s y s t e ma n di n d c l u s t e rd i s p a t c ha l g o r i t h m ，a n dr e a l i z e di t sp r o t o t y p e s y s t e mt h r o u g hd i s c u s s i n g a n ds u m m a r i z i n gs e v e r a ld o m e s t i ca n d i n t e r n a t i o n a lf r a g m e n t a r ym a t e r i a l s c h a p t e rf i v ei st h es u m m a r i z a t i o no f 向l lt e x t d i s c u s st h en e x tw o r k k e yw o r d si n t e l l i g e n tn e t w o r kd i s k ，i n t e l l i g e n tn e t w o r kd i s k ， n e t w o r ks t o r a g e ，c l u s t e r ，l o a db a l a n c i n g ，h e a r t b e a t m e c h a n i s m 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或 其他单位的学位或证书而使用过的材料。与我共同工作的同志对本研究工作 所做的贡献均已在论文中作了明确的说明。 作者签名：递堕囊 日期： 关于学位论文使用授权说明 6 年上月望e t 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留 学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部 分内容，可以采用复印、缩印或其它手段保存学位论文；学校可根据国家或 湖南省有关部门规定送交学位论文。 硕士毕业论文第一章绪论 1 1 网络存储技术现况 第一章绪论 数据存储技术起源于7 0 年代的终端主机计算模式。当时数据集中存放在主 机上，因此数据存储的核心是主机上高效率的文件系统。 随着8 0 年代以后客户机服务器计算模式的普及，网络上的文件服务器和数 据库服务器通常成为核心数据聚集的地方。同时，在网络上分布的客户机也会存 放一些数据。这种情况导致了数据的分散性，推动了数据存储技术向网络数据存 储发展。 随着i n t e r n e t 的出现和普及，数据存储技术发生了革命性的变化。这种变 化主要表现在三个方面： ( 1 ) 数据存储的地域空间更加广阔。i n t e r n e t 是连接着全世界的网络，它的 出现可能使在世界任何地方的用户去访问世界某一个角落的数据，这导致了数据 存储的地域空间空前扩大。同样，一个企业也可能使用i n t e r n e t 技术来构建企 业内部的分布于全球的i n t r a n e t ，这导致企业必须能够处理分布于全球范围内 的数据。 ( 2 ) 数据存储量巨大。i n t e r n e t 和宽带网应用的出现和普及，使数据存储量 急剧扩大，这要求存储系统不仅应该具有巨大的存储容量，更为重要的是存储系 统应该具备灵活的可扩充能力，这样才能保证存储系统不会太多地滞后于存储容 量发展的要求。 ( 3 ) 网络存储需要更高的性能。在网络应用中，核心数据存储在关键服务器 上，大量的客户通过网络访问这些数据。如何提高核心关键数据存储系统的性能， 是提高各种网络服务质量的关键因素之一。集群文件系统、并行文件系统、分布 式文件系统等技术方案都是可行的解决方法。 1 1 1 网络存储技术简介 随着网络技术的飞速发展，计算机系统需要处理的数据大量增加。同时，这 些数据还需要有效地保存在存储系统中，为数据分析处理和高效共享提供保障和 便利。网络存储是全新的数据存储方式，随着技术的不断发展和创新，网络存储 技术本身也在飞速地发展。 本节简要介绍几种常见的网络存储技术。 硕士毕业论文第一章绪论 ( 1 ) 直接附属存储( d i r e c ta t t a c h e ds t o r a g e d a s ) 在d a s 方式中，存储设备通过电缆( 通常是s c s i 接口电缆) 直接连接到服务 器，服务器的i o 请求通过电缆直接发送到存储设备。d a s 的优点是：费用低。 缺点是：存储容量扩大困难，难以集中管理。 ( 2 ) 存储区域网络( s t o r a g ea r e an e t w o r k - - s a n ) 在s a n 中存储设备通过光纤组成单独的网络，服务器和存储设备之间可以任 意连接，i o 请求直接发送到存储设备。s a n 的优点是：服务器和存储设备之间 可以远距离连接、高可靠性、高性能、存储容量共享、集中管理。缺点是：费用 昂贵。 ( 3 ) 网络附属存储( n e t w o r ka t t a c h e ds t o r a g en a s ) n a s 是集成了操作系统和存储设备的专用网络服务器，可以连接到网络上， 通过文件存取协议存取数据。客户通过f i l ei o 方式发送文件存取请求到n a s ， n a s 通过操作系统将f i l ei o 转换成b l o c ki 0 ，发送到内部磁盘。n a s 是极具 发展前途的一种存储技术，具有安装简单、易于管理、文件共享、高扩展性等优 点。 1 1 2网络存储技术发展趋势和研究热点 i n t e r n e t 和网络技术的飞速发展极大地推动了网络存储技术的进步。目前， 网络存储技术的发展趋势和主要的研究热点如下： ( 1 ) i n t e r n e t w a n 存储技术 i n t e r n e t 的发展使数据的异地存储成为可能，这也为存储系统带来了更大 的分布性。在i n t e r n e t 朋a n 中，数据分布的物理距离非常广阔，数据存储的平 台种类繁多，如何一致、高效地管理分布在广阔范围内和不同平台上的数据是网 络存储技术当前研究的一个热点。 ( 2 ) 高性能集群文件系统 随着数据存储量的激增，服务器的负荷越来越大，繁重的数据存储任务严重 地降低了服务器的性能。通常，为了提高网络服务的性能，可以使用处理速度更 快、i o 吞吐量更大的服务器来替换原有的服务器。但是，由于价格和技术的限 制，这样的升级通常难以有效满足性能提升的需求。集群文件系统( c l u s t e rf i l e s y s t e m ) 可以通过连接大量的普通计算机作为存储节点来提供高性能的网络存储 服务，逐渐成为网络存储技术中的个新的研究热点，其重点研究问题是高性能 存储服务和标准访问接口。 ( 3 ) 新型高性能磁盘文件系统 2 硕士毕业论文第一章绪论 磁盘驱动器作为主要的存储介质，其发展经历了很多年。随着技术的发展， 磁盘驱动器出现了一些新的特性，例如z e r ol a t e n c ya c c e s s ( 零延迟访问) 、 r e a d - a h e a d ( 磁道预读) 等。这些新技术可以降低磁盘驱动器的读写延迟，提高磁 盘驱动器性能。传统的磁盘文件系统并没有针对这些磁盘新特性对数据分布、读 写方式进行优化，因而这些新的磁盘特性还难以有效地提高文件系统的性能。因 此，设计新型的高性能磁盘文件系统，充分利用磁盘驱动器的新特征，从而有效 地提高文件系统读写性能也逐渐成为当前存储技术研究的一个热点问题。 1 2 集群系统研究现况 集群系统到目前为止并没有一个非常严格的定义，一种较为通用的定义【2 i 【” 是：集群系统是一群以高速网络连接起来的工作站或者p c 机组合，在工作中集 群像一个统一整合的系统，对外提供单一的界面。组成集群的工作站或者p c 被 称作节点( n o d e ) ，每个节点都是一个独立的计算机，有单个或者多个处理器，有 独立的存储设备和z o 设备。典型的集群系统节点间通过l a n 或者其他高速网络 连接在一起。 集群系统最早出现在上世纪8 0 年代，而集群系统成为主流高性能计算机只 是在这两三年的时间里，这其实是有多方面的因素促成的1 2 。 1 普通p c 的性能提升 p c 硬件是集群节点的硬件来源。根据m o o r e 。sl a w ，计算机芯片的复杂程度 和计算能力1 8 个月翻一番，从而使得p c 的计算能力越来越强。另外一方面，p c 硬件的巨大市场使得厂商的生产能力不断扩大，价格也不断往下降，从根本上减 少了整个集群的硬件成本。 2 商用网络的高带宽和低延时 近几年来，网络的速度增长几乎以1 0 为倍数，上升了好几个数量级；网络 设备的延时也在不断下降。几年前还在流行l o 枷o p s 以太网，而现在已经出现 l o g b p s 以太网的标准和产品，将网络的性能提高了1 0 0 0 倍。网络硬件价格随着 广泛的生产和应用迅速下跌，大部分流行的中、高端交换机，网络终端设备等也 都逐步下降到普通用户可以承受的价格水平。 3 集群软件的日益成熟 就操作系统来说，最近十年来在计算机软件世界中的一个重要角色是 g n u l i n u x 。它改变了传统的基于知识产权模式下的软件行业规则，坚持和发展 了开放软件的标准。l i n u x 的出现和流行刺激了软件行业的快速发展，也刺激了 基于开放软件的一系列研究。使用l i n u x 作为集群已成为开放的集群软件的基 硕士毕业论文第一章绪论 础，如s c y l d 的b e o w u l f ，j e r u s a l e m 希伯莱大学的m o s i x ，都采用了l i n u x 作 为集群的操作系统，集群间通讯软件也日益成熟，如作为并行运算环境标准的 m p i 已经比较完善。而且它的一些实现，如m p i c h 和l a n i m p i l ”，采用开放的方 式公布软件系统，有利于整个软件系统的流行和发展。 1 2 1 集群的特点与优势 集群系统作为并行系统的一种，与m p p ( m a s s i v e l yp a r a l l e lp r o c e s s i n g ， 大规模并行处理系统) 、d s m ( d i s t r i b u t e ds h a r e dm e m o r y ，分布式共享内存) 等系统有类似的地方。然而集群系统能够被广泛的应用，与集群系统自身的特点 是分不开的。它的优势主要体现在以下几点“： 1 可扩展性 集群系统具有良好的可扩展性。集群系统使用节点的方式组织，在集群中的 每一个节点除了拥有自身的运算单元外，还有自己的缓存、内存、i o 、网络甚 至还有磁盘等设备。因此每一个节点都可以有相同配置的节点替代，也可以方便 的在集群中增加节点，扩展集群的规模，提高集群的运算能力，而其他类型的并 行体系结构就不能满足这个要求。比如说s m p ( s y m m e t r i cm u l t ip r o c e s s i n g ， 对称多处理机) 的体系结构，在设计为8 个c p u 并行计算系统之后，就无法超越 8 个c p u 的计算能力之和。如果需要增强计算能力，只能将整个s m p 系统替换成 并行程度更高的s m p 。这种替换的方式既增加了成本又加大了维护和升级的难 度。 2 可用性 虽然集群系统中节点的硬件通常使用非服务器专用的硬件设备，整个集群系 统仍然可以体现出较好的可用性。集群通过节点组织系统，因此在集群设计的时 候，可以根据集群的需求目标，设计出冗余的硬件用作在异常情况下替代主要的 工作设备。每个节点独立的拥有处理器、总线、内存等部件，使得在出现异常情 况下节点和节点之间不会发生影响。在集群系统中一般设计有错误检测模块，该 模块监控整个集群系统的“健康程度”，也就是说，它掌握了整个集群内部各个 节点的运行状况。如果某个节点出现异常，一方面，错误检测模块会通知系统管 理员及时更新或者重新运行修正软件，另一方面，它会通知集群中的其他模块， 以免集群试图在该出错点上运行程序。利用集群的高可用性，还可以方便的维护 集群。集群的节点在长时间运行后，需要做设备更新。因为集群有冗余的硬件设 备以及系统的高可用性设计，所以可以部分地更换节点并且不需要停止整个集群 系统的服务。这对于s m p 和m p p 系统来说是不可能实现的。 3 低廉的成本 4 硕士毕业论文第一章绪论 一般集群节点采用的硬件都是通用的p c 计算机的硬件。这种方式使得集群 整体成本非常低，但可以搭建出计算性能高存储容量大的平台。在实际应用中， 一般集群系统已经具备了非常高的性价比。 1 2 2 国内外典型集群系统 在上节中我们介绍了集群系统及其特点与优势。在实际应用中，往往会根据 具体需求的不同，来设计集群的软硬件系统，得到真正合适的集群系统。下面介 绍的几种集群系统是目前世界上比较常用的： b e r k e l e yn o w 加州大学b e r k e l e y 分校的n o w 系统是较早的一个c l u s t e r 系统，它所给出 的一幅图非常形象的描述了c l u s t e r 系统具备的强大功能。 图1 - 1n o w 示意图 撕丽焉历蠢赫丽；善接口毒手弹、快速通信协蔽分希武文件索统、分布式调度和 任务控制的研究和开发，将分散的工作站合成单一的系统，系统结构图如图卜2 。 硕士毕业论文第一章绪论 p a r a l l e la p p l i c a t i o n s 叫严一” i s p l i t - c ll m p i i a c t i v em e s s a g e s g l o b a lo sl a y e r - g l u n i x g l o b a lp r o c e s sm g m t , 1 2 9 s o u r c em g m t , f d es y s t e m ，s c h e d u l i n g c o m m o d i t y p r o c e s sm g m t w o r k s t a t i o n r e s o u r c em g m t w i t h f u l l o ss c h e d u l e r i 0s y s t e m ic o m m d r i v e r c o m m d r i v e r i n t e l l i g e n t i n 蛐n i c 耐l n i c 0 s c a l a b l e 1 0 wl a t e n c vn e t w o r k 图1 - 2n o w 系统结构图 n o w 的通信方式采用了活动消息( a c t i v em e s s a g e ，a m ) 作为进程问通信的基 本原语，简化了远程过程调用过程，可以在很多硬件中有效的实现。上层并行应 用程序可以使用多种并行通信方式：b s ds o c k e t ( 加州大学伯克利分校的b s d u n i x 操作系统s o c k e t 接口规范) 、共享地址空间并行c ( s p l i t 7 c ) 、m p i m p i ( m e s s a g e p a s s i n gi n t e r f a c e ，并行环境消息传递接口) 等等。 n o w 的中间件使用了操作系统粘合层的方式。它利用g l u n i x ( g l o b a ll a y e r u n i x 操作系统) 提供透明的远程运行、交互式并行和串行作业支持、负载均衡 支持，此外具备对现有二进制应用程序向后兼容的特性，还提供了在集群范围内 的一致名字空间。 n o w 中的每一个工作站在空闲时都可以作为服务器，向此时繁忙的机器提供 自己的空闲资源，如果是内存资源的话，就是一种n e t w o r kr a m 的概念。 x f s 是n o w 使用的无服务器、分布式的文件系统，它试图将服务器的功能分 布到客户机上，从而使文件系统的访问在多个客户机上均匀分布，以达到高带宽 访问的目的。 6 硕士毕业论文第一章绪论 b e o w u l f 在1 9 9 4 年夏，t h o m a ss t e r l i n g 和d o nb e c k e r 在c e s d i s 用1 6 个节点和以 太网组成了一个计算机集群系统，并将这个系统命名为b e o w u l f 。b e o w u l f 集群 提供了一种使用c o t s ( c o m n o d i t yo f ft h es h e l f ) 硬件构造集群系统的方法，以 满足特殊的计算需求。这里的c o t s 是指p c 和以太网这种广为应用的标准设备， 它们可以由多家厂商提供，所以通常有很高的性价比。b e o w u l f 系统并没有明确 的定义，我们只能列举一下大多数b e o w u l f 系统所具备的特征： b e o w u l f 是种系统结构，它使得多个计算机组成的系统能用于并行计算。 b e o w u l f 系统通常由一个管理节点和多个计算节点构成。它们通过以太网 ( 或其他网络) 连接。管理节点监控计算节点，通常也是计算节点的网关和控制终 端，当然它也可以是集群系统的文件服务器。在大型的集群系统中，由于特殊的 需求，这些管理节点的功能也可能由多个节点分摊。 b e o w u l f 系统通常由最常见的硬件设备组成，例如p c 、以太网卡和以太网 交换机，b e o w u l f 系统很少包含用户定制的特殊设备。 b e o w u l f 系统通常采用那些廉价且广泛使用的软件，例如l i n u x 操作系统、 并行虚拟机( p ) 和消息传递接口( 肝i ) 。 p a r a l 暗ia p p l i c a t i o n s 。 lm v i c hll i a n ，m p i if m p l ，p r o il m p l c h 么培髫式7 f v l a ll t c p i i p ll g m i iil 卜：彬l 1 6 9 利弋k 尸岁州 s e n t s rh a r d w a r e 图1 - 3b e o w u i f 系统结构图 b e o w u l f 系统的大致系统框架如图1 - 3 ，它目前已经成为了高性能计算机中 硕士毕业论文第一章绪论 一个重要的流派。 m o s m o s i x 是由希伯莱大学开发的一个集群中间件。与b e o w u l f 等集群系统比 较，m o s i x 比较特别，它致力于在l i n u x 系统上实现集群系统的单一系统映象 ( s s i ) ，通过对l i n u x 内核的改进，m o s i x 系统保持了原有的l i n u x 接口和机制， 并提供下面这些新的特性： 易用性和透明性：支持多用户和时分共享环境，通过内核的支持，透明性 好，不用修改应用程序。对所有的节点间的操作，如网络相关的操作，m o s i x 为 交互用户和应用级程序提供了一个虚拟机，看起来像单独的一个机器。当一个进 程发出系统调用，是由本地内核( 进程当前所在的机器) 负责执行网络相关的操作 来实现该调用。 动态负载均衡：根据负载的波动和资源的可用性来发起进程迁移，通过节 点负载均衡的方法来提高性能。主要的负载均衡策略是负载计算算法( l o a d c a l c u l a t i o na l g o r i t h m ) 、信息散布算法和竞争性迁移考虑算法。迁移考虑算法根据 获得的可用负载信息，节点的相对速度和其他参数，做出最后的迁移决定。上述 算法由每个节点独立执行，是分布和非同步的。 最大的全面性能：采用自适应资源管理方法，通过抢占式进程迁移( 可以透 明的在任何时候、任何地方迁移任何进程) ，充分利用整个系统的资源和能力。 抢占式进程迁移机可以在任意时候透明的将任意用户进程迁移到任意一个可用 的节点上去。迁移包括在远程节点上创建一个新的进程结构，然后拷贝进程的页 表和所有的脏页面。迁移后，除了本地节点外，将没有其他剩余的相关性。进程 在新节点上恢复运行，经过几次缺页处理，将进程所需的一些页面传送过来。 分布式控制和可扩展性：为了利用硬件的冗余来达到高可用性，节点之间 没有主从关系。系统的组成完全是分布式的，没有一个机器拥有整个系统的所有 对象的信息。控制也是分布的，m o s i x 中不存在集中的控制机构。每个节点都能 够作为独立的运行，并且自主的做出控制决策。这种设计允许动态配置，节点可 以自由的加入或退出网络系统而不会给其他节点带来影响。通过在算法中引入随 机性来达到可扩展性，每个节点并不试图获得整个系统的全面信息，而只是根据 其他节点的部分知识做出控制选择。 d f s a ( d i r e c tf i l es y s t e ma c c e s s ) 支持：当前集群计算技术的发展和迁移并 行进程的能力使得产生一种可扩展的集群文件系统成为一种需要，该文件系统不 仅要能支持对文件的并行访问，而且要能在进程间保持文件的c a c h e 一致性。传 统的文件系统如n f s 、a f s 和c 0 d a 并不能做到这一点，因为它们依赖于集中的文 硕士毕业论文第一章绪论 件服务器。d f s a 则更适合于集群系统，它通过将进程迁移到文件而不是传统的 将文件数据传送给进程的方式对集群文件系统进行更好的支持，这极大的减小了 通信开销，充分利用了数据的本地性，特别适合于i o 密集型进程。当前在l i n u x 上还未有其他支持d f s a 的文件系统，m o s i x 系统则实现了m f s ( m o s i xf jl e s y s t e m ) ，支持d f s a 特性。 联想万全集群系统 联想万全n s ( n os u s p e n d ) 系列高性能集群系统是国内比较典型的集群系 统，它集成了并行处理、负载均衡和高可用性的全新集群方案产品，采用联想万 全中高端i a 服务器和存储产品，结合o r a c e8 io p s 9 ir a c 并行数据库，在 w i n d o w s 和l i n u x 平台上为大型数据库应用提供高处理能力、高可用、高性价比 的数据库平台。 n s 系统能够提供良好的系统可扩展性，可以将集群内不同节点的资源集中 使用，并行完成同一任务，实现负载均衡；同时提供良好的失效平滑接管，集群 系统可以通过全冗余方式完全屏蔽单点失效，集群内任何节点失效后，其它节点 通过内存同步技术可以无延迟和不丢失数据的情况下接管失效节点；而且随着应 用的成长，可以随时增加节点数来平滑地增加处理能力，不会对客户端服务质量 产生负面影响。 1 3i n d 集群存储系统的提出 综上所述，随着网络存储技术和集群技术的发展，网络存储架构经历了一系 列的改进，从d a s ，n a s 到s a n 和i p s a n ，经历了以服务器为中心的存储架构到 以数据为中心的存储架构的转化”】，d a s 中存储设备寄生在相应服务器，完全以 服务器为中心；所有的客户请求和响应必须经过文件服务器的转发，控制流和数 据流都必须经过服务器，因此服务器成为提高i o 性能的瓶颈。基于将控制流和 数据流分开的思想，n a s 在物理连接上将存储器直接连到网络上，不再挂在服务 器后端，服务器仅起控制管理的作用，从而减轻服务器的工作负载使系统的整体 性能得到提高；但随着文件请求增加到一定程度，服务器的性能会显著地下降， 而且服务器的存在必然产生单点故障问题。s a n 提供高度的数据块传输、可扩展 的虚拟存储和远程备份川，但由于其昂贵的价格，只有小部分的高端应用采用 s a n 。 n a s 被定义为一种特殊的专用数据存储服务器，内嵌系统软件，可提供跨平 台文件共享功能；技术上通过专用软件减少磁头臂机械移动的次数，克服由此造 9 硕士毕业论文第一章绪论 成的延迟，因其“专”而i o 性能高l i l 。 在n a s 中，网络存储操作流程如下：客户端向服务器提出文件存储请求，服 务器对请求的合法性进行审核，包括用户及其权限合法性、是否存在文件读写冲 突等：然后服务器通过专用的网络把该请求发给相应的磁盘，磁盘进行存储操作 并将所需要的数据经过l a n 直接传送到客户端。在这种情况下，服务器只负责网 络存储中的控制流，自身资源不再陷于对数据流的响应和传输中，因此其工作负 载大为减轻1 6 7 1 。在所要求的i o 性能相同的情况下，服务器在n a s 中可挂接的 磁盘比在d a s 中可挂接的多，但这是以增加服务器与磁盘和磁盘与客户端之间的 网络硬件为代价。 但是，n a s 却存在有很多不足，在服务器应用中，通常为每- 个接收到的请 求建立一个线程，通过线程的运行完成相应的操作。n a s 服务器接收到客户端的 文件存储请求后，建立线程完成其合法性审核和发送请求到磁盘的操作。各进程 对共享资源的使用采用同步机制，操作系统调度各进程并发使用c p u 和i o 端口。 由于当前的编程语言和开发工具环境都支持这种线程操作模式，所以n a s 服务器的实现比较方便。但随着进程数的大幅增加，会出现一系列的问题，如缓 存和t l b 失配频繁，进程间不得不来回切换，锁定共享资源的权利的争夺等，会 导致服务器性能严重下降呻】。 另外，由于网络存储中所有的控制流都必须经过n a s 服务器，当n a s 服务器 发生故障时，整个存储系统就陷于瘫痪，因此n a s 存在单点故障问题。 针对n a s 服务器的瓶颈隐患和单点故障问题，我们提出了一种新的网络存储 架构i n d 集群存储系统，同时本课题也来源于国家自然科学基金项目( 智能 网络磁盘( i n d ) 系统结构及关键技术研究，编号：6 0 5 7 3 1 4 5 ) 和湖南省自然科学 基金项目( 可直接联网的智能网络磁盘( i n d ) 系统结构的研究，编号：0 5 j j 3 0 1 2 0 ) 。 在i n i ) 集群存储系统中，每个存储磁盘都分配一个专门设计的接口连接到网络， 接口是一个由嵌入式c p u 、i d e 硬盘接口、e t h e r n e t 接口、f l a s h 和s r a m 等组成 的电路板，嵌入式c p u 运行精简的操作系统，专门负责在网络环境下提供文件服 务；我们定义附网存储磁盘为i n d ( i n t e l l i g e n tn e t w o r kd i s k ，智能网络磁盘) ， 对应的接口为i n d 接口，所有的i n d 通过分布式文件系统协议形成一个集群。基 于i n d 的存储架构中没有设置服务器，负载可以比较均衡地分配到各i n d ，不存 在因所有的请求都要经过某一部件处理而引起的瓶颈隐患；某一i n d 出现故障， 不会影响其他i n d 的正常工作，因此基于i n d 的存储架构也不存在单点故障问题。 1 4 本文主要研究内容 本课题的研究内容包括： 1 0 硕士毕业论文第一章绪论 ( 1 ) 分析网络附加存储n a s 的优点与不足，讨论集群技术前沿动态，分析总 结l i n u x 虚拟服务器集群技术。 ( 2 ) 针对上述n a s 所存在的问题，设计一种基于智能网络磁盘的存储架构， 进而综合集群系统的前沿技术和l i n u x 虚拟服务器集群技术的优点，设计智能网 络磁盘的集群存储架构与i n d 集群调度算法。 ( 3 ) 实现并测试i n d 集群存储系统。 ( 4 ) 总结本系统的特点和有待研究、改进的地方。 硕士毕业论文第二章l i n u x 虚拟服务器分析 第二章l i n u x 虚拟服务器分析 随着i n t e r n e t 飞速发展带来的对服务器可扩展性和可靠性的要求，世界范 围内的l i n u x 开发者正在广泛推动一个项目，那就是l i n u xv i r t u a ls e r v e r p r o j e c t 。即将一组服务器构建成提供高可用的、可扩展的网络服务器集群，称 为l i n u x 虚拟服务器工耀1 5 】。在l v s 集群中，服务器集群的结构对客户端是透明 的，客户访问集群提供的网络服务如同访问一台服务器一样。客户端程序不受服 务器集群的影响，不需作任何修改。系统的扩展性通过在服务器集群中透明地加 入和删除一个节点来达到，通过服务进程故障、检测节点或正确地重启