（计算机应用技术专业论文）集群服务器系统可扩展性的研究与实现.pdf

曲阜师范大学博士硕士学位论文原创性说明 ( 在口划t ) 本人郑重声明：此处所提交的博士口硕士论文集群服务器系统可 扩展性的研究与实现，是本人在导师指导下，在曲阜师范大学攻读博士口硕 蚺位期间独立进行研究工作所取得的成果。论文中除注明部分外不包含他 人已经发表或撰写的研究成果。对本文的研究工作做出重要贡献的个人和集 体，均已在文中以明确的方式注明。本声明的法律结果将完全由本人承担。 作者签名：2 宗群 日期：2 0 l o 6 z 曲阜师范大学博士硕士学位论文使用授权书 ( 在口划“ ) 集群服务器系统可扩展性的研究与实现系本人在曲阜师范大学攻读 博士d 硕士日学位期间，在导师指导下完成的博士d 硕蚺位论文。本论 文的研究成果归曲阜师范大学所有，本论文的研究内容不得以其他单位的名 义发表。本人完全了解曲阜师范大学关于保存、使用学位论文的规定，同意 学校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借 阅。本人授权曲阜师范大学，可以采用影印或其他复制手段保存论文，可以 公开发表论文的全部或部分内容。 作者签名：徐群 导师签名：锄砟 一 日期：2 0 l o 6 2 日期：加，汐- ， 集群服务器系统町扩展性的研究与实现 摘要 随着网络的广泛普及，一方面i n t e r a c t 与网络硬件、带宽在发展速度上的不平衡越来 越成为制约发展的瓶颈，另一方面未来网络服务对可用性、可靠性、可管理性提出越来越 严格的要求，如何能在发展速度和服务质量之间达成一致? 集群技术为解决当前出现的发 展瓶颈提供了新的契机。 集群系统的可扩展性是衡量性能的重要指标，但是实现系统的扩展性不是最终目的， 系统应当可以灵活对不同问题给出合理的聚类，及时发现、处理异常情况，具有可解释性 和高可用性等。设计系统时需要综合考虑可扩展性丰富的涵义，同时应遵循独立设计、平 衡设计等原理。 本文分析比较了服务器集群技术的各种体系结构，如基于镜像、基于d n s 和基于任 务分配器，同时介绍了s s i 、h e a r tb e a t 和负载平衡等各种关键技术，然后在基于可扩展考 量的基础上，提出一种将分布式调度与集中式调度结合的新型集群系统。具有该结构的集 群系统在进行动态扩展时能降低任务s c h e d u l e r 的工作强度，降低单一瓶颈出现的可能性。 该系统通过一种逻辑结构维护集群节点，节点之间可以通过h e a r tb e a t 实现节点状态的监 控。基于m e s s a g ep a s s i n g 模式实现对节点动态正向和反向变化的管理，做好系统稳态改变 后节点所维护的信息的一致性等工作。通过对集群系统进行建模分析，证明了该策略的优 越性。 本文通过基于m e s s a g ep a s s i n g 的并行编程函数，结合程序设计语言c + + ，构建了并行 程序环境。我们在并行环境中通过动态扩展集群节点、变换问题规模，对系统的并行利用 率、加速能力等进行了分析，数据显示该系统在扩展过程中具有良好的性能。 关键词：服务器集群；分层调度；动态实现；可扩展性 集群服务器系统町扩展性的研究与实现 a b s t r a c t a sw i d e s p r e a dp o p u l a r i t yo ft h en e t w o r k ，t h e r el i e ss o m ep r o b l e m s o nt h eo n eh a n d ， i n t e r n e t 、n e t w o r kh a r d w a r ea n db a n d w i d t hh a v ei m b a l a n c i n gs p e e di nd e v e l o p m e n t ，w h i c hi sa b o t t l e n e c kr e s t r i c t i n gt h ep r o v e m e n to fi n t e r n e t o nt h eo t h e rh a n d ，t h es e r v i c e so fn e t w o r ka r e m o r ea n dm o r es t r i c ti na v a i l a b i l i t y , r e l i a b i l i t ya n dm a n a g e a b i l i t y s ow h a tw es h o u l dd oi st o r e a c ha na g r e e m e n tb e t w e e nt h ed e v e l e p m e n to fi n t e m e ta n dt h ei n c r e a s i n gd e m a n d w em u s t m a k ee f f o r tt os o l v et h e s ep r o b l e m s ，w h i l et h ec l u s t e rp r o v i d e sn e wm e t h o d st od e a lw i t ht h e c h a n l l e g e s a l a b i l i t yi sa ni m p o r t a n ts y m p o lt om e a s u r ec l u s t e r sp e r f o r m a n c e b u t ，w h a tw ea i ma t i s n to n l yc l u s t e r ss a l a b i l i t y t h em a i nr e q u i r e m e n t st h a tac l u s t e rs h o u l ds a t i s f ya r e d e a l i n g 、加t i ld i f f e r e n tt y p e so fa t t r i b u t e s ，d i s c o v e r i n gc l u s t e r s 、析ma r b i t r a r ys h a p e ，a b i l i t yt od e a l 埘t l l o u t l i e r s ，i n t e r p r e t a b i l i t ya n du s a b i l i t y t od e s i g na c l u s t e r 丽t l ls u c ha d v a n t a g e ，w es h o u l dg e t i m p l i c a t i o no fs a l a b i l i t ya n df o l l o ws o m er u l e s ，i n c l u d i n gi n d e p e n d e n tp r i n c i p l ea n db l a n c e d p r i n c i p l e t h i sp a p e rc o m p a r e sav 撕e t yo fs e r v e rc l u s t e r sa r c h i t e c t u r e ，w h i c hi n c l u d em i r r o r i n g c l u s t e r , d n sc l u s t e ra n ds c h e d u l i n gc l u s t e r t h e s ec l u s t e r sb a s eo ns o m ec r u c i a lt e c h n o l o g i e so f s s i ，h e a r t b e a ta n dl o a db l a n c e r t h e nt h i sp a p e rp u t sf o r w a r d san e wa r c h i t e c t u r et h a t c o m b i n e sd i s t r i b u t e ds c h e d u l e rw i t hc e n t r a l i z e ds c h e d u l e r a t e rt a k i n gt h en e wa r c h i t e c t u r e ，t h e c l u s t e rg a l lr e d u c et h ei n t e n s i t yo fs c h e d u l e r st a s ka n da v o i db o t t l e n e c kt oo c c u r t h es y s t e m m a n a g e sc l u s t e r sn o d e st h r o u g hal o g i c a ls t r u c t u r ea n dm o n i t o r st h er u n n i n gs t a t u so fn o d e sb y t h em e c h a n i s mo fh e a r t b e a t b ym o d e lo fm e s s a g ep a s s i n g ，t h en o d e sc a nd y n a m i c a l l yj o i ni n a n dl e a v et h ec l u s t e rs y s t e m w i t ht h eh e l po ft h em e c h a n i s mo fm o n i t o r , t h ec l u s t e rs y s t e mc a n m a s t e rt h es y s t e m sd y n a m i c a le x t e n s i o na n dt a k ea c t i o nt om a i n t a i nt h ed a t a sc o n s i s t e n c e f i n a l l y , a n a l y s i s i n gs y s t e mb yb u i l d i n gm o d e l ，t h i sp a p e rp r o v e st h ec o r r e c t n e s so f t h i ss t r a t e g y b a s e do np a r a l l e lp r o g r a m m i n gf u n c t i o no fm e s s a g ep a s s i n g ，c o m b i n e d 、i t i lp r o g r a m m i n g l a n g u a g ec + + ，t h i sp a p e rb u i l d sap a r a l l e lp r o g r a m m i n ge n v i r o n m e n t t h e nw e r e a l i z ed y n a m i c e x p a n s i o no f n o d e si nc l u s t e rs y s t e m a f t e rt h a t ，c h a n g i n gt h es c a l eo fc l u s t e r sp r o b l e m ，w eg i v e c o m p r e h e n s i v ea n a l y s i sa n dc o m p a r i s o na b o u ts y s t e m sp e r f o r m a n c e a c c e l e r a t i o n ，p a r a l l e l e f f i c i e n c ea n dr u n n i n gt i m es h o wt h a tt h es y s t e mh a sg o o ds a l a b l ep e r f o r m a n c e k e y w o r d s ：s e r v e rc l u s t e r ；h i e r a r c h i c a ls c h e d u l i n g ；d y n a m i ci m p l e m e n t a t i o n ； s c a l a b i l i t y 集群服务器系统口r j 7 。展性的研究j 实现 目录 第一章绪论1 1 1 问题背景l 1 2 集群发展现状2 1 3 本文完成任务2 1 4 本文组织流程3 第二章服务器集群及其可扩展性4 2 1 并行计算概述。4 2 1 1 并行计算分类和架构4 2 1 2 并行计算工具5 2 2 服务器集群6 2 2 1 服务器集群内涵6 2 2 2 服务器集群分类6 2 2 3 服务器集群的优越性及挑战。7 2 3 服务器集群体系结构一8 2 3 1 基于镜像8 2 3 2 基于d n s 9 2 3 3 基于请求分配器。1 0 2 4 可扩展性理论l0 2 5 ，j 、l ；1l 第三章服务器集群的组成结构与工作原理1 2 3 1 服务器集群的系统结构1 2 3 2 服务器集群的系统管理1 4 3 2 1 资源管理1 4 3 2 2 性能监控1 4 3 2 3c f s 系统l5 3 2 4 作业管理。l5 3 2 5 节点服务模式1 6 3 3 服务器集群的关键技术l7 3 3 1 虚拟服务1 7 3 3 2h e a r tb e a t 技术。l8 3 3 3 数据存储技术1 9 3 3 4 通信机制2 0 3 4 ，j 、l ；! ；2 0 集群服务器系统町扩展性的研究j 实现 第四章一种基于可扩展性集群服务器系统的设计21 4 1 分层调度的体系结构2 l 4 2 算法设计2 2 4 2 1 基本定义和数据结构2 2 4 2 2 算法描述。2 4 4 3 动态扩展实现2 5 4 3 1 正向和反向扩展2 5 4 3 2 实例演示2 7 4 4 性能分析2 8 4 4 1 原有系统性能分析2 8 4 4 2 扩展后系统性能分析3 0 4 4 3 性能比较。3 l 4 5 小结。3 2 第五章并行环境的搭建与算法实现3 3 5 1 并行编程模型3 3 5 2 并行环境支持3 3 5 3 并行环境搭建与整合3 5 5 4 并行算法设计3 5 5 5 算法性能分析3 6 5 6 ，j 、结。4 0 第六章总结与展望4 1 【参考文献】4 2 在校期间发表的学术论文4 5 致谢4 6 i v 集群服务器系统町扩展性的研究j 实现 峄 1 1 问题背景 第一章绪论 近年随着全球经济的迅速增长，i n t e m e t 以惊人的速度发展，规模迅速膨胀、应用需求 大幅度上涨，各种组织对i n t e r a c t 的依赖不断增长，计算机技术渗透进我们生活的各个领 域，给我们带来了便捷与高质量的服务。尽管计算机技术的发展日新月异，计算机的性能、 速度、稳定性不断得到提升，现实中还是有很多问题需要解决、人们的需求还是不能圆满 的达到、需要解决的矛盾层出不穷。 目前，i n t e m e t 与服务器、网络带宽在发展速度上的矛盾越来越激化，网络带宽的发展 迅速，1 0 0 me t h e m e t 、a t m 和g i g a b i te t h e m e t 等不断地涌现，使得处理器、内存访问速 度已经远远不能满足要求，i n t e m e t 的瓶颈越来越多，迫在眉睫需要解决的问题很多。 用户数量处于持续增长中，同时用户对网络提供服务的质量要求也在不断提高。有很 多人气网站，每天会吸引成千上万的点击率，网站运行过程中，很有可能因为爆炸性的网 络请求而陷入瘫痪，或者用户等待时间过长， 金融系统要求一台服务器存储财务数据， 服务质量大打折扣。 就算是在整个系统瘫痪的情况下，该服务器 依旧能提供服务；科研机构要对气候状况、地形特点和生物制药等进行高精度、高质量的 模拟，需要用到造价昂贵的超级计算机；一个刚起步的网络企业，在创业初期想要一台低 配置、低成本的服务器，但是希望以后允许通过不断改进和升级配置得到具有超级计算能 力的巨型机；电子图书馆、b b s 、搜索引擎和远程教育等在实时性和吞吐量方面都具有较 高要求：电子贸易系统要求一周七天内不间断的提供服务，一旦出现宕机，将会造成巨大 的损失。据有关数据显示，应用系统如c 甜lc e n t e r 、s c m 、e c o m m e r c e 和c u s t o m e rs e r v i c e c e n t e r 等一旦出现故障每分钟的损失分别为$ 2 7 t h o u s a n d 、$ 1 1 t h o u s a n d 、$ 1 t h o u s a n d 和 $ 2 7 t h o u s a n d 的损失，可见应用系统出现故障在收入、经济和利润方面的损失有多大。 人们对于网络服务的可用性，平均无故障性、可靠性的要求越来越高，而解决这些问 题的通常方案就是将多台计算机组织在一起协同完成工作、解决大的问题，这就是集群技 术。 集群并不是个新名词，早在七十年代很多科研机构就已经开始着手对它的研究，一开 始的研究初衷是用于解决科学计算中的问题，因而集群技术没有广泛普及。人们想通过集 群提高计算系统的性能，最初通过增加c p u 、提高总线带宽等，后来通过增加c p u 和内 存数量，s m p 就是在这个时候出现的。s m p 中存在的问题是随着c p u 数量的增加，c p u 访问带宽很容易成为访问瓶颈，而与s m p 不同的是，集群系统性能会随着c p u 数量的增 加而提高，另外集群在s c a l a b i l i t y 、a v a i l a b i l i t y 方面性能良好、价格低廉、c o s t p e r f o r m a n c e 高和能保护原有投资，优势突出。 集群服务器系统可扩展性的研究j 实现 1 2 集群发展现状 1 9 7 7 年，d e c 公司将v m s 操作系统移植到集群系统上，该集群系统采用松散耦合结 构、以v a x 作为结点机。2 0 世纪9 0 年代，r i s c 技术的广泛运用和高性能网络技术的进 步大大推进了集群系统的发展。1 9 9 4 年，n c s a 公司通过f d d i 将4 台s u n 工作站连起来 协同工作，最初集群的雏形就这样形成了。该系统称为s c a l a b l ew 曲s e r v e rc l u s t e r ，是世 界上第一个集群服务器系统，它基本上具有当前定义的集群的一切特征。在集群系统前端 通过一台d n s 服务器完成对请求进行分配的功能，按照r o u n d r o b i n 策略将请求分发到各 台w e b 服务器上。c i s c o 的l o c a ld i r e c t o r 用于实现请求分配，采用i pn a t 技术，实现不 管集群有多少台服务器对外表现为只有一个i p 地址。 集群系统是当前计算机领域研究的热点问题，在全球计算机按计算能力排名的前五百 强中，1 9 9 7 年集群仅为一台，而到1 9 9 9 年已经迅速上升为7 6 台，由此可以看出集群系统 的发展是势不可挡的。 集群在人们的视野中并不陌生，但是直到最近它才有专属的硬件与软件。镜像服务器 双机系统是最简单、廉价的解决方案，可以很好的实现数据同步。双机与磁盘阵列柜互联 结构则可以避免应用程序引起的宕机，h p 双机双控系统提高了容错功能。软件方面，研 发比较成熟的有m i c r o s o f t 的m s c s ，也有专业公司开发的，如豪威的d a t a w a r e 、v i n c a 公司的s 可蝌d b ys e r v e r 、n s i 公司的d o u b l e - - t a k e 等。集群组件不断推出，新的 标准也在不断完善，目前集群系统已经延伸至社会的多个领域。 目前的集群系统有t u r b o c l u s t e r 、l i n u xv i r t u a ls e r v e r 、l s f 、b e o w u l f , c o w 和m o s i x 。 其中，b e o w u l f 将多台计算机用于并行计算，是科学计算领域著名的并行系统。在m o s i x 体系结构中不对计算节点和主控节点加以区分。目前比较有代表性、技术成熟的商业集 群系统有b e r k e l e yn o w ，i b m 的s p 2 、m i c r o s o f t 的w o l f p a c k 、s g i 的p o w e r 、 c h a l l e n g 、e a r r a y 、s u n 的s p a r cc l u s t e r l 0 0 0 2 0 0 0 p d b ，国内的曙光一1 0 0 0 a 、曙 光- - 2 0 0 0 i 和曙光- - 2 0 0 0 i i 也属比较著名的集群系统。 另外，服务器技术与操作系统在不断进步完善，这必将会给集群的发展带来新的机遇。 未来的集群在可靠性、可用性、容错和故障恢复方面达到更高的水准。集群文件系统的改 进与发展将会对推动集群向前迈进起到关键作用，通过文件系统在集群内部形成一个完整 的全局映像，实现无论应用程序被分配给哪台真实服务器，集群内部的节点都可以对这个 应用程序进行访问，集群将会达到更高的可靠性。 1 3 本文完成任务 本文对服务器集群系统的组成结构与工作原理进行了分析，比较了三种体系结构( 基 于镜像服务器、基于d n s 、基于s c h e d u l e r ) 的优缺点，其中基于s c h e d u l e r 的系统在c l u s t e r v l a n 、m e s s a g ep a s s i n g 环境p v m 或m p i 的支撑下，表现出很好的扩展性能。在基于 2 集群服务器系统可扩展性的研究j 实现 l o a db l a n c e r 架构下的系统在s c h e d u l e r 、u s e rn o d e 、c o m p u t en o d e 互相协作下实现系统 的正常运行。同时，分析了系统的虚拟服务、h e a r tb e a t 等关键技术对动态扩展的支持。 本文在分析集群架构、系统管理等基础上提出了一种基于可扩展性设计的系统，该系、 统采用类似树形的层次调度结构、新型的节点“积极”服务模式，通过c l u s t e rm o n i t o r 对系 统变化进行检测，实现节点的正向扩展和反向扩展。最后通过数学模型对系统中的应用请 求的到达和响应进行了分析，在理论上验证了该系统具有较好的扩展性。 本文通过m e s s a g ep a s s i n g 环境通过专门的消息库函数，实现了进程间通信的机制，结 合程序设计语言c + + ，通过环境整合构建了并行编程环境，通过对集群动态扩展过程中的 系统性能、s 。、s c a l ( p ，p ) 的分析，在实践上验证了该系统动态扩展性良好。 1 4 本文组织流程 第一章对服务器集群的问题背景和发展现状做了简要说明，介绍了本文完成的任务和 总体组织结构。 第二章主要分析了并行计算模型的分类、体系架构等，给出了c l u s t e r 的组成要素、所 依赖的并行计算工具、不同的体系结构及可扩展性的科学内涵。 第三章研究了集群系统组成，分析比较了c o d af i l es y s t e m 、g l o b a lf i l es y s t e m 和m f s 等文件系统的不同，对作业管理系统p b s 、c o n d o r 、l s f 和l o a d l e v e l e r 作了简单 介绍，对实现h e a r tb e a t 技术的三大功能模块进行了分析，同时对存储技术和通信机制进 行了归纳总结，为下章基于可扩展性系统的设计做准备。 第四章给出了一种基于可扩展性设计的集群服务器系统，本系统采用对节点实施分层 调度的体系结构，将集中式调度与分布式调度作了一定结合，转换节点的服务模式，节点 的动态加入与退出通过基于m e s s a g ep a s s i n g 的并行环境实现。系统通过m e s s a g eq u e u e 中 维护的消息类型对相应行为进行触发，扩展后系统主要工作就是实现数据、文件的一致性， 节点间通过h e a r tb e a t 实现状态的检测，完成节点的自我管理。最后利用数学模型对系统 的运行进行了模拟，对系统的扩展性进行了理论分析。 第五章在m e s s a g ep a s s i n g 环境下，对并行编程环境m p i 与程序设计语言进行了整合， 搭建了进行性能测试的并行环境。通过在集群动态扩展过程中运行并行程序、变换问题规 模对系统性能进行分析，结合性能指标s 。、s c a l ( p ，p ) 等对系统进行了分析，从实践的角 度论证了系统性能的扩展。 第六章对本文研究内容进行了总结说明，对今后的努力方向作了展望。 集群服务器系统可扩展性的研究j 实现 第二章服务器集群及其可扩展性 2 1 并行计算概述 2 1 1 并行计算分类和架构 根据f l y n n 分类法【1 】将并行运算分为四类【2 】： s i s d ( 单指令流单数据流) ：计算机内只有一块c p u ，只准许一条条顺序执行的指令 流，也允许执行多条互不相关的指令流，在h p 、d e c 和s u n 中采用这一并行运算方式。 s i m d ( 单指令流多数据流) ：多个数据流执行的是单个指令流，运行在由s c h e d u l e r 控 制的多个处理器上。 m i s d ( 多指令流单数据流) ：通过s c h e d u l e r 控制多个处理器，多个指令流对同一条数 据流执行操作。 m i m d ( 多指令流多数据流) ：不同数据上分布着不同的指令流，特别地，数据彼此之 间有相关关系，该模型对同一工作进行划分，将划分后的部分并行执行，以缩短运行时间。 并行架构【2 刈不断发展，时至今日划分为以下四种： a r r a yp r o c e s s o r ：由一系列处理器组成阵列，处理器分为中央处理器和处理元 ( p r o c e s s i n ge l e m e n t ) 。运行时，由中央处理器广播指令流，p e 对存储在自身的数据执行 指令流，该类架构是分布式内存技术得以广泛应用的基础。 a r r a yp r o c e s s o r s 图2 1 处理器阵列架构 s h a r e dm e m o r y ：将多个处理器( p e ) 通过共享内存连在一起，特点是任何一台p e 都 能对任何一段内存进行访问，从而使操作系统、编译器和应用程序的设计难度降低。劣势 在于p e 数目增大时，c o s t p e r f o r m a n c e 性将会大大降低。目前采用此类架构的系统有c r a y t 9 0 超级计算机和一些r i s c 工作站。 4 集群服务器系统町扩展性的研究j 实现 s h a r e dm e a n 0 1 3 , s h a r e dm e m o r y i ( h e r c o m a e c t 图2 - 2 共享内存架构 d i s t r i b u t e dm e m o r y ：每一个p e 只能访问本地内存，p e 通过特定的连接机制来完成通 讯。优势在于能将很多标准不同的计算机硬件组合在一起，在c o s t p e r f o r m a n c e 、s c a l a b i l i t y 方面能达到较高性能，劣势在于过分依赖信息传递环境，性能受到c o m p l i l e r 、d e b u g g e r 、 连接机制带宽和时延的影响。该类架构在l i n u xh p c 得到广泛应用。 d i s b i b u t e dm e m o r y m e mm e m m e r em 呦 p ep ep ep e 沣舭簧 p ep ep e p e m e mm e mm e m m e m 图2 3 分布式内存架构 v i r t u a ls h a r e dm e m o r y ：将分布式内存虚拟为统一内存空间，因此具有s h a r e dm e m o r y 和d i s t r i b u t e dm e m o r y 技术的所有优势，但是因为过分频繁对内存访问调度，从而使性能 降低，在实际应用中局限性较大。 2 1 2 并行计算工具 并行计算工具是实现并行架构的基础，下面对几种并行工具作简单介绍。 c o m p i l e r ( 编译器) ：功能体现在保证生成的代码序列像串行系统中的代码一样优化和 执行操作的并行化处理。目前，c o m p i l e r 在生成并行代码方面取得一定进步，已经可以在 集群服务器系统町扩展性的研究j 实现 s h a r e dm e m o r y 中实现循环级的并行化。 d e b u g g e r ( 调试器) ：是并行程序设计中不可缺少的工具。在d i s t r i b u t e dm e m o r y 系统， 它应当及时对信息传递的动态过程给出反映、对不同p e 上的同名变量及时查看、用直观 的方式表示大数组的复杂数据。 p e r f o r m a n c em o n i t o r a n a l y s i s ( 性能监测，分析) ：并行计算系统具有复杂性和不可预见 性，需要该机制对系统的性能瓶颈、信息传递及并行化程度及时把握。 a p i ( 并行化工具) ：实现源代码从串行转化为并行执行，这一过程，程序员不需要掌 握每一个细节，而是借助a p i 定义的m e s s a g ep a s s i n g 的软件包，通过进行调用就可以实现。 综上所述，一个并行计算系统就是在一定的计算架构中，以计算工具为基础、以并行 软件为辅助搭建的系统。目前的并行系统中，广泛采用的是s h a r e dm e m o r y 和d i s t r i b u t e d m e m o r y ，基于m e s s a g ep a s s i n g 的系统容易获得高性能，但是设计过程复杂。 2 2 服务器集群 2 2 1 服务器集群内涵 理解集群【5 l 这一概念并不复杂，简言之，就是把多个计算机互联在一起，协同完成一 项工作，以提高计算资源的利用率。进行简单归纳得，c l u s t e r 集群技术的要素【6 】有： ( 1 ) 一组服务器，通过l a n 或w a n 连接在一起，服务器之间相互独立，紧密的工 作在一起，只要系统中有一台服务器还能正常工作，就能保证系统正常提供服务。 ( 2 ) 有共同的名称，整个系统对外表现为单一系统，为用户提供的服务应具有 a v a i l a b i l i t y 、r e l i a b i l i t y 、m a i n t a i n a b i l i t y 和h i g h - p e r f o r m a n c e 等特性。 ( 3 ) 具有故障处理功能，可以对系统中的服务错误和失败进行协调，任何一台服务 器发生故障，将会有新的服务器来接管失效服务器上的应用程序。 ( 4 ) 透明性良好，允许对系统透明地加入或删除组件，在执行这一操作时，要保证 服务的稳定性和不间断性。 ( 5 ) 有数据存储空间，分为共享数据存储空间和本地储存空间。每台服务器上都有 自己的本地o s 和存放应用程序文件的本地存储空间。 2 2 2 服务器集群分类 集群计算技术有三大分支技术：高性能计算集群技术( h i g hp e r f o r m a n c ec o m p u t i n g c l u s t e r ，简称h p c ) 、高可用性集群技术( h i g h a v a i l a b i l i t yc l u s t e r ，简称h a c ) 和高可扩 展性集群技术【7 1 。 h p c i 8 卅技术以提高计算能力为目的，属于p a r a l l e lp r o c e s s i n g 的实现技术。工作原理 是将一个应用程序分解为并行执行的多块小的分块，分配到多个指定的处理器上，最后再 6 集群服务器系统可扩展性的研究j 实现 将执行结果进行汇总。其代表系统为由i b mx s e r i e s 服务器组成的l i n u xh p c ，设计h p c 系统时应当尽量提高计算密度。 h a c t l 0 】系统中将应用程序、数据文件、磁盘等统一称为资源，多个资源组成一个资源 组，分布在一个服务器上。h a c 对资源的管理是通过p e r f o r m a n c em o n i t o r 完成的，在资 源动态链接库文件的协助下完成与资源之间的通信。h a c 系统提供高质量服务依赖于故障 切换( f a i l o v e r ) 和故障恢复( f a i l b a c k ) 两种技术。 表2 1h a c 系统中不同资源的状态说明 状态类型状态说明 o f f l i n e资源不能被别的资源或客户机使用 o f f l i n ep e n d i n g资源正处于o f f l i n e 的过程中 o n l i n e资源处于可用的状态 o n l i n ep e n d i n g资源正处于o n l i n e 的过程中 f a i l e d资源出现了系统无法解决的问题 高可扩展集群i li j 技术是带平衡策略的c l u s t e r 系统，网络或计算处理负载按照事先选 好的策略在系统的多个节点之间进行分配，该系统以并行计算结构为基础，通过一种低成 本的配置达到了扩展服务器带宽、增加吞吐量、提高数据处理能力的目的。 系统的最前端负责提供客户界面、接受用户请求，系统后台是多台配置类似的服务器 计算节点，客户端与计算节点间通过l o a db a l a n c e r 连接在一起，l o a db a l a n c e r 根据负载平 衡策略对请求进行合理的分配，整个系统的关键在于l o a db a l a n c e r 采用何种调度算法和任 务分配策略。基于平衡调度的算法可分为静态算法和动态算法1 1 2 】，有r o u n d r o b i n 、f a s t e r r e s p o n s ep r e c e d e n c e 等，后面还有介绍，这里就不再赘述。 2 2 3 服务器集群的优越性及挑战 服务器集群概念的引入，既带来了机遇，也带来了挑战。服务器集群有着无可比拟的 优越性： ( 1 ) 可靠性高：管理软件能及时对故障进行f a i l o v e r 和f a i l b a c k 操作，并在合适的目 标节点上实现快速启动与恢复，保证用户服务的有效性及不间断性。 ( 2 ) 能用性得到提高：集群可以同时为多个用户提供服务、能实现大的吞吐量而响应 时间却能大大缩短。服务器上大多采用传统平台，因此用户能在熟悉的环境下进行操作。 ( 3 ) 易于管理：集群可以实时地、有效地把握节点的情况，针对用户的各种请求能轻 松在节点中进行最优选择，实现负载平衡，并且无需将重要的数据和应用分离。 ( 4 ) 扩展性好：集群中采用的关键技术和设计原理决定了在系统中易实现规模的增大 或缩小，同时实现扩展后系统的任务分配与平衡问题。 ( 5 ) 性能价格比高：与p v p 超级计算机及m p p 几千万美元的成本相比，显然，依 7 集群服务器系统町扩展性的研究0 实现 托集群达到相同的性能指标成本要降低1 - 2 个数量级，集群多采用商品化部件，价格优势 明显。 ( 6 ) 使用方便：并行m e s s a g ep a s s i n g 软件、l o a db l a n c e r 、并行化c o m p i l e r 等保证了 系统能提供便捷的服务。集群采用可视化的集成环境，功能齐全、使用简单。 ( 7 ) 涉及领域广泛：在地震分析预测、分析气候变化与天气预报、医学图像的分析、 大规模武器的设计、决策支持、事务处理等发挥重要作用。 服务器集群当中节点众多、节点内部连接方式复杂，节点的管理工作难度大。需求在 不断增长，对系统扩展的灵活性的要求不断提高。另外，故障检测时间、转移模块消耗时 间、服务交接时间的缩短是目前极具挑战性的问题。 2 3 服务器集群体系结构 2 3 1 基于镜像 镜像服务器将硬盘高速缓存技术的原理应用于服务器集群，是一种网络连接存储n a s ( n e t w o r ka t t a c h e ds t o r a g e ) ，目的是为了使用户能以访问硬盘的速度实现读取c d r o m 光盘上的信息。正常连接时，所有来自u s e rn o d e 的服务请求都将传送到a c t i v es e v e r ，一 旦发生故障或瓶颈后，a c t i v es e v e r 不能再及时的准确的完成正常任务，u s e rn o d e 的服务 等待时间要被无限期延长，此时p a s s i v es e v e r 就要承当起重要角色。所有服务请求将要改 变发送路径，被送到p a s s i v es e v e r 系统处，与此同时，a c t i v es e v e r 与p a s s i v es e v e r 之间 将迅速完成数据的同步复制，这一切对待用户是透明的。 客户端 客户靖客户端 客户端 i 可步复制 图2 - 4 基于镜像服务器集群结构 镜像服务器系统中可以有多个c d r o m 驱动器，通过硬盘的高存储速度来实现对 8 集群服务器系统町扩展性的研究j 实现 c d r o m 上数据的访问，并且镜像服务器可以连到网络的任何地方，尤其是一些服务请求 较“忙碌 的节点，因此采用a c t i v e p a s s i v e 模式对提高集群系统吞吐量和缩短集群服务响 应时间有很大帮助。此外，镜像服务器具有一定的可扩展性，达到了很好的性价比。 2 3 2 基于d n s 域名服务器【1 3 】( d o m a i n n a m es e r v e r ，d n s ) 主要的任务是进行域名解析，利用主机 名寻找服务器时，必须要将主机名转换成l p 地址才能实现，其中d n s 起到关键的作用。