（计算机应用技术专业论文）基于linux的pc集群光化学反应模拟计算平台研究.pdf

独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得重庆邮电太堂或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 捅铣 j 签字日期：弘刃9 年j 月2 z 日 学位论文版权使用授权书 本学位论文作者完全了解 重庆由电太堂有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查 阅和借阅。本人授权重庆邮电太堂可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：斯铣导师签声： 爱百计 签字日期：h 明年s 月 日 签字日期：2 。1 年s 月2 z 日 重庆邮电大学硕士论文 摘要 摘要 计算机模拟是研究光化学反应的一个有效手段，该方法可以在分子水 平上观察化学反应，追踪分子运动过程。本文针对可用计算资源无法满足 研究小组计算需求，而购买专用服务器价格昂贵的现状，对经济可用的模 拟计算平台构建技术进行了研究，并采用基于l i n u x 系统的p c 集群技术 实现了该模拟计算平台。 作者参与了基于经典分子动力学方法的生物分子质谱分析模拟程序 的开发，发现在光化学反应模拟计算中，计算量随研究体系规模的增大而 迅速增加。因此，本文首先针对中小规模计算体系，使用p c 机构建了利 用串行模拟程序实现模拟的l b a r ( l o a db a l a n c e ra d d e di nr e a ls e r v e r ) 集 群。这种集群服务器可以将多个计算负载均衡到各个结点，同时均衡器也 可参与计算。该系统各结点都使用双操作系统，根据负载情况，各台p c 机可迅速转换角色。其次，针对规模较大的体系，本文基于b e o w u l f 集群 的架构思想，采用并行程序实现模拟计算，构造了p c s ( p a r a l l e lc o m p u t i n g s y s t e m ) 系统，大大降低了计算时间。该系统支持通信环的动态建立，一方 面使p c s 系统仍然具有动态扩展性；另一方面则有效避免了只能从某一结 点启动并行计算导致的瓶颈问题。最后，本文根据目前主流并行计算采用 的主从式软件开发范型，在主进程所在结点负载较重的情况下，将l b a r 系统所具有的负载分配性能应用于p c s 系统，使其能够动态合理地选择并 行计算的主进程结点，从而使计算负载得到进一步均衡优化。因此，该系 统具有低成本、负载均衡、动态扩展、高资源利用率及很好灵活性的特点。 本文通过对集群技术的研究与探讨，结合实际项目，实现了一种面向 不同规模计算体系的集群服务器解决方案。通过测试，表明该集群系统是 一种高性价比、可用于多个领域的科学计算集群服务器。本文提出的方案， 对价格有效性要求较高的科学计算平台设计，有实际参考意义。 集群 关键词：集群服务器，光化学反应模拟，负载均衡，l b a r 集群，p c s 重庆邮电大学硕士论文 a b s t r a c t a b s t r a c t c o m p l i t e rs i l l 枷l a t i o n i sas u p p l e r 玳：1 1 ：t a r ym e a n so fr e s e a r c l l i l 喀p 匮l o t o c b 触i c a l r e a c t i o n 1 1 啪u g ht h i sm e t l l o d ，c h e i i l i c a lr e a c t i o nc 0 m db eo b s e n ，c do n 廿1 el e v e lo f i n o l e c u l ea n d 仕l ec h a i l g i i l gd e t a i l so fm o l e c u l ea l s oc o u l db e 慨k e d t 0 w a 暂d st l l e s i t u a t i o nt l l a tc u 饿斌a v a i l a b l ec o 妇叩u t i i l gr e s o u r c e sc 觚n o ts 撕s 匆n l ec o m p u t i n gn c e d s o ft h er e s e 孤c hg r o u pa n dt l l ec 0 s to ft h es p e c i a l r v e ri st o om c h1 l i g k l i st h e s i s m 枷y r e s e a r c ho nt h ec o m 灯删o no fe c o n o n l i cc 唧m i n g p l a t f o m a 也er e s e a r c h o fc 1 蝴ts i t 删呱m et e c l m o l o g ) ro f p cc l 呦b 淞e do nl 弧i s 印p l i e di i l 恤m e s i s t h r o u 曲p 枷c i p a t i l 玛i nd e v e l o p i i l gt 1 1 em 嬲s 职咖r o m e t r i ca i l a l y s i sp r o g 姗 b a s e do nc l 嬲s i c a lm o l e c l l l a r 由m 锄i c s ，t l l e 孤r c h o f 如恤dt l l a tt h ec a l c i l l a t e d 锄o 雠 c l o s e l y l a t e dt 0t h e s c a l eo fr e s e a r c hs y s t e ：md l l r i i l g t 1 1 ep h o t o 吐旧血c a lr e a c t i o n s i i i “a t i o n n 嘲e f o r e ，ac l l l s t e rs e c r 咖e dl b a r i sp r c s e n e di nt t l i sm e s i s 矗盯m e s m a l l 觚dm e d i 眦s i z c 夥蚰即够c 0 m p u t i n g t h i sc l u s c e rs e r v e ra d o p t ss 甜a l 甜g o 商【l l ：m ， f o r m e db yv a r i o u si 1 1 e x p e 妇- s i 、，ep ：r ! 沁n a lc 0 m p u t e 瑙f o r i e n ：t i f i cc 0 i 珥) u t i n g t b i ss e r v e r c o u l db a l a l l c et 1 1 ec o m p u t i i 培l o a d 锄o n gt h en o d e si nt h ec l u 眦盱锄dm el o a db a l a n c e r i sa d d e dt 0ar e a ls e r v e rc l u s t e rf 0 rl o a ds c h e d l l l e r 趾dc o m p m a t i o n i i l 廿l i sc l 戚e r a l l t h en o d e sa r ei n ：渤l l e d ( h j a ls y s t e m n l e n 也en o d e sc 趾b ea d d e d0 rd e l e 钯de 嬲i l y a c c o r d i i l gt ot l l es t a t u so ft 1 1 ec o m p u t i n gl o a da n dm ep c si nt l l ec l u 随e rc 趾b ee 嬲i l y u s e df o r o 协e r p l l r i ) o m e 缸m 舡l e ，t o w a r d s t 1 1 e l a i g e r s i z es 血l l l a t i o ns y s t e m c 0 m p u t i n g ，g m u n d e do n 廿舱m i n k i l 鸣o fb e o m 蝇r e c 咖嗽lt 0m p ia n do t l l e r c o m m o d 毋。昏廿1 e - s h e 屹廿1 cp c s a r a l l e lc o m 】咖s y s t 锄) i sc o n s 仃眦d t 0r e a l i z e t 1 1 e p a r a l l e lp r o g 均m t h e nt h el a 礓：e rs i z e 夥s t 锄s i n l u l a t i o nc 0 m p u t i i 玛c 趾b e i l n p l 锄e n t e do n 也ee c o n o m i cp cc l i i s t e rw i 血m l l c hf 毫w e rc 0 i n p u t i n gt i i l l e t i l i ss y s t e m s u p 叫sb u i l d i i 培d y m l i cc o 删m l l l i c a l i o n 血g 1 1 l i se n a b l e st 1 1 es c a l a b i l i 够o f 恤e s y s t e m 弱w e l l 雒a v o i d st 1 1 eb 酣l e n e c kp r o b l e mc a ：1 1 8 e db y0 1 1 1 yc o u l ds t a n i n gt l l e p a r a l l e lc o m 】嘶n g 舶m ac 舶n o d e a tt l l es 锄et i i 鹏，f o rm a s t e r s l a v cm o d ei sl l s e d b ym o s to f 伦p 砌1 e 1p r 0 掣a m ，t l l es t 盯t i n gn o d eh 髂l a r g e rc o m p 曲gl o a d ，w ea p p l y t h el b a rw h i c hh 嬲t 1 1 ep r o f i c i e n c yo f1 0 a db a l a i l c i n gt 0p c s ，弱t 0c h o o s et 1 1 e 滞n o d e t 0s t a r t 恤p 砌l e lc 伽叩u t j 堍i n a w o 吐t h ep cc l u s t e r c 觚a c c 0 m p l i s ha l l k i i l d so fs im u l 撕0 nc 0 m p u t a t i o 粥t l l 钉e f o r e ，t 1 1 i ss y s t 锄h 嬲m a n yf a v o r i t ef e 绷j i e s ， i i l c l u d i n gl o a db a l a n c i n g ，奶删cs c a la ：b i l i 坝l l i g hm t i oo ft l l ep l e r f o n n 锄c eo i rc o s t h 重庆邮电大学硕士论文 a b s 仃a c t 锄dl l i g l le 伍c i c n c yo fu t i l i z a l i o n h la d d i t i o n ，m es e n r e rh a sas 仃0 n gn e x i b i l 时 t 1 l i d u g ht h es t u d ya n da i l a l y s i so fc l u s t e rt e c l l l l o l o g c o m b i n c dw i m m ec 0 n ( ：r e t e e n v i l 咖e n to ft l l ep 删e c t s ，as c h 铡o fp cc h l s l 船s e r 、，e rb 弱e do nl i i l _ u xf o rd i 妇f e r e n t s c a l es i i i m l a t i o ni sp r e s e n 【t e di nn l i st l l e s i s at h e 叩面n e n l s ，“i l l d i c a t e st h a t 也e c l 咖s e e ri sah i g l l 瑚t i oo f t h ep 晌咖a i l c eo v 萌c o s tc l 咖锄da c a nb ew i d e l y u s e dc l i i 蚰咒t h ei n l p l e r 瞰i n t a t i o no ft h ec l u s t e ri sag o o dr e s o u 】ef o rt l l ed e s i g no f c o m p 妇gp l a t f 0 珊r e q u i r i i 培1 l i g h e rc o s t - e 饪e c t i v e s s k e yw o r d s ：c l u s t e r e r ，p h o t o c h e i n i 鼬眵他a c t i o ns i l l l u l a t i o 玛l o a db a l a i l c e r a d d e di i lr - e a ls e n ，e 瑙，l o a db a l a n c e ，p a r a l l e lc 伽叩m i i 培s y s t 锄c l u s t i 咒 i 重庆邮电大学硕士论文 目录 目录 摘要i a b s l 瞳a c t ” 第一章绪论”1 1 1 论文选题背景1 1 1 1 项目背景1 1 1 2 集群研究现状2 1 1 3 典型集群系统介绍3 1 2 论文主要工作5 1 3 论文组织结构6 第二章集群技术基础7 2 1 国内外技术分析与选择7 2 2ij 瑚虚拟服务器集群。8 2 2 1l v s 集群通用体系结构8 2 2 2l v s 集群工作方式9 2 2 3l v s 集群调度算法1 1 2 3b e o w u l f 集群。1 3 2 3 1b e o 、砌f 集群概念l3 2 3 2b e 嘲f 集群分类13 2 3 3b e o 、u l f 集群体系结构1 4 2 ：4 小结1 4 第三章模拟计算平台设计1 6 3 1 模拟程序分析1 6 3 2 集群计算平台需求分析1 9 3 3 面向中小体系的l b a r 计算系统2 0 3 3 1l b a r 系统均衡机制的选择2 0 3 3 2l b a r 系统调度算法的选择2 0 3 3 3l b a r 系统结构设计2 1 3 4 面向大体系的p c s 计算系统2 4 3 4 1p c s 系统硬件分析”2 4 3 4 2p c s 计算系统网络分析2 4 重庆邮电大学硕士论文目录 3 4 3p c s 系统软件分析“2 4 3 4 4p c s 系统并行应用分析”2 5 3 4 5p c s 系统结构设计2 5 3 5 小结2 6 第四章系统实现及性能分析“2 8 4 1 系统环境测试2 8 4 2l b a r 系统测试2 9 4 2 1 系统实现与运行测试：2 9 4 2 2 系统利用率测试一3 0 4 2 3 集群性能测试31 4 2 4 集群适用性测试31 4 3p c s 系统测试j 3 2 4 3 1p c s 系统实现与运行测试”3 2 4 3 2p c s 计算系统应用测试3 4 4 3 3p c s 算系统性能测试3 6 4 4 系统综合应用- 3 8 4 5d 、结4 1 第五章总结及未来工作”4 2 5 1 总结4 2 5 2 未来工作。4 2 致谢4 5 硕士期间从事的科研工作及取得的研究成果4 6 参考文献4 7 v 重庆邮电大学硕士论文第一章绪论 1 1 论文选题背景 1 1 1 项目背景 第一章绪论 论文的项目背景是国家自然科学基金项目“激光诱导的光化学反应的 动力学模拟；重庆市教委项目“生物大分子质谱分析的计算机模拟和 教育部“春晖计划国际合作与交流科研项目“基于网络的光化学反应模 拟计算平台。 光化学是一门多学科交叉的边缘和新兴学科。现在的光化学正在与信 息科学、能源科学、材料科学、生命科学、环境科学等学科的诸多高新技 术领域相互渗透、交叉融合，形成新的研究热点【1 1 。对光化学的研究有重 大的理论意义和应用前景。光化学反应过程中有些分子在常温常压下不能 进行反应，但在激光照射下可被诱导发生化学反应。与实验相比较，利用 计算机模拟有着降低成本、增加安全性、可研究极快速的反应或变化、增 进对问题的了解过程的优点【2 】。计算机模拟是光化学反应实验技术的一个 有力的补充手段，该方法可以在原子水平上观察化学反应，追踪分子的变化 细节。利用计算机模拟光化学反应的方法正在迅猛发展，科学家正在朝着 “实现控制化学反应的梦想”迈进。应用飞秒激光脉冲，许多传统方法上不 能发生的化学反应得以实现【3 4 】。光化学反应模拟通过计算机模拟激光脉 冲对分子反应产物的影响和分子动力学过程等，为实验科学家提供有关激 光控制化学反应的直接信息。因此，光化学反应模拟有重要的实际意义。 目前，基于计算机模拟的理论计算是光化学领域的一个必不可少的常规手 段，它与实验方法相辅相成，共同促进光化学的快速发展。 国家自然科学基金项目采用半经典动力学近似方法1 5 】实现光化学反应 的计算机模拟。重庆市教委项目采用经典分子动力学近似方法实现模拟计 算。这些模拟过程是科学计算过程，这些计算在一般的p c 机上难以实现， 需采用高性能计算机，但专用计算服务器价格十分昂贵。这些项目有1 1 名研究生和5 名在读博士参与，他们要向服务器提交不同模拟体系以及同 一模拟体系不同参数的模拟计算任务。然而，目前实验室可用的服务器资 源只有两台宝德自强系列刀片式服务器。硬件资源根本无法满足项目需 盆蔷孟墨- 五澎；i 菹：二泣：基：j 兰：= 盘量2 芷：兰譬：主：銎苎兰璺! 兰艺- ：要：量：篓羔置晕孝擘：o 妻噬誊羔孽：i 蔓曼! 墨童芝芝兰璧受量篓釜蠹篓瑟! 墓篓霆“。 重庆邮电大学硕士论文第一章绪论 求。这种情况下，构建一种可用并且经济的计算服务器成为一种迫切的需 求。 1 1 2 集群研究现状 目前有许多计算量非常大的科学应用，利用超级计算机进行计算。事 实上，超级计算机并非依靠一个高速处理器运行，而是使用多个处理器并 行处理。例如，i n t e l 公司的超级计算机a s c ir e d 就配备了9 6 3 2 个处 理器。i b m 公司的a s c iw h i t e 也不只是一台计算机，而是由并行设计的 5 1 2 个独立的r s 6 0 0 0 服务器组成，共有8 1 9 2 个处理器【6 引。然而，超级 计算机高昂的造价以及有限的计算能力限制了它们的应用。 随着计算机硬件技术的高速发展，处理器和网络的性能不断的迅速提 高和价格的日益下降，使得高性能计算日益从传统的专用超级计算平台， 转移到由一组高性能结点或p c 机构成的称之为集群的计算平台上，因而 集群成为构架可扩放高性能计算机的一大趋势。集群中各结点除了可以作 为一个单一的计算资源提供交互式用户使用外，还可以协同工作并表现为 一个单一的、集中的计算机资源。集群是一种造价低廉、易于构筑并且具 有较好可扩展性的计算体系结构【9 】。 多台同构或异构的计算机通过某种方式连接起来协同完成特定的服 务或任务就构成了集群系统。按照完成功能的不同，集群分为三类【l 肌1 1 1 ： 高可用性集群 运行于两个或多个结点上，目的是在系统出现某些故障的情况下，仍 能继续对外提供服务。高可用性集群的设计思想就是要最大限度地减少服 务中断时间。它的出现是为了使集群的整体服务尽可能不中断，主要考虑 了整个系统硬件和软件的冗余性和容错性。如果高可用性群集中的主结点 发生了故障，那么这段时间内将由备用结点代替它。备用结点通常是主结 点的镜像，所以当它代替主结点时，它可以完全接管其身份，并且系统环 境对于用户是透明的。 负载均衡集群 负载均衡是提高系统性能的一种前沿技术，也是一种广泛应用于服务 器集群系统中的技术，负载均衡群集为企业提供了更实用的系统。它的目 的是提供和结点个数成正比的负载能力。如名称所表示的，该系统使负载 可以在计算机集群中按照定义的算法进行分配。该负载可能是需要均衡的 应用程序处理负载或网络流量负载。这样的系统非常适合于运行同一种服 2 重庆邮电大学硕士论文第一章绪论 务的多台主机系统。每个结点都可以处理一部分负载，并且可以在结点之 间动态分配负载，以实现平衡。对于网络流量也是如此。通常，网络服务 器应用程序接受了太多入网流量，以致无法迅速处理，这就需要将流量发 送给在其它结点上运行的网络服务器应用。还可以根据每个结点上不同的 可用资源或网络的特殊环境来进行优化。 高性能计算集群 主要用于大规模数值计算，解决复杂的科学问题。在这种集群上运行 的是专门开发的并行应用程序，它可以把一个问题的数据分配到多台计算 机上，利用这些计算机的共同资源来完成计算任务，从而可以解决单台计 算机不能胜任的工作。一般科学计算集群应用在天气预报、地震模拟等需 要大数据量计算的部门。按照计算关联程度的不同，又可以分为两种。一 种是任务片方式，要把计算任务分成任务片，再把任务片分配给各结点， 在各结点上分别计算后再把结果汇总，生成最终计算结果。另一种是并行 计算方式，结点之间在计算过程中大量地交换数据，实现各结点间并行的 计算。有了超级计算集群软件，利用若干台p c 机就可以完成通常只有超 级计算机才能完成的计算任务。 事实上，在群集的这三种基本类型之间，经常会发生混合与交杂。于 是，可以发现高可用性群集也可以在其结点之间均衡用户负载，同时仍维 持高可用性。 本论文的研究主要是在实验室有大量用户提交不同计算任务的情况 下进行的，所以本论文就是想寻求一种能够满足小规模科学团体计算需求， 的、经济的集群计算平台。这种计算平台首先要求能够顺利完成科学计算 任务，同时要能够兼顾集群的负载均衡能力。 1 1 3 典型集群系统介绍 集群系统采用的操作系统主要有v m s 、u n i x 、w i n d o w s n t 和 l i n u x 【1 2 14 1 。 美国d e c 公司( d i g i t a le q u i p m e n tc o r p o r a t i o n ) 开发的v m s c l u s t e r 系统开发最早，技术也很成熟，应用也很广泛，但由于v m s 操作系统只 能在d e c 公司的v a x 系列和a l p h a 系列服务器上运行，v m s c l u s t e r 的 应用受到很大限制。 u n i x 是服务器或工作站上普遍使用的操作系统，它运行稳定、安全 性也比较好，因此许多大的公司都采用了基于u n i x 的集群系统解决方 3 重庆邮电大学硕士论文第一章绪论 案，其中在国内影响比较大的主要是d e c 、h p 、s u n 和i b m 。它们集高 可靠性、高可用性和易管理性于一身，是关键业务计算机系统的理想解决 方案。 基于w i n d o w s n t 的集群系统解决方案厂商主要有m i r c r o s o f t 和 d e c 。w i n d o w s2 0 0 0 中增加了集群功能，该高可用性集群叫做w o l f p a c k ， 也叫做m i c r o s o f tc l u s t e rs e r v e r ( m c s ) 。w o l f p a c k 现在支持两个服务器， 一个用来对用户提供服务，另一个作为备份服务器使用。w o l f p a c k 的缺陷 在于：w o l f p a c k 不能支持多种操作系统，而只能运行于w i n d o w sn t 操 作系统上。由于w i n d o w s n t 操作系统本身在稳定性、大型并行计算上与 u n i x 系统存在较大差距，使其应用受到了一定的限制。 随着l i n u x 操作系统【1 7 1 不断走向成熟，越来越多的网站采用l i n u x 操作系统，提供邮件、w e b 、文件存储、数据库等服务。也有非常多的公 司在企业内部网中利用l i n u x 服务器提供这些服务。它的健壮性不断增强， 并且提供了g n u 软件和标准化的p v m 、m p i 消息传递机制，最重要的 是l i n u x 在普通p c 机上提供了对高性能网络的支持，随着人们对l i n u x 服务器依赖的加深，对其可靠性、负载能力和计算能力也倍加关注。l i n u x 集群技术应运而生，可以以低廉的成本，很好地满足人们的这些需要。 l i n u x 集群技术最大的发挥了p c 机和网络的优势，可以带来可观的性 能，是一种大有前途的技术。因此基于l i n u x 的p c 集群是经济的选择， 其处理能力可与专用计算机( 小型机，大型机) 相比，但其性价比高于专用计 算机。目前，有几种应用比较广泛的l i n u x 集群系统： t u r b o l i n u x 公司推出了能够显著地提高基于t c p i p 协议的多种网络 服务质量的高可用性集群系统t u r b o c l u s t e r 【1 8 】。 由e r i c s s o n 软件工程研究中心开发的高可用性集群系统e d d i e 的主 要目的是提供一个商业级的，能提供较好的服务质量的w e b 服务器的解 决方案【1 纠。 p l a t f o f m 公司开发的高可用性集群系统l s f 提供了分布式集群系统 的解决方案，通过将物理上分离的多个集群连接在一起，使多个同构或异 构的计算机能够通过局域网或广域网共享计算资源，并能够为用户提供对 资源的透明访问l l i i 】。 高性能集群系统m o s i x 为l i n u x 核心增添了集群计算的功能。在 m o s i x 集群环境中，用户无需对应用程序进行修改，或将应用程序与库 连接起来，或将应用程序分配到不同的结点上运行。m o s i x 会自动将这 些工作透明地交给别的结点来执行【2 0 】。 4 重庆邮电大学硕士论文第一章绪论 在过去的几年中，国际上涌现出的著名网络计算平台包括 s e t i h o m e 【2 l 2 2 1 ，g i m p s 【2 1 ，2 3 1 ，f o l d i n g h o m e 【2 1 ，2 4 1 等，它们极大的集成 了计算资源，以较小的代价获得强大的计算能力。 l i n u x 虚拟服务器( l i n u xv i r t u a ls e r v e r ，l v s ) 也是很有影响力的一种 l i n u x 集群。它建筑于实际的服务器集群之上，用户看不到提供服务的多 台实际服务器，而只能看见一台作为负载平衡器的服务器。实际的服务器 通过高速局域网或地理上分散的广域网连接【2 5 1 。 同时，在科学计算领域中，人们开始把注意力投向通过普通p c 机或 工作站的集群，以此来代替昂贵的超级计算机。比较成功的例子是高性能 集群系统b e o w u l f f l o ，2 1 ，2 6 1 ，它最初是由n a s a 的g o d d a r df l i 曲tc e n t e r 开发的，主要目的是支持大规模的科学计算问题，如地球和太空科学面临 的一些计算问题。p c 集群逐渐成为构筑经济的高性能计算集群的重要方 法。 1 2 论文主要工作 考虑到有效性和经济性，要构筑一种计算平台，要求它不但具有较高 的计算处理能力，而且价格经济。为了实现光化学反应模拟，本论文主要 进行以下工作： 参与了基于经典动力学近似方法的生物分子质谱分析的计算机模 拟程序的编写。并且通过该程序实现了在不同温度下激光照射水分子包裹 脑啡肽分子体系的光化学反应的计算机模拟。 通过编译l i n u x 内核，构建适用于中小型模拟体系计算的l b a r 应 用系统。该系统将专门用作负载均衡的结点，同时用作真实服务器，使该 结点实现了分配负载任务的同时参与计算。 将光化学反应模拟的串行程序植入l b a r 计算系统。并且从系统的 利用率、性能、实用性等方面对l b a r 系统进行了测试分析。 基于b e o w u l f 集群利用非专用设备及通用软件构筑并行计算系统的 思想，构建了可以用于中大型模拟体系的p c s 应用系统。 将基于半经典动力学近似方法的并行程序植入p c s 计算系统。并且 从系统运行、应用、性能等方面对p c s 系统进行测试。 针对p c s 计算系统中启动结点负载重的现象，将两种应用系统统一 于集群的硬件环境中，使集群系统不但能够满足不同规模的计算需求，而 5 重庆邮电大学硕士论文 第一章绪论 且实现了利用l b a r 系统的负载均衡特性动态选择并行计算启动结点的功 能。 1 3 论文组织结构 本文的组织结构如下： 第一章介绍了本文的选题背景，包括选题的项目背景和目前国内外研 究背景， 第二 务器的技 第三 子化的模 平台的系 计算的l 系统方案 第四 p c s 系统 的结构及 第五 重庆邮电大学硕士论文第二章集群技术基础 第二章集群技术基础 2 1 国内外技术分析与选择 上一章节介绍了目前广为使用的几种集群系统：基于w i n d o w s n t 系 列的集群有着系统安装所占用的存储空间过于庞大，系统服务不便于裁 剪，系统不够稳定，费用过高的不足；基于u n i x 的集群系统的最大优势 就是它的稳定性，但同时它也具有安装空间过大、费用过高的缺点；基于 l i n u x 的集群系统，它们能够高效、可靠、稳定的运行，处理大量的、动 态变化的请求。 使用l i n u x 来构建计算平台具有许多优点【1 0 ，1 5 】： 廉价。l i n u x 最大的优势就是价格，通常只需少量的软、硬件投资就 可以拥有一个p c 工作站或服务器。相比之下，l i n u x 对硬件的要求比 w i n d o w s 要低得多，即使是普通用户也可以利用l i n u x 来构建一个高性能 的并行计算环境，从而替代以往开销昂贵的大型计算机。 开放。自由和开放是l i n u x 最吸引人的特点，同时也为提高并行系统 的性能提供了更加广阔的空间。开发者可以很容易地深入到系统的核心， 从而使在操作系统一级提高性能成为可能。 高效。在相同软硬件配置情况下，l i n u x 与其他操作系统相比具有更 高的效率，尤其是网络性能和稳定性，而这些正是衡量计算平台优劣的关 键所在。 上一章节中介绍的前若干种l i n u x 集群系统都是针对特定应用设计的 专用平台，服务器系统功能强大，因此它们价格相对昂贵。并且技术保密， 因为投入了大量的研发成本，所以对用户来说只是个黑盒系统，很难获取 其技术实现方法。 l i n u xv i r t u a ls e r v e r 是完全的开源项目。b e o w u l f 集群则提供了一种利 用集群实现并行计算的思想。重要的是它们都可以运行于极为普及的p c 机上，不需要购买昂贵的专用硬件设备。在几台运行l i n u x 的p c 机上， 只要加入相应的软件，就可以组成具有较强可靠性、负载能力和计算能力 的l i n u x 集群。 由于项目中需要对不同规模的模拟体系以及同一规模不同参数条件 下的体系进行模拟计算，这就要求所构建的模拟计算平台在保证经济的前 7 ：篓：兰竺篡：= 篡霉v ：| = 篡嚣：羔麓：嘉嚣；- o 菇磊茹善磊麓j j 爱熊曼受兰兰璺叠壁笔氅量鎏巷鎏豢二。篡崩；，二i ，赫赢二：二茹- ，：而描茹赫毋菇。嚣m e 迅，曩茹甓毋“螂：。? 一絮譬? ：一譬：哆”：_ ：。冀? 焉：二三= 二：= 三：。上五山二i ：蛐怎“ko 。0 “# 茹露名一稀茹* 五妫西确 重庆邮电大学硕士论文 第二章集群技术基础 提条件下，能够兼顾不同规模模拟体系计算任务的特点，使集群系统资源 能够被充分利用。 具有负载均衡特性的l i n u x 虚拟服务器( l v s ) 使负载可以在集群中尽 可能平均地分摊处理。它适合运行同一组应用程序的大量用户，可在结点 之间动态分配负载，因此，可以利用l v s 集群解决方案来实现面向中小规 模的计算体系。b e o w u l f 集群提供了利用集群实现并行计算的思想，因此 可以用它来解决无法利用单c p u 的计算能力实现模拟的大型模拟体系的 计算。 下面通过对这两种集群系统细致的研究，根据实际需求，借鉴合适的 解决方案和架构集群的思路，实现光化学模拟计算平台的建设。 2 2l i n u x 虚拟服务器集群 l i n u x r t u a ls e r v e r ( l v s ) 是在l i n u x 内核中实现的、基于t c p i p 协议的负载均衡集群技术。由于在设计时考虑了层次结构和应用无关性， 所以是一个可扩展的、高性能负载均衡集群技术。可以利用l v s 框架实 现各种应用的负载分担【2 7 - 3 1 1 。 2 2 1l v s 集群通用体系结构 l v s 是一种l i n u x 操作系统上基于i p 层的负载均衡技术。它在操作系 统核心层上，将来自i p 层的请求均衡转移到不同的服务器，将一组服务器 构成一个高性能的虚拟服务器b 5 如弓。 l v s 体系由前端负载均衡器( l b ) 和后端真实服务器( r s ) 群构成，如图 2 1 所示。其中，l b 在前端做负载分配工作，负责将用户请求发送到一组 服务器上；r s 群，是一组真正执行用户请求的服务器。它们可以通过局 域网或是地理上分布的广域网连接。用户通过设置在前端负载均衡器上的 v i p ( v i r t u a l i pa d d r e s s ) 向集群提交任务【2 9 ，3 0 】。 负载均衡器( l o a db a l a n c e r ) ，它的外部i p 地址将作为整个集群系统 的服务i p 对外体现。负载均衡器将根据调度算法将用户的请求转发给真 实服务器中的一台。负载均衡器是整个系统的核心。因为所有的操作都是 在l i n u x 操作系统核心空间中完成的，它的调度开销很小，所以它具有很 高的吞吐率。 8 重庆邮电大学硕士论文第二章集群技术基础 负t 均衡 寥 瓣 ( l b ) 岛 7 蝴勘 图2 1l v s 集群通用体系结构 服务器池( r e a ls e r v e r s ) ，又称为真实服务器群，是真正的服务提供者， 通常由一组提供相同服务的真实服务器组成，处理由负载均衡器调度过来 的用户请求。当整个系统收到的负载超过目前所有结点的处理能力时，可 以在服务器池中增加服务器来满足不断增长的请求负载。 后端存储( b a c k e n ds t o r a g e ) 为可选项，可以根据后台的服务性质进行 取舍。通常用在一些需要数据完全同步的服务中，这时可以将数据放在共 享存储设备中。对于规模较大的集群系统，可以考虑用分布式文件系统。 可以看出，l v s 集群采用了层次体系结构，这种结构可以使得层与层 之间相互独立，每一个层次提供不同的功能。最重要的是这种层次结构便 于整个系统的扩展和维护。比如说，如果我们为了避免均衡器的单点故障， 可以在负载均衡器这个层次选用主、备份机的形式；在应用中，如果监控 到真实服务器的负载还是很大，不能满足需要，可以随时增加真实服务的 数量；对于某些服务，不需要服务端数据的同步，可以去掉共享存储层。 由于采用层次结构，以上改动不会影响到整个系统的结构，充分体现了l v s 集群结构的优势。 2 2 2l v s 集群工作方式 l v s 系统提供了集群的三种工作方式【2 5 ，3 0 - 3 1 】： 通过n a t 实现虚拟服务器( v s n a t ) 网络地址转换n a t ( n e t w o r ka d d r e s st r a n s l a t i o n ) ，是将私有地址转化 为可用的公有地址。n a t 的工作原理是报文头( 目标地址、源地址和端口 等) 被正确改写后，客户相信它们连接一个i p 地址，而不同i p 地址的服 务器组也认为它们是与客户直接相连的。由此，可以用n a t 方法将不同 i p 地址的并行网络服务变成在一个i p 地址上的一个虚拟服务。 9 重庆邮电大学硕士论文第二章集群技术基础 v s n a t 的体系结构如图2 2 所示。在一组服务器前端有一个负载均 衡器，它们是通过s w i t c h h u b 相连接的。这些服务器提供相同的网络服 务、相同的内容，即不管请求被发送到哪一台服务器，执行结果是一样的。 图2 2v s ，n a t 的体系结构 通过i p 隧道实现虚拟服务器( v s t u n ) 隧道技术( t u n n e l i n g ) 是一种通过使用互联网络的基础设施在网络之间 传递数据的方式。使用隧道传递的数据可以是不同协议的数据帧或包。隧 道协议将这些其它协议的数据帧或包重新封装在新的包头中发送。新的包 头提供了路由信息，从而使封装的数据能够通过互联网络传递。被封装的 数据包在隧道的两个端点之间通过公共互联网络进行路由。被封装的数据 包在公共互联网络上传递时所经过的逻辑路径称为隧道。在l i n u x 中，隧 道技术一般通过i pt u n n e l i n g 方式来实现，即在i p 数据包中封装i p 数 据包。利用i p 隧道技术将请求报文封装转发给后端服务器，响应报文能 从后端服务器直接返回给客户。这样，可以利用i p 隧道的原理将一组服 务器上的网络服务组成在一个i p 地址上的虚拟网络服务。v s t u n 的体 系结构如图2 3 所示，各个服务器将v i p 地址配置在自己的i p 隧道设 备上。 图2 3v s t u n 的体系结构及工作流程 通过直接路由实现虚拟服务器( v s d r ) l o 重庆邮电大学硕士论文第二章集群技术基础 与v s t u n 方法相同，v s d r 利用大多数i n t e r n e t 服务的非对称特 点，负载均衡器中只负责调度请求，而服务器直接将响应返回给客户，可 以极大地提高整个集群系统的吞吐量。v s d r 的体系结构如图2 4 所示， 均衡器和服务器组都必须在物理上有一个网卡通过不分段的局域网相连， 如通过高速的交换机或者h u b 相连。v i p 地址为负载均衡器和服务器组 共享，均衡器配置的v i p 地址是对外可见的，用于接收虚拟服务的请求 报文；所有的服务器