（计算机应用技术专业论文）基于异构beowulf机群的并行计算模型的研究.pdf

基于异构b e o w u l f 机群的并行计算模型的研究 摘要 随着科技的发展，人类对高性能计算有着愈来愈大的需求。异构计算能够为不同类型 的计算匹配合适的计算体系结构，大大缩短了计算操作的完成时间，这使得异构计算近年 来成为并行处理的主要研究平台。异构计算拥有广泛的应用前景。机群由于自身较高的性 能价格比、较低的价格、较好的可扩展性等优势已成为目前并行计算领域研究的热点。机 群系统的愈发成熟，硬件成本的降低、微处理器能力的高速提升以及以太网等局域网技术 的成熟等因素，为用微机建立并行计算机群即b e o w u l f 系统铺平了道路。从最初b e o w u l f 机群的定义到如今不同设计者给自己搭建的b e o w u l f 下定义可以看出，b e o w u l f 机群得到 了蓬勃的发展。 并行计算模型是连接计算机软件与硬件的一种桥梁，通过对各种并行计算机基本特征 的抽象，形成抽象的计算模型，在此计算模型上分析、设计所求问题的算法，并通过有效 地编译高级语言用硬件实现算法。然而虽然并行计算模型很重要，但是至今仍没有通用的 并行计算模型。已经提出了的并行计算模型都有不同的侧重点，适用环境也不相同，对适 用环境的异构性、可扩展性、消息通信等方面都有不同的侧重。 在b e o w u l f 机群环境下，对并行计算模型进行研究有着重大的意义。本文分析了异构 计算系统、机群系统、b e o w u l f 机群系统以及现存的并行计算模型，重点介绍了h b s p 并 行计算模型。通过对传统的h b s p 系统、h b s p 系统超步执行过程和通信开销过程的学习， 搭建了异构b e o w u l f 机群系统，该系统以节点处理能力的不同体现系统的异构性，节点的 e p u 及内存容量均不同。重新定义了基于异构b e o w u l f 机群的h b s p 系统及其性能参数， 并将m p i 引入h b s p 模型，对异构b e o w u l f 机群环境下h b s p 通信因素和局部计算内容进 行分析，给出了一个超步的执行计算时间和通信开销时间。分析计算兀值的并行算法，在 基于本文异构b e o w u l f 机群的h b s p 系统下，通过m p i 并行软件的支撑、采用c + + 编程语 言模拟计算7 1 ：的实验，对理论值与实际测量值做比较，并得出结论：修改后的h b s p 并行 计算模型在一定程度上适用于本文搭建的m p l 支撑的异构b e o w u l f 机群环境。 同时，本文对可扩展模型进行了探索，分析了传统的等并行开销计算比可扩展模型。 根据本文的实验环境，对传统的等并行开销计算比可扩展模型做出修改，得到适用于异构 b e o w u l f 机群的可扩展函数。通过实验验证了修改后的等并行开销计算比可扩展模型在异 构b e o w u l f 机群环境下的良好适用性。 关键词：异构计算，b e o w u l f 机群，异构并行计算模型，可扩展性 基于异构b e o w u l f h l 群的并行计算模型的研究 a b s t r a c t a l o n g 、】 r i t l lt h et e c h n i c a ld e v e l o p m e n t t h eh u m a n i t yh a sm o r ea n dm o r eb i gd e m a n dt ot h e 1 1 i 曲p e r f o r m a n c ec o m p u t i n g h e t e r o g e n e o u sc o m p u t i n gc a i lm a t c ha p p r o p r i a t ea r c h i t e c t u r ef o r d i f f e r e n t t y p ec o m p u t a t i o n , t h a t r e d u c e st h e a c c o m p l i s ht i m e o fc o m p u t i n gm a k e st h e h e t e r o g e n e o u sc o m p u t i n gb e c o m et h em a i nr e s e a r c hp l a t f o r mo fp a r a l l e lp r o c e s s i n gg r e a t l y h e t e r o g e n e o u sc o m p u t i n gh a v ef a r - r a n g i n gf o r e g r o u n do fa p p l i c a t i o n d u et ot h eu p p e rr a t i oo f c a p a b i l i t ya n dp r i c e ，l o w e rp r i c ea n db e t t e rs c a l a b i l i t ya n d o t h e rf a c t o r s ，c l u s t e rb e c o m e sh o t s p o t r e s e a r c hi nt h ea r e ao fp a r a l l e lc o m p u t i n g t h ef a c t o r so fm a t u r ec l u s t e rs y s t e m ，d e p r e s s e dc o s t o fh a r d w a r e ，h i g h s p e e da d v a n c eo fm i c r o p r o c e s s o rc a p a c i t y , m a t u r el a n t e c h n o l o g ys u c ha s e t h e r n e ta n de t ce x t e n dw a yf o rs e t t i n gu pc l u s t e ro fp a r a l l e lc o m p u t i n gb ym i c r o p r o c e s s o r , n a m e l y , b e o w u l fs y s t e m w ec a nm a k eu pf r o mp r i m ed e f i n i t i o no fb e o w u l f c l u s t e rt od i f f e r e n t d e v i s e rd e f i n ew e n tu pb e o w u l fp e r s o n a l l y t h eb e o w u l fc l u s t e ro b t a i n sf l o u r i s h i n g d e v e l o p m e n t t h ep a r a l l e lc o m p u t i n gm o d e li sab r i d g ec o n n e c t i n gs o f t w a r ea n dh a r d w a r e ，f o r mp u r e c o m p u t i n gm o d e lt h r o u g ha b s t r a c tb a s a lc h a r a c t e rf r o m a l lk i n d so fp a r a l l e lc o m p u t e r s a n a l y z i n ga n dd e s i g n i n ga l g o r i t h m sw h i c ha r ec a r r i e do u tb yh a r d w a r et h r o u g hc o m p i l e d a d v a n c e dl a n g u a g e b u tt h e r ei sn oa l l - p u r p o s ep a r a l l e lm o d e lu pt ot h ep r e s e n ti nd e s p i t eo fi ti s v e r yi m p o r t a n t t h ee x i s t e n tp a r a l l e lc o m p u t i n gm o d e l sh a v ed i f f e r e n te m p h a s e s ，a p p l i c a b l e e n v i r o n m e n t ，a sw e l la sh e t e r o g e n e i t y , s c a l a b i l i t y , m e s s a g ec o m m u n i c a t i n ga n do t h e rs i d e so f a p p l i c a b l ee n v i r o n m e n t r e s e a r c h i n gp a r a l l e lc o m p u t i n gm o d e li nt h ee n v i r o n m e n to fb e o w u l fc l u s t e rh a sg r e a t m e a n i n g i nt h i st h e s i sh e t e r o g e n e o u sc o m p u t i n gs y s t e m ，c l u s t e rs y s t e m ，b e o w u l fc l u s t e ra n d e x i s t i n gp a r a l l e lc o m p u t i n gm o d e l sa r ea n a l y z e d , t h eh b s pp a r a l l e lc o m p u t i n gm o d e l i s i n 仃o d u c e dw i t he m p h a s i s t h r o u g ht ot h es t u d yo fh b s ps y s t e m ，t h ec o m p u t a t i o nc o s ta n d c o m m u n i c a t i o nc o s ti nt h eb a r r i e rs y n c h r o n i z a t i o no fh b s ps y s t e m ，h e t e r o g e n e o u sb e o w u l f c l u s t e ri sb u i l t ，w h i c hm a n i f e s t sh e t e r o g e n e o u so fs y s t e mb yt h ec o m p u t a t i o na b i l i t yo fn o d e ，a n d t h en o d e si nt h es y s t e mh a v ed i f f e r e n tc p ua n d m e m o r yc a p a c i t y r e d e f i n i n gh b s ps y s t e ma n d i t s c a p a b i l i t yp a r a m e t e r s ，a n di n t r o d u c i n gm p ii n t ot h eh b s pm o d e l ，a sw e l la sa n a l y z i n g c o m m u n i c a t i o nf a c t o r sa n dp a r t i a lc o m p u t a t i o no fh b s pi nt h eh e t e r o g e n e o u sb e o w u l fc l u s t e r e n v i r o n m e n t t h ec o m p u t a t i o nc o s ta n dc o m m u n i c a t i o nc o s ti nt h eb a r r i e rs y n c h r o n i z a t i o nh a v e b e e ne d u c e d p a r a l l e la l g o r i t h mo fc o m p u t i n gt h ev a l u eo f i sa n a l y z e da n ds i m u l a t e di nt h e h b s ps y s t e mb a s e do nh e t e r o g e n e o u sb e o w u l fc l u s t e r 晰t l lp a r a l l e ls o f t w a r eo fm p ia n d p r o g r a ml a n g u a g eo fc + + t h ec o n c l u s i o ni sw o r k e do u tt h a tt h ea m e n d e dh b s pp a r a l l e l c o m p u t i n gm o d e la p p l yh e t e r o g e n e o u sb e o w u l fc l u s t e re n v i r o n m e n ts e t t i n gu pi nt h i st h e s i so na i i c e r t a i ne x t e n t a to n et i m e ，t h ec a p a b i l i t ym o d e li s e x p l o r e di nt h i st h e s i s ，a n dt h ei s or a t i oo fp a r a l l e l o v e r h e a dt oc o m p u t a t i o ni sr e v i e w e da n d a m e n d e di nt h ef o u n d a t i o no fe x p e r i m e n te n v i r o l l i n e n t i nt h i sp a p e r w eo b t a i nt h en e we x t e n s i b l ef u n c t i o nt h a t a p p l i e st h eh e t e r o g e n e o u sb e o w 川f c l u s t e r t h ea m e n d e di s or a t i oo fp a r a l l e lo v e r h e a dt oc o m p u t a t i o ns c a l a b i l i t ym o d e lh a sg o o d a p p l i c a b i l i t yi nt h eh e t e r o g e n e o u sb e o w u l fc l u s t e re n v i r o n m e n tb yt h ee x p e r i m e n t k e y w o r d s ：h e t e r o g e n e o u sc o m p u t i n g ， c o m p u t i n gm o d e l ，s c a l a b i l i t y i i l b e o w u l fc l u s t e r , h e t e r o g e n e o u s p a r a l l e l 曲阜师范大学博士硕士学位论文原创性说明 ( 在口划t 、 ) 本人郑重声明：此处所提交的博士口硕士论文基于异构b e o w u l f 机群的并行计算模型的研究，是本人在导师指导下，在曲阜师范大学攻读 博士口硕螬位期间独立进行研究工作所取得的成果。论文中除注明部分 外不包含他人已经发表或撰写的研究成果。对本文的研究工作做出重要贡献 的个人和集体，均已在文中己明确的方式注明。本声明的法律结果将完全由 本人承担。 作者签名：孔拿鑫日期：沏7 牟| ) 月) 日 曲阜师范大学博士硕士学位论文使用授权书 ( 在口戈l j 、) 基于异构b e o w u l f 机群的并行计算模型的研究系本人在曲阜师范大 学攻读博士口硕士出位期间，在导师指导下完成的博士口硕磷位论 文。本论文的研究成果归曲阜师范大学所有，本论文的研究内容不得以其他 单位的名义发表。本人完全了解曲阜师范大学关于保存、使用学位论文的规 定，同意学校保留并向有关部门送交论文的复印件和电子版本，允许论文被 查阅和借阅。本人授权曲阜师范大学，可以采用影印或其他复制手段保存论 文，可以公开发表论文的全部或部分内容。 作者签名：多【j 分詹 刷磁轹移吼、 刀月一砧、 日期：沏7 牟二日日 日期：岬、f 3 基于异构b e o w u l f 和i l 群的并行计算模型的研究 1 1 研究背景 第一章绪论 计算机的飞速发展，使得计算机在众多领域中受到越来越广泛和深入的应用。同样， 各个应用领域对计算机性能的要求也越来越高。在诸如自动化和工程设计、医学、能源勘 探、预测模型的构造和模拟等领域都对计算提出了极高的具有挑战性的要求。要对这些重 大且复杂的计算问题进行高精度和大规模的计算，在一般的计算机上用传统的计算方法往 往是无能为力的。 在网络通信技术高速发展和微处理器性能不断提高的情况下，人类的应用需求正日益 朝着多功能、多样性、高性能等方向发展。一方面，在高性能计算领域计算机科学技术的 发展为其他科学技术的发展提供了越来越宽广的平台。另一方面，科学技术的发展对高性 能计算软件、硬件环境不断提出更高的要求。 近年来，大规模集成电路技术不断发展进步，高性能并行计算机( 以多c p u 为基础) 也 随之得到了迅速发展。高性能计算机是一个国家科技和经济实力的综合体现，同样也是促 进社会进步、科技发展、经济和国防安全的重要工具，已成为世界各国竞相争夺的战略制 高点。目前高性能并行计算的高端系统正向百万亿次、千万亿次迈进。此期间出现了各种 不同类型的并行机，当代并行计算机系统包括机群系统、分布存储多计算机系统以及共享 存储计算机系统等。 总体来说，对高速并行计算的需求主要体现在这些方面：远程医疗诊断、计算可视化、 数据挖掘、数字图书馆、大型科学工程计算与数值模拟、协同工作等。这些应用主要是网 络密集、计算密集和书籍密集这三种类型的应用。并行计算在这种情况下产生并得以蓬勃 发展，并行计算是以并行计算机为载体的。简单地说，并行计算机就是以提高计算效率为 目的，用若干处理器并行执行一个作业。并行计算机的结构、规模、性能可以有很大的差 异，其价格也就可以从人民币数万元到数亿元。一般较小规模的投资，用若干台性能较高 的p c 机组成机群并行计算机，采用目前的各类并行机上通用的并行计算支撑软件以及 l i n u x 操作系统，以此为起步研究和发展并行计算，是一个合适的选择。 从2 0 世纪7 0 年代到现在，并行计算机的发展已有了近4 0 年的历史。在新的经济领 域和人工智能以及工程领域和传统的科学中，并行机往往被用于解决复杂的问题。为 更好地解决问题，并行计算模型应运而生。对于已经提出了的许多并行计算模型，可 以根据它们对应用环境的不同而分为两大类：同构计算模型和异构计算模型。最常见 的同构计算模型有p r a m ( p a r a l l e lr a n d o ma c c e s sm a c h i n e ，并行随机存取机器) 模型、 b s p ( b u l ks y n c h r o n o u sp a r a l l e lc o m p u t i n gm o d e l ) 模型、l o g p 模型等。这三类并行计算模 型可以说是并行计算模型的基础，现在用到的模型基本上都是在这三类模型的基础上 基于异构b e o w u l f 机群的并行计算模型的研究 提出的。 一般来说，包含过多的参数将会使并行计算模型变得复杂。为准确地反映大多数 并行机的主要特征，一个有效的并行计算模型应该对几个关键的参数进行描述。所以， 一个好的并行计算模型应该具有能够隐藏底层操作易于程序员编程、确保程序的正确 性同时易于软件开发方法的总结、还能够使结构具有良好的独立性、模型简单易于用 户或他人理解等特点。 传统的并行计算机由于过于昂贵，一般校园以及中、小企业无法承受。然而，随着商 用微处理器性能的飞速发展，高带宽、低延迟商用网络交换机的出现，以及l i n u x 、 m p i ( m e s s a g ep a s s i n gi n t e r f a c e ，消息传递界面) 等开放软件的成熟，并行计算机不再是只有大 型科研单位才能拥有的设备。向用户提供一组网络资源且作为一个整体存在的一组计 算机，即机群，正受到校园以及中小型企业的追捧。机群逐渐成为并行计算的平台， 也使得用b e o w u l f 机群构建高性能并行计算机成为一大发展趋势。 因此，研究适用于广受大学校园和中、小型企业追捧的b e o w u l 舰群的并行计算模型的 意义重大。 1 2 并行计算模型发展现状 目前，并行计算模型受到越来越多的软件设计者和硬件设计者的关注。这是因为在诸 如将算法转换为高效的机器指令执行序列、软件编码、设计问题的解决方案、设计高效的 执行硬件等一系列过程中，人们对建造计算模型提出了自己的要求。也正是因为这些要求 的多样性，并行计算模型的概念仍然没有统一。 以前国内外提出了很多并行计算模型，有p r a m 模型，异步p r a m 模型，b s p 模型， 异构b s p 模型，l o g p 模型，l o g g p 模型，n h b l 模型等并行计算模型。诸如p r a m 模型， 异步p r a m 模型，b s p 模型，l o g p 模型等，因为提出的较早，当时流行的还是大型并行 计算机，它们都是针对基于大型并行计算机的并行计算的。由于价格等因素，一般校园和 中、小企业没有昂贵的大型并行计算机。而基于机群的并行计算系统与以往的基于大型并 行计算机的并行计算系统相比，有着显著的不同，使用早期提出的模型不能够准确地分析 基于机群的并行计算算法。可以说，p r a m 模型、b s p 模型和l o g p 模型是并行计算模型 的三大基础模型。a p r a m 模型是对p r a m 模型的推广，h b s p 模型是在b s p 模型的基础 上进行的改进，l o g g p 模型是对l o g p 模型的扩展。后来提出的并行计算模型基本上都是 对p r a m 模型、b s p 模型和l 0 妒这三个并行计算模型的改进，特别是对b s p 模型和l o 妒 的推广。包括现在对分布式并行计算模型的研究相当一部分是在b s p 模型的基础上进行的 研究。可以说，对并行计算模型的研究，经历了从p r a m 模型到b s p 模型到l o 萨模型再 到l o g g p 模型这样个顺序，现在似乎又回到了对b s p 模型的研究上。 无论是p r a m 模型、b s p 模型还是l o g p 等并行计算模型都是在同构环境下提出并发 2 基于异构b e o w u l f 机群的并行计算模型的研究 展的。而现在异构计算蓬勃发展，同构环境和异构环境的不同使得以前早期同构环境下提 出的并行计算模型不能适用于异构计算环境。 目f j 国内外在对异构并行计算模型的研究中，较为成功的是h b s p ( 异构块同步) 模型以 及计永昶老师提出的基于l o g o p 模型的非独占异构同步模型n h b l ( n o n d e d i c a t e d h e t e r o g e n e o u sb a r r i e rl o g g pm o d e l ) 。h b s p 模型是对b s p 模型的改进，改进了h r e l a t i o n 关系( 一个超级步中，一台处理机至多发送或接受h 条消息) 的约束，考虑到异构计算环境 下体系结构和硬件的新特点，建立了新的系统定义、开销计算模型和更加准确的通信开销 预测模型。与b s p 开销模型相比，异构处理器的利用率被有效地提高了。n h b l 模型较为 准确地刻画了基于机群的并行计算的节点计算资源的非独占性对计算时间的影响，节点的 异构性和可扩展性，但是n h b l 是对l o g g p 的推广，在刻画节点通信时仍采用l o g g p 模 型。这样，计算对节点间通信的敏感性以及节点间通信存在的潜在拥塞都不能够被准确地 刻画。 1 3 本文主要工作 本文对异构计算系统、b e o w u l f 机群和并行计算模型进行了分析。根据适用环境将现 有的并行计算模型分类，着重分析了n h b l 模型和h b s p 模型。构建了一个异构b e o w u l f 机群系统，该系统主要以具有不同处理能力的节点体现b e o w u l f 的异构性。通过对h b s p 模型的开销计算模型、通信开销模型的学习，根据本文搭建的实验环境对h b s p 做出修改， 重新定义了h b s p 系统的定义，并且将m p i 引入到h b s p 模型中，得到适合异构b e o w u l f 机群环境的h b s p 模型中一个超步的计算时间公式和通信时间公式。通过计算兀的实验， 对异构b e o w u l f 机群环境下得到的测量数据与理论数据进行对比，论证改进后的h b s p 模 型是适用于异构b e o w u l f 机群环境的。 同时，本文分析了传统的等并行开销计算比可扩展模型，并对其进行改进，得到异构 b e o w u l f 机群环境下的新的等并行开销计算比可扩展函数。在异构b e o w u l f 机群环境分析 实验数据，验证得到的可扩展性评价准则。 1 4 本文组织结构 第一章简要介绍了本文的研究背景、并行计算模型发展现状，本文所做的主要工作和 本文的组织结构。 第二章详细介绍了异构计算系统、机群系统和b e o w u l f 机群系统。描述了机群、b e o w u l f 机群的定义、b e o w u l f 得以快速发展的原因。 j 第三章介绍了并行计算模型的概念，根据适用环境的不同将并行计算模型分为同构和 异构并行计算模型，重点分析了p r a m 模型、b s p 模型、l o 妒模型、h b s p 模型、n h b l 模型等，对这些模型的特点和对b e o w u l f 机群异构性、可扩展性、消息通信等能力的刻画 基于异构b e o w u l f 机群的并行计算模型的研究 做出总结。同时简要介绍了m p i 和p v m ，重点分析了m p i 并行编程。 第四章着重分析了h b s p 模型，并根据异构b e o w u l f 机群的特征将m p i 引入h b s p 模 型，重新定义了本文实验环境下h b s p 系统的、并分析构建的b e o w u l f 的异构性，给出第 n 个超步的计算时间公式和通信时间公式。通过计算7 【值的实验，对新的修改进行分析， 对实际测量的数据和理论数据进行对比，验证改进后的h b s p 并行计算模型在异构b e o w u l f 机群环境下的良好适用性。 第五章在传统等并行开销计算比可扩展模型的基础上，得到了基于异构b e o w u l f 机群 的新的可扩展性函数。在本文实验环境下，通过增加处理器数目和增大问题规模，分析处 理器数目与执行时间及问题规模的关系。同时验证改进后的可扩展性评价准则。 第六章对全文进行了简要的总结，并对下一步的研究提出了设想。 4 基于异构b e o w u l f 移l 群的并行计算模型的研究 第二章b e o w u l f 系统 2 1 并行计算机系统概述 并行计算【l l ( p a r a l l e lc o m p u t i n g ) 是指同时使用多种计算资源解决计算问题的过 程。并行计算的主要目的就是快速解决大型且复杂的计算问题。并行计算资源应包括 一台配有多处理机( 并行处理) 的计算机、一个与网络相连的计算机专有编号，或者两 者结合使用，来执行并行计算。此外还包括：利用非本地资源，节约成本使用多 个“廉价”计算资源取代大型计算机，同时克服单个计算机上存在的存储器限制。 传统的计算一般是指串行计算，串行计算就是在单个的计算机( 具有单个中央处理单元) 上执行软件操作，通常是写操作。所谓并行计算可以在时间上有并行和在空间上有并 行。空间上的并行问题是并行计算科学的主要研究内容。由于空间上的并行导致两类 并行机产生，按照f l y n n 的说法分为：单指令流多数据流( s i m d ) 和多指令流多数据流 ( m i m d ) 。 通过某种手段将多个单处理器互联起来，为求解计算问题他们一同协作，这样的系统 就是并行计算机系统【2 l 。一个典型的并行计算机系统由通信系统和计算单元两部分组成。 各个计算单元之间任务的协同与交流由通信系统负责，而实际的计算任务由计算单元负 责。在原来的单处理器计算能力相同的基础上，因为一定程度上在单个处理单元上进行计 算所用的时间减少了，所以相同的计算量能够在较少时间内完成。 目前主要的并行计算机系统【3 j 1 4 】有五种： ( 1 ) 并行向量机( p a r a l l e lv e c t o rp r o c e s s o r p v p ) ； ( 2 ) 对称多处理机( s y m m e t r i cm u l t i p r o c e s s o r , s m p ) ； ( 3 ) 大规模并行处理机( m a s s i v e l yp a r a l l e lp r o c e s s o r m p p ) ； ( 4 ) 分布式共享存储多处理机( d i s t r i b u t e ds h a r e dm e m o r y , d s m ) ； ( 5 ) 机群( c l u s t e o 。 前四类系统是典型的高性能并行计算机系统，这五类系统的顺序也正好反映了高性能 计算机系统的发展历程。前四类系统需要专门定制处理器类型或互联网络，操作系统、内 存、封装、c p u 等方面也或多或少需要进行定制，因而成本极其昂贵。最后一类机群，随 着计算机硬件技术的高速发展，网络性能和处理器的迅速提高以及价格的日益下降，而且 机群几乎采用商业化的非定制系统，因而有非常高的性能价格比。特别是使得由一组高性 能节点或工作站p c 构成的机群替代传统的超级计算逐渐成为并行计算的平台，从而推动 机群发展成为现代高性能并行计算的主流系统。 基于异构b e o w u l f 机群的并行计算模型的研究 2 2 机群 2 2 1 机群系统 简单的说，机群【5 1 ( c l u s t e r ) 就是一组计算机，它们作为一个整体向用户提供一组 网络资源。这些单个的计算机系统就是机群的节点，机群系统的管理员可以随意增加、 删除或者修改机群系统的节点。从用户角度来看，机群是一个系统，并非多个计算机 系统。用户感受不到各个节点之间的通信、共享或信息传递等操作。 从系统构成方式来看，也可以说机群是一个松耦合的多处理机系统，每一个处理机都 是一组相互独立的计算机系统。系统中各进程借助网络实现通信、共享内存，从而实现分 布式并行计算。机群分为高性能负载均衡机群、计算科学机群和高可用性机群。由于 具有较高的性能价格比，机群目前已经成为各高性能计算机厂商的研究热点。 机群的发展和兴起，是与并行编程环境的发展、现代体系结构以及网络技术直接相关 的【6 】【7 】：微处理器的性能在不断地提高；计算机体系结构的发展相对来说已经比较成熟； 网络技术的进步逐步缓解松散耦合系统的通信瓶颈，网络通信能力被进一步加强：并行编 程环境的开发，如m p i 、p v m 等，使得编制并行程序更为容易。 图2 1 机群系统的体系结构 机群作为重要的并行计算系统，在重点实验室、研究所和大学广泛安装，被应用的越 来越多。这是因为它有许多优点： ( 1 ) 良好的性能价格比：由高性能节点处理机或普通处理器组成的并行系统，总体运算 性能接近传统并行计算机的性能，但是整体价格较低且通用硬件维护成本低： ( 2 ) 并行系统赖以运行的操作系统、编程系统以及并行环境都是通用软件，无需专门定 制； ( 3 ) 投资风险小：系统中的机器在没有并行任务时，可以当作独立的工作站使用。同时， 原有的一些性能较低或型号较旧的机器可以加入机群，只要在并行工作时分配较少的任务 6 基于异构b e o w u l f 秽l 群的并行计算模型的研究 即可，这样不会浪费资金； ( 4 ) 灵活的系统结构：可以构成异构或同构机群系统。机群系统一般是靠高层的软件提 供并行计算环境，所以用户可以用各种互联网络连接不同性能的节点处理机构成不同的体 系结构； ( 5 ) 可扩展性好：用户可以在系统通信允许的情况下根据需要增加或删除系统节点的个 数，以低延迟和高带宽的网络技术保证价高的加速比，从而保证整体性能； ( 6 ) 编程方便：机群系统中，仅在原有的c 、c + + 或者f o r t r a n 串行程序中，插入相应的 通信原语就能保证程序的并行性。用户无需学习新的并行程序设计语言。 当然，机群系统也有弱点，就是处理机之间的通信速度相对较慢【8 】，导致延迟大，一 定程度上限制了机群的应用范围。不过，可以通过并行软件的设计降低次限制的影响，而 且随着网络技术的进一步发展，这个弱点会越来越此小。 2 2 2 异构系统 异构计算 9 l ( h e t e r o g e n e o u sc o m p u t i n g ) 是指在各种不同类型的高性能计算机组合的环 境下，为求得高速处理，计算机相互协作来完成各种各样的串行或并行的计算任务。计算 编程环境、通讯协议、操作系统、接口、高速网络以及一组异构计算机都可以被包含在一 个异构计算系统内。这些元素的结合能够提高异构系统整体性能并且方便异构系统的使 用。异构计算的目的就是尽量处理一个包含多种并行类型任务的计算。 一个典型的网络异构系统【l o 】由高速局域网连接计算资源构成。工作站、p c 机、m i m d 多处理机、s i m d 并行机、向量机、m p p 大规模并行计算机及专用机都属于计算资源，一 个网络异构计算环境包括如下部分： ( 1 ) 一组异构计算机，小型的网络异构系统可以由不同类型的p c 机组成； ( 2 ) 一个高速通信网，连接各种计算机并提供较高的通信能力； ( 3 ) 友好的用户编程界面。 图2 2 一个典型的网络异构系统 7 基于异构b e o w u l f 机群的并行计算模型的研究 典型的网络异构计算系统由软件和硬件共同构成，软件和硬件又可分为三层：通信层、 网络层和应用层。其中，通信层为保证信息在不同的机器之间交换，提供一个跨平台的统 一的通信协议。通信工具软件利用一组原语提供各种功能，所提供的异构机器组可以被看 成单个“虚拟异构并行机”的机制。网络异构计算系统通信工具的典型例子是p v m ( p a r a l l e l v i r t u a lm a c h i n e ，并行虚拟机) 和m p i 。网络层主要处理包括低层的网络协议和机器接口在内 的系统中各种机器之间的相互连接。应用层为保证高效、正确地完成任务，提供各种如编 程语言、任务分解、任务分配和调度等工具。这些工具运行于各机器的操作系统之上，利 用通信层提供的进程通信原语进行工作。 异构系统中，用户可以自由地向任何一个计算节点提交不同计算需求的任务，计算节 点为所有用户共享，异构机群系统常见于实验室或者计算中心的环境，是一种广泛应用的 机群系统环境i l 。机群系统的异构性【1 2 1 包含两个方面：操作系统异构性和资源异构性。其 中操作系统是指计算节点具有不同的操作系统类型。操作系统异构性是通俗的说法，严格 来说是类型异构性，包括不同的操作系统和不同的指令集结构类型。资源异构性是指计算 节点的资源，包括内存、c p u 和i o 资源等拥有量的不同。简单地说，机群系统的异构性 就是指机群系统由不同的计算机构成。 2 3b e o w u l f 机群 2 3 1b e o w u l f 的产生和发展 近年来，随着硬件成本的降低、微机性能价格比的提高、消息传递标准和相应软件的 发展以及以太网等局域网技术的成熟，为用一组微机建立并行计算机群( 常称为b e o w u l f 机群) 、拓展机群发展铺平了道路。 2 0 世纪9 0 年代末期，l i n u x 操作系统提供了g n u 软件和标准化的p v m 、m p i 消息传 递机制，其健壮性不断增强，不断走向成熟，大大推动了基于l i n u x 的机群系统的发展。 b e o w u l f 机群f l3 j 的研究是1 9 9 4 年由美国国家航空航天局( n a s a ) 启动的。t h o m a ss t e r l i n g 和d o nb e c k e r 等人于1 9 9 4 年构建了一种由以太网连接且拥有1 6 个d x 4 处理器的机群， 即b e o w u l f b e o w u l f 的主要目的是使得机群处理繁重计算且使用相对廉价的、普通的计算 机作为节点，从而完成高性能计算。b e o w u l f 机群诞生时使用的是l i n u x 操作系统，后来 包括m i c r o s o f tw i n d o w s 在内的很多操作系统都可以用于b e o w u l f 机群。 由于b e o w u l f 系统有着传统的并行计算机无法比拟的价格优势，世界上许多研究机构 迅速认同并接受了b e o w u l f 思想。近年来b e o w u l f 机群已经成为高性能并行计算中的一支 不可忽视的重要力量。目前b e o w u l f 机群得到了快速的发展、推广和应用，特别是在我国 的各个大学和科研机构。 8 基于异构a e o w u l f 锣t 群的并行计算模型的研究 2 3 2b e o w u l f 的定义 几乎每个b e o w u l f 机群的设计者都有自己的b e o w u l f 机群的定义，在这里我们通过列 举多数b e o w u l f 机群具有的特征作为b e o w u l f 机群的定义： 使得由多个计算机组成的系统能够用于并行计算，是一种系统结构。 各节点通过以太网( 或其它网络) 连接，通常由一个管理节点和多个计算节点构成。 通常由p c 、以太网卡和以太网交换机等这些最常见的硬件设备组成。 几乎没有包含需要用户定制的特殊设备。 通常采用如l i n u x 操作系统、消息传递接口和并行虚拟机等廉价且广为传播的软件。 随着计算机处理器和网络性能的迅速提高、硬件技术的高速发展，价格的日益下降以 及良好的性价比，b e o w u l f 机群系统已成为广大科研和教育部门解决高性能计算需求的最 佳方案，组建并行计算机的主要平台之一。 2 3 3b e o w u l f 机群的构成 常见的b e o w u l f 机群系统由计算节点和管理节点两类节点组成。管理节点充当机群与 外部网络的连接桥梁，为计算节点提供对外的网络连接和文件服务，并以封面控制整个机 群系统。计算节点则拥有各自独立的i o 设备、硬件、内存、主板和操作系统。b e o w u l f 机群结构如下图所示： 图2 3b e o w u l f 机群结构 l i n u x 操作系统、消息传递接口m p i 和并行虚拟处理机p v m 是目前在b e o w u l f 机群上 运行的软件。如上图所示，b e o w u l f 机群一般由服务节点( 即管理节点) 控制整个机群，该节 点可以看作是机群的控制台和对外的网关。在规模比较大的b e o w u l f 机群中可以有多个服 务节点，通常，除服务节点外，b e o w u l f 机群中的其他节点不与外界交互，由服务节点来 管理这些成员节点。这些执行服务节点分配的任务、被服务节点管理的节点，通常被称为 哑节点。整个机群内部是一种网络连接方式，机群整体对外是另一种网络连接方式，这样 9 基于异构b e o w u l f 机群的并行计算模型的研究 的连接方式使得b e o w u l f 机群整体不受外界的影响，从而令节点之间的信赖关系以及各节 点的负载均衡变得更容易处理。 b e o w u l f 是由一种基于l i n u x 操作系统的机器来构建并行虚拟机的思想，它并不是一种 新的网络拓扑结构、也不是一个软件包或者一种内核技术。如今有很多软件，比如内核的 修改、m p i 并行运算库或管理工具，能够使用l i n u x 建造一个b e o w u l f 机群。所以，两台 互相连接并且拥有一些信任关系( 比如n f s 和r s h ) 、运行l i n u x 操作系统的计算机能够组成 最简单的b e o w u l f 机群。 2 3 4b e o w u l f 系统的优点 b e o w u l f 系统具有高性价比、高可扩展性、高可用性等优点，其关键技术是作业管理、 单一系统应向、可用性支持、高效的通信【1 4 1 。除此之外，b e o w u l f 系统还有如下特点： ( 1 ) 成熟的、开放的计算机和通信技术以及硬件设备可以应用于b e o w u l f 系统，即 b e o w u l f 不需要专门定制网络或硬件设备。这样，其价格要比传统的并行机有优势。 ( 2 ) 如m p i c h 编程环境、测试工具软件等这些免费开放的软件是构建系统所用的软件， 都可以通过从网上下载的方式用于b e o w u l f 系统，不需要专门定制软件。 ( 3 ) b e o w u l f 系统具有良好的可扩展性，可移植性，这对构建系统、维护系统以及充分 利用系统资源十分有利。 2 4 小结 本章简单介绍了异构计算系统，重点介绍了机群系统，特别是b e o w u l f 机群系统