（计算机应用技术专业论文）基于消息传递的beowulf机群系统的研究与实现.pdf

基于消息传递的b e o w u l f 机群系统的研究与实现 摘要 随着经济和科技的发展，生物医学、天气预报、高能物理等领域的计算任务越来越多， 其特点是计算数据多、算法复杂、计算规模大、难度高。因此，计算机的可靠性和可用性 变得越来越重要。尽管单台计算机的性能和可靠性越来越好，但是单台计算机难以完成某 些现实要求。为此，人们想到用普通的p c 机通过某种方式连接起来，形成一个高性能系 统，这种系统叫做机群。机群不仅价格低廉，而且使用方便，对软件、硬件设备要求非常 低，是替代昂贵的超级计算机的最好选择。机群技术就是将多台计算机组织起来协同工作， 模拟一台功能更强大的计算机的技术，该技术能够提高系统可用性和可靠性。 作为高性能计算系统的一个分支，基于消息传递的b e o w u l f 机群系统应用越来越广泛， 它具有许多优点，例如：廉价、易管理、性价比高等。在本文中，我们利用实验室现有的 硬件和软件资源，通过引入机群中间件技术架构，设计并实现了一种基于m p i 和l i n u x 的 机群系统。 首先，本文详细研究了l i n u x 机群的体系结构与功能，分析了现有的机群研究现状、 并行计算编程模型以及消息传递机制，分析和阐述了基于m p i 的l i n u x 机群系统的基本原 理、思想，及其组成结构和各个部分的主要功能，研究了并行计算和机群中间件的几种关 键技术。 其次，在系统中，我们设计并实现了一个机群中间件，主要包括：计算节点的添加模 块、资源管理模块、任务调度模块。通过实现机群中间件的各个功能模块，该系统具有网 络负载测试功能、反映各节点负载动态变化的功能以及根据节点负载合理地分配任务的功 能。这些研究和实现是当前并行计算系统研究的热点，为相关研究提供一些借鉴。 最后，在实验部分，我们使用了一个并行应用程序分别采用静态分配策略和本文中提 出的任务调度策略来测试系统的可用性和健壮性。 实验表明，该机群系统具有良好的计算性能和快速的外部响应性能，能动态地反映机 群性能参数的变化特征，具有简单、易扩展等特点。这些研究和实现是当前并行计算系统 研究的一个热点课题，并为相关研究提供了一些新的思想和方案。 关键词：b e o w u l f 机群；m p i ；并行计算；机群中间件 基于消息传递的b e o w u l f 机群系统的研究j 实现 a b s t r a c t w i t ht h ed e v e l o p m e n to f e c o n o m ya n ds c i e n c e ，t h ec o m p u t a t i o n a lt a s k sb e c o m em o r ea n d m o r ei nt h ef i e l d so fb i o m e d i c i n e ，w e a t h e rf o r e c a s t i n ga n d h i g h - p o w e rp h y s i c s t h e i rs p e c i a l t i e s a r e ：l o t so fc o m p u t a t i o n a ld a t a ，c o m p l i c a t e da l g o r i t h m ，l a r g e s c a l e ，m o s td i f f i c u l tc o m p u t a t i o n s o ，c o m p u t e r sr e l i a b i l i t ya n da v a i l a b i l i t ya r eb e c o m i n gm o r ea n dm o r ei m p o r t a n t t h o u g ha s i n g l ec o m p u t e r sc a p a b i l i t ya n dr e l i a b i l i t ya r eb e c o m i n gb e t t e ra n db e n e lb u tas i n g l ec o m p u t e r c a n t c o m p l e t es o m er e q u e s t ss t i l l t h e r e f o r e ，p e o p l et h i n ko fam e t h o dt ob u i l dah i g h p e r f o r m a n c es y s t e mw i t hc o m m o np c sw h i c ha r ec o n n e c t e dt oe a c ho t h e rb ys o m ew a y s ，t h e s y s t e mi sc a l l e dc l u s t e r c l u s t e ri st h eb e s ts u b s t i t u t eo fe x p e n s i v es u p e rc o m p u t e r , b e c a u s ei ti s v e r yc h e a pa n dc o n v e n i e n t ，m o r e o v e r ，i td e m a n d sv e r yl o wf o rs o f t w a r ea n dh a r d w a r e c l u s t e r t e c h n o l o g yi sat e c h n o l o g yo fo r g a n i z i n gs e v e r a lc o m p u t e r st ow o r kt o g e t h e rt om a k eam o r e p o w e r f u lc o m p u t e r t h et e c h n o l o g yc a np r o v i d em o r ea v a i l a b i l i t ya n dm o r er e l i a b i l i t y a st h eh p c sab r a n c h ，t h ea p p l i c a t i o no fb e o w u l fc l u s t e rs y s t e mb a s e do nt h em e s s a g e p a s s i n gi sg e t t i n gm o r ea n d m o r ew i d e s p r e a d ，i th a sm a n ym e r i t s ，f o re x a m p l e ：i n e x p e n s i v e ，e a s y t om a n a g e ，t h eh i g h e rp e r f o r m a n c e - t o - p r i c er a t i o i nt h i sp a p e r ，w ed e s i g na n di m p l e m e n ta c l u s t e rs y s t e mb a s e do nl i n u xa n dm p lw i t he x i s t i n gh a r d w a r ea n ds o f t w a r ei nt h el a b o r a t o r yb y i n t r o d u c i n gf r a m e w o r kt e c h n o l o g yo fc l u s t e rm i d d l e w a r e f i r s t l y , i nt h i sp a p e r ，w ed i s c u s ss t r u c t u r ea n df u n c t i o no ft h el i n u xc l u s t e ri nd e t a i l ，a n a l y z e t h er e s e a r c hs i t u a t i o no fc l u s t e ri ne x i s t e n c e ，t h ep r o g r a mm o d e lo fp a r a l l e lc o m p u t i n ga n d m e s s a g ep a s s i n gm e c h a n i s m w ea n a l y z et h eb a s i cp r i n c i p l e ，i d e a , c o m p o s i t i o na n dt h em a i n c o m p o n e n tf u n c t i o no ft h ec l u s t e rs y s t e mb a s e do nm p ia n dl i n u x ，a n dr e s e a r c hs o m ek e y t e c h n o l o g i e sa b o u tp a r a l l e lc o m p u t i n ga n dc l u s t e rm i d d l e w a r e s e c o n d l y , i nt h i ss y s t e m ，w ed e s i g na n di m p l e m e n tac l u s t e rm i d d l e w a r e ，i n c l u d i n g c o m p u t i n gn o d ei n s e r tm o d u l e ，r e s o u r c em a n a g e m e n tm o d u l e ，a n dt a s ks c h e d u l em o d u l e b y i m p l e m e n t i n gf u n c t i o no fs o m em o d u l e si nc l u s t e rs y s t e m ，t h i ss y s t e mh a sf u n c t i o n so ft e s t i n g n e t w o r kl o a d ，d y n a m i c a l l yr e f l e c tt h ec h a n g ef e a t u r ef o rn o d ea n dr a t i o n a l l yd i s t r i b u t et a s k a c c o r d i n gt ot h e1 0 a do fn o d e n o w a d a y s ，t h e s er e s e a r c h e sa n di m p l e m e n t a t i o n sa r eh o tr e s e a r c h s u b j e c t so np a r a l l e lc o m p u t i n gs y s t e m ，a n dp r o v i d es o m er e f e r e n c e sf o rr e l a t i v er e s e a r c h e s a tt h ee n do ft h i st h e s i s ，i nt h ee x p e r i m e n t ，ap a r a l l e lp r o g r a mi su s e db a s e do nt h i sc l u s t e r s y s t e mt ot e s tt h ea v a i l a b i l i t ya n dr o b u s t n e s so ft h ec l u s t e rs y s t e mb yu s i n gs t a t i cd i s p a t c h i n g a l g o r i t h ma n dt a s ks c h e d u l ea l g o r i t h mw h i c hw ep r o p o s ei nt h ep a p e r ，s e p a r a t e l y t h ee x p e r i m e n ti n d i c a t e st h a tt h ec l u s t e rs y s t e mh a se x c e l l e n tc o m p u t i n gp e r f o r m a n c ea n d r a p i dr e s p o n s et ot h ee x t e r n a lp e r f o r m a n c e ，a n di tc a l ld y n a m i c a l l yr e f l e c tt h ec h a n g ef e a t u r eo f c a p a b i l i t yp a r a m e t e ri nt h ec l u s t e r i th a ss o m eg o o dc h a r a c t e r i s t i c ss u c ha ss i m p l i f i c a t i o n ，e a s y h 基于消息传递的b e o w u l f 机群系统的研究与实现 e x t e n s i b i l i t ya n ds o0 1 1 t h e s er e s e a r c h e sa n di m p l e m e n t a t i o n si nt h ep a p e ra r eah o tr e s e a r c h s u b j e c to np a r a l l e lc o m p u t i n gs y s t e m t h e ys h e dl i g h to ns o m en e w i d e a sa n dp l a n sf o rr e l a t i v e r e s e a r c h k e y w o r d s ：b e o w u l fc l u s t e r ；m p i ；p a r a l l e lc o m p u t i n g ；c l u s t e rm i d d l e w a r e i i i 曲阜师范大学博士硕士学位论文原创性说明 ( 在口划“ ) 本人郑重声明：此处所提交的博士口硕士团论文基于消息传递的 b e o w u l f 机群系统的研究与实现，是本人在导师指导下，在曲阜师范大学攻 读博士口硕士囵学位期间独立进行研究工作所取得的成果。论文中除注明 部分外不包含他人已经发表或撰写的研究成果。对本文的研究工作做出重要 贡献的个人和集体，均已在文中已明确的方式注明。本声明的法律结果将完 全由本人承担。 作者签名： 郭辫 ， 日期：卅年g 月3 兰 曲阜师范大学博士硕士学位论文使用授权书 ( 在口划“4 ) 基于消息传递的b e o w u l f 机群系统的研究与实现系本人在曲阜师范大 学攻读博士口硕士叼学位期间，在导师指导下完成的博士口硕士回学位 论文。本论文的研究成果归曲阜师范大学所有，本论文的研究内容不得以其 他单位的名义发表。本人完全了解曲阜师范大学关于保存、使用学位论文的 规定，同意学校保留并向有关部门送交论文的复印件和电子版本，允许论文 被查阅和借阅。本人授权曲阜师范大学，可以采用影印或其他复制手段保存 论文，可以公开发表论文的全部或部分内容。 作者签名：郄辫日期：砷年6 日多黑 导师签名：刁影永乏， 日期：& 加哆6 。 基于消息传递的b e o w u l f g l 群系统的研究与实现 1 1 研究背景及意义 第一章绪论 随着计算机的普及与各种相关技术的快速发展，并行计算在工程建设、科学计算、商 业应用等很多领域产生了巨大的影响。计算机性能的不断提高以及并行化的成本优势促进 了并行计算的发展。在工程建设方面，并行计算传统上已成功地应用于楼房施工、高速电 路设计、结构设计等许多方面；在科学计算方面，主要涉及物理学、计算化学、气象模型、 灾害预测、矿物勘探等领域。如何快速而有效地提高科学计算速度已经成为并行计算迫切 需要解决的问题之一；在商业应用方面，利用大规模事务数据在开拓市场数据挖掘和分析、 优化商业发展等方面产生了巨大的商业利益。 近些年来，由于成本降低，p c 机的使用已经十分普遍，并行计算系统开始逐渐从专门 的并行机向p c 机构成的b e o w u l f 机群转移。b e o w u l f 机群是一组独立的p c 机通过基于 t c p i p 的局域网连接组成一个整体，各个p c 机既可以作为单一的计算资源供用户使用， 也可以协同工作执行并行计算任务。作为并行算计系统的一种，b e o w u l f 机群具有投资风 险小、可扩展性好、容易编程等优点，目前已经很快成为各高校实验室研究的热点和主 流，在国内外受到普遍重视。随着l i n u x 系统健壮性不断增强，标准化的m p i 、p v m 消 息传递机制普遍应用以及l i n u x 操作系统给普通p c 机提供了对高性能网络的支持，这些 更促进了l i n u x 机群系统的快速发展。与单一主机相比，主要有以下特剧2 j ： ( 1 ) 较高的可靠性：如果机群系统中的一个节点失效，分配到它上面的任务可以传递 给其他节点继续处理，不会出现系统崩溃的现象，从而能有效防止单点故障。 ( 2 ) 良好的扩展性：机群系统不局限于单一的主机节点，新的节点可以自由地加入机 群，增强机群的总体性能，也可以从机群中删除。 ( 3 ) 较好性价比：可以采用廉价的符合工业标准的硬件来构造系统。在达到同等性能 的条件下，采用机群比采用同等运算能力的大型计算机具有更高的性价比。 为了具有较高的可靠性和良好的扩展性，机群必须具备以下两种能力： ( 1 ) 健壮性：在系统运行过程中，如果某一节点在执行任务时出现故障，系统中的其 他节点不会受到影响，能继续完成任务。 ( 2 ) 负载均衡：根据某种分配策略把任务比较合理地分配到系统的各个计算节点上， 从而减少运行时间，提高系统的性能。 b e o w u l f 机群系统是一种小型的并行计算系统，它具有成本低、易构建、可扩展性好 等特点。基于消息传递机制的并行计算环境为b e o w u l f 机群的发展提供了强有力的支持。 这是因为b e o w u l f 机群系统是使用多台计算机求解问题，它具有更大的存储容量和更强的 处理能力，从而具有更快的计算速度。目前，b e o w u l f 机群系统在许多领域做出重要贡献， 在社会效益和经济价值方面显示了巨大的优势，应用前景十分广阔。 基于消息传递的b e o w u l f 机群系统的研究j 实现 1 2 国内外研究现状 1 2 1 并行计算系统 简单地说，并行计算系统就是将多个处理器通过某种方式相互连接起来，它们协同求 解一个复杂的计算问题。一个并行计算系统通常由计算单元和通信系统两部分组成。在并 行计算时，每个计算单元都负责实际的计算任务，参与部分计算，这样可以减少在单个处 理单元的计算时间，使相同的计算量在较少的时间内完成；通信系统主要负责各个计算单 元之问的消息传递和数据交换。目前主要的并行计算系统有以下五类【3 】【4 】： ( 1 ) 机群( c l u s t e r ) ； ( 2 ) 并行向量机( p v p , p a r a l l e lv e c t o rp r o c e s s o r ) ； ( 3 ) 对称多处理机( s m p , s y m m e t r i cm u l t i p r o c e s s o r ) ； ( 4 ) 大规模并行处理机( m p p , m a s s i v e l yp a r a l l e lp r o c e s s o o ； ( 5 ) 分布式共享存储多处理机( d s m ，d i s t r i b u t e ds h a r e dm e m o r y ) ； 目前，并行计算机的体系结构主要有这五类。第一类，机群系统，它不需要在操作系 统、内存、c p u 、互联、封装等方面进行特殊定制，采用商业化的非定制系统就可以构建， 因而具有极高的性价比。而后四类系统则需要在某些方面进行特殊定制，成本非常昂贵。 特别是随着网络和处理器性能的迅速提高、计算机硬件技术的快速发展，使得并行计算开 始从传统的超级计算平台向高性能节点或p c 机构成的机群计算平台转移，机群系统逐渐 成为现代高性能并行计算的主流。 1 2 2b e o w u l f 机群系统 早在1 9 9 4 年，d o n a l db e c k e r 等人在美国国家航空航天局( n a s a ) 研发了一类高性能并 行计算机结构b e o 、u l f 机群，它是目前并行计算中比较流行的结构。 为了实现最优性价比，b e o w u l f 机群把配置相同的p c 机通过基于局域网或高性能网络 连接起来形成组装单元，各个单元之间通过t c p i p 协议和有关的程序库来进行通信和分 配计算任务。最初的b e o w u l f 机群主要使用l i n u x 操作系统，后来扩展到其他的很多操作 系统( 例如：m i c r o s o f tw i n d o w s ) 。现在出现了专门为机群系统设计的l i n u x 操作系统，包 括：s c y l d 、c l u s t e rk n o p p i x 、d y n e ：b o l i c 、d r a g o n f l yb s d 、r o c k sc l u s t e rd i s t r i b u t i o n 5 1 等。 目前，随着机群系统的性能不断提高，b e o w u l f 机群在其他领域也得到广泛的应用及 推广。随着低延迟、高带宽的商用网络交换机的出现、商用微型处理器性能的飞速发展 以及l i n u x 等自由软件的成熟，机群系统不仅应用于大型科研单位，而且也应用于各大高 校的学术研究。尽管b e o w u l f 机群在稳定性、使用方便性和通信性能等方面有待进一步提 高，但是它以其他并行机系统无法比拟的性价比优势成为一支不可忽视的重要力量在高性 能并行计算领域飞速发展。 2 基于消息传递的b e o w u l f 机群系统的研究与实现 1 3 本文的主要工作 本文对b e o w u l f 机群系统的体系结构、资源管理、任务调度等方面进行了深入的研究。 利用实验室现有的硬件和软件资源，设计并实现了一个基于消息传递的b e o w u l f 机群系 统，以满足实验室进行并行与分布式计算的需要。所做工作如下： ( 1 ) 分析了国内外机群系统的研究现状，深入研究了r e dh a tl i n u x 9 0 下的消息传递机 制，函数调用和m p i 并行计算环境。 ( 2 ) 介绍了消息传递机制的相关技术及国内外学者对消息传递机制的最新研究，深入 研究了并行系统的体系结构的两种模式：主从模式( h o s t n o d e ) 和无主机模式( h o s t l e s s ) ，并 考虑了它们的优缺点。根据现有的实验环境，本文搭建的b e o w u l f 机群采用了无主机结构 模式( h o s t l e s s ) 。 ( 3 ) 设计并实现了一个机群的中间件包括：计算节点的添加，资源管理，任务调度。 ( 4 ) 搭建了一个基于消息传递的b e o w u l f 机群系统，配置了系统的实验环境，并考虑了 系统的健壮性。 ( 5 ) 利用一个典型应用程序测试本系统的计算能力，对系统进行了性能评测和分析。 1 4 论文结构 论文内容分为七章，组织如下： 第一章，介绍了本课题的研究背景、意义和国内外研究现状。 第二章，介绍了机群系统的相关内容，包括：介绍了机群的定义及几种典型机群系统。 第三章，研究了消息传递机制的相关技术及最新发展，对比了m p i 和p v m 的优缺点， 重点分析了消息传递接口m p i 的特点和调用函数。 第四章，介绍了l i n u x 操作系统的内容，包括：l i n u x 操作系统的特点、消息传递机 制原理和几种l i n u x 机群系统结构。 第五章，设计并实现了一个基于消息传递m p i 的b e o w u l f 机群系统。首先设计了 b e o w u l f 机群的总体结构，整个系统有一个控制节点和多个计算节点组成，采用了目前比 较流行的无主机结构模式( h o s t l e s s ) ，确定了本系统的并行编程模型为对等模型( s p m d ) ，设 计并实现了一个机群中间件，主要包括以下模块：计算节点的添加模块、资源管理模块 和任务调度模块。 第六章，搭建了一个基于消息传递的b e o w u l f 机群系统，配置了系统的实验环境，利 用一个典型应用程序测试了本系统的计算能力，并进行了性能评测和分析。 第七章本文结论，对进一步的工作进行了讨论。 基于消息传递的b e o w u l f 秽k 群系统的研究与实现 2 1 机群系统概述 第二章机群系统 2 0 世纪8 0 年代，人们认为只要研发了更快更有效的处理器，计算机性能就会大幅度 提高。然而，当并行处理概念出现以后，这种观点受到了挑战。并行计算的根本思想是一 个复杂的计算问题用两台或多台计算机连接起来共同解决，减少计算时间，而并不只是靠 提高单个处理器的性能。2 0 世纪9 0 年代以来，昂贵而特制的并行超级计算机开始向网络 工作站转换，并且高性能工作站的商品化和网络技术的发展加快了这种转换的速度，计算 机网络逐渐成为理想的并行处理工具，从而导致了价格低廉的商品化超级计算机的出现【6 1 。 机群系统是由一组计算机节点通过高性能网络或局域网连接起来构成一种并行处理 系统，这些计算机协同解决一个复杂问题，不仅能确保提供一个单一的、完整的计算资源 而且能提供有效的、不被打断的服务。目前，利用机群系统创建、调试、运行并行计算任 务来替代专用并行计算系统成为高性能计算领域的发展趋势之一。 典型情况下，一个计算结点可以是具有操作系统、存储器、i o 等设备的单p c 机，也 可以是多处理器系统( 如：工作站或者s m p ) 。机群系统主要有下列重要部件【7 】组成： ( 1 ) 通信协议t c p i p ： ( 2 ) 高性能网络交换机( o n 千兆位以太网) ； ( 3 ) 性能可靠的分层或基于内核的操作系统； ( 4 ) 并行编程环境和工具( 如编译器、p v m 和m p i ) ； ( 5 ) 机群中间件( 单一系统映像s s i 和系统可用性基础) ； 典型机群系统的结构如下图所示： 并行廊用程序 3 串行应用并行编程环境 37 机群中间件( 单一映像系统和可用性基础) ?：03 i 结点lil 结点2ii 结点3li 结点nl 工工工工 高速网络( i n t e m e t ) 图2 1 机群系统的结构 4 基于消息传递的b e o w u l f 机群系统的研究与实现 2 2 典型的机群系统 2 2 1 大规模并行处理系统m p p 机群s p 2 s p ( s c a l a b l ep o w e rp a r a l l e l ) 计划是指采用机群的办法来构建大规模并行处理系统 m p p ，1 9 9 1 年秋，i b m 启动s p 计划，开始涉足于m p p 的研究。1 9 9 2 年2 月开始招募人 才，1 9 9 3 年4 月就公布了第一个产品s p l ，之后1 9 9 4 年7 月就宣布成功开发了s p 2 。 1 系统设计的目标 i b m 设计的s p 系统到1 9 9 8 年之前在世界上的总装机量超过了3 0 0 0 ，是大规模并行 处理系统的成功之例。在当时引起巨大的轰动，主要有以下特点【8 】： ( 1 ) 较高的通用性：s p 是具有流行的编程模式和不同操作模式的通用系统，能够支持 不同的技术和商业应用。 ( 2 ) 高性能：s p 系统拥有优良的编译器和数量庞大的各种库函数，不仅处理器速度很 快，而且存储器和通信系统性能也很好，能够在一定程度上提高系统的整体性能。 ( 3 ) 高有效性：s p 具有较好的可靠性和可用性，用户都能够方便的在系统上运行商业 成品代码，不会出现系统不兼容的情况。 ( 4 ) 标准环境：开发初期，s p 系统使用的是开放的、标准的、分布式的u n i x 系统。 ( 5 ) 部分实现单一系统映像( s s i ) ：s s i 是商业应用中的关键要求，但是一个分布式系统 很难做到完全的单一系统映像，初期的s p 系统中只是在单控制点、单文件层、单作业管 理系统中做到了单一系统映像，而没有实现单地址空间。 ( 6 ) 开发时间短：遵循着m o o r e 定律，由于并行机发展迅速，为夺性能比的桂冠，s p 在短期内就开发成功。 2 系统结构 一个s p 系统可以含有2 到5 1 2 个节点，每个节点都拥有自己的本地磁盘和局部内存。 所有的节点均连接普通的以太网和高性能开关。以太网速度较慢但有很多好处：当高性能 开关失效时，它可作为后援：当高性能开关正被开发或改进时，仍可利用以太网查错、测 试和维持系统运行。此外，以太网也可用来管理、加载、引导和监视整个系统。s p 系统简 化框图如下所示： 5 基于消息传递的b e o w u l f 秽l 群系统的研究j 实现 2 2 2 工作站机群c o w 图2 - 2s p 系统简化框图 在并行计算领域，c o w ( c l u s t e ro f w o r k s t a t i o n s ) 被称为工作站机群，它是属于分布式存 储的m i m d 并行计算结构。随着并行计算系统的不断发展、工作站和网络性能的不断提高 和价格的日益下降，c o w 成为实现并行计算的一种新的主流技术【9 】。从硬件上看，c o w 由工作站和互连网络两部分组成，在工作站上增加一个主机接口板与网络连接起来。可扩 展的工作站机群是将一组节点计算机通过高性能网络连接起来组成一个系统，向用户提供 高可靠、高性能服务。c o w 的体系结构具有以下特征【l o 】： ( 1 ) 具有更高的性能：在并行计算领域，c o w 能够提供更好的性能。例如：在一个工 作站机群中有m 个结点，每一个节点能为n 个客户提供服务，那么该机群就能同时为m * n 个客户提供服务，这是其他的并行系统是很难做到的。 ( 2 ) 良好的可靠性：由于c o w 机群系统中的每个节点都是一个单独的计算机系统， 这就意味着每个结点都有自己的高速缓存、i 0 设备、处理器以及磁盘。此外，每个结点 上还运行着完整、标准的操作系统和其他软件，可以作为独立的计算资源使用。因此一个 或几个节点出现故障不会导致整个系统崩溃，当节点出现故障时，系统可以将分配到故障 节点上的任务转移到其他节点继续执行，直到系统中崩溃的节点得到恢复。 ( 3 ) s s i ( s i n g l e s y s t e mi m a g e ) 技术：单一系统映像，整个工作站机群呈现给用户的是一 个单一的计算资源环境。c o w 机群借助于这种技术使用户感觉不到单个节点计算机的存 在，从而实现了单资源的概念。 ( 4 ) 网络连接：c o w 通常是一组计算机节点通过光纤、以太网、f d d i 等商品化网络 6 基于消息传递的b e o w u l f 机群系统的研究与实现 进行互连。当然，在执行某些计算任务时，也可以通过i n t e m e t 进行连接，通过t c p i p 协 议提供节点间高可靠、高扩展和高性能的通信服务。 工作站机群c o w 的一般结构如下： 2 2 3b e o w u l f 机群系统 图2 3c o w 的结构图 一般来说，b e o w u l f 机群是由控制节点和多个计算节点通过以太网或其他网络连接起 来的高性能并行计算系统，它是目前科学计算中比较流行的一类结构。构建b e o w u l f 机群 的最初目的是使用普通的、相对廉价的p c 机来处理比较复杂的计算问题，此后，b e o w u l f 机群的思想迅速被世界上许多研究机构认同和接受。 要构建一个b e o w u l f 机群需要的软件主要有：l i n u x 操作系统、并行虚拟处理机( p a r a l l e l v i r t u a lm a c h i n e ，p v m ) 或消息传递标准接口m p i ( m e s s a g ep a s s i n gi n t e r f a c e ) 。一般来说， b e o w u l f 机群只有一个控制节点，其他计算节点都是“哑 成员，即它们不与外界交互。 这些计算节点由控制节点来管理，决定计算节点上分配的任务数，控制着整个机群运行， 是整个机群的控制台和对外网关。在规模较大的b e o w u l f 机群中可以有多个控制节点，从 中选择一个节点作为控制台，统计整个机群的运行状态【l l 】【l2 1 。目前，b e o w u l f 机群是各高 校实验室中使用最广泛的一种并行计算系统。它主要有以下特点。 ( 1 ) 价格低廉：随p c 机的普遍应用和网络性能的发展，构建b e o w u l f 机群的成本不断 降低，一些自由软件( 如：m p i 或p v m ) 可以免费从网上下载。 ( 2 ) 结构简单，使用方便：b e o w u l f 机群通常是由一个控制节点和多个计算节点通过网 络连接而成，从这一点来看，b e o w u l f 机群更像是一台结构完整的机器，而不是由多台计 算机组成的松散的群体。一些大规模的b e o w u l f 机群系统中的多数计算节点没有键盘、显 示器等设备，计算节点作为内置的模块插入，控制节点只是通过远程登录来访问控制它们。 这使b e o w u l f 机群的结构更加简化，使用更加方便。 7 基于消息传递的b e o w u l f 秽l 群系统的研究与实现 ( 3 ) 专网连接：b e o w u l f 机群中的计算节点通过机群专用高速网络相互连接，比如f a s t e t h e m e t 、a t m 等，它们与外界连接的普通网络相隔离。因为它们不受外界的影响，使得 b e o w u l f 机群中各节点的负载均衡以及节点之间的信赖关系变得更容易处理，并且节点之 间的通信也更加有效。 总之，b e o w u l f 机群并不是一个软件包而是一种基于某种操作系统( 如：l i n u x ) 的机器 构建起来的并行处理系统。尽管有很多软件( 例如：内核的修改，管理工具或者p v m 和 m p i 并行运算库) 可以使b e o w u l f 机群更快、更容易使用和管理，但只使用m p i 和l i n u x 来就可以构建一个小型的b e o w u l f 机群系统，这使b e o w u l f 机群系统在并行计算领域应用 更加广泛。 2 3 小结 本章主要介绍了机群系统的相关内容，简要介绍了机群系统的定义、特点以及几种比 较典型的机群系统：大规模并行处理系统m p p 机群s p 2 、工作站机群c o w 、b e o w u l f 机 群。最后，介绍了b e o w u l f 机群系统的定义和特点。 8 基于消息传递的b e o w u l f 机群系统的研究与实现 第三章消息传递机制的相关技术及最新发展 消息传递机制是并行计算系统的关键组成部分，构成了整个系统的骨架。当系统运行 并行程序时，多个子程序( 子进程或子任务) 进行相互通信，从而有效协调地完成计算任 务。机群系统不仅提供了基于消息传递的通信支持而且还提供了用于消息打包、解包以及 在不同的任务之间进行消息传送的函数。机群系统模型确保了消息的原有顺序，即先发送 的数据先收到，后发送的数据后收到。 消息传递机制主要有两类：消息传递标准m p i 和虚拟机p v m 。m p i 和p v m 虽然都是消 息传递机制，但是它们之间存在很大不同，有各自的优点。随着并行计算的不断发展，中 外学者对消息传递机制进行不断研究，出现了许多性能较好，使用范围较广的消息传递机 制，本章将在3 4 节中做具体介绍。 3 1m p i 与p v m 的比聋交 作为两种主要的消息传递机制，m p i 和p v m 在分布式计算中都得到了广泛的应用。 m p i ( m e s s a g ep a s s i n gi n t e r f a c e ) 指并行计算中的消息传递接口1 1 3 1 ，它是所有m p p 制造商都 遵循的消息传递标准，是6 0 多位来自并行计算领域的专家通过一系列会议制定的。在实 际应用过程中，每个m p p 制造商都希望能提高自己的m p p 的性能，虽然m p i 满足了 m p p 制造商的愿望，提供了高性能的通信，却不能提供灵活的静态控制。与m p i 相比， p v m 是橡树岭国家实验室的a ig e i s t e m o r y 和e m o 巧大学的v a i d ys u n d e r a m 教授一起研 究异构网络计算项目时出现的副产品，其核心是虚拟机【i4 1 。p v m 虽然考虑了系统的可扩 展性、异构性、动态性、可移植性、容错性等方面，但是其整体性能并不高。下面是两者 之间的主要区别。 ( 1 ) m p i 具有更加精确的语义 作为一个标准，m p i 必须具有完备而精确的语义。所以，我们在m p i 程序库中能够找 到各种各样的发送和接受语义。反观p v m ，它在这些方面就不是那么精确。 m p i 是一种消息传递接口标准，它没有严格要求底层的通信协议。近几年来，高性能 的通信硬件不断地被投入使用，新颖的底层通信协议被设计出来，由于m p i 的模块化和与 底层协议无关性，使m p i 可以很快在这些底层协议中实现，从而取得很好的性能指标。而 p v m 是以t c p i p 为基础的，并且消息传递接口与实现连在一起，这样就不太容易采用新 颖、高效的底层通信协议。 ( 2 ) 可移植性 可移植性是指用一种结构编写的程序复制到另一台机器上可以正常的编译、运行，而 不需要任何地修改。p v m 和m p i 都已经实现了这种意义上的可移植性。但是，p v m 的 可移植性不仅表现在同构的机器集合上，而且也表现在异构的机器集合上，同时还允许 9 基于消息传递的b c o w u l f 秽l 群系统的研究与实现 p v m 的最终可执行部分之间相互通信。另外，p v m 支持用f o r t r a n 和c 语言开发的应用 程序间的通信。而m p i 的可移植性是指m p i 程序可以作为一个整体在同构的机器集合上 运行。虽然m p i 标准不限制异构网络和结构之间的通信，但是也没有特别的描述。 ( 3 ) 虚拟机概念 p v m 的核心概念是“虚拟机 ，即通过网络连接一系列异构计算机构成的并行系统， 它在逻辑上给用户呈现单一环境。p v m 可以动态管理异构系统的计算资源、进程，允许应 用程序和计算环境之间进行消息传递，给计算环境提供任务迁移、容错和负载平衡等功能。 虚拟机可以在应用程序中任意添加或者删除计算资源，也可以任意启动和终止任务。但是 m p i 没有虚拟机的概念，m p i 1 对资源和进程进行静态管理，m p i 2 扩展了m p i 1 的动态 性，进程可以动态派生。 ( 4 ) 容错机制 在大规模的科学计算中，计算环境能否提供容错机制显得非常重要。例如，一些数据 量很大的模拟计算不可能在短时间内运行完毕，通常需要几个小时的时间。如果其中一台 计算机因某种原因崩溃，而系统没有错误处理和恢复的方法，那么计算任务就无法顺利完 成。p v m 支持基本的容错机制，用户程序可以调用函数p v mn o t i f y ( ) 把错误事件的详细信 息发送给接收方，让接收方进行错误处理，尽量保证计算任务的顺利进行。相反，m p i 1 中 没有提供任何容错机制。由于m p i 1 中的主机和任务都是静态的，任务必须以一个任务执 行组的方式一起运行，如果一个节点故障，那么整个系统一起崩溃。尽管m p i 2 提供函数 m p is p a w n ( ) 来动态生成任纠”】，但是m p i 2 仍然没有容错和从错误中自动恢复的机制， 主要原因是m p i 中的通信子是以同步方式被创建和释放的。所以，在用m p i 编写并行程 序时尽量不要出现错误，否则，惟一能做的就是退出程序。 3 2 消息传递接口m p i m p i ( m e s s a g ep a s s i n gi n t e r f a c e ) 是指消息传递接口【1 6 】。m p i c h 是由密西西比州立大学 ( m i s s i s s i p p is t a t eu n i v e r s i t y ) 和美国国家实验室( a r g o n n en a t i o n a ll a b o r a t o r y ) 基于m p i 标 准开发的一个开放性源代码。m p i c h 可应用于一般的b e o w u l f 机群、工作站机群和大规模 并行处理系统等并行计算系统，目前，m p i c h 是并行计算领域中应用比较广泛的消息传递 机制，特别是在并行i o 方面表现尤为突出。m p i c h 主要包括m p i 1 2 标准的完整实现和 m p i 2 0 标准的重要部分，其最新版本m p i c h 1 2 6 可以从h t t p ：w w w m c s a n l g o v 下载。 m p i 可以用来开发基于消息传递的并行程序，它为用户提供了一个高效、实际可用、 可移植、灵活的消息传递接口标准。m p i 以独立语言的形式来定义这个接口库，它不包含 任何专用于某个特别的操作系统或硬件的特性，提供了与c 、f o r t r a n 和j a v a 语言的绑定。 因此，在并行计算领域，m p i 被广泛地接受。其标准已经由原来的m p i 1 发展到目前的 m p i 2 1 1 7 。 1 0 基于消息传递的b e o w u l f 机群系统的研究j 实现 3 2 1m p i 的特点 ( 1 ) m p i 具有