（计算机软件与理论专业论文）网络并行计算网格化平台的构建研究.pdf

摘要 摘要 高性能应用需求的迅猛发展，使得单台高性能计算机已经不能胜任一些超大 规模应用问题的解决。网络的发展和分布式计算的提出，使得通过多机互连的并 行计算来解决大型的计算问题已成为许多人的首要选择。目前，分布式计算已经 发展到了一个新阶段，网格计算已被视为下一代分布式计算的标志。网格是借鉴 电力网的概念提出来的，它的最终目的是希望给使用者提供与具体的计算设施无 关的通用的计算能力，让用户在使用网格计算能力时，就如同现在使用电力一样 方便。 目前，国内外都致力于研究网格计算，主要研究系统核心运转以及组织各部 分有效工作的底层问题。而关于并行计算的研究则已较为普遍，主要集中于应用 领域及计算性能等方面。将网格计算的概念应用到并行计算方面的工作则比较 少，这是本文的立意所在。 本文提出了一种分布式环境下的高性能计算平台并行计算网格化平台 ( g r i dp a r a l l e lp l a t f o r m ，g p p ) ，该平台将网格资源自发现及利用的优点移 植到并行计算中，自动捡建妊题宝堕菱堕茳盈鼓簋珏境k 差且监口旦旦醴用曲过 算程序自边发送到各节点机中，使用户可以透明的使用并行计算，免去了并行计 算中许多繁琐的配置步骤1 萄弗行计算就像做本机的单机运算一样方便。因此， 网络并行计算的网格化平台的构建研究不仅有利于网络并行计算的推广与普遍 应用。也提出了让传统的并行计算向网格方向发展的一条可能之路。 本文首先对网络并行计算的体系结构、通信机制以及构建方式进行分析研 究；其次，研究了网格计算中的资源搜索和利用机制；接下来对本系统的功能要 求、平台定位进行了详尽的分析；然后给出了本系统的设计过程；最后描述了系 统的实现过程，并利用一个地质勘探中电法勘测的工程算例，分析了系统的效率。 关键字：并行计算；网格计算；并行计算网格化平台；并行计算瓷源；资源搜 索引擎 童三些奎兰堡圭兰些堡圣 = ： a b s t r a c t n o w a d a y s ， as i n g l eh i g h p e r f o r m a n c ec o m p u t e rc a n n o t s u i tf o r t h e d e v e l o p m e n to fh i g h p e r f o r m a n c ea p p l j c a t i o n w jt ht h ed e v e l o p m e n to f c o m d u t e rn e t w o r ka n dd i s t r i b u t e ds y s t e i d ，u s i n gp a r a l l e lc o m p u t i n g t e c h n o o g yt os o l v ec o m p l i c a t e dp r o b l e mh a sb e c o m ea n yp e o p l e sf i r s t c h o i c e c u r r e n t l y ，d i s t r i b u t e dc o m p u t i n gh a sd e v e l o p e dl og r i dc o m p u t jn g s t a g e g r dc o m p u t i n gh a sb e e nc o n s i d e r e dt ob et h en e x tg e n e r a t i o no f d i s t r i b u t e dc o m p u t i n g t h ec o n c e p to fg r i di sr e p r e s e n t e di nt h el i g h t o fe l e c t r i cp o w e rg r i d ，i t sa i m st op r o v i d ew i t hc o m p u t i n ga b 订i t y r e g a r d l e s st h es p e c i a lc o m p u t i n gf a c i l i t i e st ot h eu s e r s a n dp e o p l ec a n u s eg r i dc o m p u t i n gi nac o n v e n i e n tw a yj u s tl i k et h e yu s ee l e c t r i cf o r c e g r i dc o 【l p u t i n gi se m e r g i n ga so n eo ft h eh o t t e s tr e s e a r c ht o p i c sa 【lo v e r t h ew o r l d ，m o s to fc o r r e s p o n dp r o j e c t sa r ec o n c e n t r a t e do nt h eo p e r a t l o n o fi t sc o r es v s t e ma n dh o wt oo r g a n i z et h el o wl a y e r sc o m p o n e n t si na n e f f e c t i v e l yw a v r e s e a r c ha b o u tp a r a l l e lc o m p u t i n gh a sb e c o m ev e r y p o p u l a r ， a n di tf o c u s e so nt h ea p p ljc a tio no fp a r a 】l e lc o m p u t i n ga n d c a 】c u l a t i n gp e r f o r m a n c e b u tf e wp r o j e c t si n t r o d u c et h ef e a t u r eo fg r i d t op a r a l l e lc o m p u t i n g ，i ti st h ei n n o v a t i o n so ft h sp a p e r t h ep a p e rp r e s e n t san e wh i g hp e r f o r m a n c ec o m p u t jn gp l a t f 。o r mi nt h e d i s t r i b u t e de n v i r o n i 刀e n t 七r i dp a r a l l e lp l a t f o r m ( g p p ) g p pi n t r o d u c e st h e b a s i cp u r p o s eo fg r i dt ot h ep a r a l l e lc o m p u t i n g p a r a l l e lc o m p u t i n gs y s t e m c a nd i s c o v e ra n da d dn e wr e s o u r c ea u t o m a t i c a l l yb yg p p a n dg p pc a na l s o h e l d t h eu s e rs e n dt h e c o m p u t i n gp r o g r a i i lt oa l lm a c h i n e n o d e s a u t o m a t i c a l l y g p pa v o i d sm a n yt e d i o u sc o n f i g u r a t i o ns t e p sf o rt h eu s e r s p e o p l ec a nu s ep a r a l l e lc o p u t i n gj u s tl i k eu s i n gs i n g l ec o r n p u t e r t h e r e s e a r c h i n go fg p pn o to n l yp r o m o t e st h ed e v e l o p m e n to fn e t w o r kp a r a l l e l c o m d u t i n g ，b u ta l s os u b m i t san e wp o s s i b l er o a do fi n t e g r a t i n gp a r a l l e l c o m p u t i n ga n dg r i dc o m p u t i n g f i r s t l y ，t h et h e s i si n t r o d u c e st h ea r c h i t e c t u r e ，c o r r 【m u n i c a t i o nm e c h a n i s m a n db u i l d i n go fp a r a l l e lc o 【n p u t i n gs y s t em s e c o n d l y ， i ts t u d i e st h e t e c h n o l o g yo fr e s o u r c ed i s c o v e r ya n da d d i n gi ng r i dc o 硼p u t i n g t h i r d l y ， i tb r i n g sf o r w a r dt h es y s t e m sl o c a t i o na n df u n c t i o nr e q u i r e m e n t s t h e n ， i ti nl r o d u c e st h ed e s i g no fg p p a tl a s t ，t h ep a p e rd e s c r i b e st h ei m p l e m e n t o ft h ep l a t f o r m ，a n di tp u t sf o r w a r dau s ec a s et ot e s tt h ep l a t f o r m s s p e e d u pa n dp a r a l l e le f f i c i e n c y k e yw o r d ：p a r a l l e lc a l p u t i n g ：g r i dc o m p u t i n g ；g p p ：p c r ：r s e i l 第一章绪论 1 1 研究背景及意义 第一章绪论 网络并行计算是利用一组由网络互连的计算机同时解决一个大问题的过程。 由于高性能p c 、工作站的普及和高速网络的成熟，一组互连计算机的计算能力 甚至可以超越一台高性能计算机。由于网络并行计算计算成本小又具有计算大问 题的能力，特别适合我国国情，所以它在高性能科学计算中已经获得了广泛的应 用，包括分子动学模拟、矩阵计算、超导研究、气象科学等。 网络并行计算环境是由多种不同结构的计算机，通过多种互连方式组合的一 个综合计算环境，可以包括p c 、工作站、小型机，还可以包括各种类型的大型 机、巨型机，其规模可以小到几个计算机、局域网，大到广域网，甚至i n t e r n e t 。 网络并行计算环境具有广泛的应用前景，其主要优势有： 可以利用现有的网络计算资源，计算成本低 通过合理的任务调度，可以获得最佳性能 网络规模易于扩展，可以满足不断增长的计算需求 开发人员可以利用他们熟悉的环境开发并行程序 p v m ，m p i 等就是在这样的背景下出现的网络并行计算环境。其中p v m 由于 其源代码可以免费得到，较其他环境得到更多研究人员的关注。 随着网络和分布式计算的不断发展，通过多机互连的并行计算来解决大型的 计算问题已成为许多人的首要选择。现在，分布式计算已经发展到了一个新阶段， 网格计算己被视为下一代分布式计算的标志。 网格被人称为继i n t e r n e t 和w e b 之后的第三次信息技术浪潮，它对资源实 现了柔性的、高性能的访问，并且能够实时的创建强大的虚拟计算系统。网格是 借鉴电力网的概念提出来的，使用网格上的c p u ，内存和硬盘对于用户来说应该 是透明的，用户无需知道这些资源的具体位置和访问方法，而系统会自动连接服 务提供者，调用其上的资源。网格也希望给最终的使用者提供的是与地理位置无 关，与具体的计算设施无关的通用的计算能力。 网格技术的最终目的是希望用户在使用网格计算能力时，就如同现在使用电 力一样方便，它可以支持任何互连的计算设备之间进行协作一甚至将扩展到全 球任何一个角落，囊括了台式电脑、部门级服务器、大型s m p 系统和大型数据中 心服务器，能够以空前的规模效益提供更为经济的资源，从而实现总体性能大于 各部分相加的整体优势。 目前，关于并行计算的研究己较为普遍，主要集中于应用领域及计算性能等 方面。而网格计算则是当前的一个研究热点，网格正朝着基于高速网络的、面向 大区域的高性能并行分布计算技术发展，但是，网格在真正体现分布式计算的优 势并行计算方面的研究都进行得不甚理想，国内外研究网格方向的并行计算 主要集中于两个方向：一是在网格环境中提供相应的接口以支持现有的并行计算 工具，如m p i c h 2 ：二是直接利用网格工具，编写相应的网格中间件和a p i ，在网 格环境中进行并行计算。但由于这些方法都是以牺牲了并行计算的性能为代价 的，事实表明其效果都不甚理想。最著名的网格计算研究软件g 1 0 b u s 更从第三 版开始舍弃了网格在并行计算方面的应用。但是，将网格计算的观念应用到并行 广东工业大学硕= i = 学位论文 计算方面的工作则比较少见，本论文把网格的优点引入到并行计算中来，通过扩 展并行计算的功能，直接利用已有的并行计算工具来实现网格计算的目的，让并 行计算具有网格的透明访问资源的特性，使得做并行计算就像做本机的单机运算 一样方便。因此，网络并行计算的网格化平台的构建研究不仅有利于网络并行计 算的推广与普遍应用。也提出了让传统的并行计算向网格方向发展的一条可能之 路。 1 2 国内外研究现状 1 2 1 并行计算的研究现状 由于网络并行计算只需要少量的投资就可以建立起并行计算的环境。所以在 国内外成为研究的热门话题。 在国外，美国伊万诺大学m u r a t e 教授领导的科研小组一直从事机群工作环 境方面的研究。美国e e l 纳西大学和橡树岭国家实验室还进行了一个名为p v m p i 的 研究项目，研究的目的是是否可以将p v m 和m p i 的功能结合起来形成一个统一的 编程环境p v m p i 。而德国的研究机构则将今后的研究重点转向并行应用、并行编 程环境、优化技术和开发工具等方面。 我国的网络并行和分布式计算技术研究主要从事m p p 系统及工作站机群系统 研究。吉林大学鞠九滨主持的调度p v m 任务设计实现了支持任务迁移和排队的 d p v m 系统；南京大学周笑波等对于p v m 的计算模型设计实现了动、静态调用接 口p r c 机制；浙江大学叶澄清等人提出了应用虚拟并行系统提高效率的途径：中 国科学院计算所孙家昶对网络并行环境及数值并行计算进行了深入的研究，并主 持了并行程序验证系统的实现；国防大学在p v m 环境下对提高并行计算加速比进 行数值实验研究；广东工业大学则开发出应用于勘探地球物理的电法勘探数据网 络并行处理系统，并且在机群的工作环境方面开发出了网络并行计算的可视化开 发平台。此外，还有应用于医学、图形变换、机械制造等领域的专用软件，都取 得了一定的成绩。 1 2 2 网格计算的研究现状 近几年来，对于网格技术的研究和开发得到了长足的进步。在众多的软件项 目中，尤以g l o b u s 设计得最为完善和灵活。凭借自身强大的功能，g l o b u s 现在 已成为事实上的网格丌发标准。 网格计算技术从2 0 0 1 年底开始引起人们广泛的关注。在国际上，康柏网格 支持中心通过高速网格连接位于大阪市和筑波市的事务所和位于北美、法国以及 爱尔兰的中心，实现了全球规模的网格计算环境。2 0 0 2 年7 月2 4 2 6 日，在爱 丁堡召开第1 1 届高性能分布式计算国际研讨会，该会议是美国l e e e 高性能分布 式计算领域的每年一次的权威性国际学术研讨会。在应用项目上，英国政府已对 “英国国家网格”投资超过1 亿英镑；美国军方也正在实施一个庞大的“全球信 息网格”计划，还有许多其他国家投入了大量资金，希望能把握住这次机遇。国 外也已经有很多项目在进行网格体系结构的研究工作，比较重要的有g l o b u s 和 l e g l o n o 在国内，网格计算也正逐渐成为研究的热点。李三立院士带领清华大学网格 研究组进行先进计算基础设施的研究，将分布于北京和上海的两台自主研制的超 级计算机连接成为聚合计算能力达到4 5 0 0 亿次的网格计算平台；科技部召开了 “网格战略研讨会”，确认将网格的研究和应用列为“8 6 3 计划”的一个专项； 中国科学院发表了国家“8 6 3 计划”高技术研究发展计划基金项目：织女星网格 体系结构：由中国科学院牵头的“国家高性能计算环境”和由清华大学牵头的“先 进计算基础设施，北京上海试点工程”两个网格计算项目己取得初步成果。在体 系结构层面，华中科技大学章勤、鄢娟、金海、韩宗芬在计算机研究与发展 上发表了吴宇网格计算平台体系结构研究，提出了吴宇网格计算平台的设计； 在用户编程与使用环境层面，中科院计算所李丙辰、徐志伟在计算机研究与发 展上发表了g s m l 网格编程语言的一种实现方法。 1 3 本文的研究目标和研究内容 1 3 1 研究目标 本课题研究的主要目标是提出并实现一个并行计算网格化平台，其用户定位 为并行计算的使用者。该平台用于分布式并行计算环境的自动构建，让它具有网 格计算中的资源自动发现、自动加入的重要特性。使用该平台进行并行计算，用 户无需了解其底层并行计算的运作过程，只需将已有的并行计算程序提交给浚系 统，它就会自动选择网络中可用的机器，显示在本系统的前端资源列表面板中， 用户可以在列表中选择机器也可以不作选择而由系统自动选择合适的机器，选 中者被加入并构成并行计算环境，并把计算程序分发到各计算节点中。 它的主要功能有以下几点： 1 ) 构成并行计算环境； 2 ) 自动发现能构成并行计算环境的机器； 3 ) 可让用户选择所需要的机器； 4 ) 自动将用户选择的机器加入到并行计算环境中去； 5 ) 将并行计算程序发送到各个计算节点，使其能完成相关任务。 1 3 2 研究内容 本课题研究目标是构建一个并行计算网格化平台，它需要涉及到计算机理论 的多方面的知识，包括计算机科学、计算机网络、软件体系结构、程序设计理论、 软件工程等，是一个综合性的问题。要达到这一研究目标，研究内容主要包括： 1 ) 研究并抽象归纳分布式并行计算的体系结构，主要研究其底层通信模式。 网络并行处理系统是中各处理机之间通过消息传递机制来实现进程和数据通讯， 这种网络并行处理系统，各个处理机可以执行不同进程。显然， 基于消息传递 机制的并行处理平台是网络并行程序开发和运行的基础，因此这里侧重于研究基 于消息传递方式的并行计算的通信模式。 2 ) 分布式并行计算支撑环境的构建方式。深入研究网络并行计算及其工作 广东工业大学硕士学位论文 平台，w p v m 是本系统采用的并行计算底层支撑支持平台，该平台可以运行在 w i n d o w sn t 、2 0 0 0 和x p 的平台上，包括一个控制台程序p v m ，一个p v md a e i i l o n 程序p v m d 和几个程序库。这里主要研究w p v m 并行计算环境的构建过程，分析其 系统结构、各组成部分之间的关系以及平台构建的实施步骤，抽象出模型，进而 设计出目标系统的体系结构。 3 ) 网格计算中资源查找和资源利用所用的机制。网格目前的主要实现方法 是把一切资源都视为服务，包括数据库、传感器、数据、设备等等。本文提出的 平台是要使得并行汁算具有网格的透明访问资源的特性，让用户使用并行计算就 像做单机运算一样方便。要实现这一目标，研究网格计算中资源查找和资源利用 所用的机制有很好的借鉴性，因此必须对其有一定的了解。 4 ) 提供可视化工具，让用户可选择所需资源并发送所需并行计算程序到各 计算节点。使用中间件技术连接前台与后台，将前端界面查找到的可用资源加入 到后台的并行计算环境中作为计算节点。 5 ) 研究并行计算网格化平台的可靠性，为平台使用者提供可靠的并行计算 环境。由于并行计算是在网络中进行，就需要考虑网络中的各种因素，如网络负 载、网络延迟等，这就需要对各个影响因素作综合的考虑。 1 4 论文结构 本论文分为六章。第一章为绪论；第二章对网络并行计算的体系结构、通信 机制以及构建方式进行分析，并论述了对本系统的并行运算支撑平台w p v m 的研 究；第三章对网格计算中的资源搜索和年用机制进行分析；第四章对本系统的功 能要求、平台定位进行了详尽的分析；第五章给出了本系统的设计过程；第六章 描述了系统的实现过程，并利用一个地质勘探中电法勘测的工程算例，分析了系 统的效率。 篓三塞塑丝童堑竺塞 第二章网络并行计算 2 1 网络并行计算的发展 2 1 1 高性能计算的要求 从古到今，大概没有哪一项技术的发展速度可以与计算机相比肩了。从第一 台电子计算机e n i a c 问世到”微处理器改变全球的5 0 年问，计算机技术已历经4 代，计算速度也提高了亿倍。根据著名的摩尔定律，平均每隔1 8 个月，同样体 积的集成电路中的晶体管数量就会增长一倍，性能也会提升一倍。一位德国工程 师曾经感叹道，如果汽车工业也以这样的速度发展，今天一辆小汽车便只有5 公 斤重，时速高达5 0 0 0 公里，而售价只有1 美元。计算机的发展极大地改变了人 们的生活方式，也引起了科学方法论的巨大变革。计算机学科与各科和工程领域 相结合，产生了诸如计算物理、计算化学、计算数学、计算生物学等计算性学科。 在气象、核科技、地质勘测、航天、金融等关系到国计民生的重要领域中，计算 机所提供的计算能力更是不可或缺。 但是，随着科学技术的发展，随之而来的是对计算能力有着巨大的、不断增 长的需求。尽管今天的计算机从性能上晚是以几何级数提高，仍然落后于需求。 需要高计算速度的领域包括科学和工程问题的数值建模和模拟，这样的问题常需 要对大量数据进行很多次重复计算以得到有效结果。计算必须在“合理”的时间 内完成。例如天气预报系统的计算就是一个时效性很强的计算应用，因为在得到 测量的数据后，我们必须在最快的时间内计算出相应的结果，以便相关人员及时 发出当天的天气预报，花两天时间来获取当地第二天精确的天气预报将使得这种 预报毫无疑义。某些研究领域，如对大型d n a 结构建模以及进行全球天气预报均 具有巨大挑战性问题。所谓巨大挑战性问题是指无法用当今计算机在合理的时间 内完成求解的那些问题“3 。显然，解决这一类问题用1 0 年的执行时间是不合理 的。 高性能计算是一个国家经济和科技实力的综合体现，也是促进经济、科技发 展、社会进步和国防安全的重要工具，已成为世界各国竞相争夺的战略制高点， 各国纷纷制定战略计划，投入大量资金m 。例如，1 9 9 1 年美国提出了高性能计算 与通信( h p c c ，h i 窟hp e r f o r m a n c ec o m p u t i n ga n dc o 咖u n i c a t i o n ) 计划，其主 要内容是研制万亿次超级计算机、建设计算机高速通信网络和培养开发中的能力 和提高工业生产率，确保美国在高科技的优势地位和竞争能力。美i 虱提出h p c c 计划后，欧洲提出了万亿次机计划，日本相继提出了真实世界计算计划，我国 “8 6 3 ”高科技计划也将并行计算列为关键技术，高性能计算国际问的竞争将愈 演愈烈。 广东工业大学硕_ 二学位论文 2 1 2 并行计算的提出 在关于如何提高计算机运行速度的方法上，主要存在两种途径：一种是从计 算机硬件入手，不断地提高处理器、存储器等部件的速度极限，从而提高单机的 速度，但人们发现计算机系统超过当前可能提供的计算速度的需求总是不断增 长；另一种途径是使用多个处理器协同工作以求解一个问题，这种方法实际上好 多年来一直在进行研究，最终形成了计算机科学中一个新的分支并行计算。 并行计算的思想是把整个求解问题被分为若干部分，每个部分分别由一个处理器 并行计算。按这种形式编写出的程序被称为是并行程序，这种专门设计的、含有 多个处理器的计算机或是以某种方式互连的若干台独立的计算机口q 做并行计算 机。 并行计算的发展基于人们在两方面的认识”1 。第一，单机性能不满足大规模 科学与工程问题的计算需求，而并行计算机是实现高性能计算、解决挑战性计算 问题的重要途径；第二，同时性和并行性是物质世界的一种普遍属性，具有实际 物理背景的计算问题在许多情况下都可划分为能够并行计算的多个子任务。 并行计算能显著地提高性能，其基本想法是，n 台计算机应能提高n 倍的单 机速度，不论当前计算机的速度为多少，可以期待求解问题将以1 n 时间完成。 当然这是一个理想情况，实际上很难达到，这取决于欲求解问题和问题中的并行 性程度。对并行计算的要求永远不会终止，因为总是有一些具有巨大挑战性的问 题，这些问题在当前计算机上求解不可能在合理的时间被完成。 除了可使对现有的求解问题得到加速之外，多计算机多处理机的使用常常 可使一个更大的求解问题或更精确的求解问题能在合理的时问被完成。例如，许 多物理现象的计算涉及到将求解问题分成为离散的求解点，电法勘探的计算技术 包含着将电流场分为三维的求解格点。二维和三维的求解格点出现在许多其他应 用中。用多处理机求解时，常允许在给定的时间内计算更多的求解点，从而获得 更精确的解。一个相关的因素是多计算机比单机有更大的总主存储器容量，从而 使需要较大主存储器容量的求解问题得到解决。 现在的超级计算机和高性能计算机必定是并行机。1 ，虽然它们可能采用了不 同的并行处理技术。这是因为人们对计算能力的需求是无止境的，尽管单机速度 也一直在提高，将它们构成多机并行系统就能获得更快的速度。 2 1 3 网络并行计算的产生 在传统的并行计算领域，解决地质勘探、天气预报等大型计算问题需要功能 强大的大型并行计算机，但是除了少数计算机大户，许多用户由于资金的不足， 因此就不具备昂贵的并行计算机，无法构造一个并行计算的环境。并且，在当时 的硬件水平与网络条件下，似乎只有通过使用大型的并行计算机一途才能进行并 行计算。 现在，随着高性能p c 、工作站的普及和高速网络的成熟，一组通过网络互 连的计算机的并行计算能力已经达到甚至可以超越一台高性能计算机，能满足人 们对高速度、低成本计算技术的需求，是继m p p ( m a s s i v e l yp a r a l l e lp r o c e s s o r s ) 之后，现代并行计算的又一主要发展趋势。这种通过利用一组由网络互连的计算 机同时解决一个大问题的过程就是网络并行计算。网络并行计算是由高性能网络 或局域网物理地互连的全体计算机节点的集合。一个计算机节点可以是一台s m p 服务器、一台工作站或是一台p c 计算机，节点可以是同构的，也可以是异构的。 计算机数目一般为几个至几十个，支持控制并行或数据并行的开发。每个节点上 都有完整的操作系统、网络和用户界面，都可作控制节点或运算节点，即节点之 间是平等的n ，。由于网络并行计算与传统的并行计算系统相比，具有以下几个显 著的特点： 1 、降低了系统的实现难度由于网络并行计算可采用商用工作站、pc 和 通用lan 网络，使节点主机及系统管理相对容易，且可靠性高。开发的重点可放 在通信和并行编程环境上，既不用重新研制计算节点，又不用重新设计操作系统 和编译系统，节省了大量的研制时间，并可利用最新的微处理技术和网络技术。 2 、系统成本低网络并行计算的出现，使大型计算问题这一类应用从昂贵 的大型并行计算机系统演变为采用局域网和p c 的高性能计算机集群，使得很多 单位不需要在计算机的硬件和软件方面再投资，就可以搭建起可媲美一台并行计 算机的计算环境，大大降低了并行计算的成本。 3 、系统结构的灵活性高可以将不同体系结构、不同性能的工作站连在一 起，这样就可以充分利用现有设备，建立满足用户需求的异构并行计算环境。从使 用效率上看，网络并行系统的资源利用率比单机系统要高得多。另一方面，即使用 户设备更新，原有的一些性能较低或型号较旧的机器在机群并行系统中仍可发挥 作用。 因此，网络并行计算能够从技术可能发展到实际应用，成为解决大型问题计 算机系统的发展方向。 2 2 网络并行计算的体系结构 2 2 1 其它大型并行机系统结构概述 当今的大型并行计算机系统结构主要有5 类：并行向量处理机、对称多处理 机、大规模并行处理机、分布共享存储多处理机以及工作站机群，其中的工作站 机群也就是我们所说的网络并行计算，本小节主要简单介绍其它4 种体系结构模 型。 1 、并行向量处理机 系统中包含了少量专门设计定制的高性能向量处理器v p ，每个至少具有 l g f l o p s 的处理能力。系统中使用了专门设计的高带宽交叉开关网络将v p 连向 共享存储模块，存储器可以每秒兆字节的速度向处理器提供数据。这种机器通常 不使用高速缓存，而是使用大量的向量寄存器和指令缓冲器。 2 、对称多处理机 系统使用商业化微处理器，经由高速总线连向共享存储器。这种系统的特点 是每个处理器可以等同地访问共享存储器、i o 设备和操作系统服务。因此，这 种结构具有较高的并行度。但是，由于是共享存储，系统中的处理机数目受到了 限制，同时，总线和交叉开关互连在完成后也很难扩展。 3 、大规模并行处理机 系统具有以下几个特点： 1 ) 采用商业化微处理器作为处理节点； 广东工业大学硕二卜学位论文 2 ) 系统中有物理上的分布存储器； 3 ) 采用高通信带宽和低延迟的互联网络： 4 ) 具有良好的可扩展性，其规模可以达到成百上千乃至上万个处理器： 5 ) 它是一种异步的多指令多数据流计算机，程序由多个进程组成，每个都 有其私有地址空间，进程间采用消息传递机制进行通信。 4 、分布共享存储多处理机 它比大规模并行处理机多了一层高速缓存目录d i r ，用以支持分布高速缓存 的一致性。系统在物理上有分布在各节点中的局存，形成一个共享的存储器。另 外，系统的软硬件提供了一个单地址的编程空间m ，。 2 2 2 网络并行计算的系统组成结构 通常网络并行处理系统是利用高速e t h e r n e t 网将数台工作站连起来，利用 并行软件构成处理平台来实现。由于各工作站问没有共享内存，各处理机之间通 过消息传递机制来实现进程和数据通讯。这种网络并行处理系统，各个处理机可 以执行不同进程。基于消息传递机制的并行处理平台是网络并行程序开发和运行 的基础。 工作站机群是指由多个计算机用网络或互连开关连接而成的系统，可以是同 构，也可以是异构的，计算机数目般为几个至几十个，配以相应的支持软件， 使得用户可以将这组计算机当作一个并行计算机系统来使用。这个系统支持控制 并行和数据并行的开发。每个节点都有完整的操作系统、网络和用户界面，都可 做控制节点或运算节点，属于分布主存结构，所以其主要的支撑软件是消息传递 库和相应的并行程序设计环境。 网络并行计算环境的构成核心是一个网络并行虚拟机模型。所谓网络并行虚 拟机，是指该系统呈现给用户的是一系列可用的虚拟节点，这些节点对于用户来 说只是一些能够提供计算能力的具有内存的组，而用户不必了解这些节点的底层 特性，即该系统屏蔽了异构模型中的操作系统和主机硬件层的异构性。除此而外， 网络并行虚拟机模型中的另外一个实体就是虚拟网络，该网络对用户来说只是一 个能够提供数据传输服务的通用传输媒体，用户并不需要关心在该概念之下所屏 蔽的具体网络实现，即屏蔽了网络层的异构性。这两个实体构成了网络并行虚拟 机模型n ，。 网络并行计算的典型结构如图2 1 。网络并行计算中的每个节点都作为一个 完整的工作站：包括处理器、高速缓冲存贮、内存、硬盘和i o 接口，可以只有 一个节点计算机连接所需的外设，其余节点可视需要决定是否安装外设。一个节 点也可以是共享主存多处理机系统s m p 或p c ，甚至可以是m p p s 。各节点问利用 高速通用网络按某种结构连接起来，并在并行程序设计以及可视化人机交互集成 开发环境下，统一调度，协调处理，实现高效并行处理。从节点的通信方式来看， 它属于分布存储系统，各节点内有本地存储器，主要利用消息传递方式实现各主 机之间的通信，由建立在一般操作系统之上的并行编程环境利用消息传递方式实 现各主机之间的通信，由建立在一般操作之上的并行编程环境完成系统的资源管 理及相互协作，同时也屏蔽工作站及网络的异构性。目前大多数网络并行系统的 并行编程环境是建立在u n i x 或w i n d o w s 操作系统之上，尽量利用商用系统的研 究成果，减少系统的开发和维护费用。 第二章网络并行计算 陆 ：匡： lh 坚li i q j 丑l 基萝 l 一二_ = 丁= _ j | 屋k il r 面订l ：。 嘲蒺 商品化网络( 以太网，a t m 等) 图2 1网络并行系统的典型系统结构 f i g u r e2 1t y p i c a la r c h i t e c t u r eo fn e t w o r kp a r a l l e ls y s t e m 2 3 网络并行计算环境 构造一个成功的网络并行环境，除了搭建起网络并行系统后，还要安装网络 并行计算的运行平台。目前世界上比较流行的有p v m ，m p i ，e x p r e s s 和l i n d a 等。这些基于消息传递机制的并行编程环境的功能包括提供统一的虚拟机，定义 和描述通信原语，管理系统资源，提供可移植的用户编程和多种传统编程语吉的 支持。它们具有以下几个特点： l 、支持异构机系统 由于通过网络相互连接而成的多机系统往往是异构的，各个处理节点可以是 多处理机系统，也可以是工作站或是单机p c 等，它们在硬件和软件方面的差别 很大。运行平台是建立在这些同构或者异构节点机上的一层系统管理软件。它能 够很好的向用户屏蔽了整个并行环境的构成情况，在硬件上面建立了一个服务体 系，隐蔽对硬件的复杂操作，为各种并行软件的运行提供强有力的支持“1 。 2 、支持不同网络拓扑结构 在各个节点进行网络互连时，可能会采用不同的拓扑结构，因此，并行平台 应能根据当前网络拓扑结构的类型灵活地进行系统配置，以适应不同用户的需 要。进一步要求，并行平台还应支持拓扑结构逻辑上的动态调整，使用户可以将 自己定义的拓扑结构映射到处理机的物理拓扑结构上，以适应不同任务的需要”1 。 3 、提供多种通信方式 在并行平台中，用户通过调用系统提供的通信函数，包括点到点通信和群集 通信完成数据传递，任一节点都应具有一个唯_ 的地址，当两个节点之间需要通 信时，只需将所发送的数据加上目标节点地址，就可以发送了；而当对方节点接 收数据时，可根据接收消息缓冲区中各条消息的源节点地址标记来决定是否接 收。群集通信，也就是系统提供的广播通信函数和多路广播通信函数。这两者用 于一个节点对所有节点，或一个节点对一组节点进行消息广播，对于并行计算中 的公共数据的处理相当方便。 4 、提供并行化工具 用户在进行并行程序设计时，首先需要做的是将一个实际任务划分成若干个 可并行处理的部分，将它们分配到不同的处理机上并行执行。因此并行编程环境 应当提供相关工具，使得用户可以通过此工具方便地对任务进行划分并分配到各 处理机去。 9 秽一 广东工业火学硕士学位论文 2 4 几种常见的并行计算平台 2 4 1e x d r e s s e x p r e s s 系统最初是由加州理工大学c a l t e c hc f o x 领导开发的，在一批 并行机上优化实现后，成为p a r a s o f t 公司的一个商业消息传递库，它强调并行 程序设计的高层问题，目的在于更进一步地为用户提供并行程序设计环境，支持 c 与f o r t r a n 这两种程序设计语言。 e x d r e s s 由一个或多个h o s t 或由多个c p u 的并行处理机构成，一般不需 要特殊的硬件支持，能在分布存储和共享存储的硬件系统上运行。目前e x p r e s s 主要适用于分布存储的多机系统，这些相同或不同类型的机器可由不同的拓扑结 构进行连接。 e x p r e s s 提供c u b i x 和h o s t n o d o 两种工作方式，它们分别对应于不同的 并行程序库。对于c u b i x 方式，分配工作完全是系统自动完成的，而在 h o s t n o d e 方式中，既可以由用户指定要分配的节点数，也可以完全交给系统自 动完成。在任何时刻，消息可从e x p r e s s 系统中一个节点传送到另一个节点， e x p r e s s 核心负责消息的中间转存和路由，除了通常的点对点通信外，还提供了 广播通信原语，这些方式同时也适用于i o 服务。 2 4 2l in d a l i n d a 是美国y a l e 大学的d a v i dg e l e r n t e r 开发的用于实现与机器无关 的并行设计环境，是一个关联的、虚拟的共享存储系统，既可以用于共享存储的 计算机系统，又可用于分布式存储的计算机系统。其实现的基本方法是对传统程 序设计语言进行扩充，使其具备并行程序设计的能力。目前l i n d a 有c l i n d a 和f o r t r a n l i n d a 两个版本。 l i n d a 中关联存储部分称为t u p l e 空间，其中每个元素称作t u p l e 。t u p l e 的标识与选择是通过对其值域的匹配完成的，l i n d a 与t u p l e 空间为核心进程 间的同步和通信。l i n d a 主要适合于一节点上具有多个处理进程、且进程问同步 点较多和全局通信较频繁的应用场合。 2 4 3m p 消息传递接口m p i ( m e s s a g ep a s s i n gi n t e r f a c e ) 是由m p i 委员会在1 9 9 2 年至1 9 9 4 年举行的一系列会议上讨论而逐渐产生，其中第一个版本m p i 一1 于 1 9 9 4 年发布，第二个版本m p 卜2 于1 9 9 7 年发布。m p i 的目标是开发一个广泛使 用的消息传递程序标准。m p i 能用于大多数并行计算机群和异构网络环境，能达 到较高的数据传输速率，同时还具备了公共软件包和厂家专用软件包的优点，而 且由于m p i 建立在多种可靠的消息传递库的基础1 1 二，所以能博采众长，扬长避 短，使其功能更加丰富和完善。m p i 将消息传递并行编程环境分解为两个部分， 第一是构成该环境的所有消息传递函数的标准接口1 龅明，它们是根据并行应用程 第二章网络并行计算 序对消息传递功能的不同要求而制定的，不考虑该函数能否具体实现；第二是各 并行机厂商提供的对这些函数的具体实现。 m p i 系统为c 、c 十+ 、f o r t r a n 语言的提供标准的消息传递函数库，用户通 过调用该库中的函数，可组织各进程间的数据交换和同步通信。在构成m p i 程序 的任何主程序和子程序中，只要调用了m p i 函数，则该程序必须包含m p i 系统头文 件“m p i h ”，此文件包含了m p i 程序编译所必需的m p i 系统预先定义的常数、宏、 数据类型和函数类型等。m p i 函数从功能上分，包括点到点通信、聚合通信、通 信器、进程拓扑结构、并行i 0 、环境管理和用户自定义数据类型七类。虽然 m p i 一2 包含高达2 0 0 多个函数，但最常用的也只是3 0 个左右，一般情况下，用 m p i i n i t 、m p i f i n a l i z e 、m p i c o m m s i z e 、m p i c o m m r a n k 、m p i s e n d 、m p i r e c v 这6 个基本函数就可以完成简单的并行程序。用户只需学习m p i 库函数的标准 接口，设计m p i 并行程序，便可在支持m p i 并行编程环境的并行机上执行该程 序。 通常意义的m p i 系统就是指这些具有标准接口说明的消息传递函数所构成 的函数库。m p i 虽然易于理解，借助其它程序设计语言，可以方便实现各种并行 功能，因此，不失为一个良好的并行编程环境，在今后较长的一段时间内，它将 会进一步加强功能，成为最具有竞争力的并行程序设计平台之一。 2 4 4p v m p v m ( p a r a l l e lv i r t u a lm a c h i n e ) 是由美国o a kr i d g e 国家实验室、 t e n n e s s e e 大学联合开发研制而形成的，p v m 第一版由美国0 a kr i d g e 国家实验 室的v a i d ys u n d e r a m 和a 1g e i s t 于1 9 8 9 年设计实现，它只是最初的实验版本， 用于研究异构的分布式计算过程中，发现它的移植性差、编程接口不完善。1 9 9 1 年2 月推出的p v m2 o 版对原有的代码进行了优化，简化了编程接口并开始开发 图形接口，研究监控、容错和性能分析。1 9 9 3 年推出p v m3 o 版，作了很多改 动，包括用户界面、进程控制、容错和任务组，相继研制的p v m3 1 版( 1 9 9 3 年4 月) 、p v m3 2 ( 1 9 9 3 年8 月) 、p 3 3 ( 1 9 9 4 年6 月) 、p 、，m3 4 ( 1 9 9 6 年) 研究了负载平衡、多处理机集成等问题，目前己发展到3 4 4 版。p 可以免费 从网站上下载，下载网站为h t t p ：w w w n e t l i b o r g p v m 3 ，或者是 h