（计算机应用技术专业论文）并行系统高效多通道通信技术的研究.pdf

摘要 自9 0 年代以来，并行计算得以空前的飞速发展，并行系统的体系结构趋于 成熟，数据传输网络的标准化和传输速率的大幅提升，为研制并行系统创造了 有利条件。集群系统近些年逐渐成为并行计算实现载体的主流。随着计算结点 性能的不断提高，集群系统的通信系统已成为影响并行计算性能的一个重要因 素。为了满足集群对性能、可靠性和可维护性等的要求，就要提高通信系统的 性能。但是新型高速网络通常价格昂贵，而传统的低效网络因不能满足高性能 通信需要而得不到有效利用，有必要引入并行的思想将已有的通信资源充分利 用起来。多通道通信技术就是利用多条网络通信链路进行通信，提高集群系统 的通信性能和可靠性。 本文是辽宁省科学技术基金博士启动项目：并行系统高性能多通道通信技 术的研究( 2 0 0 5 1 0 5 8 ) 的重要组成部分，围绕着并行系统的通信系统展开研究工 作，主要内容包括： 1 分析了通信系统的主要构成和当今用于集群系统流行的通信硬件。同时 介绍了并行计算编程工具m p i 的基本理论，阐述了通信系统对于并行计算的重 要性。 2 根据m p i c h - i 2 5 和l i n u x - 2 4 3 2 内核代码具体分析了m p i c h 整个通信 过程的三个层次：应用层、内核层、网络设备层。从m p i c h 的收发函数开始， 到内核中的套接字和t c p 协议的实现过程，最后到网络设备接口将数据在主机 和网络之问传输。并从三个方面阐述了通信系统对并行计算性能提高的重要性， 同时给出了提高通信性能的途径。 3 在现有的实验环境基础上，本文提出了基于b o n d i n g 技术的优化最轻负 载选择法( o p t i m i z a t i o n1 i g h t e s tl o a ds e l e c t i o na r i t h m e t i c ) 。此算法可根 据网卡当前的负载状态，建立网卡负载索引，缩短查找最轻负载网卡的时间， 实现了动态选择通信通道，整个系统的性能得到了优化。最后使用m p b e n c h 测 试工具对广播通信、带宽和回路延迟进行了测试，结果证明本文算法与单通道 通信和原b o n d i n g 技术相比，三方面性能都有所提高。 关键字：并行系统；集群；通信系统；多通道通信；b o n d i n g 技术 a b s t r a c t s i n c e19 9 0 s ，p a r a l l dc o m p u t i n gh a sd e v e l o p e du n p r e c e d e n t e dr a p i d l y , s t r u c t u r e o fp a r a l l e lc o m p u t e rs y s t e mh a sm a t u r e d ，d a t at r a n s m i s s i o nn e t w o r kh a sb e c o m e s t a n d a r d i z a t i o na n dt r a n s m i s s i o nr a t eh a sl i j f i e d ，w h i c ha l lh a v ec r e a t e da d v a n t a g e d c o n d i t i o n sf o rt h ed e v e l o p m e n to fp a r a l l e ls y s t e m c l u s t e rs y s t e m sh a v eb e c o m et h e m a i na c h i e v e m e n t so fp a r a l l e lc o m p u t i n g a st h ep e r f o r m a n c eo fn o d e sc a l c u l a t i o n i m p r o v i n gc o n t i n u o u s l y , c o m m u n i c a t i o ns y s t e mi nc l u s e rh a sb e c o m ea ni m p o r t a n t f a c t o rf o r p a r a l l e lc o m p u t i n gp e r f o r m a n c e t os a t i s f y c l u s t e r sd e m a n df o r p e r f o r m a n c e ，r e l i a b i l i t y , m a i n t a i n a b i l i t ya n do t h e rr e q u i r e m e n t s ，i ti sn e c e s s a r yt o i m p r o v et h ec o m m u n i c a t i o ns y s t e m sp e r f o r m a n c e t h en e wh i g h s p e e dn e t w o r k sa r e u s u a l l ye x p e n s i v e w h i l et h et r a d i t i o n a il o w s p e e dn e t w o r k sa r en o tf u l l yu t i l i z e d b e c a u s et h e ya r en o tm e e t i n gt h en e e d so fh i 曲- p e r f o r m a n c ec o m m u n i c a t i o n i ti s n e c e s s a r yt ot a k et h ei d e ao fp a r a l l e lp r o c e s s i n gt om a k et h eb e s tu s eo fa v a i l a b l e c o m m u n i c a t i o nr e s o u r c e s m u l t i n e t w o r k i n gc o m m u n i c a t i o n ( m n c ) t e c h n o l o g y f o c u s e so ne x p l o i t i n gm u l t i p l en e t w o r k st oi m p r o v ec o m m u n i c a t i o np e r f o r m a n c ea n d r e l i a b i l i t y t h i sp a p e ri so n ei m p o r t a n tp a r to fl i a o n i n gs c i e n c et e c h n o l o g yf u n dd o c t o r s t a r t u pp r o j e c t ：r e s e a r c ho nh i g hp e r f o r m a n c em u l t i n e t w o r k i n gc o m m u n i c a t i o ni n p a r a l l e ls y s t e m ( n o 2 0 0 510 5 8 ) t 1 1 i sm a i n l ys t u d i e sc o m m u n i c a t i o ns y s t e mo f p a r a l l e ls y s t e m t h em a i nc o n t e n ti n c l u d e s ： 1 i ta n a l y z e st h em a j o rc o m p o n e n t so ft h ec o m m u n i c a t i o ns y s t e m ，t h eb a s i c t h e o r yo fm p i ，w h i c hi st h em o s ti m p o r t a n tp a r a l l e lc o m p u t i n gp r o g r a m m i n gt o o l ， a n dt h ei m p o r t a n c eo ft h a tt h ec o m m u n i c a t i o ns y s t e mt ot h ew h o l ec l u s t e r p e r f o r m a n c e 2 b a s i n go nt h ec o d e so fm p i c h 1 2 5a n dl i n u x 2 4 3 2 i ts p e c i f i ca n a l y s e s t h em p i c h sc o m m u n i c a t i o np r o c e s s ，w h i c hi n c l u d i n gt h r e el a y e r s ：a p p l i c a t i o nl a y e r , k e m e ll a y e ra n dn i cl a y e r f r o mt h es e n da n dr e c e i v ef u n c t i o n so fm p i c hl a y e rt o t h ep r o c e s so fs o c k e ta n dt c pp r o t o c o li nk e r n e ll a y e r ，a n df i n a l l yt h en i ct r a n s m i t s d a t ab e t w e e nt h en o d e sa n dn e t w o r k a n di te x p a t i a t e si m p o r t a n c eo fc o m m u n i c a t i o n s y s t e mo np a r a l l e lc o m p u t i n gp e r f o r m a n c ef r o mt h r e es i d e s ? g i v e st h ea p p r o a c h e s h o wt oi m p r o v et h ec o m m u n i c a t i o np e r f o r m a n c e 3 o nt h e e x i s t i n ge x p e r i m e n t a l e n v i r o n m e n t ，t h i sp a p e rp r o p o s e st h e o p t i m i z a t i o nl i g h t e s tl o a ds e l e c t i o na r i t h m e t i c ( o l l s ) ，w h i c hi sb a s i co nt h eb o n d i n g t e c h n o l o g y t i l i sa r i t h m e t i cg e n e r a t e sa ni n d e xa c c o r d i n gt ot h en i c sc u r r e n tl o a d s t a t u s ，w h i c hs h o r t st h et i m ef o rf i n d i n gt h el i g h t e s tl o a dn i c ，r e a l i z e st h ed y n a m i c c h o i c eo fn e t w o r k i n gc o m m u n i c a t i o n ，o p t i m i z e st h ep e r f o r m a n c eo ft h ee n t i r es y s t e m f i n a l l yu s e st h em p b e n c ht e s t i n gt h eb r o a d c a s tc o m m u n i c a t i o n , b a n d w i d t ha n d r o u n d t r i p ，t h er e s u l t ss h o wt h a tt h eo p t i m i z a t i o nl i g h t e s tl o a ds e l e c t i o na r i t h m e t i ci s b e t t e rt h a nb o n d i n gt e c h n o l o g ya n do n e - n e t w o r k i n gc o m m u n i c a t i o n k e y w o r d s ：p a r a l l e ls y s t e m ； m u l t i n e t w o r k i n gc o m m u n i c a t i o n ； c l u s t e rs y s t e m ；c o m m u n i c a t i o ns y s t e m ； 并行系统高效多通道通信技术的研究 学位论文独创性声明 本人承诺：所呈交的学位论文是本人在导师指导下所取得的研究成果。 论文中除特别加以标注和致谢的地方外，不包含他人和其他机构已经撰写或 发表过的研究成果，其他同志的研究成果对本人的启示和所提供的帮助，均 已在论文中做了明确的声明并表示谢意。 学位论文作者签名：日期：矿驴a 学位论文版权的使用授权书 本学位论文作者完全了解辽宁师范大学有关保留、使用学位论文的规 定，及学校有权保留并向国家有关部门或机构送交复印件或磁盘，允许论文 被查阅和借阅。本文授权辽宁师范大学，可以将学位论文的全部或部分内容 编入有关数据库并进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文。保密的学位论文在解密后使用本授权书。 学位论文作者签名： 5 3 指导教师签名：刮请昏 日期：z i , - a 8 6 。2 - 并行系统高效多通道通信技术的研究 1 1 选题的背景和现实意义 第一章绪论 计算机已经深入到当今社会的发展中，尤其是在科学、经济、军事等方面， 更成为不可或缺的重要工具。计算机技术的发展已经成为衡量一个国家科技实 力的标志。理论物理研究、天气准确预报、地下煤层及油气蕴藏情况分析、军 事模拟核爆、经济统计测算等高科技研究不仅计算数据量大还需要在“合理 的时间内完成，用常见的串行算法在单一计算机上运行是很难解决的，此时就 要在并行系统上进行并行计算来解决。 并行计算与并行算法是计算数学与新一代计算机相结合的产物，是大规模 科学计算的理论基础和支持工具n 4 1 。并行计算提供了解决大数据量计算问题的 一般方法，越来越多的用户开始利用并行算法进行大规模数值计算。目前在国 际上，高科技竞争同益激烈，并行计算技术对保障国家安全、促进科技进步、 推动经济发展有着不可替代的重要作用。 并行计算消息传递接口m p i ( m e s s a g ep a s s i n gi n t e r f a c e ) 是目前最重要的 并行计算编程工具。它吸收了其他多种并行编程工具的优点，同时兼顾性能、 功能、移植性等特点，在短短的几年内便迅速普及，成为消息传递并行编程模 式的标准睛3 。 集群系统是当今并行系统中应用比较广泛的一种，是随着工作站、p c 性能 的迅速提高、价格日益下降以及高速互连网络的陆续问世而产生的。集群系统 是通过互连网络连接起来的多台计算机的集合。通过并行软件的设计，使得计 算结点、互连网络、操作系统、中间件软件和系统管理软件结合起来，形成单 一集成的协同计算环境。其中计算结点通常是带有存储器、i 0 设备和操作系 统的单一处理机或多处理器系统，如p c 、工作站等嘲。 通信系统对于集群系统的计算效率、处理问题的适应范围以及系统的可扩 展性都有重要影响。随着互连网络和通信软件技术发展的成熟，基于传统单一 网络连接的单通道通信环境的通信性能已满足不了大规模应用对通信性能的需 求。相对于计算结点计算能力的快速提高，通信性能的提高显得明显滞后，单 道通信环境已经成为提高并行系统整体性能的因素之一。 并行系统高效多通道通信技术的研究 多通道技术口3 正以其优越的性能开始在历史的舞台上展现。多通道技术可以 并行利用现有的多条网络链路，提高应用层可用的硬件网络带宽；充分利用传 统低速网络资源，性价比高；提供更好的可用性和冗余容错。 1 2 国内外研究与发展现状 对并行计算的需求是广泛的，主要集中在三种类型的的应用需求：计算密 集型，如数值模拟等；数据密集型，如数据仓库等；网络密集型，如远程医疗 等。而正是这些重大的应用领域推动了计算技术的发展，许多国家的科研机构 及计算机公司竞相投入研究呻均3 。在2 0 0 7 年1 1 月份的最新t o p 5 0 0 州排行榜中， 总共有4 0 6 套系统都采用了集群( c l u s t e r ) 体系架构，无疑证明了集群体系结构 是使用最广泛的架构，其份额达到了8 1 2 。如图1 1 所示。 图i i 最近1 0 年t o p 5 0 0 排名体系结构分布 随着网络技术的发展，集群互连网络的物理带宽有了很大的提高，从1 0 m b p s e t h e r n e t ，发展到1 5 5 6 2 2 m b p s 的a t m ，1 g b p s 的g i g a b i te t h e r n e t ，2 g b p s 的 m y r i n e t 1 等等。然而，我们更加关心在应用程序中所看到的性能，所以通信坍 议的性能越来越引起人们的注意。 目前在集群通信系统的研究方面出现了许多高效的通信系统，其中比较有 代表性的有v i 唧i c 、u - n e t 、g m 、b i p 和b c l 等。 v m m c n2 i ( v i r t u a lm e m o r y m a p p e dc o m m u n i c a t i o n ) 是1 9 9 4 年美国普林斯顿 大学计算机系k a il i 教授等研制的多计算机系统s h r i m p 中所采用的通信机制。 2 甜沁 忡泖 一口 口 liif一l加 z ， 一盟 iijl 殁 豁 0000趋惦卜ioti臣加 丁 。曩翻疆盈鞋舛illl牡 彭 0盥圈圈瞄避il加瞳圈豳强圈礴圈明圈照会!r誓t牡曩曩圈圈鼹嚣日置叭ill牡iii重量燃鞋伯 日目h日日hhhhhh日h目目h目hhq熟 lilll】l【建跃垦他 0 d d d 0 0 0 0 0 0 钙 加 弱 筋 加 佰 坩 5 并行系统高效多通道通信技术的研究 它是一种基于虚拟内存映射的通信机制，需要在s h r i m p 系统专用的网络接口上 运行，同时对操作系统有较大的依赖。 u - n e t n 3 1 是1 9 9 5 年美国科内尔大学计算机科学系的e i c k e n 等人设计的通信 系统。其目的就是在不削弱保护机制的前提下，通过允许多个用户进程对网络 接口硬件的直接访问，取得较小的通信延时和较大的通信带宽，并在其上实现 高层通信协议的灵活性，它为之后的一些系统都提供了借鉴的模式。 g m ( g 1 e n n sm e s s a g e s ) n 邮是m y r i c o m 公司自己设计和推出的一套适用于 m y r i n e t 互连网络，基于消息传递的用户态通信协议，为上层通信系统或用户 应用程序提供高性能高可靠的通信服务。其具有支持用户态通信和多进程对网 络接口的复用，自动映射整个m y r i n e t 网络结构等特点。但不直接支持广播 多播通信，另外其编程模式复杂，不易直接使用其编程接口进行编程。 b i p ( b a s i ci n t e r f a c ef o rp a r a l l e l i s m ) u 副是由法国里昂大学l o i cp r y l l i 等人研究的一种在m y r i n e t 网卡上运行的精简低层次通信协议，其目标是提供 一个高效的硬件访问方式和零存储拷贝通信。由于b i p 只支持很简单的通信功 能，因此它不能直接提供给最终用户程序员使用，b i p 仅为高层的m p i 等提供 一个具有较好性能比的开发环境。它同时提供阻塞式和非阻塞式通信接口：其 通信的可靠性由网络硬件保证；提供有序的消息传递；提供错误检测功能，但 不提供错误恢复功能。 b c l ( b a s i cc o m m u n i c a t i o nl i b r a r y ) n 6 1 基本通信库是由中科院计算所的国 家智能计算中心研制的曙光系列大规模并行计算机系统的通信系统，它是一种 基于消息传递的集群通信协议，也随着曙光集群系统的更新换代进行升级和完 善。基于m y r i n e t 高速网络，通过结点间相互收发消息来完成集群内部的通信 和同步。b c l 支持阻塞和非阻塞的通信语义，提供了完善的流量控制、错误纠 正等功能，具有很高的可靠性和容错能力。从曙光3 0 0 0 上的b c l 一3 通信子系统 开始，b c l 协议加强了对s m p 集群结点的特殊支持。在最新的b c l 一4 中还实现 了基于m y r i n e t 网络设备的高性能t c p i p 协议。 1 3 本文主要工作 本文的主要内容是研究集群系统多通道通信技术。论文共分为五章，内容 与组织如下： 第一章为绪论。首先阐述了并行计算技术的应用优势和重要编程工具m p i 。 3 并行系统高效多通道通信技术的研究 介绍了并行计算的重要载体集群系统的发展，说明了通信系统的发展对集群系 统计算效率的提高和适用范围的扩大具有重要意义并介绍了当今国内外的主要 通信系统。着重介绍了多通道通信技术的提出背景和应用需求。 第二章介绍了并行计算通信技术的基本构成和当今流行的通信网络。综述 了当前广泛使用的并行计算m p i 的基本理论。并从三个方面着重分析了通信系 统对并行计算性能的影响。 第三章首先分析了并行计算的整个通信过程。从应用层m p i c h 层的三种传 输协议的通信开始，到s o c k e t 层和t c p 协议的实现，最后是网络适配器层统一 数据接口的使用。然后阐述了影响并行通信的三个主要原因，以及两种行之有 效的改善通信系统性能的途径，着重分析了其中的多通道通信技术。 第四章分析了多通道通信技术的几种调度机制，和基于以太网的一种多通 道通信技术一b o n d i n g 技术。比较了各种模式的工作机制，对自适应负载均衡 ( a l b ) 的工作原理进行了细致的分析，并提出了自己的改进算法：优化最轻负载 选择法( o p t i m i z a t i o n1 i g h t e s tl o a ds e l e c t i o na r i t h m e t i c ) 。在现有实验环 境下测试，改进的算法具有较好性能。 最后第五章是全文的总结和进一步的研究方向。 4 并行系统高效多通道通信技术的研究 第二章并行计算通信系统 2 1 并行计算通信系统 2 1 1 并行计算通信系统构成 集群通信系统包括互连网络硬件和通信软件两部分，如图2 1 所示。互连 网络为计算结点提供硬件层物理连接，为上层通信软件提供基本通信服务。通 信软件是底层物理网络和上层应用程序之间的中间层，负责利用硬件层通信功 能向应用程序提供所需的通信服务，并将硬件层通信性能反应到应用层。 并行程序 通 结 高层通信 信 点 “， l 低层通信l 软 i 设备驱动i 件 结 ， 结 点 隧胭绦接鹱i 绸 硬 点 f： l，l 件 。l 图2 1 通信系统构成示意图 从硬件的角度来看，并行计算通信系统主要包括高速互连网络和网络接口 两部分。互连网络用于完成各结点之间消息数据包的传输，一般具有高带宽、 低延迟的特点。网络接口的功能是实现处理结点与互连网络之间的连接。典型 的结构模式是用一块插在i o 总线上的网络接口将主机处理器和存储系统连接 到网络上。互连网络的结构取决于所使用的网络类型，目前常见的网络，按传 输机制的不同可以分为两类：一类是共享介质网络，常见的有1 0 0m b p s 或1 0 0 0 m b p se t h e r n e t ，其聚合网络带宽和单一的网络带宽是一样的，通信性能会随着 5 并行系统高效多通道通信技术的研究 网络负载的增加而下降，特别是对于某些负载比较集中的应用程序，这种影响 更加明显，但是价格低廉，性价比高；另一类是开关网络，比如1 2 8 6 b p s 或 2 0 b p s 的m y r i n e t ，其聚合网络带宽比单一的网络带宽高很多，除了开关的交换 延迟影响外，性能不会因为网络负载的增加而降低很多，但是价格比较高，一 般机构支付不起。 从软件的角度来看，网络接口硬件到并行应用程序之间，通信系统通常由 四个层次的软件组成：设备驱动程序、低层通信协议、高层通信协议和并行程 序计算环境。设备驱动程序实现了设备访问、缓冲管理、多路复用和中断处理 等操作。低层通信协议，一般负责链路包的装配、与网络接口的数据交换等等， 如同e t h e r n e t 中的数据链路层( d l p i ) 、m y r i n e t 的a p i 层。高层协议层主要处 理消息的可靠性、顺序性和消息的拆分与组装，如同e t h e r n e t 中的传输层 ( t c p u d p ) 、l y r i n e t 的传输层。 2 1 2 当今流行的通信硬件 2 1 2 1e t h e r n e t 以太网技术 以太网最初是由x e r o x 公司研制而成的，并且在1 9 8 0 年由d e c 公司和x e r o x 公司共同使之规范成形。后来它被作为8 0 2 3 标准为电气与电子工程师协会 ( i e e e ) 所采纳。千兆以太网技术作为高速以太网技术，给用户带来了提高核心 网络的有效解决方案。千兆以太网的主要特点： 1 简易性。千兆以太网继承了以太网、快速以太网的简易性，因此其技术 原理、安装实施和管理维护都很简单； 2 扩展性。由于千兆以太网采用了以太网、快速以太网的基本技术，因此 由l o b a s e - t 、l o o b a s e t 升级到千兆以太网非常容易： 3 可靠性。由于千兆以太网保持了以太网、快速以太网的安装、维护方法， 采用星型网络结构，因此网络具有很高的可靠性； 4 经济性。由于千兆以太网是l o b a s e t 和l o o b a s e - t 的继承和发展，一方 面降低了研究成本，另一方面几乎所有著名网络公司都生产千兆以太网产品， 千兆以太网与其他宽带网络技术相比，其价格优势非常明显。这也是千兆以太 6 并行系统高效多通道通信技术的研究 网最优越的特点。 本文实验是基于现有条件的千兆以太网上进行的。 2 i 2 2m y rin e t 技术 m y r i n e t 是由m y r i c o m 公司研发的。m y r i n e t 网络充分考虑并行系统内部互 连网络传输距离近、出错率低的应用环境，其设计目标是在局域网环境中获得 系统域网络的性能。m y r i n e t 网络采用简化的链路控制协议实现数据传送，减 小数据传输时的协议开销；采用无阻塞的c l o s 网络拓扑结构，减少数据包在网 络中的冲突，提高了网络的吞吐率；运用源址路由方式和虚切入交换方法降低 硬件延迟时间；通过增强网络适配器处理机对数据传输的控制能力，降低软件 协议开销；采用对网络的自动映像和路由选择功能，提高网络的可靠性。但是 m y r i n e t 是一种私有协议，m y r i c o m 公司对该技术有绝对的垄断，在一定程度上 限制了其快速发展和应用1 。 2 1 2 3in flnib a n d 技术 i n f i n i b a n d 是1 9 9 9 年由f u t u r ei o 和n gi o 两个标准整合而来的一种新 型并行互连技术，即可作为系统内部互连技术又可作为网络互连技术。 i n f i n i b a n d 是一个公开标准协议，这使得它可以迅猛的发展。在2 0 0 6 年1 1 月 1 3 同公布的巨型机t o p 5 0 0 的排名中，i n f i n i b a n d 的占有率首次超过了私有协 议m y r i n e t 。i n f i n i b a n d 网络设计用来支持集群应用、存储域网络和处理器间 通信，在获得高带宽的同时也得到q o s 和r a s 性能。i n f i n i b a n d 完备的通信协 议和网络底层的实现技术借鉴了以太局域网、光纤通道存储网络和广域网络的 研究经验，因此具有很强的通用性。i n f i n i b a n d 系统网络受到各大工业公司的 支持，其中包括了如戴尔、惠普、i b m 、英特尔、微软和s u n 等主要服务器厂商， 逐渐成为网络中高速信号传输的重要新技术，也得到了越来越多的人们的欢迎 1 8 - 2 0 7 并行系统高效多通道通信技术的研究 2 2 消息传递接口胛i m p i m l ( m e s s a g ep a s s i n gi n t e r f a c e ) 是由欧美4 0 个主要组织所组成的m p i 论坛定义的一个标准，为高性能并行计算提供一个方便灵活的环境，是目前国 际上最流行的并行编程环境之一。它具有移植性好、功能强大、效率高等多种 优点，且有多种不同的免费、高效、实用的实现版本，几乎所有的计算机厂商 都提供对它的支持，这是其它并行编程环境无法比拟的。表2 1 中列出了目前 主要的m p i 实现版本。 表2 1m p i 的主要实现 具体实研制单位 开发时间网址 m p i c h a r g o n n ea n dm s u 1 9 9 2 - 至今卿- u n i x m c s 。a n l p o v m p i m p i c h l a mo h i os t a t e 1 9 9 1 至今h t t p ：删1 a m m p i o r g u n i v e r s i t y c h i m p e d i n b u r g h 1 9 9 1 - 1 9 9 4f t p e p c c e d a c u k p u b p a c k a g e s c h i m p 2 2 1m p l 的定义和特点 对m p i 的定义是多种多样的，它们限定了m p i 的内涵和外延口2 。2 5 1 。 1 m p i 是一个库，而不是一门语言。按照并行语言的分类，可以把 f o r t r a n + m p i 或c + m p i 看作是一种在原来串行语言基础之上扩展后得到的并行 语言。m p i 库可以被f o r t r a n c c + + 调用，从语法上说，它遵守所有对库函数 过程的调用规则，和一般的函数过程没有什么区别。 2 m p i 是一种标准或规范的代表，而不是特指它的某一个具体实现。迄今 为止，所有的并行计算机制造商都提供对m p i 的支持，可以在网上免费得到m p i 在不同并行计算机上的实现，一个正确的m p i 程序，可以不加修改地在所有的 并行机上运行。 3 m p i 是一种消息传递编程模型，并成为这种编程模型的代表和事实上的 标准。m p i 虽然很庞大，但是它的最终目的是服务于进程间通信这一目标的。 m p i 具有较高的通信性能，较好的程序可移植性和强大的功能，包括以下 几个方面： 1 提供应用程序编程接口； 8 并行系统高效多通道通信技术的研究 2 提高通信效率。措施包括避免存储器到存储器的多次重复拷贝，允许计 算和通信的重叠等； 3 可在异构环境下提供实现； 4 提供的接口可以方便c 语言和f o r t r a n 的调用； 5 提供可靠的通信接口，即用户不必处理通信失败； 6 定义的接口和现在已有接口( 如p w ) 差别不能太大，但是允许扩展以提 供更大的灵活性： 7 定义的接口能在基本的通信和系统软件无重大改变时，在许多并行计算 机生产商的平台上实现。接口的语义是独立于语言的； 8 接口设计应是线程安全的。 m p i 提供了一种与语言和平台无关，可以被广泛使用的编写消息传递程序 的标准，用它来编写消息传递程序，具有实用、可移植、高效和灵活等特点。 2 2 2 胛i 的四种通信模式 m p i 消息传递过程分为三个阶段：( 1 ) 消息装配，将发送数据从发送缓冲区 中取出，加上消息信封等形成一个完整的消息；( 2 ) 消息传递，将装配好的消息 从发送端传递到接收端；( 3 ) 消息拆卸，从接收到的消息中取出数据送入接收缓 冲区。如图2 2 所示，整个传递过程可划分为三个层次：m p i 层，内核层和网 络接口层。m p i 层处于整个传输的项部，为用户提供一个透明通用的函数库， 完成用户程序的通信操作。内核层起到一个承上启下的作用，向上为m p i 层提 供s o c k e t 接口函数，向下为网络接口程序准备s k b 数据空间。网络接口层与网 络设备直接相连，处于传输的最底层，向上为内核层提供抽象的网络设备结构， 屏蔽不同网络设备的区别，实现网络设备的统一管理。 图2 2b l p i 消息传递过程 9 并行系统高效多通道通信技术的研究 在m p i 规范中定义了四种通信模式：缓存通信模式( b u f f e r e d m o d e ) 、同步 通信模式( s y n c h r o n o u s - m o d e ) 、就绪通信模式( r e a d y m o d e ) 和标准通信模式 ( s t a n d a r d m o d e ) ，这几种通信模式对应于不同的通信需求。在缓存通信模式中， 发送者需要把消息拷贝到一个缓存中，然后以非阻塞方式发送。在同步通信模 式中，发送者发出“请求发送”消息并等待接收者发回“允许发送 消息后才 开始发送消息，所以当发送函数结束时，发送缓冲区可以被释放或者重新使用。 在就绪通信模式中，只有当接收者的接收操作已经启动时，才在发送者启动发 送操作。上述非标准通信模式都是在标准模式基础上进行了扩展，为编程人员 提供了更多的通信手段。 2 3 通信系统对并行计算的影响 通信系统对并行计算的影响主要体现在三个方面： 通信系统的性能影响并行计算效率的提高。a m d a h 定理清楚的说明，如果 能够提高通信的速度，减少并行计算中通信所占时问丌销的比例，就能提高并 行计算的加速比嘶1 。 通信系统的性能影响并行计算处理问题的适应范围。有两类问题需要并行 网络系统的支持。一类是在并行处理过程中需要进行大量数据传输的应用。并 行计算中有大量的数据通信，假如网络传输效率低，通信将发生阻塞，计算结 点因等待数据而处于空闲状态，并行处理时间延长，加速比下降，从而影响了 计算的效率。另一类是在处理过程中需要频繁的进行数据传输的应用。例如在 细粒度并行计算时就需要进行频繁的小数据包通信，假如网络传输延迟大，会 使通信耗费的时间增加，从而限制了并行对这类问题的适应性。 通信系统的性能影响并行计算的可扩展性。互连网络的性能对并行系统的 可扩展性起着决定性的作用。随着计算结点的增多，网络的通信负荷增大，只 有网络系统具有足够的通信带宽才能避免网络阻塞，使整个系统能够正常运行， 并保持较好的加速比和效率。由此可见，提高通信系统的性能是提高整个并行 计算性能的关键因素之一。 1 0 并行系统高效多通道通信技术的研究 第三章并行计算的通信过程分析 3 1 通信过程的三个层次 m p i c h b s d s o c k e t i n e ts o c k e t t c p u d p i p 网络接口 图3 1m p i c h 通信过程 3 1 1 胛lc h 层通信 m p i c h 的整个通信过程可划分为三 个层次艮刀：m p i c h 层，内核层和网络接口 层。在内核层中还可以分为b s ds o c k e t 层，i n e ts o c k e t 层中的t c p u d p 层，i p 层等，如图3 1 所示。本文中就其中主要 的m p i c h 标准通信，b s ds o c k e t ，i n e t s o c k e t 中的t c p 和网络接口层的通信过 程做详细分析。 m p i c h 的标准模式为用户提供了统一数据收发函数m p i s e n d 和m p i _ r e c v 传输接口，并通过三种传输协议来处理不同尺寸的数据包。本文根据 m p i c h - i 2 5 的代码，对这三种传输协议进行了详细分析。 3 1 1 1 咿io h 层的传输接口 m p i c h 发送和接收接口函数原型如下： i n tm p i s e n d ( v o i d * b u f ，i n tc o u n t ，m p i _ d a t a t y p ed a t a t y p e ，i n td e s t ， i n tt a g ，m p l _ c o m mc o l m l l ) ； i n tm p i r e c v ( v o i d * b u f ，i n tc o u n t ，m p i _ d a t a t y p ed a t a t y p e ，i n ts o u r c e ， i n tt a g ，m p l _ c o m mc o m m ， m p i s t a t u s * s t a t u s ) ： m p i c h 的收发消息由消息数据和消息信封两部分组成。消息数据给出要传 递数据的个数、类型和数据缓冲区首地址。消息信封给出了数据源地址，目的 并行系统高效多通道通信技术的研究 地址，消息标识和通信域信息。m p i s e n d 将c o u n t 个数据类型为d a t a t y p e 首 地址为b u f 的数据发送到目的进程d e s t ，发送的消息标志为t a g ，通信域为c o m m 。 m p ir e c v 从指定的进程s o u r c e 接收消息，该消息的数据类型和消息标志与本 接收进程指定的d a t a t y p e 和t a g 相一致，接收到的数据保存到起始地址为b u f 的空间，并且接收到的消息所包含的数据元素个数最多不能超过c o u n t ，c o m m 是本进程和发送进程所在的通信域，最后返回状态s t a t u s 。 在标准通信模式下m p i c h 通信层次结构如图3 2 所示。发送过程中，数据 经过了一次拷贝。接收过程中，数据经过了两次拷贝，第一次数据拷贝发生在 接收进程等待数据包到达m p i 层时。随后接收进程按图中所标注的顺序在两个 队列中进行匹配，匹配成功后进行第二次数据拷贝。这样数据就接收到用户定 义的接收缓冲区。 m p is e n d s o c k e ts e n d 图3 2m p i c h 通信层次结构 3 1 1 2m p l c h 层的三种传输协议 三种传输协议分别为s h o r t 协议( s h o r tp r o t o c 0 1 ) ，e a g e r 协议( e a g e r p r o t o c 0 1 ) 和r e n d e z v o u s 协议( r e n d e z v o u sp r o t o c 0 1 ) 。s h o r t 协议是将数据复 1 2 v 并行系统高效多通道通信技术的研究 制到了消息信封中一起发送，虽然增加了一次复制，但是省去了单独发送消息 数据的开销。e a g e r 协议是先发送消息信封，然后发送消息数据。r e n d e z v o u s 协议则是先传输消息信封到目的进程，当目的接收进程需要相关的数据并有空 间存放这些数据，则向源发送进程提出发送数据的请求，源发送进程再将消息 数据发送到目的进程。s h o r t 协议适合发送短消息，e a g e r 协议适合处理长信息， 相比较之下r e n d e z v o u s 协议可以处理任意数量和任意长度的消息，一般用于传 输超长消息。这三种协议在m p i c h 初始化函数m p i d c h i n i t m s g p a s s0 中根据 数据长度初始化成相对应的操作函数，如表3 1 所示。 表3 1m p i c h 三种协议对应的初始化函数 d e v s h o r t _ m s gm p i d c h s h o rt s et u p0 d e v l o n g _ m s gm p i d c h e a g e r b s e t u p0 d e v v l o n gm s gi d p i d c h r n d v b s e t u p0 1 发送函数分析 m p i s e n d0 调用函数m p i s e n d d a t a t y p e0 分别对连续的缓冲区和非连续的 缓冲区进行相应的处理。本文以连续缓冲区为例，m p i s e n d d a t a t y p e ( ) 调用函 数m p i d _ s e n d c o n t i g0 根据数据长度选择不同处理方法来发送消息。 对于短消息则调用d e v 一 s h o r t _ m s g 一 s e n d ( ) ，即函数m p i d c h e a g e r b s e n d s h o r t ( ) 。将发送数据b u f 拷贝到了m p i d p