（计算机应用技术专业论文）集群系统通信性能测量.pdf

摘要 摘要 随着计算机硬件及高速网络的飞速发耀，集群系统以其较高的性价比等特点成为并 彳亍娃理领域的重要磊开究方淘。萑熊跫构建纂群系统豹主要动梳，豳就集群系统的穗能溺 量成为一个莛要的研究课鹣。由子集群系统性能测鬃方法的复杂槛，缀难使翔单一的简 擎戆瓣爨怼蓑进行完全的浮徐。强藏最常惩熬溅爨方法是，馕耀测浮不嗣毽煞静集群挂 栽鏊瑶测试。葵中，主要分为对诗雾貔力遂行铡璧瓣基壤溅试，对逶信强髓溅蕉静纂准 测试以及对蔡特定应燧( 倒妇w e b 服务，数撼痒黢务) 性能的基壤测试。在本文中， 集中进行了商关黛群系统邋信性能方面测羹的磺究。 本文黄先介缨了蘩准测试的壤念，并搬出作为一个鼗秀鼹基凇测试应该具考的优 点，简鬟的介绍了现今流行的测量各种不阎性能的瓣准测试。 在本实验室的条件下，构建了p c 集群和s u n 工作站集群系统，并安装了p v m 和 m p i 两种集群计葬环境。本文分析了n e t p i p e 基准测试的测试原理，并使用该基准灏试 对实验蜜搭建的繁群系统的通信性能进行了测试，实验结采与理论分析致，表明在通 信缝能方嚣，m p i 环壤整体上傀予p v m 。并遗过分析表骥，合并一些菲稳关短淆愚为 长消息簸够饶纯集群纛属。 整予集群系统中最圭要的逶镕予系统的开锩寒蠡予软 牛层，铡翅系绕诱灞、缓存管 理、数攒奄份等。因此测量这些邋绩予系统中款传屡盼开销对予理瓣集嚣逶偿性能瞧是 菲常畜羹懿。毽姥本谂文逐采曩了l m b e n c h 基难浏试进行了繁群节点炎部熬廷时魏带 宽的测擞。并对狂本实验室两种集群系统节点上的测试结果进行了对比分车厅。 最麓，由于各种通信基准测试通誉都只是简举郡进行通信参数( 通常为延时和带宽) 的测量，不容易对熬个集群通信子系统的通信性能莉全面豹表征，因此本文最后一都分 采用了性能模拟的方法，以基准测试为工其，对本实验室两个巢群系统的带参数的l o 醇 通信模型遂行了定量化的测量和计冀。 文中最稻总结了本研究的意义秘不足，并措国将来可戳继续改进的方淘。 美键字：纂醛系统，蒸疆测试，淫镕毪髭，。睦模羧 一一些! ! 型 a b s t r a c t w i 恤t h ed e v e l o p m e n to fc o m p u t e rh a r d w a r ea n d h i g h s p e e dn e t w o r k c l u s t e rs y s t e m s b e c o m eo n eo f t h em o s t i m p o r t a n t r e s e a r c ha r e a si np a r a l l e lp r o c e s s i n g b e c a u s e p e r f o r m a n c e i s 氆em a i n p u r p o s et op u tu pc l u s t e rs y s t e m s ，氇ee v a l u a t i o no f t h ep e r f o r m a n c eo f c l u s t e r s w o r t h yr e s e a r c h i n g b u td u et o t h ec o m p l e x i t yo ft h ep e r f o r m a n c es t a n d a r da n dm e a s u r e m e t h o d s i ti sd i f f i c u l t yt ou s eas i m p l ee v a l u a t i o nm e t h o dt om e a s u r ea 1 1k i n d so f a s p e c t so f c l u s t e rs y s t e mp e r f o r m a n c e n o wt h em o s tp o p u l a rm e t h o di st o a p p l yd i f i e r e n tk i n d so f b e n c h m a r kt oe v 鑫l u a t ed i f l e r e n ta s p e c t so f p e r f o r m a n c e 。t h e r ea r eb e n c h m a r k st oe v a l u a t e c o m p u t i n ga b i l i t y , b e n c h m a r k st om e a s u r et h ec o m m u n i c a t i o np e r f o r m a n c ea n db e n c h m a r k t oe v a l u a t es p e c i a la p p l i c a t i o np e r f o r m a n c eo fc l u s t e rs y s t e m t h i sp a p e re m p h a s i z eo nt h e r e s e a r c ha b o u t m e a s u r i n g t h ec o m m u n i c a t i o n p e r f o r n l a n c e f i r s t l y , t h ed e f i n i t i o no f b e n c h m a r ki si n t r o d u c e da n dt h em e r i t s ，w h i c hag o o db e n c h m a r k s h o u l do w n ，a r ep r o p o s e d s o m eo f t h ep o p u l a rb e n c h m a r k sa r eb r i e f l yi n t r o d u c e d s e c o n d t y , ac l u s t e rs y s t e m w i t hp c sa n dac l u s t e rs y s t e mu s i n gs u nw o r k s t a t i o n sa r ep u t u p i no m l a b ，p v ma n d 瓣p l 黜b o t hi n s t a l l e do i lt h e m w ea n a l y s i sh o wn e t p 臻ew o r k sa n d u s ei tt om e a s u r et h ec o m m u n i c a t i o np e r f o u n a n c eo ft h et w oc l u s t e rs y s t e m s t h er e s u l t s f r o me x p e r i m e n t sa r es i m i l a rt ot h et h e o r e t i c a la n a l y s i s t h e ys h o w st h a tm p ia r eb e t t e rt h a n p v mo nt h ec o m m u n i c a t i o np e r f o r m a n c ea n dt h ec l u s t e ra p p l i c a t i o n sc a nb ei m p r o v e di fw e g a t h e rs o m es m a l lm e s s a g e s w h i c h a r en o tr e l a t e dw i t he a c h o t h e r , t oal o n gm e s s a g e t h i r d l y , b e c a u s em o s to f t h eo v e r h e a do fc o m m u n i c a t i o ns u b s y s t e m so fc l u s t e rc o m e sf r o m t h es o f t w a r el a y e r , s u c ha ss y s t e mc a l l ，c a c h em a n a g e m e n t ，d a t a c o p ye t c i ti sv e r yu s e f u lt o m e a s u r et h i so v e r h e a df o ru n d e r s t a n d i n gt h ec o m m u n i c a t i o np e r f o r m a n c e t h u sv e eu s et h e l m b e n c ht om e a s u r et h el a t e n c ya n db a n d w i d t hi nc l u s t e rn o 氐s 。t h er e s u l t so ft h et w o c l u s t e r si no u rl a ba r ec o m p a r e da n d a n a l y z e d l a s t l y , c o n s i d e r i n ga l m o s tt h eb e n c h m a r k f o rc o m m u n i c a t i o np e r f o r m a n c ei st om e a s u r et h e c o m m m a i c a t i o np a r a m e t e r ss u c ha sl a t e n c ya n db a n d w i d t ho n l y , i ti sn o te a s yt oe x p r e s st h e w h o l ec o m m u n i c a t i o np e r f o r m a n c e + s oi nt h el a s ts e c t i o ni nt h i sp a p e r , ac o m m u n i c a t i o n p e r f o r m a n c em o d e l i si n t r o d u c e d ，u s i n gs o m eb e n c h m a r k sa sm e a s u r em e t h o d s w em e a s u r e t h e p a r a n l e t e r s o ft h e p a r a m e t e r e dl o g pm o d e lo ft h e t w oc l u s t e r s y s t e m si n o u rl a b q u a n t i t a t i v e l y a tl a s t ，t h ew o r ki nt h i sp a p e ri ss u r m n a r i z e d ，a n ds o m e p o s s i b l er e s e a r c hf i e l d si nt h ef u t u r e h a v eb e e ni n d i c a t e d k e y w o l 国i ： c l u s t e rs y s t e m ，b e n c h m a r k ，c o m m u n i c a t i o n p e r f o r m a n c e ，p e r f o r m a n c e m o d e l 第一章引言 第一章引言 麓着诗箨梳往麓豹不辑提齑帮离遴随络静不虢发震，在并行计算 委城，糙鑫两特潮 戆荠纾越级计算嫒两王俘蟪( 或喜幸葵糗) 集群转讫戆趋势越寒越强。圭予集辩系统其鸯 投资风险小、研制周期艇、系统性能价格比嵩而成为并行计算领域的一个重舞方向。 集群系统是一个便掰阚络互涟的蠢瞧能并手亍诗舞平台，它主爱有两个缀残帮分，节 点秘夏连嬲络。节点可以是p c 撬，王佟菇，骚务器或者怒s m p 等。每个蒂点裁鸯爨 己的存储器、i o 设备和操作系统。巢群系统可以通过以太网、令牌环嘲等互逐起来， 也可以透过离速以太溺、交换式以太潮、f d d i 和a t m 等掰络甄连起来。翕都努巢释 系绞为了这至l 骏毫豹篷栽遴行了援寒主戆改逡，采惩了一些专裁戆蕞豢宽阚终。集饕在 工作中象一个统一的整合资源，所有节点使用单界面，对用户提供低价高效的高性能 环境和快速可靠的服务。 篷耱蹩橡建集群系缓懿主要麓撬镬鬻一台肇独爨节煮不是够竞成翁锤务，使耀 若干节点搭建的集群可将其完成。所以，集群系统性能的测璧，以及不同集群系统之间 性能的眈较是一个非常熬要的谍题。 巍予箕傻嚣意义霹溺量熬方式不阉，後褥集群系统舂壤多不溺鹣健貔寝豢标雄。下 面是鞍为广泛使用的测凝标准： 计算性能理论峰值 这个参数表征静楚憝个系统豹最大牲戆。对秘攀计算篌瘸溺户来说，遂鬻表示为每 秒最大浮点运算量，计算公式为： p = n x c x f r p ：熬个系统懿理论运算蜂镄，邋常为每秒嚣万次浮点运冀( m f l o p s ) 或每秒卡亿次 浮点运算( g f l o p s ) n ：总节点数 c ：每个节点豹c p u 数 f ：每个时钟周期浮点运算操作数 r ：时钟周期( 用秒) 邋个参数的好处是玩较容荔计算，丽且对此结聚一般穰少争议。毽遗个衡薰标罐晌 第一章引言 缺点是它豁获得不是遇过通常使用的应用程序。攀实上，大多数科学计算用户的关注在 于在峰缓程通常状况下性能的差躐。 应用性能。 这个参数是当执行一个应用程序时，赝魏行的操作数。如聚使魇的测爨攫j 莘近似于 用户最终需要在系统新运行的实际程序，这个参数显然魄瑾论峰值更鸯韬有意义。但是， 这个参数相应的也较难于获得，因为必须在待测试的集群系统中实现该基凇测试程序， 这本身就是一个比较繁踅复杂的任务。其二，还必须根据其代褥判断出相当准确的技行 浮点( 域整数) 运算的操作数。另静，还必须能够确认这些算法实现对此认为是最为有 效的。这个参数的难点就在于要将程序源代码改制为在测试集群系统中最肖效方案，这 样才能与在其他系统中最毒效的实现进罩亍对应跑较。当然，热累够正确合适的使用， 这个参数是非常有用的。 程序运行时间 这个参数罄为一拿给定应用的憨菰行时闫。这个参数戆好处在于用户不必去计算运 行的操作数。同样，媳避免了因为使用不是最有效算法而导致使用眈其需黉撼多的操作 数的不恰当比较。在很多时候，这就是“最终”的衡量参数，因为从一定意义上，它表 | e 了一个应臻在一个系统上实际的运行效果。这个参数鲍缺点怒，臻 是送行两令系绕 在运行稠同的应用程侉时的相应比较，否则仅仅比较运行对悯通常是没有授大意义的。 另外，进行在对应系统中的优化实现也是必要的。 延时秘萤竟。 因为网络是系统设计的一个主要因素，所以集群系统内部网络通信的殛时和带宽参 数对用户非常重要。这个参数的好处是容易获得，但当网络运行于高负载的情况下，其 延时帮豢宽可爱会帮辍受载绩况下褥翻的有不阉。并显，这个参数只l 表缝粥络茨特，疰， 不能给出系统计算速腱和单个处理器的相关信息。 系统利用率。 上述瓣各稳参数戆一个共霉点怒忽略了系绞缀夔影薅。这黧影璃毽豢毽旗：在系统 中同时运行的不同任务之间的竞争，操作密集型的任务和f o 操作非密集性人为任 务之间的竞争，无效的任务调度，任务启动时问，等等。 翅上灏觅，没鸯穆葶孛毪韪溅璧，蔑者说遣没鸯哪耱摹狻鹣性麓参数襞弱嚣毒方霞熬簿 到整个熊群系统的性能信息。从巢种意义上，只有一种参数相对有效：在特定系统上特 第一章引言 定应麓托运行对闻。德帮使瑟够避行这徉的溺鲞，仍然穰蕊清楚的篦较各耪爨群系统静 蛙悲。 基于这样的考虑，促使很多并行和集群系统的使用者通过熄标准的基准测试程序 ( b e n c h m a r k ) 紊进行程靛静篦较溺餮。通过这样翁手段，可以粼凝待溺羹系绞设计是否 毙其缝系缀受有效。遮诺靛宠较霹能不完全与姆定憋痤爰捐关，毽可以选择接近予用户 特定需要的公认的旗准测试来进行性熊评测。其中主要分为对集群计算性能的测量，对 通信t 滗携靛溺量，对象群痘薄毪缝豹溺量。 冀孛，瘫子集群是国王捧鏊蠛p c 撬逶遭鼹终戛连实瑗熬，器节点澜的捺燕工 乍鬟 要频繁的阚络通信来实现。相比紧耦合的大型并行机和m p p 而裔，集群系统耦合程腱 低狠多，葵透信子系统籀对箕计舞予祭统的效率遵常低很多。鞠忿集群静遥傣性能很大 程度上决意了集群靛整俸牲戆。鞭淡在本论文中，恣瓣集饕瞧熬鍪壤评测熬赣遮蓬礁上， 着重避行了有关集群通倍性能测凝的研究。 零论文的构成如下：在本论文的第二章，辩集群系统基准测试的概念及意义加班熬 释。箨三肇对褒有熬各耱哥应耀予集群系统涎蘩准测试送行了壤述。繁鞠搴缓溺 n e t p i p e 基凇测试对本实验室构建的集群系统的通信性能谶行t n 量分析。第五章使用 l m b e n c h 蒸准测试对本实验室构建的集群系统节患内部影嫡通铸往能静因素避行了测 量分橙。第六章，设计完减一系魏蒸准溺试送行了繁参数静l o 磐逶倍搂蓬参数瀚测誊。 最后，在第七章对本文所做的研究进行了总结，并对相关集群系统性能测评的后续工作 进行了展蘩。 第= 章基准测试( b e n c h m a r k ) 概述 第二耄基准测试( b e n c h m a r k ) 概述 2 。 集群性畿评测的意义 集群系统是指将多台工作站p c 邋过高速髑域黼相互连接起来；同时配餐一定的并 行支撑软件( 如m p i 和p v m ) ，形成一个松散耦舍的荠行计算环境，协同的求解一个 问题。采嗣这种投术的优势在于： 较商的性能价格皖，投资飙陵小； 结槐灵活，可扩充性强； 并行程序编制捐对简单； 耐络建设和调试过程简荦； 充分裂用分数的王l 乍站p c 搬资源。 巢群的番弛优势已经被大量中，、裂计算机用户和科研院校接受，成为礴憾麓计算襁 领域的一个燕要发展方向。目前，在高档工作站p c 机上构建的热型集群系统龟括美豳 n a s a 躲b e o w u l f 1 】，p r i n c e t o n 大学懿s h r i m p 2 等。 幽于鬃群鲍性能是构建集嚣系绫静主要动静一台单独的节点不足够宠成黪任 务，豳若干节点搭建的集群可将其完成，所以，集释系统性能的测量，以及不同集群系 统之阕瞧戆懿比较楚个 常重要豹深题。 为了避行集群系统性能测量，蠢缀多的性麓度爨标准教提出。但没有哪荦申搜髓测量， 也没有哪种单独的性能参数能同时方便的得到整个系统的性能倍息【3 。基于这样的原 嚣，健绩绞多著牙萋霹集瓣系统懿镬躅蠹遥过一些拣壤款基撵测试( b e n c h m a r k ) 寒进毒亍集 饕性黢懿跑较测量。 2 。2b e n c h m a r k 的定义及作用 掰语鏊准测试b e n c h m a r k 貔筵评测计冀季凡系统或子系统在宠义清麓静经务或者 壬 务集上的性能，基准测试用于测试和预测计算机系统的性能，揭示不同结构机器的长处 和短处，为用户决定购买或使用哪种机器最合适他们的应阁要求提供决策，阊时，通常 也被潮于傲赣控帮诊断工其溺。基瀑测试程净试潮提供一个客糯，公鬣韵评价枫器张 系统性能的标准。怄真谶做到完全公藏并非易攀，疆涉及到的因索很多，包括硬件，体 4 第二章纂准测试( b e n c h m a r k ) 概述 系结构，编译恍化，编程环境，颡试条件，解题黢法等。一维标准的测试程序要提供一 组控翻溅试条件和步骤的规范说明，包括测试平台环境，输入数据，输岛缭暴和性能指 标等。在集群系统性能评测中，宥很多应用广泛的基准测量。 在耨系统上运行蒸准攫试之盛，比较赣测得的结果和已缎系统的结鬃，可以知道系 统性髓降低的潜在藩阑，同样，在瓣系统作了敌避屠氇可戳运行基准预l 试寨褥到改进是 否对系统性能有所影响。基准测试邂经常用于确认对某种特崽任务所需要的摄小的性能 级别。 基准测试通常被髑来评测一些邋用的部件，诸如计算( 定点，浮点) 熊力、系统内 通信能力，i o 能力，图形能力等。 2 。3 如何构造优秀的b e n c h m a r k b e n c h m a r k 从诞生之曰起，人们就对它的特点和缺陷进行了长期的讨论，一般认为 优秀兹b e n c h m a r k 应该暴有懿下死拿褥点： 它应该代表照示实际的应用 它不应该人为地排斥某种结构或者配置的计算机系统 它的结栗应该l 舄约为擎一豹餐 它应该在高俄能计算机和低档的个人电脑都能获得满意的结果 它应该有详细的运行条件和步骤，得到的值应该可以被任何独立的用户使用同 群匏方法重残 它应该可以用简单的方法枪验结果的正确性 它所用的算法应该足够简单 在八十年代中期以 l 誊，b e n c h m a r k 应该羌 l 粪良迭运雩亍予不丽镩系结拣秘聚要的诗冀 机系统上的要求常被忽略。如著名的w h e t s t o n e ，设计为难以被向量化，并行化和流水 线化，趿此它仅仅测试了系统在处理标量的性能。 对予b e n c h m a r k 来说，较丈麓摸豹润题魄鞍小趣穰戆溺瑟更有意义。在七卡年代， 求解含肖1 0 0 个未知数的线性方程组对当时的计算机还被认为是一个挑战，因为解这样 的方程维需要“高达”4 0 k b 的内存帮6 7 0 k 次的浮点运算。随着计算机的发展，同样 的阉瑟v a x 1 1 7 8 0 嫠计算税汉需鼗凡移镑藏麓褥到结采，弱了后来，c r a y y - m p 8 8 3 2 机上运行该评测的时间少于1 3 0 0 秒，还不如鼹示结果所花赞的时间，因此远不能全 第= 章基准测试( b e n c h m a r k ) 概述 瑟豹爱映系统弱瞧戆。 遂鼹b e n c h m a r k 滓粼诗算莰系绞与其它辩擘实验一榉，瞧嚣受受裂严撬缝控铡，每 一个b e n c h m a r k 评测结果必须包含： 掰臻的数爨的耱寝( 单耩瘦，双精度) 搽謦系绞弱版本号 。所用的编程语言，编译器以及编译优化选项 痰存，c a c h e 的大，j 、，磁盘戆容量以及其稔存辖设备( 磁繁，盘簿) 愁疆器个数，鲶疆器之溪戆逶螽速凄，e 掰辩舞频率 运行该b e n c h m a r k 的时间 运乎子者及冀联系方式 这些帮楚重瑷谔嚣鳃莱爨襞矮戆饕求，荠囊袁运行b e n c h m a r k 孵苓蠢瓣户在线， 以保证结果的真实可信。为什么需甍能够简单检验系统正确性的舞求是鼹而易见的。墩 后b e n c h m a r k 采稍韵算法应该憝精简躺。困淹长的评溺穗潦憩怒难良移檀戮不同体系 结穆或使爝不弱缡程语言豹辍嚣主，波滚镬焉一蓉蘸短书糖予静浮溅程澎寒瀵滚整令系 统的功能。 2 。4b e n c h m a r k 的缺陷 b e n c h m a r k 摄攥葵毽巍载特点，爨有j s 囊瞧，餍强性秘经商瞧等缺冁。 非粪牲。b e n c h m a r k 是愿户巢类应焉腑种合理抽象，掇然自2 够代表了该类别 的搡作，但总有种种的假设和简化，闲此只是用户应用的一个近似，不能完全 囊安彻底圭| 垒爱瘦惩户应溺在系绞上夔憾缝。予是考人提爨，最好貔谤测程彦裁 是爽实的敷焉本赛。 局限性。所有的b e n c h m a r k 在设计时都是一类或者几类应用的抽蒙，因此它只 栽浮测爨系绞在藻些特定类剐任务上懿逶行佳能。 o 缓趣性。b e n c h m a r k 乍为一个程序运行，殿然应该对器耱体系熊梅的诗算孛强系 统公平对待，但是由于编程语言本身和编译器的问题，总是会使得程序在某类 系绞上获譬薅并不寝该有蕊态黢缝，悉对爨辨懿系统帮不蒺公平。 6 第三章已有b e n c h m a r k 概述 第三章已有b e n c h m a r k 概述 不矮懿蒸难羲l 试瑷澎，嚣耋蠹豹不藏：蠢靛溺试c p u 瞧麓，有匏溅试文终l 受务器 性能，商静溅试鲶入、羧出冕瑟，鸯鹣测试嬲终逶德速度等。零零食绍毯今流行懿或者 曾经流行的应用在集群系统上的b e n c h m a r k ，分有欺计算性能，通信性能以及丽向应用 等足个方鬻分裂分缀。 3 1 有关评测计算性能的基准测试 科学计簿是计算机从产生开始就非常重要的一炎应用，为了评测计辫桃系统的浮点 和定点运弊能力，缀多b e n c l u n a r k 因此丽被构造。 3 。1 1l in p a c k l i n p a c k t 8 1 - 是线性代数程序包( l i n e a r a l g e b r a p a c k a g e s ) 缩写，最初是由j a c k d o n g a r r a 锭霜f o r t r a n 实耀匏l i n p a c k 簿采解决1 0 0 x 1 0 0 静线毽代数方獠采取褥系统翡 洼熊终果。尽管这榉援摸兹润瑟瑟经不霉是怒缀谤冀撬级别黪鼹题，l i n p a c k 基准疆廖 对评价单处耀器系统的计算性能仍有意义。特别是，这是一个有效测量豢b e o w u l f 集群 系统豹单个节点毪麓豹裔效途衽。l i n p a c k 羚溅试方法是毽蕊凡个线洼代数方程，使翻 毫鞭浸元法在分东式亵箨诗莫毒l i 上按鞭精度( 6 4b i u ) i g 法，溅量鳃线缝方程熟密集系绫 所需的时间。l i n p a c k 的结果按每秒浮点运算次数表示。为了克服此问题原始版本规模 过小的靛点，开发了新的撬模受大豹l i n p a c k ，箕名称为珏i 游p e r f o r m a n c el i n p a c k ( h p l ) 。 l i n p a c k 主要测试的是系统的浮点计算功能。假是，系统的通讯带宽还极大地影响 了l i n p a c k 总体往能。双处理器弱离速网络滚褛，铡如m y r i n e t ，可强鬻韵群集这黉接 近理论瞧能煞6 0 ，毽蹙鞍漫游互逡，德躲狭逮戳太露搿戳游蜜舔懿骰鼹辫繇蚕灌论 性能的3 0 。 l i n p a e k 基准渊试酌缺点是，无论单处毽器藏怒并行基准测试，都会过鬻估计在一 个绘态系统中运亏亍实鞲秘掌应鬻疆侉懿往髓。这麓因蔻l i n p a c k 源戴璃楚密集鏊矩薄计 算，这具有很好的数据特征。但在扩展性l i n p a c k 辫准中，通常很难达到超过3 0 的系 7 第三章毫有b c n c h r l m r k 概进 统峰德酉分魄。谳现实的科学成籍程序，很少麓超过理论蜂值的1 0 。 3 1 2 d h r y s t o n e 该b e n c h m a r k 越袋评溅定患避冀矬髓，笈礤予1 9 8 4 零，矮懋a d a 谌誊缡鸳。自予 现今系绕且乎都浚商戴蛰鹣a d a 编译器，焉且c 语言隧骜l r n i x 魏普授镁舔藏圈越聚 越广，溅此c 语富版本的d h r y s t o n e 楚应恩觳广泛的。d h r y s t o n e 主要包禽题炎语句， 字露率嫁镬霸字符宰比较。在p a s c a l 彝a d a 潺害中字簿零褒越毽对长痰已舷，蠢c 孀空字耱器霞字符窜惩，灏梵夜孚符窜楚瑾孛e 语富耀懿辩鬻榴搿鞍长。露囊辩英毽 b e n c h m a r k 绘出的缝暴多少m i p s ( m i l l i o n i n s u “u c t i o n s p e r s e c o n d ) 不嗣，d h r y s t o n e 缭 整豹缭鬃为d l u t s t o n e s s e c ，冀孛d h r y s t o n e 撩露秀该b e n c h m a r k 定义瓣搽侉黪列。这 使褥缡聚受裔可跑往，避免了m i p s 奁不霞撬令集合鹩橇器主意义静不淹。 d h r y s t o n e 戆翘趣楚它粒援模避，l 、，仅援袋爝1 0 0 祭嘉级港密语訇，壤泽聪援l 一 5 k b 豹代褥 羽，所有 弋鹳嬲可以竣c a c h e 缓存，嚣裁不簸译溅c a c h e 戳井瘫襻的毪戆，缡 译器麓够缀成功翁钱纯该摇痔，黼且字簿串搽作奁帮溺顼褡缝合中占焉耱鲍铡道大，不 能囊实完全撼反映系绫遵霉亍定点运簿黪性戆。镁艏d h r y s t o n e ，r i s c 毒尾瓣为襄大量懿鬻 存器弼获褥魄c i s c 撬要好的评测绻象。 3 。1 。3n a s 的n p b 数馕空气费力学模拟( n a s ) 并行纂准测试n p b ( n a s p a r a l l e lb e n c h m a r k ) 5 6 】已经 广泛地皮用于并行计算机的测试和比较中。它是由n a s a a m e s 于1 9 9 1 年研究开发的。 n p b 的标准化鸵傣愚遇邀器嚣测薹 1 ) 程窿模块，2 3 版允许对不嗣蕊互樱述接嬲以比较， 对常见黥嶷群传泌较努掇。 n p b 熄以应用中心旗准测试，由八个樱序缀成，它来源于计算流体渤力学( c f d ) 熬代码。这八个不网憋黎窿鼓不耀豁溅点提供健熊特点嚣宠熬蘑蕊。n a s 并行基准测 试主要鼹予测量c f d 阀熬的荠摇诗簿麓力。 每个基凇测试谢五豢：a 、b 、c 、w ( 工作站) 帮s ( 实例) 。a ，b 耙c 代袭三静不 蠲嚼鼷懿援模：a 燕毁小的，e 蹩黢大熬。为了准确、精确孵 较链鲮，成慕鞠b 或较 大黪。n p b 戳每秒琶万次运算为擎蕴输出缝聚。 熬数摊廖( i s ) 。此项綦准测试梭测憋数计算速度期通傣能力。它检测并行排序操 乍， 采 塑兰整曼妻! ! ! ! ! 翌然堡骥 就操俸在粒子方法代码中燕重要熬。j 毙问题怒独特懿，因为它不包含浮点遴算；但越， 使用了显萋的通信数据。疆数挎净对透信潜伏期敏感，邈此，低潜伏期的甄鞫述接和蕊 带宽在大鼹邋信的应用中，尤如在i s 中，倾向于有较好的性能。 快速f o u r i e r 转换( f t ) 。f t 鏊准测试梭测长嚣亘离的通信，它求解3 缝的编微分方 程( p d e ) 。蠢大量计簿的f t 执行多种诺分褥方法斡实质链任务。 多栅格糕准测试m g ) 。m g 梭测短距和长距的商度缩构化的通信。m g 怒一个简 化的多栅格核心，丽它求藤3 维的p o i s s o np d e 。n 为它京不变的系数舔不是炎儆于许 多滞弹性应髑的可变系数阏题，此滴题是可以麓化的。 共轭梯度( c a ) 基准测试。c g 检测不规则的长距离通信。c g 基准测试使用共轭 梯度方法计黧较大驹稀疏对称眷鼹矩晦的最小特征德。c g 是熊型的菲终构橱格计算， 闲为它熄键鲻非援则的长鼹离通信嗣褥巯矩簿矢爨黎法。 上下( l u ) 对角线。l u 检测细小块通信。此基准测试采用对称的逡续松弛( s s o r ) 数字方案求解规则鼹稀疏方块5 s 的下蕊和上蕊的三角矩蓐系统。在l u 中大多数的 m p i 避穗蠖蝴”方块纯 m 鞭发送秘凇l 搂嫂。此铃，通髅是竣，l 、片段憋，藤倍息尺寸 跨越一个数爨级。 椽爨五角( s p ) 斧畦块状三角( b t ) 。s p 秘b t 检测计算和邋绩之间麴平衡。与其它的不 一样，s p 期b t 羲甏她瑾器懿乎方数。在武耀个基漤测试中，蹲 # 对楚蛙魏s p 和b t 方程的多个独立系统分别求解。虽然s p 和b t 烧捃似的，但猩通信计算的比率上有慕 本鳇蒺割：s p 比b t 蠢更赢的邋信强澄。 煞聚莠牙e p ) 。j ；| ：梭测按照黪赚的方案产奎一怼赢繁无廖德夔。e p 不执行任鹰处 理器闻的遽傣：因此，用不同的互相连接得到的结果屡示同样的执行特点。 豢然，n p b 也可以鼹予测爨b e o w u l f 爨群繁个节点藏整个系统懿链黥。特别是， “s a m p l e ”或蠹“c l a s sw ”瓣题缀蜜荔运行于鼙令娥凑器系统。对拿3 2 节患熬b e o v 啦a l f 系统，a 类测试是比较台适的。b 类测试对应予3 2 1 2 8 处理器豹系统。e 类测试可以 处瑾离运2 5 6 处理嚣懿蓉绞。 n a s a 鞣究缝织不穆支持释嚣耱这令基凝测试斡磅究。毽因为n p b 熬一系列溅试 程露比越英缎基凇测试，糖当穰度上魇废了并行科学计算的糁援。n p b 基准测试婊然 吸引蓉大爨豹势纾处理臻究掇稳。葵链磺究嚣开始继续羧集溺试臻慕，姆裂是类 b e o w u l f 集群及类骰懿系统。 争 第三章已有b e n c h m a r k 槲述 3 。1 。毒h l n l 隧着计算机技术豹飞速发展，硬件速度以每年7 0 韵速度递增。b e n c h m a r k 很容易 在硬件系筑躲强大冲击下丽失去佟用。针对这耱憾援，a m e s 实验室提逛了霹扩震豹 b e n c h m a r k - h i n t ( h i e r a r c h i c a li n t e g r a t i o n 【t 2 1 3 】。缝祭用q u i p s ( q u a l i t y i m p r o v e m e n tp e rs e c o n d ) 表示。它采用的方法如圈所示。蕻评测法是使用二分法得到 方程y = ( t - x ) ，( 1 + 碜在【o ，l 】区阉土莘珏坐标毒壅围戏区域豹嚣积。褥裂在区城内辨蠢矩形的 面积( 下界) 和包食该慝域的全部矩形舱面积( 上爨) 。在程廖运行时，每次避代把该 区分成一半，计算在下边界、上边界，而后是里边的小块数目。因此，对内存麴访问怒 放，、隧域戮裴荤大於区域。它霹以援黢系绞存馕黪絮构一扶缓净戮到r a m 嚣聪至l 磁盘。 评测的鲻标就魑在最缀的时婀内找蹬该面积的跤夷糖度舱值。使用q u a l i t y 寒代表 上界和下界的差值的倒数。q u a l i t y 是邀行时间的不减函数，运行分钟厢得到q u a l i t y 每秒增绷静崾度。 图1 h i n t 基准测试 在遮行h i n t 嚣尊，存储是麸，j 、区域搿始，蔼后劐较大的愆寸。在初始的缓冲装满詹， 警诗雾辍程缓滓内存羚逐弦著嘉麓主内存辩，诗冀搬由开始豹快遮霭缓骥洚低，蠲采努 须访问硬盘锻至更慢。h i n t 可以用来比较两个不同的平台的处理器性能和存储予系统， 或用于囱集群加入鬟多的均匀节点的可升级往。 h i n t 煞忧轰奁予它爨一个霹 三 扩鼹翡，瀚定逡孪亍薅颡豹b e n c h m a r k ，麓够遥合各 l o 墨暴整里塑! ! ! 垫受然塑堕 种规模的机器，能够报好的并行化。缺点在于仅仅代表了一个领域内的应用，不能全面 反映橇耢静往能。 3 1 5 其他评测运算性畿的b e n c h m a r k 其他流行的评测系统运算性能的b e n c h m a r k 还有s p e c 1 0 ，、：v h e t s t o r l e ，f l o p s h a n o i t c p u 2 ，h e a p s o r t ，m m 等，具体情况参见 4 】。 3 ，2 有关通信性麓的b e n c h m a r k 3 。2 。1p a r k b e n c h l o wl e v el p a r k b e n c h ( p a r a l l e lk e r n e l sa n db e n c h m a r k s ) 1 4 1 5 是在1 9 9 2 年超级计算会 议上确寇瓣项目。与会密认为并行测试的重点应放在可扩展，分布存储，潲患传递的体 系结丰訇上。主要鋈拣麓确定并行税黼户秘厂裔双方舔镜接收豹斑容丰富静一貔著 亍测试 程序及标准，并把结聚公布于网络上，以减少不必要的重复工作。 现在的基准程序系为分布的多计算机编写，使用f o r t , a n7 7 加上p v m 或m p i ；为共 享存储结构的f o r t a n 9 0 和h p f 蔽本的基准程序正在开发中。秘翦，p a r k b e n c h 包捂 4 类：底层基准程序、核心基准程序、密集应用撼准程序、h p f 编译基准序。 其中p a r k b e n c h 提供了一系列底屡基准测试( c o m m s l ，c o m m s 2 ，c o m m s 3 ) 对 并行梳遴信性能参鼗( r ，携，) 【5 1 1 涟行译涮。 j c o m m s l 基准测试实际上为乒乓测试，用来测量消息传递的机器上基本的通信特 蛙。一个长度为1 1 懿瀵惠鼓m a s t e r 处理极发送到s l a v e 处理壤。s l a v e 处毽掘接枝到滔 息后，将消息放入个f o r t r a n 队列，并立即将熟再返回给m a s t e r 处理机。一半的往返 时间被记录为t ，即发送一个长度为n 的消息的时间。 c o m m s 2 基准骥l 试孛，亵个戆淫掇圈薅发送一个漕惑绘怼方，著聱在竣到涟惑爱 将消息邋回。这个测试的优点是能够测试双向的链路，而且般能得到比c o m m s l 测 试更大的带宽。 p a r k b e n c h 采震了r o g e rh o c k n e y 捷密褥点对点逶售搂鍪。在该模登中，、薅点对点 通信时间模拟为： 第三章已有b e n c h m a r k 概述 如) = 气+ 旦 ，。 ，z i 2 ，0 。k 囱以上两式可以德涮：f ( 行) = ( 珂+ n ，) i r o j 在以上这两个测试中，时间t 作为消息长度n 的函数，研以计算得到模型参数 k ，辨；o 并且傅至通信感动时麟力芘= h ；气。 jj 凌上瓣瓣等式中，气是当瀵患长发趋自燹鼹大躯对嫫褥到懿异步遴信带宽。狂，怒 j 达到般遮个消息带宽时候的消息大小。得到 ，的重要意义在于提供了评测消息长度 j 的标准，换句话说，以此来区分长淄恩和短消息。对于长漕+ g ( n ，) ，通绩速度大约 j 达到稳定：r = k 对于短消息( 玎n ；) ，邋信遴度可以袭达为r 。虿三孑矗( 其中 j 酉。= t 。= 名i n l ) ，大魏为r 。镕。n t o 。 j 因此，长消息的遵绩速度基本稳定，出气决定，薅短瀵怠的长度基本上为消息长波 鲍线燃邈数，决定予系数厅。 综上，使用p a r k b e n c h 中的上述两个基准测试可以计算得到r o g e rh o c k n e y 提出得 点对点道僚模墅静掰有秘个通信参数( k ，h ；，t 。，) 。 三 c o m m s 3 是用来测试整个通信予系统的饱鞫带宽的。这个潦准测试是一个一般化 褥c o m m s 2 测试。即在一个包撼p 的处理枫熬著摆枫系统申，每个处理誊建发送一个长 度为n 的滔息绘其他 稆异构惶( h e t e r o g e n e i t y ) 也是磷究熬薰点。p v m 遮一方聪 牺牲了一些速度而换取了灵活性的增加。当与本地进程或另外台同型号主帆通信时， 使霸本辊静逶蓿功怒，警与其谴整号匏主辊邋信霹，鄹借勃予檬溅露络遴信按霜，出予 p v m 总鬟魏赣淡憋戆瓣拣圭撬噬决定调羹侍么谨瓣逶壤芋段，技翥要一些颧癸戆齐 销。 m p i 静设计傀先考懑静是毪镕和恣度，因忿毽强致箕缺少较大翡灵涵毪。溪使一个 淆惑稔递程彦尽可麓避蔌，裁簧镬藤菇豹程黟尽量戆菠澹，只考纛与本圭| 鏊戆矮髂季了交瀵 而省略不必要的附件造成的开销。例如，如果菜型号的机器提供了固有的消恩广播机 制，m p 瓿会壹接使麓这一税翻，毽怒，使孺依赖遮一与磷件籀关联静税铜静m p i 广 撵基数与不支持这一橇戮懿不嚣鍪芍黪瓠器遴嵇会变褥缀辫难。瑟m p i 鬻袭锱建一耪 标准的消息传递界谳，遮度是m p i 设计中的焦点问题。 第瓣章煞群内部秘络通信性能测量 综上，p v m 与m p i 遮硒种集群诗算环境，各脊德劣。假仅辩英通信方磷絮蒋，m p i 藏认羚耽p v m 速波侠。 4 ，3 测试结巢 蒎第一缀集群濑4 试环境- fn e t p i p e 基准测试结祭； 图6 ：蠢掩淡太弱连接抟p e 集群憋t h r o u g h p u t 强 酿7 ：酉兆以太网连接的p c 集群的s i g n a t u r e 翻 钛吞泣爨鬻中w 戳蓉密，在封燕班太阏络的筇辘下，嚣辩集释漆境p v m 辩m p 怒 遵痿瞧戆上麓差秃霓。p v m 与m p i 遮到豹爨大卷跤爨均为鳕8 3 m b p s 。穗瑟与瓣络遴 率( 1 0 0 m ) 来看，p v m 与m p i 鄹相强充分的利潮了网络带宽( 埔0 ) 。 第四章集群内部璃络通信性能测麓 从网络特缎图中可以看刹，p v m 的网络延迟为9 3 1 7 微秒，m p i 的网络延迟为8 l - 8 8 微秒。m p i 略谯予p v m 。尽管这个延对黥差距不大，缎这意昧着，当发送小消爨麴时 候，p v m 比m p i 多大约1 4 的延迟开铸。对于某些寨群应用，假如大量传递的怒小数 据包，则每个数据包的延迟的总和可能影响将会较大。 综主可见凌囊熬以太网络巧境下，p v m 帮m p i 鼹卷熬逶售犍相差很少。对于用 户来说，当选用在这种网络环境下的集群环境，如巢农爨群应用中不存在非常多鞠小数 据包的传递，则基本可忽略豳于通信带爿乏的差异。 在第二缀祭爨测试强境- fn e t p i p e 蒸准测试缝果： 圈8 ：千兆以太网连接的s u n 工作站集群的t h r o u g h p u t 图 霆9 ；手毙鞋太稠连接鳇s u n 工终蟋集群静s i g n a t u r e 整 第四章集群内部网络通信性能测量 这个结果与第一组环境下的情况有很大的差异。从吞吐量图中，两种集群环境p v m 和m p i 吞吐量有很大的差别。m p i 的吞吐量远远高于p v m 。m p i 发送6 7 m b i t 数据包 下，达到最大吞吐量4 7 0 m b p s ；而p v m 在发送8 m b i t 的数据包下，达到最大吞吐量 2 8 2 m b p s 。不过相对于网络带宽1 0 0 0 m ，两者都未能充分利用网络带宽，因此p v m 和 m