（计算机软件与理论专业论文）pc+linux机群系统并行计算环境的组建与性能测试.pdf

捅蔓 摘要 随着计算机应用的广泛与深入，需要处理的数据量越来越大，在单台计算 机处理能力有限的情况下，如何能快速、完整地处理这些数据，成为一个亟待 解决的问题。并行机的出现，提供了解决这类问题的有效手段。 本论文简要介绍了并行机的发展历史以及极有发展前途的机群系统的研究 现状。机群系统具有良好的可伸缩性、可编程性和性价比，并且构建相对容易， 特别适合我国的教育、科研部门使用。 本论文详细探讨了建立机群系统的硬件条件以及支撑机群系统并行的软 件。特别是对l i n u x 操作系统、并行编程环境m p i 、作业管理调度系统p b s 作 了详细的介绍。我们搭建p cl i n u x 机群的目的是在其上进行并行应用程序设计， 解决在单台计算机上运行时间过长的应用问题。为了更有效地解决应用问题， 我们需要充分了解机群系统的性能特点，根据这些优缺点来优化改进软硬件配 置、设计并行算法。本论文在组建一个小型的8 节点p cl i n u x 机群系统的基础 上，全面测试分析其性能，提出优化方案。首先，利用硬件测试程序l m b e n c h 和s t r e a m 程序测试了单个节点的处理器、高速缓存、内存、硬盘以及网络间的 数据传输能力，提出了精简操作系统优化节点性能的方法，测试结果证明了此 方法的有效性。机群系统属于分布式存储系统，各个节点要协同工作就需要通 过网络信道通信，本论文利用p i n g 、p i n g p o n g 和群体算法测试比较了m p i 的 两个实现版本m p i c h 和l a m m p i 通信函数性能，同时设计实现了全局时钟测 试算法，该算法能够测试多个节点参与下单个接收或发送通信函数的性能，并 且其结果数据能够体现出延迟的时间分布性，有利于进一步分析机群系统的通 信性能。再次，本论文利用著名的l i n p a c k 测试程序测试了机群系统的浮点运 算能力，通过与世界t o p 5 0 0 的机群系统比较分析了系统性能的瓶颈所在。 最后，根据机群系统通信性能相对于节点计算能力较弱的特点，我们设计 符合b s p 模型的并行遗传算法解决了旅行商问题，将其作为应用程序域测试程 序对机群系统进行了加速比能力测试，利用人为干涉进程映射到处理器的方法 减少节点间的通信量，提高了运行效率。 关键词机群；并行计算环境；性能测试；m p i 通信性能；并行遗传算法 i 一 北京 业大学硕士学位论文 a b s t r a c t a l o n gw i t hd e e p e ra p p l i c a t i o no fc o m p u t e r , t h e r ea r em o r ea n d m o r ed a t u m n e e d e dt ob ep r o c e s s e d as i n g l ec p uc o m p u t e rp e r f o r m a n c ei sn o te n o u g ht o p r o c e s s t h ed a t a q u i c k l ya n dp r e c i s e l y h o w t or e s o l v et h ep r o b l e mi si nu r g e n tn e e d f i a n l l yt h ep a r a l l e lc o m p u t e r h a sc o m ei n t ob e i n g w h i c h p r o v i d e a n a p p r o a c h t on a i l d o w nt h ep r o b l e m t h ep a p e rf o c u s e do nab r i e fi n t r o d u c t i o no nt h eh i s t o r yo f p a r a l l e lc o m p u t e r d e v e l o p m e n ta n dt h ee x i s t i n gs i t u a t i o no f t h ec l u s t e rd e v e l o p m e n t c l u s t e ri so n eo f t h ep a r a l l e lc o m p u t e rs y s t e m s ，w h i c hh a sa ne x c e l l e n td e v e l o p m e n tp r o s p e c tw i t h t h ea d v a n t a g e so fl e s s i n v e s t m e n t ，s c a l a b i l i t y , h i g hf t e x i b i l i v ya n de a s i l ya c q u i r e d c h a r a c t e r i ti se s p e c i a l l ys u i t a b l ef o rt h ee d u c a t i o n a la n dr e s e a r c hi n s t i t u t i o n si no u r c o u n t r y t h ep a p e rd i s c u s s e dh a r d w a r ea n ds o f t w a r eo fc l u s t e rs y s t e mi nd e t a i l ，s a y i n g o p e r a t i n gs y s t e ml i n u x ，p a r a l l e le n v i r o n m e n tm p ia n dj o bm a n a g e ra n ds c h e d u l e s y s t e mp b s m e s s a g ep a s s i n gp a r a l l e lp r o g r a m st h a tr u no nt h ep cl i n u xc l u s t e r s y s t e ma r eo f t e nu s e dt o s o l v ep r o b l e m st h a tw o u l dt a k et o om u c ht i m et or u no n c o n v e n t i o n a l s e q u e n t i a l m a c h i n e si ti s i m p o r t a n tt o u n d e r s t a n dt h ep e r f o r m a n c e c h a r a c t e r i s t i c so ft h ec l u s t e rs y s t e m ，a n dt oi m p r o v et h ec o n f i g u r a t i o no ft h es o f t w a r e a n dh a r d w a r ea n dd e s i g np a r a l l e la l g o r i t h m sa c c o r d i n gt ot h e s ec h a r a c t e r i s t i c s ，s oa s t oe f f i c i e n t l yc o d eas o l u t i o nt oag i v e na p p l i c a t i o n b a s e do ns e t t i n gu pas m a l lp c l i n u xc l u s t e rs y s t e mw i t h8n o d e s ，t h i sp a p e rm e a s u r e st h ep e r f o r m a n c eo f t h ec l u s t e r i na l la l l r o u n dw a ya n df i n d st h em e t h o d sw i t hw h i c ht oi m p r o v et h ep e r f o r m a n c e f i r s t ，w e u s el m b e n c ha n ds t r e a mb e n c h m a r kt om e a s u r et h ep c s a b i l i t y o f t r a n s f e r i n g d a t ab e t w e e n p r o c e s s o r , c a c h e ，m e m o r y , n e t w o r k a n dd i s k t h e m e a s u r e m e n tr e s u l t si n d i c a t et h a tw ec a ni m p r o v et h ep e r f o r m a n c eo fas i n g l en o d e t h r o u g hs i m p l i f y i n gt h eo p e r a t i o ns y s t e m t h ec l u s t e rb e l o n g st od i s t r i b u t e dm e m o r y s y s t e ma n di no r d e r t oc o m p l e t et h es a m e t a s k ，t h en o d e sa r ei nn e e d t oc o m m u n i c a t e w i t he a c ho t h e rt h r o u g ht h en e t w o r kc h a n n e l t h i sp a p e ru s e sp i n g ，p i n g p o n ga n d c o l l e c t i v e a l g o r i t h m t om e a s u r e p e r f o r m a n c e o ft h ec o m m u n i c a t i o nr o u t i n e so f l a m m p ia n dm p i c h ，w h i c ha r et w oi m p l e m e n t a t i o n so fm p i a tt h es a m et i m e ， t h i s p a p e rd e s i g n sa n di m p l e m e n t san e wb e n c h m a r kt h a t u s eav e r yp r e c i s ea n d p o r t a b l ed i s t r i b u t e dt i m i n g m e c h a n i s mt oa c c u r a t et h ep e r f o r m a n c eo fa s i n g l es e n d o r r e c e i v er o u t i n ea m o n gm u l t i n o d e s t h er e s u l t so f t h en e wb e n c h m a r kc a ni n d i c a t et h e t i m ed i s t r i b u t i o no ft h ec o m m u n i c a t i o np e r f o r m a n c ea n dp r o v i d eg r e a t e ri n s i g h t f o r p e r f o r m a n c ea n a l y s i s 。t h i sp a p e r a l s ou s e st h ef a m o u sb e n c h m a r k l i n p a c k t om e a s u r e m e a s u r et h ef l o a tc o m p u t a t i o na b i l i t yo ft h ec l u s t e ra n da n a l y s i st h ep e r f o r m a n c e b o t t l e n e c k t h r o u g hc o m p a r i n g i tw i t ht h ec l u s t e ro f t h ew o r l dt o p5 0 0 f i n a l l y , w ed e s i g na n di m p l e m e n tt h ep a r a l l e lg e n e t i ca l g o r i t h m so ft r a v e l b u s i n e s s m a np r o b l e mt h a t b e l o n g s t ob s pm o d e l ，a c c o r d i n gt ot h ep e r f o r m a n c e c h a r a c t e r i s t i ct h a tt h ec o m m u n i c a t i o np e r f o r m a n c ei sb a da n dt h e c o m p u t a t i o n p e r f o r m a n c ec o r r e s p o n d i n g l yb e t t e r w eu s et h et r a v e lb u s i n e s s m a np r o b l e ma sa a p p l i c a t i o nd o m a i nb e n c h m a r k t om e a s u r et h es p e e d u po ft h ec l u s t e r w er e d u c et h e c o m m u n i c a t i o nb e t w e e nt h en o d e sa n di m p r o v et h ee f f i c i e n c yt h r o u g ha r t i f i c i a l l y m a k i n g t h ep r o c e s s e sb em a p p e dt ot h ep r o c e s s o r s k e y w o r d s ：c l u s t e r ，p a r a l l e lc o m p u t i n ge n v i r o n m e n t ，p e r f o r m a n c ee v a l u a t i o n ，m p i c o m m u n i c a t i o np e r f o r m a n c e ，p a r a l l e lg e n e t i ca l g o r i t h m 1 1 1 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特n d i ：l 以标注和致谢的地方外。论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：j 茎：蕴日期：扫哟。上，；】 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅i 学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：j 整逸 导师签名 日期：咝。! l 第l 章绪论 1 1 研究背景 第1 章绪论 随着计算机在各个行业以及社会各个层面应用的广泛与深入，需要处理的数 据量越来越大，同时也要求应用问题能够得到更加及时、更加准确地处理，这对 计算机的性能提出了更高的要求。单台计算机的性能越来越无法满足那些具有海 量数据操作和对实时性要求很高的实际应用的需求，因此诞生了并行计算机。所 谓并行计算机，就是由多个处理单元组成的计算机系统，这些处理单元相互通信 和协作，能够快速、高效地求解大型复杂的问题。 根据t o p s 0 01 5 1 ，目前全世界性能最高的前5 0 0 台计算机，均是并行计算机。 1 1 1 并行计算机的应用领域 现在，并行计算机广泛应用于海量数据运算处理领域【1 。主流的科学计算主 要有：物理、化学、材料科学、生物学、天文学和地球科学等等；典型的工程应 用主要有：能源勘探、油藏模拟、药物分析、燃料效率分析、汽车碰撞模拟、飞 行器气流分析等。美国的h p c c ( h i 。出p c r f o r l _ n a n c ec o m p u t i n g a n d c o m m u n i c a t i o n ) 计划和a s c i ( a c c e l e r a t e ds t r a t e g i cc o m p u t i n gi n i t i a t i v e ) 3 1 ，就 反映了这些当代科学与工程问题对计算机的应用需求。h p c c 计划涉及到一些重 大挑战性课题( 如新药设计、高速民航、海洋建模、蛋白质结构设计等) ，对计 算机性能提出了3 t 要求：即1 t f l o p s 的计算能力、1 t b 的主存容量和1 t b s 的 i o 带宽。a s c i 计划的主要任务是：在全面禁止核试验条约签订后，核武器的 研究代之以实验数值模拟。该计划要求通过数值模拟，评估核武器的性能( 安全 性、可靠性) 和更新等，要求数值模拟达到高分辨率、高逼真率及三维能力。美 国能源部在2 0 0 3 年使用的并行机的运算速度为1 0 0 t f l o p s 、内存容量为5 0 t b 。 随着并行计算机价格的不断降低和应用领域的日益扩大，并行机应用于科学 和工程计算方面的只是占并行机销售市场的少部分，大部分的应用是商业事务处 理。这类应用在计算能力方面不象科学和工程计算要求那么强大，但对大的存储 器和磁盘容量以及高的i 0 传输率有相当高的需求，同时对可靠性、有效性和服 务性也要求很高。典型的商务应用有：数据库管理和查询、在线事务处理、数据 仓库、数据挖掘和决策支持系统等。据t p c ( t r a n s a c t i o n p r o c e s s i n g p e r f o r m a n c e c o u n c i l ) 3 1 所观察的数据表明：商务中使用并行机是十分普遍的，几乎所有数据 库硬件或软件的供货商都提供多处理机系统，其性能优于单处理机产品；这些并 北京t 业大学硕士学位论文 行系统不仅包含了大规模并行系统，而且也有中规模( 几十个处理器) 甚至小规 模( 2 4 个处理器) 的并行系统。 1 1 2 并行技术的发展 并行和分布计算技术【4 t ”】自6 0 年代中期以及7 0 年代后期分别出现以来，其 并行处理方式经历了从s i m d 阵列机、向量机及向量并行机、共享存储的对称多 处理器系统( s m p ，s y m m e t r i cm u l f i p r o c e s s o r ) 、分布存储的大规模并行处理系 统( m p p ，m a s s i v e l y p a r a l l e lp r o c e s s o r ) 到n u m a ( n o n u n i f 0 1 1 1 1 m e m o r y a c c c s s ， 非一致访问的分布式共享存储) 并行机系统和机群系统( c l u s t e r ) 的演变过程。 在研制并行和分布式计算机系统的过程中，人们逐渐认识到，系统的规模可 伸缩性( s c a l a b i l i t y ) 和可编程性( p r o g r a m m a b i l i t y ) 已成为促使这两者进一步发 展的关键问题。构建规模可伸缩并行计算机系统，以最低可能的成本向用户提供 更高可能的性能，成为并行计算技术发展的主流方向。由于s m p 、m p p 等并行 计算机系统价格昂贵，管理复杂，维护成本高，软硬件的升级费用高，更重要的 是其可伸缩性受到系统内互连网络的约束，所以现在国内外的对并行计算系统的 研发重点转向了计算机机群并行技术。 目前超级计算机所采用的机群模式主要有两种【4 】：一种是i n t e l 架构( i a ) 的l i n u x 机群系统，另一种是精简指令集芯片( p d s c ) 架构的u n i x 机群系统。 机群( c l u s t e r ) 已成为当今世界高性能计算机的主流体系结构，特别是i a 架构。 导致这种局面主要有两方面的原因：一是机群部件技术的开放、成熟以及商品化。 具体来说，主要包括i a 处理器迅速崛起；高速互连网如m y r i n e t 、q s n e t 等技术 的成熟和产品化；开放源码l i n u x 操作系统的日益成熟：m p i 、p v m 等并行编程 标准的应用和普及等等。二是机群体系结构所具有的先天优势，比如，技术更新 换代速度快、可伸缩性强、能够继承并兼容现有应用、性能价格比高、高可用性 等等。在2 0 0 3 年1 1 月公布的第2 2 届t o p5 0 0 排行榜 5 】中，有近3 8 的系统采 用了i n t e l 架构处理器的机群系统，数量上首次超越了基于r i s c 的系统。在本届 排行榜中包含了1 8 9 款基于i n t e li t a n i u m 2 或i n t e l 至强处理器的系统，比上届排 行榜中的1 1 9 款增加了5 8 ，比2 0 0 2 年1 1 月列出的5 6 款增加了两倍还多。采 用此架构的高性能计算机系统不但在数量上有了增加，名次上也有了很大的提 升，在排名前1 5 的系统中就有5 款i a 机群系统。第2 2 届t o p5 0 0 排行榜的排 在前1 5 位的高性能计算机系统的列表如表1 - 1 所示。 用户可以自行构建b e o w u l f 机群系统来满足特定的并行计算需求。b e o w u l f t 6 】 机群系统就是将一组商品化硬件和下载的开放源代码的软件组装成的“个人超级 计算机”。b e o w u l f 的最大特点是廉价和浮点计算能力强，它的这种极好的性价 第l 苹绪论 比吸引了很多大学、科研机构的兴趣，现在世界范围内已有上千个b e o w u l f 系统。 b e o w u l f 集群系统为那些财力有限的大学提供了一个相当不错的平台，并借助此 来教授他们的并行程序设计课程，同时也为那些学校的计算学专家一个提供了一 个价廉物美的计算条件。 1 2 本课题的研究内容 由于机群架构系统采用标准化的器件，相对来说易构、廉价，机群架构的出 现大大降低了高性能计算机的门槛，大大加速了高性能计算机的普及与应用。对 于经费有限而又对并行环境有迫切需求的教育部门和科研部门，利用现有的计算 机组成一套小型的甚至是异构的机群系统在技术上是完全可行的。因为，对于大 多数大学及研究机构来说，一般都具有建立小规模的基于网络的工作站、p c 机 并行机群系统的硬件条件而无需较大的投入，而软件则可以通过从网上免费下载 得到。 本课题的主要目的就是在研究p c 机群的基本体系结构和构建方法的基础 上，利用实验室现有的p c 机、网络等硬件资源构建一个小型的p c 机群系统来 解决并行应用问题。要想利用机群系统高效地解决并行应用问题，必须了解整个 机群系统的性能特征，因此对机群系统进行全面的软硬件性能测试是本课题的重 要任务。在分析了系统的性能特点后，找到适合于机群系统的并行应用模型是本 课题的最终目标。 机群系统具有很多优点，但是我们不能不看到存在的一些问题：为了节约经 费，大多机群系统都是利用普通设备组建的，比如网络设备一般是低端的、延迟 大、带宽小的以太网，对于那些要求通信频繁的应用，这种机群系统的性能就远 远不能达到要求；就算是那些进入t o p5 0 0 的机群，随着规模的扩大，成本越来 越高，可靠性和可用性越来越差，一些机器虽然号称峰值达到了多少万亿次，实 际只有5 - 1 0 的效率；功耗也越来越大，像t o p 前几名的机器功耗相当一个小 城市的用电。因此，本课题致力于通过进行性能测试找到机群系统的性能瓶颈， 在条件许可的情况下，优化软硬件配置，提高整个机群系统的运行效率。 对机群系统的性能进行测试，有许多测试方法和基准程序。目前，测试分布 式机群系统性能的测试程j 手主要分为三类一一结构细节基准程序 ( a r c h i t e c t u r e s p e c i f i cb e n c h m a r k s ) 、通信细节测试程序( c o m m u n i c a t i o n - s p e c i f i c b e n c h m a r k s ) 、应用域测试程序( a p p l i c a t i o n d o m a i nb e n c h m a r k s ) 【7 j 。我们分别 用这三类程序对机群系统进行全面的性能测试。首先利用l m b e n c h 和s t r e a m 测 试程序，分别测试系统的处理器、高速缓存、内存、硬盘以及网络间的数据传输 能力，找到精简节点操作系统提高整个机群系统性能的方法。然后通过实现p i n g 、 尊耋 醛累鞫厘墨督姆扑1；鐾赢难蟮嚣 龆掣趔磐帮劓 辎累嘲星蛊督；茁赢难蓝嚣，。z 掣 箍翅蚓毒单晷帮醪&。11旺喘。， 兽 。 暑昌 lll ；羹耋 鼍i 兰il 是兽 ll 8 li器昌 盎g 葛 一 j hj 一n 廿心 l n “ i离晶l 嚣馨 ；iliiil 罱高 毒篁dn m 螂 量董。l2 u 暑 u 。重芒 鼍 l 2重重 e l l ； 器 绨 l 0罢昌 l 霉 lil 量 蛊里 哑 量 量璺 墨 量 翅 g 咖 童 “ l ； 8 l 芷 ； i i 岩 营 | | 耋 囊 重 量 襄 曼 罟 皇三 il i l 鱼 藿l i li !三 ； 嚣生盖暑e ；雪砉 呈呈 i ； 望 al i 誊 夏 盆 i 鬯鬯 l 乏g il；壹景 1 0 剥 宝三i ；羹；ii | j u ， l 蓦 ： = 量 蓉 ； i 口 螺 竺 h i z 心 l 导 箔 l 最 i ! 蠡工 髓譬 l i l? 舌 ； 。 暑 i 二 喜 = 曼 兰 龠 n 舌 舌 ： i l 萼 墨 ； 铸 _ 己 l 岳 暑 嚣 口 当 垂l |ll三呈董蚤 ： ： 望 c z i 1 2 ： 耄 弓l： l ； n 量 g 萎|i2 ： i i i 劁 窨 璧i 氰惺 、 、盘 望 墨划 口 蜮 器 口 ：k 时 。 5 ； 协 型； = t口上 皇 景 o 面 兽 卫 一( 3 e = ii 蘑 口 毛。8 量笺 盘兰墨呈k q ； i 置 i 詈 差 善 量 蕤 l ii | i l 萼 i 罾 ! 蘸 i l 囊 ； m 善 l ：| | ；l ； i llll ll l il 罟 i 鬟 羲 襄 琶 襄 董藿 罟 冠 兰至兰耋li；i羹ji菲耋萎 苦j l ； 矗 鲁 舅 嘉 爿 | ； 矗薹 星三 坤蛞 u 山z o一山。卜pik口享。暑o苗一一点卜一-l u l q 矗一 c一僻赢幂瓣七盟趔桓o_【doh昧割=懈 第1 章绪论 p i n g - p o n g 和群体测试算法来测试机群系统的通信性能，实现全局时钟测试算法， 测试得到更加符合实际情况、更加精确的结果，比较m p i 的两个实现版本 l a m m p i 和m p i c h 的通信函数的通信开销，选择一个更适合机群系统的并行 软件环境。在分别测试了机群系统的硬件和通信性能后，利用著名的l i n p a e k 程 序测试整个机群系统的浮点计算能力，与国内外计算能力排在前几位的高性能机 群系统进行比较，找出差距原因。最后，设计实现能充分发挥机群优点的旅行问 题并行遗传算法，将其作为应用域测试程序测试其加速比能力。 本论文共分为五章。第二章主要介绍了早期和现代并行计算机的分类和基 本特征，分别介绍了机群系统现有的几种并行计算的软件环境。第三章在介绍机 群系统分类、构成模型和国内外研究现状的同时，详细介绍了我们利用先有的软 硬件资源搭建的小型p cl i n u x 机群系统的软硬件构成概况。在第四章中，不仅 详细介绍了对机群系统进行性能测试的各种模型、算法和基准程序，并且根据测 试结果分析了性能瓶颈的原因，提出了优化系统配置的方法。第五章介绍了用并 行遗传算法来解决旅行商问题，作为一个应用实例测试了机群系统的加速比，列 出了测试结果，提出了改进策略。最后是全文的总结，并对以后的工作进行了展 望和提出了建议。 北京工业大学硕士学位论文 第2 章并行计算机系统及并行计算环境 纵观并行计算机系统的发展历史，在不同的历史时期，其系统结构也各有不 同。不同的并行机系统反映了不同的技术状况、工艺水平和应用需求。 2 1 早期的并行计算机系统 ( 2 ) ( 3 ) ( 4 ) 较早出现的并行计算机系统主要有下面几种 阵列处理机：阵列处理机属于s i m d 并行机，是由多台处理器( 即处理 单元p e ，p r o c e s s i n ge l e m e n t ) 组成阵列的拓扑结构，利用资源重复的 方法开拓并行性，适合细粒度并行。 向量处理机：包括向量流水线超级计算机和并行向量处理机两类。 共享存储多处理机：这种并行机属于m i m d 系统，适合粗粒度功能并 行。 分布存储多处理机：这种并行机属于消息传递并行计算机，每个计算节 点由处理器、局部存储器、i ( 9 设备和消息传递通信接口组成。如果节 点本身是一台完整的计算机，就演变成了现代的工作站机群( n o w 或 c o w ) 1 1 1 。 2 2 现代的并行计算机系统 目前主流并行计算机系统的体系结构主要有：s m p 、m p p 、c c - n u m a 和 c l u s t e r 等等n 2 2 1 对称多处理机( s m p ) 在s m p 体系中，多个处理器与一个集中的存储器相连。在这种模式下，所 有处理器都可以访问同一个系统物理存储器，这就意味着s m p 系统只运行操作 系统的一个拷贝，每个处理器都运行这个操作系统，都能响应外部设备的要求， 即每个处理器的地位是平等的、对称的。因此，s m p 系统有时也被称为均匀存 储访问( u m a ) 结构体系，所有的处理器都能等同地访问所有i o 设备、能同 样地运行执行程序。很显然，s m p 的缺点是伸缩性较差，因为在存储器接口达 到饱和的时候，增加处理器并不能获得更高的性能。s m p 结构的机器可扩展性 较差，可用性也比较差，总线、存储器或是操作系统的失败都将导致整个系统的 崩溃。 第2 章并行计算机系统及并行计算环境 但s m p 具有单一的地址空间，用户的串行程序要移植到s m p 机器上使用只 需做少量的修改就可实现。另外，由于共享存储的支持，使用户编程相对容易。 2 2 2 大规模并行处理机( m p p ) m p p 指由成百上千个处理器组成的大靓模计算机系统，具有很高的性能。 m p p 采用的是分布式存储器模式。分布式存储器模式具有多个节点，每个节点 都有自己的存储器，可以配置为s m p 模式，也可以配置为非s m p 模式。单个节 点相互连接起来就形成了一个总系统。因此m p p 体系结构对硬件开发商颇具吸 引力，因为它们出现的问题比较容易解决，开发成本比较低。由于不需要解决硬 件支持共享内存或高速缓存一致性的问题，所以比较容易实现大量处理器的连 接，也就是况它的可扩展性好，且随着处理器数目的增长，主存、i 0 能力和带 宽成比例地增加。 m p p 主要用来做大型科学工程计算，也有许多被成功用于商业和网络应用 中。m p p 的不足之处在于，各处理器不是通过共享处理器而是通过传递消息来 相互通信，因此用户编程有难度。 2 2 3 高速缓存一致性非均匀存储访问( c c n u m a ) n u m a 是s m p 系统和m p p 系统的自然扩展，它的扩展性很好，编程也较 方便，较适应于科学工程计算。n u m a 模式也采用了分布式存储器模式，不同 的是所有节点中的处理器都可以访问全部的系统物理存储器。然而，每个处理器 访问本节点内的存储器所需要的时间比访问某些远程节点内的存储器所花的时 间要少得多。换句话说，也就是访问存储器的时间是不一致的，这也就是这种模 式之所以被称为“n u m a ”的原因。简言之，n u m a 既保持了s m p 模式单一操 作系统拷贝、简便的应用程序编程模式以及易于管理的特点，又继承了m p p 模 式的可扩充性，可以有效地扩充系统的规模，这也正是n u m a 的优势所在。 c c n u m a ( c o h e r e n t - c a c h en o n u n i f o r mm e m o r ya c c e s s ) 实际上是将一些 s m p 机器作为一个单节点丽彼此连接起来所形成的一个较大的系统。系统使用 了基于某种目录的高速缓存一致性协议。它最显著的优点是程序员无需明确地在 节点上分配数据，系统的硬件和软件开始时自动在各节点分配数据，在运行期间， 高速缓存一致性硬件会自动地将数据迁移至要用到它的地方。 2 2 4 机群系统( c iu s t e r ) 机群系统是利用高速通用网络将一组高性能工作站或高档p c 机，按某种结 北京工业大学硕士学位论文 构连接起来，在并行程序设计及可视化人机交互集成开发环境支持下，统一调度， 协调处理，实现高效并行处理的系统。机群系统常被人们称为n o w ( n e t w o r k e d o f w o r k s t a t i o n s ) 或c o w ( c l u s t e r o f w o r k s t a t i o n s ) ，简称为c l u s t e r 。从结构和节 点间通信方式来看，它属于分布式存储系统，主要利用消息传递方式实现主机之 间的通信，由建立在般操作系统之上的并行编程环境完成系统的资源管理及节 点之间的相互协作，同时也屏蔽了工作站及网络的异构性。对程序员和用户来说， 机群系统是一个整体的并行系统。机群系统中的主机和网络可以是同构的，也可 以是异构的。 目前已实现和正在研究中的机群系统大多采用现有商用工作站和通用l a b 网络，这样既可以缩短开发周期，又可以利用最新的微处理器技术。大多数机群 系统的并行编程环境也是建立在一般的u n i x l i n u x 操作系统之上，尽量利用商 用系统的研究成果，减少系统的丌发与维护费用。机群系统具有良好的规模可伸 缩性和可编程性，成为并行计算机发展的主流趋势。 2 3 并行计算环境 由于并行应用程序开发设计上的复杂性，以及并行系统中软件的缺乏，使得 并行程序的编写和调试变得相当困难，阻碍了并行计算机系统的进一步推广与应 用，因此，为了适应并行处理技术的发展，充分发掘并行计算机系统中的冗余资 源与计算能力，需要为用户提供。一个良好的并行程序开发环境，提供多种层次的 并行系统调用和工具包，使并行计算机系统的结构对用户透明，以减少并行应用 程序开发设计上的复杂性。 广义上说，并行程序设计环境应包括硬件平台、操作系统和并行程序语言、 编译、编程、调试及性能分析工具等。狭义上的并行程序设计环境则仅指系统核 心之上的工具软件部分。作为一个并行程序的支撑环境，至少应包括两个的方面： 并行语言支持或并行操作库函数支持，一种或多种并行编程模型。 在分布式并行计算机系统中，由于处理机问没有共享内存支持，因而各处理 机间通过消息传递机制( m e s s a g e p a s s i n g ) 实现数据通信，消息传递成为构造并 行程序设计环境的基础。m p i ( m e s s a g ep a s s s i n gi n t e r f a c e ) 哺j 和p v m ( p a r a l l e l v i r t u a lm a c h i n e ) 【9 j 就是目前应用很广的两种并行环境。 2 3 1 可移植消息传递界面( m p i ) m p i 是由来自约4 0 个研究所、几乎所有的m p p 销售商，以及世界范围内涉 及并行计算的大学和政府实验室的成员组成m p i 委员会，在1 9 9 2 年至1 9 9 4 年 举行的一系列会议上逐渐产生的1 洲。 第2 章并行计算机系统及并行计算环境 m p i 能用于大多数并行计算机、计算机机群和异构网络环境，能达到较高的 数据传输率，建立在多种可靠的消息传递库基础之上。 m p l 支持c 和f o r t r a n 两种语言，编程模型采用s p m d ，它的编程要比p v m 容易i l 。m p i 系统的特点如下： m p i 提供了缓冲区管理函数，用户可以决定是完全由系统对发送、接收缓冲 区进行管理，还是用户参与部分管理( 向系统提交或释放自己的缓冲区) ， 以便控制系统的缓冲区空间，提高系统的安全性。 m p i 能运行在异构的网络环境中。另外，m p i 还提供了一些结构和函数，允 许用户自己构造自己的复杂数据类型，使得通信更加方便。 m p i 通过上下文( c o n t e x t ) 提供通信的安全性，系统默认所有进程都属于一 个全局的上下文，用户可以自己定义上下文，使通信在不同的上下文进行， 不会发生混淆。 m p i 实现了进程组内所有任务之间的通信、数据交换及数据处理。在群体通 信( c o l l e c t i v ec o m m u n i c a t i o n ) 中，m p i 提供了丰富的数据操作函数，并允 许用户自己定义自己的数据操作函数，使得通信和数据处理能更有效的结合 起来。 由于m p i 提供了可靠的数据传输机制，发送的消息总能被对方正确接收，用 户不必检查传输错误、超时错误或其它错误条件。 m p i 已成为广泛接受的消息传递标准，除了各并行机厂商的支持外，m p i 已 有免费的高质量实现，如l a m 、m p i c h 、c h i m p 等，m p i 定义了一个第三方的 统计机制，用户可以利用它开发出完善的性能分析工具。基于上面的特点，m p i 成为p cl i n u x 机群系统并行开发环境的首选。 2 3 2 并行虚拟机( p v m ) p v m 的开发最早始于1 9 8 9 年春天，它的开发队伍包括美国橡树岭国家实验 室( o r n l ) 、t e n n e s s e e 大学、e m o r y 大学以及c m u 等单位，并得到了美国能 源部、国家科学基金以及田纳西卅的赞助。p v m 支持多种体系结构的计算机。 p v m 支持c 、c + + 和f o r t r a n 语言。 p v m 支持用户采用消息传递方式编写并行程序，编程模型可以是s p m d 或 m p m d 。p v m 支持在虚拟机中自动加载任务运行，任务间可以相互通信以及同 步。 p v m 系统支持多用户及多任务运行，多个用户可将系统配置成相互重叠的 虚拟机，每个用户可同时执行多个应用程序。p v m 还实现了通信缓冲区的动态 管理机制，每个消息所需的缓冲区由p v m 运行时动态申请，消息长度只受节点 北京1 = 业大学硕士学位论文 上可用存储空间的限制。p v m 支持异构计算机联网构成并行虚拟计算机系统， 并具有容错功能，当发现一个节点出故障时，p v m 会自动将其从虚拟机中删除。 2 3 3 其它并行开发环境 e x p r e s s 、l i n d a 等也是使用比较多的并行开发环境u ”。 ( 1 ) e x p r e s s e x p r e s s 系统是美国p a r a s o f t 公司推出的能在不同的硬件环境上运行的并行程 序设计环境，它的前身是c a l t e c h 的c r y s t a l l i n e 操作系统。 e x p r e s s 系统强调并行程序设计的高层问题，它将许多与机器有关的细节问题 都隐藏在e x p r e s s 函数中，目的在于更进一步为用户提供方便的并行程序设计开 发环境。e x p r e s s 支持c 和f o r t r a n 两种程序设计语言。支持h o s t - n o d e 与c u b i x 两种编程模型，每个模型对应于不同的并行程序库。e x p r e s s 提供了多种处理机 间的通信原语，除了通常的同步异步通信外，同时还提供了广播以及多重接收 等功能函数，这些方式同时也适用于i o 服务。e x p r e s s 也提供了对并行i o 、动 态负载平衡等方面的支持。 e x p r e s s 可以对系统及用户应用程序的运行作动态监控，它还提供了并行调 试工具n d b ，可以帮助用户跟踪多道并行程序的执行以及它们之间的通信。 另外，为了进行性能评测，e x p r e s s 还提供了三种性能分析工具( 对于 h o s t n o d e 模式) ，它们是：c t o o l 系统性能数据统计分析；e t o o l 系统事 件统计分析；x t 0 0 1 系统并行二 任务执行行为统计分析。 ( 2 ) l i n d a l i n d a 是美国耶鲁大学与科学计算协会共同研制的用于实现并行程序设计 的、与机器无关的程序环境。l i n d a 通过增加一些函数对传统的程序设计语言进 行扩充( 如c 、f o r t r a n 等) ，使其能实现并行程序设计。将l i n d a 映射到各计算 机