（计算机科学与技术专业论文）地震资料处理pc集群并行效率研究.pdf

摘要 石油地震资料处理需要海量存储和巨量计算，一直是高性能计算的重要应用领域。 基于l i n u x 的集群计算机系统由于在性价比、可靠性和可扩展性方面的明显优势，已成 为目前地震资料处理的主流平台。对地震资料处理p c 集群的并行效率进行研究，可以 充分利用现有的软硬件资源，提高地震资料处理集群的整体效能，提高地质效果和经济 效益，具有重要的实际意义。 本文在分析地震资料处理系统的特点的基础上，找出了影响地震资料处理p c 集群 并行效率的关键因素，主要是i 0 瓶颈问题和串行程序在并行环境中的低运行效率。为 了解决上述问题，本文主要从并行文件系统和并行编程两方面开展研究工作。 本文首先利用普通p c 机和m p i 技术构建了一个p c 集群，对其进行了l i n p a c k 基准测试，分析了影响集群性能的几个关键因素并提出了相关建议。 为了解决地震资料处理集群中日益严重的i 0 瓶颈问题，本文在研究并行文件系统 理论的基础上，将l u s t r e 并行文件系统部署到了实验集群中，利用i o z o n e 对n f s 和l u s t r e 进行了对比测试。结果表明，l u s t r e 能够更好地适应并发i 0 的要求，可有效缓解i o 瓶颈问题。为了提高l u s t r e 的安全性，本文设计了一个基于p k i 的l u s t r e 安全模型。 在研究相关并行程序设计和开发理论的基础上，对地震资料处理软件中的核心算法 快速傅罩叶变换和矩阵乘法操作，利用m p i 、o p e n m p 和c u d a 等技术进行了并行化， 并与相关串行程序在执行耗时方面进行了比较。测试结果表明，通过对计算密集型算法 进行并行化，可以明显缩短程序运行周期。 将l u s t r e 并行文件系统和并行编程技术应用到实际地震资料处理系统，通过对实 际地震资料的处理测试表明，l u s t r e 和并行编程技术可以显著缩短地震资料处理周期， 提高程序运行效率。 此外，本文还研究了编译器、运行环境、数学库等因素对程序效率的影响，得到了 一些有意义的结论，并对进一步提高并行效率提出了几点建议。 关键词：地震资料处理，p c 集群，并行效率，l u s t r e ，安全模型，m p i ，o p e n m p ， c i i d a r e s e a r c ho np a r a l l e le f f i c i e n c yo fp cc l u s t e rf o rs e i s m i cd a t ap r o c e s s i n g l ix i n g s h e n g ( c o m p u t e rs c i e n c e & t e c h n o l o g y ) d i r e c t e db ya s s o c i a t ep r o f l i us u q i n a b s t r a c t p e t r o l e u ms e i s m i cd a t ap r o c e s s i n gn e e d sm a s ss t o r a g ea n dc o m p u t i n g ，w h i c hh a sb e e n a ni m p o r t a n ta p p l i c a t i o nf i e l do fh i g hp e r f o r m a n c ec o m p u t i n g l i n u x b a s e dc l u s t e rs y s t e m h a so b v i o u s a d v a n t a g e sa tt h ec o s tp e r f o r m a n c e ，r e l i a b i l i t ya n ds c a l a b i l i t ya n dh a sb e c o m et h e m a i n s t r e a mp l a t f o r mf o rs e i s m i cd a t ap r o c e s s i n g i tc a l lm a k ef u l lu s eo fe x i s t i n gh a r d w a r e a n ds o f t w a r er e s o u r c e st or e s e a r c ht h ep a r a l l e le f f i c i e n c yo fp cc l u s t e rf o rs e i s m i cd a t a p r o c e s s i n g i tc a nn o to n l yi m p r o v et h eo v e r a l le f f i c i e n c yo fs e i s m i cd a t ap r o c e s s i n gc l u s t e r , b u ta l s oi m p r o v et h eg e o l o g i c a le f f e c t sa n de c o n o m i cb e n e f i t s t h e r e f o r e ，t h ei s s u eh a s i m p o r t a n tp r a c t i c a ls i g n i f i c a n c e t h i sp a p e ra n a l y z e st h ec h a r a c t e r i s t i c so fs e i s m i cd a t ap r o c e s s i n gs y s t e mt oi d e n t i f yt h e k e yf a c t o r st h a ta f f e c tt h ep a r a l l e le f f i c i e n c yo fp cc l u s t e rf o rs e i s m i cd a t ap r o c e s s i n g ，w h i c h a r ei ob o r l e n e c ka n ds e r i a lp r o g r a m s l o wo p e r a t i n ge f f i c i e n c yi np a r a l l e le n v i r o n m e n t i n o r d e rt os o l v et h ea b o v ep r o b l e m s ，t h i sp a p e rc o n d u c t sr e s e a r c hi nt w oa r e a s ：p a r a l l e lf i l e s y s t e ma n dp a r a l l e lp r o g r a m m i n g f i r s t l y , ap cc l u s t e ri sb u i l tu s i n go r d i n a r yp ca n dm p i w ea n a l y z et h ek e yf a c t o r st h a t a f f e c tc l u s t e rp e r f o r m a n c et h r o u g hl i n p i a c kb e n c h m a r ka n dp r o v i d er e l e v a n ts u g g e s t i o n s i no r d e rt os o l v et h ei n c r e a s i n g l ys e r i o u si ob o r l e n e c kp r o b l e mo fs e i s m i cd a t a p r o c e s s i n gc l u s t e r , w ei n s t a l ll u s t r ep a r a l l e lf i l es y s t e mi n t ot h et e s tc l u s t e ra n dm a k ea c o m p a r i s o nt e s tb e t w e e nn f s a n dl u s t r eu s i n gi o z o n e t h er e s u l t ss h o wt h a tl u s t r ec a nb e t t e r m e e tt h ec o n c u r r e n ti or e q u i r e m e n t sa n de f f e c t i v e l ya l l e v i a t et h ei ob o t t l e n e c k i no r d e rt o i m p r o v et h es e c u r i t yo fl u s t r e ，t h i sp a p e rd e s i g n sal u s t r es e c u r i t ym o d e lb a s e do np k i t h ec o r ea l g o r i t h m so fs e i s m i cd a t ap r o c e s s i n ga r ef f ta n dm a t r i xm u l t i p l i c a t i o n w e p a r a l l e l i z et h e mu s i n gm p i ，o p e n m pa n dc u d a ，a n dm a k eac o m p a r i s o ni ne x e c u t et i m e b e t w e e nt h ep a r a l l e lp r o g r a m sa n dr e l a t e ds e r i a lp r o g r a m s t e s tr e s u l t ss h o wt h a ti tc a n s i g n i f i c a n t l yr e d u c et h er u nc y c l eb yp a r a l l e l i z i n gt h ec o m p u t i n g - i n t e n s i v ea l g o r i t h m s w ea p p l yl u s t r ep a r a l l e lf i l es y s t e ma n dp a r a l l e lp r o g r a m m i n gt e c h n i q u e st or e a ls e i s m i c d a t ap r o c e s s i n gs y s t e m t h er e a ls e i s m i cd a t ap r o c e s s i n gt e s t ss h o wt h a tl u s t r ea n dp a r a l l e l p r o g r a m m i n gt e c h n i q u e sc a ns i g n i f i c a n t l yr e d u c et h e s e i s m i c d a t ap r o c e s s i n gc y c l ea n d i m p r o v et h ee f f i c i e n c yo fp r o c e d u r e s i na d d i t i o n ，t h i sp a p e ra l s oi n v e s t i g a t e st h ee f f e c t so ft h ec o m p i l e r s ，r u n t i m ee n v i r o n m e n t ， m a t hl i b r a r i e sa n do t h e rf a c t o r so np r o g r a me f f i c i e n c ya n do b t a i n ss o m em e a n i n g f u l c o n c l u s i o n s f i n a l l y , s e v e r a ls u g g e s t i o n sa r eg i v e no nf u r t h e ri m p r o v et h ep a r a l l e le f f i c i e n c y k e yw o r d s ：p cc l u s t e r , p a r a l l e le f f i c i e n c y , l u s t r e ，s e c u r i t ym o d e l ，m p i ，o p e n m p , c u d a 关于学位论文的独创性声明 本人郑重声明：所呈交的论文是本人在指导教师指导下独立进行研究工作所取得的 成果，论文中有关资料和数据是实事求是的。尽我所知，除文中已经加以标注和致谢外， 本论文不包含其他人已经发表或撰写的研究成果，也不包含本人或他人为获得中国石油 大学( 华东) 或其它教育机构的学位或学历证书而使用过的材料。与我一同工作的同志 对研究所做的任何贡献均已在论文中作出了明确的说明。 若有不实之处，本人愿意承担相关法律责任。 学位论文作者签名：盔孟建 同期：2 c ) i p 年多月2 9 同 学位论文使用授权书 本人完全同意中国石油大学( 华东) 有权使用本学位论文( 包括但不限于其印刷版 和电子版) ，使用方式包括但不限于：保留学位论文，按规定向国家有关部门( 机构) 送交学位论文，以学术交流为目的赠送和交换学位论文，允许学位论文被查阅、借阅和 复印，将学位论文的全部或部分内容编入有关数据库进行检索，采用影印、缩印或其他 复制手段保存学位论文。 保密学位论文在解密后的使用授权同上。 学位论文作者签名：查益垒 指导教师签名： 日期：2 0 l 口年与月巧日 日期：2 0 o 年s 月弩日 中国石油大学( 华东) 顾士学位论文 1 1 课题的背景和意义 第一章绪论 科学计算现在已经成为与理论研究和实验并列的第三种科学研究手段，并充当了越 来越重要的角色。现代科学计算中的重大挑战性课题往往都是计算密集、数据密集或网 络密集型的应用问题，这些问题的求解都离不开并行计算的支持。而作为科学计算重要 研究工具之一的高性能计算机系统近年来发展迅速，应用领域也越来越广泛。 石油地震勘探需要非常巨量的计算能力，一直以来都是高性能计算的传统和重要应 用领域。随着人类对油气资源需求的不断提高，油气勘探工作面临的勘探对象不断复杂 化、勘探条件r 趋恶劣，导致对石油勘探技术的研究与应用不断深化。地球物理技术的 发展和应用与包括高性能计算技术在内的信息技术的发展密切相关，高性能计算技术的 发展在一定程度上引领和制约着地球物理技术的发展【i j 。 进入2 1 世纪以来，集群计算技术得到了飞速发展，由于集群在性能价格比、可靠 性、可扩展性、可管理性和应用支持性等方面的明显优势，基于l i n u x 的集群计算机系 统已成为目前地震资料处理的主流平台。近几年来，集群系统的配置规模不断扩大，大 型地震数据处理中心的集群系统规模已达到上千甚至上力个节点，计算能力普遍从百亿 次级提高到目前的数十至数百万亿次级。计算能力的增强，提高了地震资料处理的质量， 极大地缩短了处理周期，为石油工业特别是油气勘探开发工业的发展提供了坚实的技术 支撑【i j 。 与此同时，高性能计算技术在石油地震勘探领域的应用也存在一些问题和挑战： 地震资料需要海量的存储，资料处理的特点决定了各节点要频繁地进行i o 访问， 传统的文件系统和存储服务器模式已逐渐不能满足需求，随着集群计算机系统规模的不 断扩大，系统的f o 瓶颈效应越来越明显。 国内的地震资料处理系统基本依赖国外软件，由于系统源码不开放，程序的改进 非常困难，运行效率难以提高。随着石油勘探技术的发展，其对高性能计算的需求越来 越高，虽然各节点的运算能力在不断提高，但系统的整体性能并没有呈现接近线性的加 速，石油工业已难以用理想的性价比获得足以满足石油勘探技术发展需求的计算性能。 随着高端计算评价指标从高性能转向高效能，以集群技术为主流的高端计算系统 体系架构受到了越来越多的质疑，庞大的机房空间需求、日益上升的机房空调需求和机 第一章绪论 房用电量以及日趋复杂的系统管理和维护工作，成为石油物探数据处理中心面临的巨大 挑战i i l 。 本课题的意义主要体现在以下几个方面： 通过对并行文件系统的研究，选择合适的并行文件系统应用到实际的地震资料处 理系统中，缓解系统的i o 瓶颈，提高i o 效率； 通过对集群技术的研究，找出制约集群性能发挥的关键因素并进行改进，提高系 统的整体性能； 通过对并行编程技术的研究，选用合适的方法对数据密集型算法进行并行化，提 高程序的运行效率。 1 2 国内外现状 1 2 1 集群 2 0 世纪5 0 年代，美国空军就建立了一个名为l k p 的真空管计算机网络，用于防 御苏联的核攻击。随着微机的普及、性能提高和价格下降，用微机建造并行计算集群由 于其极高的性价比而吸引了各国科学家，甚至一些商业公司的注意。随后集群系统的发 展同益加快，不断有新的集群系统涌现，它们速度一个比一个快，而成本却不断下掣2 1 。 第一个集群1 9 9 4 年诞生于美国航空航天局的戈达德空间飞行中心，该中心科学家 s t e r l i n g 和他的同事，将1 6 台i n t e i4 8 6 微机用1 0 m b s 的以太网集线器连接成一个计算 集群，获得了7 0 m f l o p s 的持续运算能力。 1 9 9 7 年，由加利福尼亚大学伯克利分校研制的b e r k l c yn o w 集群，运算速度达到 了1 0 1 4 g f l o p s ，成为第一台跻身世界超级计算机t o p 5 0 0 1 3 l 的集群系统，排名3 4 4 位。 进入2 l 世纪之后，集群系统得到了飞速发展，图1 1 描述了自2 0 0 5 年6 月到2 0 0 9 年l1 月期间，世界超级计算机t o p 5 0 0 所采用的体系结构变化曲线。 通过图1 1 可以看出，在2 0 0 9 年1 1 月的t o p 5 0 0 中，有4 1 7 台采用了集群体系， 占总数的8 3 4 ，集群已经成为高性能计算的最主要的体系架构。 近几年我国高性能计算机发展迅速，2 0 0 4 年研制的曙光4 0 0 0 a 以每秒l l 万亿次运 算速度的技术和应用双跨越，计算能力当时排名世界第十，使中国成为世界上第3 个能 制造l o 万亿次商品化高性能计算机的国家，为推动我国高性能计算机的发展做出了不 可磨灭的贡献。 2 0 0 8 年6 月底，曙光5 0 0 0 a 超级计算机问世，其理论浮点峰值为每秒2 3 0 万亿次， 2 中周石油人学( 华东) 硕l 学位论文 运算能力相当于世界第七，这是在主要由美国垄断的全球超级计算机领域里，中国科学 家取得的历史性突破。 2 0 0 9 年1 0 月，天河一号超级计算机研制成功，全系统峰值运算性能达到了 1 2 0 6 1 9 g f l o p s ，在2 0 0 9 年1 1 月的t o p 5 0 0 中排名第五，亚洲第一。天河一号的成功研 制，实现了我国自主研制超级计算机能力从百万亿次到千万亿次的跨越，使我国成为继 美国之后世界上第二个能够研制千万亿次超级计算机系统的国家。 图1 - 1t o p 5 0 0 中计算机体系结构的变化曲线 p ? f i g l - i t h ec u r v eo fc o m p u t e ra r c h i t e c t u r ei nt o p s 0 0 1 2 2 集群在石油行业的应用 集群计算技术的发展引起了石油工业界，特别是石油地球物理勘探界的广泛关注。 目前，基本上全球所有的油气公司、地球物理服务公司、石油地球物理研究机构都设立 了专门的计算中心，专业从事地震勘探数据的处理和分析工作。美国的a d s 公司、 g e o c e n t e r 公司、法国的c g g 公司、荷兰的s h e l l 公司等世界知名企业，早在2 0 0 0 年就开 始利用高性能集群进行地震资料处理工作1 4 1 。 国内各大油田的物探院等机构也都有用于地震资料处理的集群系统。2 0 0 2 年l o 月， 中国石油东方地球物理公司涿州物探研究院将曙光4 0 0 0 ll i n u x p cc l u s t e r 作为应用平 台。2 0 0 4 年7 月，东方地球物理公司研究院大港分院采用h pp r o l i a n tb l 2 0 pg 2 刀片式 服务器作为计算节点的高性能计算集群系统正式投产。整个系统共1 3 3 个节点、2 6 6 个 处理器，其中计算节点1 1 9 个、i o 节点1 4 个，整体浮点计算能力1 4 1 0 眩次s ，能够 提供更精准的地下构造及地下成像【5 】。 2 0 0 6 年1 0 月，大庆油田勘探开发研究院引进了由惠普公司生产的刀片服务器集群 3 第一章绪论 架构的地震资料处理系统，该系统集成了6 9 2 台服务器、1 4 3 2 个i n t e i 至强c p u ，峰值浮 点计算能力超过9 8 1 0 眩次s ，位居当时中国刀片服务器集群系统榜首。 中海油在2 0 0 4 年引进了两套采用曙光4 0 0 0 ll i n u x p cc l u s t e r 超级计算机构建的地 震数据处理系统；2 0 0 5 年，又引进了套8 1 个节点的l i n u x 集群系统，主要用于地震 资料叠前深度偏移及时间偏移资料处理工作。 2 0 0 4 年，中石化引进了i b ml c l 3 5 0 集群系统，集群规模是3 7 4 个计算节点、7 8 个i o 节点。 胜利油田物探研究院是中国地球物理界最大的专业研究院之一，也是国内石油行业 中最早采用l i n u x 集群技术的单位之一。早在2 0 0 1 年该院就开始使用l i n u x 集群进行 地震资料处理。目前，该院整个系统的集群节点达到2 0 0 0 个，系统理论浮点计算能力 为5 0 x 1 0 1 2 次s 1 5 j o 1 3 本文的主要工作 本文针对集群系统的高能低效问题从多方面研究了影响p c 集群并行效率的若干因 素，主要包括以下几个方面： l u s t r e 并行文件系统的研究、测试及安全性改进。地震资料处理需要的存储空间 非常大，而且程序运行时需要不断地对数据进行并发访问，传统的文件系统诸如n f s 等无法满足海量存储下数据并发访问的要求，针对这一问题，本文研究了l u s t r e 并行文 件系统，对其进行了性能测试，结果表明，l u s t r e 文件系统能较好地满足要求；在实际 应用中，数据的安全性越来越受到人们的重视，而l u s t r e 文件系统目前还没有捆绑安全 机制，针对这一问题，本文在研究相关安全机制的基础上，提出了一种改进l u s t r e 安全 性能的机制。 并行编程技术的研究。目前，对石油的需求在迅速增加，石油的供需矛盾越来越 突出，对老油田的挖潜增产和新油气储量的发现成为当前各油田最为紧迫的任务，石油 勘探越来越精细。随着油田三维高分辨率地震勘探的广泛应用，地震测线和每炮的道数 越来越多，有的油田达到每炮l 万道，而且采样精度越来越高，使得地震资料的数据量 越来越大，加之在处理方法上，要求使用波动方程叠前深度偏移和大连片的地区在增加， 使得计算量急剧增大。原有的串行体系软件将越来越不能适应这种发展趋势，而由于地 震资料本身的特点，使其具有天然的并行性。本文以地震资料处理中广泛应用的傅里叶 变换和矩阵乘法为例，利用m p i 、o p e n l d p 、c u d a 等方法对其进行并行化，通过与串行程 4 中国石油人学( 华东) 硕l 学位论文 序的比较，分析程序并行化对提高效率的影响及影响并行程序效率的因素。 集群断电保护系统的实现。随着地震资料处理计算量的急剧增大，资料的处理周 期也变得越来越长。如果在处理过程中出现断电等故障，将会对处理过程产生重要影响， 也可能导致集群节点出现不可知的故障。为了减小断电带来的损失，本文利用u p s 监 控软件w i n p o w e r 实现了集群的断电保护。 1 4 章节安排 第一章主要介绍本课题的背景和意义，列举了本文的主要工作，最后对章节安排进 行了说明。 第二章主要介绍了集群和消息传递并行编程模型m p i 的相关知识。 第三章在基于第二章理论的基础上，利用实验室现有的资源，搭建了一个基于l i n u x + m p i 的松耦合p c 集群，然后对其进行了相关基准测试，分析了影响集群性能的几个 因素。 第四章首先简要介绍了l u s t r e 并行文件系统，然后将其部署到了本文所搭建的p c 集群中，之后利用基准测试程序i o z o n e 对n f s 和l u s t r e 进行了对比测试，并分析了影 响l u s t r e 性能的几个关键因素：最后，提出了一个基于p k i 的l u s t r e 安全模型。 第五章主要介绍了o p e n m p 和c u d a 的相关知识。 第六章对地震资料处理中应用比较广泛的两个算法快速傅里叶变换和矩阵乘 法，利用不同的方法进行了并行化，通过与串行程序的比较以及各方法之间的比较，总 结了串行程序并行化的实现方法和注意事项。 第七章概述了影响集群并行效率的其他因素，主要包括：编译器的使用、运行环境 的选择和数学库等，并实现了集群断电保护系统。 总结部分对全文进行了总结和归纳，并提出了进一步改进的措施。 5 第二章集群及m p i 2 1 集群技术概述 第二章集群及m p l 集群是将许多独立的计算机通过高速网络和软件连接在一起、协同完成特定任务的 一种并行或分布式处理系统。 2 1 1 集群体系结构 集群节点可以是服务器、p c 机、工作站、$ m p 、m p p 、甚至子集群，节点可以是在 一起的，也可以是物理上分散而通过l a n 连接在一起的。对于用户和应用程序来说，集 群应该是一个单一的、集成的系统。集群系统包含以下重要部件：多个高性能计算机节 点、分层或基于微内核的操作系统、高性能互联网络、网络接口卡、快速通信协议与服 务、集群系统中间件、并行编程环境与工具、应用程序1 。 典型的集群系统的结构如图2 一i 所示。 芒委虱e 三垂刁 p c 工作环境 网络界面硬件 p c 工作环境 网络界面硬件 p c 工作环境 网络界面硬件 高速网络 图2 - 1 集群计算机体系结构 f i 9 2 - 1 a r c h i t e c t u r eo fc l u s t e r 2 1 2 集群的分类 基于不同的因素，集群可以有多种分类方式，但一般情况下将集群分为三类：高可 用性集群、高性能集群和负载均衡集群。 高可用性集群：其主要目的是掩盖硬件以及软件的易错性，对外提供不自j 断的服务。 它采用冗余机制来处理节点故障，如果某个节点由于软、硬件故障而失效，它的另一个 6 中国石油大学( 华东) 硕上学位论文 镜像会在最短的时间内代替它，这样对于用户而言，服务将永远不会停止。该类集群应 用于那些需要持续服务的领域，如所有的w e b j f l 务器、工业控制器、a t m 、远程通讯转 接器、医学与军事监测仪以及股票处理机等嗍。 高性能集群：通过将多台机器连接起来同时处理复杂的计算问题。它应用在需要大 规模科学计算的环境中，如模拟星球附近的磁场、预测龙卷风的出现、定位石油资源的 储藏地、分子模拟、基因测序等。 负载均衡集群：顾名思义，它使得负载可以在集群中尽可能平均地分摊处理，负载 可能是需要均衡处理的应用程序处理负载或网络流量负载。当运行有大量用户使用的同 一组应用程序时，每个节点都可以处理一部分负载，并且可以在节点之间动态分配负载， 以实现平衡；负载网络流量时，将流量发送给其他节点上运行的网络服务器应用。 本文搭建的p cl i n u x 集群属于高性能计算集群，从结构和节点通信方式来看，它属 于分布式存储系统，主要利用消息传递方式实现各节点间的通信。 2 1 3 集群系统的关键技术 构建集群系统时需要的关键技术有： ( i ) 单一系统映像技术( s s i ) ：在提供服务时，集群给用户的感受应该是个单一集成 的计算机资源，即最终用户无需了解资源的物理位置、应用程序是在什么地方运行的。 它使得用户可以使用熟悉的接口和命令，并使得管理员可以在一点上管理整个集群，从 而大大简化了系统管理。 ( 2 ) 高效的通信系统：通信子系统是集群系统的重要组成部分，它完成系统中各节点 之间的数据传递和交换，由于并行计算时间为各节点的c p u 时间与节点间数据通信时间 之和，因此，通信性能的好坏直接影响到并行计算的加速性能和并行计算效率，对系统 的可扩展性以及系统的适用范围也有十分重要的影响。 ( 3 ) 负载平衡和调度策略：在集群系统中，一个大的任务往往由多个子任务组成。这 些子任务被称为负载，它们被分配到各个处理结点上并行执行。负载平衡是并行处理中 的一个重要问题，其核心是调度策略，即将各个负载比较均衡地分配到不同的节点进行 并行处理，使得各节点的利用率达到最高。负载平衡的应用能够有效地解决网络拥塞问 题，提高服务器的响应速度以及系统的资源利用率，因而其解决的好坏直接影响到系统 的性能。 ( 4 ) 并行程序设计环境：并行程序设计环境包括并行程序语言、编程、编译、调试及 7 第二章集群及m p i 性能分析工具等。良好的并行程序开发环境可以使并行计算机系统的结构对用户透明， 减少并行应用程序开发设计上的复杂性。 ( 5 ) 系统可用性：在设计健壮的集群系统时，必须考虑可用性因素：尽可能减少由 于单节点或单部件故障而导致的集群失效；即使出现这种情况，并行程序也不必在集群 系统恢复后从头开始执行。提高集群系统可用性的主要技术包括：采用相互独立的冗余 设备、故障接管和恢复技术等f 6 ，9 1 0 1 。 2 1 4p c 集群 目前，商用集群一般采用紧耦合结构，在一个机柜中集中存放很多个刀片式的服务 器，这样的架构可以节省存放空间、集中管理、提供较高的通信性能，但它与用p c 机构 建的松耦合集群相比，在以下几个方面存在明显不足【l i 】： ( 1 ) 价格方面。紧耦合集群不仅需要比较昂贵的刀片式节点，还需要机柜等配套设施， 一般情况下，集群经销商还会捆绑销售一些软件，价格比较高；而p c 机的购买则相对简 单、便宜得多，同时p c 集群大部分采用l i n u x 操作系统和大量的开源软件，大大降低了 集群的软件成本。 ( 2 ) 扩展性。商用集群的配置在购买时己相对固定，当集群不能满足要求需要扩展时， 由于配件、构建方式等原因，扩展比较困难；而p c 机的各种硬件具有很大的通用性，产 品非常丰富，可以根据实际需求方便的购买和配置。 ( 3 ) 散热问题。几十个甚至上百个节点集中存放在机柜里，昼夜不停地进行高强度计 算，产生的热量很多，即使使用下吹风、强制冷，也很难保证每个节点都处于合适的工 作温度，温度过高是导致紧耦合集群中节点死机的主要原因；而p c 集群节点本身具有较 好的散热性，同时由于采用松耦合结构，整个集群的发热量远小于紧耦合集群，一般采 用工业空调进行制冷即可满足要求。 ( 4 ) 维护成本。紧耦合集群需要低温、无尘工作环境，一年的电力消耗也非常可观， 而且当集群中出现节点失效时，维修比较困难；而p c 集群的运行环境则相对宽松许多， 构建集群时可以留有备用节点机，当集群出现单点失效时，可由备用机接替工作，迅速 恢复使用，而p c 机的维修也相对简单，所需配件可随时购买、替换，机器维修好后还可 以继续充当备用节点机。 基于以上几个原因，本文使用松耦合p c 集群来构建实验环境。 2 2 消息传递并行编程 8 中国石油人学( 华东) 硕j j 学位论文 消息传递是分布式计算环境中进行并行程序设计广泛应用的一种并行编程模型，它 是指各个并行执行的部分之间通过消息传递来交换信息、协调步伐、控制执行。消息可 以是指令、数据、同步信号或者中断信号等。消息传递一般是面向分布式存储结构，但 是它也可以适用于共享内存的并行机。消息传递为编程者提供了灵活的控制手段和表达 并行的方法，灵活性和控制手段的多样性，是消息传递并行程序能提供高的执行效率的 重要原因【1 2 - 1 q 。 消息传递模型有以下特点【8 1 ： 多线程：消息传递程序由多个进程组成，每个进程都有自己的控制线程且可执行 不同的代码。 异步并行性：消息传递程序的各个线程彼此异步执行，使用诸如路障和阻塞通信 的方法来同步各进程。 分开的地址空问：并行程序的进程驻留在不同的地址空间内。 显式相互作用：数据映射、通信、同步和聚合等相互作用问题均由程序员负责解 决。 显式分配：负载和数据均由用户显式地分配给进程。 目前，大量的并行程序设计使用的都是消息传递模型。两种最常用的消息传递系统 是o a kr i d g e 国家实验室的p v m ( 并行虚拟机) 和m p i 研讨会定义的m p l l l 5 1 ，由于m p i 越来越成为消息传递的默认标准，而且m p i 编写的程序可以获得比p v m 更高的通信性 能，因此，本文选用m p i 来作为消息传递并行编程的环境。 2 3m pi 简介 对m p i 的定义，可从以下三个方面来认识【1 2 , 1 3 l ： ( i ) m p i 是一个库，而不是- - f l 语言，因此对m p i 的使用必须结合特定的语言来进行。 m p i 库可以被f o r t m 气n 7 7 腰o r t r a n 9 0 、c c + + 语言调用，从语法上说，它遵守语言语 法中对库函数过程的调用规则。 ( 2 ) m p i 是一种标准或规范的代表，而不特指某一个对它的具体实现。现在，几乎所 有的并行计算机制造商都提供对m p i 的支持，可以在网络中免费得到m p i 在不同并行计 算机上的实现，一个正确的m p i 程序，可以不加修改的在所有并行机上执行。 ( 3 ) m p i 是一种消息传递编程模型，并成为这种编程模型的代表和事实上的标准。 m p i 虽然很庞大，但是它的最终目的是服务于进程间通信这一目标。 9 第- 二章集群及m p l 2 3 1 m p i 通信分析 消息传递是分布式存储环境下多个并行任务之间沟通的桥梁，在利用m p i 进行并行 程序设计时，设计者可以根据通信需求选择合适的通信方式，实现高效率的消息传递。 m p i 提供了点到点通信和组通信两种通信方式 9 j 2 】。 2 3 1 1 点到点通信 m p i 的点到点通信同时提供了阻塞和非阻塞两种通信机制，并支持多种通信模式。 i 、通信模式 通信模式指的是缓冲管理以及发送方和接收方之间的同步方式，m p l 支持4 种通信模 式 8 j 3 1 ： 标准通信模式：是否对发送的数据进行缓冲由m p i 自身决定，而不是由用户程序 来控制。 缓冲通信模式：这种模式下的发送操作不管接收操作是否已经启动都可以执行， 但在发送前需要由用户程序申请一块足够大的缓冲区。 同步通信模式：发送必须等到相应的接收进程已经启动后才可以正确返回。因此， 同步发送返回后，表示发送缓冲区中的数据已经全部被系统缓冲区缓存并已开始发送， 发送缓冲区可以被释放或重新使用。 就绪通信模式：发送操作只有在接收进程的接收操作已经启动后才进行发送。 2 、阻塞通信 阻塞通信机制主要指，当调用此通信原语时，用户程序将被挂起，直到相应的操作 完成为止。一个阻塞通信正确返回后的结果是：该调用要求的通信操作已正确完成， 即消息已成功发出或成功接收；该调用的缓冲区可用。 若是发送操作，则该缓冲区可以被其他的操作更新；若是接收操作，该缓冲区中的 数据已经完整，可以被正确引用【7 , 8 , 1 3 l 。 3 、非阻塞通信 在并行计算中，在不同进程之间传输数据比在同一个进程中进行数据操作慢得多， 在阻塞通信没有结束的情况下，处理器只能等待，造成了计算资源的浪费。为了减少由 于数据传输造成的计算性能的损失，一种常用的技术是设法使计算与通信重叠，m p i 中 利用非阻塞通信来实现这一目的。m p i 提供的非阻塞通信调用的函数十分丰富，所有阻 塞通信的形式都有相应的非阻塞通信的形式。非阻塞通信不需要等到通信操作完成就可 以返回，由特定的通信硬件完成通信操作，同时，处理器可以进行计算处理，这样就实 i 0 中国石油人学( 华东) 颐上学位论文 现了计算与通信的重叠。 由于非阻塞通信调用返回时通信操作不一定已经完成，因此在m p i 的非阻塞发送和 接收函数分别设置了一个用于检查发送接收是否完成的标志参数。设计程序时应该确保 当该参数正确返回后再进行下一次迭代，保证数据通信的正确性。在程序设计中，合理 地运用非阻塞式通信和缓冲技术，能更好地利用系统资源并减少作业的计算时间1 7 , g , 1 3 1 。 m p i 点到点通信操作函数如表2 1 所示： 表2 1m p i 的点到点通信操作 t a b l e 2 - 1 p o i n t - t o - p o i n tc o m m u n i c a t i o no fm p i m p i 原语阻塞非阻塞 标准发送 m p is e n dm p ii s e n d 缓存发送 m p ib s e n dm p ii b s e n d 同步发送 m p is s e n dm p ii s s e n d 就绪发送 m p ir s e n dm p ii r s e n d 接收操作m p il 冱c vm p ii i t e c v 通信完成检测 m p iw a i tm p it e s t 2 3 i 2 组通信 点到点通信只涉及到发送方和接收方两个进程，而m p i 组通信是一个进程组中的所 有进程都参加的全局通信操作；点到点通信在形式上有发送和接收的区别，而组通信在 各个不同进程中的调用形式完全相同。组通信涉及的进程组以及通信上下文都是由组通 信函数的通信域参数限定的。组通信可以和点到点通信共用一个通信域，m p i 保证由组 通信产生的消息不会和点到点通信产生的消息相混淆。 组通信一般实现通信、同步和计算三个功能。通信功能主要完成组内数据的传输， 同步功能实现组内所有进程的执行进度在特定的地点取得一致，计算功能稍微复杂一 点，要在通信的基础上对给定的数据完成一定的操作。 组通信的消息通信功能 对于组通信，按通信的方向的不同，可以分为一对多通信、多对一通信和多对多通 信。 在一对多通信中，一个进程向其它所有的进程发送消息，一般地，把这个负责发送 消息的进程称为r o o t 进程，广播是典型的一对多通信的例子；同样对于多对一通信， 第_ 二章集群及m p | 个进程负责从其它所有的进程接收消息，这个接收消息的进程也称为r o o t 进程，收 集是典型的多对一通信的例子；在多对多通信中，每一个进程都向其它所有的进程发送 消息，或者每个迸程都从其它所有的进程接收消息，或者每个进程都同时向所有其它的 进程发送和从其它所有的进程接收消息，全局收集、全局交换是多对多通信的典型例子。 组通信的同步功能 同步功能是许多并行应用中必须提供的，以协调各个进程之间的进度和步伐。m p i 的实现中支持一个同步操作，i n b a r f i e r 。 在同步操作中，通信域中的所有进程相互同步。当同步操作调用返回后，可以保证 组内的所有进程都已经执行完了调用之前的所有操作，从而可以开始该调用后的操作。 组通信的计算功能 m p i 的组通信在进行通信的同时，还可以完成一定的计算。从效果上看可以认为m p i 组通信的计算功能是分三步实现的：首先是进程间的通信，即发送进程根据要求将消息 发送到相应的目的进程，目的进程也已经接收到了各自所需要的消息；然后是对消息的 处理，即执行计算操作，m p i 提供了两种类型的计算操作，即归约和扫描：最后是将处 理结果放入指定的接收缓冲区【8 ，1 3 1 。 2 3 2 语言绑定 由于m p i 是一个库而不是- - f 语言，因此对m p i 的使用必须和特定的语言结合起来 进行，f o r t r a n 是科学与工程计算的领域语言，c 语言是目前使用最广泛的系统和应 用程序开发语言之一，因此对f o r t r a n 和c 的支持是必须的。 在m p i 1 中，明确提出了m p i 和f o r t r a n7 7 与c 语言的绑定，并且给出了通用接口 和针对f o r t r a n7 7 与c 语言的专用接口说明，m p i 1 的成功说明m p i 选择的语言绑定策 略是正确和可行的。 f o r t r a n9 0 是f o r t r a n 的扩充，它在表达数组运算方面有独特的优势，还增加 了模块等现代语言的方便开发与使用的各种特征，c + + 作为面向对象的高级语言，随着 编译器效率和处理器速度的提高，它可以取得接近于c 的代码效率，面向对象的编程思 想已经被广为接受，因此在m p i - 2 中，增加了与f o r t r a n9 0 和c + + 的绑定，提供了四 种不同的接e 1 ，为编程者提供了更多选择的余地【羽。 2 3 3m p i 一2 m p i 论坛在1 9 9 4 年推出m p i 规范后，m p i 得到了广泛的应用，但其功能上的不足也 1 2 中国石油入学( 华东) 硕士学位论文 引起了广泛关注，于是m p i 论坛于1 9 9 7 年推出了新的m p i 标准，称为m p i 2 ，同时原来的 m p i 更名为m p i 1 。相对于m p l 1 ，m p i 2 引入了许多新特性，主要包括动态进程管理、 远程存储访问和并行i o 访问。 m p i 1 中假定所有的进程都是静态的：程序以给定的进程数启动执行，在程序执行 期间，进程不能增加或