（计算机软件与理论专业论文）格点计算环境中若干问题的研究与实现.pdf

摘要 摘要 f 近年来，计算机体系结构、互联网络和微处理器芯片技术待到了飞速发展， 但是许多大型科学计算对计算能力提出的要求也越来越高，已经超出了绝大部 分单个超级计算机的处理能力。这时，格点技术出现了。、它利用高速网络将地 理上分布的若予超艨计算机及相应的存储资探连接在一起，以形成强大的聚合 计算能力来有毅解决计算能力不足的阀鼷，但是这也为高性能计算研究带来了 ，7 一一者，列曼j i 投钱列色括如何定义、构造和描述格点这种大观旗跨施域分 布的、异构性的分布式计算环境，如何将格点环境中物理分布的资源有效提供 给用户使用，如何在这种大规模异构环境中开发具有孤扩放性的高性能并行计 算应用等等。另外，在格点环境的高性能应用中，一些非计算性能因索( 包括用 户环境麴辐聪乎安金性、代码豹可移植性、可重用性和维护的方便性等等) 逐 渐占据了更重要的地位，对这些因素构评价将直接影响到格点环境中高性能计 算的推广和应用。 ， 本文围绕着构建格点环境中的高性能计算用户环撞，充分发挥格点资源的 计算能力主要做了以下几方面的i j 作 探辩霍繁意拜境的应用特点和体系结构。( 详细的阐述了格点环境的分层 体系结构模型浮籀出了格点环境中的主要问题是如何有效地进行资源共 、 享和保证良好的互操作性。并基于格点体系绪梅，讨论了现有的各种主 流分布式处理技术与格点技术之间的区；j i l 和联系，以及它们在格点环境 中的应用葡爨影气飘t ：一垮麓一嚣尊霸e + 研究了格点环境年高性能用户环境好用性的概念，f 提出了影响高性能应 ”用的主要因素已经逐步觚节患计算能力耩移到更摇注重赢性能用户耳甓 的好用性、代码的高效开发及雕靠维护等方街的观点。从崩户朴境的怀 系结构薄弱户界面两方面讨论了好用性因素对用户使用的影响。给出了 大规模分布武异构环境中高性能用户环境的体系结构和设计原则j 研究了构件技术在格点环境体系结构中的作用。衅细分析了目前几种主 流的构件技术和格点技术的区别与联系，讨论了它们在格点环境中的应 用前景。) 在前面对格点环境特性，用户环境好用性和构件技术的研究基础上，提 出设计并实现了国产疆光3 0 0 0 超级服务器上的高性能客户端用户环 境，详细阐明了它的体系结构和实现机制，分析了它在大规模分布式异 构环境中的性能表现，并进一步将其推广应用到国家高性能环境合肥格 点的建设中去 摘要 初步设计和实现了格点中高性能用户环境客户端的单文件系统映象 j f s ，基于面向对象的j a v a 语言初步实现了独立于操作系统平台的s m b 客户端，为高性能计算用户提供了一致的文件系统访问环境，从而实现 了系统工具级的单一文件系统跌象。并给出了其在格点环境中的性能分 析。) 州 讨论了格点环境中作业的全旦坌里和毽壁至垦塑，给出了作业分配的排队 模型；研究了分布式资源的管理和分配，讨论了不同策略的优缺点：结 合高性能用户环境的实现，研究了格点环境中全局安量；枧制f | 勺p j ：与实 一0l o l 现啊 y 本文的主要贡献和创新在于： 、 紧密结合国家8 6 3 计划中曙光系列超级并行机的开发任务，研究了格点 环境中高性能计算用户环境的体系结构及其好用性的概念。从体系结 构角度提出设计并实现了在保证好用性等前提下，构造可扩放的高性 能计算用户环境的方案，并将研究成果推广应用于国家高性能计算环 境合肥格点的建设中，为国产并行机和高性能计算的推广和应用作出 了贡献。 分析了在格点环境中建立单一系统映象的必要性和可能性，阐述了单 一系统映象在分布式环境中的分层实现方式，研究了现有的几种单一 系统映象技术的技术特征和在格点环境中的应用前景。设计和初步实 现了远程异构条件下独立于平台的高性能用户环境客户端的单一文件 系统映象，并给出了实现方案的体系结构，具体细节和性能分析。为 国家高性能计算环境合肥网格结点及远程用户使用环境和工具的研制 奠定了坚实的基础。 ， 。 讨论了格点环境中作、沙的伞局分配和忖够预测绘出了传业兮窭的排 队模型，为并行任务在网格高性能计算环境中的调度和计算节点的选 择提供了科学的依据。研究了分布式环境中资源的全局管理和分配问 题，讨论了不同策略应用在格点环境中的优缺点。结合国家8 6 3 重大项 目“国家高性能计算环境中的合肥网格结点及远程用户使用环境和工 具”，研究了格点环境中全局安全机制的设计与实现。 本文作者在读博期间作为主要研究人员先后参加了国家8 6 3 重大项目“曙 光2 0 0 0 i i 用户集成开发环境”，“曙光3 0 0 0 客户端集成环境”和“国家高性能 计算环境中的合肥网格结点及远程用户使用环境和工具”的研制，并得到了这 些项目的资助。卜 i l a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，t h ec o m p u t e ra r c h i t e c t u r e ，t h en e t w o r ka n dt h em i c r o - p r o c e s s o r sh a v e a c h i e v e dag r e a td e v e l o p m e n t b u tt h ed e m a n d so fm a n yl a r g e s c a l es c i e n t i f i c a p p l i c a t i o n sf o rc o m p u t i n ga b i l i t yh a v ei n c r e a s e ds om u c ht h a ti tb e y o n dt h ea b i l i t yo f m o s tc u r r e n ts u p e r c o m p u t e r s a tt h i st i m e ，t h eg r i dt e c h n o l o g ye m e r g e s i tc o n n e c t s s e v e r a ls u p e r c o m p u t e r sl o c a t e di nd i f f e r e n ta r e aa n dr e s o u r c e si n t ot o g e t h e rw i t hh i g h - s p e e d ) t t c t w o r k , r o v i d i n gp o w e r f u la b i l i t yt oe f f i c i e n t l ym e e i 也：jo f ：u ? 平ld n g a b i i i r y b u ti tb r o u g h tas e r i e so fg r e a tc h a l l e n g ep r o b l e m sa tt h es a h i c 。m e i n c l u d i n g h o wt od e f i n e ，c o n s t r u c ta n dd e s c r i b es u c hal a r g e - s c a l e ，h e t e r o g e n e o u sd i s t r i b u t e d c o m p u t i n ge n v i r o n m e n t ，h o wt op r o v i d ed i s t r i b u t e dr e s o u r c e i ng r i dt ou s e r s e f f i c i e n t l y , h o wt od e v e l o ps c a l a b l eh i g h p e r f o r m a n c ep a r a l l e lc o m p u t a t i o n si ns u c ha l a r g e s c a l eh e t e r o g e n e o u se n v i r o n m e n t f u r t h e r m o r e ，i nh p cr e s e a r c hf i e l du n d e r g r i dc o n d i t i o n ， s o m e n o n c o m p u t i n g f a c t o r s ( i n c l u d i n g t h eu s a b i l i t yo fu s e r e n v i r o n m e n t ，s e c u r i t y , p o r t a b i l i t y , r e u s a b i l i t ya n dc o n v e n i e n tm a i n t e n a n c e ) h a v ea r i s e t om o r ei m p o r t a n tp o s i t i o n ，t h eo p i n i o n st ot h e s ef a c t o r sw i l ld i r e c t l ya f f e c tt h es p r e a d a n da p p l i c a t i o no f h p ci ng r i d t h i 辱p 8 p 笃叠c o n c e r n i n ga b o u tc o n s t r u c t i n gh p cu s e re n v i r o n m e n ti ng r i d ，a n d t a k i n gf u l la d v a n t a g eo f g r i dr e s o u r c e s o u rw o r ki ss h o w na sf o l l o w i n g ： 1 w ed i s c u s st h ea r c h i t e c t u r eo fg r i da n di t sa p p l i c a t i o nf e a m r e d e s c r i b et h e l a y e r e da r c h i t e c t u r em o d e lo fg r i di nd e t a i l s p r e s e n tt h a tt h em a i np r o b l e mi n g r i di sh o wt oe f f i c i e n t l ys h a r er e s o u r c e sw h i l ek e e p i n gg o o di n t e r a c t i o n a n d b a s e do nt h ea m h i t e c t u r eo fg r i d ，w ed i s c u s st h er e l a t i o n s h i p sa n dd i f f e r e n c e s b e t w e e ns e v e r a lc u r r e n td i s t r i b u t e dt e c h n o l o g ya n dg r i dt e c h n o l o g y ，a l s ot h e i r a p p l i c a t i o nf u t u r ei ng f i d 一一 2 w er e s e a r c ht h et e r mo fu g a b i l l t yo fh p cu s e re n v i r o n m e n ti ng r i d w et h a t t h em a i nf a c t o ri n f l u e n c i n gh p ch a sc h a n g e df r o mc o m p u t i n g a b i l i t yo fn o d e s t ot h eu s a b i l i t yo fh p cu s e re n v i r o n m e n t ，e f f i c i e n t l yd e v e l o p m e n to f c o d ea n d r e l i a b l em a i n t e n a n c e w ed i s c u s st h ei n f l u e n c eo fu s a b i t i t yf r o mt h et w of i e l d o fa r c h i t e c t u r eo fu s e re n v i r o n m e n ta n du s e ri n t e r f a c e g i v et h ea r c h i t e c t i l r e a n dd e s i g nr u l e so fh p cu s e re n v i r o n m e n ti n l a r g e s c a l e d i s t r i b u t e d h e t e r o g e n e o u se n v i r o n m e n t 3 w ei n v e s t i g a t et h ef u n c t i o no fm i d d l e w a r ei n g r i d a n a l y z es o m em a i n m i d d l e w a r et e c h n o l o g i e si n d e t a i l s ，t h e i rr e l a t i o n s h i p sa n dd i f f e r e n c e s ，t h e i r a p p l i c a t i o nf u t u r ei ng r i da sw e l l 4 b a s e do nt h ei n v e s t i g a t i o no f g r i d sf e a t u r e u s a b i l i t yo f u s e re n v i r o n m e n ta n d m i d d l e w a r et e c h n o l o g y , w ep r e s e n tt h ed e s i g na n di m p l e m e n t a t i o no fh p c i i i a b s t r a c t c l i e n t - s i d eu s e re n v i r o n m e n to nd a w n i n g3 0 0 0s u p e r c o m p u t e r , d e s c r i b ei t s a r c h i t e c t u r ea n di m p l e m e n t a t i o ns c h e m ei nd e t a i l s ，e v a l u a t ei t sp e r f o r m a n c ei n l a r g e s c a l ed i s t r i b u t e dh e t e r o g e n e o u se n v i r o n m e n t f u r t h e r m o r e ，w es p r e a di t s a p p l i c a t i o ni n t ot h ec o n s t r u c t i o no fn a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n g e n v i r o n m e n ta th e f e ig r i d 5 w ep r e s e n tt h ei n i t i a l l yd e s i g na n di m p l e m e n t a t i o no f j f s ，as i n g l ef i l es y s t e m i m a g eo nt h ec l i e n t s i d eo fh p c u s e re n v i r o n m e n ti ng r i d ，r e a l i z eas m b c l i e n ti n d e p e n d e n to fs y s t e mp l a t f o r mw i t ho b j e c t o r i e n t e d l a n g u a g e - j a v a ， p r o v i d eau n i q u ef i l es y s t e ma c c e s si n t e r f a c ef o rh p cu s e r s i ti m p l e m e n t s i n g l ef i le s y s t e mi m a g eo ns y s t e mt o o ll e v e l w ea l s og i v ei t sp e r f o r m a n c e a n a l y s i si ng r i d 6 w ed i s c u s st h eg l o b a lj o ba l l o c a t i o na n di t sp e r f o r m a n c ee v a l u a t i o ni ng r i d g i v eaq u e u em o d e lf o rj o bs c h e d u l i n g ，i n v e s t i g a t et h em a n a g e m e n ta n d a l l o c a t i o no fd i s t r i b u t e dr e s o u r c e s ，g i v ead i s c u s s i o no nt h e i ra d v a n t a g ea n d d i s a d v a n t a g e c o m b i n e dw i t ht h ei m p l e m e n t a t i o no fh p cu s e re n v i r o n m e n t , w ea l s oi n v e s t i g a t et h ed e s i g na n di m p l e m e n t a t i o no fag l o b a ls e c u r i t ys c h e m e i n g r i d t h em a i nc o n t r i b u t i o na n di n n o v a t i o no f t h i sp a p e ri s ： 1 c o m b i n e dw i t ht h ed e v e l o p m e n to fd a w n i n g3 0 0 0s u p e r c o m p u t e ri nt h e n a t i o n a lh i - t e c h8 6 3p r o j e c t s ，w ei n v e s t i g a t et h ea r c h i t e c t u r eo fh p cu s e r e n v i r o n m e n ta n di t su s a b i l i t y , g i v ead e s i g na n di m p l e m e n t a t i o nf r o mt h e a s p e c to fa r c h i t e c t u r eo nh o wt oc o n s t r u c tas c a l a b l eh p cu s e r ：q a v i r o n m e n t w h i l ek e e p i n gi t sg o o du s a b i l i t y i na d d i t i o n ，w ea p p l yi ti n t ot h ec o n s 栅c t i o n o fn a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n ti nh e f e ig r i d w e m a k ec o n t r i b u t i o n st ot h es p r e a da n da p p l i c a t i o no fn a t i o n a lp a r a l l e lc o m p u t e r a n dh p c 2 w ea n a l y z et h ep o s s i b i l i t ya n dn e c e s s a r yo fc o n s t r u c t i n gas i n g l es y s t e m i m a g e ( s s i ) i ng r i d ，d e s c r i b et h el a y e r e di m p l e m e n t a t i o nm e t h o do fs s ii n d i s t r i b u t e de n v i r o n m e n t , i n v e s t i g a t es e v e r a lm a i ns s it e c h n o l o g i e sa n dt h e i r a p p l i c a t i o nf u t u r ei ng r i d ，p r e s e n tt h ed e s i g na n di m p l e m e n t a t i o no fa p l a t f o r m - i n d e p e n d e n ts i n g l ef i l es y s t e mi m a g eo nt h ec l i e n t - s i d eo fh p c u s e r e n v i r o n m e n tu n d e rr e m o t ea n dd i s t r i b u t e dc o n d i t i o n ，p r e s e n tt h ea r c h i t e c t u r e ， i m p l e m e n t a t i o nd e t a i l sa n dp e r f o r m a n c ea n a l y s i s b yd o i n gs o ，w eb u i l da s o l i db a s ef o rt h ec o n s t r u c t i o no fn a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n g e n v i r o n m e n ta th e f e ig r i da n dt h ed e v e l o p m e n to fr e m o t eu s e re n v i r o n m e n t a n di t st o o l sa sw e l l 3 w ed i s c u s st h eg l o b a lj o ba l l o c a t i o na n dp e r f o r m a n c ee v a l u a t i o ni ng r i d ， p r e s e r raq u e u em o d e lf o rj o bs c h e d u l i n g ，w h i c hp r o v i d es c i e n t i f i cf o u n d a t i o n i v a b s t r a c t f o rt h es c h e d u l eo fp a r a l l e lt a s k si ng r i da n dt h es e l e c t i o no fc o m p u t i n gn o d e w ea l s o i n v e s t i g a t et h eg l o b a l r e s o u r c em a n a g e m e n ta n da l l o c a t i o ni n d i s t r i b u t e de n v i r o n m e n t ，d i s c u s st h ea p p l i c a t i o no fd i f f e r e n tp o l i c i e si ng r i d c o m b i n e dw i t ht h en a t i o n a lh i t e c h8 6 3p r o j e c t - - - - n a t i o n a l h i g h p e r f o r m a n c ec o m p u t i n ge n v i r o n m e n ta th e f e i 曲da n di t sr e m o t eu s e r e n v i r o n m e n ta n dt o o l s ”，w ei n v e s t i g a t et h ed e s i g na n di m p l e m e n t a t i o no f g l o b a ls e c u n t ys c h e m ei ng r i d t h ea u t h o ro ft h i sp a p e rp a r t i c i p a t e dd i r e c t l yi na n d w a ss u p p o r t e db yas e r i e so f n a t i o n a lh i - t e c h8 6 3k e yp r o j e c t s ，i n c l u d i n g c l i e n t - s i d ei n t e g r a t e de n v i r o n m e n to f d a w n i n g 一3 0 0 0 ”“n a t i o n a lh i g hp e r f o r m a n c ee n v i r o n m e n ta th e f e ig r i d 二di t s e n v i r o n m e n ta n dt o o l sf o rr e m o t eu s e r s a n d “u s e r si n t e g r a t e de n v i r o n m e n to f d a w n i n g - 2 0 0 0i i v 第1 章绪论 电子计算机的发展过程在二十世纪下半叶呈现出加速度发展的趋势先后经 历了以元器件更新换代为标志的四个时期，即从电子管 晶体管，大规模集成电路 到超大规模集成电路的发展历程。随着科学技术在各个领域的进步，商业和工 业应用部门也对计算能力提出了越来越高的要求，正是在这种需求的强大推动 下，计算机处理器的计算能力不断得到快速提升。但是，经过几十年的飞速发 展，在传统冯氏体系结构下，计算机的运算速度已逐渐逼近物理器件的极限。 与此同时，应用领域对计算能力的要求进一步提高。美国国家科技政策署于八 十年代中期提出了迎接“巨大挑战”的计划，即要求利用计算机解决一些需要 超大规模复杂计算的科学问题，如天气预报，石油勘探，生物大分子计算等等。 这远远超出了当时绝大部分计算机的计算能力，只有极少数昂贵的超级计算服 务器可以承担其中某些工作。由于单纯依赖提高芯片速度的方式来增加单机计 算能力的道路似乎已走到尽头，人们开始尝试使用别的方法来进一步提高计算 机的运算能力。 1 9 6 3 年2 月1 8 日，美 w e s t i n gh o u s e 宇航实验室的工程师利用9 个c p u 部件， 搭成一个3 * 3 阵列，从而获得了某个偏微分方程的解，这标志着并行计算机的诞 生【l 】。人们首次发现计算机体系结构上的改变，也是提高计算能力的另一种途 径。从那以后，有关并行高性能讨算机的研究，逐渐成为各国政府和科研机构 在计算机研究和应用领域的研究热点。 1 1 计算机体系结构的发展 1 9 7 6 年，s e y m o u rc r a y 推出了第一台向量计算机c r a yl 。它采用一种新的体 系结构，性能比当时的标量系统高出一个数量级。c r a yl 使用向量指令和向量 寄存器，c p u 和快速主存紧耦合。从此时起，高性能计算机体系结构开始与市 场主流计算机的体系结构不同。在随后的十年间，人们不断推出新的向量计算 机，女n c d c 的c y b e r 2 0 5 ，f u j i t s u 的v p l 0 0 ，v p 2 0 0 ，n e c 的s x l ，s x 2 和国产的y h l 第1 章绪论 等等。向量计算机因此几乎成为超级计算机的代名词。它的发展呈两大趋势： ( - - ) 进一步提高单处理器的速度和效率：( - - ) 大力研制多处理器系统。 1 9 8 8 年推出的c r a yy - m pf h 8 个处理器组成。c r a y2 ，c r a y3 在1 9 8 9 年相继推 出。c r a y 系列向量机能够很容易地集成到其它计算机厂商的计算环境中去，同 时它还提供了对标准f o r t r a n 7 7 语言的支持。随着标准u n i x 操作系统( u n i c o s ) 和 向量编译器的出现，越来越多的软件厂商可以将他们的应用程序移植至i c m y 系 统中，这使得c r a y 系列向量机在工业领域获得了很大成功一占领了整个向量计算 机市场份额的6 0 2 1 。 + “ i 8 0 年代后半期，一种分布式存取的并行计算机系统开始出现。t h i n k i n g m a c h i n e 公司制造出c m 1 ，同时生产m p p 系统的厂商还有t m c ，i n t e l ，n c u b e ， k s r ，f p s 等等。这一类机器属于共享存储( s h a r e dm e m o r y ) 的多处理器系统， 各处理器之间通过公共总线、交叉开关或多级互连网络等方式共享一个公共的 存储器，分散在各个处理器中的应用程序各部分之间可以方便地通过共享的存 储变量来交换数据并实现各种互斥和同步操作。这样的系统也叫做紧耦合多处 理机( t i g h t l yc o u p l e d m u l t i p r o c e s s o r ) 。它的系统结构图如图1 1 所示。 图1 1 共享存储的多处理器系统 由于受到存储器带宽的限制，这类系统的可扩展性通常较差，难以达到很高 的性能。国产机d a w n i n 9 1 ，y h 2 也属于该类系统。与此同时，以i n t e l 公司用以 太网将自己生产的8 0 2 8 6 微处理器连接成i p s c 1 系统为标志，m p p 系统的制造商 也开始了对基于消息传递结构的m i m d ( m u l t i p l ei n s t r u c t i o ns t r e a mm u l t i p l ed a t a s t r e a m ) 模型的研究。 第1 章绪论 9 0 年代以后，微处理器技术得到了迅猛的发展。c m o s 芯片技术逐渐代替了 e c l 芯片技术，使得运算速度越来越快。m p p 系统逐渐显示出代替和超越向量 多处理系统的趋势。1 9 9 3 年6 月，m p p 系统和s i m d 系统的计算机占据了t o p 5 0 0 排行榜中的3 l 。典型的m i m d 系统有c r a yt 3 d ，t h i n k i n gm a c h i n ec m 5 ，i n t e l p a r a g o nx p s ，i b ms p 2 ，国产机d a w n i n g - 1 0 0 0 等。m p p 系统的出现使得超级计 算机和主流计算机间在计算性能上的巨大差异趋于消失，以高性能运算为目标 的同构单一系统面临着基于共享多处理器机群系统的巨大挑战。这些多处理器 系统通常出自有着广阔的工业和商业背景的传统u n i x 服务器生产j - 商。由于不 再局限于单一器件性能上的无限提高，设计成本也随着大规模生产得到了降低。 这种广泛应用市场上的标准部件的做法在很大程度上扩展了m p p 系统的应用前 景。由此高性能计算市场不再是一个独立的服务于浮点超级计算的市场，而成 为一个支持各种应用系统的高端市场。这个时期的机器大多属于分布存储 ( d i s t r i b u t e dm e m o r y ) 的多处理器系统【3 】 图1 2 分布存储的多处理器系统 如图1 2 所示，这类系统的每个处理单元都包括处理器、存储器和网络接口 等部件，可以看成是一个完整的计算机，各个处理单元之间则通过一个高速互 连网络连接在一起。处理结点之间的数据传输不是通过共享存储器，而是通过 在互连网络上进行消息传递来实现。它采用了分布式的存储器，各个处理器不 仅可以访问自己局部的存储器，也可以通过互连网络访问其它结点上的存储器。 第1 章绪论 由于高性能的互连网络能够连接多达成千上万个处理结点，所以这种多计算机 系统具有良好的可扩展性。 1 9 9 5 年之后，进入了各种并行计算系统并存发展的时期。在这一阶段，并 行计算机系统的工业和商业客户不断增加。他们使用的高性能计算机在t o p 5 0 0 中所占的比例逐渐上升，由1 9 9 5 年6 月的1 7 ( 8 5 台) 提高到1 9 9 9 年6 月的4 8 2 ( 2 4 1 台) 。其中的m p p 系统从9 3 年开始，所占比例就不断增大，9 7 年以后保持相对稳 定，而工作站机群系统n o w ( n e t w o r ko fw o r k s t a t i o n s 或q l u s t e ro f w o r k s t a t i o n 曲的数目从9 7 年开始逐渐增加。与此同时，向量计算机厂商n e c 和 f u j i t s u 先后推出了s x 4 【4 】和v p p 7 0 0 ，理论峰值都达到了1 t f l o p s 。基于同构体 系结构的大规模m p p 系统在性能和可用性方面也得到了进一步完善。c r a y 公司 1 9 9 6 年推出7 c r a yt 3 e 系列，a s c l l 9 9 7 年生产了 a s c ir e d 。在这一个时期里， 由于体系结构的发展相对成熟和卓越的性能价格比，s m p 系统受到了工业用户 的普遍欢迎。有代表性的产品包括s g i 的p o w e rc h a l l e n g e ( 1 9 9 4 ) ，o r i g i n 2 0 0 0 ( 1 9 9 6 ) 和s u n 公司的h p c1 0 0 0 0 系列。 1 2 机群计算 i b m 公司于6 0 年代最早提出了机群计算的概念当时企图用这种方法把超级 计算主机连接起来提供一种有效的并行化商业计算方式机群系统的结构如图 1 3 所示，每个结点都是一台工作站，p c 或s m p 机器，机器之间通过局域网或广域 网连接在一起，并配以相应的支撑软件( 主要是消息传递程序库和并行程序开 发环嬗 5 如m e s s a g ep a s s i n gi n t e r f a c p 6 7 和p a r a l l e v i r t u a l m a c h i n e 8 9 等) ，对整个系统资源进行统一调度和协调处理，从而实现高效 的并行处理。 节点类型：w o r k s t a t i o n ，p c 。s m p 图1 3 机群系统的基本结构 - 4 - 第1 章绪论 机群系统早期的典型代表为i b m 的h a s p 系统( h o u s t o na u t o m a t i cs p o o l i n g p n o n t y ) 和它的后续产品n j e s 系统( j o be n t r ys y s t e m ) 中这两个系统都提供了一种 方法把工作负载平衡分布到用户建立的计算机机群中去目前的机群系统有国产 曙光超级服务器d a w n i n g 一2 0 0 0 ，北航的基于总线桥的机群系统，i b m 公司的 p a r a l l e ls y s p l e x 系统等通过把硬件，操作系统，中间件和系统管理软件集成在一起 的方式，机群计算方式能够在允许大型主机用户继续使用他们已有的应用程序 的同时，大幅降低了计算代价，并且显著提高了性能 虽然如此，机群计算的发展直至8 0 年代才在以下三种因素的共同佧崩r 得到 了长足的进步：高性能微处理器的出现，高速网络的发展，和用于高性能分布式计 算的标准工具的产生伴随着昂贵且不易使用的传统超级计算机，计算科学和商业 应用领域对计算能力的需求也愈加增加这些最新的技术进步和市场上出现的 廉价的通用部件结合在一起，使得建立一个基于p c ，工作站或者s m p 机器的机群 网络成为进行廉价有效的并行计算的极富吸引力的选择从此以后，这种使用便宜 的标准硬件部件和通用廉价的软件的机群计算方式，业已重新定义了超级计算的 概穗黪二“一 并行计算已经逐渐从专业意义上的传统计算平台，比如c r a y s g it 3 e ，转移 到由具有单个或者多个处理器的个人电脑或工作站松散耦合起来的系统上来这 种方法不但更加廉价和通用，而且以这种方式建造的计算平台更加能够适应多样 化的应用类型和工作负载在由通用部件构成的机群上进行并行计算已经得到越 来越广泛舳接受的同时，在制造成熟可用的系统方面也已经取得了令人瞩目的成 果 1 3s i 肋与舡如体系结构的融合 在8 0 年代后期并行计算机硬件体系结构的发展历程上，有两个相互竞争的硬 件方法：s i m d ( s i n g l ei n s t r u c t i o nm u l t i p l ed a t a ) 和m i m d ( m u l t i p l ei n s t r u c t i o n m u l t i p l ed a t a ) 。 在s i m d 机器中，每个处理器在每个时钟周期内对不同的数据 执行相同的指令；在m i m d 机器中，不同处理器之间相互独立地操作，程序的同 步问题留给用户控制相应的硬件也可区分为共享存储和分布存储机器在共享 存储的机器上，每个处理器都能够同样的访问存储器的任何部分在分布存储的 机器上，内存则是分布在各处理器或节点上，它们之间的数据共享通过进程间通 第1 章绪论 信进行 t 一 近年来，共享存储和分布存储的概念逐渐已趋于融合。目前的大规模并行计 算机一般使用多个计算节点和分布式存储结构，每个计算节点内部则是采用共 享存储。一些商业公司已经成功的尝试了在分布存储体系结构的机器上为客户 提供一个单一的存储映象，使得并行机在使用时感觉就象是在用一台大的工作 站这方面的代表机型，如国产曙光2 0 0 0 型超级计算服务器。 1 4 并行计算应用的发展趋势 并行计算的应用领域在过去的十年内发生了两方面的变化一是由市场较小 的科学和工程计算转向巨大的商业和工业应用市场；二是并行计算应用的计算 规摸和复杂性都大大增加，呈现出高性能、多样性和多功能的发展趋势对于许 多复杂的应用( 其中包含许多不同类型的子问题) ，不仅要求高性能，而且还要求 代码开发的快速性、代码可移植性、计算性能的稳定性：要求集成各种现有的 标准、软件包、库和工具；要求在多平台、多学科、异构的网格环境 1 0 1 6 下 协同工作能否为这样的应用提供统一的并行程序设计模型和语言、界面一致 的环境和工具，方便地开发出充分发挥硬件效率的大型并行应用软件，是对并行 程序设计理论和技术提出的挑战 硬件方面的变化主要体现在并行体系结构的多样纯袭1 3 猪氆了目前主流 的并行计算系统体系结构及其主要特性 表1 1 目前主流的高性能并行计算机系统的体系结构其及主要特性 结构s m p n c c n u m a m p pc l u s t e rg i o b a ld i s t r t b u t e d c c - ，n u m a 一。 c l u s t e r g r i d 。, s 3 ( a t e m 节点数 o ( 1 0 ) 0 ( 1 0 0 ) o ( 1 0 0 ) - o ( i o o o ) o ( 1 0 0 ) o ( 1 0 ) - o ( 1 0 0 0 )o ( 1 0 ) - 0 0 0 0 0 ) 节点复杂性 m e d i u mg r a i no rf i n eo rm e d i u mm e d i u mg r a i nc o a r s eg r o i nw i d er a n g e c o a r s eg r a i n g r a m 节点问通信 c e n t r a l i z e da n d m e s s a g ep a s s i n gm e s s a g ep a s s i n gm e s s a g e s h a r e dt i l e s r p c d i s t r i b u t e ds h a r e d o r s h a c e d p a s s l n gm e s s a g ep e s s i n g m e r e ( ) r y v a r i a b l e sf o rd s mi p cp r o t o c o l 单一系统映 a j w a y si ns m pa n dp a r t l a i i y0 e s i r e dp a t t i e 村n o 象支持 s o