（固体力学专业论文）岩土大规模高性能并行有限元系统研究.pdf

摘要 本文的研究了如何在普通p c 机群上实现岩土工程大规模有限元并行计算，以更 好地发挥有限元在岩土工程中的应用。在p c 机群c o w 并行系统上，实现大规模有限 元并行计算需要解决有限元并行策略问题、大量数据的分布存储问题、大规模方程 组迭代求解的收敛性问题和程序实现等。本文围绕如何解决以上问题提出了一套系 统地解决这些问题的方法，具体来说做了以下工作， 1 、w i n d o w s 环境下并行平台的组建。组建了用l o o m b p s 高速以太网络联结若干台 个人计算机的并行系统平台，在此平台上采用w i n d o w s 下基于消息传递机制的 m p i 系统进行并行有限元程序开发。 2 、有限元并行策略研究。目前很多并行有限元采用的是局部并行算法，即对有限 元计算中计算量大的部分实行并行，如单元分析、方程组求解等。对于分布式内 存并行系统，这种方案需要大量通讯，大大影响计算速度，特别对于网络速度较 慢的p c 机群c o w 并行系统，这种方法的并行效率较低。本文提出采用区域分 解的“分而治之”的并行策略实现有限元并行，即将有限元计算区域划分成若干 大小相等的子区域，然后将这些子区域的计算映射到每个计算机上并行地进行。 每个进程负责本子区域的有限元全部计算，只在区域公共部分进行通讯和交换数 据信息。这种策略的优点在于高度并行、通信少、可扩展性好、程序具有很好的 移植性，软件维护工作量也相对少。 3 、有限元计算数据的分布存储研究。由于太规模有限元数据量巨大，单个p c 机求 解一个主要问题是内存不足。解决数据分布存储问题就是实现超大规模有限元计 算，同时还减少数据通讯。本文结合以上区域分解并行策略，将每个子区域的数 据信息存储在相应的各个计算机上，实现存储局部化，大大减少并行计算中的通 讯量，同时可以实现大规模计算。 4 、大型方程组并行迭代方法研究。由于直接法在存储量和计算量上的限制，不适 合并行地求解大规模方程组，本文采用共轭梯度法来实现方程组的并行求解。为 解决大型方程组收敛性问题，采用子区域信息建立预条件子。这种预处理技术非 常适合并行计算，而且收敛速度快、性能高，特别适合大规模方程组求解。 5 、并行有限元程序实现。并行程序开发比串行难度大得多，而有限元程序中数据 多，模块和函数也很多，整个程序极其复杂。为此，本文采用面向对象的编程技 术开发了并行有限元程序p a r a l l e l g e o f e m 。程序采用一些抽象类( 如p a r a l l e l f e r n 、 i n t e r f a c e 、s u b d o m n n 、n e w t o n r a p h s o n 和m e s h p a r t i t i o n e r 等) 将相关数据和函数进行封 装，只提供与其它类的接口函数。各个子类具有多态性和继承性，可以采用适合 自己的方式实现同一个行为。每个子区域采用类s u b d o m a i n 来维护子区域的所 有单元、节点、自由度等属性，它们分布存储在各个处理器上。因此，并行有限 元程序p a r a l l e l g e o f e m 具有很强扩展性，代码重用率高，软件维护工作少。程 序采用w i n d o w s 环境下v i s u a lc + + 开发。 6 、应用p a r a l l e l g e o f e m 对一个二维问题和水布垭地下厂房三维模型进行了模拟， 得到了较好的计算结果。 关键词：并行有限元区域分解预处理共轭梯度法面向对象技术岩土力学 a b s t r a c t i nt h i sd i s s e r t a t i o n ，s t u d i e so np e r f o r m i n gp a r a l l e lf i n i t ee l e m e n tc o m p u t a t i o ni n g e o t e c h n i c a l e n g i n e e r i n go nc l u s t e ro fp e r s o n a lc o m p u t e r s ( p c s ) a r ec a r r i e do u t t h ep u r p o s ei st oe n r i c ht h e a p p l i c a t i o no f f i n i t ee l e m e n tm e t h o d ( f e m li ng e o t e c h n i c a le n g i n e e r i n g t h ep a r a l l e ls t r a t e g i e so f f i n i t ee l e m e n tm e t h o d ，t h ed i s t r i b u t e ds t o r a g eo f a b u n d a n td a t a ，t h ec o n v e r g e n c e s p e e do fi t e r a t i v e s o l u t i o no fl a r g es c a l el i n e a re q u a t i o n sa n dt h ei m p l e m e n t a t i o no fp a r a l l e lf i n i t ee l e m e n tm e t h o d a r et h em o s ti m p o r t a n tp r o b l e m sw e p r o p o s e das y s t e mo f s o l u t i o n st ot h e s ep r o b l e m si nd e t a i l ， w eh a v ec o m p l e t e dt h ef o l l o w i n gw o r k ， 1b u i l d u p a p a r a l l e ls y s t e mp l a t f o r m o nw i n d o wo sb a s e do nac l u s t e ro fw o r k s t a t i o n s ( c o w ) w e c o n n e c t e dm a n yp c sb y1 0 1 0 0 m bh i g hs p e e de t h e m e t ，a n do nt h i sp l a t f o r m t h em p ii su s e da sc o m m u n i c a t i o ni i b r a r yf o rp a r a l l e lf i n i t ee l e m e n ts o f t w a r e 2 s t u d yo np a r a l l e ls t r a t e g i e so ff e m 1 1 1 et r a d i t i o n a l m e t h o df o r p a r a l l e l f e mi sl o c a l p a r a l l i z a t i o ns t r a t e g i e s a n di ti ss t i l lu s e di nm a n ys o f t w a r e s t h el o c a l p a r a l l i z a t i o ni s t o p a r a l l e lt h el a r g ep a r t i a lc a l c u l a t i o no ff e m ，s u c h a st h ee l e m e n t a s s e m b l a g e ，t h es o l u t i o no f e q u a t i o n s ，e t c a s f o rd i s t r i b u t e d p a r a l l e ls y s t e m ，t h ee f f i c i e n c y o ft h i ss c h e m ei sl o w b e c a u s eo fp l e n t yo fc o m m u n i c a t i o n ，e s p e c i a l l yi nc o w p a r a l l e ls y s t e mw i t hl o ws p e e do f n e t s ow eu s ed o m a i nd e c o m p o s i t i o nm e t h o d ( d i v i d ea n dc o n q u e r s t r a t e g y ) t oa c h i e v et h e p a m l l i z a t i o n o ff e m i nt h i sm e t h o d t h ec a l c u l a t e dd o m a i ni s p a r t i t i o n e d i n t o m a n y s u b d o m a i n sw h i c hh a v et h es a m es i z e t h e nt h e s es u b d o m a i n sa r e m a p p e dt om a n y p r o c e s s o r sa n dc o m p u t a t i o na r ec a r r i e do u tp a r a l l e l l ya n di n d e p e n d e n t l yi ne a c hp r o c e s s o r s e a c h p r o c e s sc o m p l e t e s a l l c o m p u t a t i o n o ff e ma n d o n l y c o m m o na r e a sn e e d c o m m u n i c a t i o nt o e x c h a n g ei n f o r m a t i u n c o m p a r e d w i t hl o c a l p a r a l l i z a t i o n d o m a i n d e c o m p o s i t i o nm e t h o dh a st h ea d v a n t a g e so fh i g h l yp a r a l l i s m ，l e s sc o m m u n i c a t i o n ，b e t t e r s c a l a b i l i t y , e a s i e rt r a n s p o r t a t i o na n dl e s ss o f t w a r em a i n t e n a n c e w o r k 3 s t u d yo nd i s t r i b u t e ds t o r a g es c h e m e o f l a r g ef e m d a t a t h em a i np r o b l e mf o rc o m p u t a t i o n o fl a r g es c a l ef e mo nas i n g l ep ci st h em e m o r yr e s t r i c t i o nb e c a u s eo fl a r g ea m o u n to f d a t a i i if e m a n o t h e rc o n s i d e r a t i o nf o rl a r g es c a l ef e ms i m u l a t i o ni nd i s t r i b u t e ds y s t e ms h o u l d b et a k e ni st h er e d u c t i o no fc o m m u n i c a t i o na m o n gp r o c e s s o r s ，i nc o m b i n a t i o no fd o m a i n d e c o m p o s i t i o ns t r a t e g y , w e s t o r et h ed a t al i n k i n gw i t he a c hs u b d o m a i ni ne a c hp r o c e s s o es o t h ed a t al o c a l i t yn o to n l yc a nr e d u c et h ec o m m u n i c a t i o n ，b u ta l s oi n c r e a s et h es c a l eo ft h e c o m p u t a t i o n 4 s t u d yo nt h e i t e r a t i v em e t h o df o rs o l u t i o no fl a r g ee q u a t i o n s w ea d c 。p t p r e c o n d i t i o n i n g c o n j u g a t e dg r a d i e n t ( p c g ) m e t h o d t o 削f i l lp a r a l l e ls o l u t i o no fl i n e a re q u a t i o n sb e c a u s eo f l a r g er e q u i r e m e n t so fs t o r a g ea n d c a l c u l a t i o no fd i r e c tm e t h o d s t oi n c r e a s et h ec o n v e r g e n c e s p e e d ，ap r e c o n d i t i o n e ri s c r e a t e db a s e do ns u b d o m a i nd a t a s ot h i st y p eo fp c gi sv e r y s u i t a b l ef o rp a r a l l e la l g o r i t h mo fl a r g es c a l el i n e a re q u a t i o n s a n di th a sg o o dc o n v e r g e n c e a n dh i g hp e r f o r m a n c e 5 i m p l e m e n t a t i o no fp a r a l l e lf e m c o m p a r e d w i t hs e r i a lp r o g r a m m i n g ，p a r a l l e lp r o g r a m m i n g i sm u c hm o r ed i f f i c u l t i nf e m ，t h ep r o g r a mi sv e r yc o m p l i c a t eb e c a u s eo fq u a n t i t i e so f m o d u l e sa n df u n c t i o n s s ow eu t i l i z eo b j e c t - o r i e n t e dp r o g r a m m i n gm e t h o dt od e v e l o po u r p a r a l l e lf e m s o f t w a r ec a l l e dp a r a l i e l g e o f e m s o m ea b s t r a c tc l a s s ( s u c ha sp a r a l l e l f e m ， i n t e r f a c e ，s u b d o m a i n ，n e w t o n r a p h s o na n dm e s h p a r t i t i o n e re t c ) a r eu s e dt o e n c l o s e dt h e d a t aa n df u n c t i o n s a n do n l yt h ei n t e r f a c ef u n c t i o n sa r ep r o v i d e dt ob ec a l l e db y o t h e r f u n c t i o n s d i f i e r e n ts u b c l a s s e s c a l lf u l f i l lt h es a r n em e t h o d s b yp o l y m o r p h i s m a n d i n h e r i t a n c e e a c hs u b d o m a i no b j e c tm a n a g e si t so w np r i v a t e dd a t as u c ha se l e m e n t ，n o d e a n dd o fe t c a n de a c hs u b d o m a i no b j e c ti ss t o r e di ne a c hp r o c e s s o es op a r a l l e l g e o f e m h a sh i g h l ye x t e n s i b i l i t y , r e u s a b i l i t yo fc o d ea n dl e s ss o f t w a r em a i n t e n a n c e t h ep a r a l l e l c o m o i l e ri sv i s u a lc + + o n w i n d o w so s 6 a2 - df e ma n da3 - df e ms i m u l a t i o no fs h u i b u y au n d e r g r o u n dw a r e h o u s ea r e u s e da s e x a m p l e st od i s c u s st h ee f f i c i e n c yo f t h ep a r a l l e ls o f t w a r e ，t h e r e s u l t ss h o wt h a tt h es o f t w a r e h a sh i g hp e r f o r m a n c e k e yw o r d s ：p a r a l l e lf e m ，d o m a i nd e c o m p o s i t i o nm e t h o d ，p c g , o o p , g e o m e c h a n i c s 第章绪论 第一章绪论 第一节并行计算的重要性 与1 9 8 0 年以前相比，现在的计算机，包括个人计算机的速度已经是非常快 的了，现在的一台p c 机甚至比以的的并行机都快，那又为什么需要并行计算呢? 首先，单个c p u 芯片越来越复杂，越来越小速度越来越快，但是最终会有 一个极限。芯片制造工艺越复杂，其成本也会越高。芯片尺寸减小到大约0 2 5 u m 将是一个工艺上的难关，即使能突破这个难关，由于量子效应，原子尺寸( 。 1 0 。1 0 m ) 将是它的最终极限， 其次，科学和技术对计算速度需求比计算机速度的发展还快。人类对计算机 性能要求是永无止境的，即是当前的一个问题被解决了，但是新的更具挑战的问 题马上产生，这是科技发展必然趋势。当前对高性能计算要求很高的领域包括： 全球气象模拟、计算流体力学中的风洞模拟技术、分子动力学、化学巨系统的模 拟、核武器数值模拟、地震数值模拟和油藏模拟等。因此，高性能计算是一个国 家综合实力的重要标志，关系国家政治、经济、军事、科技等几乎所有领域，对 国家战略安全十分重要。1 。 最后，并行系统是解决高性能计算的最佳途径。由于物理器件本身在速度、 尺寸、功能上存在着无法克制的限制，因此采用多处理器的并行计算机是解决这 一问题的关键手段，相比较也是经济的。 第二节岩土并行有限元 计算模型规模大、岩土介质复杂性是开发岩土并行有限元的动力因素。目前 我国正处在基础建设关键时期，许多大型工程( 三峡、小浪底、二潍、小湾、水 布垭等大型水利工程建设，秦岭深埋铁路隧道、青藏、川藏、滇藏公路铁路等重 大交通工程) 相继上马。这些大型工程涉及到许多岩土工程问题，如复杂的地质 构造、多场耦合、强烈的现代地壳活动和高地应力场、地震和岩爆造成的隧道以 及地下工程破坏方面。数值分析，特别是有限元是研究这些问题的有力工具。对 于这些复杂问题，有限元模型网格经常达到几十万甚至几百万。但是采用单个 p c 机需要的时间长，内存容量的限制，一些大的计算模型需要几天甚至几周时 岩土大规模高性能并行有限元系统研究 间。这样就导致不能满足工程的时间要求，也使得分析人员不得不减小计算规模， 将网格划分更粗，但这样导致计算结果可靠性降低。采用并行有限元就可以很好 解决这个问题，如果同一问题在在一台计算机上需要l 0 0 小时，采用l0 台计 算机同时计算l1 个小时就可以完成，这样就可以大大提高效率。 计算要求的提高也使得并行有限元在岩土工程大有用武之地。如信息化施工 在有限时间内完成大量复杂计算，并需要更多的信息，因此必须将网格划分更细， 能够满足工程需要。 由于能够同时解决计算规模和计算速度等问题，并行有限元计算在岩土工程 中将会发挥越来越大的作用，而且随着对计算的要求越来越高，它的作用会越来 越大。 第三节国内外研究概况 j a r o s j a vm a c k e r l e l 3 7 j 在2 0 0 0 年对1 9 9 7 一1 9 9 9 年对文献进行综合，共收集 了3 0 0 多篇代表性的与并行有限元和边界元有关的文献，实际上恐怕还多得多， 研究内容涉及到上百个方向。近年发展速度更快，文献更多。因为首先并行编程 技术和并行系统类型繁多；其次，有限元应用广泛，在很多领域均有应用，这些 领域均有并行有限元研究；再次，方程组求解方法，特别是迭代法及其并行算法 的研究当前很活跃，每年都有大量新的算法出现；最后，不同粒度和不同环境下 的并行算法也很多。纵观近年来国内外并行有限元研究状况，具有以下特点。 l 、有限元并行计算方法研究领域十分广泛 程建钢”3 们等对国外并行有限元研究领域的分布做了一个统计( 如下表) ，发 现并行有限元研究与应用领域十分广泛，发表的学术论文日益增多。涉及的领域 包括流体动力学、电磁学、天气和环境、声学、地球科学、油藏模拟、微电子、 分子模拟以及结构力学和动力学等。 第一章绪论 表l 一11 9 8 7 1 9 9 3 年间国外有限元并行计算研究与应用领域情况 p f e m 研究学位论文般文献p f e m 研究 学位论文一般文献 与应用领域 篇数 百分比( )篇数百分比( )弓应用领域 篇数百分比( )篇数百分比( ) 阶洲综述撤骨1 53并行机硬软件4432 65 通用有限元玎社 1 415 21 1 72 3 映射问题 l ll2 04 结构分析与优化3 13 37 1 4 02 7 5 屯了与电力技术 44 33 773 沭体山学问题151 3 65 51 1 计算物理与化学 lll1 53 片它j 学问魈22 2714地球与地质科学8 l6 数值；1 算方法1 81 9 66 31 24 环境与气象科学 22 220 4 f a b i 0i z y s e r m a n 和j u a ne s a n t o s 采用区域分解算法进行了3 维导电 结构的大地电磁模拟，该算法能够模拟大规模复杂结构，并在i b m s p2 超级计 算机上得到了理想结果。v a n n a m a a i ，c s k r i s h n a m o o r t h y ，v k a m a k o t i 对 汽车工业中自适应有限元进行了并行研究。他们的程序是基于工作站机群上，采 用p v m 和m p i 并行库开发了界面友好对并行程序。并行有限元算法采用子结构法 和动态平衡技术。k a l r o ，v i n a yj “1 研究了大规模3 d 流体并行计算。对n a v i e r s t o k e s 方程采用有限元方法进行计算。迭代方法采用的是g m r e s 方法。并行实 现在c m 5 并行系统上的数据并行、在c r a yt 3 d 上实现了消息传递的并行，在 s g io n y x 上的多处理器的共享内存并行。所有的并行不需网格结构化。矩阵采 用了稀疏矩阵存储技术。b a r r a g ye d w a r dj o s e p h ”1 在研究粘性流体流动，以及 与温度的耦合中发现计算中出现一些复杂因素，如偏微分方程的非线性、多解、 分叉等。他发现导致其中一些问题的原因是网格不够密，因此需要更精细的计算。 因而采用了自适应技术。但是这样会导致计算量大大增加。为此，他采用n e w t o n 法以及e b e 共轭梯度法的并行算法。采用这种方法后，很好的解决了问题。 从研究的出发点可以看出，不同领域研究并行有限元是因为当前计算中出现 一些难点，需要采用并行方法来解决规模问题和时间问题。 2 、并行有限元开发环境多样化 相对于串行有限元，并行有限元程序开发难度要大得多。这首先是因为并行 系统结构复杂而且繁多，同时并行编程工具也很多。并行程序开发另一个困难是 岩土大规模高性能并行有限元系统研究 程序的调试，因为很难同时了解程序在各个处理器上的运行情况。并行编程语言 有多种，主要包括基于共享内存的数据并行语言、并行函数库、现有语言的扩展 以及消息传递机制等，所有这些并行编程方法在并行有限元中都有应用。k l a u s a e h l i g r is t 采用o p e n m p 编程技术在共享存储并行系统上丌发了一个并行有限元程 序。程序中采用迭代方法( p c g ) 来求解方程组，程序在带有8 个处理器的共享 内存并行机s u n3 5 0 0 上具有较好的扩展性。v e s o n z o g n i ，a m y o m m i 等采 用c 十+ 语言和m p i 库和u n i xo s ，和由高速以太网连接的p e n t i u mi i i 处理器并行 系统开发了c f d 并行有限元，4 台处理器的加速比可达3 5 ，效果很好。f r a n k p b r u e c k n e r 等采用并行有限元在大型并行机上分析3 维无粘性和粘行流动问题。 包含时间的方程采用二阶r u n g e k u t t a 算法来离散。采用了一个自动转换程序把 原来的f o r t r a n7 7 源代码转换为f o r t r a n9 0 ，然后进行并行。s h a n g h s i e n h s i e h ，s u k o m a lm o d a k 和e 1 i s ad s o t e l i n o 等采用了面向对象的并行库p p i + + ， 并在此基础上开发了一个面向对象的矩阵类库来并行求解对成线性方程组。并对 一个12 片涡轮进行了有限元模拟。实践证明，基于面向对象技术的并行开发方 法具有简单性、代码重用性、可扩展性和可维护性等。孔祥安，詹剑峰”3 结合 c o r b a 和j a v a 技术，提出了一个能在支持t c p i p 的协议异构网络环境下实现分 布式有限元并行计算，并在局域网上实现了1 0 0 0 0 阶矩阵相乘的计算。 值得注意的是，近年来基于计算机集群系统的并行有限元发展很快。计算机 集群是采用工作站或微机做计算节点，通过网络连接形成高性能并行计算平台， 已成为并行计算机( m p p i 机) 一个重要的体系结构，美国i b m 公司的s p 系列和我 国的曙光2 0 0 0 等均采用这种结构。该系统目前主要采用e t h e r n e t 、f d d i 等局域 网络。不久将来的光纤链路在计算机集群系统中的应用，将产生第一代光互连高 性能并行计算机系统。 2 、有限元系统方程组并行求解研究最为活跃 我们知道，有限元计算中一个计算量最大的部分就是方程组的求解，它是大 规模有限元计算的一个瓶颈问题。围绕这个问题很多研究人员提出了其并行算 法，以提高计算效率，减少计算时间。m a r ka d a m s 采用多重网格法求解线性方 程组，他采用最大无关组技术( m i s s ) 来自动粗化无结构化网格，并发展了三维 问题的并行算法。该算法在2 4 0 i b ms m pp o w e r p c 并行系统上对一个4 0 m i l l i o n 第一章绪论 自由度的三维弹塑性问题进行了计算，具有很好的扩展性。朱金福等采用并行预 处理共轭梯度法( p p c g 法) ，研究了基于自带存储器的多处理机系统的并行预处 理算法问题。这种方法使用于以单道剖分的子结构法为基础的并行分析，适合具 有较多处理器系统对复杂结构进行的并行分析。k h a n ，a 1 和t o p p i n g b h v ”盯采用改进的j a c o b i 预处理梯度法来计算线性方程组。为了提高求解器性能， 处理器之间的通讯同时进行，并提出了个同时通讯方案，该方案考虑了矩阵的 半带宽以及处理器个数等。数值试验证明该方案能降低通讯代价。 由于共轭梯度法的并行特性，又特别适合求解大规模稀疏方程组，因此p c g 迭代法的并行算法研究是方程组并行求解算法研究的热点。我们知道，随着方程 组阶数变大，其收敛速度急剧降低。基于“分而治之”思想的区域分解是近年来 发展起来的，解决大规模方程组求解的快速、有效的迭代方法。它将大型方程组 分解陈许多小的方程组，然后在这些小的方程组上建立预条件子，并在全局空间 上在形成一层粗网格预条件子，这样具有收敛速度快、高度并行等优点。 2 、并行有限元求解规模越来越大 对一个计算规模已经确定的研究问题，研究并行有限元的一个目的是加快计 算速度，减少解决问题的代价。另外，还有一个重要目的就是扩大计算规模，把 有限元网格划分更小，或者计算区域规定更大( 因为有些问题的边界很难确定) ， 这样计算的目的是为了更精确、更能满足需要。因此，很多学者和研究单位对有 限元的计算规模进行了大量研究。在日本y a g a w ag ，o k u d ah ，n a k a m u r ah 和 k g a r a t a n i 等在“地球模拟器项目”( e a r t hs i m u l a t o rp r o j e c t ) 资助下开发了 一个预测地球的地球物理特性的变化的方法。它们的并行计算机比当时( 1 9 9 8 年) 的超级计算机快1 0 0 0 倍。他们在这个并行机上开发了一个基于全球规模的 并行程序g e o f e m 。2 0 0 1 年他们采用该系统计算了一个l o o m 自由度的弹性静力问 题。带有1 0 0 0 p e s 的并行系统计算一个百万自由度的问题的效率为6 1 2 ，c p u 的使用率达到9 6 8 。自从9 0 年代以后，由于分布内存并行计算机的发展，高 效的并行求解器得以发展。f a r h a t 和r o u x 在1 9 9 4 年提出了f e t i 方法，它是一 种基于迭代法和区域分解算法基础上的一种子结构法。最近f a r h a t 采用该方法 在由6 4 个处理器的i b ms p 2 并行机上计算了一个由8 8 万自由度的壳体结构； k a c o u 和p a r s o n s 于1 9 9 3 年提出了基于n e w t o n r a p h s o n 方法上的弹塑性有限元 岩土人舰模高性能并行存限几系统研究 并行多重网格方法，并计算了一个1 3 2 k 自由度的问题。f i s h 等在 9 9 5 年提出 了大规模非线性问题的一种隐式求解器，该方法结合了b f g s 方法和多重网格方 法。n i k i s h k o v 等开发了一个金属片造型分析的并行程序，该程序是通过子结构 并行化来实现的。n a k a j i m a ( 1 9 9 4 ) 等开发了一个基于带有i l u ( 0 ) 预条件子的 区域分解算法上的隐式并行求解器，l i z u k a 等采用这个求解器计算了个1 3 m 自由度的复杂结构弹塑性问题，g a r a t a n i ( 1 9 9 9 ) 采用这个求解器分析了一个简 单的自由度数目为1 0 0 m 的弹性问题。 2 、国内并行有限元研究与国外有一定差距“ 并行算法的设计和实现依赖于并行机的软硬件环境。由于条件限制，研究人 员少，起步晚，主要研究成果有： 周树荃”1 等在银河i 向量机上实现了刚度矩阵计算、对称带状矩阵的 c h o l e s k y 分解和线性方程组的求解并行处理。针对不规则结构工程分析问题， 他们还采用了变带存储方法，并实现了羁| j 度矩阵的并行计算以及求解变带宽稀疏 线性方程组的并行直接解法。此外他们还利用三级三阶半隐式r k 法求解结构动 力问题，并用多项式预处理共轭梯度法解有关方程组，提出并实现了半隐式r k 型并行直接积分法。 程建钢“州等建立了1 9 7 5 - - 1 9 9 4 年国内外有限元并行算法研究文献数据库管 理系统，设计了面向工程结构分析的串并行混合有限元动力系统软件p f e m 。 王荩贤“等在基于t r a n s p u t e r 芯片的分布是m i m d 系统上提出了有限元分析 中变带宽线性方程组的并行直接鼹法。 张汝清“刚等借助e l x s i - - 6 4 0 0 共享存储器型m i m d 系统。先后开展了范围较 为广泛的并行算法研究。主要成果有，提出了静力结构中子结构解法的并行算法， 以及动力分析中模态综合子结构法的并行算法，发展了多波前并行算法一求解大 型结构分析问题等。研究了e b e 向量和并行求解算法，该方法是基于e b e 方法和 梯度型迭代解法，基本思想是独立进行密集的局部单元矩阵向量计算，然后重新 组合它们得到向量或并行处理的优点。 乔新“”1 等借助基于t r a n s p u t e r 芯片的分布式m i m d 系统，实现了有限元方程 组的并行直接解法，并提出了基于子结构的预处理共轭梯度法的并行算法。 姚坚“6 ”等借助基于t r a n s p u t e r 芯片的分布式m i m d 系统，实现了时间域多步 6 第一章绪论 积分法的并行计算，并将它应用与弹性圆拱动力稳定性分析。 上述研究结果表明，国内并行计算方法的研究，在硬件上基于向量机、分布 是并行机和共享存储式并行机，在内容上似乎面很广，但系统性和深度还很不够 软件开发距离实际应用和商品化还有很大差距。 2 、岩土工程并行有限元数值模拟与其它领域有差距 在岩土工程，相对于其它行业，岩土工程中对并行有限元的研究还是近些年 的事。特别是在国内，这方面的文献很少。在国外，c a l l a h a nj a m e sd a y i d ”1 开发了一个3 维孔隙介质中天然气流动的并行有限元模拟程序。他的程序还带有 图形界面，能够看到气藏的几何图形、有限元网格和计算结果。而且，该程序还 具有自适应功能，求解器是并行波前法。对同一个问题的计算结果表明，该程序 的结果比有限差分法更精确。 i m s m i t h ”吲认为在岩士力学中三维大规模问题的模拟很常见，而且大规模 模拟在很多问题上也是必须的。它采用f o r t r a n 9 0 语言开发并行有限元程序，并 模拟了三维土钉墙，得到了很好的效率。 美国c a l i f o r n i a 大学b o r i sj e r e m i 6 “等研究人员设计和组建了适合大规 模岩土力学并行计算的并行平台g e o w u l f ，该平台属于b e o w u l f 并行系统。在该 平台上目前正在研究固流耦合问题的静力和动力、几何和材料非线性有限元方 法。 可以预料：并行有限元将会在岩土力学中越来越被重视。它能解决岩土力学 中多场耦合问题、大区域模拟( 如城市抽水沉降、大范围污染物迁移、海水入浸 等) 、岩土工程信息化施工中的快速数值模拟反馈等过程中出现的难题。 第四节本文工作内容 通过以上分析，我们认识到基于区域分解的并行算法是并行有限元最有前途 的一种算法之一，它是一种粗粒度的并行算法。它与p c g 迭代法相结合，能够加 速迭代收敛速度。另外在并行计算环境上，p c 网络机群的优越性越来越被认识。 因此本文的研究目标是在普通p e 机群上实现岩土工程大规模高精度有限元并行 计算，更好地发挥有限元在工程中的应用。本研究一方面将有助于缩短计算时间， 加速收敛，增大计算规模，另一方面减少大型有限元分析所需的硬件成本，使一 岩土大规模高性能并行有限元系统研究 般的学术界与工程界更有能力、较容易地在p c 机上进行大型的数值分析。具体 来讲本文将进行以下研究工作： 1 、p c 机群并行系统的组建。研究如何从硬件和软件上将若干单个p c 机连接起 来，组建一个w i n d o w s 环境下的并行计算系统。 2 、有限元并行策略研究。目前很多并行有限元采用的是局部并行算法，即对有 限元计算中计算量大的部分实行并行，这些部分占总计算量的8 0 左右。如 对线性方程组求解进行并行，对单元分析进行并行，对组装总体刚度矩阵进 行并行等。这种方法通讯量大、效率较低、可扩展性差。新的并行方法采用 区域分解并行策略，即将有限元计算区域划分成若干大小相等的子区域，然 后将这些子区域的计算量映射到每个计算机上并行计算。每个计算机负责本 子区域的有限元全部计算，只在区域公共部分进行通讯和交换数据信息。研 究如何进行计算区域的分解和大量数据的分布存储。 3 、大型稀疏矩阵的并行迭代算法研究。由于直接法在存储量和计算量上的限 制，不适合并行地求解大规模方程组。我们采用了预处理共轭梯度法( p c o ) 来实现大型稀疏方程组的求解。我们知道，线性方程组的阶次越高，迭代法 收敛速度越慢。为解决这个问题，本文将研究如何采用区域分解预处理技术 实现有限元中大型方程组的并行迭代求解。 4 、并行有限元程序实现。并行程序开发比串行难度约大得多，而有限元程序中 数据多，模块和函数也很多，整个程序极其复杂。为此，本文提出采用面向 对象的编程技术来开发并行有限元程序，研究并行有限元程序各个类的接口 和数据结构。程序采用w i n d o w s 环境下v i s u a lc + 十开发。 5 、对并行有限元程序性能评价。采用开发的并行有限元程序p a r a l l e i g e o f e m 对一个二维问题和水布垭地下厂房三维模型进行了模拟，分析计算结果。 8 第1 二章基于c o w 的并行计算环境和并行算法设计 第二章基于c o w 的并行计算环境和并行算法设计 第一节引言 经过2 0 多年的研究和发展，并行计算己牢牢确立了它在高科技关键技术中 的地位。作为并行计算的物质基础的计算机硬件，近年来发展尤为迅速。最早 的计算机并行是位并行方式。1 9 5 2 年美国新技术研究所研制了第一台位并行运 算样机，1 9 5 3 年完成了具有位并行运算的第一台商业计算机i b m 7 0 1 。到六十年 代，并行性迸步发展，研制了流水线单处理机系统。在1 9 7 0 年至1 9 8 0 年这段 时间内，大规模集成电路的发展导致了向量计算机、阵列计算机、相联处理机等 多种多样的并行处理系统。1 9 7 6 年由c r a y 公司研制的c r a y - l 就是比较成功 的向量流水线计算机，运算速度可达到每秒一亿三千万次浮点运算。八十年代以 来，计算机的体系结构又有突破性进展，最具代表性的是精简指令系统计算机 ( r i s c ) 、数据流计算机和智能计算机等。当前网络并行计算是国内外计算机科 学研究与应用领域中最引人注目的前沿课题之一。联想深腾1 8 0 0 大规模机群系 统的研制成功表明机群系统是当前国际高端计算机中发展最快也是最有前途的 方向扪。 并行计算机作用的体现最终还是在软件上。从目前的发展来看，相对于并行 计算机的硬件，其软件水平则显得落后，已经成为并行计算发展的一个瓶颈闯题。 并行软件主要是高性能并行算法。导致这种处境的原因是多方面的。首先，与串 行应用软件相比，目前的并行软件既不成熟又很少：其次，并行软件的开发难度 大其算法比串型一件复杂得多；再次，并行程序开发模型多种多样，不同的并 行系统结构有不同的程序设计模型，没有一个统一的模型。因此，在本章着重论 述我们所采用的并行体系结构相适应的、现在流彳亍的并行程序设计方法和技巧。 本章的结构安排如下，节首先介绍当前主流并行计算系统，然后介绍我们构 建的w i n d o w s 环境下的p c 网络机群并行系统；最后介绍c o w 并行系统编程环 境和并行程序设计方法，重点叙述基于消息传递机制的并行编程函数库m p i 。 9 岩土太规模高性能并行有限元系统研究 第二节并行计算机系统结构 1 并行计算机及其分类 并行计算机主要指两台或两台以上的处理机连接起来可以并行操作的机器。 根据指令流和数据流的不同，计算机系统可分为单指令流单数据流机( s i s d ) 、 单指令流多数据流机( s i m d ) 、多指令流多数据流机( m i m d ) 、多指令流多单 数据流机( m i s d ) 。 世界上真正的第一台并行机系统是1 9 7 2 年研制成功的i l l i a ci v ，当时美国投 资3 0 0 0 万美元研制了这台8 8 = 6 4 的阵列机。经过几十年，并行计算机在系统 的互联技术、系统结构模型、存储访问模型和存储结构组织等方面有很大的发展。 s i m d 和p v p ( 并行向量处理机) 在历史上曾经占过主导地位，但是当前能够满 足高速并行计算要求的主流并行计算机主要是s m p 、m p p 和c o w 等。下面就 介