（工程力学专业论文）基于Linux机群的大型结构并行有限元方法研究.pdf

摘要 随着国家建设的不断发展，出现了各种各样的大型和超大型的复杂结构。这些工程结 构的规模不仅越来越大，其复杂程度也越来越高，而且还涉及到复杂的非线性本构关系， 计算时间长。传统的基于单机的有限元方法往往无法满足这些问题的计算。将并行计算技 术引入结构的有限元分析，可以从很大程度上增加结构分析的规模，提高分析速度，从而 促进有限元法在大型结构工程中的应用。 随着计算机及网络技术的发展，利用p c 机组建的机群为并行计算提供了平台。在此 背景下，河海大学： 程力学系利用p c 机组建了基于l i n u x 系统的高性能计算机群。本文 给出了机群环境的详细配置和使用方法，并且对机群系统进行了测试。在机群上成功配置 了主要用于在分布式存储环境下高效求解偏微分方程组的科学计算工具p e t s c ，对它的基 本用法和程序执行过程进行了说明。 区域分解算法是适合在并行机上求解偏微分方程的一种方法。该方法先将求解区域划 分为若干个子区域，然后在各个子区域并行求解。在机群环境下，本文以区域分解算法和 并行预处理共轭梯度法为理论基础，采用c + + 语言和m p i 编程方法，编制了基于l i n u x 操 作系统，适用于机群的大型结构并行有限元程序a d v p f e m 。 利用本文程序对长方体结构进行了并行计算，得出了加速比和并行效率，并且与 a b a q u s 软件计算的结果进行了比较，得出两者的结果是一致的。对龙马面板堆石坝的简 化模型进行了线性并行有限元计算，计算规模达到了百万单元，在机群上完成了计算。同 时对于在使用相同处理器情况下，对不同子区域数所需要的计算时间进行了分析和比较。 结果显示结构分析的并行计算时间不会随着计算c p u 和子区域数的增加而无限制的减少。 关键词：并行有限元，p e t s c ，区域分解，共轭梯度法，l i n u x 机群，m e t i s a b s t r a c t w i t ht h ec o n s t r u c t i o nd e v e l o p i n gi no u rc o u n t r y , m o r ea n dm o r el a r g e s c a l e ，s u p e r l a r g e - s c a l ec o m p l e xs t r u c t n r e sa r ec o n s t r u c t i n g t h e s ee n g i n e e r i n gn o to n l yh a v eh u g ed i m e n s i o n b u ta l s oh a v ev e r yc o m p l i c a t e dc o n d i t i o n ，a n dr e l a t et oi n t r i c a t en o n l i n e a rc o n s t i t u t i v er e l a t i o n ， t i m e - c o n s u m i n g t r a d i t i o n a lf i n i t ee l e m e n tm e t h o dr u n n i n go ns i n g l ep cc a r l ts a r i s f yt h e c o m p u t a t i o no ft h e s ep r o b l e m s t h et e c h n o l o g yo fp a r a l l e lc o m p u t a t i o ni si n t r o d u c e di n t ot h e s t r u c t u r ef i n i t ee l e m e n ta n a l y s i st oi n c r e a s et h es i z eo ft h ep r o b l e m s ，a c c e l e r a t et h ea n a l y s i sa n d f a c i l i t a t et h ea p p l i c a t i o no f t h ef i n i t ee l e m e n tm e t h o do nl a r g e s c a l es t r u c t u r e s w i t ht h ed e v e l o p i n go fc o m p u t e ra n dn e t w o r kt e c h n o l o g y , p cc l u s t e r sh a v eg a i n e da n i n c r e a s i n gi m p o r t a n c ea sp l a t f o r m sf o rp a r a l l e lh i g h p e r f o r m a n c es i m u l a t i o np r o b l e m s o nt h i s b a c k g r o u n d ，、ah i g h p e r f o r m a n c ec o m p u t i n gc l u s t e ru s i n gp ci s s e tu pb a s e do nl i n u x t h e d e t a i l e dm e t h o do fc o n f i g u r a t i o na n du s ei sp r e s e n t e d t h es c i e n t i f i cc o m p u t et o o lp e t s ci s c o n f i g u r e da n du s e dt os o l v ep d e i nt h ed i s t r i b u t i n ge n v i r o n m e n t t h i sd i s s e r t a t i o ni n t r o d u c e s t h em e t h o do f u s i n ga n dt h ep r o c e s so f e x e c u t i n g t h ed o m a i nd e c o m p o s i t i o ni san u m e r i c a l l ya p p r o x i m a t i n gs o l u t i o nt op a r t i a ld i f f e r e n t i a l e q u a t i o n so np a r a l l e lc o m p u t e r s i t d i v i d e st h ed o m a i ni n t os u b d o m a i n s ，a n du s e sp a r a l l e lm e t h o d t os o l v et h ep r o b l e m si nt h es u b d o m a i n s b a s e do nt h et r a i to fd o m a i nd e c o m p o s i t i o na n dt h e p a r a l l e lp r e c o n d i t i o nc o n j u g a t eg r a d i e n tm e t h o d ，u s i n gc + + a n dm p i ，t h i s d i s s e r t a t i o nd e v e l o p s ap a r a l l e lf i n i t ee l e m e n tp r o g r a ma d v p f e mb a s e do nl i n u xc l u s t e r u s i n gt h ep a r a l l e lp r o g r a mm a k eap a r a l l e lf i n i t ee l e m e n ta n a l y s i sf o rt h ec u b e ，a n dg a i nt h e a c c e l e r a t e dr a t i oa n dp a r a l l e le f f i c i e n c y t h er e s u l t sg a i n e db yp a r a l l e lp r o g r a ma r et h es a m ea s t h er e s u l t sg a i n e db yt h ea b a q u ss o f t w a r e t h e3 dp a r a l l e lf i n i t ee l e m e n ta n a l y s i sf o rt h e s i m p l em o d e lo f l o n g m a s o i l - s t o n ed a mw i t hm i l l i o ne l e m e n t si sc o m p l e t e do nt h el i n u xc l u s t e r w i t ht h es a m ec p u ，t h er e q u i r e dc o m p u t i n gt i m ef o rt h ed i f f e r e n ts u b d o m a i ni sp r e s e n t e d t h e r e s u l t ss h o wt h a tt h ep a r a l l e lc o m p u t i n gt i m ew i l ln o td e c r e a s ea ta l lt i m e sw h e nt h ec p ua n d s u b d o m a i ni n c r e a s e k e yw o r d s ：p a r a l l e lf i n i t ee l e m e n tm e t h o d ，p e t s c ，d o m a i nd e c o m p o s i t i o n ，c o n j u g a t e g r a d i e n tm e t h o d ，l i n u xc l u s t e r ，m e t i s 学位论文独创性声明： 本人所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果。与我一同工作的同事对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。如不实，本人负全 部责任。 论文作者( 签名) ： 遴、盛妒年月侈日 学位论文使用授权说明 河海大学、中国科学技术信息研究所、国家图书馆、中国学术期刊( 光 盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电子文档，可以 采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文 的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅。论文 全部或部分内容的公布( 包括刊登) 授权河海大学研究生院办理。 论文作者( 签名) ： 迸，硅年月侈 e t 河海大学硕士学位论文 1 1 研究的背景和意义 第一章绪论 电子计算机从4 0 年代问世以来，基本上是依照v o nn e u m a n n 的概念结构。它们在每一 时刻只能按一条指令对一个数据进行操作。但是随着计算机在国民经济、国防建设和高新 技术方面的应用日趋复杂，出现了诸如长期数值天气预报，油田整体油藏模拟，核武器数 值模拟，航空航天飞行器的设计，微观世界模拟等各种复杂的数学物理问题。这些问题含 有非规则的复杂结构、非均匀的复合材料、非线性的动力系统以及活动边界、带约束条件 等。因此，要对这些复杂的非线性数学物理方程进行大规模和高精度的计算，在一般计算 机上使用传统的计算方法是无法满足要求的。另一方面计算机单机性能的提高受到元器件 物理性能的限制，单机速度的提高也是具有其极限的【“。随着并行计算机的出现和发展使 得一些具有挑战性的大规模计算课题得以实现。通过把大的计算问题分解成许多彼此独立 又相关的子问题，把它们分布到多个处理器上并发执行从而解决问题。由于计算任务的并 发性、同时性，因此可以大大减少整个计算过程的时间，提高计算效率。高性能计算技术 水平已经成为一个国家经济和科技实力的综合体现，它在科学研究，工程技术以及军事等 方面取得了巨大的成就。高性能计算技术受到各国高层领导的重视，其中有两个比较著名 的研究规划，它们是美国的“高性能计算和通信”( h i g hp e r f o r m a n c ec o m p u t i n ga n d c o m m u n i c a t i o n ，简称h p c c ) 计划和“加速战略计算创新”( a c c e l e r a t e ds t r a t e g i cc o m p u t i n g i n i t i a t i v e ，简称a s c i ) 计划睇j 。 有限单元法是结构工程技术人员在2 0 世纪5 0 年代为结构分析而建立起来的。经过多年 的不断发展，理论基础已经相当完善，广泛应用于航天航空、造船、水利、机械、建筑、 石油等部门，它已经成为结构分析中必不可少的工具。改革开放以来，随着我国工程技术 的迅速发展，出现了各种各样的大型和超大型的复杂结构。这些结构包含了非线性本构关 系、随机荷载和复杂的边界条件等因素，要对这些大型复杂结构进行精细分析必然要借助 于高阶的数值分析模型和大规模科学与工程计算。而基于单机的串行有限元分析方法日益 显露出它的局限性。这些问题对单机内存要求较高，如模拟百万节点的问题需要4 g 甚至更 多的内存，这对于单机来说，要求过于苛刻；对这些问题即使进行一次弹性求解，也需要 花费很长时间，若进行弹塑性分析，其计算量更大，将会花费几天甚至几周的时间。计算 时间过长将无法满足设计及施工进度要求。另一方面，在一些工程领域中，结构分析的实 时性要求也越来越高。这些领域通常要求在现场快速实时地完成大量高精度的结构计算， 从而满足后续工作的要求。因此在工程结构分析中引入高性能计算已经是势在必行。 在目前的结构并行分析领域中，主要以并行有限元方法为主，它开展的研究最早，成 果也很多，研究范围涵盖了整个结构有限元分析领域，主要包括弹性静力分析p j 【4 j 、非弹 第一章绪论 性分析【5 】、动力分析【6 】【”、耦合分析嗍、断裂分卡斤【9 1 、自适应有限元分析1 0 1 、随机有限元分 析和网格生成等。同时在其它非结构分析领域，并行有限元方法也得到了发展和应用 1 3 1 。利用并行有限元方法对结构进行分析可以增大结构分析的规模、提高分析的精度、缩 短计算时间和提高分析的实时性。河海大学工程力学系对高性能计算的研究开展的较早， 在并行环境的架构、基础并行数值算法研究，结构并行有限元分析和结构并行算法等方面 取得了很多成果。本文主要研究如何利用高性能p c 机构建并行计算平台，并且在此平台上 研究基础并行算法和开发高效的并行有限元计算程序。 1 2 并行计算机简介 并行计算机是并行算法赖以生存的物质基础，它们的发展直接影响并行算法的设计和 生存。并行计算机具有很多种类，不同类型并行机具有不同的体系结构和并行方式，相对 于不同类型并行机的并行算法也不尽相同。1 9 6 6 年m j ，f l y n n 提出了著名的f l y n n 分类法， 根据指令流和数据流方式的不同将计算机系统分为以下4 类 1 4 1 ： 1 、单指令流单数据流s i s d ( s i n g l ei n s t r u c t i o ns t r e a m s i n g l ed a t as t r e a m ) 传统的串行计算机均属于s i s d 类型，该类型的c p u 主要采用两套指令系统：复杂指 令型，它的主要特点是拥有大量的机器语言指令，指令格式、寻址方式和指令字长有多种 形式。精简指令型通过减少指令条数，简化指令功能来降低软件设计的复杂程度，实现指 令系统的简单和高效，提高指令的运行速度。 2 、单指令流多数据流s i m d ( s i n g l ei n s t r u c t i o ns t r e a m m u l t i p l ed a t as t r e a m ) 单指令流多数据流并行机可以分为向量机v p ( v e c t o rp r o c e s s o r ) a l l 阵列机a p ( a r r a y p r o c e s s o r ) ，向量机在其结构设计中采用流水线概念，把一个运算分解为几个不同的部分， 通过时间重叠技术实现并行处理，如c r a y - 1 和国产的y h 一1 属于此类型。阵列机由成千 上万个功能简单的处理器构成，数据以某种方式流经各个处理器进行处理。s i m d 类型并 行机对并行计算机的发展起到了重要的推动作用，但9 0 年代后，并行机向m i m d 方向发 展，用于科学和工程计算的s i m d 类型的并行机已基本退出历史舞台。 3 、多指令流单数据流m i s d ( m u l t i p l ei n s t r u c t i o ns t r e a m s i n g l ed a t as t r e a m ) 该类型计算机比较少见。 4 、多指令流多数据流m 1 m d ( m u l t i p l ei n s t r u c t i o ns t r e a m - m u l t i p l ed a t as t r e a m ) 并行机中绝大部分都属于m i m d 系统。m i m d 系统按内存结构可以分为共享存储、分 布共享存储和分布式存储并行机三大类。五种m i m d 并行机的结构模型如图1 1 所示。其 中b ( b r i d g e ) 是存储总线和i o 总线间的接口，d i r ( c a c h ed i r e c t o r y ) 是高速缓存目录， i o b ( i ob u s ) 是i o 总线，l d ( l o c a ld i s k ) 是本地磁盘，m b ( m e m o r yb u s ) 是存储器总线， n i c m e t w o r ki n t e r f a c ec i r c u i t r y ) 是网络接v i 电路，p c ( m i c r o p r o c e s s o ra n dc a c h e ) 是微处理器 和高速缓存，s m ( s h a r e dm e m o r y ) 是共享存储器。 第一章绪论 偏微分方程组的并行求解器进行了研究。在开源软件的基础上，编制了并行有限元程序。 通过这些工作一方面可以通过机群系统大大提高解决实际计算问题的能力，另一方面也可 以为并行计算的教学提供一个试验环境。 本文对基于机群系统的并行有限元方法作了研究和探索，主要包括以下工作： 第一，通过对并行计算体系结构的讨论，建立了基于l i n u x 和m p i 的机群实验环境， 探索p c 机群系统的构建和实现方法。 第二，在搭建好的机群环境下进行基于区域分解法的并行有限元方法研究。 第三，在机群上配置可移植、可扩展科学计算工具p e t s c ，主要用于在分布式存储环 境高效求解偏微分方程组及相关问题，并且对它的基本函数库的调用和应用程序编译执行 进行了说明。 第四，按照面向对象的设计思想，充分发挥c + + 语言的封装性、继承性和多态性的特 点，结合m p i 编程方法，开发三维固体并行有限元程序a d v p f e m 。 第五，在自行建立的并行实验平台上，对并行有限元程序进行了性能测试，并以实际 工程的简化模型进行线性三维有限元分析。 第六，根据理论研究和实际测试结果，总结利用机群系统进行计算的并行效率。 河海大学硕士学位论文 第二章基于l i n u x 机群的并行系统的构建 机群( c l u s t e r ) 是一组相互独立的计算机通过网络连接，在网络中表现为单一的系统，并 以单一系统模式加以管理。这些单个的计算机系统就是机群的节点( n o d e ) 。节点可以是p c 或者工作站，拥有内存、i o 设备和操作系统，它们之间通过消息传递机制实现互相通信。 机群的研究起源于机群系统良好的可扩展性。提高c p u 主频和总线带宽是最初提供计 算机性能的主要手段。但是这一手段对系统性能的提高是有限的。接着人们通过增加c p u 个数和内存容量来提高性能，于是出现了向量机，对称多处理机( s m p ) 等。但是当c p u 的 个数超过某一值，象s m p 这些多处理机系统的可扩展性就变的极差。主要瓶颈在于c p u 访问内存的带宽并不能随着c p u 个数的增加而有效增长。从图2 1 可以看出机群系统的性 能随着c p u 个数的增加几乎是线性变化的。 图2 1 几种计算机系统的可扩展性 2 1 机群系统的硬件组成 数 图2 2 机群系统硬件组成示意图 机群系统中的节点可以分为六种类型：用户节点( u s e r n o d e ) 、控制节, 点( c o n t r o l n o d e ) 、 雪垦粤 第二章基于l i n u x 机群的并行系统的构建 管理节点( m a i l a g e m e n tn o d e ) 、存储节点( s t o r a g cn o d e ) 、安装节点( i n s t a l l a t i o nn o d e ) 、计算 节点( c o m p u t en o d e ) 。虽然由多种类型的节点，但并不是说一台计算机只能是一种类型的 节点。一台计算机所扮演的节点类型要由机群的实际需求和计算机的配置决定。在小型机 群系统中，用户节点、控制节点、管理节点、存储节点和安装节点往往就是同一台计算机。 本机群的节点构成参照此模式。 机群中的节点通过高速网络互相联系，在通信协议的选择上可以使用普通的t c p i p 协议，也可以使用等效t c p i p 协议的精简协议。大部分机群系统的连接采用标准的以太 网。另外，还有很多高性能的网络技术用于机群系统的连接。本机群的内部网络采用干兆 以太网，并且将控制节点连接到校园网，便于校内用户可以方便使用机群资源。 2 _ 2 机群系统的软件组成 1 、操作系统 操作系统的主要功能是充分利用系统内部的所有资源，同时能够支持各种高级语言和 应用程序，让整个计算机以最佳状态运行。目前p c 机主要使用的操作系统为w i n d o w s 和 l i n u x 。两者相比，l i n u x 操作系统在可扩展性等方面都优于w i n d o w s 操作系统。 l i n u x 最早是由芬兰赫尔辛基大学研究生l i n u sb e n e d i c t t o a l d s 在1 9 9 1 年发布的一套 完全开放源代码的操作系统。最初发行的内核版本为0 0 2 。1 9 9 1 年1 1 月推出内核为o 1 0 版本，接着又推出了o 1 1 版本，当时发布在i n t e m e t 上供大家免费使用。1 9 9 4 年3 月，l i n u x 1 0 正式版本推出，截至那时为止，它的用户数已经发展的很大，而且l i n u x 的核心开发队 伍也已经形成。此后，l i n u x 的发展速度非常快，内核也在不断向前发展。l i n u x 具有开放 性、良好的用户界面、设备独立性、多用户、多任务、可靠的系统安全性、良好的可移植 性等特点。因此，本机群所有节点均采用r e d h a t “n u ) ( 9 o 操作系统。 2 、消息传递环境 机群并行计算系统有了硬件和操作系统支持后，并行计算的实现还需要一个可移植的 并行计算软件环境。为了确保用户编写的程序可以在多个节点上进行并行计算，也可以在 其它可移植编程环境下运行，这就需要用到消息传递环境。 分布式并行系统采用消息传递机制来实现节点之间的通信，目前通用的消息传递环境 主要有p v m ( p a r a l l e lv i r t u r a lm a c l l i n e ，并行虚拟机) 、m p i ( m e s s a g ep a s s i n gi n t e r f a c e ，消息 传递界面) 、e x p r e s s 和l i n d a 等。当前国际上流行的p v m 和m p i 已经成为标准的并行计 算软件环境。 p v m 支持用户采用消息传递方式来编写并行程序，编程模型可以是s i m d 或m i m d ， 操作是以任务为单位的，通常一个任务就是一个进程。p v m 支持在虚拟机中自动加载任务 运行，任务问可以相互通信。p v m 支持应用程序、机器及网络的异构性，允许最适合的节 点去运行应用任务。 河海大学硕士学位论文 m p i 是由欧美4 0 个主要组织所组成的m p i 论坛定义的一个标准，为高性能并行计算 提供一个方便灵活的环境，也为不同平台的消息传递提供了有效的支持，是目前国际上最 流行的并行编程环境之一。它具有以下一些特点： ( 1 ) 提供应用程序编程接口。 ( 2 ) 提供通信效率，它包括避免存储到存储的多次重复拷贝，允许计算和通信的重叠等。 ( 3 ) 可在异构环境下提供实现。 ( 4 ) 提供的接i z l 可以方便c 语言和f o r t r a n 语言的调用。 ( 5 ) 提供可靠的通信接口，用户不必处理通信失败。 ( 6 ) 定义的接口和现在已有接口( 如p v m 、e x p r e s s 等) 差别不大，但允许扩展以提供更 大的灵活性。 ( 7 ) 定义的接口能在基本的通信和系统软件无重大改变时，在许多并行计算机生产商的 平台上实现。接口的语义是独立于语言的。 ( 8 ) 接口设计是线程安全的( 允许一个接口同时被多个线程调用) 。 m p i 提供了一种与语言和平台无关，可以被广泛使用的编写消息传递程序的标准，用 它来编写消息传递程序，不仅实用、可移植、高效和灵活，而且和当前已有的实现没有太 大变化。 m p i 标准化涉及到大约6 0 个国家的人们，他们主要来自于美国和欧洲的4 0 个组织， 这包括并行计算机的多数主要生产商，还有来自大学、政府实验室和工厂的研究者们。1 9 9 2 年4 月，并行计算研究中心在w i l l i a m s b u r gv i r g i n i a 召开了一个关于消息传递的标准的工 作会议，会议上讨论了标准消息传递的必要的、基本的特点，并建立了工作组继续进行标 准化工作。m p i 从1 9 9 2 年开始至今已经形成了许多版本，从m p i l 到m p i 2 ，功能不断 更新与发展。 由于m p i 是一个库而不是- f l 语言，因此对m p i 的使用必须和特定的语言结合起来 进行。f o r t r a n 是科学和工程计算的领域语言，而c c + + 语言又是使用最广泛的系统和 应用程序开发的语言，因此对f o r t r a n 和c c + + 语言的支持是必须的。 在机群系统中，m p i 得到了广泛的应用。m p i 有两个最常见的实现版本：m p i c h 和 l a m 。m p i c h是一种最重要的m p i实现，它可以免费从 h t t p ：w w w - u n i x m c s a n l g o v m p i m p i c h 获得。每当m p i 推出新的版本，就会有相应的m p i c h 的实现版本。l a m ( l o c a la r e am u l t i c o r a p u t e r ) 也是免费的m p i 实现，由o h i os a t eu n i v e r s i t y 开发，它可以从h t t p ：w w w 1 a m m p i o r g d o w n l o a d 下载。它主要用于异构的计算机网络计算 系统。无论是m p i c h ，还是l a m 都支持用户在多处理器、多操作平台以及分布式环境下 编程。两者功能相同，只是在运行命令和库函数形式上有所区别。 综上所述，在机群系统上使用m p i 作为各节点机之间消息传递是比较合适的。 第二章基于l i n u x 机群的并行系统的构建 2 3 机群系统的设计与实现 河海大学工程力学系机群系统的设计目的是为了能够进行大规模科学计算，对水利工 程结构分析进行并行化计算，同时为并行计算的教学提供一个实验环境。因此，本机群系 统的应用类型属于科学计算。设计目标是尽量利用现有的高性价比的p c 机和局域网来构 建一个并行计算机群系统，系统能够方便地被广大师生使用，而且便于以后计算量的变化， 按需要增加计算节点。 2 3 1 系统硬件环境的构建 由于考虑到计算有时需要长时间连续进行，所以在选择节点型号时需要考虑计算机能 够长时间运行，本系统选择性价比较高的h pp r o l i a n td l l 4 0 服务器作为管理和计算节点。 采用1 u 机架式服务器和4 2 u 机柜。具体配置如下： 主节点( m a s t e r n o d e ) ： ( 1 ) c p u 为英特尔至强处理器2 4 g h z ，支持超线程技术，可扩展至两路 ( 2 ) 5 3 3 m h z 前端总线，1 m b 二级缓存 ( 3 ) 内存为2 g b2 6 6 m h ze c cd d rs d r a m ( p c 2 1 0 0 1 ( 4 ) 硬盘为8 0 g b 删1 0 07 2 0 0 r p m ( 5 ) 集成两个b r o a d c o m 千兆网卡 计算节点( s l a v en o d e ) 配置与主节点一样，共1 6 台。系统采用3 c o ml o o o m 交换机。 为了便于管理，系统还使用了视频切换器k v m 在 x 第二章基于l i n u x 机群的并行系统的构建 l o 1 0 1 0 1 5t 1 5t 1 5 m e c h h h u e d u c n l o 1 0 1 0 1 6t 1 6t 1 6 m e c h h h u e d u c a 计算节点的h o s t s 为： 1 2 7 0 o 1l o c a l h o s tl o c a l h o s t d o m a i n 1 0 1 0 1 0 1 7t o 1 0 1 0 1 0 1t 1 1 0 1 0 1 0 2t 2 t o m e c h h h u e d u c n t 1 m e c h h h u e d u c n t 2 m e c h h h u e d u c n 1 0 1 0 1 0 ，1 5t 1 5t 1 5 m e c h h h u e d u ，c n 1 0 1 0 1 0 1 6t 1 6t 1 6 m e c h h h u e d u c n 2 、n f s 配置 n f s 是网络文件系统( n e t w o r kf i l es y s t e m ) 的简称，是分布式计算系统的一个重要组成 部分，可实现在异种网络上共享和装配远程文件系统。n f s 由s u n 公司开发，目前已经成 为文件服务的一种标准( r f c l 9 0 4 ，r f c l 8 1 3 ) 。其最大的功能就是可以通过网络，让不同操 作系统的计算机可以共享数据，所以也可以将它看做是一个文件服务器。 客户端p c 可以挂载n f ss e r v e r 所提供的目录，并且挂载之后这个目录看起来就像本 地的磁盘分区一样，可以使用c p 、c d 、m v 、i t n 、d f 等磁盘相关的指令。n f s 有属于自己 的协议与使用的端口号码，但是在资料传送或者其它相关讯息传递的时候，n f ss e r v e r 使 用的则是一个称为远程过程调用( r e m o t ep r o c e d u r ec a l l ，r p c ) 的协议来协助n f ss e r v e r 本 身的运作。 n f s 本身的服务并没有提供资料传递的协议，但是它却能进行文件的共享。原因就是 n f s 使用到一些其它相关的传输协议，而这些传输的协议就是远程过程调用r p c 。n f s 也 可以视为一个r p cs e r v e r 。要挂载n f ss e r v e r 的c l i e n tp c 主机，也需要同步启动远程过 程调用。这样s e r v e r 端和c l i e n t 端才能根据远程过程调用协议进行数据共享。 在本机群系统中需将主节点的h o m e 年1 u s r l o c a l 目录共享，从而能够更加方便地进行 并行计算。图2 5 为n f s 服务器分享目录与客户端挂载目录示意图。 挂载n f s _ 主机的h o r n 9 和, l u s r a o c a l 为率机的巾o m e 和，u s 啊o c a i 图2 , 5n f s 服务器分享目录与客户端挂载目录示意图 河海大学硕士学位论文 下面说明机群系统n f s 的配置过程： 服务器端的设置： ( 1 ) 编辑e t c ，c x p o n s 文件 r o o t t o ： # v i e t c e x p o r t s h o m e ( r w ) u s f f l o c a l 其中i v e 代表可擦写的权限。 ( 2 ) 激活服务p o r t m a p 和n f s d r o o t t 0 ： 】撑c h k c o n f i gp o r t m a po n r o o t t 0 ：】群e t c r c d i n i t d p o r t m a p s t a l t 【r o o t t o ：】撑c h k c o n f i gn f so n 【r o o t t o ：】撑e t c r c d i n i t d n f s s t a r t 客户端的设置： 在计算节点t l t 1 6 的e t c f s t a b 中加入： t o ：u s r l o c a l u s r l o c a ln f sd e f a u l t s0 0 t o ：h o m eh o m en f sd e f a u i t s 00 通过n f s 服务器的设置，使得机群系统中的每个节点都拥有主节点的h o m e 和u s r l o c a l 目录，可以共享这些目录下的数据文件。 3 、n i s 配置 n i s 网络信息服务( n e t w o r k i n f o r m a t i o ns y s t e m ) 用于共享本地网络中的重要文件，供局 域网的其它主机查询。例如：共享e t c p a s s w d 文件可供其它主机使用n i s 服务器中的用户登 录。 n i s 实际上是一个客户机能够查询的普通数据库，它由一系列相互独立的数据表组成， 每个数据表从根本上来说都是一个普通的文本文件。n i s 服务器可以通过列出整个表格或 者通过关键字进行查询。 n i s 的体系结构 ( 1 ) n i s 服务器 n i s 服务器是用于保存共享数据的主机，通常可以分为主n i s 服务器和从n i s 服务器， 可以在一个网络中为一个主n i s 服务器设置多个从n i s 服务器，用于备份主n i s 服务器的 共享数据。 ( 2 ) n i s 域 n i s 域是一种用于实现相互资源共享的逻辑空问，相当于w i n d o w s 中工作组的作用。 ( 3 ) n i s 客户机 能够共享查询n i s 服务器中的资源的主机。 第二章基于l i n u x 机群的并行系统的构建 n i s 主要用来管理与系统管理相关的信息，如e o c p a s s w d ( 用户名、密码、家目录信息) 、 e t c g r o u p ( 组群信息) 、e t c h o s t s ( ：l = 机名、i p 信息) ，n i s 服务器将这些信息的a s c i i 内容复 制成d b m 格式的资料库，当使用用户名登录系统时，n i s 客户端到n i s 服务器去查找该 用户的帐户和密码，以此作为用户登录密码的依据。 使用n i s 服务器配合n f s ，可以使网络中同一组群的资料随时保持同步，给用户提供 方便而有效的使用环境。 下面说明机群系统n i s 配置过程： 服务器端的设置： n 1 设置n i s 的域名 【r o o t t 0 ： # d o m a i n n a m e m e c h h h u e d u c a ( 2 ) 编辑e t c s y s c o n f i g n e t w o r k ，加入 n i s d o m a i n = “m e c h h h u e d u c n ” ( 3 ) 编辑v a r y p m a k e f i l e ，将 a l l ：p a s s w dg r o u ph o s t sr p cs e r v i c e sn e t i dp r o t o c o l sm a i l 改为 a l l ：y p s e r v e r sp a s s w dg r o u p h o s t sr p cs e r v i c e sn e t i dp r o t o c o l sm a i l ( 4 ) 启动引导时的守护程序，按顺序输入以下命令 r o o t t o ： 】# i n s e t c r c d i n i t d y p s e r v e t c r c d r c 3 d s 6 0 y p s e r v 【r o o t t o ： 】# 1 n - s e r e r e m 血d y p p a s s w d e t c r c d r c 3 d s 6 1 y p p a s s w d 【r o o t t o ： 】# i n s e t c r c d i n i t d y p s e r v e t c r c d r e 5 d s 2 6 y p s e r v 【r o o t t o ：1 # i n - s e t c r c d b m t d y p p a s s w d e t c r c d r c 5 d s 6 6 y p p a s s w d ( 5 ) 启动n i s r o o t t 0 ： # c h k c o n f i gy p s e r vo n 【r o o t t o ： 】# c h k c o n t i gy p p a s s w d do n r o o t t 0 ： # e t c r c d i n i t d y p s e r vs t a r t r o o t t 0 ：1 # e t c r c d i n i t d y p p a s s w d ds t a r t ( 6 ) n 作n i s 资料库 r o o t t o ：1 # u s r l i b y p y p i n i tm 客户端的设置： ( 1 ) 在e t e y p c o n f 中加入： d o r a a i nm e c h h h u e d u c ns e r v e rt o ( 2 ) 在e t c s y s c o n f i g n e t w o r k 中加入： n i s d o m a i n = “m e c h h h u e d u c n ” ( 3 1 建立引导守护程序 第二章基于l i n u x 机群的并行系统的构建 r o o t t 0 ： 】# t a r - x z v f p g i t a r g z 然后将解压后的文件拷贝到a s r l o c a l 目录下 r o o t t o ： 】# c p fp g i u s r l o c a l 配置环境参数： 如果使用的是t c s h ，在用户目录里c s h r c 里加入 s e t e n vp g i u s r l o c a l p g i s e tp a t h 2 ( $ p g u l i n u x 8 6 b i ns p a t h ) s e t c n vm a n p a t h $ p g i l i n u x 8 6 m a n 如果是b a s h ，s h 或k s h p a t h = u s r p g i l i n u x 8 6 5 o ，b i n ：$ p 棚 e x p o r tp a t h m a n p a t h 2 $ m a n p a t h ：u s r p g i l i n u x 8 6 m a n e x p o r tm a n p a t h ( 2 ) c c _ l + 编译器 c c + + 编译器采用r e d h a tl i n u x9 o 里包含的g c c 程序，它支持c c + + 的编译。 6 、m p i 的安装与配置 本机群系统采用m p i c h l 25 版本作为并行编程环境。m p i c h l - 2 5 版本可以从网上免 费获得。安装方法为： (