（信号与信息处理专业论文）基于linux高性能集群的geofem系统移植与应用.pdf

摘要 基于l i n u x 高性能集群的g e o f e m 系统移植与应用 作者简介：孙家文，男，1 9 8 1 年1 1 月出生，2 0 0 4 年9 月师从于成都理工大 学大学曹俊兴教授，于2 0 0 7 年6 月获硕士学位。 摘要 本文介绍了基于l i n u x 和m p i 的p c 集群的构建方法、基于p c 集群的 g e o f e m 系统移植方法、g e o f e m 的基本应用流程，以及应用g e o f e m 对弹 性体受力边值问题，即受到边界力时的内部结点位移进行模拟的过程与结果。 g e o f e m 是一套开放源代码的大型并行有限元数值模拟软件，是日本 r i s t 小组( r e s e a r c ho r g a n i z a t i o nf o ri n f o r m a t i o ns c i e n c e t e c h n o l o g y ) 地球 模拟器( e a c hs i m u l a t o r - e s ) 项目的软件成果之一，其在网格生成和解方程组 方面有着十分突出的功能，能对多种地球现象进行数值模拟。本文侧重介绍 g e o f e m 的移植、测试与应用。 本文的主要工作及成果如下： ( 1 ) 在荣莹的研究基础 9 】之上，重新架构并改进其所构建的c o w 型p c 集群。新集群架设过程中，完善了n f s 、n i s 、r s h 的架构与测试方法，并采 用s s h 替代r s h 作为外部用户登陆本地集群时的s h d l ；架设了常用的服务器 工具：用a u t o f s 实现n f s 和常用外设的自动挂载，开放远程w i n d o w s 用户使 用p u t t y 登陆时的端口，配置s a m b a 服务器使得各结点无论在l i n u x 还是在 w i n d o w s 下都能即时通信，架构v s f l p d 使得各节点机能够方便地共享文件。 新集群文件共享的便宜性、系统的健壮性都有提高。 ( 2 ) 安装调试了i n t e lf o r t r a n c c + + c o m p i l e t , 和m p i ，移植并测试了 g e o f e m 的多个模块：i v c o n s t m c t ，s t ，c u b m e s h ，d y n a m i c _ l i n e a r ，鲥l c o m p ， p a r t g e o f e m ，s t a f f t l i n e a r ，t h e r m a l ，u c d l ，p v rm o d u l e ，s u r f u r c e _ m o d u l e ， t h e r m a lf l u i d ，基本弄清楚了g e o f e m 的处理流程与使用方法，并整理成文 ( 由于g e o f e m 非商业化软件，没有详细的使用说明，原m a n u a l 非常粗糙， 使用起来很不方便) 。 ( 3 ) 在新移植的g e o f e m 系统中，利用其已经开放的网格化工具、 s t a t i cl i n e a r 模块，建立弹性立方体模型，对模型受到边界力时的边值问题即 其内部节点位移进行模拟，并将模拟结果通过s u r f a c em o d u l e 和p v rm o d u l e 转化为i m p 或u c d 数据格式，然后通过相关软件成图。 关键宇：g e o f e m 集群系统l i n u x 数值模拟有限元法 成都理工大学硕士学位论文 t h e t r a n s p l a n t a t i o na n da s y s t e mo n t h eb a s i s p p l i c a t i o no fg e o f e m l i c a t i o no il e 0 o fl i n u xc l u s t e r a b s t r a c t t h i st h e s i si n t r o d u c e st h em e t h o do fb u i l d i n gp cc l u s t e ro nt h eb a s i so fl i n u x a n dm p i ，t h et r a n s p l a n ta n da p p l i c a t i o no fg e o f e m ，a n dt h ep r o c e s sa n dr e s u l to f s i m u l a t i n gt h es t r e s s e db o u n d a r yv a l u eo fe l a s t i cc u b i cm o d e lb yg e o f e m ，t h a ti s ， t h ed i s p l a c e m e n to f m o d e l sn o d e sw h e nb o r n ed i f f e r e n tb o u n d a r yf o r c e s g e o f e mi sar e a l l yb i gs o u r c e o p e n e dp a r a l l e ls o f t w a r ef o rf i n i t ee l e m e n t n u m e r i c a ls i m u l a t i o ni ne a r t hs c i e n c e i tw a sm a d eb yr i s t ( r e s e a r c ho r g a n i z a t i o n f o ri n f o r m a t i o ns c i e n c e t e c h n o l o g y ) o fj a p a ni n19 9 7 - 2 0 0 3i nap r o j e c tc a l l e d e a r t hs i m u l a t o r ( e s ) g e o f e md o e sw e l li nm e s hg e n e r a t i o na n ds o l v i n ge q u a t i o n s t h i st h e s i ss t r e s s e so nt h et r a n s p l a n t ，t e s ta n da p p l i c a t i o no fg e o f e m t h em a i na c h i e v e m e n t so ft h i st h e s i sa r ea sf o l l o w s ： ( 1 ) r e b u i l da n dm o d i f yt h ep cc l u s t e ro fy i n gr o n g 9 】b yp e r f e c t i n gt h e p r o c e s so ft h ec o n f i g u r a t i o na n dt e s to fn f s ，n i s ，r e p l a c i n gr s h w i t hr s h + s s h ， a n da d d i n gs o m ec o m m o ns e r v e rt o o l ss u c ha sa u t o f s ，p u t t y ，s a m b a ，v s f l p da n ds o o n ，a l lo fw h i c ha r er e a l l yu s e f u lc o n s i d e r i n gt h er e s o u r c e so fm yo f f i c e t h en e w p cc l u s t e ri ss t r o n g e ra n dm o r ec o n v e n i e n tt h a nt h ef o r m e ro n e ( 2 ) i n s t a l la n dd e b u gi n t e lf o r t r a n c c + + c o m p i l e r sa n dm p i a l s ot r a n s p l a n t a n dt e s t m a n ym o d u l e s o fg e o f e ms u c ha s i v c o n s t r u c t ，s t ，c u b m e s h ， d y n a m i c _ l i n e a r ，g d l c o m p ，p a r t g e o f e m ，s t a t i c _ l i n e a r , t h e r m a l ，u c dl ，p v r m o d u l e ， s u r f u r c e _ m o d u l e ，t h e r m a l _ f l u i d ，e t c t h e ng e ta w a r eo ft h eu s a g ea n dp r o c e d u r e so f g e o f e m ( t h em a n u a lp u b l i s h e db yr i s ti sv e r yc o a r s eb e c a u s eg e o f e mi sn o t c o m m e r c i a l ) ( 3 ) m a k eu s eo ft h es t a t i c l i n e a rm o d u l eo fg e o f e mt os i m u l a t et h es t r e s s e d b o u n d a r yv a l u eo fe l a s t i cc u b i cm o d e l t h es t e p sa r e ：b u i l dam o d e l ，g e n e r a t e m e s h e s ，s o l v ee q u a t i o na n da d dd i f f e r e n tb o u n d a r yc o n d i t i o n sb ys t a t i c _ l i n e a r ，m a k e t h er e s u l tu c df o r m a to ri m pf o r m a tb ys u r f a c e m o d u l eo rp v r _ m o d u l e ，a n d d i s p l a yt h ef i n a lp i c t u r eo fs i m u l a t i o n t h er e s u l ti sc o n s i s t e n tw i t h o u rd i r e c t s p e c u l a t i o na n dc o m m o ne x p e r i e n c e k e yw o r d s ：g e o f e mp c - c l u s t e rl i n u xn u m e r i c a ls i m u l a t i o nf e m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得盛都堡王太堂或其 他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示谢意。 签名：础 学位论文版权使用授权书 本学位论文作者完全了解盛都堡王盔堂有关保留、使用学位论文的规 定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被 查阅和借阅。本人授权盛壑堡王盔堂可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位 论文。 ( 保密的学位论文在解密后适用本授权书) 签名： 沙翻 年、厂月砂日 第一章引言 1 1 选题依据 第一章引言 地球科学发展的一个趋势是【l 】：从对局部的个别学科的研究发展为对整个 地球系统及其各部分相互关系影响的研究，从定性的研究发展为对地球动力学 过程的定量化研究。先进的新技术使地球科学家获得了空前丰富的观测资料， 而对这些资料的处理、分析和深入理解，全都离不开现代计算科学和技术。 1 9 9 7 年起，日本r i s t 小组( r e s e a r c ho r g a n i z a t i o nf o rl n f o r m a t i o i ls c i e n c e & t e c h n o l o g y ) 开始了一个名为地球模拟器( e a r t hs i m u l a t o r - e s ) 的项目。e s 是矢量型超级计算机，占地3 个网球场那么大，约3 2 5 0 平方米，于2 0 0 2 年4 月投入使用。在接受超级计算机的世界标准l i n p a c k 基准测试时，其最高运算 速度可以达到3 5 6 1 t f l o p s ，相当于2 0 万台家用电脑，使用地球模拟器进行 c n t 热传导模拟时，仅仅用了1 8 个小时，而如果使用普通的个人电脑计算， 则需要大约l o 年时间【2 】【1 2 1 。 e s 项目小组同时建立了一套和地球模拟器相配套并行处理软件 g e o f e m 2 。g e o f e m 是大规模的并行有限元数值模拟平台，可用于仿真固体 地球现象，比如地幔地核的对流、板块的构造、地震波的传播及其耦合、板 块动态位错、构造应力、形变、海啸、地下水流动等，还可应用于核工和量子 物理领域。 g e o f e m 是开放源代码的，目前国内鲜有人使用。用本实验室现有计算机 资源移植并应用g e o f e m 建立地学模型进行模拟仿真具有一定的研究意义。 要实现g e o f e m 移植与应用，非常关键的一步是选择一个廉价的、快速 的、稳定的、并行的高性能计算平台。 p f i s t 一习曾指出，有三条途径可以改善计算机性能：让计算机工作的更强 劲、更聪明和获得帮助。工作更强劲，可以通过使用运行速度更快的计算机硬 件来实现，例如采用高性能的处理器和外围设备。工作的更聪明，则意味着计 算机应该更有效地工作，这要求程序员在编写程序实现计算任务时使用一定的 算法或技巧，从而可以在更短地时间内完成同样的计算任务。获得帮助，则是 利用多个处理器来协同求解同一个问题。因此，除去编写程序时需要考虑的算 法和技巧因素外，从计算机硬件方面来提高计算速度的方法有两个：进一步提 高处理器以及其他硬件设备的运算速度和使用多个处理器来协同求解。由于单 台计算机的运行速度受到材料的物理限制，根据电子在硅材料中运动的极限速 成都理工大学硕士学位论文 度估算，无论如何发展技术，单机的极限速度是十亿次每秒。并且，随着计算 速度的提升，计算的成本也会随之大幅提高。如果利用多个处理器连接起来构 成系统，使它们能够协同求解同一个问题，则很容易就能够突破单机的极限运 算速度，而且付出的成本与前者相比是很小的。因此，在提高计算速度的方法 中，最有效、简便而且经济的方法是后者。我们把这种多个处理器构成的系统 称为并行计算机。 高性能并行计算机的基本特征是具有多个处理机，每个处理机可称为节点 机。各节点机通过互连网耦合成一个整体，根据耦合的紧密程度可分为松耦合 和紧耦合两大系统。高性能计算机系统按照系统构成可分为：对称多处理器 ( s m p ) ，向量处理器和集群。 近些年来，p c 机价格下跌很快，应用已十分普及，一般人都可以方便地 建立起p c 集群并行系统或者工作站并行系统，还可以建立p c 机和工作站组 合集群异构并行系统。这些p c 机或者工作站可以各自独立工作，又可以建立 成集群实现高速并行计算。实现计算机集群并行系统的构建，并利用该集群并 行系统实现高性能应用，具有一定的社会价值和经济价值。 综上所述，利用实验室现有资源，搭建一个计算机集群，将o e o f e m 移 植并应用在该计算机集群上，满足实验室内科研需求，是有意义的工作。 1 2 研究与发展现状 1 2 1 数值模拟与g e o f e m 发展及应用现状“ 数值模拟是近二十年发展起来的，可与科学实验、理论分析并列的科学研 究方法。数值模拟已经运用到气象学、地球科学、材料学、电子科学、计算 机、环境工程、核工业、天文学、能源等几乎所有的现代科学研究领域，比 如：数值天气预报、评价含油污水对地下水的污染、关于油气藏的研究、南极 普里滋海冰数值模拟、台风的云系结构、自然气候模仿、高速电弧喷涂熔滴研 究、岩石声发射的有限元数值模拟研究、等离子体所开展放射治疗的数值模拟 与成像研究、温室滴灌线源土壤水分运动数值模拟、岩石力学物理研究、热加 工工艺及其优化设计、大气及地球流体研究、电磁干扰、降噪、沙尘暴模仿、 地震火山等自然灾害研究、隧道火灾烟气研究；数值模拟技术在保证工件 和工程质量、减少材料消耗、提高生产效率、缩短试制周期、降低危险程度、 提高研究精度等方面显示出无可比拟的优越性。数值模拟已经成为一门不可或 缺的工具，在现代科学研究中具有重要意义。 目前国内各个高校和中科院下各个分所有不少地球科学方面的数值模拟实 验室，比较出名的如：中国科学院大气物理研究所下的大气科学与地球流体学 2 第一章引言 数值模拟国家重点实验室、南京大学地球环境计算工程研究所、北京大学理论 与应用地球物理研究所、国家海洋局第一研究所、中国科学院东亚区域气候 环境重点实验室、中国地质科学院地质所大陆动力学研究中心、中国科学院遥 感应用研究所、空间天气学重点实验室、北京大学环境科学研究中心等等。现 在，国内也有一些数值模拟软件，如：青藏铁路工程路基下冻土热状态和路基 稳定性数值模拟研究的“地质工程有限元博士 d r g e o f e m ；共创联盟的油气藏 模拟软件；成都理工大学地质灾害防治与地质环境保护国家专业实验室地质灾 害数值与物理模拟研究中心开发的滑坡治理方案计算机辅助设计系统 s l o p e c a d 和边坡岩体块体稳定性分析系统s a s w ；材料与结构数值模拟研究 室t l 主开发了非线性节理元有限元软件g e o ，r l ，并在三峡二期围堰等工程中 有了实际应用；大庆油田与中科院共同研制的油层数值模拟软件；南京大学海 岸与海岛开发教育部重点实验室，设计并实现了一个海岸海洋潮流数值模拟虚 拟现实的原型软件系统v r o c e a n ，其实现了潮流水位场和流速场的三维实时 动态模拟，交互控制的三维空间飞行，遥感正射影像的三维地形映射，多分辨 率d e m 数据的分形压缩等功能。 国外有很多大型的数值模拟软件，目前中国已经引进了一些。英国a e a 公司的国际著名大型通用流体动力学分析软件c f x 主要功能是流体动力学分 析，并具有传热、流一固耦合、燃烧以及化学反应动力学分析功能。美国 a n s y s 公司大型非线形结构分析软件a n s y s 含有多种有限元分析的能力，包 括从简单线性静态分析到复杂非线性动态分析。主要功能是非线性分析、动力 学分析、热分析、电磁场分析、计算流体动力学分析、耦合场分析、疲劳断裂 复合材料。还有美国r a s c a 公司开发的三维拉格朗日差分分析程序 ( f l a c 3 d ) 、日本软脑株式会社开发的2 d s i g m a 和3 d - s i g m a 大型有限元数值 分析程序，有限元软件m a r c ，d y t r a n ，w e c a n 。 在数值模拟技术方面，日本的“地球模拟机”( e a r t hs i m u l a t o r ) 计划独树 一帜。该计划已建成了利用并行计算技术模拟三维粘弹性非均匀各向异性介质 中地震轮回三维动力学问题的技术平台( g e 0 f e m ) ，内含断层本构关系、断 层相互作用、地震波在三维粘弹性各向异性介质中传播、破裂发展的动力学问 题等，计算能力极强。例如日本展示的报告计算了利用g p s 等资料为约束条 件的日本3 0 0 年来的准静态地震轮回过程。该计划的实施可以完成强地面运动 的模拟和预测，对防震减灾意义重大。 对比一下，我国在此领域内差距较大，长期低水平重复，形不成拳头。一 方面是经济实力的约束，另一方面是重视程度不够。就地震方面而言，国外这 些计算技术的发展为地震预报最终从经验和统计预报向物理预报的转变奠定了 3 成都理工大学硕士学位论文 坚实的基础。如果我国在这一方面还不迎头赶上，则我国目前依靠几十年经验 在世界地震预测领域领先的地位维持不了多长时间哺j 。 1 2 2 并行计算发展现状 并行计算机最早的雏形诞生于1 9 6 3 年2 月，美国w e s t i n gh o u s e 宇航实验 室将9 个c p u 部件连接成一个3 3 阵列，并用它进行计算求得了一个偏微分 方程的解，这在当时是一个创举。不过世界上第一台真正能称为并行计算机的 是美国n l i n o i s 大学研制的i l l i a c - - i v 有一个控制部件和6 4 个处理单元组 成，6 4 个处理器单元连接成8 x 8 阵列，每个处理单元能做6 4 位字长的浮点运 算，局部存储器为1 6 k b ，设计速度为4 0 0 万次每秒。i l l i a c - - i v 的理论峰值 运算速度为2 5 亿次每秒。i l l i a c - - i v 作为当时的并行计算机产品不是一个 很成功的例子，它花费了四倍于合同规定的经费，其性能甚至未达到设计指标 的十分之一，但是它对并行计算机的影响是深远的【5 】【9 】。 在此后的十几年内，以向量化结构为主的计算机占了统治地位，比较成功 的代表是美国c r a y 公司推出的向量并行计算机c r a y - 1 。该机的研制从1 9 7 2 年 开始，1 9 7 6 年第一台样机交付使用。c r a y - 1 有1 2 个流水功能部件，时钟周期 为1 2 5 n s 主要创新点是有8 个响亮寄存器组，每组能够保存6 4 个6 4 位浮点 数。向量计算机的特点是应用流水线结构，流水线的每部分只能完成一个子功 能，通过时间重叠实现并行操作，达到计算加速的目的。c r a y - 1 大量采用了向 量流水线结构，实测运算速度达到1 3 亿次每秒浮点运算，有很高的性能价格 比，因此迅速而成功地实现了商品化生产。 尽管向量机很成功，但是单机的极限速度限制了计算机性能的不断提高， 不能满足大型计算的需要。要突破单机的极限速度，最终要用大规模并行计算 机和集群并行系统来克服向量机的局限。 自从超大规模集成微处理器出现以后，采用大量微处理器来组成并行计算 机成为并行计算机发展的新方向，而且取得了很大的成功。超大规模集处理器 可以大规模生产，这使得成千上万微处理器来组装并行计算机成为可能，并且 超大规模集成微处理器价钱更便宜，达到同样性能指标时可比传统的巨型机便 宜1 0 1 0 0 倍，这些优势使大规模并行计算机的性能迅速提高。 并行计算机的发展前景令人鼓舞，使得许多国家的科研机构及计算机公司 竟相投入研究和使用。比较有名的是美国i n t d 公司1 9 8 5 年推出的个人超级计 算机i p s c ( p e r s o n f ls u p c r c o m p u t e r ) 。该机以i n t e l 8 0 2 8 6 作为节点机，运算 速度达到5 0 亿次每秒。二十世纪9 0 年代，i n t d 又推出5 0 0 个i 8 6 0 组成的二 维阵列结构的并行计算机t o u c h s t o n ed e l t a ，峰值速度达到4 0 0 亿次每秒。 4 第一章引言 1 9 8 6 年美国思维公司推出的c o n n e c t i o nm a c h i n ec m 1 ，由6 5 5 3 6 个1 为微处 理组成，运算速度为1 0 亿次每秒，推出的第一年就生产的1 6 台。 图2 12 0 0 6 年6 月全球t o p s o o h p o 体系架构份额 图2 22 0 0 1 - 2 0 0 6 全球t o p 5 0 0 h p c 体系架构趋势 一年两次的全球超级计算机排行榜是全球高性能计算机发展的风向标，第 2 7 次全球最快超级计算机t o p 5 0 0 排行榜于2 0 0 6 年6 月2 7 日在德国召开的第 2 l 届国际超级计算会议( i s c 2 0 0 6 ) 上正式发布，其结果如图2 1 、2 - 2 表明， 采用星群( c o n s t e l l a t i o n s ) 结构的系统为3 8 套，与半年前基本持平，但比 一年前减少了一半。面向高端市场的m p p 结构系统继续减少，达到9 8 套，一 5 成都理工大学硕士学位论文 年前是1 1 7 套。高性能集群技术已逐渐占据了高性能计算的主导地位，工业标 准化的集群系统c l u s t e r 已经占据了t o p5 0 0h p c 排行榜的垄断地位，3 6 4 套 系统，7 2 8 的比重，而2 0 0 1 年6 月只有3 2 套，数年间增长了十倍之多，而 且有继续上扬的趋势”1 。 1 3 研究思路 g e o f e m 的开发环境主要是, a l p h a 系列，l i n u xp c 系列，8 r 2 2 0 1 和s r 8 0 0 0 。 开发语言是：源代码主要由f o r t r a n9 0 ( 可视化部分用c ) 、m p i 写成m p i 信息传递接口( m e s s a g ep a s s i n gi n t e r f a c e ) 哺j 。为了实现g c o f e m 向p cc l u s t e r 系 统移植，需要建立相应的物质基础，即构建一个适合安装的平台，然后在该平 台上安装调试g e o f e m ，并用之建立一个地学模型，实现并行处理，对特定对 象如弹性立方体模型中应力传导进行地数值模拟。 由于g e o f e m 需要进行大量的科学计算，本集群系统的应用类型应该是高 性能机群并行系统。构建高性能集群系统的方法很多，本文的设计目标为：尽 量利用实验室现有的p c 机连接起来进行高性能计算，同时各p c 机也尽可能各自 独立使用。集群系统各p c 机选用l i n u x 操作系统，通过n f s 、n i s 、s s h ( r s 1 ) 服 务器的配置实现集群系统网络构建。在服务器上安装m p i c h 、c 以及f o r t r a n 编译器。由于系统以g e 0 f e m 移植为主要目的，因此可先构建一个小型系统， 测试安装机群系统是否符合应用系统的要求，架设成功后，根据计算量的变 化，进一步按需要增加或者减少节点数量。 在集群系统构建成功的基础上，实现g e o f e m 向p c 机的移植。主要难点在 于g e o f e m 安装参数的配置。由于g e o f e m 安装参数众多，而且参数的选择与安 装平台有紧密的关系，在移植过程中应该根据集群系统选择的操作系统和编译 器的特点来确定参数。g e o f e m 安装结束后，应该进行相应的数据测试，验证 安装成功与否。然后利用其中的现有模块建立立方体弹性模型，对其受到边界 力时的内部位移进行数值模拟。 1 4 研究成果 本实验室的集群是在荣莹的研究基础 9 1 之上重新搭建并改进而成，将其原 来的r s h 优化为默认是使用s s h ，并增加了一些新的服务器功能，提高了系统 性能，然后安装测试了g e o f e m 软件，并利用g e o f e m 建模，进行弹性体受到边 界力时静态位移模拟。取得如下成果： 6 第一章引言 ( 1 ) 系统通过n f s ( n e t w o r kf i l es y s t e m ) 实现了主节点与各从节点文件共 享，每次开机时主节点上指定的文件系统都会自动挂载到个从节点上。这些从 节点对挂载的n f s 文件系统具有读写权限。在从节点上看来，这些远程主节点 上的文件如同本地文件一样可操作。另外可通过a u t o f s 使得这些远程文件在使用 时自动挂载，不使用时就不占用系统资源。 ( 2 ) 系统通过n i s ( n e t w o r ki n f o r m a t i o ns y s t e m ) 实现了用一个主机来管理 所有节点的账号。比如，在主节点上的用户为a 从节点上的用户为b ，当n i s 建 立成功以后，在从节点上可以用a 和其对应的密码登录，登录的用户身份是b 。 这样，集群管理人员就不需要单独管理所有节点机的用户账号和密码了。 ( 3 ) 系统通过r s h ( r e m o t es h e l l ) 在集群内部各节点机消除口令。由于在 计算过程中各节点需要频繁的数据传输，即用户需要反复地登录其他节点机， 消除集群内部口令是非常必要。通过r s h ，用户可以远程执行对方的s h e l l 。 ( 4 ) 实现t s s h ( s e c u r es h e l l ) 规划。r s h 是比较过时的做法，系统各节点 间同时使用明文传输密码，这对连在i n t e m e t 上的集群来说是非常危险的。保险 起见，最好让系统默认时使用s s h 在各节点机之间传送加密口令，只有当s s h 发生故障是才使用r s h 。 ( 5 ) 安装了i n t e lf o r t r a n 和c 的编译器、m p i c h ( 6 ) 安装了一系列常用服务器工具。如s a m b a ，实现了各节点间无论进入 l i n u x 还是w i n d o w s 系统都能随时通信；v s n p d ，实现了目前l i n u x 中常用的最安 全、最可靠，而且免费的文件系统共享方式；p u t t y ，实现了从远程w i n d o w s 安 全登录使用该集群。 。 ( 8 ) 安装调试g e o f e m 。从g e o f e m 官方网站【2 】下载源代码和例子集，编 辑m a k e f i l e 文件，安装源程序，并依次测试g e o f e m 相应模块。 ( 9 ) 应用g e 0 f e m 。在g e 0 f e m 平台上建立弹性立方体模型，在立方体边 缘施加外力，模拟其内部静态位移。 7 成都理工大学硕士学位论文 第二章集群并行系统构建研究 2 1 并行计算机常见系统结构及特点分析 目前，高性能计算机系统的常见结构有共享内存对称多处理器系统 ( s m p ) 、分布式大规模多处理器系统( m p p ) 、分布共享存储器多处理机系 统( d s m ) 、集群系统( c l u s t e r ) 几种例。 其中集群是伴随着计算机网络技术飞速发展所兴起的基于网络的计算机并 行系统，是最近几年中最为主要的一种h p c ( h i g hp e r f o r m a n c ec o m p u t i n g ) 硬件，它是一组m p p 的集合，将多个独立的计算机系统通过高速通信网络互 连，统一调度，协调处理，实现高效并行处理。集群中的处理器通常被称为节 点，它具有自己的c p u 、内存、操作系统、f o 子系统，并且可以与其他节点 进行通信。系统中的节点机可以是高档微机、工作站、小型机、甚至是巨型 机。 集群并行计算机系统有如下特点 9 1 ： ( 1 ) 易于实现。只需要将现成的计算机系统用高速通信网络连接起来就 可构成集群并行系统。 ( 2 ) 可扩展性强。只要在网络上增加一台新计算，就可以提高系统能 力，处理能力容易扩展，同时却对系统中其他部件影响很小。 ( 3 ) 灵活性高。可以根据需要把不同机型的计算机互连，有效地形成一 个用户需要的异构并行计算环境。 ( 4 ) 最小化资源竞争。通过最小化共享资源达到减少由资源竞争带来的 系统干扰，减少系统由于竞争引起地效率下降。 ( 5 ) 高度输入输出。各节点机都有自己的i o 设备，可以用数据分布等 技术充分发挥系统的输入输出并行性。 ( 6 ) 性能价格比高。据美国o a kr i d g e 国际实验室的一组使用并行程序 测试，由l l 台i b mr s 6 0 0 0 工作站组成的并行系统的浮点运算速度可以达到 0 7 g f l o p s ，其价格远远低于相同速度的巨型机。 ( 7 ) 高可用性。集群中的每个节点失败，其任务都可转移给其他节点。 ( 8 ) 高性能。负载平衡集群允许系统同时接入更多的用户。 第二章集群并行系统构建研究 2 2 并行系统节点机耦合类型 所谓并行计算机，就是一种具有并行结构的高性能计算机。并行计算机的 基本特征是具有多个处理器，每个处理器可称为节点机。各节点机耦合成一个 整体，根据耦合的紧密程度分为松耦合和紧耦合两大系统1 5 。 1 紧耦合系统 具有共享存储器的系统称为紧耦合系统。因为每个节点机通过互连网络与 共享存储器相连，每个节点机离开共享存储器都不能独立工作，系统运行过程 中各节点机和共享存储器之间通信频繁，故称为紧耦合系统，也称为多处理机 系统。紧耦合系统的优点是整个系统共享一个存储空间，可以沿用传统的高级 语言编程，编程方便，容易推广使用。缺点是，当多个处理器同时访问共享内 存时会产生内存争用现象，从而严重影响系统效率，并且同时会产生通信瓶颈 使系统性能下降。为此也有一些方法，如多总线结构及非均匀存储访问等可用 于克服上述问题。此外，紧耦合系统还有一个缺点是可扩展性差，系统出厂时 在硬件结构上已经定型。 2 松耦合系统 具有分布式存储器的系统称为松耦合系统。因为系统中各节点机有自己的 局部存储器，指令和大部分数据都可以在本地处理器内部访问到，各节点机具 有相对独立性，只有少数共享数据需要在节点机之间通过通信方式交换，这样 可使通信量大大减少，因此称为松耦合系统。松耦合系统中的节点机都是可以 独立工作的分布式存储多计算机系统，也可以称为无共享资源结构的系统，其 主要优点是：通过最小化共享资源减少资源竞争带来的系统性能下降；通信网 络上的数据通信量较小，缓和了通信瓶颈问题；具有很高的可扩展性。 由于松耦合系统中的节点机都是独立的计算机，所以节点机数量可以大量 扩展，并且不会增加处理器之间的干扰。在高性能处理器芯片大量涌现的今 天，大规模并行机系统一般都采用松耦合结构。松耦合系统采用消息传递机制 实现各节点间的通信唧。 2 3 集群系统定义和分类日嘲1 集群就是一组相互独立的服务器通过网络连接，在网络中表现为单一的系 统，并以单一系统的模式加以管理。简单地说，集群就是一组通过高速网络连 接的相互独立的服务器或者p c 机，他们在工作时像一个统一的整体，并以单 一系统的模式加以管理。这些相互独立的服务器或者p c 机就是集群的节点。 9 成都理工大学硕士学位论文 集群能在同一时间内执行多条指令或处理多个数据，它是并行计算机的物理载 体。 虽然集群系统都是由节点机构成，但按其构架的形式和应用目的的不同系 统可分为很多类型。 1 按架构形式分类 在论及集群系统时，很多人马上会想到b e o w u l f 。实际上随着集群技术的发 展，产生了很多有别于b e o w u l f 集群的集群衍生物，c o w 和m o s i x 就是另外 两类集群系统。 2 按应用目的分类 根据集群的应用目的不同，可以分为高可用性集群、负载均衡集群和高性 能集群。 出于g e o f e m 的需要，本实验室搭建的是集群是高性能集群，并且是c o w 集群。 2 4 集群系统的硬件组成“明 由集群的定义可知集群的硬件有节点和互连网络两大部分组成。 2 4 1 节点 根据功能，我们可以把集群系统中的节点划分为6 种类型：用户节点、控 制节点、管理节点、存储节点、安装节点、计算节点。 图2 - 1 集群系统中的节点 虽然由多种类型的节点，但并不是说一台计算机只能是一种类型的节点。 一台计算机所扮演的节点类型要由集群的实际需求和计算机的配置决定。在小 型集群系统中，用户节点、控制节点、管理节点、存储节点和安装节点往往就 是同一台计算机，这台计算机通常成为主节点( m a s t e rn o d e ) 。在这种情况下， 集群就是由多个计算节点和一个主节点构成。 l o 第二章集群并行系统构建研究 在大型的集群系统中如何部署这些节点是个比较复杂的问题，通常要综合 应用需求，拓扑结构和预算等因素决定。 2 4 2 网络 集群中的节点通过高速网络相互联系，在通信网络的协议选择上可以使 用普通的t c p i p 协议，也可以使用等效t c p i p 协议的精简协议，如a c t i v e m e s s a g e 。很多时候为了方便起见，连接网络采用标准以太网络。除此之外， 市场上还有很多高性能的网络技术用于集群系统的连接，比如：快速以太网， 千兆以太网、a t m 异步传输模式、s c i ( s c a l a b l ec o h e r e n ti n t e r f a c e ) 、 m y r i e n e t 、q s n e t 。 2 5 集群操作系统软件组成n 1 1 集群系统采用的操作系统主要有v m s 、u n i x 、w i n d o w s n t 和l i n u x 。 美国d e c 公司( d i g i t a le q u i p m e n tc o r p o r a t i o n ) 开发的v m s c l u s t e r 系统 开发最早，技术也很成熟，应用也很广泛，但由于v m s 操作系统只能在d e c 公司的v a x 系列和a l p h a 系列服务器上运行，v m s c l u s t e r 的应用受到很大限 制。 u n i x 是服务器或工作站上普遍使用的操作系统，它运行稳定、安全性也 比较好，因此许多大的公司都采用了基于u n i x 的集群系统解决方案，如 d e c 、l i p 、s u n 、m m 、n c r 和d g 等公司，其中在国内影响比较大的主要 是d e c 、h p 、s u n 和m m 。 基于w i n d o w s n t 的集群系统解决方案厂商主要有m i r c r o s o f l 和d e c 。 m i c r o s o f t 于1 9 9 5 年就开始了集群系统的开发工作。w i n d o w s2 0 0 0 中已经增加 了集群功能，该高可用性集群叫做w o l f p a c k ，也叫做m i c r o s o f tc l u s t e rs e r v e r ( m c s ) 。w o l f p a c k 的缺陷在于：它只提供了两个节点的失败恢复功能，而没有 采用复杂的应用程序资源管理功能，因此在一定程度上影响了系统的高可用 性、高可靠性和可升级性。w o l f p a c k 不能支持多种操作系统，而只能运行于 w i n d o w sn t 操作系统上。由于w i n d o w s n t 操作系统本身在稳定性、大型并 行计算上与u n i x 系统存在较大差距，目前主要在中小型系统上应用。 九十年代末期，l i n u x 操作系统不断走向成熟，它的健壮性不断增强，并 且提供了g n u 软件和标准化的p v m 、m p i 消息传递机制，最重要的是l i n u x 在普通p c 机上提供了对高性能网络的支持，这样就大大推动了基于l i n u x 的 集群系统的发展。 考虑到现有资源、研究目的和各操作系统特点，本集群的系统选择常用的 l i n u x 系统。 成都理工大学硕士学位论文 3 1 节点部署 第三章集群系统的设计与实现 本集群系统的构建目的是移植运用g e o f e m 系统，g e o f e m 是大规模有 限元并行处理软件，在高性能计算平台上运行。结合实际需要与现有资源，本 系统设定为小型集群系统，因此将用户节点、控制节点、管理节点、存储节点 和安装节点都设定为同一台计算机，这台计算机称为主节点，同时主节点也参 与运算，即同时也是运算节点。 在计算节点的选用上应尽量采用相同的配置，而主节点除了要做网络服务 器之外还要作为计算节点参与运算。因此主节点机应该选用配置高于计算节点 的p c 机。 本机群系统的主节点配置为：c p ui n t e lp 42 g h z ，内存2 5 6 m ，硬盘6 0 g 从节点的配置为：c p ui n t e lp 4 ，1 7 g h z , 内存2 5 6 m ，硬盘4 0 g 3 2 网络拓扑结构帅羽 网络拓扑结构指抛开网络物理连接来讨论网络系统的连接形式，网络中的 各站点相互连接的方法和形式称为网络拓扑。拓扑图给出网络服务器、工作站 的网络配置和相互间的连接，它的结构主要有星型结构、总线结构、树型结 构、网状结构、蜂窝状结构、分布式结构等。 在局域网中使用最多的是总线型，星型以及混合型。考虑到本集群规模 小，需要频繁通信，选取控制、结构简单，便于管理和集中控制，易于建网和 集中管理，延迟较小，传输误差低的星型网络。 3 3 网络配置 所有节点机都安装w i n d o w s 和l i n u x 双系统。l i n u x 下每个节点都采用单 网卡双p ，一个公有口，一个私有口。主机名依次命为s e r v e r c l u s t e r ， n o d e l c l u s t e r ，n o d e 2 c l u s t e r 查看节点机名称：# h o s m a m e 修改节点机名称： # h o s t n a m e 主机名 1 2 第三章集群系统的设计与实现 # v i e t c s y s c o n f i g n e t w o r k ，编辑主机名。 查看现有l p ：i f i f c o n f i g 设定i p ： # v i e t c s y s c o n f l g n e t w o r k - s c r i p t