（凝聚态物理专业论文）材料计算用pccluster的构建与性能分析.pdf

：兰j0 0 | 0 口 ，llf；、tif，t p， 独创性声明 本人郑重声明：所提交的学位论文是本人在导师指导下独立进行研究工作所取 得的成果。据我所知，除了特别加以标注和致谢的地方外，论文中不包含其他人已 经发表或撰写过的研究成果。对本人的研究做出重要贡献的个人和集体，均已在文 中作了明确的说明。本声明的法律结果由本人承担。 学位论文作者签名：日期：加，护- 厂夕口 学位论文使用授权书 本学位论文作者完全了解东：i l n 范大学有关保留、使用学位论文的规定，即： 东北师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版， 允许论文被查阅和借阅。本人授权东北师范大学可以将学位论文的全部或部分内容 编入有关数据库进行检索，可以采用影印、缩印或其它复制手段保存、汇编本学位 论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：兰趁 日期：z fa ，- j p 学位论文作者毕业后去向： 工作单位： 通讯地址： 指导教师签名：茎至趁： 电话： 邮编： 摘要 简要介绍了构建p c - c l u s t e r ( 集群) 的目的、意义及应用环境，c a s t e p ( c a m b r i d g e s e q u e n t i a lt o t a le n e r g yp a c k a g e ) 软件的主要功能、适用范围及安装方法，g a n g l i a ( 监控软件) 的安装、运行结果及截图；阐述了构建1 0 节点c l u s t e r 集群所需的软、 硬件条件，以及无密码远程访问的实现方法；以纤锌矿结构的氮化硼( w - b n ) 模型为例， 应用所构建的集群，监控和分析了“计算时间与c p u 数目间的关系曲线”、“计算时间 与k 点数间的关系曲线”，给出了晶格常数，得出了能带和态密度图像；运用c a s t e p 模块对z n o 的能带、态密度进行研究，并计算了z n o 本征缺陷( v o ) 。 计算结果表明，任务的计算时间的倒数与系统所用的c p u 数目，在一定范围内是近 似正比关系，可是当c p u 的数目增加到一定数目的时候，计算时间反而会增长，而且计 算的时间不仅与c p u 数目有关，还与k 点的对应关系有关，倘若c p u 的个数是k 点数的 一个因子，则明显会缩短计算时间。运用c a s t e p 模块对w - b n 模型和z n o 模型进行研究， 证实了w b n 属于典型的间接带隙半导体结构，z n o 属于典型的直接带隙半导体结构。 关键词：p c c l u s t e r 构建；材料计算；性能监控；并行收益 a b s t r a c t t h i st h e s i sm a k e sab r i e fi n t r o d u c t i o no ft h ep u r p o s e ，s i g n i f i c a n c ea n da p p l i c a t i o n e n v i r o n m e n to fc o n s t r u c t i n gp c - c l u s t e r ( c l u s t e r s ) ，t h em a i nf u n c t i o n ，a p p l i c a t i o na n d i n s t a l l a t i o nm e t h o do fc a s t e p ( c a m b r i d g es e q u e n t i a lt o t a le n e r g yp a c k a g e ) s o f t w a r e ，t h e i n s t a l l a t i o n ，o p e r a t i o nr e s u l t sa n ds h o t so fg a n g l i a ( m o n i t o r i n gs o f t w a r e ) ；i ta l s om a k e sa n a c c o u n to ft h er e q u i r e dh a r d w a r ea n ds o f t w a r ec o n d i t i o n sf o rs e t t i n gu p10 n o d ec l u s t e r c l u s t e r s ，a n dt h er e m o t ea c c e s si m p l e m e n t a t i o nm e t h o df o rn op a s s w o r d s t a k i n gw u r t z i t e b o r o nn i t r i d e ( w - b n ) m o d e lf o re x a m p l e ，t h er e s e a r c hu s e dt h ea l r e a d yb u i l t - u pc l u s t e r s ， m o n i t o ra n da n a l y s e st h e r e l a t i o n s h i pc u r v e sb e t w e e nt i m ec o m p u t i n ga n dc p u n u m b e r s ”， t h er e l a t i o n s h i pc u r v eb e t w e e nt i m ec o m p u t i n ga n dt h ek p o i n tn u m b e r s ，w o r k e do u tl a t t i c e c o n s t a n t ，o b t a i n e dt h ee n e r g yb a n da n dd e n s i t yi m a g e s ；t h er e s e a r c ha l s oa p p l i e dc a s t e p i n t ot h es t u d yo fm o d u l ez n oe n e r g yb a n d ，d e n s i t yo fs t a t e sa n dc a l c u l a t e dt h ed e f e c t so fz n o i n t r i n s i c ( v 0 ) t h er e s u l t ss h o wt h a tt h er e c i p r o c a lo ft h et a s ko fc o m p u t i n gt i m ea n dt h en u m b e ro f c p uu s e db yt h es y s t e m ，i nac e r t a i nr a n g ea r ea p p r o x i m a t e l yp r o p o r t i o n a lt ot h er e l a t i o n s h i p ， b u tw h e nt h en u m b e ro fc p u 。st oac e r t a i nn u m b e ro ft i m eb u tw i l li n c r e a s ec o m p u t i n gt i m e ， a n dc p u c o m p u t i n gt i m en o to n l yw i t ht h en u m b e ro ft h ea l s oc o r r e s p o n d e n c ew i t ht h ek p o i n t ，i ft h en u m b e ro fc p u i saf a c t o rk p o i n t s ，t h e no b v i o u s l yr e d u c ec o m p u t i n gt i m e t h e u s eo fc a s t e pm o d u l ew - b nm o d e la n dt h em o d e lo fz n o ，c o n f i r m e dt h ew - b ni sat y p i c a l s t r u c t u r eo ft h ei n d i r e c tb a n dg a ps e m i c o n d u c t o r , z n oi sat y p i c a ld i r e c tb a n d g a p s e m j c o n d u c t o rs t r u c t u r e s k e y w o r d s ：p c - c l u s t e rc o n s t r u c t i o n ；m a t e r i a lc a l c u l a t i o n ；p e r f o r m a n c em o n i t o r i n g ；p a r a l l e lg a i n s n 目录 中文摘要i 英文摘要i i 目录i i i 第一章序言。1 第二章c l u s t e r 简介2 第三章材料计算软件c a s t e p 简介3 3 1c a s t e p 软件介绍3 3 2c a s t e p 软件的主要功能。3 第四章集群的构建4 4 1 硬件4 4 2 软件4 4 2 1 系统搭建4 4 2 2 网卡的激活5 4 2 3l i n u x 系统网络配置6 4 3 无密码远程访问的实现一7 4 3 1 生成钥匙对7 4 3 2 配置公钥7 4 4c a s t e p 安装及许可证的安装8 4 4 1 安装h p m p i 并行环境8 4 4 2 安装l i c e n s ep a c k 8 4 4 3 安装m s 软件8 4 4 4n f s 挂载9 4 4 5 编辑安装目录s h a r e d a t a m a c h i n e l i n u x 10 第五章集群性能监控g a n g l i a 1 1 5 1g a n g l i a 简介1 1 5 2g a n g l i a 安装1 l 5 2 1g a n g l i a 依赖的包的安装1 l 5 2 2g a n g l i a 的安装及配置文件的设置1 2 5 2 3w e b 页面浏览及操作配置文件1 3 5 3 运行结果13 第六章并行收益及实例。1 6 6 1c a s t e p 软件的应用16 6 1 1 建构模型l6 i i i 6 1 2 计算任务的设置1 6 6 1 3 结构优化任务的设置。1 7 6 1 4 计算体系性质的设置17 6 1 5 计算结果的分析。1 8 6 2 运用c a s t e p 模块对z n o 进行研究2 0 6 2 1 计算模型和计算方法。2 0 6 2 2z n o 几何优化和能带2 0 6 2 3z n o 的能带态密度2l 6 2 4z n o 本征缺陷( 、，o ) 的理论计算2 l 第七章结 论 参考文献 致谢 i v 东北师范大学硕士学位论文 第一章序言 计算机处理技术从数据处理、知识处理发展到今天的智能处理，每前进一步，都要 求增强计算机的处理能力。计算机的发展史也表明，为了达到高效而快速计算的目的， 除了提高计算机系统的c p u 等元器件的速度外，计算机的体系结构也必须不断改进， 特别是当元器件发展速度达到极限时，设计新的计算机系统结构就成为问题的焦点，量 子计算、生物计算和并行计算成为人们解决高速计算新的方案，但只有并行计算技术才 是目前最为现实的大幅提高计算速度的方法。另一方面，随着科学技术的发展，科研工 作者越来越清楚地认识到“计算”已经成为与理论分析和实验并列的第三种科学研究手 段，许多科研工作已无法离开高性能计算机的支持，并行处理与并行计算技术是实现高 性能计算的有效途径。并行处理技术是指在同一时间间隔内增加操作数量的技术。可以 形象把并行技术看作由多个计算机共同完成同一个任务，从而提高完成任务的效率，缩 短完成任务的时间。 早在七十年代就有人提出可以使用集群技术完成并行处理，但是由于受到当时网络 交换技术的限制，集群系统在性能上与其他并行处理系统相距甚远。随着科学技术的发 展与信息时代的到来，人们需要处理的数据量越来越大，需要解决的问题也越来越复杂， 这对计算机的处理能力提出了更高的要求，然而人类对计算机处理数据能力的需求远远 快于摩尔定律所能提供的芯片发展速度，通过提高单个处理器的运算速度难以满足人们 的需要。伴随i n t e r n e t i n t r a n e t 的广泛应用和个人计算机的普及，以及a t m 技 术、千兆位以太网技术逐渐成熟，人们开始利用p c - c l u s t e r ( 集群) 技术来提高计算 机的性能，并获得了较高的性价比。从广义上讲，相互独立的一些系统构成一个组就是 集群。计算机集群技术就是将若干台p c 机通过网络连接在一起，使其像一台计算机一 样工作，从而获得接近或超过超级并行计算机的计算和处理能力的技术。集群并行计 算技术一般用于单个电脑无法完成的高性能计算。 本文主要探讨1 0 节点c l u s t e r 集群系统的构建、软件的安装、并行处理技术的应 用及集群性能监控。 东北师范大学硕士学位论文 第二章c l u s t e r 简介 c l u s t e r 系统亦称b e o w u l f 集群。简单的说，b e o w u l f 是一种能够将多台计算机用 于并行计算的体系结构。通常b e o w u l f 系统由通过以太网或其他网络连接的多个计算节 点和管理节点构成。管理节点控制整个集群系统，同时为计算节点提供文件服务和对外 的网络连接。它使用的是常见的硬件设备，像普通p c 、以太网卡和集线器，很少使用特 别定制的硬件设备。b e o w u l f 集群的软件也是随处可见的，像l i n u x 、p v m 和m p i 等。 b e o w u l f 中的计算节点都是专职于并行计算，并且进行了性能优化。它们采用高速 网( m y r i n e t 或g i g a n e t ) 上的消息传递( p 或m p i ) 进行进程间通信( i p c ) ，无论 从硬件、网络和软件上都对需要频繁交换数据的m i m d 应用做了特别的优化。b e o w u l f 的计算节点通常没有这些外设，对这些计算节点的访问通常是在管理节点上通过网络或 串口线实现的。 c l u s t e r 系统可以通过一个主交换机的公网i p 地址，实现对多个交换机的管理。主 交换机称为管理设备( 管理节点) ，其它被管理的交换机称为成员设备( 计算节点) 。 成员设备一般不设置公网i p 地址，通过管理设备重定向来实现对成员设备的管理和维 护。管理设备和成员设备组成了一个“集群 。 典型的应用环境如图2 所示。根据集群中各交换机所处的地位和功能的不同，形成 了不同的角色，用户可以通过配置来指定交换机的角色，各种角色可以按一定的规则进 行切换。每个集群必须指定一个( 而且只能指定一个) 管理设备，外部网络对集群内部 各成员的访问、配置、管理、监控等都需要经过管理设备，管理设备是访问集群成员的 出入口。 图2 集群管理流程 2 东北师范大学硕士学位论文 第三章材料计算软件c a s t e p 简介 3 1c a s t e p 软件介绍 c a s t e p ( c a m b r i d g es e q u e n t i a lt o t a le n e r g yp a c k a g e ) 是剑桥大学凝聚态理论 研究组开发的一套基于密度泛函方法的从头算量子力学程序，可以进行化学和材料科学 方面的研究，适用于多种材料体系，包括陶瓷、半导体和金属等。基于总能量赝势方法， c a s t e p 根据系统中原子的类型和数目，即可预测出包括晶格常数、几何结构、弹性常数、 能带、态密度、电荷密度、波函数及光学性质在内的各种性质。c a s t e p 使用的平面波赝 势技术已经过可靠性验证，并在许多领域中的成功应用。总能量包含动能、静电能和交 换关联能3 部分，各部分能量都可以用密度的函数来表示。电子与电子相互作用的交换 和相关效应采用局域密度近似和广义密度近似，静电势只考虑作用在系统价电子的有效 势( 即赝势：u l t r as o f t 或n o r m c o n s e r v i n g ) ，电子波函数用平面波基组扩展( 基组 数由e r u p t o f f 确定) ，电子状态方程采用数值求解( 积分点数由f f rm e s h 确定) ，电 子气的密度由分子轨道波函数构造，分子轨道波函数采用原子轨道的线性组合( l c a o ) 构 成。计算总能量采用s c f 迭代。根据系统中原子的类型和数目，预测品格常数、几何结 构驰豫、弹性常数、体模量、热焓、能带、态密度、电荷密度以及光学性质在内的各种 性质。 3 2c a s t e p 软件的主要功能 1 ) 可以对半导体、陶瓷、金属、矿石、沸石等进行第一原理量子力学计算，其典 型的功能包括研究表面化学、能带结构、态密度、和光学性质； 2 ) 能够研究体系电荷密度的空间分布和体系波函数； 3 ) 可以用来计算晶体的弹性模量和相关的机械性能，如，泊松系数等； 4 ) c a s t e p 中的过度态搜索工具提供了研究气相或者材料表面化学反应的技术。 总的来说，它可以实现计算体系的总能、进行结构优化、执行动力学任务；在设置 的温度和关联参数下，研究体系中原子的运动行为；计算周期体系的弹性常数；化学反 应的过度态搜索；计算晶体的性质，如能带结构、态密度、聚居数分析、声子色散关系、 声子态密度、光学性质、应力等。 东北师范大学硕士学位论文 第四章集群的构建 4 1 硬件 该计算机集群主要用于材料计算和科学研究，由1 0 个节点组成，其中1 个管理节 点( n o d e 3 ) ，9 个计算节点( 分别是n o d e 2 ，6 ，8 ，1 0 ，1 l ，1 2 ，1 3 ，1 4 ，1 5 ) 和一台 2 4 口千兆网络交换机构成。计算节点和管理节点都采用华硕主板的机架式服务器，c p u 为i n t e l ( r ) 2 4 g h z 。每个节点具体参数如表4 1 所示。 表4 1 各个节点参数 节点名c p u 核数内存硬盘网卡 n o d e 3 2 6 g5 0 0 g 2 n o d e 226 g8 0g1 n o d e 626g2 5 0g1 n o d e 826 g8 0g1 n o d e l 044g5 0 0g2 n o d e l l46g8 0g1 n o d e l 244g5 0 0g1 n o d e l 346g5 0 0g 1 n o d e l 444g5 0 0g1 n o d e l 5 44g5 0 0g1 汇总 3 25 2 g3 4 1 0 g1 2 集群的网络环境由两部分组成，其中一部分连接i n t e r n e t ，另一部分是集群的计算 网络。管理节点与外部网络连接，其中一个网卡与外部网络连接，为了集群系统的安全 性，在其上使用防火墙技术；另一个网卡作为集群网络接口，其上没有使用任何的安全 措施，因为它是集群的内部接口，更多的安全措施会给集群网络带来更多的负担。 4 2 软件 4 2 1 系统搭建 集群软件结构如图4 2 1 所示。在各个节点上完全安装f e d o r a1 1 操作系统，建立 m s i 用户，注意每个节点上的m s i 用户对应的密码要相同，否则无法节点间并行，一般 会提示“p e r m i s s i o nd e n i e d 各个用户的s h e l l 最好都用c s h 。配置好相关的参 数环境，关闭防火墙，开启必要的服务，其中n f sr e x e c ，r l o g i n ，r s h 必装，s e n & n a i l 最好不要开启，否则影响开机速度。 4 东北师范大学硕士学位论文 主节点服务器 ；际磊h 旧 巧再j 磊石i 、毒；堡l 网络文件系统 ! 坦1 堡旦! 刿庶：；蠡f j 吖l l i | 级 远程文件系 奉地文r ：系 垂挫文件系统i 陋程艾件系统i 1 远挫文件系j 地文仆系统4 i 地艾件系统i 。 肖点l符点2箝点3 地文件系 肖点n 图4 2 1 集群软件结构 4 2 2 网卡的激活 要使各个节点进行信息通讯必须靠网络，故装好系统后要先设置网络，若网卡没有 激活，要先激活网卡。在激活网卡之前要先做以下工作：如图4 2 2 ( a ) 所示，对网卡 进行设置，其路径如下：s y s t e m - * a d m i n is t r a ti o n - - n e t w o r k 其中e t h o 表示主板集成网卡，e t h l 表示独立网卡。点开任何一个网卡就出现如图 4 2 2 ( b ) 界面。 需要注意的有两点： 1 ) 是在“n i c k n a m e 下的设置，在第一选项“c o n t r o l l e db yn e t w o r k m a n a g e r 前不要划勾，除非在机器上网设置时勾选，否则无法激活网卡； 2 ) 网卡的另一项设置中有关m a c 地址的绑定时，要对其进行点击“p r o b e ，否则 m a c 地址和物理硬件不对应也是不利网卡的激活。 图4 2 2 ( a ) 网卡设置路径图4 2 2 ( b ) 网卡界面 东北9 币范大学硕士学位论文 4 2 3l i n u x 系统网络配置 1 ) 修改e t c h o s t s 文件，将所有节点名称及其对应i p 填入。例如： 2 0 2 1 9 8 1 3 3 4 3n o d e l 1 9 2 1 6 8 1 1n o d e 3 1 9 2 1 6 8 1 1 0 1n o d e 2 1 9 2 1 6 8 1 1 0 2n o d e 6 1 9 2 1 6 8 1 1 0 3n o d e 8 1 9 2 1 6 8 1 1 0 4n o d e l o 1 9 2 1 6 8 1 1 0 5 n o d e l1 1 9 2 1 6 8 1 1 0 6n o d e l 2 1 9 2 1 6 8 1 1 0 7n o d e l 3 1 9 2 1 6 8 1 1 0 8n o d e l 4 1 9 2 1 6 8 1 1 0 9 n o d e l 5 2 ) 修改( 或创建) e t c h o s t s e q u i v 文件 一行一个机器名，把所有允许访问本机进行m s i 计算的机器名填入，其目的是为了 使节点对其它的节点放权。 n o d e l 是用于启动m s i 集群计算的机器，其他的节点是参与计算者，在n o d e l 的 e t c h o s t s e q u i v 文件是： n o d e l # 给自己放权，这样在只有一台机器时也可以模拟并行计算环境 n o d e 2 ，n o d e 3 ，n o d e 6 ，n o d e 8 ，n o d e l 5 。 网络设置完了就可以进行网络的验证，在字符终端用命令“p i n gi p 地址 ，将会看 到如图4 2 3 所示的界面。 图4 2 3 网络验证界面 6 东北师范大学硕士学位论文 4 3 无密码远程访问的实现 4 3 1 生成钥匙对 以n o d e 3 表示主节点，n o d e 2 表示计算节点间实现无密码访问为例，使用命令 “s s h k e y g e n tr s a ” m s i n o d e 3 $ s s h k e y g e n tr s a 机器显示： g e n e r a t i n gp u b li c p r i v a t ed s ak e yp a i r e n t e rf i l ei nw h i c ht os a v et h ek e y ( r o o t s s h i d d s a ) ： e n t e rp a s s p h r a s e ( e m p t yf o rn op a s s p h r a s e ) ： e n te rs a m ep a ss p h r a s ea g a in ： y o u ri d e n t i f i c a t i o nh a sb e e ns a v e di n r o o t s s h i d d s a y o u rp u b li ck e yh a sb e e ns a v e di n r o o t s s h i d d s a p u b t h ek e yf i n g e r p r i n ti s ： c 3 ：8 4 ：4 d ：2 4 ：6 4 ：c 4 ：9 d ：2 b ：7 6 ：l a ：6 f ：7 e ：d c ：l a ：6 0 ：2 3r o o t f e d o r a 3 机器提示输入密码的时不要输入，一路回车即可，则s s h - k e y g e n s 命令将在“s s h 目录中生成公钥和私钥文件，其中i d _ d s a 是私钥，i d d s a p u b 是公钥，私钥保留在客 户端本地，公钥复制到s s h 登录的服务器上。在其他计算节点可以进行与在n o d e 2 上同 样的操作。 4 3 2 配置公钥 在主节点n o d e 3 上将i d _ r s a p u b 公钥文件的名称更改为： a u t h o r i z e d k e y s m s i n o d e 3 $c pi d r s a p u ba u t h o r i z e d k e y s 将各个计算节点的公钥用命令s c p 远程复制到主节点后并追加到其下的 a u t h o r i z e d _ k e y s 文件中： m s i n o d e 2 $ s c p s s h i d d s a p u bn o d e 3 ：h o m e m s i s s h m si n o d e 2 $ s s hn o d e 3 m s i n o d e 3 $ c a t h o m e m s i i d d s a p u b s s h a u t h o r i z e d k e y s m si n o d e 3 $r m h o m e m si id d s a p u b 将a u t h o r i z e d k e y s 文件远程复制到其他计算节点： m s i n o d e 3 $ s c p h o m e m s i s s h a u t h o r i z e a k e y sn o d e 2 ：h o m e m s i s s h 以上即完成了节点n o d e 2 和n o d e 3 之间的无密码访问。对于其他节点，在每个节点 重复一遍，并试着在某一节点上登录其它节点，s s hn o d e n ，则在s s h 下生成一个 k n o w n h o s t s 2 文件，里面放着访问该主机的密钥，把所有密钥收集起来，在各个节点上 作同样的拷贝，这样即可使各节点相互之间访问无需输入密码。 7 东北师范大学硕士学位论文 4 4c a s t e p 安装及许可证的安装 以下均是在l i n u x 下的安装流程。 4 4 1 安装h p m p i 并行环境 1 ) 以r o o t 身份登陆，光盘挂载： m o u n t - tis 0 9 6 6 0 d e v c d r o m m n t 2 ) 进入n m t c d r o m u n i x l i n u x _ x 8 6 _ 6 4 h p m p i 目录，并执行命令： r p m i v hh p m p i 一2 0 2 0 0 0 3 2 0 0 6 0 6 1 4 r r p m 如果r p m 包不能安装且提示没有文件的执行权限，我们就把m s 光盘中的u n i x 文件 复制到本地主目录下，并修改其用户主和执行权 改变用户主的命令： r o o t n o d e 3 # c h o w n rm s iu n i x 这样就把u n i x 文件夹的用户主改成了“m s i 。进入u n i x 目录下，把所有的文件 都改为可执行操作： m s i n o d e 3u n i x $ c h m o d r + x ( 因为是c l u s t e r 机器，则需要在每个节点上都安装h p m p i 并行环境) 3 ) 进入h o m e m s i u n i x 下，并执行命令： i n s t a ll 一一t y p ec l u s t e r 注意：对于m s 的安装用户来说s h e l l 应该是c s h 或t c s h 则需要安装c s h 方可装m s 。 在机器联网的情况下，添加c s h 则只要用命令“y u mi n s t a l lc s h 便可轻易装上。 在m s 的安装过程中可能因为缺库而无法安装，如缺少“l d _ l i n u x s o 2 库和 “1 i b s t d c + + s o 6 ，则需要先安装以下库： y u mi n s t a l ll d1 i n u x s o 2 y u mi n s t a l l1 i b s t d c + + s o 6 4 4 2 安装l i c e n s ep a c k 选择相应文件夹及安装模块后，程序将自动安装l i c e n s ep a c k ，此时，按照默认选 项进行安装即可。 4 4 3 安装m s 软件 在主节点也就是n o d e 3 上安装m a t e r i a l ss t u d i 0 4 4 ，注：使用m s i 用户安装，不 要用r o o t 安装，否则启动m s 网关时会提示无法启动进程。由于通过n f s 同时共享了 软件，所以，其他计算节点上可不装m a t e r i a l ss t u d i 0 4 4 。 安装完成l i c e n s ep a c k 后，程序将安装船软件，选择安装模块完成后需要将 g a t e w a y 设置为自启动模式，具体的方法为： 进入以下目录h o m e m s i a c c e l r y s l i n c e n s e p a c k e t c g a t e w a y 后，再做操作： m s g a t e w a y _ c o n t r o l 一1 8 8 8 8s t a r t 设置l i c e n s es e r v e r 。在h o m e m s i l i c e n s e p a c k l i c e n s e 中，新建m s i s e r v e r f i l 文件，该文件内容如下： 8 东北师范大学硕士学位论文 1 7 1 5 1 9 2 1 6 8 1 1 其中，1 7 1 5 是端口号，与l i c e n s e 文件的端口号相一致；1 9 2 1 6 8 1 1 则是 l i c e n s e s e r v e r 的i p 地址。如果是和享用其他机器上的l e c e n s e 许可的话则只要输入被 共享机器的i p 则可。 完成以上几步之后，可以正常使用m s 软件。 4 4 4n f s 挂载 以下系统文件操作都在r o o t 用户下进行，在主节点上的e t c e x p o r t s 文件中设定 允许被访问的文件、共享目录：h o m e m s i a c c e l r y s r o o t n o d e 3 # v i e t c e x p o r t s h o m e m s i a c c e l r y s 水( r w ，n o r o o t s q u a s h ，s y n c ) 保存退出使用命令e x p o r t f s - r v 查看，如果出现在终端出现下面的提示字 符则代表挂载成功。 r o o t n o d e 3m si # e x p o r t f s - r v e x p o r t i n g 木：h o m e m s i a c c e l r y s 在各节点上执行如下操作以共享n o d e 3 上的共享目录： m o u n t 一0h a r d ，s y n cn o d e 3 ：h o m e m s i a c c e l r y s h o m e m s i a c c e l r y s 在各计算节点上修改e t c f s t a b 文件在其中添加一行，在这一行中必须声明n f s 服务器的主机名、要导出的目录，以及要挂载n f s 共享的本地机器目录： n o d e 3 ：h o m e m s i a c c e l r y s h o m e m s i a c c e l r y sn f sd e f a u lt0 0 使用命令挂载： m o u n t tn f sn o d e 3 ：h o m e m s i a c c e l r y sh o m e m s i a c c e l r y s 可以利用命令“s h o w m o u n t ”查看是否挂载成功，如果看到图4 4 4 所示的界面则代 表各节点都挂载成功。 图4 4 4 各个节点挂载成功界面 9 东北9 币范大学硕士学位论文 4 4 5 编辑安装目影s h a r e d a t a m a c h i n e l i n u x 修改 s h a r e d a t a m a c h i n e l i n u x 文件来管理各个节点c p u 的使用情 况，该文件格式如下： n o d e 2 ：2 n o d e 3 ：2 n o d e 3 是节点的名称，而冒号后的2 表示当前节点c p u 的数目。检查其他计算节点 n o d e 2 、n o d e 3 中的，n f s ，r e x e c ，r l o g i n ，r s h ，s s h d 服务是否开启。若未开启 则手动使用s e r v i c e 命令开启这些服务。也可用下面的方法： r o o t 下运行s e t u p 一选择s y s t e ms e r v i c e - - 看看这四项是否打上星号。没有 的话用空格键选上。一 o k _ 一 重启机器。 l o 东北师范大学硕士学位论文 第五章集群性能监控g a n g l i a 5 1g a n g l i a 简介 为了利用计算机进行科学研究，美国加州大学u cb e r k e l e y 发起的一个开源监视项 目g a n g l i a 。g a n g l i a 软件设计主要用于监控系统性能( c p u ，m e m ，键盘利用率，i 0 负载， 网络流量等) 。通过监控屏幕上的各个关系曲线了解每个节点的工作状态，以方便调整、 分配系统资源，提高系统整体性能。 g a n g l i a 采用分布式的监控系统，有两个d a e m o n ，分别是：客户端g a n g li a m o n i t o r i n gd a e m o n ( g m o n d ) ；服务端g a n g l i am e t ad a e m o n ( g m e t a d ) 。每台计算机都 运行一个收集和发送度量数据( 如处理器速度、内存使用量等) 的名为g m o n d 的守护 进程。它将从操作系统和指定主机中收集。接收所有度量数据的主机可以显示这些数据 并且可以将这些数据的精简表单传递到层次结构中。正因为有这种层次结构模式，才使 得g a n g l i a 可以实现良好的扩展。g m o n d 带来的系统负载非常少，这使得它成为在集 群中各台计算机上运行的一段代码，而不会影响用户性能。 5 2g a n g l i a 安装 操作系统是f e d o r a11 ，要在本机上安装g a n g li a 的3 部分：g m e t a d ，g m o n d 和w e b 前端。如果已经有支持p h p 的a p a c h e 。则不用再安装w e b 前端。其中p h p 的内部工作流 程如图5 2 所示。 h p 3j 臣 2 交本交 p h p 3 处理 a p a c h e 服务器 1 客户请求 3 执 r 数据查询7 ：丌以h t m l 方疋爻一6 页l l i 返回客户 。么查询返搿w w 服务器 m y s q l 数据库 图5 2p h p 的内部工作流程 5 2 1g a n g l i a 依赖的包的安装 g a n g li a 依赖的包的安装如下： a p r 一1 3 3 t a r g z a p r u t i1 1 3 4 t a r g z 客 户 浏览器 东北师范大学硕士学位论文 e x p a t 一2 0 1 t a r g z d e j a v u l g c f o n t s 一2 2 6 2 f c l o n o a r c h r p m r r d t o o l 一1 3 4 2 f c l o x 8 6 6 4 r p m r r d t o o l d e v e l 一1 3 4 2 f c l o x 8 6 6 4 r p mg a n g li a 一3 0 7 1 s r c r p m 注意：不同的系统有些软件包是不兼容的，要保证各软件包良好的兼容性，任何2 个集群都可能有着不同的软件和硬件的匹配问题，要灵活选用。整个安装过程都使用 r o o t 权限。 第一步：下载所需套件 g a n 9 1 i a - 3 1 1 1 t a r g z 第二步：安装所下载的软件 1 ) 安装e x p a t 一2 0 1 t a r g z t a rx v z fe x p a t 一2 0 1 t a r g z c de x p a t * ；c o n f i g u r e - - p r e f i x = u s r l o c a l e x p a t 一2 0 1 ：m a k e ：m a k ei n s t a l