Centos5.0建立pc集群总结.doc

Centos5.0建立pc集群总结1 湖南大学物理与微电子科学学院（1） Samuel 2007,10,21（1）注：本人工作，引用请注明出处准备工作：设置IP，更改主机名为node01,node02,node03,node04.本说明首先建立一个集群然后讲述vasp和matlab的并行安装。其中包括nis和nfs的配置问题和linux上网问题的解决。第一章 安装mpich2一、创建SSH信任连接（在root目录下）1、更改/etc/hosts文件（ipv6去掉）#vi /etc/hosts 打开hosts文件，更改如下：127.0.0.1 localhost.localdomain localhostnode01的IP scc-mnode01的IP node01node02的IP node02node03的IP node03node04的IP node042、在node01生成SSH秘钥对（root用户或者一般用户，建议一般用户，在一般用户下步骤同下）.#ssh-keygen -t rsa 一路回车即可产生.ssh文件,#ls -a 查看是否有.ssh文件夹3、进入.ssh目录#cd .ssh4、生成authorized_keys文件#cp id_rsa.pub authorized_keys 5、退出到root目录#cd .6、建立本身的信任连接#ssh node01 按提示输入yes（三个字母要打全）7、设置node02（node02的root目录下）#ssh-keygen -t rsa 生成.ssh文件夹#scp node01的IP：/root/.ssh/* /root/.ssh 拷贝node01上的.ssh文件夹覆盖本地的#scp node01的IP：/etc/hosts /etc/hosts 拷贝node01上的hosts文件覆盖本地的#ssh node01 提示处输入yes回车设置node03,node04的方法与node02相同8、确认四台机器的信任连接已建立对每个节点执行：#ssh node01#ssh node02#ssh node03#ssh node04在提示处输入yes回车，最后确定无需输入密码并且没有任何提示信息即可登陆（Last login:时间日期提示信息除外）二、安装MPICH2(在节点root目录下)1、解压缩#tar -zxvf mpich2-1.0.1.tar.gz或者 #gunzip -c mpich2-1.0.1.tar.gz|tar xf mpich2-1.0.1.tar 或tar zxvf mpich2-1.0.1.tar.gz2、创建安装目录#mkdir /opt/mpich23、进入mpich2解压目录#cd mpich2-1.0.14、设置安装目录#./configure -prefix=/opt/mpich25、编译#make6、安装#make install7、退出到root目录#cd .8、通过编辑.bashrc文件修改环境变量#vi .bashrc修改后的.bashrc文件如下：# .bashrc# User specific aliases and functions alias rm=rm -ialias cp=cp -ialias mv=mv -iPATH=$PATH:/opt/mpich2/bin 新增加的 或者export PATH=/opt/mpich2/bin:$PATH#Source global definitionsif -f /etc/bashrc ; then. /etc/bashrcfi注明：一般用户vi .bashrc加入export PATH=/opt/mpich2/bin:$PATH，然后. .bashrc更新环境9、测试环境变量设置#which mpd#which mpicc#which mpiexec#which mpirun10、修改/etc/mpd.conf文件，内容为secretword=myword#vi /etc/mpd.conf设置文件读取权限和修改时间#touch /etc/mpd.conf#chmod 600 /etc/mpd.conf11、创建主机名称集合文件/root/mpd.hosts#vi mpd.hosts文件内容如下：node01node02node03node04三、测试1、本地测试#mpd & 启动#mpdtrace 观看启动机器#mpdallexit 退出2、通过mpd.hosts运行集群系统#mpdboot -n number -f mpd.hosts number为要起动的机器个数#mpdtrace #mpdallexit3、测试运行MPICH的例子程序#mpdboot -n 4 -f mpd.hosts 启动4台机器#mpiexec -n number /usr/MPICH-install/examples/cpi number为使用的进程数#mpdallexit4、如果测试不能通过，请进行第四步四、问题解决1、通过mpdcheck获得一写帮助信息#mpdcheck -pc2、查错#mpdcheck -l3、通过mpd.hosts 第三章 NIS使用NIS概述: NIS，是Network Information Services的简写，意为网络信息服务 ；其最初是由Sun Microsystems组织开发， 主要目标是用于UNIX系统的集中管理。 目前，它基本上已经成为了业界标准； 所有主流的类 UNIX 系统 (Solaris,HP-UX,AIX,Linux,NetBSD,OpenBSD,FreeBSD等等) 都支持 NIS。NIS原来的名称为黄页(Yellow Pages)，但由于商标的问题，Sun将其改名为现在的名字。NIS是一个基于 RPC 的客户机/服务器系统， 它允许在一个 NIS 域中的一组机器共享一系列配置文件。 这样， 系统管理员就可以配置只包含最基本配置数据的 NIS 客户机系统， 并在单点上（主NIS服务器）增加、删除或修改配置数据。在 NIS 环境中， 有三种类型的主机： 主服务器(master)， 从服务器(slave)， 和客户机(client)。服务器的作用是充当主机配置信息的中央数据库，保存着用户帐号、组帐号等配置信息的权威副本，而从服务器则是保存这些信息的冗余副本。 客户机将使用这些信息。配置示例：本例中网络模型如下：server 192.168.0.16 NIS主服务器Linux192.168.0.228 NIS从服务器client 192.168.0.128 NIS客户端一、服务端的设定1、设定NIS域名#nisdomainname benet#vi /etc/sysconfig/network 添加：NISDOMAIN=benet#vi /etc/rc.local添加：/sbin/nisdomainname benet2、默认情况下，如果是RHEL4没有安装ypserv包，此软件在第一张光盘上，安装上即可查看是否已经安装ypserv# rpm -qa |grep ypypbind-1.17.2-3yp-tools-2.8-7挂载第一张光盘并安装ypserv# mount /dev/cdrom /media/cdrom# rpm -ivh /media/cdrom/RedHat/RPMS/ypserv-2.13-5.i386.rpm warning: /media/cdrom/RedHat/RPMS/ypserv-2.13-5.i386.rpm: V3 DSA signature: NOKEY, key ID db42a60ePreparing. # 100% 1:ypserv # 100%3、主配置文件/etc/ypserv.conf此部分配置比较简单，大部分保持默认即可，最后一段来定义访问安全性。但一般情况下，管理员应该使用securenets文件，未必用ypserv.conf定义安全性。 这部分语法如下： Host : Domain : Map : Security 主机名称/IP : NIS域名称 : 可用资料库名称 : 安全限制字段如下:host :授权或禁止访问的计算机，它由地址/掩码对确定.例如 192.168.1.0/255.255.255.0 . *表示所有主机；map :该字段表示访问的NIS映射表项名称。例如：passwd.byuid。*表示映射表中所有的字段都可用；security :授权访问类型none :允许访问，不加强安全性；port :允许特权端口访问；只接收源端口小于1024的连接；deny :禁止访问； 如本实验中，我们应该在主配置文件尾设置如下项：127.0.0.0/255.255.255.0 : * : * : none192.168.0.0/255.255.255.0 : * : * : none* : * : * : deny4、编辑 /etc/yp.conf 文件 NIS服务器同时也是它们自己的NIS客户端，所以你需要编辑NIS客户端配置文件/etc/yp.conf，将其记录域的NIS服务器同时也是主机。# vi /etc/yp.conf添加：ypserver 127.0.0.15、启动rpc、ypserv、yppasswdd等进程# service portmap startStarting portmap: OK # rpcinfo -p localhost program vers proto port 100000 2 tcp 111 portmapper 100000 2 udp 111 portmapper 100024 1 udp 32768 status 100024 1 tcp 32768 status# service ypserv startStarting YP server services: OK # rpcinfo -u localhost ypservprogram 100004 version 1 ready and waitingprogram 100004 version 2 ready and waiting#service yppasswdd startStarting YP passwd service: OK # rpcinfo -u localhost yppasswddprogram 100009 version 1 ready and waiting# rpcinfo -p localhost program vers proto port 100000 2 tcp 111 portmapper 100000 2 udp 111 portmapper 100024 1 udp 32768 status 100024 1 tcp 32768 status 100004 2 udp 613 ypserv 100004 1 udp 613 ypserv 100004 2 tcp 616 ypserv 100004 1 tcp 616 ypserv 100009 1 udp 628 yppasswdd Centos5.0建立pc集群总结3(2007-11-20 16:04) 标签： - 分类： Linux cluster 二、客户端的设定1、设定NIS域名#nisdomainname benet#vi /etc/sysconfig/network 添加：NISDOMAIN=benet#vi /etc/rc.local添加：/sbin/nisdomainname benet2、查看是否已经安装相应的rpm包ypbind和yptools，RHEL4默认已经安装# rpm -qa |grep ypypbind-1.17.2-3yp-tools-2.8-73、设置主配置文件/etc/yp.conf#vi /etc/yp.conf添加如下行：domain benet server 192.168.0.16其语法格式为：domain NISDOMAIN server HOSTNAME其中NISDOMAIN为你的NIS域名，HOSTNAME为你的NIS服务器名字，推荐使用IP；或者你也可以设置/etc/hosts文件，使用客户端能解析NIS Server的主机名称，此处则可以写作服务器的主机名；4、设置/etc/nsswitch.conf文件找到如下项:passwd: filesshadow: filesgroup: files#hosts: db files ldap nis dnshosts: files dns将其修改为:passwd: files nisshadow: files nisgroup: files nis#hosts: db files ldap nis dnshosts: files nis dns5、查看客户端portmap进程的启动状况，确定无误后启动其ypbind进程：# service portmap statusportmap (pid 1774) is running.# service ypbind startShutting down NIS services: OK Binding to the NIS domain: OK Listening for an NIS domain server.将ypbind设置为开机自动启动#chkconfig -level 2345 ypbind on6、测试客户端的连接# ypcat passwdredhat:$1$btyeQR8Z$TR0OkRrcrXYmgxY.MEN2R.:500:501:/home/redhat:/bin/bash# ypmatch redhat passwdredhat:$1$btyeQR8Z$TR0OkRrcrXYmgxY.MEN2R.:500:501:/home/redhat:/bin/bash# ypwhich -xUse ethers for map ethers.bynameUse aliases for map mail.aliasesUse services for map services.bynameUse protocols for map protocols.bynumberUse hosts for map hosts.bynameUse networks for map networks.byaddrUse group for map group.bynameStarting NFS mountd:Use passwd for map passwd.byname# ypcat hosts192.168.0.16 server127.0.0.1 localhost.localdomain localhost7、配置客户端在启动时登录到NIS域# vi /etc/sysconfig/authconfig找到如下行：USENIS=no修改为：USENIS=yes8、在服务器添加测试用户#userdd nisuser#passwd nisuer并使用如下命令重建maps数据库,其使用方法见服务端设定部分# /usr/lib/yp/ypinit -m三、重新启动客户端来测试结果1、客户端登录：# ssh -l nisuser 192.168.0.128nisuser192.168.0.128s password: Last login: Wed Jul 11 17:59:14 2007 from serverCould not chdir to home directory /home/nisuser: No such file or directory-bash-3.00$ 2、在服务端输出/home目录，以使得客户端漫游配置文件：# vi /etc/exports /home 192.168.0.0/24(rw,no_root_squash,async)启动nfs服务:# service nfs startStarting NFS services: OK Starting NFS quotas: OK Starting NFS daemon: OK 设置其开机自动启动# chkconfig -level 2345 nfs on3、客户端的设定以root用户登录客户端，挂载服务端的/home目录至本机的/home目录,而后测试使用nisuser用户登录# ssh -l nisuser 192.168.0.128nisuser192.168.0.128s password: nisuserclient $ ls -a. . .bash_logout .bash_profile .bashrc .emacs .gtkrc .kdenisuserclient $ ls /homelost+found nisuser redhat注：应该以root用户身份编辑/etc/fstab文件，使其开机能自动挂载192.168.0.16:/home /home ext3 defaults 0 04、在客户端使用yppasswd命令修改个人密码nisuserclient $ yppasswd Changing NIS account information for nisuser on server.Please enter old password: -此处要输入旧密码Changing NIS password for nisuser on server.Please enter new password: -新密码Please retype new password: -确认新密码The NIS password has been changed on server. -修改的确认信息四、添加一台从服务器1、编辑/etc/hosts文件，添加如下两行（非必要步骤）192.168.0.16server192.168.0.228Linux2、参照主服务器设定的第二步，安装ypserv包3、编辑主配置文件/etc/ypserv.conf，添加如下行：127.0.0.0/255.255.255.0 : * : * : none192.168.0.0/255.255.255.0 : * : * : none* : * : * : deny4、编辑主服务器上的 Centos5.0建立pc集群总结4(2007-11-20 16:07) 标签： - 分类： Linux cluster 第四章 vasp并行安装采用mpif90来编译vasp 这里假设把libgoto_p4_512-r0.94.so放在/usr/local/lib目录中。 a)进入vasp.4.lib目录中，把makefile.linux_ifc_P4拷贝成makefile。 键入make命令，开始编译得到libdmy.a b)进入vasp.4.6目录中，把makefile.linux_ifc_P4拷贝成makefile 把第50行的FC=ifc前加上注释号，也就是# 第80行至82行的CPP有关内容加上注释号，改成下面的 #CPP=$(CPP_)-DHOST=LinuxIFC #-Dkind8-DNGXhalf-DCACHE_SIZE=12000-DPGF90-Davoidalloc #-DRPROMU_DGEMV-DRACCMU_DGEMV 把第136行的BLAS BLAS=/opt/libs/libgoto/libgoto_p4_512-r0.6.so 该成如下的内容： BLAS=/usr/local/lib/libgoto_p4_512-r0.94.so 把第166行和167行有关FFT3D的行前加上注释号，如下面的 #FFT3D=fft3dfurth.offt3dlib.o #FFT3D=fftw3d.offt3dlib.o/opt/libs/fftw-3.0.1/lib/libfftw3.a 把202行和203行的FC等改为如下的内容： FC=mpif90 FCL=$(FC) 把212行有关CPP的行前的注释号去掉，改成如下的内容： CPP=$(CPP_)-DMPI-DHOST=LinuxIFC-DIFC -Dkind8-DNGZhalf-DCACHE_SIZE=4000-DPGF90-Davoidalloc -DMPI_BLOCK=500 -DRPROMU_DGEMV-DRACCMU_DGEMV 把226和227行有关SCA的行，加上注释号，改成如下的 #SCA=$(SCA_)/libscalapack.a #$(BLACS)/LIB/blacsF77init_MPI-LINUX-0.a$(BLACS)/LIB/blacs_MPI-LINUX-0.a$(BLACS)/LIB/blacsF77init_MPI-LINUX-0.a 表示不用scalapack库。 把239和243行有关FFT3D的行，改成如下的内容： #FFT:fftmpi.owithfft3dlibofJuergenFurthmueller FFT3D=fftmpi.offtmpi_map.offt3dlib.o #fftw.3.0.1isslighlyfasterandshouldbeusedifavailable #FFT3D=fftmpiw.offtmpi_map.offt3dlib.o/opt/libs/fftw-3.0.1/lib/libfftw3.a 把这些都修改后，保存。注明：这是ifc8.0的编译器的问题。解决的办法：:你先到你安装的ifc8.0的安装目录中，找到lib目录，里面有个libsvml.a的库文件。:1、比如你的ifc8.1装在/opt/intel_fc8的目录下。:则在.bash_profile文件中加入下面的：:exportLD_LIBRARY_PATH=/opt/intel_fc8/lib:$LD_LIBRARY_PATH:/usr/local/lib:/usr/lib:/lib:2、source.bash_profile:3、在vasp的makefile中，对BLAS或LAPACK后面加上-lvml。:比如:BLAS=.-lsvml:其中的.是你用libgoto库的路径。使用ifc8.0还是有问题，计算过程中，最好使用ifc9.0以上，问题可以全部解决BLAS=.-lsvml。附件中有写好的makefile，可以直接用。第五章 matlab740安装首先下载Mathworks.Matlab