HPC高性能计算集群实施指导手册

1、HPC高性能计算集群实施指导手册目 录 TOC o 1-3 h z u HYPERLINK l _Toc529044133 1、基本系统参数设置 PAGEREF _Toc529044133 h - 1 - HYPERLINK l _Toc529044134 1.1、ulimit系统进程资源限制 PAGEREF _Toc529044134 h - 1 - HYPERLINK l _Toc529044135 1.2、关闭selinux服务 PAGEREF _Toc529044135 h - 1 - HYPERLINK l _Toc529044136 1.3、配置本地yum源 PAGEREF _To

2、c529044136 h - 1 - HYPERLINK l _Toc529044137 2、NIS服务配置 PAGEREF _Toc529044137 h - 2 - HYPERLINK l _Toc529044138 2.1、NIS服务器端的配置 PAGEREF _Toc529044138 h - 2 - HYPERLINK l _Toc529044139 2.2、NIS客户端的配置管理 PAGEREF _Toc529044139 h - 4 - HYPERLINK l _Toc529044140 2.3、NIS客户端的属性设置 PAGEREF _Toc529044140 h - 6 -

3、HYPERLINK l _Toc529044141 3、NFS配置 PAGEREF _Toc529044141 h - 8 - HYPERLINK l _Toc529044142 3.1、NFS软件包安装 PAGEREF _Toc529044142 h - 8 - HYPERLINK l _Toc529044143 3.2、编辑NFS服务器配置文件 PAGEREF _Toc529044143 h - 8 - HYPERLINK l _Toc529044144 3.3、启动服务 PAGEREF _Toc529044144 h - 8 - HYPERLINK l _Toc529044145 3.4

4、、在客户端中挂载NFS服务器中的共享目录 PAGEREF _Toc529044145 h - 9 - HYPERLINK l _Toc529044146 4、配置Kdump服务 PAGEREF _Toc529044146 h - 9 - HYPERLINK l _Toc529044147 4.1、Kdump安装 PAGEREF _Toc529044147 h - 9 - HYPERLINK l _Toc529044148 4.2、Kdump配置 PAGEREF _Toc529044148 h - 10 - HYPERLINK l _Toc529044149 4.3、安装分析转存储文件所需的rp

5、m包 PAGEREF _Toc529044149 h - 11 - HYPERLINK l _Toc529044150 5、配置Rsyslog服务 PAGEREF _Toc529044150 h - 11 - HYPERLINK l _Toc529044151 5.1 服务端配置 PAGEREF _Toc529044151 h - 11 - HYPERLINK l _Toc529044152 5.2、客户端配置 PAGEREF _Toc529044152 h - 12 - HYPERLINK l _Toc529044153 5.3、日志轮询服务logrotate PAGEREF _Toc529

6、044153 h - 13 - - 14 -1、基本系统参数设置1.1、ulimit系统进程资源限制修改/etc/security/limits.conf文件，添加如下内容：* softmemlockunlimited* hardmemlockunlimited* softstackunlimited* hardstackunlimited1.2、关闭selinux服务运行如下命令修改/etc/selinux/config文件，关闭selinuxsed -i s/=enable/=disabled/g /etc/selinux/configsed -i s/=enforcing/=disabl

7、ed/g /etc/selinux/config可以使用以下命令查看selinux服务状态sestatus1.3、配置本地yum源上传对应操作系统的ISO文件到/public/sourecode目录将操作系统ISO文件挂载到/mnt目录mount t iso9660 o loop /public/sourcecode/xxx.iso /mnt创建/public/sourcecode/yum目录，并将安装盘内容拷贝到这个目录cp rp /mnt/Packages/* /public/sourcecode/yum创建yum源配置文件/etc/yum.repo.d/Local.repo，内容如下：生

8、成yum本地缓存，命令如下：yum makecache2、NIS服务配置2.1、NIS服务器端的配置NIS软件包安装查看系统中是否已经安装下列三个软件：ypservNIS服务器软件, 一般默认是不安装的,需要安装yp-tools提供对NIS服务器的查询和管理软件ypbindNIS客户端需要使用软件包rpm qa | grep yp安装ypserv前需要利用rpm qa | grep portmap 命令（6.0之后的版本使用rpcbind）确认portmap(rpcbind)已经安装。安装需要利用rpm ivh进行安装，命令如下：rpm ivh ypserv-2.13-5.i386.rpm安装

9、完成之后需要重新确认并重启portmap（rpcbind）服务：/etc/rc.d/init.d/portmap restart*设置time和time-upd服务启动状态(针对RHEL6.0之前的系统，之后的可以略过)chkconfig list | grep timeypserv服务的启动和运行需要time和time-upd两个服务支持。在RHEL系统中，这两个服务默认是禁用的，需要利用chkconfig命令启动，并重启xinetd服务设置生效。chkconfig time onchkconfig time-udp on/etc/rc.d/init.d/xinetd restart建立NI

10、S域名nisdomainname命令建立临时域名，但重启会失效nisdomainname 可以使用domainname命令查询当前域名。为了使每次重启之后域名都能生效需要将nisdomainname命令添加到rc.local文件中，添加完成之后需要查看一下是否添加成功。nisdomainname echo /usr/bin/nisdomainname /etc/rc.d/rc.localtail l /etc/rc.d/rc.local上述echo的过程最好事先which nisdomainname一下确认具体路径。同时需要将NISDOMAINNAME=配置项添加到/etc/sysconfig

11、/network文件中，以便NIS服务器主机能够进行正确的网络设置。echo NISDOMAIN= /etc/sysconfig/networktail l /etc/sysconfig/network设置ypserv服务的配置文件ypserv.conf文件的配置（详细方法文件中有注释）文件作用：ypserv.conf配置文件中可以使用访问控制列表记录配置NIS服务器中数据库库的访问控制。文件位置：/etc/ypserv.conf配置格式：主机记录： host ip网络记录：子网掩码 网络地址注意：没有设置的都将被拒绝访问host host 06securenets安全设置文件文件作用：sec

12、ruenets文件用于对NIS客户端主机的访问控制，它具有比ypserv.conf配置文件更高的对主机进行访问控制的级别和效率。文件位置：/var/yp/secruenets 如果没有需要手动创建启动NIS服务器需要启动ypserv和yppasswdd，如果是RHEL6.0以后的版本还需要启动rpcbind/etc/rc.d/init.d/ypserv restart/etc/rc.d/init.d/yppasswdd restart/etc/rc.d/init.d/rpcbind restart如果需要系统启动的时候自动启动，需要使用chkconfig命令手动进行设置chkconfig yp

13、serv onchkconfig yppasswdd on添加用户，进行测试useradd sugonpasswd sugon构建NIS数据库生成数据库用到两个shell脚本，脚本的选择根据32位还是64位/usr/lib64/yp/ypinit (64位)/usr/lib/yp/ypinit(32位)命令如下/usr/lib64/yp/ypinit h注：当NIS服务器主机中对本地系统用户账号、组账号等信息(文件)更改后，需要使用ypinit命令重新构建数据库文件的内容，否则NIS客户端主机获得的信息不会自动更新。2.2、NIS客户端的配置管理NIS客户端需要的软件包利用rpm qa | g

14、rep yp 确认ypbind 和yp-tools两个软件包已经安装，一般都是默认已经安装了。建立NIS的域名在NIS客户机中建立NIS域名的操作方法与NIS服务器中完全相同，这里使用另外一种方法建立这些设置。setup选择Choose a Tool Authentication configuration选中 Use NIS选项，然后切换到 Next输入NIS域名以及对应的IP地址，点击OK完成之后，点击Next退出。随后，需要对ypbind重新启动：(早期版本需要先重启portmap) service ypbind restart设置NIS服务开机自启动：chkconfig ypbind

15、on设置完成之后可以使用yptest命令检测一下，如果有错误会爆出failed，可以根据提示进行排查，详见2.3相关部分。2.3、NIS客户端的属性设置该部分相当于对前面配置的补充设置yp.conf配置文件yp.conf是ypbind服务程序的配置文件，使用 echo domain 域名 server 服务端主机名 /etc/yp.conf即可进行配置，并进行查询，命令如下：echo domain server node1 /etc/yp.conftail l /etc/yp.conf设置nsswitch.conf文件文件位置：/etc/nsswitch.conf文件说明：nsswitch.c

16、onf文件中相关设置项不代表系统中的文件或命令，而是代表相关信息的查询，具体含义如下：passwd 表示用户账户信息的查询shadow 表示用户口令信息的查询group 表示用户组账户信息的查询hosts表示主机名信息的查询文件中列出的各项之后有files字段，该字段之后如果输入nis，则表示优先使用本地文件，然后使用NIS服务器获取信息。具体参数可参见文件中注释说明。使用NIS客户端测试与NIS服务器的连接yp-tools软件包提供了yptest、ypwhich和ypcat共3个命令工具，用于NIS客户端测试与NIS服务器的连接。所有测试命令都通过NIS客户端中的ypbind服务程序对NIS

17、服务进行查询。yptest 基本的NIS服务器测试命令命令作用：对NIS服务器域名、主机、数据库及其内容进行测试，并显示测试结果。# yptestTest 1: domainnameConfigured domainname is vbirdnisTest 2: ypbindUsed NIS server: master.vbirdnisTest 3: yp_matchWARNING: No such key in map (Map passwd.byname, key nobody)中间省略 Test 8: yp_maplisthosts.bynamegroup.bynamepasswd.b

18、yuidgroup.bygidpasswd.bynamehosts.byaddr中间省略 Test 9: yp_all中间省略1 tests failed第三步的错误可以忽略，在passwd.byname当中找不到nobody的字样，这是因为早期的nobody的UID都设定再65534，但RHEL4之后将nobody设定位系统账号的99，所以不会被记录，也就出现这一个警告。ypwhich 命令作用：显示NIS客户端所使用的NIS服务器的主机名称，当使用“-x”命令选项时会显示NIS服务器使用的数据库和映射文件的名称。ypcat命令作用：添加“-x”命令会与ypwhich显示相同的查询信息，但当

19、使用数据库名作为ypcat命令参数时，该命令将显示指定数据库的内容。ypcat xypcat group.byname NIS客户端用户登陆NIS客户端主机中测试与NIS服务器链接成功后，可尝试使用NIS服务器的用户账户登陆NIS客户端，当登陆后，屏幕会提示没有找到用户宿主目录的信息，这是由于NIS客户端本地文件系统中没有在/home目录下建立用户宿主目录。NIS常用命令ypppasswd： 与passwd命令相同，但需要NIS服务器端yppasswd服务必须启动。ypchfn：与chfn相同功能，改变finger信息ypchsh：与chsh相同功能，改变用户登陆的shell3、NFS配置3.

20、1、NFS软件包安装搭建NFS之前需要确认rpcbind 和nfs-utils是否已经安装，利用rpm q rpcbind nfs-utils命令进行查询。3.2、编辑NFS服务器配置文件文件位置：/etc/exports/public *(rw,no_root_squash,no_subtree_check,async)3.3、启动服务exports文件配置后，需要重新启动rpcbind（旧版本portmap）和nfs服务。service rpcbind startservice nfs start或者确保开机自启动利用chkconfig，成功后利用showmount命令查看showmoun

21、t e localhost3.4、在客户端中挂载NFS服务器中的共享目录在root模式下查看一下NFS文件服务器是否可用showmount e node1然后利用mount命令将NFS共享的目录/public挂载到客户端宿主目录/public下mount t nfs inode1:/public /public挂载完成之后，可以在NFS服务器上使用showmount a 查看挂载的主机如果需要开机自启动，则可以在/etc/rc.d/rc.local文件中将上述命令加入即可。4、配置Kdump服务Kdump是一种有效的内存转储工具，启用Kdump后，生产内核将会保留一部分内存空间，用于在内核崩溃

22、时通过Kexec快速启动到新的内核，这个过程不需要重启系统，因此可以转储崩溃的生产内核的内存镜像。当系统内存崩溃时，生成的内存转存储文件有助于分析系统在崩溃前发生了什么，查找原因并修复错误，进而改进系统的稳定性。4.1、Kdump安装查看Kdump是否安装，命令如下：rpm qa|grep “kexec-tools”若未安装，则可以使用在安装光盘中kexec-tools的rpm包进行安装，命令如下：rpm ivh kexec-tools.xxx.rpm若配置本地yum源，则可以使用如下命令进行安装：yum install y kexec-tools4.2、Kdump配置指定转存储文件所使用内存

23、的大小修改/etc/default/grub文件，在GRUB_CMDLINE_LINUX行添加crashkernel=auto执行以下命令，重新生成启动菜单：grub2-mkconfig -o /boot/grub2/grub.cfg重启系统使配置生效配置/etc/kdump.conf,取消以下三行的注释，并将default值改为reboot#转存储文件路径path /var/crash#此行设置保存内存镜像内容的级别，-c表示使用makedumpfile压缩数据，-message-level 1表示提示信息的级别（1表示只显示进度信息）-d 31表示不复制所有可以去掉的内存页（包括zero

24、page, cache page, cache private, user data, free page等）core_collector makedumpfile -l -message-level 1 -d 31 #此行表示如果kdump转储内存镜像失败后的执行的动作，默认为挂载根文件系统并执行/sbin/init进程，可以更改为：reboot, halt, poweroff, shell等。default reboot修改后/etc/kdump.conf文件内容如下：启动kdump服务systemctl start kdump查看kdump服务运行状态systemctl status k

25、dump设置Kdump开机自动启动systemctl enable kdump4.3、安装分析转存储文件所需的rpm包查看系统内核版本uname r安装与内核版本一致的kernel-debuginfo-common与kernel-debuginfo的rpm包推荐网站： HYPERLINK / /5、配置Rsyslog服务CentOS/RedHat 6开始系统日志服务默认采用Rsyslog 取代syslog。建议将集群各节点系统日志messages统一存放在管理节点的/var/log/RemoteLogs目录，以“hostname-messages”命名，便于日志文件的统一管理。5.1 服务端配

26、置一般将集群的管理节点配置为Rsyslog的服务端修改Rsyslog服务启动参数配置文件/etc/sysconfig/rsyslog，内容如下：SYSLOGD_OPTIONS=”-c 2 -r514 -x ”修改/etc/rsyslog.conf文件，内容如下：配置日志传输协议与端口可以采用UPD或TCP协议进行传输，默认端口号为514确认协议后，可将配置文件中对应行的注释取消在GLOBAL DIRECTIVES行下方添加自定义日志模板$template RemoteLogs,/var/log/RemoteLogs/%HOSTNAME%-messages*.info,mail.none,authpriv.none,cron.none ?RemoteLogs& 配置完成后，会将除了邮件服务内容、认证服务内容与定时任务服务内容外的信息传送到管理节点的/var/log/RemoteLogs目录下，并以“hostname-messages”格式命名。5.2、客户端配置将集群其余节点配置为R