3_2高性能计算集群管理员手册_上理工20191127v2

HPC集群管理员手册2019年11月27日目录1.HPC集群介绍11.1.集群节点角色介绍11.2.集群硬件拓扑图21.3.硬件布局效果图31.4.集群硬件配置31.5.集群软件列表41.6.集群主机名及网络地址规划41.7.系统服务62.HPC集群管理操作72.1.HPC集群开/关机72.1.1.集群开机72.1.2.集群关机73.xCAT集群管理软件83.1.xCAT概述83.2.集群并行命令83.3.部署节点操作系统94.用户管理104.1.管理员账号104.2.创建系统账号105.并行文件系统GPFS135.1.GPFS集群启动135.2.停止GPFS135.3.查看GPFS运行状态145.4.设置磁盘配额146.作业调度管理156.1.显示集群基本信息156.2.查看配置信息156.3.显示节点负载信息156.4.显示节点配置信息166.5.显示节点作业信息176.6.查看队列信息186.7.查看所有用户的作业186.8.查看某作业详细信息186.9.查看作业历史信息196.10.杀死作业226.11.服务及配置管理226.12.常用配置文件介绍226.12.1.配置文件说明226.13.添加节点组236.14.添加用户组236.15.设置用户可提交作业的最大slots236.16.常见问题247.CHESS WEB图形界面管理257.1.登录257.2.作业管理257.3.应用模板267.4.三员管理277.5.集群监控287.6.系统管理298.CHESS 报表和监控管理工具318.1.登录318.2.用户所属单位管理318.3.服务器负载监控338.4.作业报表33手册更新记录版本号提交日期更新记录提交人1.02019年11月27日创建文档魏爱东1. HPC集群介绍1.1. 集群节点角色介绍管理节点通常也被称作“控制台（console）”，负责管理整个集群，所有的集群管理软件都安装在此节点上，通常一个集群中设置一个或两个（主备模式）管理节点。计算节点专用于计算的节点。通常配置多核高速CPU，大内存。登录节点用于提供用户登录服务的节点。可与管理节点复用。存储节点连接存储用于为其它节点提供网络文件系统服务的节点，通常也被称作“IO节点”。有时与管理节点复用。存储系统容量较大的独立磁盘阵列，挂接在IO节点。管理网络用于传输操作系统管理控制信息的专用网络，通常是千兆以太网。计算网络用于传输节点之间作业交互数据信息，通常为一套高速网络，如万兆以太网，InfiniBand网络。监控网络用于集群内部硬件管理的网络，不依赖操作系统，通常是IPMI（或HP iLo）硬件管理网络。外部网络用户通过外部网络连接到集群，多配置在登录节点或者管理节点。1.2. 集群硬件拓扑图1.3. 硬件布局效果图1.4. 集群硬件配置类型名称CPU内存磁盘数量管理/存储/登录节点mgt01-mgt022*Silver 4216 CPU 2.10GHz 16c64GB2*480G raid12计算节点node01-node204*Gold 6230 CPU 2.10GHz 20c786GB480G20磁盘阵列双控制器FC-SAN存储，裸容量192T，系统可用容量116T2计算网络100G OPA，48口OPA交换机1套管理网络1G 以太网，48口千兆交换机1套监控网1G以太网，48口千兆交换机1套331.5. 集群软件列表软件名称版 本安装节点安装目录备注CentOS7.6所有节点xCAT2.14.6管理节点/install; /opt/xcatmgt01Spectrum Scale5.0.1-1所有节点挂载路径 /share并行文件系统CHESS cas所有节点/opt/clustertech/chess/cas/share/apps/clustertech/chess/cas_shared/作业管理系统CHESS ng6.0.1所有节点/share/apps/clustertech/chess/ng作业管理WEBCHESS datamgt02/share/apps/clustertech/data报表系统Intel Parallel Studio2018u32019u5所有节点/share/apps/intel/Intel icc ifort编译器Intel mpiIntel mkl数学库gcc4.8.5所有节点/usr/binC编译器gfortran4.8.5所有节点/usr/binfortran编译器fluent19.5所有节点/share/apps/ansys_inc/1.6. 集群主机名及网络地址规划主机名管理网/24OPA计算网/24ILO网/24校园网浮动IPmgt01515151350 15mgt025252514node01node02node03node04node05node06node07node08node09node10000node11111node12222node13333node14444node15555node16666node17777node18888node19999node20000存储1控制器141存储1控制器242存储2控制器143存储2控制器244OPA交换机451.7. 系统服务名称启动/查看/停止命令安装节点包含的关联服务描述xcatdsystemctl start|status|stop xcatdmgt01dhcpd, named, tftpxcat集群关联服务gpfssystemctl start|status|stop gpfsall并行文件系统slapdsystemctl start|status|stop slapdmgt01, mgt02ldap servernslcdsystemctl start|status|stop nslcdallldap clientchronydsystemctl start|status|stop chronydall时间同步服务chess-cassystemctl start|status|stop chess-casor/etc/init.d/chess-cas start|status|stopall作业调度系统chess-ngsystemctl start|status|stop chess-ngmgt01,mgt02作业提交web，主备模式chess-ng-agentSystemctl start|status|stop chess-ng-agentallchess-ng服务的客户端data/etc/init.d/data start|status|stopmgt02mysql, ctmon, nginx, grafana报表服务ctmon/etc/init.d/ctmon start|status|stopall报表服务客户端mariadbsystemctl start|status|stop mariadbmgt01, mgt02数据库，主备模式keepalivedsystemctl start|status|stop keepalivedmgt02,mgt02ha软件服务multipathdsystemctl start|status|stop multipathdmgt01,mgt02多路径服务opasystemctl start|status|stop opaallopa驱动服务opafmsystemctl start|status|stop opafmmgt01,mgt02子网管理器2. HPC集群管理操作2.1. HPC集群开/关机2.1.1. 集群开机 开机顺序：磁盘阵列 - 存储节点- 管理节点- 计算节点第1步，检查存储阵列启动正常，各个指示灯显示正常第2步，开启管理节点mgt01，mgt02，按面板电源按钮第3步，等待3分钟后，再开启其它计算节点，按面板电源按钮tips: 批量开启计算节点: 管理节点mgt01开启后，先ssh登录mgt01，然后执行rpower compute on即可。2.1.2. 集群关机关机顺序：其他所有节点- 管理节点mgt01 - 磁盘阵列如遇到停电情况，关机参考下面的命令执行，root登录 mgt01节点执行，/root/shutdowncluster.sh其中包括一系列命令，先关闭集群软件服务，再关闭集群Linux操作系统。存储阵列没有电源开关按键，正常情况下可以切断输入电源。3. xCAT集群管理软件3.1. xCAT概述xCAT (Extreme Cloud Administration Toolkit) 是一个开源的可扩展的高级集群管理和配置工具，允许使用者通过一个单点控制和管理一个集群系统。xCAT在简化集群管理的同时，还使集群能够方便地实现快速扩展，从而提高了系统管理员的工作效率。3.2. 集群并行命令并行运行命令 只有登录管理节点的root用户可以执行并行命令。集群中节点所分的组：all，compute 每个组包含节点如下：all：包含除去管理节点mgt01之外的所有节点compute：包含所有计算节点psh# psh compute “command” /按组划分 # psh node1-node2 “command” /按节点区域 # psh node1,ndoe2 “command” /按节点 # psh node2, node3-node4 “command” /混合 pping 测试节点网络连通状态pping node1-4 pping allpscp 并行文件拷贝pscp /etc/hosts node1-4:/etcpscp /etc/hosts compute:/etcrpower 电源管理rpower node01,node03-node10 status #查看电源状态rpower node01,node03-node10 on #批量开机rpower node01,node03-node10 off #批量关机注意使用rpower命令开关机，相当于直接开关电源。关机建议登录系统使用poweroff如 psh node01,node03-node10 poweroff 这是批量关闭系统。3.3. 部署节点操作系统在管理节点上为节点分发系统，执行以下命令：nodeset nodename osimage=centos7.6-x86_64-install-computeosimage安装类型与节点对应关系如下Osimage节点centos7.6-x86_64-install-computeall例子：如为node01节点安装系统：1、设置node01安装系统nodeset node01 osimage=centos7.6-x86_64-install-compute 2、 设置node01下次从网络启动rsetboot node1 net3、 设置node1重新启动rpower node1 reset该计算节点重启后，安装自动开始。4. 用户管理集群用户账号使用ldap服务统一管理，ldap服务端：mgt01，mgt02。注意，root账号不受ldap管控。4.1. 管理员账号操作系统管理员：root 密码 “*”ilo管理员：Administrator 密码： “*”4.2. 创建系统账号登录管理节点mgt01，采用root身份执行：/share/bin/ldapadduser.sh如：/share/bin/ldapadduser.sh -r user1 # 先添加用户组/share/bin/ldapadduser.sh -u user1 -g user1 -b /bin/bash -p “admin12#” -m /share/home/user1 执行id user1 检查账号是否添加成功.修改用户信息推荐使用页面进行修改用户信息。登录账号：cn=Manager,dc=chess,dc=com 密码：”*”登录后，选择对应用户：修改相应信息后，点击update。5. 并行文件系统GPFS5.1. GPFS集群启动启动GPFS集群节点，有三种模式： 单节点：mmstartup -N node0l 部分节点:mmstartup -N node01,node02 所有节点:mmstartup -a验证GPFS集群状态 # mmgetstate -Lsa 节点状态有四种类型： Active:已启动就绪 Arbitrating :节点启动中等待仲裁quorum就绪 Down：节点停止 Unknown：未知，节点不能到达或发生其它异常错误5.2. 停止GPFSmmshutdown -t UnmountTimeout -a | -N Node,Node. | NodeFile | NodeClass例子停止所有节点mmstutdown -a启动指定节点mmstutdown -N node01注：停止节点GPFS服务前，确保节点没有任何应用使用GPFS空间里的文件或目录5.3. 查看GPFS运行状态mmgetstate -L -s -v -a | -N Node,Node. | NodeFile | NodeClassmmgetstate -a5.4. 设置磁盘配额使用 mmedquota -u 命令可以为一个用户或组编辑特定配额。用户可以使用命令 mmlsquota 显示自己的配额。超级用户可以使用 mmrepquota -a 命令显示文件系统的配额状态。6. 作业调度管理6.1. 显示集群基本信息lsidlscluster6.2. 查看配置信息 bparams6.3. 显示节点负载信息lsload6.4. 显示节点配置信息lshosts6.5. 显示节点作业信息bhosts or bhosts -w节点状态说明：ok 表示正常，并且还有空余JOB_SLOT可以接受作业closed 分为closed_Adm closed_Full closed_Limclosed_Adm是管理员人为close某个节点，如需打开可用badmin hopen 节点名 打开该节点。closed_Full表示该节点所有cpu核都已运行作业；closed_Lim表示该节点lim进程不正常，如果刚刚重启过CHESS进程需要稍等一会儿，会自动变为正常，如果长时间处于此状态，请检查网络是否通，是否开启防火墙。6.6. 查看队列信息 #bqueues命令格式：bqueues -l -m host_name | -m host_group -u user_name |-u user_group | -u all queue_name .-l 队列详细信息 -m 查看可使用指定机器名、机器组的队列-u 查看指定用户、用户组可使用的队列无参数为队列概要信息6.7. 查看所有用户的作业bjobs -u all or bjobs -u all -a6.8. 查看某作业详细信息 bjobs -l jobid6.9. 查看作业历史信息#bhist命令格式： bhist -h -V -l -b -w -a -d -e -p -s -r -f logfile_name | -n num_logfiles | -n min_logfile, max_logfile -C time0,time1 -S time0,time1 -D time0,time1 -N host_spec -P project_name -Lp license_project -q queue_name -G usergroup_name -m host_name . -J job_name -Jd job_description -app application_profile_name -u user_name | -u all jobId | jobIdindex .-l 作业详细信息 -C 查看指定时间段的作业-q 查看指定队列上的作业-u 查看指定用户、用户组的作业无参数为做作业概要信息查看作业详细信息 查询历史作业 #bacctUsage: bacct -h -V -b -l -w -d -e -x -f logfile -u userlist | -u all -m machinelist -M hostlistfile -q queuelist -C time0,time1 -N host_spec -S time0,time1 -D time0,time1 -P projectlist -Lp licenseProjectList -U reservation ID list | -U all -app applicationProfileList -sla serviceClasslist jobId | jobIdindex . 查看某一时间段内完成作业的所有信息： bacct -u all -C 2019/08/01,2019/11/30 -l6.10. 杀死作业bkill jobid 杀死作业，普通用户只能杀自己的作业如： bkill 125bkill -r jobid #将作业强制从调度系统中移除，注意，这种方式作业进程不一定杀掉，需登录到节点上用top查看确认。 6.11. 服务及配置管理启动，查看，停止chess-cas进程： /etc/init.d/chess-cas start|status|stop配置文件在安装目录的/etc目录下：如/opt/clustertech/chess/cas/etc/修改/opt/clustertech/chess/cas/etc/下lsf开头文件需要。lsadmin reconfig badmin reconfig 修改etc/下lsb开头文件需要。badmin reconfig 6.12. 常用配置文件介绍6.12.1. 配置文件说明lsf.conf 调度系统全局配置文件lsf.cluster.chess 集群配置文件lsf.shared 共享资源定义文件lsb.users 用户与用户组配置文件lsb.queues 队列配置文件lsb.params 调度参数配置文件lsb.hosts 机器与机器组配置文件lsb.resources 资源配置文件6.13. 添加节点组修改lsb.hosts文件的如下部分添加组名及组的成员节点，节点内可支持通配符，