厦门大学集群管理使用培训课件

1、机群管理/使用培训厦门大学Agenda机群介绍Linux操作系统LCOMS机群管理系统账号管理Intel HPC tools机群性能监控有问题怎么办？机群介绍高性能计算机群中的基础概念机群硬件配置机群软件配置机群系统配置开启/关闭机群机群介绍高性能计算机群中的基础概念管理结点（Management Node/Head Node/HN）：机群中的一个结点，负责管理整个高性能计算机群。登录结点（Login Node/LN）：机群中的一个或者多个结点，用于提供用户登录服务，受控于管理结点。存储结点（IO Node）：机群中的一个或者多个结点，用于提供共享文件系统，受控于管理结点。计算结点（Compu

2、te Node/CN）：机群中的一个或者多个节点，专用于处理计算问题，受控于管理节点。机群硬件配置39个计算结点2*Intel 5675 6核处理器32 GB内存2*E7-4860256GB内存1个管理结点(也作为存储结点/登陆结点)2*Intel E5645 6核处理器24 GB内存1套管理网络：GigaByte Ethernet机群软件配置软件名称版本RHEL5.7lcoms11.7Intel Cluster Studio2011 XELcoms-paramon1.2.3Lcoms-paratune1.2.3机群系统配置外网IP地址登陆结点名称结点IP使用者console192.168.1

3、.251管理员，用户机群系统配置系统管理员账号ID： rootPW：*用户账号询问管理员开启/关闭机群开启机群存储结点 管理结点 计算结点关闭机群 计算结点 管理结点 存储结点Warning：开关机顺序很重要Linux操作系统基础命令基础文件BASHLinux操作系统基础命令（1）序号命令说明1ls查看文件2cp拷贝文件3mv移动或重命名文件4rm删除文件5touch创建空文件或更新文件时间6cd改变当前路径7pwd查看当前完整路径8mkdir创建新目录9rmdir删除空目录Linux操作系统基础命令（2）序号命令说明10cat/more/less查看文件内容11date显示当前时间12cal

4、显示日历13df显示磁盘用量14du计算目录下文件占用磁盘的大小15head显示文件开头部分内容16tail显示文件结尾部分内容17shutdown -r now/init 6重启18shutdown -h now/init 0关机Linux操作系统基础文件（2）序号命令说明9/proc虚拟文件系统，包含系统信息等资料10/rootroot用户的主目录11/sbin存储系统管理指令12/tmp临时文件的存放路径13/usr存放与用户直接相关的文件与目录14/var存储在系统运行中可能会更改的数据Linux操作系统BASHShell：命令行解释器，是用户与系统沟通的媒介bash：shell的一种

5、，是Bourne Again Shell的缩写与BASH相关的文件：/.bashrc/.bash_profile /.bash_history lcoms介绍lcoms是一个十分方便的机群管理软件，不但安装和管理比较容易，还自带了许多管理和应用软件管理服务器管理用户管理网络管理软件Help任何Rocks的命令都是在后面加上help得到帮助信息如：# rocks list host helplcoms管理结点查看结点信息# rocks list host# rocks list host interface删除结点信息# rocks remove host cn001同步系统信息# rocks

6、sync config# rocks sync users并行运行命令# rocks run host “command” 重新安装结点# ssh cn001 /boot/kickstart/cluster-kickstart账号管理创建/删除用户（以root用户身份在管理结点上操作）# useradd user1 #添加用户user1# passwd user1#修改用户user1的密码# userdel -r user1#删除用户user1# rocks sync users#同步到所有结点账号管理设置磁盘quota# quotaon -auvg#开启quota功能# quotaoff -

7、auvg#关闭quota功能# repquota /export/home#显示quota使用情况# edquota -u user1#给user设置quota# edquota -p user1 -u user2#设置user1的配置给user2Intel Cluster Studio安装目录/share/apps/intel设置环境变量source /export/soft/intel/Compiler/11.1/073/bin/iccvars.sh intel64source /export/soft/intel/impi/3.2.0.011/bin64/mpivars.sh作业调度软件

8、介绍作业调度软件介绍创建作业脚本提交/删除作业查看作业运行状态作业调度软件介绍基础的使用命令qsub 作业提交qstat 作业状态查询qdel 从队列中删除作业qhost 显示现在在线的主机qconf 作业相关信息的配置创建作业脚本# cat linpack.qsub 脚本内容如下： #!/bin/bash #$ -S /bin/bash#使用bash shell #$ -cwd#将作业输出文件存放在当前提交目录 #$ -j y#标准输出和错误输出合并 #$ -N $JOB_NAME#指定作业显示名称 #$ -pe make 8#指定并行处理环境，并申请8个处理单元source /share/

9、soft/intel/Compiler/11.1/073/bin/iccvars.sh intel64source /share/soft/intel/impi/3.2.0.011/bin64/mpivars.shexport I_MPI_DEVICE=rdssm#设置Intel MPI的环境变量 cd /em64t/#进入作业所在目录 mpirun -r ssh -np $NSLOTS ./xhpl#运行linpack可执行文件查看作业运行状态# qstat#查看所有作业状态# qstat -j $JOB_ID#查看指定作业详细信息# qstat -t#查看作业运行在哪些结点 机群性能监控Lcoms-paramonLcoms-paramonLcoms-paramon应用运行特征收集器性能数据CPU/内存/磁盘/网络快速上手颜