空气动力研究与发展中心高性能计算使用手册

1、绵阳空气动力与发展中心Rocks集群系统管理员指南ROCKS集群系统管理员指南ã绵阳空气动力与发展中心12345 大街 100 号电话 123.456.7890 目录第一章高性能计算集群系统介绍1集群硬件配置说明3集群软件配置说明4第二章Rocks管理节点安装7Rocks计算节点安装15系统配置说明16第三章自定义手册1图片图标1分节符1图片和题注2创建目录3创建索引3第三章自定义手册1图片图标1分节符1图片和题注2创建目录3创建索引3修改页眉页脚3为将来节省时间4创建文档4关于模板的提示4索引5本章主要内容本章主要介绍什么是高性能计算；中国空气动力与研究发展中心软硬件配置。当前，高

2、性能技术计算科学已经成为继理论科学和实验科学之后人类进行各种科学研究的第三大支柱。计算机技术的发展为HPC的应用提供了强大工具和物质基础，使人们有可能利用计算科学来取代、优化、深化和扩展理论科学和试验科学的研究，使许多过去不敢设想和根本不可能实现的理论研究、应用开发和科学实验在计算机系统上变为现实，许多HPC应用领域越来越多地希望利用计算机技术发展的新成果通过更大规模、更精确的数值模拟和数字计算来进行新产品设计和科学研究，提高科学研究水平、竞争力以至国家的综合国力。另一方面，人们也要求利用工业标准芯片和Linux等开放性的技术降低投资、加速开发，在规定经费预算和时间框架内完成规模越来越大的计算

3、任务。高性能和高经济效益相结合已经成为HPC领域最引人注目的发展趋势。简单的，我们可以将高性能计算系统概述为一台完整的高性能计算机的硬件部分通常包含如下主要部件：一台完整的高性能计算机的软件组成为：集群硬件配置说明当前交付实验室运行的一套宝德PowerScale 8000高性能计算系统分别如下： 采用Intel最新酷睿微架构的四核7300系列 Xeon高性能CPU，共1个管理服务节点和6个计算节点。其中，本系统的所有计算节点均参与计算，管理节点(Services Node)作为集群登陆节点和存储节点，不参与任务运算。硬件信息清单如下：PR2850Q1CPU：XeonMP X7350 2.93G

4、Hz 8M L2 1066MHz Quad-Core EM64T×4内存：4G×16硬盘： SATAII（企业级硬盘）300G×3显卡：集成ATI ES1000控制器、16M显存Raid卡：8650, 256MB Cache, 支持RAID0/1/5/10/50/网卡：集成2个Intel82563EB Gigabit Platform LAN服务器网卡，支持I/O AT技术InfiniBand HCA卡：MHGS18XTC, Single Port 4X InfiniBand DDR/ PCI-E x8, Low Profile HCA Card, Memory

5、Free×1I/O端口：4个USB2.0；2个串口；键盘/鼠标接口；2个以太网（RJ-45）接口；1个显示接口电源：1200W服务器专用电源、全电压范围自适应服务器专业电源、115V/60Hz ，230V /50Hz自适应，支持冗余电源1+1冗余电源1200wDVD-ROM*12*1000M冗余风扇导轨1G仿真U盘（替代软驱）PR2850Q6CPU：XeonMP X7350 2.93GHz 8M L2 1066MHz Quad-Core EM64T×4内存：4G×16硬盘： SATAII（企业级硬盘）500G×1显卡：集成ATI ES1000控制器、16

6、M显存网卡：集成2个Intel82563EB Gigabit Platform LAN服务器网卡，支持I/O AT技术InfiniBand HCA卡：MHGS18XTC, Single Port 4X InfiniBand DDR/ PCI-E x8, Low Profile HCA Card, Memory Free×1I/O端口：4个USB2.0；2个串口；键盘/鼠标接口；2个以太网（RJ-45）接口；1个显示接口电源：1200W服务器专用电源、全电压范围自适应服务器专业电源、115V/60Hz ，230V /50Hz自适应，支持冗余电源1+1冗余电源1200wDVD-ROM*1

7、2*1000M冗余风扇导轨DVD光驱、1G仿真U盘（替代软驱）H3C千兆交换机1H3C 1224千兆交换机InfiniBand交换机124 4X DDR ports(20Gbps), externally managed, dual PS-24KVM 控制台18-port KVM, 含17”液晶/K/M集群配套部件19“ 42U/规格：600(宽)*1000(深)6类 3m 网络跳线KVM数据线5mm绑线3m Infiniband网线集群软件配置说明本次提供给实验室的集群预装的软件如下：注：列表中软件均为x86-64 Xeon版本Redhat 5.01Rocks5.21Torque2.1.81

8、Maui1Intel C/C+1evaluationIntel Fortran1evaluationAtlas3.71Intel Cluster MKL9.11evaluationMPICH1OpenMPI1.11Intel MPI Library3.11evaluationPGI1evaluationIntel ITAC7.01-.如上列表中的软件在登陆管理节点后均能正常使用，所有软件均在管理节点和各计算节点的相同位置(目录/opt)安装，除了作业调度系统Maui只安装在管理节点的/opt目录下。列表中软件的详细安装位置列表如下：/opt/torque/opt/maui计算节点无/opt/i

9、ntel/cce/X86-64/opt/intel/fce/X86-64/usr/lib64X86-64/opt/intel/cmkl/9.1/lib/em64tX86-64/opt/mpich/gnuNon-MPIF90/opt/openmpiNon-MPIF90/opt/intel/mpi/3.1/32-bit/64-bit/opt/pgi32-bit/64-bit/opt/intel/itacX86-64第 2 章本章主要内容本章着重讲解RocksRedhat集群系统的安装，以及系统文件配置、用户管理等Rocks管理节点的安装1、准备工作：安装系统前，请将所有节点(管理和计算)的BIOS

10、里Intel EIST功能关闭，Intel主板的具体步骤如下：BIOS -> “Advanced” -> “Processor” -> “Enhanced Intel(R) Speedstep Technology (EIST)”, 设置成 “Disabled”。保存，重新启动系统。2、安装过程1、 放入Rocks DVD光盘，如果是VCD光盘，请将Kernel光盘放入光驱。系统通过光驱引导进入如下界面。安装管理节点时，如需加载RAID等驱动，在光盘引导时，输入build dd，否则只输入build。2、进入安装界面，鼠标点红框按钮，添加需要安装的软件。如果是DVD光盘会出现

11、光盘中所有软件的列表，如果是VCD光盘，要把所有Rocks光盘都放入光驱选择一遍，重复上一步的操作，如下图所示。在所有软件都选择后，如下图所示，请确认所需安装光盘Rocks 、Redhat、驱动版本和数量符合要求。如没有采购Infiniband设备时，管理节点安装如下Rolls：area51basebiogangliahpcintel-developerjavakernelpgitorque (单独放光盘)totalviewweb-serveros (os这项放RHEL5.2 x86_64的光盘，则变成Red_Hat_Enterprise_linux_Server_5)2、有采购或指定需要In

12、finiBand设备时，管理节点安装如下Rolls：area51basebiogangliahpcintel-developerjavakernelmlnx_ofedpgitotalviewtorque (单独放光盘)web-serveros (os这项放RHEL5.2 x86_64的光盘，则变成Red_Hat_Enterprise_linux_Server_5)如图所示，填写如下内容管理节点默认网络设置：Eth0的IP地址系统默认即可；E 或当地自己的DNS服务器设置管理员密码：选择如图所示时间服务器。请根据Rocks提示放入光盘。此过程是Rocks把所有定制要求安装的软件复制到硬盘中，复制

13、完成后，安装过程都是从硬盘读取软件，包括计算节点的网络安装，也是从此次复制的软件中安装的。管理节点硬盘分区：(小于2TB时)/boot100M强制primary/50GB强制primarySwap4000M强制primary/export剩余空间强制primary当管理节点单个阵列大于2TB，请先分配1TB硬盘空间，按上面分区方式。剩余的硬盘空间，另外做一个大分区，采用GPT，格式化成ext3备用。系统进入自动安装过程，这个过程大约在4560分钟左右，安装完成后重新启动系统。设置计算节点硬盘分区默认计算节点的分区不科学，请按如下步骤修改：# cd /export/rocks/install/s

14、ite-profiles/5.1/nodes/# cp skeleton.xml replace-partition.xml编辑replace-partition.xml在<main> </main>后加入<main><!- kickstart main commands go here -></main><pre>echo "clearpart -all -initlabel -drives=sdapart / -size 50000 -ondisk sdapart swap -size 4000 -ondis

15、k sdapart /state/partition1 -size 1 -grow -ondisk sda" > /tmp/user_partition_info</pre>然后# cd /export/rocks/install# rocks create distro至此，主机初步设置完毕，开始部署计算节点。计算节点的安装1、 启动管理节点命令界面，输入insert-ethers，选择compute。2、 顺序启动计算节点(注意，一定要按照计划的计算节点顺序启动计算节点，每启动一个计算节点，都要进入主板BIOS里，查看Intel EIST是否关闭；第一启动选择网

16、络启动。)3、 当启动一个计算节点时，管理节点会监测到有计算节点启动，insert-ethers界面会显示Rocks分配的计算节点名字，启动多少个计算节点，在insert-ethers界面就会有多少个计算节点显示出来。4、 管理节点会自动分配给计算节点IP地址，并自动向计算节点安装Rocks系统。5、 安装完所有节点后，在管理节点的insert-ethers界面下，按”F8”退出。6、 全部计算节点安装完成后，整个集群系统操作系统部分就全部安装完成了。安装完的设置安装完所有节点后的系统后，安装PDSH软件(Rocks 5.1的版本)pdsh-2.17-1.x86_64.rpm pdsh-mod-machines-2.17-1.x86_64.rpm pdsh-rcmd-exec-2.17-1.x86_64.rpm 下载地址：#rpmivh pdsh*#dbreport machines >> /etc/machines#pds