Clussoft高性能软件使用手册

1、 - 18 -Clussoft高性能软件使用手册目 录 TOC o 1-3 h z u HYPERLINK l _Toc529003294 1 Clussoft简介 PAGEREF _Toc529003294 h - 3 - HYPERLINK l _Toc529003295 1.1 打印帮助说明 PAGEREF _Toc529003295 h - 3 - HYPERLINK l _Toc529003296 1.2 查看所有可用软件包 PAGEREF _Toc529003296 h - 3 - HYPERLINK l _Toc529003297 1.3 查看软件组 PAGEREF _Toc52

2、9003297 h - 4 - HYPERLINK l _Toc529003298 2 软件安装 PAGEREF _Toc529003298 h - 6 - HYPERLINK l _Toc529003299 2.1 基本配置 PAGEREF _Toc529003299 h - 6 - HYPERLINK l _Toc529003300 2.1.1 设置安装根目录 PAGEREF _Toc529003300 h - 6 - HYPERLINK l _Toc529003301 2.1.2 初始化集群环境 PAGEREF _Toc529003301 h - 6 - HYPERLINK l _Toc

3、529003302 2.2 根目录结构说明 PAGEREF _Toc529003302 h - 6 - HYPERLINK l _Toc529003303 2.3 编译器安装说明 PAGEREF _Toc529003303 h - 7 - HYPERLINK l _Toc529003304 2.4 MPI安装说明 PAGEREF _Toc529003304 h - 7 - HYPERLINK l _Toc529003305 2.5 数学库安装说明 PAGEREF _Toc529003305 h - 7 - HYPERLINK l _Toc529003306 2.6 测试工具安装说明 PAGER

4、EF _Toc529003306 h - 8 - HYPERLINK l _Toc529003307 2.7 应用软件安装说明 PAGEREF _Toc529003307 h - 8 - HYPERLINK l _Toc529003308 2.8 安装软件组 PAGEREF _Toc529003308 h - 9 - HYPERLINK l _Toc529003309 2.9 查看可用软件 PAGEREF _Toc529003309 h - 10 - HYPERLINK l _Toc529003310 3 软件使用说明 PAGEREF _Toc529003310 h - 12 - HYPERL

5、INK l _Toc529003311 3.1 设置软件环境变量 PAGEREF _Toc529003311 h - 12 - HYPERLINK l _Toc529003312 3.1.1 手动加载 PAGEREF _Toc529003312 h - 12 - HYPERLINK l _Toc529003313 3.1.2 Moudle管理 PAGEREF _Toc529003313 h - 12 - HYPERLINK l _Toc529003314 3.2 clusbench使用说明 PAGEREF _Toc529003314 h - 12 - HYPERLINK l _Toc52900

6、3315 3.2.1 查看帮助 PAGEREF _Toc529003315 h - 12 - HYPERLINK l _Toc529003316 3.2.2 单机Linpack测试 PAGEREF _Toc529003316 h - 13 - HYPERLINK l _Toc529003317 3.2.3 整机Linpack测试 PAGEREF _Toc529003317 h - 14 - HYPERLINK l _Toc529003318 3.2.4 内存测试 PAGEREF _Toc529003318 h - 14 - HYPERLINK l _Toc529003319 3.3 appbe

7、nch使用说明 PAGEREF _Toc529003319 h - 15 - HYPERLINK l _Toc529003320 3.3.1 查看帮助 PAGEREF _Toc529003320 h - 15 - HYPERLINK l _Toc529003321 3.3.2 运行lammps测试 PAGEREF _Toc529003321 h - 15 - HYPERLINK l _Toc529003322 4 Clussoft开发说明 PAGEREF _Toc529003322 h - 18 - HYPERLINK l _Toc529003323 4.1 架构说明 PAGEREF _Toc

8、529003323 h - 18 - HYPERLINK l _Toc529003324 4.2 开发说明 PAGEREF _Toc529003324 h - 18 -Clussoft简介Clussoft可以很方便的部署HPC比较流行的软件，目前该功能已集成在 Gridview-3.2.*上，为了与 Gridview 中的统一，我们重新编写了Clussoft，使用方式上与 yum 比较类似，相比于上一版扩展性更强。目前，Clussoft提供的自动化软件安装主要分为编译器、数学库、MPI、测试工具和应用软件等五大分类，为了简化安装又从上述几大类软件选取了部分软件分成Applications, b

9、ase和benchmark三类软件组。下面就最新版clussoft的使用作详细说明。打印帮助说明./clussoft -help # 查看基本帮助信息查看所有可用软件包./clussoft -a结果如下图所示：第一列为软件名称和版本，第二列为软件分组，第三列为安装类型（share为共享安装，安装在共享目录下，如/public; distributed 为分布式安装，每个节点安装一份，放在本地磁盘）。查看软件组Clussoft提供类似yum组安装方式，可一键完成某个组中所有软件的安装，例如，./clussoft -L目前，clussoft分为Applications、base和benchmark

10、三个分组，Applications包含常用应用软件，例如分子动力学、量子化学、开发工具和气象海洋等软件；base包含常用编译器、MPI和数学库等，benchmark包含集群性能测试工具包，如Linpack测试和应用测试。软件安装基本配置设置安装根目录软件默认安装目录为/public/software, 安装过程若要指定安装目录，可通过-d参数指定软件安装根目录路径，例如，./clussoft -d path-to-install/注意：要保留指定目录下最上级目录下的.gridview目录，切勿删除，该目录有安装软件的记录文件。初始化集群环境本节将要安装集群批量管理工具pssh和module，在

11、此之前，准备待部署的集群节点列表nodelist，执行命令，./clussoft -p nodelist执行成功后，将会在nodelist中所含节点上部署module管理工具，方面应用程序环境变量管理。根目录结构说明Clussoft根据软件分类会在根目录生成相对应的次级目录，例如，根目录为/public/software，则其根目录包含以下次级文件夹，apps benchmark compiler mathlib modules mpi profile.d其中，apps对应着应用软件的存储目录，benchmark对应着测试工具的存储目录，compiler为编译器安装目录，mathlib是各种数

12、学库的安装目录，modules存储已安装应用软件的module配置文件，mpi是各种MPI实现的安装目录，profile.d包含所有已安装软件的环境变量配置文件。编译器安装说明Clussoft集成对Intel编译器和GNU编译器的自动化部署。以安装Intel编译器为例，./clussoft -i intel-2015.2.164执行成功后，Intel编译器会安装在根目录/ compiler/intel/composer_xe_2015.2.164/ 目录下，相应环境变量文件写入根目录/profile.d/compiler_intel-composer_xe_2015.2.164.sh。MPI安

13、装说明Clussoft集成对IntelMPI, MPICH, MVAPICH, OPENMPI的自动化部署。以安装Intel编译器编译安装OpenMPI-2.0.0为例，可执行，./clussoft -i openmpi-intel-2.0.0 # 安装Intel编译器编译的OpenMPI安装成功后，OpenMPI会安装在根目录/mpi/openmpi/2.0.0/intel目录下，相应环境变量文件写入根目录/profile.d/mpi_openmpi-2.0.0-intel.sh。数学库安装说明Clussoft集成对FFTW2/3, GSL, HDF5, HDF, LAPACK, NETCD

14、F等的自动化部署。以安装双精度FFTW3为例，可执行，安装成功后，FFTW3会安装在根目录/mathlib/fftw/3.3.4/double目录下，相应环境变量文件写入profile.d/mathlib_fftw-3.3.4-double.sh。测试工具安装说明Clussoft集成HPL, IMB， i7z, IOZONE, LMBENCH, MPIGRAPH, STREAM等常用测试软件的自动化部署，并集成自动化测试工具appbench和clusbench。为方便集群性能测试和后期维护，可一键安装所有测试软件，执行./clussoft -I benchmark执行成功后，所有测试软件会安装

15、在根目录/benchmark/目录下。应用软件安装说明Clussoft集成分子动力学、量子化学、生命科学、气象环保等开源软件，以及R, Perl和Python开发包的自动化部署，安装前需要下载指定版本的源码包，并上传到Clussoft对应软件的src目录下。例如，预安装开源量子化学软件OpenMX, 首先， 进入OpenMX官方网站 HYPERLINK ，下载openmx-3.8源码包openmx3.8.tar.gz；其次，将源码包openmx3.8.tar.gz上传至apps/OpenMX/src/目录下；最后，执行：./clussoft -i OpenMX安装成功后，软件会安装在根目录/a

16、pps/openmx/3.8/目录下，同时生成一个job.pbs作业提交的脚本文件。Clussoft所支持的软件包下载地址和指定版本，可查看下表:软件名称下载地址软件版本Abinit HYPERLINK / /abinit-7.10.4.tar.gzCP2K HYPERLINK / /cp2k-2.6.1.tar.bz2Gromacs HYPERLINK / /gromacs-5.1.3.tar.gzLammps HYPERLINK / /lammps-stable.tar.gz(lammps-14May16)NAMD请联系曙光工程师NAMD_2.10_Source.tar.gzNwchem请

17、联系曙光工程师Nwchem-6.5.tar.gzOctopus请联系曙光工程师octopus-5.0.1.tar.gzOpenMX HYPERLINK openmx3.8.tar.gzQE（Quantum Espresso）请联系曙光工程师espresso-5.4.0.tar.gzVASP HYPERLINK http:/www.vasp.at/ http:/www.vasp.at/vasp.5.4.1.tar.gzWRF/index.phpwrf.3.6.1.tar.gzADCIRC请联系曙光工程师adc50_99_12.tar.gzARPS/ARPS/arps5.3.4.tar.gzCMA

18、Q/cmaq/cmaq4.7.1.tar.gzFVCOM请联系曙光工程师Fvcom2.7.1.tar.gz安装软件组Clussoft支持Applications, base和benchmark三种软件组的一键部署, 以安装base为例，./clussoft -I base # 安装base组所有软件执行成功后，base所包含的软件列表会根据软件分类安装在不同目录下，相应的环境变量文件安装在根目录/profile.d目录下。查看可用软件支持两种方式，查看本集群已安装的软件列表，方法一，使用Clussoft命令，执行./clussoft -l # 查看所有已安装的软件包信息软件包安装信息包含软件名

19、称、分组 、安装类型、安装目录、软件环境变量文件和安装用户，普通用户可查看root和本用户安装的所有软件。方法二，使用module管理命令，执行module avail软件使用说明设置软件环境变量手动加载对于root超级用户可设置开机自动加载，即，选择根目录/profile.d目录下环境变量文件，将其拷到/etc/profile.d目录下；对于普通用户，使用某个软件，临时加载环境变量，可以执行，source 根目录/profile.d/*.sh也可以将上述命令，写入/.bashrc文件内，设置为该用户默认环境变量；Moudle管理本节可参考module机制基本命令，即执行，man module

20、查看帮助。clusbench使用说明clusbench是一个简单易用的集群测试工具包，集成了一些常见的高性能测试项目，比如单机 Linpack、整机 Linpack、Stream测试等。clusbench 会根据集群节点信息自动生成参数，通过简单几条命令就会测试出不错的 Linpack结果。最新版本为：clusbench-1.3。查看帮助./clusbench -h单机Linpack测试编辑nodelist添加需要测试的节点主机名要保证 nodelist 中节点所有的 CPU 型号、内存大小、操作系统版本一致，这样我们才能根据 CPU 峰值和内存来计算 Linpack 参数。执行单机 Linp

21、ack 命令./clusbench -s在这个过程中需要你确认 Linpack 参数，如果默认的参数不合适，请输入相关参数。 如果直接使用我们给出的默认参数，而不想再次确认，直接执行 ./clusbench -s -q查看Linpack结果 在log目录下有各节点Linpack测试输出文件，tail 查看即可，例如，HPL_node1_20160719-1013.log整机Linpack测试编辑nodelist添加需要整机测试的节点名执行clusbench整机测试Linpack./clusbench -t -q # 使用默认参数测试整机Linpack查看最终结果在log目录下有整机Linpac

22、k测试输出文件，tail 查看即可，例如，tHPL_20160719-1006.log内存测试clusbench使用Stream测试内存带宽1) 编辑 nodelist文件2) 执行 clusbench -m命令来自动测试内存带宽测试首先会检查内存信息，测试结束会给出每个节点的性能信息，比如下图输出信息可得出admin1带宽为80GB/sappbench使用说明开发appbench测试工具目的在于，使用标准算例测试集群运行业务程序的性能，目前支持分子动力学程序lammps和量子化学软件包vasp的自动化测试。使用appbench前需要确保安装module功能参考2.1.2，用于加载应用程序环境

23、变量。最新版本为：appbench-1.0。查看帮助./appbench -h输出参数和说明内容如下，-help，-h print this help # 打印帮助-run-vasp，-rV running vasp demo # 测试vasp算例-run-lammps，-rL running lammps demo # 测试lammps算例-kill，-k Stop bench jobs # 终止计算任务运行lammps测试编辑nodelist，添加需要的计算节点，节点数目为偶数N，程序会按照N/2递减的方式依次分配节点资源进行测试，最少需要2个节点。编辑配置文件config，选择需要测试的程序和算例例如，选在lammps算例1#!/bin/bash#=# RUN_ID