曙光使用手册.doc

曙光使用手册 安徽师范大学高性能实验室 2012年7月13日星期五目录一.账号的注册和登录二.系统基本环境2.1系统硬件环境2.2系统软件环境三.上机操作3.1用户登录和数据传输 3.1.1登录 3.1.2数据传输3.2作业提交和管理3.2.1作业提交3.2.2作业管理四计费规则五维护人员联系方式一账号的注册和登录1.1注册第一步：进入注册页面打开安徽师范大学高性能实验中心网页，在网页的右上角有登录与注册按钮，点击注册即可以进入注册页面。表1第二步：完成注册要求进入注册页面后，先完成个人要求。表2第三步：点击确认按钮，确定信息即完成注册。1.2登录第一步：进入登陆页面打开安徽师范大学高性能实验中心网页，点击登录按钮。表3第二步：完成登录信息在登录窗口，完成登录信息即可。表4二.系统基本环境2.1系统硬件环境硬件信息 Cpu 硬盘内存登录节点Node182.1GHz146G SAS8GI/O节点Node282.1GHz 146G SAS8G文件服务器Node342.0GHz4500G SATA（RAID 5 剩余1500G）Windows分区（700G） LINUX分区（750G）4G胖节点Node4322.2GHz 3146G SAS(RAID 5 剩余293G) Windows分区 100G LINUX分区 150G32G计算节点Node5-1682.1GHz146G SAS8G磁盘阵列8500G SATA（RAID 61 剩余 2500G）700G接到node2 900G接到node4 800G接到node4表1曙光集群系统由16个节点构成，node1为登陆/管理节点，cpu 82.1GHz 内存 8G，硬盘146G SAS，用于用户的登录，node2为I/O节点，cpu 82.1GHz 内存 8G，硬盘146G SAS，用于连接磁盘阵列，node3为ftp服务器，cpu 42.0GHz 内存 4G，硬盘4500G SATA（RAID 5 剩余1500G）Windows分区（700G） LINUX分区（750G），供用户下载上传文件，node4是胖节点，cpu 322.2GHz 内存 32G，硬盘3146G SAS(RAID 5 剩余293G) Windows分区 100G LINUX分区 150G，node5-node16都是计算节点，cpu 82.1GHz 内存 8G，硬盘146G SAS，用于用户作业的计算。2.2系统软件环境软件信息分类 名称安装路径版本操作系统GNU/Linux2.6.9-67.ELsmp编辑器pgi编译器/public1/software/pgi7.1.4MPIopenmpi-gnu/public1/software/mpi/openmpi128-gnuopenmpi1.2.8openmpi-pgi/public1/software/mpi/openmpi128-pgiopenmpi1.2.8mpichgnu/public1/software/mpi/mpich-gnumpich1.2.7mpich-pgi/public1/software/pgi/linux86-64/7.1/mpi/mpich/mpich1.2.7mathlib数学库Gotoblasgnu/public1/software/mathlib/llibgoto_barcelona-r1.26.aGotoblas1.26lapackgnu/public1/software/mathlib/lapack_LINUX.afftw2-gnu/public1/software/mathlib/fftw215fftw2.1.5fftw3gnu/public1/software/mathlib/fftw312fftw3.1.2应用软件namd/public1/software/namd2.6作业调度系统Torque（PBS）/usr/local 2.6.9-676.2表22.2.1作业调度系统大规模集群系统，为了有效利用众多处理器核心所提供的计算能力，需要有一个作业管理系统，统一的跟用户交互，接收提交的各类计算任务，合理分配计算资源，将用户作业指派到具体的节点上执行。对用户来说不需要关心计算具体是在哪里进行的，系统会自动按照最优化原则进行调度，这不仅方便了用户的使用，更提高了整个系统的利用率。作业管理系统是整个集群系统的最重要的软件环境之一，目前在曙光计算机上使用的作业管理系统是Torque（PBS）2.2.2编译器和并行实现曙光集群系统支持MPI并行方式。MPI是分布式内存并行，计算作业可以在一个或者若干个节点上进行。MPI只是一个标准，遵从这一标准可以有很多不同的软件实现，但具体的应用程序应该不加修改就可以重新编译运行，这也是标准化带来的优点。2.2.3数学库开放源码程序往往要调用大量的数学函数进行各种计算，经过长期积累，已经有一些比较成熟的标准化的数学库，其中做常见的诸如Gotoblas，目前已知的性能最好的blas库，使用gcc和g77编译，lapack，使用gnu编译器编译的lapack库，fftw2、fftw3。曙光集群上部署的Gotoblas 数学库的位置为/public1/software/mathlib/llibgoto_barcelona-r1.26.a，该库是gcc和g77编译器所匹配的数学库。2.2.4应用软件曙光集群上安装了一些应用软件，例如namd ，生物和物理化学大规模并行分子动力学软件它的部署的位置为/public1/software/namd 。三.上机操作 曙光系统内部有着复杂的网络系统来实现大规模集群系统的各类功能，是安徽师范大学的高性能计算平台，为全校师生提供资源。集群的使用主要包括集群的登录、文件上传、任务提交、结果下载等4个步骤。用户可通过Putty集群登陆软件登录到集群进行使用，下面是以Putty为例对集群的整个使用流程说明。3.1用户登录和数据传输3.1.1用户登录登录节点的ip： 0点“open“或回车后会提示需要输入用户口令和密码。输入正确后会出现提示此时可以执行linux命令， 例如查看当前目录下的所有文件 ls2.1.2数据传输3.2作业提交、管理和软件使用3.2.1作业提交计算任务是通过脚本文件提交到作业管理系统的，脚本文件是一个常规文本文件，具有执行权限，可以直接在登入节点使用vi 编辑器编写，也可异地编写上传到用户作业工作目录。脚本文件名无特殊规定，起一个可识别的名字即可。编辑完成脚本文件后，将脚本赋予可执行权限，然后提交。例如：编写pbs脚本脚本示例说明#PBS N myjobmyjob是任务名#PBS l nodes=2:ppn=2指定节点数和cpu个数 ppn最大值是8#PBS j oe标准输出和错误流是被合并、混合作为标准输出cd $ PBS_O_WORKDIRexport PATH=/public1/software/mpi/mpich-gnu/bin:$PATHmpirun np 4 machinefile $PBS_NODEFILE cpi-mpich运行程序注意：用户只需要更改红色部分解释：原先大家都是在中断输入 mpirun.这些命令执行程序的，现在只要把这些提交命令放在.pbs 配置文件的最后，由PBS 来调度执行（自动分配节点和其它资源）。myjob 是为你此次要运行的程序起的任务名，可以改成你自己想要的名字原先输出信息都是直接在屏幕上显示的，现在屏幕上的显示全部输出到文件中， #PBS l nodes=2:ppn=2，你们程序需要几个节点只要修改nodes 后的数字就可以了， mpirun np 4 machinefile $PBS_NODEFILE cpi-mpich,此例中-np 后的4 是并行数（2 2 4 个cpu ）， machinefile $PBS_NODEFILE 不需要改变。cpi-mpich 是你编译好的可执行文件名，需修改。对于每个你要运行的mpi 程序都需要这样一个.pbs 配置文件，完成pbs脚本的编写后，即可提交任务，命令为：qsub 脚本名称，例如pbs脚本名为 myjob 则输入：qsub myjob.pbs。递交后屏幕将输出：请记住156 这个号码，这是作业号（jobid）。可以用来对任务的查看、取消等。3.2.2作业管理任务提交和查看命令qsub 提交作业脚本例：qsub myjob173 是作业号qstat a 查看作业状态qdel删除已提交的作业例：qdel 156 156是作业号下面列出常用的作业管理命令如果需要更详细的资料可以参考作业调度系统相关手册。qsub 提交作业脚本qstat a 查看作业状态状态为R是运行，Q等待（可能有问题或资源不够）qdel删除已提交的作业 例如：qdel 156 156是作业号四计费规则采用所付仅所用的计费模式，依据资源使用量计费。所付费用=流出流量费用+流入流量费用+CPU时间费用CPU时间=CPU个数每个CPU使用时间服务名资源类型折合人民币价格Http流入流量1元/GB流出流量1.5元/GBCPU时间1元/CPU HourHttps流入流量2元/GB流出流量3元/GBC