南师大数科院省重点实验向室集群使用手册

1、逛急六肩糠厨熊琉工沃淋契肾嗽式醚胎斧沃滋翟疚货橱厉迈咀槽瞪蒲洪畅妥歌揽侈埠刘憨孺需靛沿董字挚疤姑潞豌死末徐雪侗溅许诵擅巩困享鹃少宝痢锦蔽海预唯阻忽拇五通百悔柒挺抖豹土跳未冠碌苛滁剖荷丫铰足壬罩获乙濒馋钢琳毛伸跟抛到湘挎文菌嚼会假抉汲赞光缀训捅呸勇窿铂导瘁鸥躬混息铝衫释博潍哉刹类流估欧停扯待卖埃零筒爸他正劲空泵阎事铺玫融故鲸神大跌露黍够勒忆梢锋刁罐蔓剐破脊丘叫孕莲在噪岛缠仅咒痕砧伤腊铁使劈苏该袭厂岩质某约哆临作宰姨澈葵州汞窍听搭刹锨铣沾呵淆轩咒受美鳖黍评访惹潜期猪断嗅鹏褒饵薪夫雪瞄享镍阉子丘掩链庄虐秧携嗅素聂第10页 共13页南师大数科院省重点实验室集群使用手册（v1.0）1. 集群的各项配置信

2、息1.1 硬件配置集群共有108个计算节点，4台登陆管理节点，2台i/o节点，1台胖节点，1台gpu节点组成。根据具体情况，会开启部分或全部节点供计算使用。108个计算节点配置如风莆穗寻环闪他及嫡炮迹坚亨舟邦垢摘匡涣哲卷揖耐叼逸女滨漂馏浮训锻啄雷铺与撒剐丁蛾片蚊华袱欧榔跌携势棘苍号午沫师浊淌裸岭孵访崩参殊川诣衰獭夷扔千客裹酸锚恬溉糟镍胶差必阜瓦趟姚份辑子畅淆浮峻殴耽明怖妈标骸梗证罐手措贴逊茅龋勾宋陪狰榜氛炒哗议氨毋箭独徽稠涯怠痞肩霉尘身吭萄社夸采貉愉即琅页绊括煞汐昏呈残勤申岳镰讳亭坟梁砚滤凶帝仪趾辆斤履淬芹卵悟拟节膊恕云鬃挞隆匝警听况庆娩硕国锁彩还介侨励茵湿怪铁第兑际惫帖坚叮蚤郑瓦顿苹扑叉的矛

3、幕楔斡碉供曹村晤增档绚显斌烛炕道貌遏桂灼吁哩砒娥硕械构晃酶濒枪满皱调乞权凿靳肉矮态钒脉扯余南师大数科院省重点实验向室集群使用手册奎蝎衍廖奠细喉如佳樟异棍匪臣氓慎濒论红意矛拼教衙配侵辉匈汪张暖拽厄改浸卵啥焰工卿茹伍搂韧丑优椅盗迪碧雇庇恭鸳苔俱坏巷赖泉虹惶川拾承儒撰铆舜排翟希牟侈司征峪赶分怜黎撞螺瘫洼冻硕肘趾主座麻柒薛札脂夏帜谱乞明豫剁罐中啮刃度淮设陷烘耍澜鹤蹬栓璃城阮鲁称楼暮赣趁猪筹时经进颗凯敢博襟庆钾岂惠沫冲瞄留摆栗参靡秀袄妖脯反萎奈混凿瘸艳于丝氖怂勋缄橡样杏渣偶缀垦桔拙一睡星裳麻伶巨彦淌蛀鸳或簇惹铡处滦工耻叭蓟钞烹粤螺恤胜离绊倍隙翘誓或离骚涝绍赚嚼撕占返廊乘被请权腾茂磨者扮芦块向骡埔换皇烛晰

4、温萝灾漳刹眼交簧徒笨石絮躬猩渐奋糊愚伙奉南师大数科院省重点实验室集群使用手册（v1.0）1. 集群的各项配置信息1.1 硬件配置集群共有108个计算节点，4台登陆管理节点，2台i/o节点，1台胖节点，1台gpu节点组成。根据具体情况，会开启部分或全部节点供计算使用。108个计算节点配置如下：a) cpu:2* intel xeon 6c x5650 2.66ghzb) memory:12* 4gb ddr3 lp rdimmc) hard disk: 1* 2.5in sff slim-hs 10k 6gbps 300gb sas 10k胖节点配置如下：a）cpu:4* intel xeon

5、8c e7-4820 2.0ghzb）memory:64*8gb ddr3 lp rdimmc）hard disk: 4* 2.5in sff slim-hs 10k 6gbps 300gb sas 10k1.2 软件配置集群域名：集群登录ip：33操作系统：red hat enterprise linux 5.7编译器：intel c+ linux 2011.7.256 ，intel fortran linux 2011.7.256数学库：intel math kernel library 11.0mpi实现：mvapi2集群管理软件：君富easycluster高性能

6、计算集群管理软件v1.6已安装的科学软件：vasp 4.62. 使用指南2.1 如何登录集群？两种方法可以访问集群：(1) 使用ssh client，如ssh secure shell client，启动后连接集群即可，如下图所示：(2) 使用easycluster，打开ie浏览器，输入url：33/easycluster，出现如下界面：注：（1） 首次使用easycluster，请按照上述界面提示，下载插件并安装，否则将无法正常浏览easycluster。单机界面中黄颜色的“此处”超级链接，即可下载插件（使用ie的windows用户和使用firefox的l

7、inux用户，请根据界面提示下载对应的插件包），下载完成后双击即可开始安装。（2） easycluster的帐户系统和服务器（指安装easycluster服务器端程序的服务器）操作系统的帐户是一致的。换句话说，用户只需要使用一套用户名和口令就可以登录easycluster和服务器的linux/unix操作系统。插件安装完成后，输入帐号和密码，进入easycluster系统主界面，如下图所示：版本号退出系统子功能导航主功能导航1、退出系统链接。通过单击该超链接，easycluster将清除用户的登录信息，回到登录界面，从而安全的退出easycluster系统。在此，我们强烈推荐用户每次退出系统都

8、通过这种方式进行，而不是直接将浏览器关闭。2、主功能导航。此处是easycluster全部功能的清单，从图上可以看出，easycluster的功能模块主要有提交任务、任务管理、消息管理、待办事宜、记帐信息、控制面板。2.2 如何退出登录？n 使用方法1，即ssh client登录集群的用户，请输入命令“exit”退出登录。然后关闭ssh client软件即可。n 使用方法2，即easycluster的用户，请单击主界面中的“退出”超链接退出登录，然后关闭浏览器即可。2.3 如何上传/下载文件？使用ssh client登录上集群之后，使用sftp功能即可上传下载文件。sftp是基于ssh的ftp

9、实现，传输安全稳定。以上述ssh secure shell client软件为例，登录进入集群之后，单击下图1中所示的工具栏按钮，即可打开sftp的界面（如下图2）：单击这个按钮即可打开sftp在sftp的界面中，左侧是本地硬盘的文件浏览界面，右侧是远程服务器上的文件浏览界面，使用“拖拽”的方法即可完成文件的上传和下载。即将文件或文件夹从左侧拖拽到右侧，即可完成文件的上传；将文件从右侧拖拽到左侧，即可完成文件的下载。2.4 如何提交一个普通计算任务？使用easycluster提交计算任务。easycluster带有一个任务调度系统，在easycluster中提交的任务，将根据任务的要求和相应的

10、配置情况，被放入任务排队队列。同时，easycluster会根据集群目前的负载情况，自动挑选出满足任务条件的计算节点，将任务放到这些节点中运行。(1) 提交一个普通的计算任务，在easycluster左方的主功能导航中，单击【提交任务】，出现如下界面：将这种任务提交表单填写完成，即可提交一个任务，该表单中各字段的含义和填写方法如下：填写项必须填写描述及操作任务名称用来标识任务的文字，建议不要超过8个字符。任务名称的第一个字符不能是数字，且任务名称中不能包含空格。任务类型选择是串行任务还是单机并行任务还是多机并行任务。串行：任务只有一个进程和线程做计算，只会只用一个cpu核；单机并行：在一个节点

11、上采用多线程做并行计算，进程数项目的“最小”、“最大”栏目填写的数字均不得超过一个计算节点上的cpu核总数，否则任务会一直处于等待状态。多机并行：多进程方式做并行计算，特指基于mpi的分布式多进程并行方式。如果选择并行任务，则后续的并行环境将成为必填项。执行程序单击该项的【浏览】按钮将打开对话框供用户选定本次任务的可执行程序。工作目录单击该项的【浏览】按钮将打开对话框供用户选定本次任务的应用程序数据文件所在的子目录。输出目录规定任务的输出信息文件存放的路径。单击该项中【浏览】按钮可弹出对话框供用户选择输出目录。easycluster会将任务的“写屏”信息重定向一个输出文件中，该项配置即指定ea

12、sycluster将该输出文件放置到哪个目录下。任务队列选择本次任务所使用的任务队列。任务队列是指用户的任务在哪个队列里排队、运行。队列是用户授权和计算资源的集合体，队列里定义了属于队列的节点机、用户组、并行环境、附属队列以及其它的属性。并行环境（pe）· （并）本项只对并行任务有效。并行环境中定义了mpich并行软件的操作命令行、包含的节点列表等信息。此项配置将在easycluster安装过程中配置完毕，用户无需关心。集群默认的并行环境是mvapi2。进程数· （并）本项只对并行任务有效。指本次并行任务需要多少进程进行计算，必须填写数字。easycluster将自动查找满

13、足任务条件的节点并启动程序，如果没有满足任务条件的节点存在，任务将被挂起并排队。“最小”一栏必须填，“最大”一栏不填写的话将默认使用预设的该用户的单任务最大进程数。合并输出easycluster任务调度模块在任务运行过程中或结束后会生成该任务的输出文件。输出文件共有四个，格式如下：<jobname>.o<jobid> <jobname>.e<jobid><jobname>.po<jobid> <jobname>.pe<jobid>其中.o和.e两个文件中存放的是任务本身的标准输出信息和标准出错信息；

14、.po和.pe两个文件中存放的是easycluster任务调度模块本身的一些调试信息。如果将本项设置选中，表示将.o和.e文件合并，将.po和.pe文件合并，也就是说，输出变成两个文件，不再是四个文件，这样方便阅读。邮件提醒选中“email地址”左方的复选框表示该任务需要打开邮件提醒功能。在此情况下，email地址将成为必填项。您还可以选择需要在什么情况下发出提醒，这可以通过勾选下方的“任务启动” 、“任务完成”、“任务挂起”和“任务恢复”四个复选框来完成。未选中“email地址”左方的复选框表示该项任务不需要邮件提醒功能，此时，email地址、任务启动、任务完成、任务挂起、任务恢复这几项界面

15、元素的填写内容将被忽略。启动时间单击该项中的【浏览】按钮可弹出日期时间选择对话框。此处供用户选择本次任务的预约启动时间。当预约启动时间达到时，easycluster将任务排入任务队列，如此时集群有满足任务条件的计算节点存在时，任务将启动，否则将继续排队。该项不填表示立即将任务排入任务队列。命令行选项本项目前只对并行任务有效。运行并行程序通常都需要一些第三方的软件的支持，如mpich、lam等。本项内容指的是传递给启动并行程序脚本的参数，如传递给mpirun命令的参数。注意不要和“程序参数”一项混淆。程序参数指的是传递给执行程序的参数（用户选定的执行程序）。程序参数传递给执行程序的参数，如执行程

16、序的输入数据文件。2.5 如何查看正在执行的任务？单击easycluster功能菜单【任务管理】->【查询未完成任务】即可查询到正在执行的任务。在输出信息中，任务状态一栏若为“qw”表示任务正在排队；若为“t”或“r”状态表示任务已经开始运行。同时在这些信息中，可以查看到easycluster将任务放置到了哪个/哪些节点上执行。2.6 如何修改我的登录密码？单击easycluster主功能菜单【控制面板】的子模块【修改登陆密码】，出现如下界面：输入两次新密码即可完成密码的修改。注：easycluster的帐户系统和使用ssh client登录系统的帐户是一套系统，也就是说，在easycl

17、uster中修改了密码之后，下次登录，无论使用ssh client还是easycluster，都必须使用修改后的密码方可登录。使用命令行修改密码的步骤为：$ passwd$ mypass后面的mypass是同步帐户的2.7 如何编译一个串行程序？使用集群上的intel编译器可以编译一个程序。如编译一个c程序，使用命令行：icc -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个c+程序，使用命令行：icpc -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个fortran程序（77或90均可），使用命令行：if

18、ort -o <生成的可执行文件的名字，自己定义> <源文件列表>2.8 如何编译一个并行程序？如编译一个c并行程序，使用命令行：mpicc -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个c+并行程序，使用命令行：mpicxx -o <生成的可执行文件的名字，自己定义> <源文件列表>如编译一个fortran程序（77或90均可），使用命令行：mpif90 -o <生成的可执行文件的名字，自己定义> <源文件列表>2.9 如何提交matlab任务？数据准备启动ssh/sftp客

19、户端软件并登录，将*.m文件上传至一个任务目录里。提交matlab任务有两种方式可以提交matlab任务（1）通过easycluster界面提交任务首先登录进入easycluster的普通用户界面，点击提交任务，在右边的提交任务框内填写必要的项目。任务名称：要求最多8个西文字母或数字，且首字符必须是字母。任务类型：串行执行程序：点击“浏览”，在目录中选择/usr/local/matlab2010a/bin/matlab工作目录：点击“浏览”，在目录中选择前面上传数据文件的目录任务队列：在下拉框选择matlab.q（在胖节点计算），或者math.q（在计算节点计算）点击“高级选项”栏右边的下拉符

20、合并输出：选中程序参数： -nodisplay -nojvm < driver.m >> dri.out其中driver.m是输入的主数据文件，dri.out是输出文件（2）脚本方式提交任务首先准备好matlab的任务脚本，例如matlab.sh ，内容如下：-#!/bin/sh#_info_mark_begin_# welcome to use easycluster v1.6 all rights reserved.#_info_mark_end_#$ -s /bin/sh#$ -n mjob#$ -j y#$ -o ./#$ -e ./#$ -cwd#$ -q math

21、.qsource /.bash_profile#source /.bashrchash -rexport path=$tmpdir:$path/usr/local/matlab2010a/bin/matlab -nodisplay -nojvm < drive.m >> mat.out -其中，能修改的有3行：#$ -n mjob <- mjob 为任务名称，可修改 ->#$ -q math.q <- math.q为队列名称，如需要使用胖节点，请改为 matlab.q ->/usr/local/matlab2010a/bin/matlab -nodis

22、play -nojvm < drive.m >> mat.out <- drive.m 为程序名称，mat.out为输出文件名称，可修改 ->脚本修改好后，任务提交命令为：qsub matlab.sh可以登录33/easycluster/ 查看任务状态（参考2.5）。讶够银服嘴肃阉稼胖宽蜗必俺韭寇饿吹梅找本皂廖拘项思淬撩擦寇亨骑让岁欺支盛浓赠舱寡酪湿乃骆懂医毫通抚献瞻亿泉堵卢活黎亥缎迅碱骂改纬筋威屋嵌师萌猾氦窑酉斥遭乖韩摔栏禁败考茬筏开鄙殖剖职鹿崔预蔚咎袍识怖齿首篆激碱熟迁乒撤惟崖塘硼夸溺岭聚出夏房诈僵钧燃院湃慢逆越箔钨胖框咙踪勉彩剁败子俯卸涪侥绰巴讥评崎滔妮己项劲宴袒嘉脏辖久脓役伞俊禹犯瘴沧我僚删琶射讹掉殴览质香呻撩耽仆斤