Rocks5.3_x86_64安装规范2010-01-08.doc

Rocks 5.3 x86_64安装规范Table of ContentsTable of Contents11.准备工作：22.安装管理节点22.1.管理节点安装的功能模块22.2. 输入集群信息(Cluster Information)32.3. 网络设置32.4.管理节点Root初始密码设置42.5.时区设置42.6.硬盘手动分区52.7.管理节点额外设置63.计算节点安装84.安装完的设置9内部资料，请勿外传 1. 准备工作：a) 安装系统前，请将所有节点(管理和计算)的BIOS里Intel EIST功能关闭，Intel主板的具体步骤如下：BIOS - “Advanced” - “Processor” - “Enhanced Intel(R) SpeedStep Technology (EIST)”, 设置成 “Disabled”。b) 请将所有节点的HT(Hyper-Threading，超线程)功能关闭。c) 请将所有节点的TURBO功能关闭(Xeon 5500系列主板)。d) 保存，重新启动系统，检查是否CPU主频，核心数量是否正确。2. 安装管理节点安装管理节点时，如需加载RAID等驱动，在光盘引导时，输入build dd，否则只输入build2.1. 管理节点安装的功能模块如销售订单要求使用RHEL系统，请不勾选os这项，单独放RHEL5.3 x86_64的光盘注意：如果此界面也提供其他Roll，请一并勾选2.2. 输入集群信息(Cluster Information)请按下列表填入相应信息：Fully-Qualified Host N (均小写)Cluster NamePowerCertificate OrganizationPowerleaderCertificate LocalityShenzhenCertificate StateGuangdongCertificate CountryCNCURLLatitude/LongitudeN22.68 W114.062.3. 网络设置管理节点默认网络设置如下(若有额外设置要求，会随订单或者邮件单独指定)，eth0 IP: IP地址系统默认即可；eth1 IP：00掩码：网关：54DNS：33 或当地自己的DNS服务器具体设置如下：2.4. 管理节点Root初始密码设置Root密码：zxcvbnm2.5. 时区设置Time Zone: Asia/ShanghaiNTP Server: 2.6. 硬盘手动分区注意：请选择手动分区 管理节点硬盘分区：(小于2TB时)/ 12000M强制primaryswap 12000M强制primary/var 4000M 强制primary/state/partition1剩余空间 强制primary(若有额外设置要求，会随订单或者邮件单独指定)注意：当管理节点单个阵列大于2TB，请先分配1TB硬盘卷，按上面分区方式。剩余的硬盘空间，另外做一个大分区，采用GPT，格式化成ext3备用。完成后：根据机器配置，大约等20-30分钟，管理节点安装完毕。系统会自动重启，并弹出光盘。2.7. 管理节点额外设置2.7.1. 关闭节点断电自动重装功能# cd /export/rocks/install/site-profiles/5.3/nodes/# cp skeleton.xml extend-compute.xml编辑extend-compute.xml，在 和 之间加入如下内容：/sbin/chkconfig rocks-grub off2.7.2. 设置节点分区信息(默认此步骤不执行，除非订单特殊标明)请按如下步骤修改计算节点的分区信息：(两种方式，a,b)# cd /export/rocks/install/site-profiles/5.3/nodes/# cp skeleton.xml replace-partition.xml编辑replace-partition.xml，在 之间加入如下内容a)修改自动分区（但并不一定会执行）echo clearpart -all -initlabel -drive12000M s=sdapart / -size 20000 -ondisk sdapart swap -size 4000 -ondisk sdapart /state/partition1 -size 1 -grow -ondisk sda /tmp/user_partition_infob）手动分区（虽然安装时会弹出手动分区，影响了整体安装速度，但是可以根据你不同的计算节点配置，设置你认为理想的分区）echo “rocks manual” /tmp/user_partition_info然后重新生成版本# cd /export/rocks/install# rocks create distro至此，主机初步设置完毕，开始部署节点注：如果插入的系统光盘是RHEL，需要修改/var/named的权限为named.# chown d /var/named -R3. 计算节点安装3.1. 计算节点安装前准备工作请先确认如下三个BIOS选项是否关闭：Intel EIST关闭HT关闭Turbo (有些Xeon 5500处理器有此选项)关闭。IPMI LAN IP地址设置成static，并按如下规则设置IP地址：54 第一个部署的节点compute-0-053 第二个部署的节点compute-0-52 第三个部署的节点compute-0-2（上面都是宝德机器设置配备，下面是PC机组建cluster所需）大多数pc机通过局域网络安装计算节点，但是还是需要keral盘（或整张DVD安装盘），我们按照自己的特色建立自定义的计算节点名字sky（不再是compute-0-，这个太长），还可以自己设置计算节点的IP.3.2. 安装计算节点以安装第一个计算节点sky01为例:在管理节点执行insert-ethers -hostname=“sky01”, 选择compute出现如下界面后，可开始安装计算节点：计算节点从网卡启动，顺序安装每个计算节点。4. 安装完的设置4.1建立用户和软件安装设置：建立一个组用户，其他为子用户；把软件放在/share/apps下，把软件的组也变为组用户，让子用户有读取和使用的权利。也可不用建立组用户，把所有的用户和软件都设置为同一个组。下面以组用户建立和gaussian软件说明：在root用户下：useradd esom (建立组用户esom) Passwd esomuseradd g esom wuy (建立以esom为组用户的子用户wuy)passwd wuyrocks sync users (让计算节点也同步用户)rocks sync config （同步库；每新建一个节点都需用执行这两步；也可以把所有的节点都安装完，所有用户建立完，在执行这两步）通过U盘，或设置好的固定IP联网sftp传送gaussian软件；如果是U盘，插上后，在root下使用fdisk l查看U盘盘符，假如为/dev/sdbmount /dev/sdb /mnt (把U盘下的文件挂载在/mnt下)mv /mnt/g09.tar.gz /share/appstar zxvf g09.tar.gzchown R root:esom g09 (把g09文件的组改为esom)4.2 PBS任务脚本建立同样以gaussian的pbs脚本为例，#!/bin/bash#PBS -S /bin/bash#PBS -j oe#PBS -l nodes=sxy04:ppn=4#PBS -l walltime=860:00:00#PBS -Vcat $PBS_NODEFILE# -S: shell the job will run under# -o: name of the queue error filename# -j: merges stdout and stderr to the same file# -l: resources required by the job: number of nodes and processors per node# -l: resources required by the job: maximun job time length#jobname=PtBNppy_Tezcd $PBS_O_WORKDIR# Setup for Gaussian 09:# =# Make a scratch directory if it doesnt already exist.GAUSS_SCRDIR=/state/partition1/$PBS_O_LOGNAME/$PBS_JOBIDif ! -a $GAUSS_SCRDIR ; then echo Scratch directory $GAUSS_SCRDIR created. mkdir -p $GAUSS_SCRDIRfiexport GAUSS_SCRDIRecho Using $GAUSS_SCRDIR for temporary Gaussian 09 files.# Define the location where Gaussian was installed and run# a setup script, file.export g09root=/share/apps/gausssource $g09root/g09/bsd/file#Run a Gaussian command file, , redirecting output#to a file, te