AIX6.1下HACMP6.1双机实施文档.doc

AIX 下HACMP双机软件实施文档说明：如果无特别说明操作都是在root用户下执行硬件环境：1、2台IBM POWER720（均为1块网卡，4个网口;2块光纤卡，4个光纤接口，2块146G硬盘）2、1台DS5020 型号磁盘阵列（6块300G硬盘，4个光纤通道接口）3、1台IBM B24光纤交换机4、1台H3C网络交换机软件环境：1、 AIX 6 Version 6.1(系统盘)2、 PowerHA for AIX Standard Edition Version 6.1（HACMP软件）1 实施规划两台P720小型机，分别命名为server1,server2,我们的配置采用别名替换方式。存储，我们划分出来4个分区，分别用作数据库、应用服务（2个应用服务）、心跳盘。具体如下：LUN0：LUNname:appht，容量：350GBLUN1：LUNname:appmz，容量：350GBLUN2：LUNname:db，容量：350GBLUN3：LUNname:heartdisk， 容量：5GB1.1 IP资源规划服务器名称网卡名称IP地址trade1en0/24en1/24trade2en0/24en1/24（不完整，HA未规划）1.2 拓扑图网络拓扑结构如下图所示：1.3 拓扑说明1， 两台POWER720分别通过en0、en1两个网卡连接H3C交换机；2， Trade1分别通过两块光纤卡的PORT1端口连接光纤交换机的1、6端口，Trade2分别通过两块光纤卡的PORT1端口连接光纤交换机的2、5端口.这样每台机在对应光纤交换机的两个ZONE上都有连接，在一个ZONE出现问题的时候，POWER720依然可以连接到光纤交换机和存储。3，光纤交换机通过光纤通道连接磁盘阵列的A,B控制器，光纤交换机对应的端口分别为0和4，分别连接DS5020 A、B控制的第一个光纤端口。2 DS5020配置2.1 客户机IP配置DS5020默认的IP地址为01和02，配置客户机IP地址为192.168.128网段的地址。2.2 Storage Manage的安装与使用利用IBM Storage Manager 10 Client软件可以方便的管理IBM DS系列的存储,下面介绍Storage Manager 10 Client的安装步骤:2.2.1 下载IBM网站下载Storage Manager 10 Client安装文件到本地计算机，并解压。2.2.2 开始安装运行安装文件目录下的ibm_sw_ds3-5k_10.77.xx.28_windows_intl386WS03WS08_10p77_IA32WindowsSMIA-WS32-8, 安装程序可以运行：2.2.3 选择语言选择语言，点击OK2.2.4 接受许可点两次NEXT，同意安装许可，再点NEXT：2.2.5 选择定制安装选择custom，点NEXT2.2.6 选择安装组件选择DS Storage Manager 10 Client，点NEXT直到安装完毕2.2.7 运行运行DS Storage Manager 10 Client2.2.8 添加需要管理的存储首次登陆选择添加方法为手工配置也可以右键单击本机名，选择add storage subsystem,添加需要管理的存储：输入需要管理的阵列的IP，点add提示添加成功，是否添加其他存储，选择NO2.2.9 管理界面管理界面如下2.3 3.2 DS5020RAID配置硬盘：6*300GB FCRAID信息：第1块300GB做热备盘，其他5*300GB做RAID 5。2.3.1 创建Array在存储上点击右键，创建Array系统提示可用空间，选择下一步输入Array名，选择手工选择驱动选择RAID5，将除了第一块盘之外的盘全部选择到右边的区域，第一块盘做热备盘。点击【计算容量】，然后点击【完成】。系统提示创建成功。2.3.2 配置热备盘在第一块盘上右击设置为热备盘选择手工配置，然后选择确定。设置完成后第一块盘上出现红十字符号，成为热备盘，如下图。2.3.3 创建LUNLUN: 共划分为4个LUNLUN0：LUNname:appht，容量：350GBLUN1：LUNname:appmz，容量：350GBLUN2：LUNname:db，容量：350GBLUN3：LUNname:heartdisk， 容量：5GB在RAID5的空闲空间上点击右键，选择创建LUN输入LUN的大小和名称选择操作系统，点击完成。完成第一个LUNappht的创建。所有lun创建之后如下图，估计用时约两个小时左右，耐心等待创建完成。2.4 DS5020 mapping信息2.4.1 创建主机组在默认组上右击，选择【定义】-【主机组】输入主机组名称trade，点击确定，创建完成。2.4.2 创建主机在上步创建的host group上右击，定义host主机输入主机名名称(自定义的，可以和实际的主机名不同)将server2对应的网卡和别名加入到host中选择操作系统类型创建总结确认，没有问题点击完成。同理，创建主机server1，加入server1的对应光纤网卡。添加完成后如下图所示。注意：Server1和server2没有先后顺序限制，本例中先配置server2后配置server1是为了便于截图。2.4.3 修改映射点击到存储上，在LUN上点击右键，修改映射选择映射到主机组trade上。该处设置时，LUN需要哪台主机使用就选择那台主机，本例中选择host group trade，则该组内的主机server1、server2都可以使用。确认映射所有映射配置完成后如下:2.4.4 改变LUN的slot也可以改变LUN的slot，默认情况下存储会做负载均衡，如本例中4个LUN，分布在两个slot上，每个slot上两个LUN2.4.5 存储识别在主机上用root登陆，输入cfgmgr v命令识别存储，然后用lspv命令来查看pv，结果如下，没有盘符的hdisk2-5为存储上的pv。可以使用mpio_get_config Av查看对应的LUN编号和LUN名称。3 B24交换机配置3.1 B24访问方式无论是下面哪一种登陆方式，交换机默认的管理员用户名和密码如下：User:adminPassword:password1，串口方式登陆：选用随机带的串口线连接笔记本与交换机的console口，打开超级终端，选用如下的参数连接： 2，telnet方式登陆：交换机默认IP:7,在cmd命令行下输入telnet 7即可连接交换机3，WEB方式登陆：在浏览器中输入：7即可以图形界面登录交换机管理界面3.2 web界面配置3.2.1 登陆3.2.1 建立zone1在Zone Admin菜单上单击在Zond Administrator界面，选择Zone标签，点击New Zone菜单，新建zone13.2.2 新建zone2同理新建zone23.2.3 分配端口将1.0-1.3的端口分配给zone1点击Save Config菜单保存配置。同理将1,4;1,5;1,6;1,7端口添加给zone 新建zone ha1将zone1、zone2分配给ha1，保存配置3.2.5 激活配置3.2.6 端口配置修改可以在Port Administrator中选择需要更改的端口，点击【Edit Configuration】菜单。弹出配置界面，选择允许的接口类型设定传输速率、速度限制和传输距离模式，本例中默认。注意此处配置的传输速率不能大于光纤接口支持的速率，否则光纤无法连通。确认配置3.3 B24命令方式配置过程#createzone “zone01”,”1,0;1,1;1,2;1,3”#createzone “zone02”,”1,4;1,5;1,6;1,7”#cfgcreate “ha01”,”zone01;zone02”#cfgsave#cfgenable3.4 B24配置结果4 AIX操作系统安装4.1 操作系统安装在一台机上安装操作系统然后进行克隆1) 插上电源线，系统进入启动前自检，等绿灯开始闪烁，可以按电源按钮，开机。 将系统盘#1 放入光驱，等待（时间较长，可以观察电源绿色按钮旁的小光屏，如有数字一 直跳动，说明正在启动）。2) 在开机界面按5，然后进入以下界面 按2 ，进入下图 输入密码：admin，回车，等待几分钟，进入下图选择F1，设置当前终端为系统中断，回车进入下图选择1，设置英语为安装显示语言，回车进入下图选择2，回车，进入下步 选择1，系统设置，然后回车进入下图 输入1，选择全新安装 选择1，更改安装盘为hdisk0，然后回车 回车，系统安装开始。安装结束，系统自动重启，进入如下界面点击 Accept，进入下一步点击 Next，进入下一步选择Exit the configuration Assistant，点击finish结束设置，在跳出的界面中选择系统启动时不需要每次都启动configuration Assistant，输入用户名：root，密码为空，进入系统。4.2 克隆1、 插入装机目标盘2、 Cfgmgr v 扫描目标盘结果如下：hdisk0 00f72865eedac83b rootvg activehdisk1 00f7285b29488fdahdisk1就是要克隆的目标盘2、alt_disk_install -CBO hdisk1 -目标盘3、alt_disk_install -X -清空备用磁盘卷组4、rmdev -dl hdisk1 -删除装机目标盘克隆后目标机器需要连接显示器进入SMS设置启动盘。5 ESDS S12F-R1440配置5.1 连接磁盘阵列通过网线或者交换机连接磁盘阵列，在客户机上输入磁盘阵列的ip地址01，进入盘阵的设置界面，User Name选择Configuration，输入密码，然后LOGIN。5.2 添加LV在【Logic Volume】-【Create Logic Volume】中添加LV，添加后如图所示。5.3 划分LUN划分为3个LUN，划分后如下图所示5.4 LUN映射在上图中将分区和Channel、SCSI ID、LUN No进行映射，确保每个分区在每个Channel、SCSI ID和LUN No上都有映射，在部分Channel和SCSI ID出现问题的情况下，磁盘阵列与交换机的连通。映射后结果见下图：6 POWER720上powerHA配置6.1 安装操作系统与补丁1，POWER720安装AIX 06-05-06版本的操作系统2，使用以下命令检查：lslpp -l bos.data bos.adt.lib bos.adt.libm bos.adt.syscalls .tcp.client .tcp.server bos.rte.SRC bos.rte.libc bos.rte.libcfg bos.rte.libcur bos.rte.libpthreads bos.rte.odm bos.rte.lvm bos.clvm.enh .nfs.server .nfs.client pat.basic.hacmp pat.clients.hacmp rsct.basic.rte如果缺少补丁请插入安装盘安装相应的补丁，然后再进行检查。6.2 网络配置6.2.1 配置主机名在trade1上执行hostname trade1在trade2上执行hostname trade26.2.2 配置IP地址#Smitty tcpip按照下列表格给两台POWER720配置IP地址：命令：#smitty mktcpip主机网卡IPtrade1Ent01trade1Ent11trade2Ent02trade2Ent12注意:配置ip的时候千万不要配置网关,否则通讯会有问题导致HACMP配置失败.6.2.3 修改/etc/hosts#vi /etc/hosts按下面所示修改两台POWER720的hosts文件:#trade11 trade1_boot1 trade11 trade1_boot1 trade1_per#trade22 trade2_boot1 trade22 trade2_boot2 trade2_per#service_ip0 trade3 db26.3 磁盘配置6.3.1 建立和扩大文件系统TRADE1上运行如下命令：chfs -a size=5G /chfs -a size=10G /usrchfs -a size=5G /varchfs -a size=5G /tmpchfs -a size=10G /homechfs -a size=5G /optTRADE2上同样操作6.3.2 共享存储上LUN的识别分别在两台POWER720上运行：#cfgmgr -v3个LUN被POWER720识别成hdisk2,hdisk3,hdisk4查看被识别出的hdisk是否有盘符，如果没有使用以下命令为hdisk2-4分配pvid：chdev l hdisk2 a pv=yeschdev l hdisk3 a pv=yeschdev l hdisk4 a pv=yes然后使用lspv命令检查两台机共享磁盘hdisk2-4的pvid号是否一致.如果不一致，使用以下命令处理：删除pvid：chdev l hdisk2 a pv=clearchdev l hdisk3 a pv=clearchdev l hdisk4 a pv=clear删除设备：rmdev d hdisk2rmdev d hdisk3rmdev d hdisk4重新扫描设备：cfgmgr v 重新分配pvid：chdev l hdisk2 a pv=yeschdev l hdisk3 a pv=yeschdev l hdisk4 a pv=yes6.3.3 建立共享卷组TRADE1上运行：Smitty mkvg,分别建立db2vg、tradevg、hbvg三个卷组，开机是否自动启动卷组设置为no，心跳卷组hbvg设置为并发卷组。注意：心跳卷组hbvg需要设置为并发卷组。建立卷组后使用lspv查看卷组状态如下：6.3.1 TRADE1上导出共享卷组Trade1上运行：#varyoffvg db2vg#varyoffvg tradevg#varyoffvg hbvg#lspv 卷组状态如下：Trade1上运行：#exportvg db2vg#exportvg tradevg#exportvg hbvg 可以通过lspv命令查看卷组状态，此时hdisk2-4没有对应的卷组：6.3.2 TRADE2上导入共享卷组trade2上运行：通过lspv查看物理卷状态，hdisk2-4没有对应的卷组：#importvg y db2vg hdisk2#importvg y tradevg hdisk3#importvg y hbvg hdisk4通过lspv查看物理卷状态，hdisk2-4显示对应的卷组，hdisk2-3处于激活状态：6.3.3 更改hbvg的并发属性 Trade2上执行： 先激活卷组：varyonvg hbvg更改属性：Smitty chvg,选择hbvg，更改并发属性为允许并发。6.3.4 创建文件系统在trade1和trade2上分别建立/trade和/db2data目录cd /mkdir /trademkdir /db2dataTRADE2上建立文件系统：#crfs -v jfs2 -g db2vg -m /db2data -A no -a size=730G#crfs -v jfs2 -g tradevg -m /trade -A no -a size=75G#Mount /trade#Mount /db2data#unmount /trade#unmount /db2data#varyoffvg db2vg#varyoffvg tradevg#varyoffvg hbvg#exportvg db2vg# exportvg tradevg# exportvg hbvg6.3.5 TRADE1上共享卷组导入Trade1上运行：#importvg y db2vg hdisk2#importvg y tradevg hdisk3#importvg y hbvg hdisk4可以通过下面命令查看结果：#lspv6.3.6 更改hbvg的并发属性 先激活卷组：varyonvg hbvg更改属性：Smitty chvg,选择hbvg，更改并发属性为允许并发。6.3.7 停用卷组在两台机上运行：#varyoffvg db2vg#varyoffvg tradevg#varyoffvg hbvg6.4 配置起停脚本本步骤操作在两台机上都要进行。6.4.1 上传起停脚本将脚本上传到/script文件夹。6.4.1 更改权限授予属主脚本的执行权限：cd /scriptscd db2chmod u+x *cd .cd tradechmod u+x *同理在trade2上操作。6.5 安装powerHA软件（以下过程只介绍TRADE1上安装，TRADE2上安装一样）1， 将powerHA6.1的光盘，并输入：#smitty install2,选择第一项Install SoftwareInput device选择/dev/cd0Software to install默认选择全部Accept new license agreements选择yes回车等待powerHA安装完毕2， 第二台POWER720安装方法一样6.6 powerHA配置HACMP配置成IP别名替换模式，定义两个应用服务器： db2_app、trade_app，三个资源组：db2_rg、trade_rg、hb_rg，两个服务IP，三个共享卷组6.6.1 配置前的网络测试1，TRADE2上做如下测试，确认网络通畅#ping trade1_boot1#ping trade1_boot2#ping TRADE12，trade1上做如下测试，确认网络通畅#ping trade2_boot1#ping trade2_boot2#ping trade26.6.2 定义集群与节点 定义集群# smitty hacmp Extended Configuration Extended Topology Configuration C onfigure anHACMP Cluster Add/Change/Show an HACMP Cluster * Cluster Name trade_cluster 定义节点# smitty hacmp Extended Configuration Extended Topology Configuration Configure HACMP Nodes Add a Node to the HACMP Cluste *NodeName trade1_node同样的方法加入节点TRADE26.6.3 创建通讯网络# smitty hacmp Extended Configuration Extended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP cluster 选择ETHERNET，添加IP网络（该信息都是自动获取无需修改任何参数设置）。然后两次回车命令执行完成。6.6.4 创建磁盘心跳网络 # smitty hacmp Extended Configuration Extended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP cluster 选择diskhb，添加IP网络（该信息都是自动获取无需修改任何参数设置）。然后两次回车命令执行完成。6.6.5 搜集通讯接口信息# smitty hacmp Extended Configuration Extended Topology Configuration Discover HACMP-related Information from Configured Nodes然后回车完成。6.6.6 创建通讯接口# smitty hacmp Extended Configuration Extended Topology ConfigurationConfigure HACMP Communication interfaces/Devices(HACMP通信接口或串口设备配置)Add Communication interfaces/Devices Add Pre-defined Communication Interfaces and Devices Communication Interfaces选择上步中定义的通讯网络net_ether_01 先创建trade1_boot1网络接口，IP Label/Adress 选择trade1_boot1，node_name选择trade1_node，如下图.然后创建trade1_boot2网络接口，IP Label/Adress 选择trade1_boot2，node_name选择trade1_node.同理创建trade2上的网络接口，如下图。总结：该步骤共创建4个通讯接口，每台机两个。6.6.7 创建磁盘通信设备# smitty hacmp Extended Configuration Extended Topology ConfigurationConfigure HACMP Communication interfaces/Devices(HACMP通信接口或串口设备配置)Add Communication interfaces/Devices Add Pre-defined Communication Interfaces and Devices Communication Devices选择上步中定义的通讯网络net_diskhb_01Device Name输入trade1_hb(自定义)，Device Path输入/dev/hdisk4，Node_name选择trade1_node. 然后创建trade2_hb磁盘网络接口做磁盘心跳的磁盘将VG创建为Concurrent模式。6.6.8 创建应用服务器1，# smitty hacmp Extended Configuration Extended Resource Configuration HACMP Extended Resources Configuration Configure HACMP Applications Servers Configure HACMP Application Servers Add an Application Server2，按如下内容输入： * Server Name db2_app * Start Script /script/db2/start.sh* Stop Script /script/db2/stop.sh 3，建立启动和停止脚本，此项操作由数据库工程师完成同理创建trade_app服务* Server Name trade_app * Start Script /script/trade/start.sh* Stop Script /script/trade/stop.sh6.6.9 创建service IP1，# smitty hacmp Extended Configuration Extended Resource Configuration HACMP Extended Resources Configuration Configure HACMP Service IP Labels/Addresses Add a Service IP Label/Address Concifurable on Multiple Nodes2，IP地址选择trade，网络名选择已经存在的net_ether_01 * IP Label/Address trade Netmask(IPv4)/Prefix Length(IPv6) * Network Name net_ether_01 Alternate HW Address to accompany IP Label/Address 3，确认等待执行完成同理创建db2的service IP* IP Label/Address db2 Netmask(IPv4)/Prefix Length(IPv6) * Network Name net_ether_01 Alternate HW Address to accompany IP Label/Address 6.6.10 配置永久IP# smitty hacmp Extended Configuration Extended Topology Configuration Configure HACMP Persistent Node IP Label/Addresses Add a Persistent Node IP Label/Address选择trade1_node配置永久IP,选择trade1_per.同理配置trade2的永久IP。6.6.11 创