AIX6.1 + HACMP 5.5 + ORACLE 10.2主备环境搭建.docxVIP

AIX6.1 + HACMP 5.5 + ORACLE 10.2主备环境搭建目 录一、测试环境摘要4二、规划42.1 存储规划42.2 主机规划52.3 数据库规划52.4 IP地址规划62.5 测试环境拓扑图6三、前期准备工作（调整AIX系统参数等）73.1安装系统包、打补丁73.2编辑/etc/hosts 文件83.3增加root的/.profile 文件93.4调整AIX文件系统大小93.5调整Page Size（Swap）大小103.6调整系统配置参数103.6.1修改每用户的最大进程数103.6.2 /etc/security/limits 参数103.7创建串口设备113.8创建磁盘心跳卷123.9创建数据卷133.10创建rootvg镜像（为了系统安全，建议配置）143.11配置NTP服务（非强制要求，建议配置）143.12转换 AIX 64bit内核（视情况而定）14四、安装配置HACMP154.1安装HACMP154.2修改syncd 刷新频率154.3修改/etc/hosts164.4修改/.rhosts164.5修改/usr/es/sbin/cluster/etc/rhosts174.6修改/usr/es/sbin/cluster/etc/clhosts.client174.7配置HACMP（以下操作只需在一个节点上操作即可）184.7.1配置网络拓朴184.7.2配置HACMP资源234.7.3校验并同步HACMP配置274.8启动/停止HACMP284.8.1启动HACMP（快速路径：# smitty clstart）284.8.2停止HACMP（快速路径：# smitty clstop）28五、安装Oracle RAC前期准备工作295.1创建用户组295.2创建用户295.3修改oracle的profile 文件295.4修改.dtprofile文件305.5上传安装包并更改用户组305.6设置display31六、正式安装Oracle316.1安装Oracle Software316.1.1执行 rootpre.sh（root用户登录）316.1.2安装Oracle软件（oracle用户登录）326.2配置监听386.3创建数据库436.4查看、启/停CRS55七、可能遇到的问题56说明：本文档中安装部署部分所提到的步骤都在测试环境中通过，安装步骤是基于 AIX环境（包含截图）。可以作为安装部署参考手册。但因环境不同而无法保证在其他环境中准确无误（配置请按照特定环境自行修改）。蓝色粗体 命令行或需要修改之处绿色粗体 脚本或需要查看结果橙色粗体 表示变量（可更改）红色粗体 需注意之处# root用户下执行$ oracle 用户下执行注：未特别说明之处均需要在两个节点配置（例如调整参数、创建用户等）。一、测试环境摘要硬件环境：1台IB P560 和1台IB P550服务器；1台IBM N6060光纤存储连接方式：光纤交换机操作系统版本：6100-06Oracle数据库版本：二、规划2.1 存储规划名称大小说明heartvg1GB心跳磁盘datavg1024GB共享数据磁盘2.2 主机规划项目说明主机名p560p550OS版本AIX 6100-06AIX 6100-06HACMP版本HACMP 5.5.1HACMP 5.5.1共享VGadatavgdatavg磁盘心跳heartvgheartvg串口心跳tty1tty1网卡en0: en0: en2：en2: 2.3 数据库规划项目说明Oracle 版本.0运行模式主备归档模式归档实例名orcl存储方式JFS2文件系统ORACLE_BASE/oracleORACLE_HOME$ORACLE_BASE/product/10.2.0字符集ZHS16GBK国家字符集Simplified Chinese_china2.4 IP地址规划IP地址解析名称说明p560_boot1 p560第一个节点主启动IPp560_boot2 p560第一个节点备启动IP0p560_per p560第一个节点永久管理IPp550_boot1 p550 第二个节点主启动IPp550_boot2 p550第二个节点备启动IP1p550_per p550第一个节点永久管理IP2ora_svrOracle双机服务虚拟IP2.5 测试环境拓扑图三、前期准备工作（调整AIX系统参数等）3.1安装系统包、打补丁# smitty installInstall and Update SoftwareInstall Software* INPUT device / directory for software /dev/cd0先打三个bundle（CDE、APP_DEV、SERVER），选择以下系统包是否安装完全：lslpp -l bos.adt.lib lslpp -l bos.adt.libmlslpp -l bos.adt.syscallslslpp -l .tcp.clientlslpp -l .tcp.serverlslpp -l bos.rte.SRClslpp -l bos.rte.libclslpp -l bos.rte.libcfglslpp -l bos.rte.libcurlslpp -l bos.rte.libpthreadslslpp -l bos.rte.odmlslpp -l bos.data *lslpp -l bos.rte.lvmlslpp -l bos.clvm *lslpp -l rsct.core.seclslpp -l rsct.basic.hacmplslpp -l rsct.basic.rtelslpp -l pat.basic.hacmplslpp -l pat.clients.hacmplslpp -l rsct.opt.storagerm lslpp -l rsct.opt.fence.bladelslpp -l rsct.opt.fence.hmc lslpp -l rsct.opt.saf.amf lslpp -l bos.adt.baselslpp -l bos.adt.liblslpp -l bos.adt.libmlslpp -l f lslpp -l bos.cifs_fs.rte *lslpp -l bos.perf.libperfstatlslpp -l bos.perf.perfstatlslpp -l ctools lslpp -l xlC.aix61.rtelslpp -l xlC.rte注：*为三个bundle打好后，还需要打的补丁，可以验证下，系统补丁根据实际情况决定3.2编辑/etc/hosts 文件p560、p550两台小型机的/etc/hosts内容如下： p560_boot1 p560 p560_boot2 p5600 p560_per p560 p550_boot1 p550 p550_boot2 p550 1 p550_per p550 2 ora_svr3.3增加root的/.profile 文件# vi .profile加入以下内容（紫色粗体部分）：umask 022PS1=whoamihostname:$PWD#export PS1#export LANG=zh_CN.IBM-eucCN3.4调整AIX文件系统大小使用 smitty chfs 命令进行修改，也可用命令chfs a size=20G /usr（大小标准根据实际情况决定），测试环境修改完成后如下, p560 / p550：rootp560:/#df -gFilesystem GB blocks Free %Used Iused %Iused Mounted on/dev/hd4 8.00 7.82 3% 10454 1% /dev/hd2 20.00 17.40 13% 57464 2% /usr/dev/hd9var 4.00 3.64 10% 8285 1% /var/dev/hd3 10.00 9.23 8% 949 1% /tmp/dev/fwdump 2.00 2.00 1% 5 1% /var/adm/ras/platform/dev/hd1 4.00 4.00 1% 12 1% /home/dev/hd11admin 2.00 2.00 1% 5 1% /admin/proc - - - - - /proc/dev/hd10opt 2.00 1.70 15% 10339 3% /opt/dev/livedump 2.00 2.00 1% 4 1% /var/adm/ras/livedump/dev/oralv 30.00 25.78 15% 18423 1% /oracle 3.5调整Page Size（Swap）大小# smitty System Storage Management (Physical & Logical Storage)logical volume managerpaging sizeChange / Show Characteristics of a Paging Space强烈建议为内存大小一样大，否则可能会引起宕机，测试环境修改完后如下：#lsps -aPage Space Physical Volume Volume Group Size %Used Active Auto Typehd6 hdisk0 rootvg 32768MB 1 yes yes lv3.6调整系统配置参数3.6.1修改每用户的最大进程数# smitty chgsysMaximum number of PROCESSES allowed per user 4096 +HIGH water mark for pending write I/Os per file 33 +LOW water mark for pending write I/Os per file 24 +Stack Execution Disable (SED) Mode off3.6.2 /etc/security/limits 参数 使用 vi 编辑器修改/etc/security/limitsdefault: fsize = -1 core = 2097151 cpu = -1 data = -1 rss = 65536 stack = -1 nofiles = 2000root: fsize = -1 data = -1oracle: fsize = -1 data = -1 这些文件是用来对文件系统大小限制等，如果改成-1 就是取消限制。3.7创建串口设备# smitty mkttyAdd a TTYtty rs232 Asynchronous Terminalsa2 Available 01-S3 Standard I/O Serial Port* PORT number 0 + BAUD rate 9600 +测试两个节点的tty0的通信p560输入内容：# cat /etc/hosts /dev/tty1p550输入内容：# cat /dev/tty1如果有hosts文件内容输出说明那个串口通讯正常。3.8创建磁盘心跳卷p560 操作：# smitty mkvgAdd an Original Volume GroupVOLUME GROUP name heartvgPhysical partition SIZE in megabytes* PHYSICAL VOLUME names hdisk3 + FORCE the creation of volume group? no + Activate volume group AUTOMATICALLY no + at system restart? Volume group MAJOR NUMBER 50 Create VG Concurrent Capable? enhanced concurrent +p550 操作：# smitty importvgVOLUME GROUP name heartvg* PHYSICAL VOLUME name hdisk3 +Volume group MAJOR NUMBER 50注：此VG无需varyon，直接可在p550输入命令导入#importvg -V 50 -cy heartvg hdisk3验证磁盘心跳在P560节点上执行#/usr/sbin/rsct/bin/dhb_read -p hdisk3 r在P550节点上执行#/usr/sbin/rsct/bin/dhb_read -p hdisk3 -t尾行返回 Link Operation normally 为正常3.9创建数据卷p560 操作：# smitty mkvgAdd a Big Volume GroupVOLUME GROUP name datavg +Physical partition SIZE in megabytes 1024* PHYSICAL VOLUME names hdisk2 +Force the creation of a volume group yes + Activate volume group AUTOMATICALLY no + at system restart? Volume Group MAJOR NUMBER 51Create VG Concurrent Capable? no +在p560先输入命令#varyoffvg datavg然后在p550导入#importvg -V 51 -y datavg hdisk2 或p550 如下操作：# smitty importvgVOLUME GROUP name datatvg* PHYSICAL VOLUME name hdisk3 +Volume group MAJOR NUMBER 513.10创建rootvg镜像（为了系统安全，建议配置）1、添加新硬盘到PV号# chdev -l hdisk1 -a pv=yes2、添加新硬盘到 rootvg # extendvg rootvg hdisk13、镜像 rootvg # mirrorvg -c 2 rootvg hdisk14、重新生成 boot image # bosboot -ad hdisk05、更新bootlist # bootlist -m normal hdisk0 hdisk1 cd06、查看bootlist # bootlist -m normal -o7、重起系统 # shutdown Fr3.11配置NTP服务（非强制要求，建议配置）由于数据库服务器大多数都不会和公网相连，所以建议先建立 NTP 服务器，或者让两台服务器互相做 NTP服务器和客户端。3.12转换 AIX 64bit内核（视情况而定）Oracle 10.2 on AIX 5L V5.3 需要64-bit 内核，如果AIX是 64bit 那就 OK，如果是 32bit，需要转换 32bit 内核为64bit 的内核。1、使用 bootinfo K 查看内核是否是 64bit# bootinfo y642、如果是 32bit，需使用如下方法转换到64bit# ln -sf /usr/lib/boot/unix_64 /unix# ln -sf /usr/lib/boot/unix_64 /usr/lib/boot/unix# bosboot -ad /dev/ipldevice# shutdown Fr四、安装配置HACMP4.1安装HACMP# smitty installInstall and Update SoftwareInstall Software* INPUT device / directory for software /dev/cd0放入HACMP光盘或指定安装路径，安装HACMP软件以下两个包不装，其他都装cluster.hativolicluster.haview4.2修改syncd 刷新频率# smitty hacmpExtended ConfigurationExtended Performance Tuning Parameters ConfigurationChange/Show syncd frequencysyncd frequency (in seconds) 104.3修改/etc/hosts将所有IP添加到此文件：#vi /etc/rhosts p560_boot1 p560 p560_boot2 p560 0 p560_per p560 p550_boot1 p550 p550_boot2 p550 1 p550_per p550 2 ora_svr4.4修改/.rhosts将所有IP添加到此文件：#vi /usr/es/sbin/cluster/etc/rhostsp560p560_boot1 p560_boot2 p560_perp550 p550_boot1 p550_boot2 p550_per ora_svr4.5修改/usr/es/sbin/cluster/etc/rhosts将所有IP添加到此文件：p560p560_boot1 p560_boot2 p560_perp550 p550_boot1 p550_boot2 p550_per ora_svr4.6修改/usr/es/sbin/cluster/etc/clhosts.client （该修改HACMP同步时可选择自动修复）2 #ora_svr #p550_boot #p550_boot11 #p550_per #p560_boot #p560_boot20 #p560_per4.7配置HACMP（以下操作只需在一个节点上操作即可）4.7.1配置网络拓朴配置Cluster Name# smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure an HACMP ClusterAdd/Change/Show an HACMP Cluster*Cluster Name hacmp配置Cluster节点# smitty hacmpExtended Configuration Extended Topology Configuration Configure HACMP Nodes Add a Node to the HACMP Cluste *NodeName p560 Communication Path to Node p560_boot1 +同样方法将p550添加到Cluster中 *NodeName p550 Communication Path to Node p550_boot1 +退回上一层菜单做下 Discover HACMP-related information from configured nodes 收集信息配置HACMP网络1、创建IP网络# smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP Cluster ether* NetworkName net_ether_01* NetworkType ether* Netmask +* Enable IP Address Takeover via IP Aliases Yes +IP Address Offset for Heartbeating over IP Aliases 2、创建串口心跳网络# smitty hacmp Extended ConfigurationExtended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP Clusterrs232* NetworkName net_rs232_01* Network Type rs2323、创建磁盘心跳网络# smitty hacmp Extended ConfigurationExtended Topology ConfigurationConfigure HACMP NetworksAdd a Network to the HACMP Clusterdiskhb* Network Name net_diskhb_01* Network Type diskhb添加网络到Cluster1、创建IP通信接口# smitty hacmp Extended Configuration Extended Topology Configuration Configure HACMP Communication Interfaces/Devices Add Communication Interfaces/Device Add Pre-defined Communication Interfaces and Devices Communication Interfaces * IP Label/Address p560_boot1 + * Network Type ether * Network Name net_ether_01 * Node Name p560 + Network Interface 同样方法添加p550通信接口到“net_ether_01” * IP Label/Address p550_boot1 + * Network Type ether * Network Name net_ether_01 * Node Name p550 + Network Interface 同样方法将p560_boot2、p550_boot2通信接口添加到“net_ether_01” * IP Label/Address p560_boot2 + * Network Type ether * Network Name net_ether_01 * Node Name p560 + Network Interface * IP Label/Address p550_boot2 + * Network Type ether * Network Name net_ether_01 * Node Name p550 + Network Interface 2、创建串口通信设备# smitty hacmp Extended Configuration Extended Topology Configuration Configure HACMP Communication Interfaces/Devices Add Communication Interfaces/Device Add Pre-defined Communication Interfaces and Devices Communication Devices * Device Name p560-rs232 * Network Type rs232 * Network Name net_rs232_01 * Device Path /dev/tty1 * Node Name p560 +同样方法创建p550串口通信设备 * Device Name p550-rs232 * Network Type rs232 * Network Name net_rs232_01 * Device Path /dev/tty1 * Node Name p550 +3、创建磁盘通信设备# smitty hacmp Extended Configuration Extended Topology Configuration Configure HACMP Communication Interfaces/Devices Add Communication Interfaces/Device Add Pre-defined Communication Interfaces and Devices Communication Devices* Device Name p560-heartvg* Network Type diskhb * Network Name net_diskhb_01* Device Path /dev/hdisk3* Node Name p560 +同样方法创建p550磁盘通信设备* Device Name p550-heartvg* Network Type diskhb * Network Name net_diskhb_01* Device Path /dev/hdisk3* Node Name p550 +4、创建永久管理IP# smitty hacmp Extended Configuration Extended Topology Configuration Configure HACMP Persistent Node IP Label/Addresses Add a Persistent Node IP Label/Address * Node Name p560 * Network Name net_ether_01 Node IP Label/Address p560_per同样方法创建p550永久管理IP* Node Name p550* Network Namenet_ether_01* Node IP Label/Addressp550_per4.7.2配置HACMP资源配置资源（创建Service IP）# smitty hacmp Extended Configuration Extended Resource Configuration HACMP Extended Resources Configuration Configure HACMP Service IP Labels/Addresses Add a Service IP Label/Address Configurable on Multiple Nodes * IP Label/Address ora_svr + * Network Name net_ether_0配置应用组# smitty hacmp Extended Configuration Extended Resource Configuration HACMP Extended Resources Configuration Configure HACMP Applications Servers Configure HACMP Applications Servers Add an Application Server 创建应用脚本启停组 * Server Name oraapp * Start Script /hascript/oracle_start* Stop Script /hascript/oracle_stop需要手动在两个节点上建立“/hascript/oracle_start”、“/hascript/oracle_stop”并保证其有执行权限。如果是双机互备的话需要建立两个应用Server方法相同。/hascript/oracle_start加入以下内容（紫色粗体部分）：=echo hostname:The ORACLE Server is starting,Please Waiting.su - oracle -c sqlplus /nolog EOFconnect / as sysdbastartupquitEOFsleep 5su - oracle -c lsnrctl startecho hostname:The ORACLE Server is started.exit=/hascript/oracle_stop加入以下内容（紫色粗体部分）：=echo hostname:The ORACLE Server is stopping,Please Waiting.su - oracle -c sqlplus /nolog EOFconnect / as sysdbashutdown immediatequitEOFsleep 5su - oracle -c lsnrctl stopecho hostname:The ORACLE Server is stoped.exit=配置资源组1、创建资源组# smitty hacmp Extended Configuration Extended Resource ConfigurationHACMP Extended Resource Group Configuration Add a Resource Group 创建主备资源组： * Resource Group Name oraRG Participating Nodes (Default Node Priority) p560 p550+ Startup Policy Online On Home Node Only Fallover Policy Fallover To Next Priority Node In The List Fallback Policy Never Fallback如果是双机互备的话以同样方法建立另一个资源组 * Resource Group Name webRG Participating Nodes (Default Node Priority) p550 p560+ Startup Policy Online On Home Node Only Fallover Policy Fallover To Next Priority No