思科UCS ORACLE数据库高可用部署手册

1、 CISCO UCS ORACLE HA部署参考手册RHEL5 CLUSTER目录 TOC o 1-3 h z u HYPERLINK l _Toc490141776 1参考拓扑 PAGEREF _Toc490141776 h 3 HYPERLINK l _Toc490141777 2说明及注意事项 PAGEREF _Toc490141777 h 3 HYPERLINK l _Toc490141778 3前期准备 PAGEREF _Toc490141778 h 3 HYPERLINK l _Toc490141779 4CLUSTER安装配置步骤 PAGEREF _Toc490141779 h

2、4 HYPERLINK l _Toc490141780 4.2CLUSTER套件安装升级 PAGEREF _Toc490141780 h 5 HYPERLINK l _Toc490141781 4.2.1CLUSTER套件安装 PAGEREF _Toc490141781 h 5 HYPERLINK l _Toc490141782 4.3CLUSTER配置调测 PAGEREF _Toc490141782 h 6 HYPERLINK l _Toc490141783 4.3.1CLUSTER基本配置 PAGEREF _Toc490141783 h 6 HYPERLINK l _Toc49014178

3、4 4.3.2添加SUBORG属性 PAGEREF _Toc490141784 h 10 HYPERLINK l _Toc490141785 4.3.3ORACLE控制脚本 PAGEREF _Toc490141785 h 11 HYPERLINK l _Toc490141786 4.3.4CLUSTER测试 PAGEREF _Toc490141786 h 14 HYPERLINK l _Toc490141787 4.3.5上层交换机组播配置 PAGEREF _Toc490141787 h 16 HYPERLINK l _Toc490141788 Appendix A FENCING命令测试 P

4、AGEREF _Toc490141788 h 17 HYPERLINK l _Toc490141789 Appendix B UCSM管理项变更 PAGEREF _Toc490141789 h 18参考拓扑说明及注意事项REDHAT5.8以下操作系统不支持UCS FENCING，需要升级CLUSTER到5.8版本套件FI6120上联交换机CISCO4948需要开启组播支持，否则CLUSTER心跳无法工作Selinux需要disableItables需要disable本文仅介绍CLUSTER在UCS上的安装配置过程，ORACLE和操作系统安装部分不做介绍，以下以REDHAT5.6配置过程为例.前

5、期准备完成UCSM基本配置完成基本操作系统安装配置，以下是配置数据HOSTNAMEIP ADDRESSOS VERSIONUCS:Service ProfileUCS:Sub organizationEth0: 07REDHAT5.6Gzgd-db1Gzgd-dhcpEth1: Eth0: 08REDHAT5.6Gzdb-db2Gzgd-dhcpEth1: 完成数据库安装，并保证两台主机已同步CLUSTER安装配置步骤CLUSTER套件安装升级安装操作系统的时候，如果有可用KEY，输入KEY后，CLUSTER套件可以做为1个组件被选择安装，如果没有KEY，则必须事后安装CLUSTER套件。CL

6、USTER套件安装建立本地YUM仓库（2台主机操作）建立本地YUM仓库的目的是为了避免单个RPM安装，因为单独安装RPM的过程中会遇到RPM包的依赖关系，通过YUM工具可以轻松的避免这个问题，它会自动检索并安装依赖RPM. 第一步：加载REDHAT5.8 DVD光盘 # mount /dev/cdrom /media 或mount iso文件 # mount -o loop -t iso9660 yourisofile.iso /media 第二步：配置YUM本地仓库 Servername=REHEL SERVER1baseurl=file:/media/Server/ #rpm所在路径ena

7、bled=1gpgcheck=0 Clustername=REHEL SERVER2baseurl=file:/media/Cluster/ #rpm所在路径enabled=1gpgcheck=0ClusterStoragename=REHEL SERVER3baseurl=file:/media/ClusterStorage/ #rpm所在路径enabled=1gpgcheck=0YUM安装CLUSTER（2台主机操作） 第一步：安装CLUSTER套件# yum install cman# yum install Clustering# yum install Cluster Storage

8、或升级套件# yum update cman# yum groupupdate Clustering# yum groupupdate Cluster Storage 第二步：配置CLUSTER自启动# chkconfig cman on# chkconfig rgmanager onCLUSTER配置调测CLUSTER基本配置安装LUCI和RICCI服务(2台主机操作)# yum install luci# yum install ricci# luci_admin init 初始化luci密码和数据库# passwd ricci 初始化ricci密码# service luci start

9、# service ricci startWEB配置CLUSTER（1台主机操作）第一步：登陆LUCI ，配置一个新的CLUSTER（不要使用system-config-cluster） HYPERLINK https:/luci-ip:8084/ https:/luci-ip:8084/ 使用luci初始化用户名密码登陆，选择cluster，创建1个新的cluster，如下图：第二步：在CLUSTER上配置FAILOVER域 第三步：配置FENC设备，选择Cisco UCS类型 具体配置信息如下： 说明：IP Address 是ucsm web管理IP Login和password 是ucs

10、m web 登陆用户名密码 Port 对应service profile,参照前面profile配置截图 注意：这里面缺失suborg资源名称，事后需要手工编辑cluster.xml第四步 添加资源增加IP和ORACLE启动脚本资源（脚本控制LVM及数据库） 说明：CLUSTER本身包含LVM和FS资源，所以也可以添加LVM和FS资源，完全由CLUSTER控制，简化ORACLE启动脚本.第五步 添加服务 将服务和资源关联，完成CLUSTER ORACLE资源组配置，如下图，选择配置好的IP和SCRIPTS资源添加进ORA服务.第六步：保存CLUSTER配置 添加SUBORG属性 对于REDHA

11、T5.8以下版本，LUCI配置页面没有SUBORG配置选项，所以，WEB配置完成后需要手工编辑cluster.conf文件，添加红色部分，对应UCSM中的“sub organization”的组织名gzgd-dhcp，前面一定要添加”org-“：ORACLE控制脚本#!/bin/sh. /etc/rc.d/init.d/functionsORACLE_BASE=/home/oracle2/oracleORACLE_SID=LCDMP2ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1LSNR_PORT=1521ORACLE_USER=oracle2star

12、t() /sbin/vgchange ay Mount /dev/mapper/VolGroup02-LCDMPBACKUP-lv01 /lcdmp2_backupMount /dev/mapper/VolGroup02-LCDMPDATA-lv00 /lcdmp2_dbdataSleep 5 su - $ORACLE_USER -c $ORACLE_HOME/bin/lsnrctl start su - $ORACLE_USER -c $ORACLE_HOME/bin/sqlplus /nolog EOF connect / as sysdba startup quit EOF su - $

13、ORACLE_USER -c $ORACLE_HOME/bin/lsnrctl start exit 0stop() su - $ORACLE_USER -c $ORACLE_HOME/bin/sqlplus /nolog /dev/null | grep tnslsnr | grep $LSNR_PORT | wc -l if $chk_lsnr -eq 0 ;then echo Oracle listener is NOT running! else echo Oracle listener is running OK! fi chk_sid=ps axw | grep -E ora_pm

14、on|ora_lgwr|ora_dbw0-9*|ora_ckpt|ora_smon | wc -l echo AAA : $chk_sid /test.amp if $chk_sid -gt 4 ;then echo Oracle SID : $ORACLE_SID is running OK! else echo Oracle SID : $ORACLE_SID is checked by ERROR! exit 1 ficase $1 in start) start ; stop) stop ; restart) stop start ; status) status oracle ; *

15、) echo $Usage: $0 start|stop|restart|status exit 1esacCLUSTER测试启动CLUSTER同步cluster.conf文件到对端主机/etc/cluster目录下,在两台主机启动cluster# service cman start# service rgmanager start检查CLUSTER运行状态检查心跳组播是否正常，获取组播地址：cman_tool status在DB1检查组播消息，以下是DB1发送的组播消息在DB2检查组播消息，以下是DB2接收到DB1发送的组播消息，如果组播不通执行4.3.5.检查CLUSTER状态是否正常，

16、clustat检查cluster运行状态，两边看到的状态应该一致.CLUSTER切换测试 故障类型模拟方式切换状态手工切换clusvcadm r ora- m 数据库切换业务主机故障Reboot 业务主机数据库切换业务主机心跳中断Ifconfig down网口数据库切换，被对端主机fencing上层交换机组播配置 Cisco交换机默认状态下，组播数据是不允许通过的，所以，需要在交换机上开启组播功能，具体配置办法如下：cman_tool status检查cluster协商的组播地址，如上图所示：45在心跳VLAN上配置组播组，如下红色字体部分：interface Vlan100 description To AAA-Server Switch ip address 53 ip igmp join-group ip igmp join-group 45 vrrp 10 ip 54 vrrp 10 track 1 vrrp 10 track 2Appendix A FENCING命令测试rootdb1 cluster# fence_cisco_ucs -v -z -shell-timeout 10 -a 54 -n gzgd-db1 -l admin -p cisco123 -o status -v -suborg=/org-gzgd-dh