RHEL-5.7+DRBD+heartbeat+Oracle10R2双机安装实例

hearbeat 安装安装 安装中的注意事项 切记在安装 Reusable Cluster Components glue glue 1 0 9 tar bz2 之前不要安装 autoconf 2 68 tar gz 和 automake 1 11 tar bz2 包 因为 autoconf 2 68 automake 1 11 在编译的时候可能和 dbus 包有冲突 切记按照安装步骤来执行 否则将无法正确配置 heartbeat 1 在安装扩展包的时候 如果提示空间不足 请清理 下的文件 2 在安装 linux5 7 的时候 在安装包定制的时候 最好将应用程序包全选 开发全选 基 本系统全选 3 在安装 Reusable Cluster Components glue glue 1 0 9 tar bz2 的时候可能需要安装 libtool 安装包 4 在安装 ClusterLabs resource agents v3 9 2 0 ge261943 tar gz 的时候 需要安装 autoconf 2 68 tar gz 和 automake 1 11 tar bz2 tar ixvf autoconf 2 68 tar gz cd autoconf 2 68 configure make make install tar ixvf automake 1 11 tar bz2 cd automake 1 11 configure make make install 5 在安装 Pacemaker 1 0 9af47ddebcad tar bz2 的时候可能会提示需要安装 libtool libtool ldtl 包 rpm ivh libtool 6 在安装 Pacemaker Python GUI pacemaker mgmt 2 0 0 tar bz2 包之前 需要安装 gettext devel perl XML Parser intltool 这三个包 否则出错 7 在配置的时候切记要关闭防火墙 否则无法监控对方状态并切换 8 在安装 Oracle 的时候 先将系统语言修改为英文 否则会出错 9 如果启动 heartbeat3 时遇到 Emergency Shutdown Master Control process died 错误 请查 看 ha debug 文件 有可能是因为端口被占用导致的 请执行以下命令 lsof i 694 如果显示有端口 请执行下面命令 kill pid 进程号 再次启动 heartbeat 即可 10 如果无法切换 oracle 请分别在各个节点使用命令 id a oracle 查看 id 是否一致 如果不一致 请使用 useradd groupadd 命令增补用户 使其一致 11 如果在配置 CRM 的 HA 的时候 启动 heartbeat 后 出现 not installed 请讲该资源添 加到 linux 服务当中即可 使用命令例如 chkconfig add mysqld 安装过程 1 首先安装 Reusable Cluster Components glue glue 1 0 9 tar bz2 包 tar jxvf Reusable Cluster Components glue glue 1 0 9 tar bz2 cd Reusable Cluster Components glue glue 1 0 9 autogen sh configure make make install 创建用户 切记之前要确认各个节点的 home 下用户数量是否一致 不一致以后在 oracle 切换的时 候会有问题 groupadd haclient useradd g haclient hacluster 2 安装 ClusterLabs resource agents v3 9 2 0 ge261943 tar gz 包 tar ixvf ClusterLabs resource agents v3 9 2 0 ge261943 tar gz cd ClusterLabs resource agents v3 9 2 0 ge261943 autogen sh 如果出错 请参考 安装注意事项 中的第四条内容 configure make make install 3 安装 Heartbeat 3 0 7e3a82377fa8 tar bz2 包 tar jxvf Heartbeat 3 0 7e3a82377fa8 tar bz2 cd Heartbeat 3 0 7e3a82377fa8 bootstrap ConfigureMe configure make sudo make install 使用 cd usr etc 命令进入 usr etc 目录中 使用 cp R ha d etc 命令将 usr etc ha d 全部复制到 etc 目录中 使用 rm rfv ha d 删除 usr etc 中整个 ha d 目录 使用 cd etc 命令进入 etc 目录中 使用 ln s etc ha d usr etc ha d 命令创建 etc ha d 到 usr etc ha d 的软连接文件 4 安装 Pacemaker 1 0 9af47ddebcad tar bz2 tar jxvf Pacemaker 1 0 9af47ddebcad tar bz2 cd Pacemaker 1 0 9af47ddebcad autogen sh 如果出错 请参考 安装注意事项 中的第五条内容 ConfigureMe configure make make install 5 安装 Pacemaker Python GUI pacemaker mgmt 2 0 0 tar bz2 tar jxvf Pacemaker Python GUI pacemaker mgmt 2 0 0 tar bz2 cd Pacemaker Python GUI pacemaker mgmt 2 0 0 bootstrap 如果出错 请参考 安装注意事项 中的第六条内容 ConfigureMe configure make make install passwd hacluster 6 在两台机器上分别执行以下命令 vi etc hosts 在文件中加入 192 168 1 10 ha1 192 168 1 11 ha2 DRBD 安装安装 1 在各节点安装 drbd 8 3 8 1 tar gz 首先安装 kernel devel kernel headers kernel doc 包 然后执行以下命令 tar ixvf drbd 8 3 8 1 tar gz cd tar zxvf drbd 8 3 8 1 configure prefix usr localstatedir var sysconfdir etc with km make make install 使用 chkconfig add drbd 命令创建 drbd 服务启动脚本 使用 chkconfig add heartbeat 命令创建 heartbeat 服务启动脚本 使用 chkconfig heartbeat off 命令关闭 heartbeat 服务 使用 chkconfig drbd off 命令关闭 drbd 服务 2 在各节点修改 etc drbd d global common conf 文件 vi etc drbd d global common conf 将 usage count 的参数修改为 no 3 在各节点 etc drbd d 目录下创建 oradata res 文件 内容如下 vi etc drbd d oradata res resource oradata 资源组的名称 protocol C startup degr wfc timeout 120 2 minutes 启动时连接其他节点的超时时间 disk on io error detach 当磁盘有错误时 不连接 net syncer rate 10M 设置主备节点同步时的网络速率最大值 al extents 257 on node2 localdomain 节点主机名 device dev drbd0 今后使用的设备 不用做修改 disk dev vda5 该节点上的用于存放数据的分区号 修改为服务器分区文件 例如 sda2 address 10 109 1 38 7788 该节点的 IP 地址 meta disk internal meta data 信息存放的方式 on node3 localdomain device dev drbd0 disk dev vda5 address 10 109 1 39 7788 meta disk internal 4 在各节点上执行 drbdadm c etc drbd d oradata res create md oradata 命令 首先执行主服 务器 然后执行从服务器 初始 化分区 创建 meta data 信息 这里的 oradata 即为配置文件中的资源组名称 请先执行 dd if dev zero of dev sda2 bs 1M count 100 这里的 sda2 对应你在 oradata res 中配置的分区名称 否则会出现 drbdadm create md ha exited with coolcode 40 错误 请限制性以下指令 5 在各节点启动 drbd 在执行启动之前 请先 umount dev sda2 在 etc init d 下执行 drbd start 主备节点需要同时启动 6 设置 primary 主机 在确认作为主数据服务器的机器上执行 drbdadm adjust oradata 如果出 Command drbdsetup 0 disk dev sda2 dev sda2 internal set defaults create device on io error detach terminated with exit code 10 则先执行 umount dev sda2 sda2 对应 oradata res 配置文件中的分区 drbdsetup dev drbd0 primary o 如果出现 dev drbd0 State change failed 2 Need access to UpToDate data 错误 请执行 drbdadm overwrite data of peer primary all 分别在各节点上执行以下命令 查看主备状态 cat proc drbd 如果出现 GIT hash 0d8589fcc32c874df57c930ca1691399b55ec893 build by root ha1 2013 03 26 02 19 11 0 cs WFConnection ro Primary Unknown ds UpToDate DUnknown C r ns 0 nr 0 dw 0 dr 0 al 0 bm 0 lo 0 pe 0 ua 0 ap 0 ep 1 wo b oos 13309408 备服务器找不到的情况 请重新执行 drbdadm adjust oradata drbdsetup dev drbd0 primary cat proc drbd 显示如下信息代表正确 主服务器信息 version 8 3 8 api 88 proto 86 94 GIT hash d78846e52224fd00562f7c225bcc25b2d422321d build by root hatest1 2010 07 07 08 59 44 0 cs SyncSource ro Primary Secondary ds UpToDate Inconsistent C r ns 719756 nr 0 dw 0 dr 720896 al 0 bm 43 lo 0 pe 62 ua 36 ap 0 ep 1 wo b oos 1378556 sync ed 34 4 1378556 2096348 K delay probe 149 finish 0 04 59 speed 4 580 7 248 K sec 从服务器 version 8 3 8 api 88 proto 86 94 GIT hash d78846e52224fd00562f7c225bcc25b2d422321d build by root hatest1 2010 07 07 08 59 44 0 cs SyncTarget ro Secondary Primary ds Inconsistent UpToDate C r ns 0 nr 752096 dw 751584 dr 0 al 0 bm 45 lo 17 pe 49 ua 16 ap 0 ep 1 wo b oos 1344764 sync ed 36 0 1344764 2096348 K queue delay 2 9 ms finish 0 02 11 speed 10 224 10 020 want 10 240 K sec 7 把 drbd 服务设置为自启动方式 node1 chkconfig level 235 drbd on node2 chkconfig level 235 drbd on 8 在主服务器格式化分区 drbdadm role oradata Primary Secondary mkfs ext3 dev drbd0 tune2fs c 0 i 0 dev drbd0 9 挂载 首先在主从两台机上创建 oradata 目录 先把 drbd0 设备挂载到 oradata 目录中 mount dev drbd0 oradata df h oradata 文件系 统 容量 已用 可用 已用 挂载点 dev drbd0 2 0G 36M 1 9G 2 oradata 10 测试 主机上 umount oradata 如果出现 umount oradata device is busy 请执行 fuser km oradata 然后再 umount drbdadm secondary oradata 备机上 drbdadm primary oradata mount dev drbd0 oradata 此时你就能在备机上看到主机上写入的数据了 11 修改 etc 下 fstab 文件 删除掉 DRBD 将要挂在的分区 例如 dev sda2 data 如果不做修改可能导致 linux 无法重启 oracle 安装安装 1 分别在各节点配置 Linux 内核参数 以 root 身份登录后 进入 etc 目录 打开 sysctl conf 文件 然后将以下内容写入图中位 置 kernel shmall 2097152 kernel shmmax 1717986918 kernel shmmni 4096 kernel sem 250 32000 100 128 fs file max 65536 net ipv4 ip local port range 1024 65000 net core rmem default 262144 net core rmem max 262144 net core wmem default 262144 net core wmem max 262144 这些参数都可按照该列表填写 在这些参数中的 shmmax 红色标注 则有自己的计算 方法 内存以 G 为单位 将其换算成 Byte 单位在乘以 80 例如 2G 内存 换算公式为 2 1024 1024 1024 80 1717986918 2 创建 oracle 安装要求的用户名和用户组 并修改 oracle 用户环境变量 即修改 oracle 用户目录下的 bash profile 文件 在两个节点中分别执行如下 groupadd oinstall groupadd dba useradd m g oinstall G dba oracle 命令 创建 oracle 用户 passwd oracle 修改 oracle 用户密码 3 在各节点修改 oracle 环境变量 以 oracle 用户身份 执行 su oracle cd home oracle 打开 bash profile 文件将如下内容添加到环境变量中 export ORACLE BASE oradata export ORACLE HOSTNAME dc neuapps b export ORACLE HOME ORACLE BASE product 10 2 0 db 1 export ORACLE SID orcl export ORACLE TERM xterm export NLS LANG american america ZHS16GBK export ORA NLS33 ORACLE HOME ocommon nls admin data LD LIBRARY PATH ORACLE HOME lib lib usr lib usr local lib export LD LIBRARY PATH export PATH PATH ORACLE HOME bin 4 创建 ORACLE 安装挂载点 在各 oracle 安装节点使用如下命令创建 DRBD 资源挂载点 并修改挂载点属组 cd mkdir oradata 如事先已经创建 则无需执行此命令 su root chown R oracle oinstall oradata 5 挂载 DRBD 资源 执行 drbdadm primary oradata 命令 设置 DRBD 资源为 primary 执行 drbdadm role oradata 查看状态 执行 mount dev drbd0 oradata 命令挂载 DRBD 资源 执行 mount 命令查看信息 信息中出现 dev drbd0 on oradata type ext3 rw 行 说明资源 挂载正常 chown R oracle oinstall oradata 更改 drbd 资源目录所属权限 为稍后的安装做准备 如 不执行 后面的安装目录不会默认为 oradata 使用 ls l 查看信息 信息中如下图中所示 代表正常 6 安装 Oracle10G2 数据库 安装之前必须使用 su oracle 切换到 oracle 用户 安装过程中注意事项以及出现的问题及解决办法 1 如果安装 oracle 的时候出现不支持 redhat5 的错误 请按照下面步骤执行 通过查一些资料 发现可以先这样欺骗系统一下 oracle scientific Disk1 su Password root scientific Disk1 cp etc redhat release etc redhat release backup root scientific Disk1 cat etc redhat release RedRed HatHat Enterprise Linux AS release 3 Taroon EOF 2 vi etc redhat release redhat 4 Red Hat Enterprise Linux Server release 5 4 Tikanga 因为 oracle 的官方只支持到 RHEL4 为止 所以要修改版本说明 把 Red Hat Enterprise Linux Server release 5 4 Tikanga 这一行注释掉 前面加上一行 redhat 4 当然 oracle 安装完成后要修改回来 redhat 4 必须为 redhat release 文件的第一行 否则安装时还会报警告 3 在弹出 oracle 安装首页的时候要确定安装路径为 drbd 挂载的路径 例如上面配置 的 oradata 4 如果出现以下错误 tmp OraInstall2010 07 14 02 16 11PM jre 1 4 2 lib i386 libawt so libXp so 6 cannot open shared object file No such file or directory occurred 请安装 libaio 0 3 106 3 2 i386 rpm libXp 1 0 0 8 1 el5 i386 rpm xorg x11 deprecated libs 6 8 2 1 EL 13 37 i386 rpm 包 5 在主服务器上安装 oracle 即可 在备用服务器 etc 创建 oratab 文件 内容如下 This file is used by ORACLE utilities It is created by root sh and updated by the Database Configuration Assistant when creating a database A colon is used as the field terminator A new line terminates the entry Lines beginning with a pound sign are comments Entries are of the form ORACLE SID ORACLE HOME The first and second fields are the system identifier and home directory of the database respectively The third filed indicates to the dbstart utility that the database should Y or should not N be brought up at system boot time Multiple entries with the same ORACLE SID are not allowed orcl oradata product 10 2 0 db 1 N 7 最后配置 在配置 drbd oracle 的 ha 资源前不需要配置 从 oradata product 10 2 0 db 1 network admin samples 将 listenter ora 和 tnsnames ora 拷贝到 oradata product 10 2 0 db 1 network admin 目录 1 修改 listenter ora 文件 添加如下内容 解决双机切换报监听 ORA 12514错误问题 SID DESC GLOBAL DBNAME orcl ORACLE HOME oradata product 10 2 0 db 1 SID NAME orcl 修改后的 listenter ora 内容如下 LISTENER ADDRESS LIST ADDRESS PROTOCOL tcp HOST dc neuapps b PORT 1521 ADDRESS PROTOCOL ipc KEY EXTPROC1 SID LIST List of services the listener knows about and can connect clients to There is no default See the Net8 Administrator s Guide for more information SID LIST LISTENER SID LIST SID DESC SID NAME PLSExtProc ORACLE HOME oradata product 10 2 0 db 1 PROGRAM extproc SID DESC GLOBAL DBNAME orclglobal ORACLE HOME oradata product 10 2 0 db 1 SID NAME orcl 注意 必须配置 tnsnames ora 文件 内容如下 orcl DESCRIPTION ADDRESS LIST ADDRESS PROTOCOL TCP HOST dc neuapps b PORT 1521 CONNECT DATA SERVER DEDICATED SERVICE NAME orcl 终止在用 oracle 节点的各 oracle 进程 并卸载掉 oracle 资源 在另一节点中挂载资源并启动 oracle 应用进程并进行测试 如果没有问题可进行 HA 的配 置 heartbeat 的配置的配置 1 在主服务器配置 authkeys 这里我用随机数来获得密钥 命令如下 echo ne auth 1 n1 sha1 dd if dev urandom bs 512 count 1 openssl md5 etc ha d authkeys cd etc ha d cat authkeys chmod 600 etc ha d authkeys 2 在主服务器配置 ha cf 使用命令 vi etc ha d ha cf 编辑配置文件 找到以下内容 删除其注释 号 debugfile var log ha debug logfile var log ha log logfacility local0 auto failback off mcast eth0 239 0 0 43 694 1 0 udpport 694 bcast eth0 deadtime 30 initdead 30 keepalive 2 node node2 localdomain node node3 localdomain compression bz2 compression threshold 2 crm respawn 加在文件尾部 apiauth mgmtd uid root 加在 apiauth 所在位置 不要删除原有配置 respawn root usr lib heartbeat mgmtd v 如果是 64 位系统 请修改为 usr lib64 heartbeat mgmtd v 加载 respawn 所在位置 不要删除原有配置 之后存盘退出 注意 检查文件中不能有乱码 切记 3 同步节点 HA 配置文件 执行 usr share heartbeat ha propagate 命令 并安提示输入同步节点主机 root 账户密码 4 启动 heartbeat 使用如下命令在两节点上启动 heartbeat service heartbeat start 5 配置 DRBD Oracle 的 HA 资源 9 5 1 执行命令 crm attribute t crm config n stonith enabled v false 或者 crm configure property stonith enabled false 关闭 heartbeat 的 STONITH 支持 避免启用了 stonith 而集群中又没有 stonith 资源时 集 群中的资源都是无法启动的问题 9 5 2 清空旧配置文件 以 crm 交互方式提交如下命令 crm crm live configure crm live configure erase crm live configure commit crm live configure exit 清空旧配置文件 9 5 3 关闭 quorum HA 中有 quorum 的概念 即集群中必须有一半的节点处于 online 的状态 则集群被认为 是 have quorum 可以认为是达到合法节点数要求 如果少于一半的节点在线 那么 HA 认为集群达不到节点数要求 从而拒绝启动集群中的资源 但是这种策略对于 2 个节点的 集群明显是不合理的 所以就会发生当 2 个节点的集群其中一个节点失效时所有的集群都 无法启动的情况 同样的 也关闭 STONITH 执行以下两条命令即可关闭 quorun 及 STONITH 支持 crm configure property no quorum policy ignore crm configure property stonith enabled false 9 5 3 使用 pacemaker 进行 HA 资源配置 把 DRBD 设置为主备资源 其他 oracle 资源放在同一个组里面 并通过 顺序 协同 等限制条件让两资源配合运行 根据监控的情况 加入 start 超时 monitor 间隔时间等操 作 进入 crm 交互模式 crm configure crm live configure 然 后在 configure 状态下输入以下内容 primitive drbd oracle ocf linbit drbd params drbd resource oradata op monitor interval 15s 加载 drbd 资源 primitive fs oracle ocf heartbeat Filesystem params device dev drbd by res oradata directory oradata fstype ext3 挂载 DRBD 分区 primitive ip oracle ocf heartbeat IPaddr2 params ip 10 109 1 37 nic bond0 cidr netmask 24 加 载虚拟 IP primitive oracle instant ocf heartbeat oracle op monitor interval 120 timeout 30 op start interval 0 timeout 120 params sid orcl 加载 Oracle 实例 primitive oracle lsnrctl ocf heartbeat oralsnr params sid orcl operations id oracle lsnrctl operations op monitor interval 10 timeout 30 加载 Oracle 监听 primitive route oracle ocf heartbeat Route operations id route oracle operations params destination 0 0 0 0 0 gateway 10 109 1 1 不清 楚干什么用的 不配置也不影响 drbd 切换 group group oracle ip oracle route oracle fs oracle oracle lsnrctl oracle instant ms ms drbd oracle drbd oracle meta master max 1 master node max 1 clone max 2 clone node max 1 notify true colocation oracle on drbd inf group oracle ms drbd oracle Master order oracle after drbd inf ms drbd oracle promote group oracle start 最后用 commit 提交即可 注意 在 commit 后如果想重新设置 那么在 heartbeat 启动的情况下输入以下命令 crm configure crm live configure edit 修改内容 crm live configure verify 查看修改内容是否有错误 crm live configure commit 提交修改 crm live configure exit 退出 说明 a 根据 DRBD 官网的资料 ocf heartbeat drbd 已经被丢弃 不建议使用 故用 ocf linbit drbd 代替 b IP 的设定 RA 用 ocf heartbeat IPaddr2 其用 ip 命令设定虚拟 IP 虚拟 IP 生效后 用 ifconfig 命令看不到 可用 ip addr 查看 c 输入上述命令时 可能会提示警 告 start stop 的超时时间少于建议值等 这可根 据应用启动 停止的实际环境在 操作 中加入 可参考 oracle instant 资源 d ms 是设置 主备资源 e colocation 是设置 协同 限制 即 group oracle 和 ms drbd oracle 必须在同一台机 器上运行 并且若 ms drbd oracle 不能作为 Master 运行时 不会运行 group oracle 相反 group oracle 的状态不会影响 ms drbd oracle g order 是设置 顺序 限制 即先激活 ms drbd oracle 资源 把 drbd 设备设置为 primary 状态 然后再启动 group oracle 组资 源 f 挂载操作中 dev drbd by res oradata 是为了方便使用 由 drbd 创建的一个指向 dev drbd0 的链接 h 如果您输入的命令比较长 可以用 调到下一行继续 但是必须注意 下一行前 面的空白只能用空格 不能用 Tab 等字符 配置提交后 两资源会自动运行 根据全局配置 有延迟 也可手动使用如下命令启动 资源 crm resource start group oracle 6 HA 的管理命令 9 6 1 查看 HA 状态 执行如下命令 crm status 7 手动切换 执行如下命令 crm resource migrate group oracle dc neuapps b 8 开机启动 chkconfig level 235 heartbeat on jdk 的安装配置的安装配置 1 将 jdk 6u43 linux x64 bin 拷贝到主服务器的 oradata 目录下 2 chmod 777 jdk 6u43 linux x64 bin jdk 6u43 linux x64 bin 解压缩 JDK 中途会有提示按 enter 尽管按下 3 在各个节点执行以下操作 vi etc profile 添加如下内容 export JAVA HOME oradata jdk1 6 0 43 export JRE HOME oradata jdk1 6 0 43 jre export CLASSPATH JAVA HOME lib JRE HOME lib CLASSPATH export PATH JAVA HOME bin JRE HOME bin PATH source etc profile 使 jdk 生效 切换到备用服务器 source etc profile 使 jdk 生效 4 测试 jdk 配置是否生效 java version tomcat 的安装配置的安装配置 1 将 apache tomcat 6 0 36 tar gz 拷贝到主服务器的 oradata 目录下 2 执行以下命令 tar zxvf apache tomcat 6 0 10 tar gz 解压 3 配置 tomcat 的 HA 资源 crm configure crm live configure primitive tomcat6 ocf heartbeat tomcat params java home oradata jdk1 6 0 43 catalina home oradata apache tomcat 6 0 36 op monitor depth 0 timeout 30s interval 10s group group oracle ip oracle route oracle fs oracle oracle lsnrctl oracle instant tomcat6 一定要加在 drbd 启动后 否则 tomcat 无法启动 crm live configure commit crm live configure exit mysql 安装配置安装配置 1 安装 mysql groupadd mysql useradd r g mysql mysql cd usr local tar zxvf path to mysql 5 5 27 linux2 6 x86 64 tar gz ln s mysql 5 5 27 linux2 6 x86 64 mysql cd mysql chown R mysql 把所有文件以及文件夹归属于 mysql 用户 chgrp R mysql 把所有文件以及文件夹归属于 mysql 用户组 scripts mysql install db user mysql chown R root 把所有文件以及文件夹归属于 root 用户 chown R mysql data 把 data 文件夹归属于 mysql 用户 Next command is optional cp support fil