VMware_Linux下使用VCS搭建Oracle双机应用.docx

VMware Linux下使用VCS搭建Oracle双机应用 VMware RedHat Linux 6.3使用VCS搭建Oracle双机应用2012年12月5日本文档仅限学习资料使用，未经许可，请勿扩散到第三方。第 59 页 共 59 页文档属性属性内容文档主题VMware Linux下使用VCS搭建Oracle双机应用文档版本1.0文档日期2012年12月5日作者耿建秋文档变更版本修订日期修订人描述0.12012-12-05耿建秋创建文档目 录1引言51.1文档目的51.2读者对象51.3产品术语51.3.1关于VCS51.3.2关于LLT和GAB51.3.3关于ClusterService资源组52安装前准备52.1介质获取52.2VCS支持的Linux版本62.3预设环境说明73虚拟机设置73.1如何在32位win7下安装64位Linux73.2添加及配置虚拟网卡83.2.1添加虚拟网卡及设置83.2.2配置虚拟网卡IP地址103.3修改主机名及hosts文件113.4建立ssh双机信任关系114安装VCS134.1先决条件检查134.2设置环境变量134.3安装VCS软件145配置VCS186验证VCS266.1验证集群UUID266.2验证LLT、GAB和VCS配置文件266.3验证LLT、GAB和集群操作276.3.1验证LLT276.3.2验证GAB286.3.3验证集群286.3.4验证集群节点297创建共享磁盘297.1创建共享磁盘297.2添加共享磁盘347.3修改共享磁盘高级属性357.4为虚拟机vmx文件添加属性358创建VG及卷组369安装Oracle11gR2429.1检查依赖包429.1.1创建DVD本地YUM源安装依赖包439.2修改内核参数439.3创建oracle用户和组449.4修改Oracle环境变量449.5为Oracle设置shell限制449.5.1修改/etc/security/limits.conf加入449.5.2修改/etc/pam.d/login加入459.5.3修改/etc/profile加入459.6设置Oracle目录权限459.7安装Oracle4510配置Oracle资源组4610.1安装VCS for Oracle Agent4610.2在VCS中配置Oracle实例4610.3为oracle配置服务组4710.3.1安装Cluster Manager（Java Console）4810.3.2添加资源4810.3.3建立依赖关系5410.4启动资源5510.5数据验证5711VCS的卸载581 引言1.1 文档目的为了学习VCS软件，因此在VMware虚拟机下，安装Linux操作系统，完成双机应用搭建测试。1.2 读者对象技术支持、系统维护人员及学习VCS软件人员。1.3 产品术语1.3.1 关于VCS由Symantec推出的Veritas Cluster Server是适用于集群中配置的应用程序和服务的高可用性解决方案。Veritas Cluster Server(VCS)可监视系统和应用程序服务，并在硬件或软件出现故障时重新启动这些服务。1.3.2 关于LLT和GABVCS使用LLT和GAB这两个组件通过专用网络在系统间共享数据。这些组件提供了VCS所需的性能和可靠性。LLT：低延迟传输，可提供内核的快递通信，并可监视网络连接。GAB：组成员资格和原子广播，可提供维护各节点间同步状态所需的全局排序消息。1.3.3 关于ClusterService组ClusterService组是一种有特殊作用的服务组，其中包括VCS组件所需的资源（通知、广域连接器WAC进程）。默认情况下，即使存在诸如节点冻结之类的限制，ClusterService组也可以故障转移到任意节点。ClusterService组是第一个置入联机状态的服务组，不能自动禁用。ClusterService组在第一个转换为运行状态的节点上进入联机状态。VCS引擎不支持手动使该组脱机的操作。2 安装前准备2.1 介质获取Symantec官方网站URL: /Vrt/offer?a_id=249282.2 VCS支持的Linux版本本节列出了Veritas6.0.1版本产品所支持的Linux操作系统情况：操作系统级别内核芯片组Red Hat Enterprise Linux 6Update 232.6.32-220.el62.6.32-279.el664位x86EMT*/Opteron 4.1（仅限64位）Red Hat Enterprise Linux 5Update56782.6.18-194.el52.6.18-238.el52.6.18-274.el52.6.18-308.el564位x86EMT*/Opteron 4.1（仅限64位）SUSE Linux Enterprise 11SP1SP22.6.32-.13-0.27.164位x86EMT*/Opteron 4.1（仅限64位）SUSE Linux Enterprise 10SP0-0.85.164位x86EMT*/Opteron 4.1（仅限64位）Oracle Linux .32-220.el62.6.32-279.el664位x86EMT*/Opteron 4.1Oracle Linux 5Update 56782.6.18-194.el52.6.18-238.el52.6.18-274.el52.6.18-308.el564位x86EMT*/Opteron 4.1注：仅支持64位操作系统。本文档安装的是Red Hat Enterprise 6u3 2.6.32-279.el6.x86_64。2.3 预设环境说明本次测试环境搭建建立最简单的两台Linux系统集群，本文档中将主机命名为node1和node2节点；网络设置VCS专用网络配置两个以太网连接，一个公共网络，一块共享磁盘；VCS专用心跳网卡：eth1、eth2公共网络网卡：eth0NODE1节点：eth0 1/ eth1 / eth2 /NODE2节点：eth0 3/ eth1 / eth2 /ClusterService管理组IP地址：2/NODE1和NODE2虚拟VIP：4/3 虚拟机设置3.1 如何在32位win7下安装64位LinuxIntel系列的CPU芯片需要支持EM64T和VT技术才行，并且BIOS也要支持才可以；不同品牌的电脑BOIS设置界面及位置可能不太一致，自己找找吧。这个设置完成保存后一般会自动断电重启，如果不能则需要先关机，再开机生效；如下图BOIS设置，将Intel Virtualization Technology值DISPLAY设置成ENABLED。3.2 添加及配置虚拟网卡3.2.1 添加虚拟网卡及设置1、 分别为node1和node2节点添加三块虚拟网卡，如下所示：2、 点击下一步，如下图：3、 点击完成即可；将第一块网卡设置成自定义，如下图：4、 将第二块网卡设置成虚拟网络内部通讯即可，如下图:5、 将第三块网卡设置成同第二块网卡类似即可，这两块网卡做为心跳专用网络，如下图：注：NODE1和NODE2都按以上方法配置完成即可。3.2.2 配置虚拟网卡IP地址分别打开虚拟机node1和node2两个节点，修改网卡配置文件，如下图：注：其它几块网卡的修改就不在此说明了。3.3 修改主机名及hosts文件分别修改node1和node2两个节点的主机名和hosts文件。下面以node1节点为例说明：1、 修改主机名# vi /etc/sysconfig/network HOSTNAME=node1 /修改HOSTNAME的值。2、 修改hosts文件#vi /etc/hosts/添加以下内容rootnode1 # more /etc/hosts 1 node3 node4 node-scr node1-hb node2-hb node1-hb1 node2-hb13.4 建立ssh双机信任关系在node1和node2两台主机上分别创建密钥和公钥，并将生成的公钥分别拷贝到对应。在node1的主机上创建，如下：rootnode1 # ssh-keygen -t rsa Generating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): EnterCreated directory /root/.ssh.Enter passphrase (empty for no passphrase): EnterEnter same passphrase again: EnterYour identification has been saved in /root/.ssh/id_rsa.Your public key has been saved in /root/.ssh/id_rsa.pub.The key fingerprint is:9a:07:ce:d9:6a:1d:c8:b0:ca:9c:21:f5:27:b1:29:b6 rootnode1The keys randomart image is:+- RSA 2048-+| | | | . o | . . B.S |. + *o+*. | = * o*.o. | E .o. | . |+-+注：Enter代表回车，不需要输入任何值。在node1节点上的/root/.ssh/目录下，已生成id_rsa密钥和id_rsa.pub公钥文件；同时在node2节点也，也运行ssh-keygen t rsa来创建生成密钥和公钥文件，当创建完成后，分别将node1的公钥文件拷贝到node2节点的/root/.ssh/目录下，并命名为authorized_keys；再将node2的公钥文件拷贝到node1节点的/root/.ssh/目录下，并命名为authorized_keys;从node1到node2拷贝过程如下：rootnode1 # scp /root/.ssh/id_rsa.pub node2:/root/.ssh/authorized_keys rootnode2s password: * /输入node2的密码id_rsa.pub 100% 392 0.4KB/s 00:00 rootnode1 #从node2到node1拷贝过程如下：rootnode2 # scp /root/.ssh/id_rsa.pub node1:/root/.ssh/authorized_keys rootnode1s password: * /输入node1的密码id_rsa.pub 100% 392 0.4KB/s 00:00 rootnode2 #从node1进行ssh node2确认不需要输入密码，如下：rootnode1 # ssh node2Last login: Wed Dec 5 17:04:40 2012 from node1rootnode2 #从node2进行ssh node1确认不需要输入密码，如下：rootnode2 # ssh node1Last login: Wed Dec 5 23:26:27 2012 from node2rootnode1 #说明：不论从哪个节点到另外一个节点需要输入密码则说明建立信任关系失败；如果总是配置不成功，建议你安装Linux虚机时不要拷贝或克隆方式，分别手动安装两台虚机系统，再进行测试。4 安装VCS4.1 先决条件检查在安装vcs软件之前，首先确认linux操作系统补丁情况，如下：rootnode1 rpms# rpm -qa glibc ksh libstdc+ nss-softokn-freebl audit cracklib libselinux db4 pamksh-20100621-16.el6.x86_64nss-softokn-freebl-3.12.9-11.el6.x86_64glibc-2.12-1.80.el6.i686nss-softokn-freebl-3.12.9-11.el6.i686libstdc+-4.4.6-4.el6.x86_64libstdc+-4.4.6-4.el6.i686glibc-2.12-1.80.el6.x86_64audit-libs-2.2-2.el6.i686.rpm cracklib-2.8.16-4.el6.i686.rpm libselinux-2.0.94-5.3.el6.i686.rpmdb4-4.7.25-17.el6.i686.rpmpam-1.1.1-10.el6_2.1.i686.rpm注：先决条件只是本次测试环境中缺失的补丁文件，在您安装VCS时，如果提示还有其它补丁文件未安装一并安装即可。对缺失的rpm包可rpm ivh *.rpm方式安装，以免单个安装出现互为依赖情况，则无法完成安装。对于依赖包而言，可参考本文档中9.1.1部分，创建DVD本地yum源。4.2 设置环境变量VCS软件默认将安装命令及其它命令驻留在/opt/VRTS/bin目录中。需要将该目录加入到PATH环境变量中。分别在node1和node2节点上修改/etc/profile文件在末尾加入如下设置。# Veritas cluster server PATH=/opt/VRTS/bin:$PATHexport PATHMANPATH=/opt/VRTS/man:$MANPATHexport MANPATH4.3 安装VCS软件1、 将vcs软件上传到/tmp目录，并解压。安装介质内容如下图所示：2、 VCS安装可通过脚本、web、响应文件及手动安装几种，我们这里按照脚本方法进行安装。启动安装程序，输入 #./installer 回车。如下图所示：3、 从安装菜单中选择“Install a Product”的I，回车，如下图所示：4、 从列出的安装产品中选择“Veritas Cluster Server (VCS)”，输入2，回车如下图所示：5、 此处输入y，同意最终用户授权许可协议，回车如下图所示：6、 此处有4个选项分别表示如下：1） 仅安装可提供产品最基本的RPM包2） 安装建议的可提供产品完整功能的RPM包3） 安装所有VCS RPM包4） 显示RPM包这里我们选择3，安装所有VCS RPM包，并回车，如下图所示：7、 输入要安装VCS的系统名称，这里我们输入node1 node2，回车，如下图所示：说明：此步骤在检查系统环境，由于我的虚拟系统缺少相关系统补丁包，因此只能先安装补丁包，然后再进行下一步，如果系统不缺少相应补丁，即到如下图所示：8、 此处敲入回车键，继续，如下图所示：9、 相关RPM包安装过程中，安装完成后如下图所示：10、 选择许可证类型，1）输入一下有效的许可证密钥；2）通过无密钥选项，60天使用，由于测试这里我们默认选项，直接回车即可，如下图所示：11、 此处默认，直接回车。如下图所示：12、 确认是否现在配置VCS，我们在以后再配置VCS，因此默认，直接回车，再回车即可退出安装程序。在/opt目录下，我们可以看到安装的相关信息，如下图所示：5 配置VCS1、 进入到/opt/VRTS/install目录，使用installcvs程序，进行配置VCS，如下图所示：2、 输入./installvcs601 configure命令后，如下图所示：3、 输入需要配置的节点，本次测试环境node1、node2，输入完成后回车，如下图所示：4、 进行环境检测，检测成功后，如下图所示：5、 提示是否启用I/O Fencing配置，此处我们先选择n跳过。生产环境必须要进行该项的配置；我们在虚拟机上创建的共享磁盘，不能实现基于磁盘的I/O Fencing配置，因此跳过此步，如果兴趣可以尝试一下基于CP服务器的I/O Fencing。如下图所示：6、 输入回车继续，如下图所示：7、 输入Cluster名称，这里我们输入vcsclus1，回车如下图所示：8、 配置专用心跳链接，Symantec建议我们配置 LLT over Ethernet，因此此处我们选择1，回车继续，如下图：9、 检测到我们有eth0eth1eth2三块网卡，我们将eth1和eth2配置成LLT over Ethernet，配置第一块心跳链接输入eth1，回车如下图：10、 询问是否继续配置第二条心跳链，默认选项y，回车继续如下图：11、 我们输入eth2，回车后，询问是否填加低优先级的心跳链接，默认n不需要。如果这里我们只配置一条心跳链接，那么配置过程会强制你必须配置一个low-priority hearbeat link，一般生产环境都配置两条，我们本次测试环境也建了两条链路，回车后如下图：12、 选择是否使用相同的NIC详细信息在其它系统上配置专用心跳链接，回车继续如下图：13、 输入集群ID，默认了，继续如下图：14、 默认，安装程序执行检查集群ID 45287是否重复。此检查不超过一分钟即可完成，如下图：15、 回车，继续如下图：16、 确认以上信息，回车继续，如下图：17、 选择是否配置集群的虚拟IP，这里我们选择y进行配置（也可在以后配置），如下图：18、 检测到的NIC是否符合要求，我们环境虚拟IP配置在eth0上，信息提示正确，直接回车继续，如下图：19、 输入规划的ClusterService组IP地址，2，回车继续如下图：20、 确认相关信息，回车继续如下图：21、 将Cluster配置为安全模式，以后再说，此处选择n跳过，如下图：22、 创建默认的cluster用，默认为admin/password，回车继续如下图：23、 询问是否在集群中添加一个用户，此处不添加回车如下图：24、 确认VCS用户信息，回车继续如下图：25、 选择是否配置SMTP电子邮件通知，此处不配置。如下图26、 选择是否配置SNMP陷阱通知，此处不配置，如下图：27、 默认，回车继续，如下图：28、 重启完成后，如下图结束VCS配置。6 验证VCS6.1 验证集群UUID在node1、node2节点，运行如下命令：rootnode1 # cat /etc/vx/.uuids/clusuuid 932e7f80-1dd2-11b2-afb8-3bccfb5677a2rootnode2 # cat /etc/vx/.uuids/clusuuid 932e7f80-1dd2-11b2-afb8-3bccfb5677a26.2 验证LLT、GAB和VCS配置文件验证LLT、GAB及VCS配置文件位置及内容：LLT：rootnode1 # cat /etc/llthosts0 node11 node2rootnode1 # cat /etc/llttab set-node node1set-cluster 45287link eth1 eth-00:0c:29:4e:64:ef - ether - -link eth2 eth-00:0c:29:4e:64:f9 - ether - -rootnode2 # cat /etc/llthosts0 node11 node2rootnode2 # cat /etc/llttabset-node node2set-cluster 45287link eth1 eth-00:0c:29:46:a0:60 - ether - -link eth2 eth-00:0c:29:46:a0:6a - ether - -GAB：rootnode1 # cat /etc/gabtab /sbin/gabconfig -c -n2rootnode2 # cat /etc/gabtab /sbin/gabconfig -c -n2VCS：rootnode1 # ls -lt /etc/VRTSvcs/conf/config/main.cf-rw-. 2 root root 708 12月 6 19:34 /etc/VRTSvcs/conf/config/main.cfrootnode2 # ls -lt /etc/VRTSvcs/conf/config/main.cf-rw-. 2 root root 708 12月 6 19:35 /etc/VRTSvcs/conf/config/main.cf6.3 验证LLT、GAB和集群操作6.3.1 验证LLT分别在node1和node2节点输入lltstat n命令：rootnode1 # lltstat -nLLT node information: Node State Links * 0 node1 OPEN 2 1 node2 OPEN 2rootnode2 # lltstat -nLLT node information: Node State Links 0 node1 OPEN 2 * 1 node2 OPEN 2说明：每个节点都有两个链接，且每个节点均处于OPEN状态。星号（*）代表你键入命令时所在的节点。查看llt的其它信息可输入lltstat nvv命令。6.3.2 验证GAB分别在node1和node2节点输入gabconfig a命令：rootnode1 # gabconfig -a GAB Port Memberships=Port a gen 298c01 membership 01Port h gen 298c04 membership 01rootnode2 # gabconfig -a GAB Port Memberships=Port a gen 298c01 membership 01Port h gen 298c04 membership 01说明：以上信息说明GAB在运行，且是未配置I/O防护的集群，如果配置了I/O防护，除了Port a和Port h外，还应该有一条信息是Port b的。Port a 表示GAB正在通信，membership 01表示集群中系统标识为0和1的主机是处于连接状态。Port h 表示 VCS已经起来，membership 01表示集群中系统标识为0和1的主机的VCS处于运行状态。6.3.3 验证集群分别在node1和node2节点输hastatus summary命令：rootnode1 # hastatus -summary - SYSTEM STATE- System State Frozen A node1 RUNNING 0 A node2 RUNNING 0 - GROUP STATE- Group System Probed AutoDisabled State B ClusterService node1 Y N ONLINE B ClusterService node2 Y N OFFLINE rootnode2 # hastatus -summary - SYSTEM STATE- System State Frozen A node1 RUNNING 0 A node2 RUNNING 0 - GROUP STATE- Group System Probed AutoDisabled State B ClusterService node1 Y N ONLINE B ClusterService node2 Y N OFFLINE说明：如果系统状态的值都是RUNNING，将成功启动集群。在ClusterService组状态中，组在node1上是ONLINE状态，在node2上是OFFLINE。6.3.4 验证集群节点分别在node1和node2节点运行hasys display命令，输出每个节点的信息应该是类似的。此处由于信息太长，我们就不输入了。7 创建共享磁盘在VMware虚拟中为Linux创建共享磁盘，设置共享磁盘需要满足以下两个条件：1）、将新加入的硬盘修改高级属性不在同一个总线上；2）、需要在VMware Linux虚拟机所有共享磁盘的节点上修改*.vmx文件，并添加两条属性scsin.sharedBus = virtual和disk.locking = false。说明：系统启动的时候会锁定磁盘，所以当启动Linux1后共享磁盘被锁定了，Linux2就起不来了，因此需要加入disk.locking=false；一般来说，如果是scsi1:0，则n为1，也就是scsi1.sharedBus=virtual，表示所有的Bus都共享，vmware推荐这种做法。如果说是不是所有的Bus都共享的话，可以将上述的scsi1.sharedBus=virtual修改为scsi1:0.shared= true，scsi1:1.shared= truescsi1:x.shared= true等。7.1 创建共享磁盘1、 首先确保虚拟机系统是关闭状态，打开虚拟添加一块磁盘，如下图：2、 硬件类型选择“硬盘”，点击下一步，如下图：3、 此处我们默认选择“创建一个新的虚拟磁盘”，在下一节7.2添加共享磁盘中，此处我们选择“使用一个已存在的虚拟磁盘”即可。点击下一步继续，如下图：4、 点击下一步继续，如下图：5、 修改磁盘大小及是其它属性参数，点击下一步，如下图：6、 选择存放该虚拟磁盘的路径及文件名称，点击完成。添加到虚拟机效果如下图：7.2 添加共享磁盘另一虚拟机添加共享磁盘时，只需在创建共享磁盘过程中第3步，选择“使用一个已存在的虚拟磁盘”即可。在此不在描述。7.3 修改共享磁盘高级属性1、 修改共享磁盘高级属性两台虚拟机都需要修，如下图2、 点击选中修改的磁盘点击高级，在弹出的如下对话框中选择磁盘总线接口，如下图：7.4 为虚拟机vmx文件添加属性打开安装虚拟的路径，找到*.vmx文件，找开，添加如下图两条属性保存。注：scsi1.sharedBus=virtual disk.locking=false8 创建VG及卷组1、 查看node1和node2主机上的共享磁盘rootnode1 # fdisk -l Disk /dev/sda: 21.5 GB, 21474836480 bytes255 heads, 63 sectors/track, 2610 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisk identifier: 0x000efeaa Device Boot Start End Blocks Id System/dev/sda1 * 1 64 512000 83 LinuxPartition 1 does not end on cylinder boundary./dev/sda2 64 2611 20458496 8e Linux LVMDisk /dev/sdb: 107.4 GB, 107374182400 bytes255 heads, 63 sectors/track, 13054 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisk identifier: 0xbc40801b2、 将共享磁盘格式化成Linux LVMrootnode1 # fdisk /dev/sdb WARNING: DOS-compatible mode is deprecated. Its strongly recommended to switch off the mode (command c) and change display units to sectors (command u).Command (m for help): n /创建一个分区Command action e extended /扩大分区 p primary partition (1-4) /主分区p /输入p 创建主分区Partition number (1-4): 1 /输入1 创建第一个主分区First cylinder (1-13054, default 1): Enter /第1个分区启始柱面Using default value 1Last cylinder, +cylinders or +sizeK,M,G (1-13054, default 13054): Enter /止柱面Using default value 13054Command (m for help): t /改变分区IDSelected partition 1Hex code (type L to list codes): 8eChanged system type of partition 1 to 8e (Linux LVM)Command (m for help): wThe partition table has been altered!Calling ioctl() to re-read partition table.Syncing disks.rootnode1 # fdisk -l Disk /dev/sda: 21.5 GB, 21474836480 bytes255 heads, 63 sectors/track, 2610 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisk identifier: 0x000efeaa Device Boot Start End Blocks Id System/dev/sda1 * 1 64 512000 83 LinuxPartition 1 does not end on cylinder boundary./dev/sda2 64 2611 20458496 8e Linux LVMDisk /dev/sdb: 107.4 GB, 107374182400 bytes255 heads, 63 sectors/track, 13054 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisk identifier: 0xbc40801b Device Boot Start End Blocks Id System/dev/sdb1 1 13054 104856223+ 8e Linux LVM3、 创建PVrootnode1 # pvcreate -f /dev/sdb1 Writing physical volume data to disk /dev/sdb1 Physical volume /dev/sdb1 successfully created4、 创建VGrootnode1 # vgcreate -s 64 vgdb /dev/sdb1 Volume group vgdb successfully createdrootnode1 # vgdisplay -v /dev/vgdb Using volume group(s) on command line Finding volume group vgdb - Volume group - VG Name vgdb System ID Format lvm2 Metadata Areas 1 Metadata Sequence No 1 VG Access read/write VG Status resizable MAX LV 0 Cur LV 0 Open LV 0 Max PV 0 Cur PV 1 Act PV 1 VG Size 99.94 GiB PE Size 64.00 MiB Total PE 1599 Alloc PE / Size 0 / 0 Free PE / Size 1599 / 99.94 GiB VG UUID AZnWs