Oracle11gRACDG项目实战.doc

1 概述和说明1.1概述本文档用于记录在OEL5.5X86_64位系统上安装配置Oracle11gR2(.0)RAC的详细步骤。安装平台选择VMware公司的VMwareESXiVersion4.0的虚拟主机，通过在该虚拟机上配置两台OEL5.5X86_64位Linux系统的机器，然后在这两台Linux机器上配置Oracle11gR2RAC系统。其中，操作系统选择Oracle公司的OEL5.5X86_64位Linux系统，数据库软件采用目前Oracle11gR2最新版本的.0。本文档中假定你已经安装配置好VMwareESXiVersion4.0的虚拟主机，如果没有该环境的话，也可以通过自行安装VMwareServer来完成11gR2RAC的安装配置。1.2软件获取操作系统：OracleEnterpriseLinux5Oracle软件：Oracle11gRelease2(11.2)Software(64bit)虚拟机软件：VMwareServer其中，Oracle软件可以通过上述连接直接获取版本为.0的安装介质，或者通过MetaLink官方网站获取最新版本的.0安装介质，其中patch编号为10404530。2安装前准备工作2.1配置虚拟机，安装OEL5.5X86_64位Linux操作系统这里，我们需要在VMwareESXiVersion4.0的虚拟主机上创建两台虚拟机，其中每台机器至少需要配置双网卡，一块网卡作为Public，另一块作为Private，建议IP地址均选择手动配置，而不是DHCP动态分配，且要求指定的IP在网络里是唯一的。主机名也分别要求指定为唯一，避免冲突。主机名、IP地址在前期规划要慎重，一经指定，最好不要轻易改变，避免一些不必要的麻烦。这里列出两台机器前期规划的主机名、IP地址信息：HostnameShortHostnameTypeIPAddressInterfacenode1.localdomainnode1PublicIP91eth0node1-vip.localdomainnode1-vipVirtualIP93eth0:1node1-priv.localdomainnode1-privPrivateIP1eth1node2.localdomainnode2PublicIP92eth0node2-priv.localdomainnode2-vipVirtualIP94eth0:1node2-priv.localdomainnode2-privPrivateIP2eth1scan-cluster.localdomainscan-clusterSCANIP03eth0(Figure2.1网络配置信息表)其中，每台机器至少需要配置3个IP地址，在安装操作系统的过程中，我们需要配置公网IP和私有IP即可，虚拟IP在安装集群件时分配。PublicIP、VirtualIP、SCANIP必须配置在同一网段。SCANIP是Oracle11g新推出的，在配置11gRAC时需要指定。我们的SCANIP通过配置DNS服务器来实现，在下文中将给出配置步骤。2.1.1登录VMwareESXiVersion4.0虚拟主机，创建新虚拟机以root用户登录81的虚拟主机：进入虚拟主机管理界面：新建虚拟机：选择Custom，Next进入下一步：给虚拟机命名为11gnode1，Next：选择Datastore位置，这里选择第1个名为snap-0f000dba-SQL-Server的存储设备，Next：虚拟机版本选择version7，Next：操作系统类型选择Linux，版本选择RedHatEnterpriseLinux5(64-bit)，Next：CPU核数选择2，Next：内存选择2G，Next：网卡选择2块，一块作为Public，另外一块作为Private，Next：SCSI驱动器类型选择LSILogicParallel，Next：选择创建新磁盘，Next：磁盘大小选择20G，Next：虚拟设备节点选择默认SCSI(0:0)，Next：选中在虚拟机创建之前编辑选项，Continue：编辑光驱设备，选择ISO文件，找到之前已经准备就绪的OEL5.5X86_64位的ISO文件：选中光驱在启动时连接选项，最后，单击Finish完成。至此，一台新的虚拟机配置完成。2.1.2启动11gnode1虚拟机，安装操作系统给11gnode1虚拟机加电，进入图形界面安装系统：回车，进入安装：Skip，跳过光驱检查：Next，开始安装OracleEnterpriseLinux：语言选择English，键盘选择U.S.English美式键盘，硬盘分区选择最后一个选项Createcustomlayout，Next：给硬盘分区，其中SWAP分区选择3500M，剩余空间全部划给根分区/，Next：网络配置，参照2.1节中IP配置信息，分别配置eth0,eht1两块网卡的IP、及子网掩码、网关、主机名，Next：时区选择，亚洲/上海，Next：配置root用户口令，Next：选择定制软软包，Next：其中：DesktopEnvironments:GNOMEDesktopEnvironmentApplications:EditorsDevelopment:DevelopmentLibrariesDevelopmentToolsGNOMESoftwareDevelopmentLegacySoftwareDevelopmentXsoftwareDevelopmentBaseSystem:AdministrationToolsBaseLegacySoftwareSupportSystemToolsXWindowSystem其它的软件包，可以忽略，暂时不装，一来加快操作系统的安装进度，二来其余的软件包对于配置Oracle11gR2RAC不需要，如果在将来的安装过程中，系统提示缺失软件包的时候，我们也可以手工从安装光盘中自行安装。Next：进入格式化文件系统，安装软件包，直到最后：根据提示，选择Reboot系统：系统重启之后，Forward：选择关闭Firewall，Next：禁用SELinux，Next：直到最后一步，按照提示，再次重新启动系统，使刚才的配置生效：重启之后，进入图形界面的登录框：到此，node1节点机器创建成功。接下来，完全参照上述创建虚拟机步骤，创建第2个节点，虚拟机命名为11gnode2，在配置网络步骤中，需要注意，将其eth0配置为92，eth1配置为2，主机名为node2.localdomain。最后，两个节点的机器配置完成！2.2配置/etc/hosts文件参照Figure2.1网络配置信息表，修改节点1的/etc/hosts配置文件。rootnode1#cp/etc/hosts/etc/hosts.bakrootnode1#cat/etc/hosts#Donotremovethefollowingline,orvariousprograms#thatrequirenetworkfunctionalitywillfail.localhost:1localhost6.localdomain6localhost6#node191node1.localdomainnode193node1-vip.localdomainnode1-vip1node1-priv.localdomainnode1-priv#node292node2.localdomainnode294node2-vip.localdomainnode2-vip2node2-priv.localdomainnode2-priv#scan-ip03scan-cluster.localdomainscan-clusterrootnode1#2.3配置DNS服务器，确认SCANIP可以被解析从Oracle11gR2开始，引入SCAN(SingleClientAccessName)IP的概念，相当于在客户端和数据库之间增加一层虚拟的网络服务层，即是SCANIP和SCAPIPListener。在客户端的tnsnames.ora配置文件中，只需要配置SCANIP的配置信息即可，客户端通过SCANIP、SCANIPListener来访问数据库。同之前各版本的RAC相比，使用SCANIP的好处就是，当后台RAC数据库添加、删除节点时，客户端配置信息无需修改。可以通过配置DNS服务器或GNS来配置SCAN，我们这里以DNS为例来进行配置。2.3.1配置DNS服务器这里，选择IP地址为76的服务器来配置DNS服务器。安装DNS软件包：rootrdddns_rpm#ifconfigeth0eth0Linkencap:EthernetHWaddr00:0C:29:99:DA:22inetaddr:76Bcast:55Mask:inet6addr:fe80:20c:29ff:fe99:da22/64Scope:LinkUPBROADCASTRUNNINGMULTICASTMTU:1500Metric:1RXpackets:10237921errors:0dropped:0overruns:0frame:0TXpackets:1394986errors:0dropped:0overruns:0carrier:0collisions:0txqueuelen:1000RXbytes:3375785216(3.1GiB)TXbytes:596171214(568.5MiB)rootrdddns_rpm#pwd/root/dns_rpmrootrdddns_rpm#lltotal1112-rw-rr1rootroot1015531Apr2314:53bind-9.3.6-4.P1.el5_4.2.x86_64.rpm-rw-rr1rootroot45360Apr2314:53bind-chroot-9.3.6-4.P1.el5_4.2.x86_64.rpm-rw-rr1rootroot62251Apr2314:53caching-nameserver-9.3.6-4.P1.el5_4.2.x86_64.rpmrootrdddns_rpm#rpm-ivhbind-9.3.6-4.P1.el5_4.2.x86_64.rpmwarning:bind-9.3.6-4.P1.el5_4.2.x86_64.rpm:HeaderV3DSAsignature:NOKEY,keyID1e5e0159Preparing#100%1:bind#100%rootrdddns_rpm#rpm-ivhbind-chroot-9.3.6-4.P1.el5_4.2.x86_64.rpmwarning:bind-chroot-9.3.6-4.P1.el5_4.2.x86_64.rpm:HeaderV3DSAsignature:NOKEY,keyID1e5e0159Preparing#100%1:bind-chroot#100%rootrdddns_rpm#rpm-ivhcaching-nameserver-9.3.6-4.P1.el5_4.2.x86_64.rpmwarning:caching-nameserver-9.3.6-4.P1.el5_4.2.x86_64.rpm:HeaderV3DSAsignature:NOKEY,keyID1e5e0159Preparing#100%1:caching-nameserver#100%rootrdddns_rpm#配置/var/named/chroot/etc/named.conf文件先拷贝生成该文件：rootrdddns_rpm#cd/var/named/chroot/etc/rootrddetc#lltotal16-rw-rr1rootroot405Apr1807:50localtime-rw-r1rootnamed1230Jan212010named.caching-nameserver.conf-rw-r1rootnamed955Jan212010named.rfc1912.zones-rw-r1rootnamed113Apr2314:55rndc.keyrootrddetc#cp-pnamed.caching-nameserver.confnamed.confrootrddetc#修改后的该文件内容如下：rootrddetc#pwd/var/named/chroot/etcrootrddetc#catnamed.conf/named.caching-nameserver.conf/ProvidedbyRedHatcaching-nameserverpackagetoconfigurethe/ISCBINDnamed(8)DNSserverasacachingonlynameserver/(asalocalhostDNSresolveronly)./See/usr/share/doc/bind*/sample/forexamplenamedconfigurationfiles./DONOTEDITTHISFILE-usesystem-config-bindoraneditor/tocreatenamed.conf-editstothisfilewillbeloston/caching-nameserverpackageupgrade./optionslisten-onport53any;listen-on-v6port53:1;directory/var/named;dump-file/var/named/data/cache_dump.db;statistics-file/var/named/data/named_stats.txt;memstatistics-file/var/named/data/named_mem_stats.txt;/Thoseoptionsshouldbeusedcarefullybecausetheydisableport/randomization/query-sourceport53;/query-source-v6port53;allow-queryany;allow-query-cacheany;loggingchanneldefault_debugfiledata/named.run;severitydynamic;viewlocalhost_resolvermatch-clientsany;match-destinationsany;recursionyes;include/etc/named.rfc1912.zones;rootrddetc#说明：为简单起见，将该文件中的、localhost全部修改成any，且修改时，需要注意左右两边留空格。修改部分在上述配置文件中以红色加粗标示。通过拷贝来生成/var/named/chroot/etc/named.conf文件时，注意加上-p选项，来保证文件的权限问题，否则会导致DNS服务启不来！配置Zone文件，修改/var/named/chroot/etc/named.rfc1912.zones文件配置Zone的目的是为了解析SCANIP，在该文件末尾添加以下反向Zone：.INtypemaster;;allow-updatenone;配置反向Zone之后的该文件内容如下：rootrddetc#pwd/var/named/chroot/etcrootrddetc#lltotal20-rw-rr1rootroot405Apr1807:50localtime-rw-r1rootnamed1230Jan212010named.caching-nameserver.conf-rw-r1rootroot1200Apr2315:03named.conf-rw-r1rootnamed1085Apr2315:19named.rfc1912.zones-rw-r1rootnamed113Apr2314:55rndc.keyrootrddetc#catnamed.rfc1912.zones/named.rfc1912.zones:/ProvidedbyRedHatcaching-nameserverpackage/ISCBINDnamedzoneconfigurationforzonesrecommendedby/RFC1912section4.1:localhostTLDsandaddresszones/See/usr/share/doc/bind*/sample/forexamplenamedconfigurationfiles./zone.INtypehint;filenamed.ca;zonelocaldomainINtypemaster;filelocaldomain.zone;allow-updatenone;zonelocalhostINtypemaster;filelocalhost.zone;allow-updatenone;INtypemaster;filenamed.local;allow-updatenone;INtypemaster;filenamed.ip6.local;allow-updatenone;INtypemaster;filenamed.broadcast;allow-updatenone;INtypemaster;filenamed.zero;allow-updatenone;.INtypemaster;;allow-updatenone;rootrddetc#说明：正常情况下还应该配置正向Zone文件。这里，我们的RAC双节点node1、node2的域名domain都设置为localdomain，而默认情况下，该配置文件(/var/named/chroot/etc/named.rfc1912.zones)的第15行到第20行中已经自带下述正向Zone文件配置信息，所以无需再添加。zonelocaldomainINtypemaster;filelocaldomain.zone;allow-updatenone;配置正、反向解析数据库文件。在/var/named/chroot/var/named路径下进行配置首先，生成正、反向解析数据库文件。利用/var/named/chroot/var/named/localhost.zone复制生成正向解析的数据库文件，利用/var/named/chroot/var/named/localhost.zone复制生成名为0.16.172.的反向解析的数据库文件。rootrddetc#pwd/var/named/chroot/etcrootrddetc#cd/var/named/chroot/var/named/rootrddnamed#lltotal36drwxrwx2namednamed4096Aug262004data-rw-r1rootnamed198Jan212010localdomain.zone-rw-r1rootnamed195Jan212010localhost.zone-rw-r1rootnamed427Jan212010named.broadcast-rw-r1rootnamed1892Jan212010named.ca-rw-r1rootnamed424Jan212010named.ip6.local-rw-r1rootnamed426Jan212010named.local-rw-r1rootnamed427Jan212010named.zerodrwxrwx2namednamed4096Jul272004slavesrootrddnamed#rootrddnamed#lltotal40-rw-r1rootnamed426Apr2316:100.16.172.drwxrwx2namednamed4096Aug262004data-rw-r1rootnamed198Jan212010localdomain.zone-rw-r1rootnamed195Jan212010localhost.zone-rw-r1rootnamed427Jan212010named.broadcast-rw-r1rootnamed1892Jan212010named.ca-rw-r1rootnamed424Jan212010named.ip6.local-rw-r1rootnamed426Jan212010named.local-rw-r1rootnamed427Jan212010named.zerodrwxrwx2namednamed4096Jul272004slavesrootrddnamed#说明：在上述步骤中我们没有配置正向Zone文件，故只需生成反向解析数据库文件，正向解析数据库文件利用默认的localdomain.zone文件。生成的正、反向解析数据库文件名一定要同上述步骤中定义的正、反向Zone文件一致，否则DNS出错！然后，定义正、反向解析数据库文件。在正向解析数据库文件localdomain.zone末尾添加下述内容：scan-clusterINA03添加后内容如下：rootrddnamed#pwd/var/named/chroot/var/namedrootrddnamed#catlocaldomain.zone$TTL86400INSOAlocalhostroot(42;serial(d.adams)3H;refresh15M;retry1W;expiry1D);minimumINNSlocalhostlocalhostINAscan-clusterINA03rootrddnamed#在反向解析数据库文件0.16.172.末尾添加下述内容：203INPTRscan-cluster.localdomain.添加后内容如下：rootrddnamed#pwd/var/named/chroot/var/namedrootrddnamed#$TTL86400INSOAlocalhost.root.localhost.(1997022700;Serial28800;Refresh14400;Retry3600000;Expire86400);MinimumINNSlocalhost.1INPTRlocalhost.203INPTRscan-cluster.localdomain.rootrddnamed#2.3.2测试DNS服务器解析SCANIP正常首先，在DNS服务器76上启动DNS服务：rootrddnamed#/etc/init.d/namedstatusrndc:connectfailed:#953:connectionrefusednamedisstoppedrootrddnamed#/etc/init.d/namedstartStartingnamed:OKrootrddnamed#/etc/init.d/namedstatusnumberofzones:7debuglevel:0xfersrunning:0xfersdeferred:0soaqueriesinprogress:0queryloggingisOFFrecursiveclients:0/1000tcpclients:0/100serverisupandrunningnamed(pid23307)isrunningrootrddnamed#chkconfignamedonrootrddnamed#然后，分别在RAC节点node1、node2的/etc/resolv.conf配置文件中添加下述配置信息：searchlocaldomainnameserver76添加之后：rootnode1#cat/etc/resolv.confsearchlocaldomainnameserver76rootnode1#最后，测试SCANIP解析是否成功？node1测试：rootnode1#nslookup03Server:76Address:76#5372.name=scan-cluster.localdomain.rootnode1#nslookupscan-cluster.localdomainServer:76Address:76#53Name:scan-cluster.localdomainAddress:03rootnode1#nslookupscan-clusterServer:76Address:76#53Name:scan-cluster.localdomainAddress:03rootnode1#node2测试：rootnode2#nslookup03Server:76Address:76#5372.name=scan-cluster.localdomain.rootnode2#nslookupscan-cluster.localdomainServer:76Address:76#53Name:scan-cluster.localdomainAddress:03rootnode2#nslookupscan-clusterServer:76Address:76#53Name:scan-cluster.localdomainAddress:03rootnode2#至此，准备工作中的配置SCANIP通过配置DNS服务器来解析已经成功！2.4建用户、改口令、修改用户配置文件配置11gR2RAC需要安装OracleGridInfrastructure软件、Oracle数据库软件，其中Grid软件等同于Oracle10g的Clusterware集群件。Oracle建议以不同的用户分别安装GridInfrastructure软件、Oracle数据库软件，我们这里以grid用户安装GridInfrastructure，oracle用户安装Oracle数据库软件。并且grid、oracle用户需要属于不同的用户组。在配置RAC时，还要求这两个用户在RAC的不同节点上uid、gid要一致。用户、组的对应信息见下表：GroupNameGroupIDGroupInfoOracleUser(1100)GridUser(1101)oinstall1000InventoryGroupYYdba1300OSDBAGroupYoper1301OSOPERGroupYasmadmin1200OSASMYasmdba1201OSDBAforASMYYasmoper1202OSOPERforASMY(Figure2.4用户、组配置信息表)我们可以通过执行下述shell脚本的1preusers.sh来完成用户、组的创建，脚本的具体内容可见本文档附录。rootnode1shell#pwd/root/shellrootnode1shell#lltotal24-rwxrr1rootroot3544Apr2409:401preusers.sh-rwxrr1rootroot678Apr2409:402predir.sh-rwxrr1rootroot858Apr2409:403prelimits.sh-rwxrr1rootroot465Apr2409:404prelogin.sh-rwxrr1rootroot651Apr2409:405preprofile.sh-rwxrr1rootroot1132Apr2409:406presysctl.shrootnode1shell#./1preusers.shNowcreate6groupsnamedoinstall,dba,asmadmin,asmdba,asmoper,operPlus2usersnamedoracle,grid,AlsosettingtheEnvironmentChangingpasswordforusergrid.passwd:allauthenticationtokensupdatedsuccessfully.Changingpasswordforuseroracle.passwd:allauthenticationtokensupdatedsuccessfully.TheGroupsandusershasbeencreatedTheEnvironmentforgrid,oraclealsohasbeensetsuccessfullyrootnode1shell#idgriduid=1100(grid)gid=1000(oinstall)groups=1000(oinstall),1200(asmadmin),1201(asmdba),1202(asmoper)rootnode1shell#idoracleuid=1101(oracle)gid=1000(oinstall)groups=1000(oinstall),1201(asmdba),1300(dba),1301(oper)rootnode1shell#说明：在节点node2上执行该脚本时，需要将grid用户环境变量ORACLE_SID修改为+ASM2，oracle用户环境变量ORACLE_SID修改为devdb2,ORACLE_HOSTNAME环境变量修改为node2.localdomain2.5建路径、改权限关于grid、oracle用户的环境变量配置信息，见下述表格。EnvironmentVariableGridUserOracleUserORACLE_BASE/u01/app/grid/u01/app/oracleORACLE_HOME/u01/app/11.2.0/grid/u01/app/oracle/product/11.2.0/db_1ORACLE_SIDnode1+ASM1devdb1ORACLE_SIDnode2+ASM2devdb2(Figure2.5环境变量配置信息表)通过执行上述2.4节中脚本2predir.sh来完成相关路径、权限的配置。脚本的具体内容可见本文档附录。rootnode1shell#pwd/root/shellrootnode1shell#