Orace 10g RAC软件安装与配置for IBM AIX 6.1

软件安装与配置Orace 10g RAC安装与配置for IBM AIX 6.1公司：厦门智业软件工程公司作者：创建日期：2010-11-19修改日期：2010-11-19版本：1.0参考文档文档控制修改记录日期作者版本2010-11-191.0审阅 日期姓名职位分发 拷贝姓名单位1智业23文档控制II前言1读者1文档结构1第一部分：Oracle Clusterware与Oracle Real Application Clusters安装计划与准备1一、Oracle Clusterware与Oracle Real Application Clusters安装介绍11.Oracle Clusterware与Oracle Real Application Clusters文档集介绍12.Oracle Real Application Clusters准备23.Real Application Clusters安装与准备安装配置任务24.Oracle Database 10g Real Application Clusters存储选择25.Oracle Database 10g 和 Real Application Clusters组件26.必须的操作系统组3第二部分：Oracle Clusterware 和 Real Application Clusters安装准备规程3二、安装前准备31.检查硬件与软件认证32.了解并使用Cluster Verification Utility33.以root的身份登录系统44.检查硬件需求45.检查软件需求56.建立必须的操作系统组和用户77.在所有节点配置SSH（可选）88.配置Configuring Shell Limits, System Configuration和 Network Tuning Parameters109.配置Oracle用户环境1110.检查硬件需求1211.检查网络硬件需求1312.NFS所需网络参数1313.IP地址需求1314.检查网络安装1315.使用CVU检查操作系统安装与硬件1316.标识必须的软件目录1417.标识已存在的Oracle Base目录14三、配置Oracle Clusterware和Oracle Database存储141.Orale cluster，database，recovery文件存储选项142.存储选择指导方针153.建立必须的目录154.选择磁盘文件系统后的检查155.使用共享文件系统配置Oracle Cluster存储166.使用RAW设备配置Oracle Clusterware文件177.为ASM配置磁盘238.使用已存在的ASM磁盘组249.为ASM配置磁盘2410.为数据库文件在RAW上配置磁盘25第三部分：安装Oracle Clusterware 和 Oracle Real Application Clusters28四、安装Oracle Clusterware281.使用CVU检查Oracle Clusterware要求282.使用OUI安装前准备293.使用OUI安装Oracle Clusterware294.安装后格式化OCFS30五、安装Oracle 10g Real Application Clusters301.使用CVU校验数据库安装准备状态302.运行DBCA，选择数据库配置类型303.使用OUI安装Oracle database 10g步骤314.在Windows 平台上的最小内存需求315.卸载RAC软件316.从Windows环境删除Oracle Clusterware317.卸载Oracle Clusterware并降级到9.2328.卸载ASM32六、使用DBCA建立RAC数据库331.在Oracle Real Applicaton Clusters上使用DBCA332.RAC高可用性服务33七、安装之后操作331.必须的操作332.推荐操作34第四部分 Real Application Clusters Environment 配置34八、RAC 数据库参数管理341.参数文件与RAC342.在Oracle RAC中使用SPFILE343.RAC中参数文件搜索顺序35九、了解已安装RAC的配置351.了解RAC配置环境352.什么是OCR353.使用DBCA建立数据库组件35第五部分 Oracle Clusterware与Oracle RAC安装参考信息40附录A：安装过程中的疑难解答401.Oracle Cluster与RAC安装疑难解答40附录B：使用脚本建立RAC数据库401.使用脚本建立RAC数据库40附录D：从一个单实例数据库转换到RAC群集411.转换的先决条件412.从单实例转换到RAC413.Cluser上的单实例到RAC42附录E：RAC环境的目录结构43附录F：如何处理一个已存在的RAC数据库431.备份RAC数据库432.关闭RAC数据库44- 44 -前言 Oracle 10g RAC 安装与配置 for Windows读者此数据库服务报告供以下读者使用： xxx 智业软件文档结构第一部分：Oracle Clusterware与Oracle Real Application Clusters安装计划与必要条件第二部分：Oracle Clusterware与Oracle Real Application Clusters安装前准备规程第三部分：安装Oracle Clusterware与Oracle Real Application Clusters第四部分：Oracle Real Application Clusters环境配置第五部分：Oracle Clusterware与Oracle Real Application Clusters参考资料第一部分：Oracle Clusterware与Oracle Real Application Clusters安装计划与准备一、 Oracle Clusterware与Oracle Real Application Clusters安装介绍1. Oracle Clusterware与Oracle Real Application Clusters文档集介绍 Oracle Database Oracle Clusterware and Oracle Real Application Clusters Installation Guide for Microsoft Windows 文档中包含了安装准备，安装以及安装之后的信息。一些特定的附加信息包含在Oracle Database 10g README or Release Notes中。 Oracle Database Oracle Clusterware and Oracle Real Application Clusters Administration and Deployment Guide包含如何管理Oracle Cluster 组件（如：voting disks，Oracle Cluster Registry (OCR)），如何管理存储与添加删除实例与节点，如何使用AWR实现高可用性与性能管理，如果监视与管理RAC性能，如何使用RMAN备份RAC。2. Oracle Real Application Clusters准备集群校验工具：Oracle提供了Cluster Verification Utility (CVU)来校验硬件产品和安装与配置过程中的所有组件，以保证RAC成功的正确的安装。CVU的详细说明见Oracle Database Oracle Clusterware and Oracle Real Application Clusters Administration and Deployment Guide。硬件准备：每个节点必须具备以下条件 存储群集件和数据库文件的外部共享存储； 作为私有内部连接的私有的IP地址（必须独立于公共网络，在每个节点同样的网络节点口上可访问，每个节点必须唯一）； 私有IP必须存在于/etc/hosts文件中； 使用Virtual IP (VIP)的公共IP地址，VIP必须使用相同的网络，相同的网络接口名； 软件准备：每个节点必须interconnect software protocol to 支持 Cache Fusion, 并且支持Oracle Clusterware polling.。所有节点必须同为32位或是同为64位。3. Real Application Clusters安装与准备安装配置任务 确保操作系统与Oracle软件的组合是Oralce认证的，具体查询metalink：选择“Certify & Availability”，并选择“1.View Certifications by Product.”； 配置高速的内部连接； 决定系统使用的存储并配置共享磁盘，Oracle推荐使用Automatic Storage Management (ASM) and Oracle Managed Files (OMF)或是cluster file system； 当使用多个表决磁盘时，必须确保每个每个表决盘位于独立的物理存储上； Oracle推荐ASM安装在独立的Oracle Clusterware home 和 the Oracle home上 安装第二部分列出的操作系统补丁； 使用CVU校验RAC；4. Oracle Database 10g Real Application Clusters存储选择 Oracle推荐使用Automatic Storage Management (ASM) 或是 a cluster file system 并使用 Oracle Managed Files (OMF)。5. Oracle Database 10g 和 Real Application Clusters组件 Oracle Clusterware：在安装Oracle Clusterware时需要提供每个节点的名字，Oracle Clusterware Home所有节点共享，也能够每节点私有。当使用第三方集群件时，Oracle Clusterware可以与第三方集群件交互。 已安装的Real Application Clusters 组件：在RAC环境的所有实例共享控制文件，服务器参数文件，重做日志文件和数据文件。每个实例有一套自己的重做日志文件用于实例恢复。6. 必须的操作系统组 The Oracle Inventory group (oinstall) The OSDBA group (dba) The OSOPER group (oper) The Oracle Software Owner user (oracle)第二部分：Oracle Clusterware 和 Real Application Clusters安装准备规程二、 安装前准备本章描述了在开始Oracle Universal Installer (OUI) 安装 Oracle Clusterware and Oracle Real Application Clusters (RAC)之前所必须完成的工作（AIX）。1. 检查硬件与软件认证查询登录metalink，选择“Certify & Availability”，选择“Certifications”，选择“Product Availability, Desupport Notices, and Alerts”2. 了解并使用Cluster Verification UtilityCluster Verification Utility (CVU)是执行Oracle Clusterware和RAC requirements系统检查的工具。运行CVU命令：mediaclusterwarecluvfyruncluvfy.sh options例子：使用CVU检查节点环境$ ./runcluvfy.sh comp nodereach -n node1,node2 -verbose使用CVU测试预安装步骤/$ runcluvfy.sh stage -pre crsinst -n node_list使用CVU帮助cluvfy comp -list: CVU显示组件列表及简要描述；cluvfy comp -help: CVU 显示有效组件语法；cluvfy stage -list: CVU显示有效步骤；cluvfy stage -help: CVU 显示有效步骤语法使用-verbose显示“unknown”时可能的原因 节点关闭 在Oracle Clusterware home 或Oracle home directory错过CVU命令 开始CVU命令的用户帐号在节点上没有足够的权限 节点错过操作系统补丁或软件包 节点超出最大进程数或最大打开的文件数，或IPC参数有问题如：share memory或semaphore3. 以root的身份登录系统 从X Window System workstation 或X terminal安装n 开始一个本地终端会话；n 如果不是在本地系统安装那么使能远程主机显示：xhost + hostname；n 登录到本地系统：telnet remote_host；n 如果不是以root身份登录那么：su root； 使用x server从PC或其它系统上安装n 开始x server软件n 配置安全设置允许远程主机使用X应用n 连接到远程系统开始终端会话n 如果不是以root身份登录那么：su root；4. 检查硬件需求4.1 检查物理内存尺寸（大于512M）# /usr/sbin/lsattr -E -l sys0 -a realmem 4.2 检查交换空间（大于1GB或RAM的1-2倍）# /usr/sbin/lsps -a4.3 检查可用的临时空间（大于400M）# df -k /tmp4.4 检查系统可用磁盘空间#df -k4.5 检查系统体系结构（32位或64位）# /usr/bin/getconf HARDWARE_BITMODE5. 检查软件需求5.1 所需AIX软件包如下表：Installation Type or Product Requirement All installations Operating system version and maintenance level: AIX 5L version 5.2, Maintenance Level 1 or higher Operating system filesets: ctoolsReal Application Clusters High Availability Cluster Multi-Processing (HACMP) v5.1 Note: HACMP is required only if you want to use raw logical volumes for Oracle CRS or database files. General Parallel File System (GPFS) v2.1 Note: GPFS is required only if you want to use a cluster file system for Oracle CRS or database files. Oracle Spatial AIXwindows Motif Libraries: X11.motif.libNote: This software is required only to build the sample programs. Oracle Messaging Gateways IBM WebSphere MQ V5.3, client and server: mqm.Client.Bndmqm.Server.BndOracle JDBC/OCI Drivers You can use the following optional IBM JDK versions with the Oracle JDBC/OCI drivers, however they are not required for the installation: JDK (64-bit) JDK 1 (32-bit) JDK 8 Note: IBM JDK (32-bit) is installed with this release. Pro*C/C+, Oracle Call Interface, Oracle C+ Call Interface, Oracle XML Developers Kit (XDK) C for AIX Compiler V: vac.C VisualAge C+ Compiler V6.0: vacpp.cmp.core Oracle Transparent Gateway for Sybase Either of the following: Sybase Adaptive Server Enterprise V12 or 12.5 Sybase Open Client V12 or 12.5 Open Client is required if the Sybase server is not on the local node. 5.2 检查AIX版本# oslevel -r5.3 检查是否安装软件包# lslpp -l bos.adt.base bos.adt.lib bos.adt.libm bos.perf.perfstat bos.perf.libperfstat ctools5.4 检查必须的补丁包（AIX 5.2）Installation Type or Product Requirement All installations Authorized Problem Analysis Reports (APARs): IY43980: libperfstat.h not ANSI-compliant IY44810: DSI IN BMRECYCLE IY45462: Definition of isnan() in math.h incorrect IY45707: J2 READAAHEAD/CIO INTERACTION IY46214: dropping partial connections leaves them on so_q0 IY46605: exec of 32 bit application can fail on 64 bit kernel IY48525: SDK 1.4.1 32-BIT SR1: CA141-20030930 IY51801: race condition in aio_nwait_timeout Pro*C/C+, Oracle Call Interface, Oracle C+ Call Interface, Oracle XML Developers Kit (XDK) Program Technical Fixes (PTFs): U489726 - vac.C. (or later) Oracle JDBC/OCI Drivers Note: These APARs are required only if you are using the associated JDK version. APARs required for JDK (64-bit): IY48526: SDK 1.4.1 64-BIT SR1: CAIX64141-20030930 APARs required for JDK 1 (32-bit): IY47055: SDK 1.3.1 32-BIT PTF: CA131-20030630A APARs required for JDK 8: IY40034: SDK 1.2.2 PTF: CA122-20030115 Oracle Messaging Gateway Corrective service diskettes (CSDs) for WebSphere MQ: CSD03 or later for WebSphere MQ V5.3 (U485561) Real Application Clusters APARs and PTFs required for HACMP: IY42783: CT:LX: RMC daemon may hang if managed nodes recycle IY43602: DISK FAILURES CAUSING QUORUM TO BE LOST IS NOT IY45695: BASE FIXES FOR HACMP 5.1.0 U496124: cluster.es.server.rte. APARs and PTFs required for GPFS: IY52454 efix U489058: mmfs.base.cmds. U496347: mmfs.gpfs.rte.0 U496395: mmfs.gpfs.rte.0 5.5 检查是否安装补丁包GPFS必须安装IY52454（补丁下载：/aix/efixes/iy52454/）# /usr/sbin/instfix -i -k IY22854 IY26778 .5.6 检查PTF安装lslpp -l -B U489726 U485561 .6. 建立必须的操作系统组和用户 操作系统用户与组说明：n The OSDBA group (typically, dba)：如果不使用默认dba组，那么安装时必须选择自定义安装，输入指定组的名字。n The OSOPER group (typically, oper)n 无特权用户：确认存在nobody用户n The Oracle Inventory group (typically, oinstall)：做为安装Oracle软件用户的主要组。n The Oracle software owner user (typically, oracle)：安装用户 建立Oracle Inventory GroupOracle在第一次安装时建立oraInst.loc文件，这个文件记录了oinstall组和Oracle Inventory directory的路径；查看文件内容：more /var/opt/oracle/oraInst.loc 建立OSDBA组n mkgroup dba 建立OSOPER组n mkgroup oper 建立Oracle软件用户n 确定Oracle用户是否存在：id oraclen 建立Oracle用户：useradd u 111 g oinstall G dba,oper oraclen 设置Oracle用户密码：passwd oraclen 如果用户存在改变Oracle用户：chuser g oinstall G dba,oper oracle 校验nobody用户n 确定Oracle用是否存在：id nobodyn 建立nobody用户：useradd nobody 在其它节点建立用户和组n Oracle要求所有节点建立的用户和组ID要相同，通过检查/etc/group确定组id在所有节点可用，可通过groupmod改变组ID； 建立组n mkgroup g 106 oinstalln mkgroup g 107 dban mkgroup g 108 opern mkgroup g 109 hagsuer 在所有节点配置用户等值关系，编辑/etc/hosts.equiv文件增加如下内容node1-public oraclenode2-public oracle作为选择也可以使用oracle/.rhosts文件 测试# su oracle$ rsh nodename1 date$ rsh nodename2 date$ exit7. 在所有节点配置SSH（可选） 在安装Oracle之前，需要配置为Oracle用户配置SSH，OUI在远程安装时使用SSH和SCP运行命令和复制文件。 如果SSH不存在那么Oracle尝试使用remsh和rcp替换 查看SSH是否存在：ps ef | grep sshd注意：运行NETCA和DBCA时ssh和scp命令必须位于目录，如果此目录下不存在ssh和scp命令，那么为ssh和sc p建立一个符号连接 在群集成员节点上配置SSHn 在每个节点上建立RSA和DSA keyn 登录oracle用户n 在Oracle用户home下建立.ssh目录mkdir /.sshchmod 700 /.sshn 为version 2 的ssh协议生成RSA key/usr/bin/sshkeygen t rsa根据提示做：同意key文件默认位置，输入并确认Oracle用户的密码这个命令写一个public key到/.ssh/id_rsa.pub文件并写一个private key到/.ssh/id_rsa文件n 为version 2 的ssh协议生成RSA key/usr/bin/sshkeygen t dsa根据提示做：同意key文件默认位置，输入并确认Oracle用户的密码这个命令写一个public key到/.ssh/id_dsa.pub文件并写一个private key到/.ssh/id_dsa文件n 增加一个keys到key文件 建立一个认证文件：touch /.ssh/authorized_keys 使用SSH将/.ssh/id_rsa.pub and /.ssh/id_dsa.pub内容复制到/.ssh/authorized_keys文件，并在提示时输入oracle用户的密码。第一次运行时会提示主机不能建立，同意后会生成known_hosts在里面保存主机名。n oraclexmfydb1 .ssh$ ssh xmfydb1 cat /home/oracle/.ssh/id_rsa.pub authorized_keysn oracle xmfydb1s password:n oracle xmfydb1 .ssh$ ssh xmfydb1 cat /home/oracle/.ssh/id_dsa.pub authorized_keysn oracle xmfydb2.ssh$ ssh xmfydb2 cat /home/oracle/.ssh/id_rsa.pub authorized_keysn oracle xmfydb2s password:n oracle xmfydb2 .ssh$ ssh xmfydb2 cat /home/oracle/.ssh/id_dsa.pub authorized_keysn oraclexmfydb2s password: 使用SCP或SFTP复制authorized_keys到远程节点n scp authorized_keys xmfydb1:/home/oracle/.ssh 为所有节点的.ssh/authorized_keys改变权限n chmod 600 /.ssh/authorized_keys 在群集成员节点上使能SSH用户匹配n exec /usr/bin/ssh-agent $SHELLn ssh-add 根据提示输入密码，如果ssh配置正确则使用ssh或scp命令将不再提示密码n If you are on a remote terminal, and the local node has only one visual，那么设置DISPLAYn export DISPLAY=xmfydb2:0 测试ssh配置n ssh xmfydb1 daten ssh xmfydb2 date If you are using a remote client to connect to the local node, and you see a message similar to Warning: No xauth data; using fake authentication data for X11 forwarding, then this means that your authorized keys file is configured correctly, but your ssh configuration has X11 forwarding enabled. To correct this, proceed to next step 为了确保安装不会由于X11 forwarding 而失败，为Oracle安装用户建立user_level SSH Client配置文件n vi oracle/.ssh/confighost * ForwardX11 no 防止stty命令导致Oracle Clusterware安装错误n 如果在系统中的隐藏文件（如：.bashrc或.cshrc）包含stty命令将导致安装错误，为了解决这个问题修改这些文件禁止STDERR输出Bourne, Bash, or Korn shell:if -t 0 ; then stty intr CfiC shell:test -t 0if ($status = 0) then stty intr Cendif8. 配置Configuring Shell Limits, System Configuration和 Network Tuning Parameters 使用smit chuser配置Shell Limits：Shell Limit 推荐值 Soft FILE size -1 (Unlimited) Soft CPU time -1 (Unlimited) Soft DATA segment -1 (Unlimited) Soft STACK size -1 (Unlimited) 使用smit chgsys配置System Configuration ParametersPROCESSES = 2048注：这个参数值至少应该为Oracle的processes+parallel_max_servers+128 配置Network Tuning Parameters如下列表Network Tuning Parameter 推荐值 ipqmaxlen 512 rfc1323 1 sb_max 2*655360 tcp_recvspace 65536 tcp_sendspace 65536 udp_recvspace 655360 注：这个推荐值应该是udp_sendspace参数值的10倍，且比sb_max小udp_sendspace 65536 注：这个值相对于数据库安装，如用于产品数据库，这个参数的最小值应该是oracle参数(DB_BLOCK_SIZE * DB_MULTIBLOCK_READ_COUNT) + 4 KB配置方法：1 检查当前配置# /usr/sbin/no -a | more2 确认系统是否运行在兼容模式# /usr/sbin/lsattr -E -l sys0 -a pre520tune返回pre520tune enable Pre-520 tuning compatibility mode True表示系统运行在兼容模式3 如果系统运行在兼容模式使用下列方式修改参数# /usr/sbin/no -o parameter_name=value编辑/etc/文件if -f /usr/sbin/no ; then /usr/sbin/no -o udp_sendspace=65536 /usr/sbin/no -o udp_recvspace=655360 /usr/sbin/no -o tcp_sendspace=65536 /usr/sbin/no -o tcp_recvspace=65536 /usr/sbin/no -o rfc1323=1 /usr/sbin/no -o sb_max=2*655360 /usr/sbin/no -o ipqmaxlen=512fi4 如果系统运行在非兼容模式那么ipqmaxlen parameter:/usr/sbin/no -r -o ipqmaxlen=512其它参数 parameter:/usr/sbin/no -p -o parameter=value这些命令修改/etc/tunables/nextboot文件，在系统下次重新启动时生效9. 配置Oracle用户环境 开始一个终端会话 使X windows应用能在系统上显示： xhost + 登录使用Oracle用户：su oracle 确定使用的shell：echo $shell 编辑. profile或.login文件：vi . profile 或 vi .loginn mask 022n 如果ORACLE_BASE,ORACLE_HOME,ORACLE_SID被设置则移除它们 执行脚本：. ./.profile 或 source ./.login 配置DISPLAY环境变量：n export DISPLAY=hostname:0.0 或n setenv DISPLAY hostname:0.0 如果/tmp空间不足400M设置TEMP和TMPDIR变量 检查磁盘空间：bdf 建立临时目录：n su rootn mkdir /mount_point/tmpn chmod 775 /mount_point/tmpn exit 设置环境变量n export TEMP=/mount_point/tmpn export TMPDIR=/mount_point/tmp 或n setenv TEMP /mount_point/tmpn setenv TMPDIR /mount_point/tmp 设置ORACLE_BASE环境变量n export ORACLE_BASE=/oracle 或n setenv ORACLE_BASE=/oracle 如果使用RAW设备设置DBCA_RAW_CONFIG环境变量export DBCA_RAW_CONFIG=$ORACLE_BASE/oradata/dbname/dbname_raw.conf 或setenv DBCA_RAW_CONFIG=$ORACLE_BASE/oradata/dbname/dbname_raw.conf 确保ORACLE_HOME和TNS_ADMIN环境变量没有被设置n unset ORACLE_HOMEn unset TNS_ADMIN 或n unsetenv ORACLE_HOMEn unsetenv TNS_ADMIN 检查环境设置n umaskn env | more10. 检查硬件需求10.1 检查物理内存尺寸（大于512M）# /usr/sbin/lsattr -E -l sys0 -a realmem 10.2 检查交换空间（大于1GB或RAM的1-2倍）# /usr/sbin/lsps -a10.3 检查可用的临时空间（大于400M）# df -k /tmp10.4 检查系统可用磁盘空间#df -k10.5 检查系统体系结构（32位或64位）# /usr/bin/getconf HARDWARE_BITMODE11. 检查网络硬件需求 每个节点至少两块网卡； 私有和公有网络接口名必须不同，且不能包含多语言字符。名字区分大小写； 所有节点的私有网络接口名必须相同； 所有节点的共有网络名必须相同； 为了提升可靠性，为公有和私有网络配置冗余 对于公用网络必须支持TCP/IP 对于私有网络必须支持UDP并能切换到TCP/IP12. NFS所需网络参数 NFS 缓存配置参数rsize 和 wsize至少16384，Oracle推荐32768，修改/etc/fstab文件配置n nfs_server:/vol/DATA/oradata /home/oracle/netapp nfs rw,hard,nointr,rsize=32768,wsize=32768,tcp,noac,vers=3 1 2 Oracle推荐使用forcedirectio以获得更好的性能，但是forcedirectio选择只能用于数据文件不可用于可执行文件。nfs_server:/vol/DATA/oradata /home/oracle/netapp nfs -yesrw,bg,vers=3,proto=tcp,noac,forcedirectio,hard,nointr,timeo=600,rsize=32768,wsize=32768,suid13. IP地址需求 在开始安装之前必须确定IP地址； 为公有网络接口配置一个IP地址关联一个主机名并注册到DNS中； 为主公有网络接口配置一个Virtual IP地址关联一个主机名并注册到DNS中，VIP必须和公共接口在同一个子网内，客户端应该配置连接VIP以实现IP自动失败切换； 为每个私有网络接口配置一个私有IP和主机名，Oracle推荐使用10.或192.168.； 可以使用/etc/hosts文件配置 节点时间必须一致，建议配置NTP同步节点时间。 检查网络配置：/sbin/ifconfig14. 检查网络安装 runcluvfy.sh comp nodecon -n node1,node2 verbose15. 使用CVU检查操作系统安装与硬件 runclucvu.sh stage post hwos n node1,node2 v /mountpoint/crs/Disk1/cluvfy/runcluvfy.sh comp sys -n node_list -p crs|database -osdba osdba_group -orainv orainv_group -verbose16. 标识必须的软件目录 Oracle Base Directory：/mount_point/app/oracle_sw_owner