RAC安装文档.doc

ORACLE RAC安装文档程远进 2009-10-241. RAC系统规划硬件基本情况主机: 2台DELL r90，4颗4核CPU，16G内存，2块146硬盘。存储：IP SAN，总容量20TB，分配容量3TB。 节点1 节点2操作系统Enterprise Linux Release 5 Update 3 x86_64Enterprise Linux Release 5 Update 3 x86_64主机名rac1rac2内存16G16G本地磁盘Sda 146GSda 146G共享磁盘（光迁存储）/dev/mpath/vol01 3T 数据库实例/dev/mpath/vol02 10G ocfs /dev/mpath/vol03 300G flashbak公共IP01虚拟IP9专用IP数据库版本OracleOracle RAC SIDzfdxc1zfdxc2数据库名称zfdxc2. 操作系统环境配置Enterprise Linux Release 5默认已有oracle用户，直接设置oracle用户的密码在两个节点上执行：rootrac1 # passwd oracleChanging password for user oracle.New UNIX password: Retype new UNIX password: passwd: all authentication tokens updated successfully.rootrac1 # mkdir -p /home/oracle/product/10.2.1rootrac1 # mkdir /ocfsrootrac2 # chown -R oracle:dba /ocfsrootrac2 # chmod 755 /ocfsrootrac1 # chown -R oracle:dba /home/oracle/productoraclerac1 $ vi .bash_porfileexport PATHexport PS1=/bin/hostname -s- export EDITOR=viexport ORACLE_SID=zfdxc1 #RAC2上为zfdxc2export ORACLE_BASE=/home/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.1/db_1export ORA_CRS_HOME=$ORACLE_BASE/product/10.2.1/crs_1export LD_LIBRARY_PATH=$ORACLE_HOME/libexport PATH=$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:/bin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/X11R6/binrac1- mkdir -p $ORACLE_BASE/adminrac1- mkdir -p $ORACLE_HOMErac1- mkdir -p $ORA_CRS_HOME修改 /etc/hosts。将以下项添加到 /etc/hosts 中 localhost3 rac0 rac1-vip rac1-priv4 rac1 rac2-vip rac2-priv配置 hangcheck timer 内核模块。hangcheck timer 内核模块可监控系统的运行情况，并重新启动出现故障的 RAC 节点。它使用两个参数，即 hangcheck_tick（定义系统检查频率）和 hangcheck_margin（定义在重置 RAC 节点前的最大挂起延时）来确定节点是否出现故障。 在 /etc/modprobe.conf 中添加以下行，以设置 hangcheck 内核模块参数。vi /etc/modprobe.confoptions hangcheck-timer hangcheck_tick=30 hangcheck_margin=180要立即加载模块，执行“modprobe -v hangcheck-timer”安装iSCSI驱动插入操作系统安装盘找到iscsi-initiator-utils-68-0.7.el5.x86_64.rpm包，以root身份在两个节点上执行rpm ivh iscsi-initiator-utils-68-0.7.el5.x86_64.rpm为 OCFS2 和 Oracle ASM 创建磁盘分区安装 oracleasmlib 程序包rootrac1 zfsoft# rpm -ivh oracleasmlib-2.0.2-1.x86_64.rpm Preparing. # 100% 1:oracleasmlib # 100%rootrac1 zfsoft#rootrac1 zfsoft# rpm -qa |grep asmoracleasm-2.6.18-128.el5xen-2.0.5-1.el5oracleasm-2.6.18-128.el5debug-2.0.5-1.el5oracleasmlib-2.0.2-1oracleasm-support-2.1.2-1.el5nasm-0.98.39-3.2.2oracleasm-2.6.18-128.el5-2.0.5-1.el5使用 SSH 建立用户等效性在集群就绪服务 (CRS) 和 RAC 安装过程中，Oracle Universal Installer (OUI) 必须能够以 oracle 的身份将软件复制到所有 RAC 节点，而不提示输入口令。在 Oracle 10g 中，可以使用 ssh 代替 rsh 完成此操作。 要建立用户等效性，请在两个节点上以 oracle 用户身份生成用户的公钥和私钥。打开 rac1 的电源，在这两个节点上执行以下任务。在 rac1 上执行 rac1- mkdir /.sshrac1- chmod 700 /.sshrac1- ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/export/home/oracle/.ssh/id_rsa):Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /export/home/oracle/.ssh/id_rsa.Your public key has been saved in /export/home/oracle/.ssh/id_rsa.pub.The key fingerprint is:87:54:4f:92:ba:ed:7b:51:5d:1d:59:5b:f9:44:da:b6 rac1- ssh-keygen -t dsaGenerating public/private dsa key pair.Enter file in which to save the key (/export/home/oracle/.ssh/id_dsa):Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /export/home/oracle/.ssh/id_dsa.Your public key has been saved in /export/home/oracle/.ssh/id_dsa.pub.The key fingerprint is:31:76:96:e6:fc:b7:25:04:fd:70:42:04:1f:fc:9a:26 在 rac2 上执行 rac2- mkdir /.sshrac2- chmod 700 /.sshrac2- ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/export/home/oracle/.ssh/id_rsa):Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /export/home/oracle/.ssh/id_rsa.Your public key has been saved in /export/home/oracle/.ssh/id_rsa.pub.The key fingerprint is:29:5a:35:ac:0a:03:2c:38:22:3c:95:5d:68:aa:56:66 rac2- ssh-keygen -t dsaGenerating public/private dsa key pair.Enter file in which to save the key (/export/home/oracle/.ssh/id_dsa):Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /export/home/oracle/.ssh/id_dsa.Your public key has been saved in /export/home/oracle/.ssh/id_dsa.pub.The key fingerprint is:4c:b2:5a:8d:56:0f:dc:7b:bc:e0:cd:3b:8e:b9:5c:7c 在 rac1 上执行 rac1- cat /.ssh/id_rsa.pub /.ssh/authorized_keysrac1- cat /.ssh/id_dsa.pub /.ssh/authorized_keysrac1- ssh rac2 cat /.ssh/id_rsa.pub /.ssh/authorized_keysThe authenticity of host rac2 (32) cant be established.RSA key fingerprint is 63:d3:52:d4:4d:e2:cb:ac:8d:4a:66:9f:f1:ab:28:1f.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added rac2,32 (RSA) to the list of known hosts.oraclerac2s password:rac1- ssh rac2 cat /.ssh/id_dsa.pub /.ssh/authorized_keysoraclerac2s password:rac1- scp /.ssh/authorized_keys rac2:/.ssh/authorized_keysoraclerac2s password:authorized_keys 100% 1716 1.7KB/s 00:00在每个节点上测试连接。验证当您再次运行以下命令时，系统是否不提示您输入口令。 ssh rac1 datessh rac2 datessh rac1-priv datessh rac2-priv datessh datessh date3. 配置 Oracle 自动存储管理 (ASM)Oracle ASM 与 Oracle 数据库紧密集成在一起，并与 Oracle 的数据管理工具套件配合工作。它可以简化数据库存储管理，并提供原始磁盘 I/O 的性能。 配置 ASMLib。以 root 用户身份在两个节点上配置 ASMLib。 # /etc/init.d/oracleasm configureConfiguring the Oracle ASM library driver.This will configure the on-boot properties of the Oracle ASM librarydriver. The following questions will determine whether the driver isloaded on boot and what permissions it will have. The current valueswill be shown in brackets (). Hitting without typing ananswer will keep that current value. Ctrl-C will abort.Default user to own the driver interface : oracleDefault group to own the driver interface : dbaStart Oracle ASM library driver on boot (y/n) n: yFix permissions of Oracle ASM disks on boot (y/n) y: yWriting Oracle ASM library driver configuration: OK Loading module oracleasm: OK Mounting ASMlib driver filesystem: OK Scanning system for ASM disks: OK 创建 ASM 磁盘。以 root 用户身份在任何一个节点上创建 ASM 磁盘。 rootrac1 rules.d# /etc/init.d/oracleasm createdisk VOL1 /dev/mpath/vol01Marking disk VOL1 as an ASM disk: OK rootrac1 rules.d# /etc/init.d/oracleasm createdisk VOL2 /dev/ mpath/vol03Marking disk VOL2 as an ASM disk: OK rootrac1 rules.d# /etc/init.d/oracleasm scasdisksUsage: /etc/init.d/oracleasm start|stop|restart|enable|disable|configure|createdisk|deletedisk|querydisk|listdisks|scandisks|statusrootrac1 rules.d# /etc/init.d/oracleasm scandisksScanning the system for Oracle ASMLib disks: OK rootrac1 rules.d# /etc/init.d/oracleasm listdisksVOL1VOL24. 配置 Oracle 集群文件系统 (OCFS2)OCFS2 是 Oracle 开发的一个通用集群文件系统，与 Enterprise Linux 内核集成在一起。它允许所有节点在集群文件系统上同时共享文件，因而消除了管理原始设备的需求。这里，您将在 OCFS2 文件系统中寄宿 OCR 和表决磁盘。您可以从 OCFS2 用户指南获取有关 OCFS2 的其他信息。在 Enterprise Linux 安装期间，您应该已经安装了 OCFS2 RPM。验证 RPM 是否已经安装在两个节点上。 rac1- rpm -qa | grep ocfsocfs2-tools-1.2.2-2ocfs2console-1.2.2-2ocfs2-2.6.9-.1.ELsmp-1.2.3-2创建 OCFS2 配置文件。 在 rac1 上，以 root 用户身份执行# ocfs2console1. OCFS2 控制台：选择 Cluster，然后选择 Configure Nodes。 2. “集群堆栈已经启动”：单击 Close。 3. 节点配置：单击 Add。 4. 新增节点：添加以下节点，然后单击 Apply。 o 名称：rac1 o IP 地址： o IP 端口： 7777 o 名称：rac2 o IP 地址： o IP 端口： 7777验证生成的配置文件。 # more /etc/ocfs2/cluster.confnode: ip_port = 7777 ip_address = number = 0 name = rac1 cluster = ocfs2node: ip_port = 7777 ip_address = number = 1 name = rac2 cluster = ocfs2cluster: node_count = 2 name = ocfs2在 rac1 的 OCFS2 控制台上选择 Cluster 和 Propagate Configuration 以将配置文件传播到 rac2在两个节点上执行下面的过程，将 O2CB 配置为在引导时启动。当系统提示您指定心跳死亡阈值时，您必须指定一个大于 7 的值，以防止节点由于较慢的 IDE 磁盘驱动器而崩溃。心跳死亡阈值是一个用于计算隔离时间的变量。 Fence time (seconds) = (heartbeat dead threshold -1) * 2在我们的环境中，120 秒的隔离时间很合适。两个节点上的心跳死亡阈值应该完全相同。 以 root 用户身份执行 # /etc/init.d/o2cb unloadStopping O2CB cluster ocfs2: OKUnmounting ocfs2_dlmfs filesystem: OKUnloading module ocfs2_dlmfs: OKUnmounting configfs filesystem: OKUnloading module configfs: OK# /etc/init.d/o2cb configureConfiguring the O2CB driver.This will configure the on-boot properties of the O2CB driver.The following questions will determine whether the driver is loaded onboot. The current values will be shown in brackets (). Hitting without typing an answer will keep that current value. Ctrl-Cwill abort.Load O2CB driver on boot (y/n) y: yCluster to start on boot (Enter none to clear) ocfs2:Specify heartbeat dead threshold (=7) 7: 60Writing O2CB configuration: OKLoading module configfs: OKMounting configfs filesystem at /config: OKLoading module ocfs2_nodemanager: OKLoading module ocfs2_dlm: OKLoading module ocfs2_dlmfs: OKMounting ocfs2_dlmfs filesystem at /dlm: OKStarting O2CB cluster ocfs2: OK格式化文件系统。在格式化和挂载文件系统之前，应验证 O2CB 在两个节点上均联机；O2CB 心跳当前没有活动，因为文件系统未挂载。 # /etc/init.d/o2cb statusModule configfs: LoadedFilesystem configfs: MountedModule ocfs2_nodemanager: LoadedModule ocfs2_dlm: LoadedModule ocfs2_dlmfs: LoadedFilesystem ocfs2_dlmfs: MountedChecking O2CB cluster ocfs2: OnlineChecking O2CB heartbeat: Not active您只需在一个节点上格式化文件系统。在 rac1 上，以 root 用户身份执行rootrac1 # mkfs.ocfs2 -C 4K -L ocfs2volume1 /dev/mpath/vol02挂载文件系统。要挂载文件系统，在两个节点上执行以下命令。 rootrac1 # mount -t ocfs2 -o datavolume,nointr /dev/mpath/vol02 /ocfs要在引导时挂载文件系统，在两个节点的 /etc/fstab 中添加以下行。 /etc/fstab/dev/mpath/vol02 /ocfs ocfs2 _netdev,datavolume,nointr 0 0创建 Oracle 集群件目录。在 OCR 和表决磁盘将驻留的 OCFS2 文件系统中创建目录。 在 rac1 上执行 # mkdir /ocfs/clusterware# chown -R oracle:dba /ocfs 现在，您已经完成了 OCFS2 的设置。验证您可以在两个节点的共享集群文件系统上读写文件。5. 安装集群软件将oracle安装包上传到RAC1的/opt/zfsot目录下，安装前先解压安装文件gunzip 10201_clusterware_linux_x86_64.cpio.gz gunzip 10201_database_linux_x86_64.cpio.gz cpio -idcmv 10201_clusterware_linux_x86_64.cpio cpio -idcmv /opt/zfsoft/clusterware/runInstaller1. 欢迎页面：单击 Next。 2. 指定 Inventory 目录和证书： o 输入 inventory 目录的完整路径：/home/oracle/oraInventory。 o 指定操作系统组名：oinstall。3. 指定 Home 详细内容： o 名称：OraCrs10g_home o /u01/app/oracle/product/10.2.0/crs_1 4. 特定于产品的必要条件检查，next5. 指定集群配置：单击 Add6. 指定 Oracle 集群注册表 (OCR) 位置：选择 External Redundancy。 o 指定 OCR 位置：/ocfs/clusterware/ocr7. 指定表决磁盘位置：选择 External Redundancy。表决磁盘位置：/ocfs/clusterware/votingdisk8. install 开始安装9. 执行配置脚本：以 root 用户身份按顺序执行以下脚本（一次执行一个）。在当前脚本完成后，再继续执行下一个脚本。 o 在 rac1 上执行 /home/oracle/oraInventory/orainstRoot.sh。 o 在 rac2 上执行 /home/oracle/oraInventory/orainstRoot.sh。 o 在 rac1 上执行 /home/oracle/product/10.2.1/crs_1/root.sh。 o 在 rac2 上执行 /home/oracle/product/10.2.1/crs_1/root.sh。rac2 上的 root.sh 脚本会自动调用 VIPCA，但会因为“The given interface(s), eth0 is not public.Public interfaces should be used to configure virtual IPs.”错误而失败。如果您的公共接口使用不可路由的 IP 地址 (192.168.x.x)，则 Oracle 集群验证实用程序 (CVU) 将无法找到合适的公共接口。一种解决方法是手动运行 VIPCA。修改vipcarootrac2 # vi /home/oracle/product/10.2.1/crs_1/bin/vipcaif $arch = i686 -o $arch = ia64 -o $arch = x86_64 then LD_ASSUME_KERNEL=2.4.19 export LD_ASSUME_KERNELfiunset LD_ASSUME_KERNEL #增加此内容rootrac2 # vi /home/oracle/product/10.2.1/crs_1/bin/srvctlLD_ASSUME_KERNEL=2.4.19export LD_ASSUME_KERNELunset LD_ASSUME_KERNEL #增加此内容执行以下命令：rootrac2 bin# ./oifcfg setif -global eth0/:publicrootrac2 bin# ./oifcfg setif -global eth1/:cluster_interconnectrootrac2 bin# ./oifcfg getifeth0 28 global publiceth2 global cluster_interconnectrootrac2 bin#./vipca欢迎页面：单击 Next。 网络接口：选择 eth0。 集群节点的虚拟 IP： o 节点名称：rac1 o IP 别名：rac1-vip o IP 地址： 0 o 子网掩码： 92 o 节点名称：rac2 o IP 别名：rac2-vip o IP 地址： 1 o 子网掩码： 92配置助手进度对话框：配置完成后，单击 OK。 配置结果：单击 Exit。 返回到 rac1 的执行配置脚本屏幕，然后单击 OK6. 安装 Oracle 数据库 10g 第 2 版rac1- /opt/zfsoft/database/runInstaller1. 欢迎页面：单击 Next。 2. 选择安装类型： o 选择 Enterprise Edition。3. 指定 Home 详细内容： o 名称：OraDb10g_home1 o 路径：/home /oracle/product/10.2.0/db_14. 指定硬件集群安装模式： o 选择 Cluster Installation。 o 单击 Select All。5. 特定于产品的必要条件检查： o 忽略有关物理内存要求的警告。6. 选择配置选项： o 创建数据库。 7. 选择数据库配置： o 选择 Advanced。 8. 摘要：单击 Install。 9. 数据库模板： o 选择 General Purpose。 10. 数据库标识： o 全局数据库名称：zfdxc o SID 前缀：zfdxc11. 管理选项： o 选择 Configure the Database with Enterprise Manager。12. 数据库证书： o 针对所有帐户使用相同的口令。13. 存储选项： o 选择 Automatic Storage Management (ASM)。14. 创建 ASM 实例： o SYS 口令：。 ASM密码：zfdxc_asm o 选择 Create initialization parameter file (IFILE)。15. ASM 磁盘组： o 单击 Create New。 16. 创建磁盘组：创建两个磁盘组 DG1。o 磁盘组名称：DG1 o 选择 External 冗余。 o 选择磁盘路径VOL1 和VOL2 o 单击 OK。 o 磁盘组名称：DG2。 o 选择 External 冗余。 o 选择磁盘路径 VOL2。 o 单击 OK。 17. ASM 磁盘组：单击 Next。 18. 数据库文件位置： o 选择 Use Oracle-Managed Files。 数据库区域：+DG119. 恢复配置： o 选择 Specify Flash Recovery Area。 闪回恢复区：+DG2 闪回恢复区大小：20480Mo 选择 Enable Archiving。20. 数据库内容： o 选择或取消选择示例模式。21. 数据库服务： o 单击 Next。稍后，您可以使用 DBCA 或 srvctl 创建或修改其他服务。22. 初始化参数： o 选择 Custom。 共享内存管理：50% PROCESS 大小：1000 字符集：ZHS 16GBK23. 数据库存储：单击 Next。 24. 创建选项： o 选择 Create Database。 o 单击 Finish。25. 摘要：单击 OK。 26. 数据库配置助手：单击 Exit。 27. 执行配置脚本：以 root 用户身份执行下面的脚本。 o 在 rac1 上执行 /home/oracle/product/10.2.1/db_1/root.sh。 o 在 rac2 上执行 /home/oracle/product/10.2.1/db_1/root.sh。 28. 返回到 rac1 的执行配置脚本屏幕，然后单击 OK。 安装结束：单击 Exit。检查应用程序资源的状态rac1- crs_stat -tName Type Target State Host -ora.SM1.asm application ONLINE ONLINE rac1 ora.C1.lsnr application ONLINE ONLINE rac1 ora.rac1.gsd application ONLINE ONLINE rac1 ora.rac1.ons application ONLINE ONLINE rac1 ora.rac1.vip application ONLINE ONLINE rac1 ora.SM2.asm application ONLINE ONLINE rac2 ora.C2.lsnr application ONLINE ONLINE rac2 ora.rac2.gsd application ONLINE ONLINE rac2 ora.rac2.ons application ONLINE ONLINE rac2 ora.rac2.vip application ONLINE ONLINE rac2 ora.zfdxc.db application ONLINE ONLINE rac2 ora.c1.inst application ONLINE ONLINE rac1 ora.c2.inst application ONLINE ONLINE rac2 7. 配置透明故障切换 (TAF)Oracle TAF 中的故障切换机制使任何失败的数据库连接能够重新连接到集群中的其他节点。故障切换对用户是透明的。Oracle 在故障切换实例上重新执行查询并继续向用户显示余下的结果。创建一个新的数据库服务。首先，创建一个名为 CRM 的新服务。可以使用 DBCA在 zfdxc1 上创建 CRM 服务。 服务名 数据库名首选实例可用实例TAF 策略CRMzfdxczfdxc1zfdxc2BASIC在 rac1 上，以 oracle 用户身份执行 rac1- dbca1. 欢迎页面：选择 Oracle Real Application Clusters database。 2. 操作：选择 Services Management。 3. 集群数据库列表：单击 Next。 4. 数据库服务：单击 Add。 o 添加服务：输入“CRM”。 选择 zfdxc1 作为首选实例。 选择 zfdxc2 作为可用实例。 TAF 策略：选择 Basic。 o 单击 Finish。5. 数据