RAC_Oracle11g_asm_grid_openfile搭建集群环境.docx

任聪 QQ 786399919 因工作需要研究了RAC整个部署过程，从零到完成，客服了许许多多的问题，请教了很多人，感谢大家的指导，因为有你们我才能完成这次的实验。Oracle11g_asm_grid_openfile 搭建集群环境方案目录第一章.Oracle 群集基础知识4第一节.Oracle 集群体系结构4第二节.RAC 的负载均衡示意4第二章.环境的安装规划1第一节.数据库设定1第二节.网络环境设定1第三节.磁盘管理设定1第四节.安装包下载1一、操作系统1第三章.操作系统的安装2第一节.操作系统准备2第二节.图形化界面VNC安装3一、服务端3二、客户端4第三节.CentOS6.5安装4第四节.openfile环境搭建18一、数据库相关软件包18二、openfile共享存储准备18三、openfile设置38第四章.环境的参数配置47第五节.rlwrap-0.37的安装47第一节.安装RPM包48第二节.配置用户环境49一、创建用户组及用户（节点 1、2）49二、创建用户登录脚本49第五章.配置共享存储57第一节.ISCSI挂载共享存储58一、安装配置 iSCSI 支持（节点 1、2）58二、磁盘分区（仅在节点 1 执行）： 查看分区 fdisk -l58三、同步磁盘分区（节点 1、2 执行）58第二节.配置 ASMLib 支持59一、安装支持包（节点 1、2）59二、创建 ASM 磁盘（仅在节点 1 执行）59三、同步 ASM 磁盘信息（节点1、 2 执行）：60第六章.安装 grid60第一节.使用 runcluvfy 校验Oracle RAC安装环境60第二节.用户有效性配置60一、GRID用户（节点1、2）60二、ORACLE用户（节点1、2）61第三节.GRID安装61一、准备数据包：61二、安装过程（一个节点安装即可）62三、安装后的集群检查68第七章.安装数据库71第一节.安装数据库软件71第二节.配置 SSH 信任通道71第三节.验证 Oracle Grid Infrastructure 和数据库配置：76一、用 grid 用户，检查数据库集群：76二、检查集群的运行状况 （集群化命令）76三、所有 Oracle 实例 （数据库状态）76四、单个 Oracle 实例 （特定实例的状态）76五、节点应用程序 （状态）76六、节点应用程序 （配置）77七、列出配置的所有数据库77八、ASM （状态）77九、TNS 监听器 （状态）77十、TNS 监听器 （配置）78十一、SCAN （状态）78十二、SCAN （配置）78十三、VIP （特定节点的状态）78十四、VIP （特定节点的配置）78十五、节点应用程序配置 （VIP、GSD、ONS、监听器）78十六、验证所有集群节点间的时钟同步79十七、在本地服务器上停止 Oracle Clusterware 系统【root】80十八、在本地服务器上启动 Oracle Clusterware 系统【root】80十九、使用 SRVCTL 启动/停止所有实例【root】80第八章.客户端配置及归档日志设置80第四节.客户端设置80第五节.归档日志设置：80第九章.异常问题处理跟踪81第六节.【RAC】11gR2 RAC安装中的Task resolv.conf Integrity问题81第七节.the kernel failed to re-read the partition table on the /dev/sda (Device82第八节.Linx下安装oracle grid 11.2是不能自动发现ASM磁盘82第九节.INFO: cannot stat ntcontab.o82第十节.Failed to create keys in the OLR83第十一节.INS-20802 DNS83第十章.ORACLE RAC 运行及维护84第十二节.节点重启之后，无法启动集群服务84第十三节.em 控制台无法访问84第十四节.无法通过 scan-ip 进行连接84原因：没有监听再 vip 的 ip 上84第十五节.创建表空间大小超 32G84第一章. Oracle 群集基础知识第一节. Oracle 集群体系结构第二节. RAC 的负载均衡示意每一个集群节点都有一个单独实例，通过 RAC 全局缓存服务同步各个节点。SGA：System Global Area 是 Oracle Instance 的基本组成部分，在实例启动时分配;系统全局域 SGA 主要由 三部分构成：共享池、数据缓冲区、日志缓冲区第二章. 环境的安装规划第一节. 数据库设定主机名ORACLE实例名GRID-ASM实例名数据库名数据库存CRS 存储归档日志存储rac1 orcl1+ASM1orclASMASMASMrac2 orcl2+ASM2第二节. 网络环境设定主机IP地址操作系统备注Openfile9Openfile2.99用于web访问端口，端口446rac16CentOS6.5rac1-pubrac27CentOS6.5rac2-pubrac18CentOS6.5rac1-prirac29CentOS6.5rac2-prirac18CentOS6.5rac1-viprac29CentOS6.5rac2-viprac10CentOS6.5rac-scan第三节. 磁盘管理设定这个的概念不是非常清楚，暂且如此设定，后续沟通，咨询专业人员。磁盘管理磁盘名称ASMDATADG数据存储ASMFLASHDG恢复区ASMGRIDDG操作系统默认ORACLE建议值Block DeviceASMlib NameSizeComments/dev/sdaOCR_VOTE011 GBASM Diskgroup for OCR and Voting Disks/dev/sdbOCR_VOTE021 GBASM Diskgroup for OCR and Voting Disks/dev/sdcOCR_VOTE031 GBASM Diskgroup for OCR and Voting Disks/dev/sddASM_DATA012 GBASM Data Diskgroup/dev/sdeASM_DATA022 GBASM Data Diskgroup/dev/sdfASM_DATA032 GBASM Data Diskgroup/dev/sdgASM_DATA042 GBASM Data Diskgroup/dev/sdhASM_DATA052 GBASM Flash Recovery Area Diskgroup/dev/sdiASM_DATA062 GBASM Flash Recovery Area Diskgroup/dev/sdjASM_DATA072 GBASM Flash Recovery Area Diskgroup/dev/sdkASM_DATA082 GBASM Flash Recovery Area Diskgroup第四节. 安装包下载一、 操作系统安装rac前需要把这个相关的软件全部下载完成，以备后面使用。CentOS6.5-64 操作系统软件/cPBF9IeCLrVh9 （提取码：4980）openfileresa-2.99.1-x86_64 共享存储软件/cPBF9IeCLrVh9 （提取码：4980）ORACLE DATA-11GR2 数据库软件/cPxECqsP5F6TY （提取码：6cff）ORACLE GRID11G 集群管理软件/cPxECqsP5F6TY （提取码：6cff）rlwrap-0.37 sqlplus输入优化工具/cPuzp2pzbNahN （提取码：ee9c）VNC 图形化安装工具/cPuGSeLNvBtqB （提取码：ce4b）RACA 视屏教程，只具有参考意义。/cPxURwScIC2Xt （提取码：dbff）RAC_PACKAGE RAC 安装可能需要的一些软件包（缺少的需要网上下载）/cPHgYrXxIbpc9 （提取码：5ca0）第三章. 操作系统的安装第一节. 操作系统准备1) 主机名： rac1, rac22) CentOS6.5虚拟机配置CentOS6.5 64位系统3) rac1和rac2虚拟机配置主机内存硬盘网卡RAC1=8G=50G,建议100G=2 块RAC2=8G=50G,建议100G=2 块4) openfiler虚拟机配置我用的是最新的版本，2.99 X86-64/cPuG2F4Rnw9hX （提取码：4baa）内存：2G操作系统硬盘：20G，共享磁盘80G网卡：1 块5) 磁盘分区测试时发现grid在安装时对swap分区的大小有要求，虚拟机测试时建议swap最小5G，剩下的全部monut到根目录就可以分区名称大小SWAP测试时最小5G，生产默认即可/剩余全部6) 网卡raceth IPADDRNETMASK rac1 eth16eth28 rac2 eth17eth29注意事项： 1.网卡的名称，即上面列表的eth列双击必须完全一致，网段必须完全一致7) 安全配置1. 关闭防火墙 service iptables stopchkconfig iptables off2. 关闭 SELinux查看SELinux状态：1、/usr/sbin/sestatus -v #如果SELinux status参数为enabled即为开启状态SELinux status: enabled2、getenforce #也可以用这个命令检查关闭SELinux：1、临时关闭（不用重启机器）：setenforce 0 #设置SELinux 成为permissive模式 #setenforce 1 设置SELinux 成为enforcing模式2、修改配置文件需要重启机器：修改/etc/selinux/config 文件将SELINUX=enforcing改为SELINUX=disabled重启机器即可第二节. 图形化界面VNC安装一、 服务端/cPuGSeLNvBtqB （提取码：ce4b） 下载后放到服务器上，此处步骤略解压完成后，进入安装目录执行下面的命令./vncinstall安装完成 执行vncserver即可 二、 客户端/cPuGSeLNvBtqB （提取码：ce4b）安装vnc-E4_2_9-x86_win32_CHS.exe 运行即可sn: 5D7L8-ZQXSA-2L5D4-4UFB4-PWDLA第三节. CentOS6.5安装/cPuGvcR2KkWuh （提取码：ac9b）虚拟机的内存建议设置大于2G，否则后续步骤会很慢，我的机器性能不足，所以是1024磁盘允许的话，建议大于30G一共新增4个网卡，全部选中NAT模式(rac配置每个实例最小需要2个网卡，这里的4个一个用于和openfile系统对接，一个用于外网下载包)hostname最好设置的简单些，如rac1分区选择自定义分区，否则后期grid安装时会提示空间不足，届时还得扩展分区时，一个swap（建议最小5G），剩下全部mount到根目录安装完成后，重启即可第四节. openfile环境搭建本文采用 CentOS6.5 虚拟主机搭建实验平台，在其上创建 3 台服务器：两台用于oracle rac，一台用于 openfiler 搭建共享存储。使用 vmware workstation 也可以搭建本文的实验环境。 一、 数据库相关软件包linux_x64_11gR2_database_grid.tar.gzlinux_x64_11gR2_database.tar.gzASMLib:Drivers for kernel 2.6.18-194.el5二、 openfile共享存储准备OpenFile是在rPath Linux基础上开发的，它能够作为一个独立的Linux操作系统发行。Openfiler是一款非常好的存储管理操作系统，开源免费，通过web界面对存储磁盘的管理，支持现在流行的网络存储技术IP-SAN和NAS，支持iSCSI、NFS、SMB/CIFS及FTP等协议。1) 虚拟机配置过程1. 创建虚拟机点击创建新的虚拟机安装向导选择自定义，点击下一步硬件兼容性，选择Workstation 10点击下一步，选择稍后安装操作系统客户机操作系统，选择其它，版本其它命名虚拟机，名称以及位置处理器设置，因为我是在本机进行的配置，故这里默认即可。内存调整，本机测试时将默认的256调整为512即可。网络配置，第一个网卡一定要是NAT,网络地址eth0要选用默认的NAT模式磁盘设置，测试本机按照默认值进行设定，不建议选择立即分配选择磁盘文件存档路径到此一个虚拟机的初步配置已经完成，点击完成。2. 磁盘调整点击编辑此虚拟机设置准备新增磁盘第二个磁盘是用来存储数据的，所以要大些，试验可以设置为40G，生产按需分配，建议100-200G 添加外部资源（挂载操作系统ISO），点击CD/DVD(IDE)选择操作系统ISO文件的具体存放路径2) 虚拟机安装过程ENTERNextUsYES这里是选择操作系统安装在哪一个分区，我们一般把操作系统装在第一个建的小分区上，故把第二个分区勾选去掉我们选择第一块10GB的硬盘用作安装OpenFile，另一块硬盘暂时不做操作，稍后配置界面再进行。两个网卡都要active，然后编辑eth1进行网络配置Eth0是NAT，不需要编辑，ETH1是网桥需要设定IP地址我们不需要IPv6所以禁用IPv6实验环境没有网关，所以提示警告，Continue继续。选择地区，按Next输入密码按Next按Next开始安装按Reboot重启后完成安装重启后注意下面截图红色标注的内容，输入到浏览器进行登录有的时候，系统会提示三、 openfile设置在IE地址栏里输入刚才白圈里的内容，弹出警告框，单击仍然继续输入用户名密码，初始用户名openfiler，初始密码password登陆成功1) System标签现在配置网络访问控制，Name可以自己取，Network/Host是可访问的网段，子网掩码，类型为共享。点击Update2) Volumes标签点击下面的蓝色字体后出现下面的页面信息点击Block Devices后点击/dev/sdba点击页面右下角Reset，然后点击Create。分区类型为Physical volume Volume Groups输入名称，勾选复选框，单击Add volume groupAdd Volume输入内容，调整磁盘大小为最大（如果想分NAS的可以预留部分空间），卷类型选择block（iSCSI，FC，etc）完成创建可以点击Manage Volumes查看详细信息3) SERVICE标签点击Services标签栏设置iSCSI Target 为Enable 开启服务Start。返回Volumes标签页，点击iSCSI Targets点击Add选择LUN Mapping标签 点击Map点击 Network ACL 标签设置Access为Allow 然后点击Update到此存储的配置已经完成第四章. 环境的参数配置第五节. rlwrap-0.37的安装/cPuzp2pzbNahN （提取码：ee9c）解压后进入目录，执行下面的安装命令./configure & make & make installrootrac1 rlwrap-0.37# which rlwrap/usr/local/bin/rlwrap成功后的信息如下参数配置为了使用该工具，我们需要在ORACLE,GRID的环境变量中增加如下内容.bash_profilealias rlsqlplus=rlwrap sqlplus alias rlrman=rlwrap rman第一节. 安装RPM包安装这些包用于GRID，ORACLE安装时依据其检测结果缺少哪个进行安装，但是按照我的经验， 这些最好全部都提前安装完成。rpm -ivh compat-glibc-2.5-46.2.x86_64.rpm -force -nodepsrpm -ivh compat-glibc-headers-2.5-46.2.x86_64.rpm -force -nodepsrpm -ivh compat-libstdc+-33-3.2.3-69.el6.x86_64.rpm -force -nodepsrpm -ivh glibc-2.12-1.132.el6.x86_64.rpm -force -nodepsrpm -ivh glibc-common-2.12-1.132.el6.x86_64.rpm -force -nodepsrpm -ivh glibc-devel-2.12-1.132.el6.x86_64.rpm -force -nodepsrpm -ivh glibc-headers-2.12-1.132.el6.x86_64.rpm -force -nodepsrpm -ivh glibc-utils-2.12-1.132.el6.x86_64.rpm -force -nodepsrpm -ivh iscsi-initiator-utils-73-14.el6.x86_64.rpm -force -nodepsrpm -ivh iscsi-initiator-utils-devel-73-14.el6.x86_64.rpm -force -nodepsrpm -ivh kmod-oracleasm-2.0.6.rh1-3.el6.x86_64.rpm -force -nodepsrpm -ivh libaio-devel-0.3.105-2.x86_64.rpm -force -nodepsrpm -ivh libstdc+-4.4.7-4.el6.x86_64.rpm -force -nodepsrpm -ivh libstdc+-devel-4.4.7-4.el6.x86_64.rpm -force -nodepsrpm -ivh libstdc+-docs-4.4.7-4.el6.x86_64.rpm -force -nodepsrpm -ivh oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpm -force -nodepsrpm -ivh oracleasmlib-2.0.4-1.el5.x86_64.rpm -force -nodepsrpm -ivh oracleasm-support-2.1.8-1.el6.x86_64.rpm -force -nodepsrpm -ivh pdksh-5.2.14-37.el5_8.1.x86_64.rpm -force -nodepsrpm -ivh rpcbind-0.2.0-11.el6.x86_64.rpm -force -nodepsrpm -ivh vsftpd-2.2.2-11.el6_4.1.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-apps-7.6-6.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drivers-7.3-13.4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-acecad-1.5.0-6.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-aiptek-1.4.1-4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-apm-1.2.5-5.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-ast-0.97.0-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-ati-7.1.0-3.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-cirrus-1.5.1-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-dummy-0.3.6-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-elographics-1.4.1-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-evdev-2.7.3-5.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-fbdev-0.4.3-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-fpit-1.4.0-5.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-glint-1.2.8-3.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-hyperpen-1.4.1-4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-i128-1.3.6-3.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-i740-1.3.4-5.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-intel-2.21.12-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-keyboard-1.6.2-7.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-mach64-6.9.3-4.1.el6_4.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-mga-1.6.1-10.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-modesetting-0.5.0-1.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-mouse-1.8.1-7.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-mutouch-1.3.0-4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-nouveau-1.0.1-4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-nv-2.1.20-4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-openchrome-0.3.0-3.20120806git.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-penmount-1.5.0-4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-qxl-0.1.0-7.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-r128-6.9.1-1.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-rendition-4.2.5-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-s3virge-1.10.6-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-savage-2.3.6-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-siliconmotion-1.7.7-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-sis-0.10.7-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-sisusb-0.9.6-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-synaptics-1.6.2-13.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-tdfx-1.4.5-2.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-trident-1.3.6-4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-v4l-0.2.0-6.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-vesa-2.3.2-4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-vmmouse-12.9.0-10.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-vmware-12.0.2-3.20120718gite5ac80d8f.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-void-1.4.0-3.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-voodoo-1.2.5-3.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-wacom-0.16.1-4.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-drv-xgi-1.6.0-18.20121114git.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-font-utils-7.2-11.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-glamor-0.5.0-6.20130401git81aadb8.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-server-common-1.13.0-23.el6.centos.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-server-utils-7.5-13.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-server-Xephyr-1.13.0-23.el6.centos.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-server-Xorg-1.13.0-23.el6.centos.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-twm-1.0.3-5.1.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-utils-7.5-6.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-xauth-1.0.2-7.1.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-xdm-1.1.6-14.1.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-xinit-1.0.9-14.el6.x86_64.rpm -force -nodepsrpm -ivh xorg-x11-xkb-utils-7.7-4.el6.x86_64.rpm -force -nodeps第二节. 配置用户环境该部分的配置过程可参考下面的shell脚本，具体内容篇幅有限不做说明，具体内容与下面的章节内容是一样的一、 创建用户组及用户（节点 1、2）*在两台主机上操作下列步骤，要保证组号和用户号一致#NETWORK#NPTD#service ntpd stopchkconfig ntpd offmv /etc/ntp.conf /etc/rm /var/run/ntpd.pid#USER ADD GROUP#groupadd -g 1000 oinstallgroupadd -g 1020 asmadmingroupadd -g 1021 asmdbagroupadd -g 1022 asmopergroupadd -g 1031 dbagroupadd -g 1032 operuseradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,oper,dba griduseradd -u 1101 -g oinstall -G dba,asmdba,oper oraclemkdir -p /u01/app/11.2.0/gridmkdir -p /u01/app/gridchown -R grid:oinstall /u01mkdir /u01/app/oraclechown oracle:oinstall /u01/app/oraclechmod -R 775 /u01/注：检查 nobody 是否存在，用 id nobody 检查，如不存在则增加：useradd nobody二、 创建用户登录脚本*两台主机都要操作，注意两台主机的 SID 不同：对于 grid 用户，一台为+ASM1 另外 一台为+ASM2，对于 oracle 用户，一台为 orcl1 ，另一个为 orcl2。1) GRID用户cp .bash_profile .bash_profile.bak备份原文件1. bash_profile（节点 1、2）vi /home/grid/.bash_pr