RAC部署方案-环境Oracle-11G-R2-RAC-for-Linux5.5

ORACLE高可用性

(RAC)技术解决方案及实现过程目录TOC\o"1-5"\h\z\o"CurrentDocument"一、基础知识介绍 4\o"CurrentDocument"RAC是什么 4\o"CurrentDocument"RAC的优缺点 4\o"CurrentDocument"OracleRAC原理 5\o"CurrentDocument"RAID存储技术介绍 6\o"CurrentDocument"RAC系统结构设计 9RAC系统拓扑结构基本如下图所示： 9\o"CurrentDocument"主机操作系统系统 10\o"CurrentDocument"用户组规划 10\o"CurrentDocument"2)用户规划 11\o"CurrentDocument"主机文件系统规划 11\o"CurrentDocument"存储规划 11数据库RAC环境数据库规划 12RAC环境信息 12\o"CurrentDocument"OracleRAC软件组件 12\o"CurrentDocument"OracleRAC网络规划 12\o"CurrentDocument"Oracle用户组信息 13\o"CurrentDocument"表空间规划 13\o"CurrentDocument"数据库备份规划 13\o"CurrentDocument"Oracle数据库及RAC配置清单 14硬件?t单 14\o"CurrentDocument"软件清单 14\o"CurrentDocument"网络硬件需求 14网络规划 16\o"CurrentDocument"系统安装规划 17\o"CurrentDocument"系统环境需求 18\o"CurrentDocument"查所需软件包 19\o"CurrentDocument"安装工作 22\o"CurrentDocument".修改主机名称，在所有节点执行； 22\o"CurrentDocument"创建用户和组 22\o"CurrentDocument"修改用户密码 22\o"CurrentDocument"修改gird用户的环境变量 22\o"CurrentDocument"修改oracle用户的环境变量 24\o"CurrentDocument"创建软彳牛目录 25\o"CurrentDocument"修改系统参数 25\o"CurrentDocument"配置用户等效性 27\o"CurrentDocument"配置NTPD服务 28\o"CurrentDocument"安装并配置ASM驱动 29\o"CurrentDocument"安装cvuqdisk软件包 34\o"CurrentDocument"安装Grid前检查 34\o"CurrentDocument"安装GridInfrastructure 38确认群集安装成功 56创建asm磁盘组 57安装oracle软件 59创建数据库 69数据库管理工作 79基础知识介绍RAC是什么RAC,全称realapplicationclusters^译为“实时应用集群”，是Oracle新版数据库中采用的一项新技术，是高可用性的一种，也是Oracle数据库支持网格计算环境的核心技术。RAC的优缺点优点：OracleRAC主要支持Oracle9i、10g、11g版本，可以支持24x7有效的数据库应用系统，在低成本服务器上构建高可用性数据库系统，并且自由部署应用，无需修改代码。在OracleRAC环境下，Oracle集成提供了集群软件和存储管理软件，为用户降低了应用成本。当应用规模需要扩充时，用户可以按需扩展系统，以保证系统的性能。(1)多节点负载均衡；(2)提供高可用：故障容错和无缝切换功能，将硬件和软件错误造成的影响最小化；(3)通过并行执行技术提高事务响应时间----通常用于数据分析系统；(4)通过横向扩展提高每秒交易数和连接数 ----通常对于联机事务系统 ；(5)节约硬件成本，可以用多个廉价PC服务器代替昂贵的小型机或大型机，同时节约相应维护成本；(6)可扩展性好，可以方便添加删除节点，扩展硬件资源。缺点：(1)相对单机，管理更复杂，要求更高；(2)可能会增加软件成本(如果使用高配置的pc服务器，Oracle一般按照CPU个数收费)OracleRAC原理在一个应用环境当中，所有的服务器使用和管理同一个数据库，目的是为了分散每一台服务器的工作量，硬件上至少需要两台以上的服务器，而且还需要一个共享存储设备。同时所有服务器上的OS都应该是同一类OS,根据负载均衡的配置策略，当一个客户端发送请求到某一台服务的listener后，这台服务器根据我们的负载均衡策略，会把请求发送给本机的RAC组件处理也可能会发送给另外一台服务器的RAC组件处理，处理完请求后，RAC会通过集群软件来访问共享存储设备.逻辑结构上看：每一个参加集群的节点有一个独立的instance,这些instance访问同一个数据库。每一个节点的linstance都有自己的SGA。每——个节点的linstance者B有自己的backgroundprocess每一个节点的linstance都有自己的redologso每一个节点的instance都有自己的undo表空间。所有节点都共享一份data刊es和controlfiles0三类ResourceVIP-虚拟IP地址(VirtualIP)OCR-OracleClusterRegistry集群注册文件)，记录每个节点的相关信息VotingDisk,仲裁机制用于仲裁多个节点向共享节点同时写的行为，这样做是为了避免发生冲突。RAID存储技术介绍独立冗余磁盘阵列（RedundantArrayofIndependentDisk,RAID）是一种把多块独立的硬盘（物理硬盘）按不同的方式组合起来形成一个硬盘组（逻辑硬盘），从而提供比单个硬盘更高的存储性能与数据备份能力的技术。RAID特色是N块硬盘同时读取速度加快及提供容错性。可以将RAID分为不同级别，级别并不代表技术高低，选择哪一种RAID产品纯视用户的操作环境及应用而定，与级别高低没有必然关系。RAID0:无差错控制的带区组RAID0要实现RAID0必须要有两个以上硬盘驱动器，数据并不是保存在一个硬盘上，而是分成数据块保存在不同驱动器上。因为将数据分布在不同驱动器上，所以数据吞吐率大大提高，驱动器的负载也比较平衡。它的缺点是它没有数据差错控制，如果一个驱动器中的数据发生错误，即使其它盘上的数据正确也无济于事了。不应该将它用于对数据稳定性要求高的场合。在所有的级别中，RAID0的速度是最快的。但是RAID0没有冗余功能的，如果一个磁盘（物理）损坏，则所有的数据都无法使用。RAID1:镜象结构RAID1对于使用这种RAID1结构的设备来说，RAID控制器必须能够同时对两个盘进行读操作和对两个镜象盘进行写操作。镜象结构是在一组盘出现问题时，可以使用镜象磁盘，提高系统的容错能力。每读一次盘只能读出一块数据，也就是说数据块传送速率与单独的盘的读取速率相同。当您的系统需要极高的可靠性时，如进行数据统计，那么使用RAID1比较合适。而且RAID1技术支持热替换”，即不断电的情况下对故障磁盘进行更换，更换完毕只要从镜像盘上恢复数据即可。当主硬盘损坏时，镜像硬盘就可以代替主硬盘工作。镜像硬盘相当于一个备份盘，这种硬盘模式的安全性是非常高的，RAID1的数据安全性在所有的RAID级别上来说是最好的。但是其磁盘的利用率却只有50%,是所有RAID级别中最低的。RAID5:分布式奇偶校验的独立磁盘结构RAID5将数据分散存放于多个硬盘上面，同时使用一定的编码技术产生奇偶校验码来提供错误检查及恢复能力，数据段的校验位交互存放于各个硬盘上。因为奇偶校验码在不同的磁盘上，所以提高了可靠性,允许单个磁盘出错。任何一个硬盘损坏，都可以根据其它硬盘上的校验位来重建损坏的数据。硬盘的利用率为 n-1。优点是提供了冗余性（支持一块盘掉线后仍然正常运行），磁盘空间利用率较高（N-1/N）,读写速度较快（N-1倍）。RAID5是RAID级别中最常见的一个类型。RAID10:高可靠性与高效磁盘结构RAID10mirroiingstriping这种结构是一个带区结构加一个镜象结构， 因为两种结构各有优缺点，因此可以相互补充，达到既高效又高速还可以互为镜像的目的。大家可以结合两种结构的优点和缺点来理解这种新结构。 这种新结构的价格高，可扩充性不好。主要用于容量不大，但要求速度和差错控制的数据库中。RAID10是先镜射再分区数据。是将所有硬盘分为两组，然后将这两组各自视为RAID1运作。RAID10有着不错的读取速度，而且拥有比RAID0更高的数据保护性。RAC系统结构设计1.RAC系统拓扑结构基本如下图所示:HP23121.RAC系统拓扑结构基本如下图所示:HP2312FC2.主机操作系统系统RAC支持常用的linux、AIX、windows、Solaris等操作系统，本文以linux操作为例。数据库服务器RedhatLinux系统规划1）用户组规划GroupNameGroupID说明HOST□install501Oracle清单和软件所有者raclrac2rac3rac4asmadmin504Oracle自动存储管理组raclrac2rac3rac4asmdba506ASM数据库管理员组raclrac2rac3rac4asmopen507ASM臊作员组raclrac2rac3rac4dba502数据库管理员raclrac2rac3rac42）用户规划UserIDPrimaryGroupGroup说明HOST默认口令501GridOinstallAsmadminAsmdbaasmopenOracleCluster用户rac1rac2oracle502OracleOinstallAsmdbaOracle数据管理员rac1rac2oracle3）主机文件系统规划物理硬盘数RAID方式文件系统挂载点文件系统大小2*300GB1/homeext3100GB/bootboot200MB/swapswap32GB/ext3剩下所有空间3.存储规划存储一般采用RAID5存储方式硬盘总数物理大小RAID方式逻辑大小（可用空间大小）HotSpare10600GB*1054.2TB1存储组件BlockDeviceASMlibNameSizeComments系统路径OCR/dev/sdaOCR_VOL11GOCRandVotingDisks/dev/oracleasm/ORC/dev/sdbOCR_VOL21G数据文件/dev/sdbDATA_VOL11TASMDataDiskgroup/dev/oracleasm/DATA_VOL1文件备份/dev/sdaBACK_VOL1800GASMRecovery\BackupDiskgroup/dev/oracleasm/BACK_VOL14.数据库RAC环境数据库规划RAC环境信息节点名称实例名称处理器内存操作系统数据库版本raclorcl432GBRedhatRedhat5.5企业版64位Oracle11.2.0.3rac2432GBRedhatRedhat5.5企业版64位Oracle11.2.0.3OracleRAC软件组件软件组件名称OS用户主组辅组用户目录Oracle基目录gridgridoinstallasmadmin,asmoperasmdba/home/grid/u01/grid/11.2.0/gridoracleracOracleoinstalldbaasmdba/home/oracle/u01/app/oracle/product/11.2.0/db_1OracleRAC网络规划节点PublicIPVIPPRIVATEIPscan名称scaniprac1192.168.221.61192.168.221.1110.0.0.11rac-scan192.168.221.20rac2192.168.221.62192.168.221.1210.0.0.12rac3192.168.221.63192.168.221.1310.0.0.13rac4192.168.221.64192.168.221.1410.0.0.14Oracle用户组信息组名属组用户Oracle权限Oracle组名描述oinstallgrid\oracleOracle清单和软件所有者asmadminGridSYSTEMOSASMOracle自动存储管理组asmdbagrid\oracleASMSYSDBAOSDBAFORASMASM数据库管理员组asmopenGridASMSYSOPEROSOPERFORASMASM操作员组dbaoracleSYSDBAOSDBA数据库管理员5）表空间规划用户表空间名规划(GB)说 明100初始表空间大小为100GB,并且以自增扩展的方式添加；OthersControlFiles20mb控制文件（共2个）文件存放位置：数据库默认RedoLogFiles40mb重做日志文件（3组X2成员X10M）Redo本地位置：数据库默认位置Redo存储位置：+BACK_VOUifedo/ArchiveLogFiles40GB归档日志文件系统+BACK_VOUarchivelog/6）数据库备份规划建议策略归档模式［启用备份方式执备八、、R=l建议策略每周做一次0级备份；全备作业天以外每天：增量备份增量备份后清除归档日志根据平台业务特性及考虑到节约硬件成本，建议每周作一次完全备份，每天做一次增量备份。恢复时，首先恢复最近一次完全备份的数据，然后再依次恢复服务器硬盘上增量备份的数据，最后通过归档的日志文件将数据恢复到故障点处；四、Oracle数据库及RAC配置清单1.硬件清单数据库服务器两台，主要配置如下:?CPU2*IntelXeon?内存8*2GB?硬盘2*146GB数据库服务器磁盘阵列?RAID5.软件清单?RedHatEnterpriseLinuxASrelease5?OracleDatabase11gRelease2（11.2.0.1.0）forLinuxx86? linux_11gR2_database_1of2.zip? linux_11gR2_database_2of2.zip?linux_11gR2_grid.zip?oracleasmlib-2.0.4-1.el5.x86_64.rpm（11gR2 后非必须）.网络硬件需求?每个OracleRAC节点必须至少有两个网络适配器（即网络接口

卡（NIC））:一个用于公共网络接口，另一个用于专用网络接口（互连）。要对公共网络或专用网络使用多个 NIC,Oracle建议采用NIC绑定。对公共网络和专用网络使用不同的绑定 （即对公共网络使用bond。，对专用网络使用bond1）,这是因为在安装过程中，每个接口要么定义为公共接口，要么定义为专用接口。本文不讨论NIC绑定。? 每个网络中网络适配器的相关公共接口名称在所有节点上都应相同，网络适配器的相关专用接口名称在所有节点上都应相同。对于公共网络，每个网络适配器必须支持TCP/IP对于专用网络，互连必须支持用户数据报协议 （UDP）,使用支持TCP/IP（最小要求为1Gb以太网）的高速网络适配器和交换机。TCP是OracleClusterware 的互连协议。对于此互连，必须使用一个交换机。Oracle建议您使用一个专用交换机。对于专用网络，所有指定互连接口的端点在网络上必须完全可达。每个节点均应连接到所有的专用网络接口。可以使用ping命令测试一个互连接口是否可达。在OracleGridInfrastructure 的安装过程中，系统都会要求您标识OUI在您的集群节点上检测到的每个网络接口计划使用方式。必须将每个接口标识为publicinterface、privateinterface或notused。可将若干独立的接口绑定为一个公共接口，这样可在某个 NIC出现故障时提供冗余性。但是，Oracle建议您不要为OracleClusterware和OracleRAC创建不同的接口。如果您对专用互连使用多个NIC,Oracle建议您使用NIC绑定。请注意，多个专用接口提供负载平衡，但不提供故障切换功能，只有将它们绑定在一起时才提供故障切换功能。从OracleClusterware11g第2版开始，无需再为互连提供专用名称或IP地址。标识为专用的子网上的IP地址将被分配作为集群成员节点的专用IP地址。无需在hosts目录中手动配置这些地址。如果需要针对互连进行名称解析，可在hosts文件或DNS上配置专用IP名称。而OracleClusterware会为安装期间定义为专用接口的那个接口（如eth1）分配互连地址，并将该地址分配给用作专用子网的那个子网。实际上，在本指南中，我会继续在每个节点包括一个专用名称和 IP地址以用于RAC互连。这在专用网络上提供了自我文档编制的方法和一组端点，可供故障排除之用。

4.网络规划服务器2(rac2)设备IP地址子网目的Eth0192.168.11.11255.255.255.0PublicIPEth110.0.0.2255.255.255.0PRIVATEIP192.168.11.14255.255.255.0VIP/etc/hosts#eth0-PublicIP192.168.11.11racl192.168.11.12rac2#eth1-PRIVATEIP10.0.0.1rac1-priv10.0.0.2rac2-priv#VIP192.168.11.23rac1-vip192.168.11.24rac2-vip#SCAN192.168.11.13rac-cluster-scan.系统安装规划业务数据库配置参数ORACLE_BASE/u01/appCRS_HOME/u01/grid/11.2.0/gridORACLE_HOME(Unix)/u01/app/oracle/product/11.2.0/db_1DB_NAMEorclORACLE_SIDrac1,rac2TNS_ADMIN$ORACLE_HOME/network/adminOracle管理帐户的口令sys/oraclesystem/oracle数据库存放位置ASM是否使用归档方式运行数据库Enable备份方式说明RMAN注意：服务器的主机名必须全部都是小写，并且不要有下划线

.系统环境需求环境需求内存Between4GBand16GBEqualtothesizeofRAM磁盘空间EnterpriseEdition5GBStandardEdition5GBpdksh-5.2.14pdksh-5.2.14.查所需软件包如果是64bit,需要检查以下的Packages以下重复包名称的部分是64bit,注明32bit的是32bitpackages如果是32bitOS,那么重复包名的只需要32bit部分的包。注意不同版本Linux系统后面的版本不太一样。binutils-2.15.92.0.2compat-libstdc++-33-3.2.3compat-libstdc++-33-3.2.3(32bit)elfutils-libelf-0.97elfutils-libelf-devel-0.97expat-1.95.7gcc-3.4.6gcc-c++-3.4.6glibc-2.3.4-2.41glibc-2.3.4-2.41(32bit)glibc-common-2.3.4glibc-devel-2.3.4glibc-headers-2.3.4libaio-0.3.105libaio-0.3.105(32bit)libaio-devel-0.3.105libaio-devel-0.3.105(32bit)libgcc-3.4.6libgcc-3.4.6(32-bit)libstdc++-3.4.6libstdc++-3.4.6(32bit)libstdc++-devel3.4.6make-3.80sysstat-5.0.5unixODBC-2.2.11unixODBC-2.2.11(32bit)unixODBC-devel-2.2.11unixODBC-devel-2.2.11(32bit)检查方法：[root@rac02grid]#rpm-q--qf'%{NAME}-%{VERSION}-%{RELEASE}(%{ARCH})\n'binutils\然后输入：compat-libstdc++-33\elfutils-libelf\elfutils-libelf-devel\expat\gcc\gcc-c++\glibc\glibc-common\glibc-devel\glibc-headers\ksh\libaio\libaio-devel\libgcc\libstdc++\libstdc++-devel\make\pdksh\sysstat\unixODBC\unixODBC-devel结果如下：binutils-2.17.50.0.6-9.el5(i386)compat-libstdc++-33-3.2.3-61(i386)elfutils-libelf-0.137-3.el5(i386)elfutils-libelf-devel-0.137-3.el5(i386)expat-1.95.8-8.2.1(i386)gcc-4.1.2-44.el5(i386)gcc-c++-4.1.2-44.el5(i386)glibc-2.5-34(i686)glibc-common-2.5-34(i386)glibc-devel-2.5-34(i386)glibc-headers-2.5-34(i386)ksh--2.el5(i386)libaio-0.3.106-3.2(i386)libaio-devel-0.3.106-3.2(i386)libgcc-4.1.2-44.el5(i386)libstdc++-4.1.2-44.el5(i386)libstdc++-devel-4.1.2-44.el5(i386)make-3.81-3.el5(i386)packagepdkshisnotinstalled---pdksh 没有安装sysstat-7.0.2-3.el5(i386)unixODBC-2.2.11-7.1(i386)unixODBC-devel-2.2.11-7.1(i386)查询一些文档，pdksh这个包可以不用安装五、安装工作.修改主机名称，在所有节点执行；[root@rac1~]#vi/etc/sysconfig/networkNETWORKING=yesNETWORKING_IPV6=noHOSTNAME=rac1#此处为主机名GATEWAY=192.9.100.251.创建用户和组创建RAC相关用户和组，在所有节点执行；[root@rac1~]#groupadd-g501oinstall[root@rac1~]#groupadd-g502dba[root@rac1~]#groupadd-g504asmadmin[root@rac1~]#groupadd-g506asmdba[root@rac1~]#groupadd-g507asmoper[root@rac1~]#useradd-u501-goinstall-Gasmadmin,asmdba,asmopergrid[root@rac1~]#useradd-u502-goinstall-Gdba,asmdbaoracle[root@rac1~]#idgrid[root@rac1~]#idoracle.修改用户密码[root@rac1~]#passwdoracle[root@rac1~]#passwdgrid.修改gird用户的环境变量首先需要修改所切换到grid用户，准备安装gridInfrastructure.首先需要修改所有节点grid 用户的环境变量.bash_profile[root@rac01init.d]#su -grid[grid@rac01~]$cd/home/grid/[grid@rac01~]$vi.bash_profile以下grid的bash_profile,仅供参考，还有一些参数可以自行加入。TMP=/tmp;exportTMPTMPDIR=$TMP;exportTMPDIRORACLE_SID=+ASM1;exportORACLE_SIDORACLE_BASE=/u01/app/grid;exportORACLE_BASEORACLE_HOME=/u01/app/11.2.0/grid/product/db_1;exportORACLE_HOME#这里注意： 测试发现安装RAC勺时候，grid用户的ORACLE_BASE能包含ORACLE_HOME#比如/u01/grid,/u01/grid/11.2 就不行。NLS_DATE_FORMAT="yyyy-mm-ddHH24:MI:SS";exportNLS_DATE_FORMATTHREADS_FLAG=native;exportTHREADS_FLAGPATH=$ORACLE_HOME/bin:$PATH;exportPATHTHREADS_FLAG=native;exportTHREADS_FLAGPATH=$ORACLE_HOME/bin:$PATH;exportPATHif[$USER="oracle"]||[$USER="grid"];thenif[$SHELL="/bin/ksh"];thenulimit-p16384ulimit-n65536elseulimit-u16384-n65536fiumask022fi使配置文件生效，同样在其他节点的Grid用户.bash_pro巾le中加入，并注意修改ORACLE_SID=+ASM2$source.bash_profile.修改oracle用户的环境变量Oracle用户也需要设置.bash_profile[root@rac01init.d]#su -oracle[grid@rac01~]$cd/home/oracle/[grid@rac01~]$vi.bash_profile以下Oracle的bash_profile,仅供参考TMP=/tmp;exportTMPTMPDIR=$TMP;exportTMPDIRORACLE_BASE=/u01/app/oracle;exportORACLE_BASEORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1;exportORACLE_HOMEORACLE_SID=racdb1;exportORACLE_SIDORACLE_TERM=xterm;exportORACLE_TERMPATH=/usr/sbin:$PATH;exportPATHPATH=$ORACLE_HOME/bin:$PATH;exportPATHLD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;exportLD_LIBRARY_PATHCLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlibexportCLASSPATHNLS_DATE_FORMAT="yyyy-mm-ddHH24:MI:SS";exportNLS_DATE_FORMATNLS_LANG=AMERICAN_AMERICA.ZHS16GBK;exportNLS_LANGif[$USER="oracle"]||[$USER="grid"];thenif[$SHELL="/bin/ksh"];thenulimit-p16384ulimit-n65536elseulimit-u16384-n65536fiumask022fi使配置文件生效,同样在其他节点的Oracle用户.bash_pro巾le中加入，并注意修改ORACLE_SID=orcl2$source.bash_profile.创建软件目录创建OracleRAC所使用的目录，并修改相应的权限，在所有节点执行；[root@rac1~]##CreatingtheOracleDirectory[root@rac1~]#mkdir-p/u01/app/grid/[root@rac1~]#mkdir-p/u01/app/11.2.0/grid/product/db_1[root@rac1~]#mkdir-p/u01/app/oraInventory[root@rac1~]#chown-Rgrid:oinstall/u01/app[root@rac1~]#mkdir-p/u01/app/oracle/product/11.2.0/db_1[root@rac1~]#chown 卡oracle:oinstall/u01/app/oracle[root@rac1~]#chmod-R775/u01.修改系统参数修改操作系统相关参数，在所有节点执行；vi/etc/sysctl.conffs.aio-max-nr=1048576fs.=6815744kernel.shmall=2097152kernel.shmmax=536870912kernel.shmmni=4096kernel.sem=25032000100128net.ipv4.ip_local_port_range=900065500net.core.rmem_default=262144net.core.rmem_max=4194304net.core.wmem_default=262144net.core.wmem_max=1048586sysctl-pvi/etc/security/limits.confgridsoftnproc2047gridhardnproc16384gridsoftnogridhardnooraclesoftnproc2047oraclehardnproc16384oraclesoftnooraclehardnovi/etc/pam.d/loginsessionrequiredpam_limits.sovi/etc/profileif[$USER="oracle"]||[$USER="grid"];thenif[$SHELL="/bin/ksh"];thenulimit-p16384ulimit-n65536elseulimit-u16384-n65536fiumask022fivi/etc/csh.loginif($USER="oracle"||$USER="grid")thenlimitmaxproc16384limitdescriptors65536endifEOFCSH修改/etc/hosts文件，在所有节点添加以下内容[grid@rac1〜]$vi/etc/hostsDonotremovethefollowingline,orvariousprogramsthatrequirenetworkfunctionalitywillfail.eth0-PublicIPrac1rac2#eth1PRIVATEIP10.0.0.1rac1-priv10.0.0.2rac2-priv#VIPrac1-viprac2-vip#SCANrac-cluster-scan.配置用户等效性使用Oracle用户，配置Oracle用户等效性，在所有节点执行；[oracle@rac1~]$ssh-keygen-trsa[oracle@rac1~]$ssh-keygen-tdsa使用Oracle用户，配置Oracle用户等效性，在节点1执行[oracle@rac1 ~]$ cat /home/oracle/.ssh/*.pub >>/home/oracle/.ssh/authorized_keys[oracle@rac1~]$sshrac2cat/home/oracle/.ssh/*.pub >>/home/oracle/.ssh/authorized_keys[oracle@rac1 ~]$ scp/home/oracle/.ssh/authorized_keysrac2:/home/oracle/.ssh/authorized_keys验证oracle用户等效性，在所有节点执行；[oracle@rac1~]$sshrac2date[oracle@rac2~]$sshracldate使用Grid用户，配置Grid用户等效性，在所有节点执行；[grid@rac1~]$ssh-keygen-trsa[grid@rac1~]$ssh-keygen-tdsa配置Grid用户等效性，在节点1执行；[grid@rac1 ~]$ cat /home/grid/.ssh/*pub >>/home/grid/.ssh/authorized_keys[grid@rac1~]$sshrac2cat/home/grid/.ssh/*pub >>/home/grid/.ssh/authorized_keys[grid@rac1 ~]$ scp /home/grid/.ssh/authorized_keysrac2:/home/grid/.ssh/authorized_keys验证Grid用户等效性，在所有节点执行；[grid@rac1~]$sshrac2date[grid@rac2~]$sshrac1date.配置NTPD月艮务各个节点时间同步 （所有节点设置，两个节点相互同步，不设置时间服务器）方法一：.rac1节点以rac1主要做NTPServer的方式#vi/etc/ntp.confserverrac1restrictrac1mask255.255.255.255nomodifynotrapnoqueryserver127.127.1.0.rac2节点serverraclrestrictraclmask255.255.255.255nomodifynotrapnoquery.修改NTPD参数文件(rac1,rac2)#vi/etc/sysconfig/ntpdSYNC_HWCLOCK=yesOPTIONS="-x-untp:ntp-p/var/run/ntpd.pid"#RAC安装时需要检测的-x参数.启动服务(rac1,rac2)#servicentpdrestart.系统启动自动加载(rac1,rac2)#chkconfigntpdon方法二：通过nptdate或rdate 设置各个节点时间同步[root@rac01etc]#chkconfigtime -streamon[root@rac01etc]#dateTueDec2813:23:40CST2010然后在节点2设置与节点1的时间同步排程。[root@rac02etc]#crontab -e2****rdate -s192.168.5.111安装并配置ASM驱动检查操作系统版本，确认安装与操作系统相匹配的 asmlib,在所有节点执行；[root@rac1~]#uname-aLinuxrac12.6.18-92.el5 #1SMPTueApr2913:16:15EDT2008x86_64x86_64x86_64GNU/Linux[root@rac1~]#lsb_release-aLSBVersion::core-3.1-amd64:core-3.1-ia32:core-3.1-noarch:graphics-3.1-amd64:graphics-3.1-ia32:graphics-3.1-noarchDistributorID:RedHatEnterpriseServerDescription:RedHatEnterpriseLinuxServerrelease5.2(Tikanga)Release: 5.2Codename: TikangaOracleASMlib下载地址：x.html[root@rac1 asmlib]# rpm -ivhoracleasm-support-2.1.3-1.el5.x86_64.rpmwarning: oracleasm-support-2.1.3-1.el5.x86_64.rpm: HeaderV3DSAsignature:NOKEY,keyID1e5e0159Preparing...###########################################[100%]1:oracleasm-support###########################################[100%][root@rac1asmlib]#rpm-ivhoracleasm-2.6.18-194.el5-2.0.5-1.el5.x86_64.rpmwarning:oracleasm-2.6.18-194.el5-2.0.5-1.el5.x86_64.rpm:HeaderV3DSAsignature:NOKEY,keyID1e5e0159Preparing...###########################################[100%]1:oracleasm-2.6.18-194.el###########################################[100%][root@rac1asmlib]#rpm-ivhoracleasmlib-2.0.4-1.el5.x86_64.rpmwarning: oracleasmlib-2.0.4-1.el5.x86_64.rpm: HeaderV3DSAsignature:NOKEY,keyID1e5e0159Preparing...###########################################[100%]1:oracleasmlib###########################################[100%][root@rac1asmlib]#rpm-qa|grepasmoracleasm-2618-194.el5-2.0.5-1.el5oracleasmlib-2.0.4-1.el5oracleasm-support-2.1.3-1.el5初始化asmlib,在所有节点执行；[root@rac1asmlib]#/usr/sbin/oracleasmconfigure-iConfiguringtheOracleASMlibrarydriver.Thiswillconfiguretheon-bootpropertiesoftheOracleASMlibrarydriver.Thefollowingquestionswilldeterminewhetherthedriverisloadedonbootandwhatpermissionsitwillhave.Thecurrentvalueswillbeshowninbrackets('[]').Hitting<ENTER>withouttypingananswerwillkeepthatcurrentvalue.Ctrl-Cwillabort.Defaultusertoownthedriverinterface[]:gridDefaultgrouptoownthedriverinterface[]:asmadminStartOracleASMlibrarydriveronboot(y/n)[n]:yScanforOracleASMdisksonboot(y/n)[y]:WritingOracleASMlibrarydriverconfiguration:doneASMlib加载到内核，在所有节点执行；[root@rac1asmlib]#/usr/sbin/oracleasminitCreating/dev/oracleasmmountpoint:/dev/oracleasmLoadingmodule"oracleasm":oracleasmMountingASMlibdriver:/dev/oracleasm磁盘分区[root@rac12.6.18-92.e15]#fdisk/dev/sdbDevicecontainsneitheravalidDOSpartitiontable,norSun,SGIorOSFdisklabelBuildinganewDOSdisklabel.Changeswillremaininmemoryonly,untilyoudecidetowritethem.Afterthat,ofcourse,thepreviouscontentwon'tberecoverable.Warning: invalidflag0x0000ofpartitiontable4willbecorrectedbyw(rite)Command(mforhelp):pDisk/dev/sdb:1048MB,1048576000bytes64heads,32sectors/track,1000cylindersUnits=cylindersof2048*512=1048576bytesDeviceBootStartEndBlocksIdSystemCommand(mforhelp):nCommandactioneextendedpprimarypartition(1-4)PPartitionnumber(1-4):1Firstcylinder(1-1000,default1):Usingdefaultvalue1Lastcylinderor+sizeor+sizeMor+sizeK(1-1000,default1000):Usingdefaultvalue1000Command(mforhelp):wThepartitiontablehasbeenaltered!Callingioctl()tore-readpartitiontable.Syncingdisks.创建asm磁盘，在节点1执行；[root@rac1~]#/usr/sbin/oracleasmcreatediskOCR_VOL1/dev/sdb1Writingdiskheader:doneInstantiatingdisk:done[root@rac1~]#/usr/sbin/oracleasmcreatediskOCR_VOL2/dev/sdc1Writingdiskheader:doneInstantiatingdisk:done[root@rac1~]#/usr/sbicdn/oracleasmcreatediskOCR_VOL3/dev/sdd1Writingdiskheader:doneInstantiatingdisk:done[root@rac1~]#/usr/sbin/oracleasmcreatediskDATA_VOL1/dev/sde1Writingdiskheader:doneInstantiatingdisk:done[root@rac1~]#/usr/sbin/oracleasmcreatediskBACK_VOL1/dev/sdf1Writingdiskheader:doneInstantiatingdisk:done[root@rac2~]#/usr/sbin/oracleasmlistdisksBACK_VOL1DATA_VOL1OCR_VOL1OCR_VOL2OCR_VOL3在节点二执行扫描，识别asm盘[root@rac22.6.18-92.e15]#/usr/sbin/oracleasmscandisksReloadingdiskpartitions:doneCleaninganystaleASMdisks...ScanningsystemforASMdisks...Instantiatingdisk"OCR_VOL1"Instantiatingdisk"OCR_VOL2"Instantiatingdisk"OCR_VOL3"Instantiatingdisk"DATA_VOL1"Instantiatingdisk"BACK_VOL1"[root@rac2~]#/usr/sbin/oracleasmlistdisksBACK_VOL1DATA_VOL1OCR_VOL1OCR_VOL2OCR_VOL3

安装cvuqdisk软件包cvuqdisk软件包用于发现共享存储，在grid安装软件的rpm目录中，在所有节点执行;[root@rac1rpm]#exportCVUQDISK_GRP=oinstall[root@rac1rpm]#rpm-ivhcvuqdisk-1.0.7-1.rpmPreparing...###########################################[100%]1:cvuqdisk###########################################1:cvuqdisk[100%]安装Grid前检查在所有节点执行，并且检查通过;检查参数:-posthwos后期检查硬件和操作系统-precfs-precfs预检查CFS设置-postcfs后期检查CFS设置-precrsinst:预检查CRS安装-postcrsinst: