Oracle10gRAC安装手册2.doc

Oracle10g RAC安装手册2第五部分 安装配置Oracle RAC5.1 配置环境变量5.1.1 编辑.bashrc设置 ORACLE_BASE 和 ORACLE_HOME 等环境变量基本路径：ORACLE_BASE=/u01/app/oracleORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1ORA_CRS_HOME=/u01/crs/oracle/product/10.2.0/crs_1据oracle的安装文档要求，CRS的目录最好不是ORACLE_BASE的子目录，因为安装过程中会改变CRS的父目录的权限，这会影响ORACLE的安装。在按以上要求生成对应目录之前，需检查所在磁盘的空间是否满足安装要求，确定之后生成目录，并将相关环境变量设置在oracle用户的profile中。用oracle帐号编辑 /home/oracle/.bashrcoracle用户的profile文件.bashrc内容:# .bashrc# User specific aliases and functions# Source global definitionsif -f /etc/bashrc ; then . /etc/bashrcfiexport ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1export ORA_CRS_HOME=/u01/crs/oracle/product/10.2.0/crs_1export ORACLE_SID=dbrac1export ORACLE_TERM=xtermexport LD_ASSUME_KERNEL=2.4.1export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/dataexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/libPATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:/sbinexport PATH然后执行$ source .bash_profile使环境变量生效注意：ORACLE_SID每台机器不一样，如dbrac1的SID为dbrac1，dbrac2的SID为dbrac2，以此类推。对LD_ASSUME_KERNEL环境变量的说明：这个参数实际上是为了避免Linux上的 NPTL (Native POSIX Thread Library) 和Oracle应用不兼容的问题. 设定 LD_ASSUME_KERNEL为2.4.1表示使用旧有的 Linuxthreads with floating stacks 5.1.2创建CRS安装路径注：With Oracle Database 10g Release 2 (10.2), Cluster Ready Services, or CRS, is now called Oracle Clusterware . 见ORACLE 10.2 安装文档之New Features for Oracle Clusterware and RAC Installation1.CRS安装路径的创建及授权如下所示：# mkdir -p /u01/crs/oracle/product/10.2.0/crs_1# chown -R oracle:oinstall /u01/crs/oracle# chmod -R 775 /u01/crs/oracle2.OCR及voting disk安装路径先解释一下ocr（sdb1）和vote（sdb2）文件的用途，OCR（Oracle Cluster Registry）：它记录了机群配置和机群数据库的基本配置，默认大概需要100M的空间，这里我们给了它1000M的空间；Vote：它是CSS（Cluster Synchronization Services）需要的文件，用来判断机群内各个节点的状态，默认大概也需要100M的空间，这里我们也给了它1000M的空间。# mkdir -p /u02/oracrs/# chown -R oracle:oinstall /u02/oracrs/# chmod -R 775 /u02/oracrs/绑定裸设备：#raw /dev/raw/raw1 /dev/sdb1#raw /dev/raw/raw2 /dev/sdb2然后在/etc/sysconfig/rawdevices文件里加如下内容：/dev/raw/raw1 /dev/sdb1/dev/raw/raw2 /dev/sdb2权限：# chown root:oinstall /dev/raw/raw1# chmod 640 /dev/raw/raw1# chown oracle:dba /dev/raw/raw2# chmod 660 /dev/raw/raw2在/etc/rc.local里加如下内容（如果安装软件时出问题，则把root改为oracle）chown root:oinstall /dev/raw/raw1chmod 640 /dev/raw/raw1chown oracle:dba /dev/raw/raw2chmod 660 /dev/raw/raw2以上操作在所有节点上执行在安装CRS的过程中，安装程序会提示用户输入存放OCR和Vote文件的位置。因此，通常我们会使用以下方法设置文件位置（在所有节点上执行），以oracle用户执行：$ ln -s /dev/raw/raw1 /u02/oracrs/ocr.crs$ ln -s /dev/raw/raw2 /u02/oracrs/vote.crs5.1.3创建oracle安装路径# mkdir -p /u01/app/oracle# chown -R oracle:oinstall /u01/app/oracle# chmod -R 775 /u01/app/oracle5.2安装和卸载CRS5.2.1安装CRS需要注意的问题：1、每一步都要看清楚安装路径是否正确2、分清虚拟地址和专用地址3、脚本要一个节点一个节点的执行，切不可同时执行4、如果安装过程中出现in future。之类错误，应为两台主机时间不一致导致，解决方法：1用root执行net time I TARGETIP命令同步2如果net time同步仍然不成功，最好配置一台服务器（节点中的一台为ntp服务器），具体配置方法见后面附录在安装CRS之前，确认显示没有问题：# xhost +解压CRS软件:# cp 10201_clusterware_linux_x86_64.cpio.gz /home/oracle# gzip d 10201_clusterware_linux_x86_64.cpio.gz# cpio idmv /dev/null 2&1 /dev/null 2&1 /dev/null 2&1 /dev/null令机器在下一次重启时，不在启动服务。该方法的操作时机要把握好，否则没等文件修改完毕，机器就又要重启。2.在机群中的所有节点上执行$ORA_CRS_HOME/install/rootdelete.sh；3.在机群中的任意一个节点上执行$ORA_CRS_HOME/install/rootdeinstall.sh；4.用图形界面OUI卸载crs；a)执行./runInstallb)在界面中选择Installed；c)选择home1，一般要先安装CRS，所以CRS的home一般都是home。5.在机群所有节点上执行/bin/rm -f /etc/init.d/init.cssd/bin/rm -f /etc/init.d/init.crs/bin/rm -f /etc/init.d/init.crsd/bin/rm -f /etc/init.d/init.evmd/bin/rm -f /etc/rc2.d/K96init.crs/bin/rm -f /etc/rc2.d/S96init.crs/bin/rm -f /etc/rc3.d/K96init.crs/bin/rm -f /etc/rc3.d/S96init.crs/bin/rm -f /etc/rc5.d/K96init.crs/bin/rm -f /etc/rc5.d/S96init.crs/bin/rm -rf /etc/oracle/bin/rm -f /etc/inittab.crs/bin/rm -f /etc/oratab/bin/rm -f /etc/oraInst.loc/bin/cp /etc/inittab.orig /etc/inittab/bin/rm -rf /var/tmp/.oracle/bin/rm -rf /u01/crs/oracle/product/10.1.0/crs_16.清掉共享磁盘上的内容。如果ocr和voting disk所在分区不大，可以直接用下面命令清除：# dd if=/dev/zero of=/dev/sdb1# dd if=/dev/zero of=/dev/sdb27.如果可以，重启机群内所有节点。8.清理干净后，按照5.2.1的介绍，重新安装CRS。5.3安装 Oracle 数据库软件RAC5.3.1 图形界面配置执行以下命令(在集群的一个节点上)：# cp 10201_database_linux_x86_64.cpio.gz /home/oracle# cd /home/oracle# gzip d 10201_database_linux_x86_64.cpio.gz# cpio idmv Create Disk GroupDisk Group Name (DATA)；冗余（external）；更改磁盘发现路径（ORCL:* 即使磁盘显示为已供应状态，仍然必须输入此项，否则会出错）；选择磁盘；输入故障组名；选择新创建的磁盘组 11.Database File Locations 使用 Oracle 管理的文件 12.Recovery Configuration 单击 Next 13.Database Content 示例模式 14.Initialization Parameters 内存:把默认的40改为60；字符集的设定:要选择ZHSGBK16和UTF8。15.Database Storage 单击 Next 16.Create Options 选择“Create Database” 17.Summary 检查总结信息并单击 OK 根据经验，需要注意的有几下几点：1.使用ASM管理共享磁盘的方法，将为数据库中的每个节点创建自己的ASM实例。如果系统中已存在ASM实例，可以继续使用，但需要输入ASM的管理密码；2.使用ASM需要创建ASM DiskGroup，如果磁盘组存在，则可以选用现有的组；如果不存在，要创建一个。a)点击“create new”，输入磁盘组的名称；b)冗余程度。如果你的盘阵本身有raid保护，则可以选择external，这样的空间利用率最大；否则，normal的利用率是一半，因为是两个failure group做镜像；high的利用率是三分之一，因为是三个failure group做镜像；c)磁盘候选。分为“show member”和“show all”两种，第一种显示尚未分配的磁盘，第二种显示所有磁盘。有时虽然已经删掉了以前的数据库，但是没有删掉磁盘组，所以磁盘仍会显示为已用，这是就需要show all。切记，一定要修改磁盘路径为ORCL:*，否则即使选中也会被视为无效。如果想选择那些已经被其他组用过的盘，则需要选择force，强制执行。3.创建DB过程中会报错，点击确定即可。随后dbca会自动启动各个节点的instance，但是除了安装节点的正常，其他的都会报错。这是因为创建的ASM DiskGroup的时候，其他节点的ASM实例没有mount磁盘组。因此需要在其他节点上执行一下命令：# srvctl stop asm n hostname# srvctl start asm n hostname# srvctl start instance I instance_name on hostnamed database_name最后用命令# srvctl status database d database_name检查，是否所有节点的instance都已经running。6.2 删除数据库删除数据库最好也用dbca，虽然srvctl也可以。1.运行dbca，选择”delete a database”。然后就next.，直到finish。2.数据的删除并不影响asm实例，如果想删除与asm有关的内容，可以按如下做法：# export ORACLE_SID=ASM_instance_name# sqlplus / as sysdbaSQL drop diskgroup diskgroup_name including contents;SQL quit然后在各个节点上执行# srvctl stop asm n hostname# srvctl remove asm n hostname这样，应该就可以删除的比较干净了。Lsnrctl start6.3 验证数据库安装正确$su oracle$sqlplus /nologconnect / as sysdbaConnectedstartupORA-01081:cannot start already-running ORACLE shut it down first -说明数据库已经运行connect system/oracledbrac1Connectedconnect system/oracledbrac2Connected两个节点提示connected说明数据库在两个节点上正常运行。 6.4 数据库troubleshooting重起后出现问题：#su - oracle$ srvctl status nodeapps n dbrac1VIP is running on node: dbrac1GSD is not running on node: dbrac1Listener is not running on node: dbrac1ONS daemon is not running on node: dbrac1$ srvctl status nodeapps n dbrac2VIP is running on node: dbrac2GSD is not running on node: dbrac2Listener is not running on node: dbrac2ONS daemon is not running on node: dbrac2暂时解决办法：在各节点上分别:# /etc/init.d/oracleasm enable#/etc/init.d/oracleasm scandisks然后在主节点上运行：#su - oracle$crs_stop -all$srvctl stop nodeapps -n dbrac1$srvctl stop nodeapps -n dbrac2$srvctl start nodeapps -n dbrac1$srvctl start nodeapps -n dbrac2$crs_start -all$srvctl start database -d dbrac为什么呢.第七部分 附录7.1 CRS进程介绍CRS 维护着两个文件： Oracle Cluster Registry (OCR) 和 Voting Disk。 OCR 和 Voting Disk 必须以原始分区或集群文件系统文件的形式存在于共享磁盘上。 在以前的版本中，Oracle RAC必须借助第三方Cluster软件，但是从Oracle10g开始，我们有了新的选择。CRS就是这样一个替代产品，用以提供RAC环境中的群集服务。CRS是一个单独的产品，在构建RAC环境中，需要单独安装。系统启动以后，CRS会自动启动，启动主要由/etc/init.d中的几个脚本完成:eygleraclinux1 init.d$ ll init*-r-xr-xr-x 1 root root 1951 Jun 27 13:27 init.crs-r-xr-xr-x 1 root root 4735 Jun 27 20:32 init.crsd-r-xr-xr-x 1 root root 35401 Jun 27 13:27 init.cssd-r-xr-xr-x 1 root root 3197 Jun 27 13:27 init.evmdCRS启动的三个主要的后台进程为:oracleraclinux1 bin$ ps -ef|grep d.binroot 3140 1 0 23:13 00:00:00 /u01/app/oracle/product/10.2.0/crs/bin/crsd.binoracle 3884 3062 0 23:14 00:00:00 /u01/app/oracle/product/10.2.0/crs/bin/evmd.binoracle 4017 3983 0 23:14 00:00:00 /u01/app/oracle/product/10.2.0/crs/bin/ocssd.binoracle 21117 13799 0 23:29 pts/1 00:00:00 grep d.bin这几个进程的主要作用如下:CRSD:- Engine for HA operation - Manages application resources- Starts, stops, and fails application resources over- Spawns separate actions to start/stop/check application resources- Maintains configuration profiles in the OCR (Oracle Configuration Repository)- Stores current known state in the OCR.- Runs as root- Is restarted automatically on failureOCSSD:- OCSSD is part of RAC and Single Instance with ASM- Provides access to node membership- Provides group services- Provides basic cluster locking- Integrates with existing vendor clusteware, when present- Can also runs without integration to vendor clustware- Runs as Oracle.- Failure exit causes machine reboot. - This is a feature to prevent data corruption in event of a split brain.注意，ocssd进程在单实例ASM系统中也可以见到，以下是我的一个单实例ASM系统，ocssd进程同样存在:bash-2.03# ps -ef|grep _+ASMoracle 3264 1 0 Aug 25 ? 0:01 asm_lgwr_+ASM root 12669 8167 0 11:58:56 pts/1 0:00 grep _+ASMoracle 3270 1 0 Aug 25 ? 0:00 asm_rbal_+ASMoracle 3266 1 0 Aug 25 ? 0:05 asm_ckpt_+ASMoracle 3268 1 0 Aug 25 ? 0:00 asm_smon_+ASMoracle 3262 1 0 Aug 25 ? 0:00 asm_dbw0_+ASMoracle 3258 1 0 Aug 25 ? 0:00 asm_pmon_+ASMoracle 3260 1 0 Aug 25 ? 0:00 asm_mman_+ASMbash-2.03# ps -ef|grep ocssd root 12672 8167 0 11:59:01 pts/1 0:00 grep ocssdoracle 5374 1 0 Apr 07 ? 0:01 /opt/oracle/product/10.2.0/bin/ocssd.binbash-2.03# ocssd进程非常重要，如果该进程异常中止，会导致系统crash。在某些极端情况下，如果ocssd无法正常启动，会导致操作系统循环重启。这时候需要DBA介入进行一些特殊处理。EVMD:- Generates events when things happen- Spawns a permanent child evmlogger- Evmlogger, on demand, sp