Oracle_RAC部署实施

1、Oracle RAC部署实践 战略客户服务部 李金泉 2012年6月 目录 1、Oracle RAC工作原理 2、操作系统相关配置 3、CRS、Database安装部署 4、DBCA建库及登录验证 1、Oracle RAC工作原理 n RAC real application clusters，译为“实时应用集群”， 是Oracle新 版数据库中采用的一项新技术，是高可用性的一种，也是Oracle 数据库支持网格计算环境的核心技术 n 优点 Oracle RAC主要支持Oracle9i、10g、11g版本，支持24 x 7 有 效的数据库应用系统，在低成本服务器上构建高可用性数据库系 统，自由

2、部署应用，无需修改代码，在Oracle RAC环境下， Oracle集成提供了集群软件和存储管理软件，为用户降低了应用 成本当应用规模需要扩充时，用户可以按需扩展系统，以保证系 统的性能。 Oracle RAC及优缺点 优点： 多节点负载均衡; 提供高可用：故障容错和无缝切换功能，将硬件和软件错误造成 的影响最小化; 通过并行执行技术提高事务响应时间-通常用于数据分析系统; 通过横向扩展提高每秒交易数和连接数-通常对于联机事务系 统; 节约硬件成本：可以用多个廉价PC服务器代替昂贵的小型机或大 型机，同时节约相应维护成本; 可扩展性好：可以方便添加删除节点，扩展硬件资源。 Oracle RAC

3、及优缺点 n 缺点 相对单机，管理更复杂，要求更高; 在系统规划设计较差时性能甚至不如单节点; 可能会增加软件成本(如果使用高配置的pc服务器，Oracle一般按 照CPU个数收费)。 n 在Oracle9i之前，RAC的名称是OPS (Oracle parallel Server)。 RAC 与 OPS 之间的一个较大区别是，RAC采用了Cache Fusion(高速缓存合并)技术。在 OPS 中，节点间的数据请求需要 先将数据写入磁盘，然后发出请求的节点才可以读取该数据。使 用Cache fusion时，RAC的各个节点的数据缓冲区通过高速、低 延迟的内部网络进行数据块的传输。 Oracl

4、e RAC及优缺点 Oracle RAC组成 Oracle RAC体系结构 n 硬件 n 在硬件级别上，RAC 集群中的各节点共享三种功能： 对共享磁盘存储的访问，Oracle RAC 依赖于一个共享磁盘体系 结构 与专用网络的连接 ，每个集群节点通过专用高速网络连接到所有 其他节点 对公共网络的访问，为维持高可用性，为每个集群节点分配了一 个虚拟 IP 地址 (VIP) 硬件功能 n Oracle 集群就绪服务 p Oracle RAC 10g 引进了 Oracle 集群就绪服务 (CRS) 一组用 于集群环境的与平台无关的系统服务 p CRS 维护着两个文件： Oracle Cluster

5、 Registry (OCR) 和 Voting Disk。 OCR 和 Voting Disk 必须以原始分区或集群文件 系统文件的形式存在于共享磁盘上 n Oracle RAC 软件 p Oracle RAC 10g 软件是 RAC 数据库的核心，每个集群节点上都 必须安装；只需在一个节点上安装 RAC OUI 会完成其余的工 作 n Oracle 自动存储管理 (ASM) p 一种与平台无关的方式提供文件系统服务、逻辑容量管理器和软 件 RAID p Oracle ASM 不是通用的文件系统，只能用于 Oracle 数据文件、 重做日志、控制文件和 RMAN 快速恢复区 软件功能 目录

6、1、Oracle RAC工作原理 2、操作系统相关配置 3、CRS、Database安装部署 4、DBCA建库及登录验证 2、操作系统相关配置 安装流程图 配置硬件 安装和配置 坚不可摧的 Linux 配置专用网络 安装 Oracle CRS 安装 Oracle 数据库， 包括 RAC 和 ASM 运行 VIPCA 配置存储器， 包括 ASM 使用 DBCA 创建数据库 操作系统RedHat AS 4.0 U6, RedHat AS 5.0 U6，操作系统完全安装 Oracle10gRAC 10201_clusterware_linux_x86_64.cpio.gz 10201_databas

7、e_linux_x86_64.cpio.gz 补丁包p4547817_10202_Linux-x86-64.zip 安装前准备 网络rac1rac2 公网 ip10.10.10.110.10.10.2 公网ip、虚拟ip在一个网段 虚拟 ip10.10.10.310.10.10.4 私网 ip192.168.0.1192.168.0.2私网ip保证2个节点能通 共享存储空间大小 ocr1200MB ocr2200MB vote1200MB vote2200MB vote3200MB date800GB 数据库名字（Oracle_sid）orcl 字符集(character set)ZHS16g

8、bk 数据库服务名(service_name)orcl Oracle口令111111 sys口令111111 system口令111111 n 使用6200系列16核心处理器，并安装Oracle RAC10g n 安装Redhat 5.7 x86_64bit操作系统 n 安装系统时加载参数：linux numa=off n 第一次启动时：kernel /vmlinuz-2.6.18-164.el5 ro root=LABEL=/ rhgb quiet numa=off n 进入系统后：修改/boot/grub/grub.conf文件，在相应的引导行加入 numa=off参数，保存退出 系统安装

9、注意事项 n su - root n vi /etc/hosts 127.0.0.1 localhost 192.168.0.1 rac1-priv 10.10.10.1 rac1 10.10.10.3 rac1-vip 192.168.0.2 rac2-priv 10.10.10.2 rac2 10.10.10.4 rac2-vip 注：未做特别说明的情况，每节点都要做相对应的操作！ 网络设置 n su - oracle n mkdir /.ssh n chmod 755 /.ssh n /usr/bin/ssh-keygen -t rsa n cat /.ssh/id_rsa.pub /.

10、ssh/authorized_keys n scp r /.ssh rac2:/root/. n 测试： ssh rac2 date Sun Jun 27 19:07:19 CDT 2011 ssh rac1 date Sun Jun 27 19:07:21 CDT 2011 注：使用同样的方法配置oracle用户的ssh ssh配置 n 增加加网关 n 要求给每台机器加上网关，不然vip有可能起不来 n su - root n vi /etc/sysconfig/network GATEWAY=10.10.10.254 配置网关GATEWAY n su - root n vi /etc/sy

11、sctl.conf kernel.shmall = 4194304 kernel.shmmax =kernel.shmmni = 4096 kernel.sem = 250 32000 100 128 fs.file-max = 65536 net.ipv4.ip_local_port_range = 1024 65000 net.core.rmem_default = 1048576 net.core.rmem_max = 1048576 net.core.wmem_default = 1048576 net.core.wmem_max = 1048576 kern

12、el.shmmax =#可改大小，这里是16GB n su - root n /sbin/sysctl -p n # ipcs lm #查看配置结果 系统内核参数 n RAC节点间通过CSS来判断通信状态，因此需要设定定时 器来触发判断。该定时器就是linux内核自带的 hangcheck-timer。 n vi /etc/rc.local 中加入（数值以具体情况而定，以下是 默认值） n modprobe hangcheck-timer hangcheck_tick=30 hangcheck_margin=180 p 表示，每隔30秒检查一下节点状态，如果180秒内

13、仍没有反应， 则重启该节点。这也就是说，检查的间隔最长为30180秒，如 果超过这个时间，则系统重启。 n Tip：如果系统尚不稳定，可将数值设置的大一些，这样 可以有充分的时间来修复系统，否则系统会进入循环重启 状态。 hangcheck-timer设置 n su root p /usr/sbin/groupadd oinstall p /usr/sbin/groupadd dba p /usr/sbin/useradd -m -g oinstall -G dba oracle n id oracle p uid=500(oracle) gid=500(oinstall) groups=50

14、0(oinstall),501(dba) n passwd oracle n 设置oracle的shell限制： p vi /etc/security/limits.conf oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oraclehard nofile 65536 建立oracle用户和组 n 服务端 chkconfig -level 35 ntpd on vi /etc/ntp.conf # restrict 192.168.1.0 mask 255.255.255.0 nomodify no

15、trap 改为 restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap service ntpd restart #重启服务 n 客户端 n /etc/crontab, 添加下面两行 vi /etc/crontab */5 * * * * root ntpdate -u 192.168.0.1 /home/oracle/ntp.last 0 0 * * 7 root hwclock -w service crond start #重启服务 同步系统时间 n 基本路径： ORACLE_BASE=/u01/app/oracle ORACLE_

16、HOME=$ORACLE_BASE/product/10.2.0/db_1 ORA_CRS_HOME=/u01/crs/oracle/10gr2/crs n su - oracle vi .bash_profile export ORACLE_BASE=/u01/app/oracle export ORACLE_HOME=$ORACLE_BASE/product/10.2.0/db_1 export ORA_CRS_HOME=/u01/crs/oracle/10gr2/crs export ORACLE_SID=orcl1 #第2台机器写orcl2 export TNS_ADMIN=$ORAC

17、LE_HOME/network/admin export PATH=$ORACLE_HOME/bin:$HOME/bin:$ORA_CRS_HOME/bin:/ sbin:$ORA_ASM_HOME:$PATH 安装路径 1、CRS安装路径的创建及授权 su - root mkdir -p /u01/crs/oracle chown -R oracle:oinstall /u01/crs/oracle chmod -R 775 /u01/crs/oracle 2、创建oracle软件安装目录 su - root mkdir -p /u01/app/oracle chown -R oracle:

18、oinstall /u01/app/oracle chmod -R 775 /u01/app/oracle 创建安装目录 n OCR及voting disk用途 OCR（Oracle Cluster Registry）它记录了机群配置和机群数 据库的基本配置，默认大概需要100M的空间，这里我们给了它 200M的空间,并且考虑到冗余性，ocr有2个； Vote：它是CSS（Cluster Synchronization Services）需要的 文件，用来判断机群内各个节点的状态，默认大概也需要100M 的空间，这里我们也给了它200M的空间，并且考虑到冗余性， vote有3个。 OCR和Vo

19、ting Disk n 硬盘分区（使用fdisk或是parted） /dev/sdb1 200MB /dev/sdb2 200MB /dev/sdb3 200MB /dev/sdb5 200MB /dev/sdb6 200MB /dev/sdb7 800GB 第二台服务器重写磁盘分区表信息 划分祼设备 n su - root n vi /etc/sysconfig/rawdevices /dev/raw/raw1-7 /dev/sdb1-7 或 /dev/raw/raw1 /dev/sdb1 /dev/raw/raw2 /dev/sdb2 /dev/raw/raw3 /dev/sdb3 /de

20、v/raw/raw5 /dev/sdb5 /dev/raw/raw6 /dev/sdb6 /dev/raw/raw7 /dev/sdb7 n service rawdevices restart Redhat 4.6配置ASM方法 n修改权限： su - root chown root:oinstall /dev/raw/raw1 chmod 640 /dev/raw/raw1 chown root:oinstall /dev/raw/raw2 chmod 640 /dev/raw/raw2 chown oracle:dba /dev/raw/raw3 chmod 660 /dev/raw/r

21、aw3 chown oracle:dba /dev/raw/raw5 chmod 660 /dev/raw/raw5 chown oracle:dba /dev/raw/raw6 chmod 660 /dev/raw/raw6 chown oracle:dba /dev/raw/raw7 chmod 660 /dev/raw/raw7 n 修改权限内容修改权限内容 /etc/rc.local，让重，让重 启后自动生效启后自动生效 nsu - root nvi /etc/udev/rules.d/60-raw.rules ACTION=add, KERNEL=sdb1, RUN+=/bin/ra

22、w /dev/raw/raw1 %N ACTION=add, KERNEL=sdb2, RUN+=/bin/raw /dev/raw/raw2 %N ACTION=add, KERNEL=sdb3, RUN+=/bin/raw /dev/raw/raw3 %N ACTION=add, KERNEL=sdb4, RUN+=/bin/raw /dev/raw/raw4 %N ACTION=add, KERNEL=sdb5, RUN+=/bin/raw /dev/raw/raw5 %N ACTION=add, KERNEL=sdb6, RUN+=/bin/raw /dev/raw/raw6 %N A

23、CTION=add, KERNEL=sdb7, RUN+=/bin/raw /dev/raw/raw7 %N KERNEL=raw1, OWNER=root, GROUP=oinstall, MODE=640 KERNEL=raw2, OWNER=root, GROUP=oinstall, MODE=640 KERNEL=raw3, OWNER=oracle, GROUP=dba, MODE=644 KERNEL=raw4, OWNER=oracle, GROUP=dba, MODE=644 KERNEL=raw5, OWNER=oracle, GROUP=dba, MODE=644 KERN

24、EL=raw6, OWNER=oracle, GROUP=dba, MODE=644“ KERNEL=raw7, OWNER=oracle, GROUP=dba, MODE=644“ n su root #设置生效 cd /etc/udev/rules.d start_udev Redhat 5.6配置ASM方法 n 对于Disk /dev/sdb，sdb1分区有3GB左右，用来存储 voting disk、OCR和Oracle数据库软件，数据快速恢复 文件、采用OCFS2文件系统 n 剩下空间全部给sdb2 ,采用OCFS2文件系统,用于存放数 据 n 具体操作方法参见实施文档，本次推荐使用

25、ASM方式 OCFS安装 n dd if=/dev/zero of=/dev/sdb1 bs=1M n dd if=/dev/zero of=/dev/sdb2 bs=1M n dd if=/dev/zero of=/dev/sdb3 bs=1M n dd if=/dev/zero of=/dev/sdb5 bs=1M n dd if=/dev/zero of=/dev/sdb6 bs=1M n dd if=/dev/zero of=/dev/sdb7 bs=1M count=1000 n 确保磁盘分区状态为zero 注：系统等准备就绪 准备安装软件包，保存到/public目录 初始化磁盘分区

26、 目录 1、Oracle RAC工作原理 2、操作系统相关配置 3、CRS、Database安装部署 4、DBCA建库及登录验证 3、CRS、Database安装部署 n /publci/10201_clusterware_linux_x86_64.cpio.gz p CRS安装包（310MB） n /public/ 10201_database_linux_x86_64.cpio.gz p Database安装包（740MB） n /public/ p6810189_10204_Linux-x86-64.zip p 10.2.04补丁安装包，包括CRS和Database安装包（1.16GB）

27、 准备安装文件包 n VNC连接 p 使用oracle用户登到图形 界面 注：本地桌面也使用oracle 登录，不可在root中使 用su oracle来切换 n Xmanager p 使用oracle用户登到图形 界面 本地或远程图形桌面 n 解压CRS软件： n gzip -d 10201_clusterware_linux_x86_64.cpio.gz n cpio -idmv 10201_clusterware_linux_x86_64.cpio n 以oracle用户登陆图形窗口 n 进入clusterware目录 n ./runInstaller -ignoreSysPrereqs

28、 p 系统如果是Redhat 5，必须加参数，否则无法启动安装界面 CRS安装 n 点Next CRS安装 n 点Next CRS安装 n /u01/crs/oracle/10gr2/crs CRS安装 n 点Next CRS安装 n 增加节点信息 CRS安装 n 选择公网和私网 CRS安装 n 输入orc路径，如使用ocfs选择“External Redundancy” CRS安装 n 输入voting路径，如使用ocfs选择“External Redundancy” CRS安装 n 开始安装 CRS安装 n 用root，在每个节 点顺序执行 orainstRoot.sh 和 root.sh

29、 n 脚本执行完之前不 要点OK CRS安装 n在AS5.0上会报错 n/u01/crs/oracle/10gR2/crs/jdk/jre/bin/java: error while loading shared libraries: libpthread.so.0: cannot open shared object file: No such file or directory n以后执行vipca等出不来图形界面，编辑vipca if $arch = i686 -o $arch = ia64 =o $arch = x86_64 then LD_ASSUME_KERNEL=2.4.19 e

30、xport LD_ASSUME_KERNEL fi unset LD_ASSUME_KERNEL = Line to be added 同样，对于脚本srvctl，也需要添加 Similarly for srvctl (in both the CRS and RDBMS bin directories), unset LD_ASSUME_KERNEL by adding one line, around line 180 should look like this: LD_ASSUME_KERNEL=2.4.19 export LD_ASSUME_KERNEL unset LD_ASSUME_

31、KERNEL = Line to be added CRS安装 n 回到对 话框， 点OK CRS安装 n 提示错误，先不要点OK， n 配置的公网ip是一个oracle 默认的私网ip，oracle不认 识，所以报错 n 配置vipca后再点OK CRS安装 n解决方法： 使用/u01/crs/oracle/10gr2/crs/bin/vipca配置一下vip网络就OK了。 su root #在一台节点机上运行 /u01/crs/oracle/10gr2/crs/bin/vipca CRS安装 n 点OK完成 CRS安装 n 点错误提示OK并完成CRS安装 CRS安装 n su- oracle cd /home/oracle/10gR2/crs/bin 或 cd $ORA_CRS_HOME/bin/crs_stat -t ./crs_stat t Target和State都为ONLINE，安装完毕 卸载CRS请参见文档附件 n 如果中间出现故障，