centos7 安装oracle 集群.docx

CENTOS7下安装oracle集群系统一.RAC 简介 Oracle Clusterware是一个集群软件，使用它做机群的所有操作系统必须相同。使用Oracle Clusterware将多个装有相同操作系统的服务器捆绑到一起， 当对这些集群的服务器进行访问时，就像访问同一台服务器一样。 Oracle RAC的优势在于利用多个节点（数据库实例）组成一个数据库，这样在保证了数据库高可用性的情况下更充分的利用了多个主机的性能，而且可以通过增加节点进行性能的扩展。实现Oracle RAC需要解决的关键问题就是多节点进行数据访问时如何保证数据的一致性，Oracle是通过各节点间的私有连接进行内存融合（cache fusion）来保证各节点数据访问的一致性。通过对Oracle RAC技术的理解，在实现Oracle RAC架构时的业务分割是保证系统性能的重要手段，业务分割的根本在于使不同的实例不能访问相同的数据块，这样业务分割规则可以小到表的级别（不同的表不会共享一个数据块），大到表空间、Schema的级别。心跳应该用独立的网卡。对网络共享硬盘建议增加一个专门的网卡进行数据交流。二.安装前准备（1）硬件准备 存储主机1台以上，集群节点主机2台以上，生产环境节点主机建议每个安装3个网卡（1提供公共访问服务，2私有网络连接服务，3共享存储访问服务，对大数据量系统网卡，网络性能要求千兆以上；每个节点硬盘大小50G左右用于安装操作系统以及数据库集群软件（本身软件以及操作系统大概占用20G左右）。（2）安装包安装包版本使用11g rac 安装包下载grid 以及database 安装包下载centos7操作系统。（3）检查软件包安装oracle RAC所需的linux软件包：x86:yum y install binutils compat-libstdc+ elfutils-libelf elfutils-libelf-devel elfutils-libelf-devel-static gcc gcc-c+ glibc glibc-common glibc-devel glibc-headers ksh libaio libaio-devel libgcc libgomp libstdc+ libstdc+-devel make sysstat unixODBC unixODBC-develx64: binutils-.6 compat-libstdc+-33-3.2.3 compat-libstdc+-33-3.2.3（32 位） elfutils-libelf-0.125 elfutils-libelf-devel-0.125 elfutils-libelf-devel-static-0.125 gcc-4.1.2 gcc-c+-4.1.2 glibc-2.5-24 glibc-2.5-24（32 位） glibc-common-2.5 glibc-devel-2.5 glibc-devel-2.5（32 位） glibc-headers-2.5 ksh-20060214 libaio-0.3.106 libaio-0.3.106（32 位） libaio-devel-0.3.106 libaio-devel-0.3.106（32 位） libgcc-4.1.2 libgcc-4.1.2（32 位） libstdc+-4.1.2 libstdc+-4.1.2（32 位） libstdc+-devel 4.1.2 make-3.81 sysstat-7.0.2 unixODBC-2.2.11 unixODBC-2.2.11（32 位） unixODBC-devel-2.2.11 unixODBC-devel-2.2.11（32 位）（4）安装配置JDK 查看环境变量是否配置如果没有请安装配置/etc/profileJAVA_HOME=/usr/java/jdk1.8.0_11JRE_HOME=/usr/java/jdk1.8.0_11/jrePATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$JRE_HOME/lib:export JAVA_HOME JRE_HOME PATH CLASSPATH（5） 配置网络 以两台节点主机为例 Rac1网络名IP备注Eth037配置到文件中Eth147虚拟ipRac2网络名IP备注Eth038配置到文件中Eth148虚拟ip修改或者新建/etc/udev/rule.d/ 81-persistent-net.rules 修改网口名SUBSYSTEM=net,ACTION=add,DRIVERS=?*,ENVID_NET_NAME_MAC=enx000c2926e8bc,NAME=eth0SUBSYSTEM=net,ACTION=add,DRIVERS=?*,ENVID_NET_NAME_MAC=enx000c2926e8c6,NAME=eth1修改/etc/hostname ，将主机名设置成host对应的例如rac1修改/etc/hosts 添加以下内容#eth037 centosrac138 centosrac2#eth1 centosrac1-priv centosrac2-priv#virtual47 centosrac1-vtl48 centosrac2-vtl#scan 30 centosrac-scan（6） 配置scsi网络存储存储服务器上安装openfiler配置共享存储器。创建3个共享磁盘或者更多。其中：crs为表决磁盘大小一般在2G左右，推荐配置3个以上的磁盘组维持稳定（表决磁盘是为了解决网络分裂而创建。Clusterware使用表决磁盘来决定哪些节点是集群的成员RAC是通过共享存储和私有网络使不同节点之间保持通信的，如果私有网络出现问题导致节点间的通信发生故障，就会发生脑裂，这时，Clusterware会依赖于共享存储中的表决磁盘，根据投票算法踢出有问题的节点，让剩余的节点组成新的集群继续提供服务，以保证正常节点和问题节点相互隔离。如果某个节点的存储出现故障，这个节点也就自动离开集群。理论上，Clusterware处理脑裂和存储故障的方法都是将问题节点服务器重启）。Fra 为快速恢复磁盘组，主要是存储最近的数据，根据需要保存的数据量配置大小即可。Data 为数据存储磁盘组。创建了三个 iSCSI 磁盘，现在可以将它们呈现给网络上的 iSCSI 客户端（rac01 和 rac02）。ISCSI目标：网络ACL：在oracle RAC节点上配置iscsi卷：确认节点上安装了iscsi-initiator-utils*软件包，没有则安装此软件包：initiator的配置文档位于/etc/iscsi/，该目录下有两个文件，initiatorname.iscsi 和iscsid.conf，其中iscsid.conf 是其配置文件，initiatorname.iscsi 是标记了initiator的名称，它的默认名称是InitiatorName=.redhat:b45be5af6021，我们可以根据实际情况进行更改，比较好区分，这里我们修改为InitiatorName=iqn.2014-07.dev.iscsi-initiator:initiator。因为在target里面，我们并没有设置访问限制，所以scsid.conf 文件并不需要修改。侦测target如果我们事先不知道目标主机的target名称，我们就需要进行侦测，下面来讲解。# iscsiadm -m discovery -t sendtargets -p 1说明： -m discovery/侦测target -t sendtargets/通过iscsi协议 -p IP:port/指定target的IP和port，不写port的话，默认为3260（7）配置udev 映射磁盘名称Asmlib 不支持了，无法找到符合的内核版本首先使用命令/lib/udev/scsi_id -g -u d /dev/sdb 获取磁盘uuid下面是批量获取scsi_idfor i in b c d doecho sd$i scsi_id -g -u -d /dev/sd$idone配置/etc/udev/rules.d/，修改result配置项为刚获取的配置idACTION=add|change,KERNEL=sd*,ENVID_BUS=scsi,PROGRAM=/lib/udev/scsi_id -g -u -d $devnode,RESULT=36000c29b0b5d5a3f58a5a1a1c0aaf126,SYMLINK=asm-ocr,OWNER=grid,GROUP=asmadmin,MODE=0660ACTION=add|change,KERNEL=sd*,ENVID_BUS=scsi,PROGRAM=/lib/udev/scsi_id -g -u -d $devnode,RESULT=36000c296b7d77786374cfbed811eb7cf,SYMLINK=asm-data1,OWNER=grid,GROUP=asmasmin,MODE=0660ACTION=add|change,KERNEL=sd*,ENVID_BUS=scsi,PROGRAM=/lib/udev/scsi_id -g -u -d $devnode,RESULT=36000c293b6fdb55884faeb8d78e1b00d,SYMLINK=asm-fra,OWNER=grid,GROUP=asmadmin,MODE=0660配置完成后可以使用udevadm test /block/sdb 测试是否生效systemctl restart systemd-udevd 重启udev服务（8） 禁用 系统ntpd 时间同步Rac 自带ctss 时间同步组件，所以推荐使用oracle官方组件，禁用系统ntpd，如果有特殊要求也可以配置ntpd，安装过程中会根据ntpd的配置情况自动决定是否安装ctss。/sbin/service ntpd stopmv /etc/ntp.conf /etc/ntp.conf.bakchkconfig ntpd stop（9）配置内核参数修改/etc/sysctl.conf# add parameter for oracle by liulg 2015/10/20fs.aio-max-nr = 1048576fs.file-max = 6815744kernel.shmall = 2097152kernel.shmmax = 1984481280kernel.shmmni = 4096kernel.sem = 250 32000 100 128net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 262144net.core.rmem_max = 4194304net.core.wmem_default = 262144net.core.wmem_max = 1048586#oracle set end （10） 修改系统连接数限制 vi /etc/security/limits.conf添加 oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536打开 /etc/pam.d/login添加以下内容session required /lib/security/pam_limits.sosession required pam_limits.so启动配置/etc/profile中添加以下配置，oracle要求配置if $USER = oracle ; thenif $SHELL = /bin/ksd ; thenulimit -p 16384ulimit -n 65536elseulimit -u 16384 -n 65536fifi（11）创建用户 /usr/sbin/groupadd -g 1000 oinstall /usr/sbin/groupadd -g 1020 asmadmin /usr/sbin/groupadd -g 1021 asmdba /usr/sbin/groupadd -g 1022 asmoper /usr/sbin/groupadd -g 1031 dba /usr/sbin/groupadd -g 1032 oper useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,oper,dba grid useradd -u 1101 -g oinstall -G dba,asmdba,oper oracle（12）安装目录以及权限mkdir -p /u01/app/11.2.0/grid mkdir -p /u01/app/grid chown -R grid:oinstall /u01 mkdir /u01/app/oracle chown oracle:oinstall /u01/app/oracle chmod -R 775 /u01/（13）配置用户变量 （红色地方修改数字为对应的主机节点就行）配置grid用户环境变量：/home/grid/.bash_profileexport TMP=/tmp;export TMPDIR=$TMP;export ORACLE_HOSTNAME=centosrac1;export ORACLE_SID=+ASM1;export ORACLE_BASE=/u01/app/grid;export ORACLE_HOME=/u01/app/11.2.0/grid;export NLS_DATE_FORMAT=yy-mm-dd HH24:MI:SS;export PATH=$ORACLE_HOME/bin:$PATH;export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK;配置oracle用户环境变量：/home/oracle/.bash_profile export TMP=/tmp;export TMPDIR=$TMP;export ORACLE_HOSTNAME= centosrac1;export ORACLE_BASE=/u01/app/oracle;export ORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1;export ORACLE_UNQNAME=prod;export ORACLE_SID=prod1;export ORACLE_TERM=xterm;export PATH=/usr/sbin:$PATH;export PATH=$ORACLE_HOME/bin:$PATH;export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib; export NLS_DATE_FORMAT=yyyy-mm-dd HH24:MI:SS;export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK;（14） 关闭防火墙 systemctl stop firewalld 关闭防火墙 systemctl mask firewalld 停用以上除磁盘分区配置外均在两个节点上配置三.安装过程问题解决(1) grid 安装过程中root.sh执行不通过CRS-4124: Oracle High Availability Services startup failed.CRS-4000: Command Start failed, or completed with errors.ohasd failed to start: Inappropriate ioctl for deviceohasd failed to start at/u01/app/11.2.0/grid/crs/install/rootcrs.pl line 443.就是在执行root.sh之前执行以下命令/bin/dd if=/var/tmp/.oracle/npohasd if=/dev/null bs=1024 count=1如果出现报错：/bin/dd: opening/var/tmp/.oracle/npohasd: No such file or directory的时候文件还没生成就继续执行，