linux54安装oracle11grac

1、目录1系统规划11.1IP地址规划11.2存储规划12系统配置12.1关闭所有节点防火墙（所有RAC节点都要做）12.2设置SELINUX （所有RAC节点都要做）22.3设置/etc/pam.d/login （所有RAC节点都要做）22.4设置/etc/sysctl.conf22.5建立hangcheck模块加载（在11G R2以后无需配置）32.6修改host文件（所有RAC节点都要做）32.7建用户、组、目录（所有RAC节点都要做）42.7.1.建立组42.7.2.建立用户42.7.3.建立目录42.7.4.配置各节点环境变量52.7.5.系统参数设置62.8ASM软件的安装配置62.8

2、.1.按照顺序按照asm软件包62.8.2.配置asmlib72.8.3.建ASM卷82.8.4.配置互信112.9关掉ntp服务132.10安装cvuqdisk包（在所有节点上执行）132.11安装创建系统容易忽略的包(所有节点)142.12运行CVU 使用程序验证143安装Oracle  Grid  Infrastructure144安装数据库软件235dbca建库306配置优化396.1修改本地监听396.2Tns模式396.3MEMORY_MAX_TARGET参数设置问题407asm磁盘组迁移替换417.1在磁盘组添加磁盘并做数据平衡迁移417.

3、2ocr替换417.2.1.增加一个ocr镜像417.2.2.ocr替换427.2.3.votedisk 迁移427.2.4.spfile的迁移437.2.5.去除老磁盘438磁盘设备名称变更449密码管理4510单实例安装4510.1单实例停启4711服务关闭481 系统规划1.1 IP地址规划主机名node1node2node3node4eth0 IP(PUBLIC)3456eth0 IP(VIP)789

4、0eth1(PRIV)3456SCAN IP 1SID lndss1lndss2lndss3lndss4ORACLE 版本1.2 存储规划 ASM磁盘组名称ASM卷名称磁盘分区多路径名称大小用途OCRVOTINGVOL1/dev/sdb12500MOCR磁盘OCRVOTING_MIRRORVOL2/dev/sdb22500MOCR镜像FLASH_RECOVERYVOL3/dev/sdb32500M快速恢复区VOL_

5、DATA01VOL4/dev/sdc1590G存放数据VOL_DATA02VOL5/dev/sdd11063G存放数据VOL_DATA03VOL6/dev/sde11063G存放数据2 系统配置2.1 关闭所有节点防火墙（所有RAC节点都要做）service iptables status -查看防火墙服务状态service iptables stop -关闭防火墙服务chkconfig iptables off -永久关闭防火墙chkconfig iptables -list -查看防火墙状态2.2 设置SELINUX （所有RAC节点都要做）vi /etc/selinux/config s

6、et SELINUX=disabled2.3 设置/etc/pam.d/login （所有RAC节点都要做）vi /etc/pam.d/login - -末行加入以下session required pam_limits.so2.4 设置/etc/sysctl.conf 实际配置vi /etc/sysctl.conf fs.aio-max-nr=1048576fs.file-max=6815744kernel.shmall=2097152kernel.shmmax=4294967295kernel.shmmni=4096kernel.sem=250 32000 100 128net.ipv4.

7、ip_local_port_range=9000 65500net.core.rmem_default=262144net.core.rmem_max=4194304net.core.wmem_default=262144net.core.wmem_max=1048576推荐配置 /*fs.aio-max-nr=1048576fs.file-max=6815744kernel.shmall=2097152kernel.shmmax=1073741824kernel.shmmni=4096kernel.sem=250 32000 100 128net.ipv4.ip_local_port_ran

8、ge=9000 65500net.core.rmem_default=262144net.core.rmem_max=4194304net.core.wmem_default=262144net.core.wmem_max=1048576*/sysctl -p 使生效2.5 建立hangcheck模块加载（在11G R2以后无需配置）检测是否安装了hangcheck模块rootnode2 char# find /lib/modules -name "hangcheck-timer.ko"/lib/modules/2.6.9-22.EL/kernel/drivers/char

9、/hangcheck-timer.ko设置模块为自动加载su - echo "options hangcheck-timer hangcheck_tick=30 hangcheck_margin=180" >> /etc/modprobe.conf或者echo " /sbin/modprobe hangcheck-timer hangcheck_tick=30 hangcheck_margin=180" >> /etc/rc.local检测模块是否运行su -modprobe hangcheck-timergrep Hangche

10、ck /var/log/messages | tail -22.6 修改host文件（所有RAC节点都要做）vi /etc/hosts  localhost.localdomain localhost#node1#3 node1 public ip3 racp1 priv ip7 racv1 vip#node2#4 node2 public ip4 racp2 priv ip8 racv2 vip#node3#136.127.5

11、0.75 node3 public ip5 racp3 priv ip9 racv3 vip#node4#6 node4 public ip6 racp4 priv ip0 racv4 vip1 rac-scan 2.7 建用户、组、目录（所有RAC节点都要做）....2.7.1. 建立组groupadd -g 1000 oinstall groupadd -g 1200 asmadmin group

12、add -g 1201 asmdba groupadd -g 1202 asmoper groupadd -g 1300 dba groupadd -g 1301 oper 2.7.2. 建立用户 useradd -m -u 1100 -g oinstall -G asmadmin,asmdba,asmoper grid useradd -m -u 1101 -g oinstall -G dba,oper,asmdba oracle修改用户密码passwd grid passwd oracle 注：1）grid安装有要求，grid的oracle_home不能在grid的home内，所以还是把g

13、rid和oracle的home目录放到/home/oracle和/home/grid下。 2）如果按照的是单实例的一定要把grid用户加到dba组里，否则会报错 2.7.3. 建立目录mkdir -p /ora11g/grid/mkdir -p /ora11g/grid/crschown -R grid:oinstall /ora11g/grid mkdir -p /ora11g/oracle/db_1chown -R oracle:oinstall /ora11g/oraclechmod -R 775 /ora11g注意：Grid Infrastructure 安装目录（注意

14、： 不是GRID_HOME哦） : grid用户的base及home不能有父子关系目录规划如下： ORACLE_BASE=/ ora11g /grid/crs ORACLE_HOME=/ ora11g /grid/ 11g单实例如果需要使用 ASM, 也必须安装Grid ，且必须放在 ORACLE_BASE 下, 目录规划如下ORACLE_BASE=/ora11g/grid/crsORACLE_HOME=/ora11g/grid/crs/11.2.02.7.4. 配置各节点环境变量修改grid用户.bash_profile #节点2为+ASM2 export ORACLE_SI

15、D=+ASM1 export ORACLE_BASE=/ora11g/grid/crs export ORACLE_HOME=/ora11g/grid/ export PATH=$ORACLE_HOME/bin:$PATH:/usr/local/bin/:. export TEMP=/tmp export TMP=/tmp export TMPDIR=/tmp umask 022 修改oracle用户#节点2为lndss2.bash_profile export ORACLE_SID=lndss1 export ORACLE_UNQNAME=lndss export ORACL

16、E_BASE=/ora11g/oracle/ export ORACLE_HOME=/ora11g/oracle/db_1export PATH=$ORACLE_HOME/bin:$PATH:$ORA_CRS_HOME/bin export TEMP=/tmp export TMPDIR=/tmp umask 022 2.7.5. 系统参数设置/etc/security/limits.conf文件添加如下内容：nofile(可打开的文件描述符的最大数)和nproc(单个用户可用的最大进程数量)grid soft nproc 2047grid hard nproc 16384grid soft

17、nofile 1024grid hard nofile 65536oracle soft nproc 2047oracle hard nproc 16384oracle soft nofile 1024oracle hard nofile 65536 2.8 ASM软件的安装配置.1. 按照顺序按照asm软件包（redhat 6以后没有asm包了，一定要下载和本系统内核匹配的包）#rpm -Uvh oracleasm-support-2.1.3-1.el5.x86_64.rpm #rpm -Uvh oracleasm-2.6.18-53.el5.el5.x86_64.rpm #r

18、pm -Uvh oracleasmlib-2.0.4-1.el5.x86_64.rpm rootracnode1 asm# rpm -Uvh oracleasm-support-2.1.8-1.el5.x86_64.rpmwarning: oracleasm-support-2.1.8-1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159Preparing. # 100% 1:oracleasm-support # 100%rootracnode1 asm# rpm -Uvh oracleasm-2.6.18-274

19、.el5-2.0.5-1.el5.x86_64.rpmwarning: oracleasm-2.6.18-274.el5-2.0.5-1.el5.x86_64.rpm: Header V3 DSA signature: NOKEY, key ID 1e5e0159Preparing. # 100% 1:oracleasm-2.6.18-274.el# 100%rootracnode1 asm# rpm -Uvh oracleasmlib-2.0.4-1.el5.x86_64.rpmwarning: oracleasmlib-2.0.4-1.el5.x86_64.rpm: Header V3 D

20、SA signature: NOKEY, key ID 1e5e0159Preparing. # 100% 1:oracleasmlib # 100%2.8.2. 配置asmlib可以通过以下命令来手工的卸载和加载ASMLib#/etc/init.d/oracleasm disable #/etc/init.d/oracleasm enableASM配置(注意user 和group与oracle 10g不一样)rootracnode1 file_dir# /etc/init.d/oracleasm configureConfiguring the Oracle ASM library driv

21、er.This will configure the on-boot properties of the Oracle ASM librarydriver. The following questions will determine whether the driver isloaded on boot and what permissions it will have. The current valueswill be shown in brackets (''). Hitting <ENTER> without typing ananswer will ke

22、ep that current value. Ctrl-C will abort.Default user to own the driver interface : gridDefault group to own the driver interface : asmadminStart Oracle ASM library driver on boot (y/n) y: yScan for Oracle ASM disks on boot (y/n) y: yWriting Oracle ASM library driver configuration: doneInitializing

23、the Oracle ASMLib driver: OK Scanning the system for Oracle ASMLib disks: OK 添加init文件使系统启动时自动加载ASMLib$su -#cd /etc/rc3.d#ln -s ./init.d/oracleasm S99oracleasm#ln -s ./init.d/oracleasm K01oracleasm2.8.3. 建ASM卷（createdisk 是针对分区,不是针对磁盘,即:先应将磁盘分区；在一个节点执行）：注意建议配置多路径，配置映射，磁盘编号是唯一的，以免以为设备的删减而使得磁盘的名称发生变化进而影

24、响oracle数据库。（配置多路径软件：本次使用的是系统自带的device-mapper-multipath，用rootnode1 # rpm -qa |grep multipathdevice-mapper-multipath-0.4.7-12.el5进行查看系统中是否有该软件包，如没有，可以从系统光盘或网上下载安装，如存储厂商提供对应的多路径软件，最好使用存储厂商提供的；配置/etc/multipath.conf看了很多文档，大部分人只是将下面的几行注释掉即可：#blacklist # devnode "*"#其他部分都是选配，不影响多路径的使用配置完该配置文件，在分区

25、之前，执行下列命令，即可生成多路径设备名 /dev/dm-n#modprobe dm-multipath 载入模块#modprobe dm-round-robin 载入模块#service multipathd start 启动多路径软件#multipath -v2 格式化路径此外还有相关命令：#multipath -ll 查看多路径#multipath -F 删除现有路径启动多路径后会出多来15个设备，设备名为：/DEV/DM-2到/DEV/DM-16 这就是我们可以使用的设备了。多出N个/dev/dm-n的磁盘，这个就是multipath生成的多路径的磁盘；在此让许多人包括我自己在内产生很

26、大困惑的是，竟然有些情况下，这个数量会多出来，比存储上LUN的数量还多；这是由于我们使用fdisk去对磁盘做了分区操作的缘故。不过没关系，为了使用方便，我们可以在配置文件里配置multipath，multipaths # multipath # wwid 3600508b4000156d700012000000b0000# alias yellow# path_grouping_policy multibus# path_checker readsector0# path_selector "round-robin 0"# failback manual# rr_weigh

27、t priorities# no_path_retry 5# multipath wwid 36005076309ffc2b70000000000002901 alias lun1 multipath wwid 36005076309ffc2b70000000000002902 alias lun2 multipath wwid 36005076309ffc2b70000000000002903 alias lun3 multipath wwid 36005076309ffc2b70000000000002904 alias lun4 multipath wwid 36005076309ffc

28、2b70000000000002905 alias lun5 multipath wwid 36005076309ffc2b70000000000002906 alias lun6 multipath wwid 36005076309ffc2b70000000000002907 alias lun7 multipath wwid 36005076309ffc2b70000000000002908 alias lun8 multipath wwid 36005076309ffc2b70000000000002909 alias lun9 multipath wwid 36005076309ffc

29、2b7000000000000290a alias lun10 multipath wwid 36005076309ffc2b7000000000000290b alias lun11 multipath wwid 36005076309ffc2b7000000000000290c alias lun12 multipath wwid 36005076309ffc2b7000000000000290d alias lun13 multipath wwid 36005076309ffc2b7000000000000290e alias lun14 multipath wwid 360050763

30、09ffc2b7000000000000290f alias lun15 指定了LUN1-LUN15的alias，我们可以直接使用这些alias的设备名来访问。WWWID号的查看：#/sbin/scsi_id -g -u -s /block/sda也可以使用：rootnode1 # multipath -ll 进行查看）# service oracleasm createdisk VOL1 /dev/mapper/lun1p1Marking disk "VOL1" as an ASM disk: FAILED执行：#/etc/init.d/oracleasm enabler

31、ootracnode1 rc3.d# /etc/init.d/oracleasm enableWriting Oracle ASM library driver configuration: doneInitializing the Oracle ASMLib driver: OK Scanning the system for Oracle ASMLib disks: OK rootracnode1 rc3.d# service oracleasm createdisk VOL1 /dev/sdc1Marking disk "VOL1" as an ASM disk: O

32、K rootracnode1 rc3.d# service oracleasm createdisk VOL2 /dev/sdd1Marking disk "VOL2" as an ASM disk: OK rootracnode1 rc3.d# service oracleasm createdisk VOL3 /dev/sdb1Marking disk "VOL3" as an ASM disk: OK rootracnode1 rc3.d# service oracleasm scandisksScanning the system for Ora

33、cle ASMLib disks: OK rootracnode1 rc3.d# service oracleasm listdisks(两个节点都验证一下看是否有asm卷)VOL1VOL2VOL3service oracleasm scandisks -刷新service oracleasm listdisks -列出如有报错，可以查看ASM的日志：#tail -f /var/log/oracleasm重新启动系统,确认ASMLib已经可以自动加载#lsmod |grep oracleasm#dmesg |grep oracleasm2.8.4. 配置互信注意：（oracle,grid两个用

34、户都要做互信的配置）在节点1执行#su - oracle $mkdir /.ssh $chmod 755 /.ssh $ssh-keygen -t rsa $ssh-keygen -t dsa 如有提示，直接按回车，保持默认。在节点2执行#su - oracle $mkdir /.ssh $chmod 755 /.ssh $ssh-keygen -t rsa $ssh-keygen -t dsa 如有提示，直接按回车，保持默认每个节点上运行cat /.ssh/id_rsa.pub >> /.ssh/authorized_keyscat /.ssh/id_dsa.pub >&g

35、t; /.ssh/authorized_keys在节点1上运行scp /oracle/product/oracle/.ssh/authorized_keys node4:/oracle/product/oracle/authorized_keys_rac1在节点2上运行scp /oracle/product/oracle/.ssh/authorized_keys node4:/oracle/product/oracle/authorized_keys_rac2在节点3上运行scp /oracle/product/oracle/.ssh/authorized_keys node4:/oracle

36、/product/oracle/authorized_keys_rac3 在节点4上运行（最末一个节点）cat /oracle/product/oracle/authorized_keys_rac1 >> /oracle/product/oracle/.ssh/authorized_keyscat /oracle/product/oracle/authorized_keys_rac2 >> /oracle/product/oracle/.ssh/authorized_keyscat /oracle/product/oracle/authorized_keys_rac3

37、>> /oracle/product/oracle/.ssh/authorized_keys 在节点4上运行（最末一个节点）scp /oracle/product/oracle/.ssh/authorized_keys node1:/oracle/product/oracle/.ssh/scp /oracle/product/oracle/.ssh/authorized_keys node2:/oracle/product/oracle/.ssh/scp /oracle/product/oracle/.ssh/authorized_keys node3:/oracle/produc

38、t/oracle/.ssh/ chmod 644 /.ssh/authorized_keys-验证互信ssh node1ssh node2ssh racp1ssh racp2做以下操作互信配置完成，在新会话也无需再重新配置一次互信建立用户等效性(只在当前会话中有效，在新会话中进行数据库软件安装时，需要重新执行)在第一个主机上，以 oracle 用户身份登录exec /usr/bin/ssh-agent $SHELL/usr/bin/ssh-add在第二个主机上，以 oracle 用户身份登录exec /usr/bin/ssh-agent $SHELL/usr/bin/ssh-add2.9 关掉

39、ntp服务注意：oracle 11g rac准备环境验证的时候如果ntp服务器开着会验证不通过的，关闭ntp服务，用oracle 11g rac自带的时钟同步服务来同步各个节点的时间。需要做如下操作rootrac1 # /etc/init.d/ntpd statusntpd is stoppedrootrac1 # chkconfig ntpd offrootrac1 # mv /etc/ntp.conf /etc/ntp.conf.original -删除ntp服务配置文件安装Oracle Grid Infrastructure 安装cvuqdisk包并验证在两

40、个Oracle RAC 节点上安装操作系统程序包 cvuqdisk。如果没有cvuqdisk，集群验证实用程序就无法发现共享磁盘2.10 安装cvuqdisk包（在所有节点上执行）cvuqdisk RPM在目录下.（使用Red Hat Linux安装ORACLE_RAC时必须安装cvuqdisk包，否则CVU不能发现共享磁盘, 并当运行CVU时收到错误信息"Package cvuqdisk not installed"） 设置环境变量#export CVUQDISK_GRP=oinstallcvuqdisk-1.0.1-1.rpmrootnode1 rpm# rpm -Uv

41、h cvuqdisk-1.0.9-1.rpmPreparing. # 100% 1:cvuqdisk # 100%2.11 安装创建系统容易忽略的包(所有节点)以下这两个包安装系统的时候容易忽略，在此安装一次rpm -Uvh libaio-devel-0.3.106-3.2.x86_64.rpmrpm -Uvh sysstat-7.0.2-3.el5.x86_64.rpm2.12 运行CVU 使用程序验证./runcluvfy.sh stage -pre crsinst -n node1,node2,node3,node4 -fixup -verbose必须都要passedtask resol

42、v.conf-关于这个不通过，可以忽略，但是确保scanip可用3 安装Oracle  Grid  Infrastructure  #export DISPLAY=7:0.0gridnode1 grid$ ./runInstallerAsm 密码 ：Asm1107a高级安装还可能出现找不到lun的问题，到/etc/sysconfig/oracleasm这个文件将 对应的地方改成以下即可ORACLEASM_SCANORDER="multipath sd"# ORACLEASM_SCANEXCLU

43、DE: Matching patterns to exclude disks from scanORACLEASM_SCANEXCLUDE="sd"选vol1的时候报错了，报空间不足，改成vol2 可以了，vol2是2G大小密码强度有要求，解决办法大写字母+数字+字母 导致这个错误的原因是在/etc/hosts中配置了SCAN的地址，尝试ping这个地址信息，如果可以成功，则这个错误可以忽略。我尝试ping scan ip可以ping通，所以暂时也就忽略了这个错误。FLASH_RECOVERY vol14 安装数据库软件用/etc/hosts解析SCAN 可忽略此错误5 d

44、bca建库密码：Or1q2w3e6 配置优化6.1 修改本地监听SQL> show parameter local_listenervipSQL> alter system set local_listener='(DESCRIPTION=(ADDRESS_LIST=(ADDRESS = (PROTOCOL = TCP)(HOST = 7)(PORT = 1521)' sid='lndss1'SQL> alter system set local_listener='(DESCRIPTION=(ADDRESS_L

45、IST=(ADDRESS = (PROTOCOL = TCP)(HOST = 8)(PORT = 1521)' sid='lndss2'SQL> alter system set local_listener='(DESCRIPTION=(ADDRESS_LIST=(ADDRESS = (PROTOCOL = TCP)(HOST = 9)(PORT = 1521)' sid='lndss3' SQL> alter system set local_listener='(D

46、ESCRIPTION=(ADDRESS_LIST=(ADDRESS = (PROTOCOL = TCP)(HOST = 0)(PORT = 1521)' sid='lndss4'SQL> alter system register;-scan_ipSQL> show parameter remote_listenerSQL>alter system set remote_listener='rac-scan:1521'SQL>alter system register;6.2 Tns模式SCANLNDSS_SCAN = (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 1)(PORT = 1521) ) (CONNECT_DATA = (SERVICE_NAME = lndss) (SERVER = DEDICATED) ) )RACTNF_LNDSS = (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = 136.127.