使用虚拟机在Linux环境下搭建Oracle RAC 10g.doc

一、 Linux安装平台及Oracle软件：1、 Linux平台：(1) centos5.4(2.6.18-164.e15)2、 Oracle软件：(1) 10201_clusterware_linux_x86_64.cpio.gz(2) 10201_database_linux_x86_64.cpio.gz 3、 ASM相关安装包 oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpm oracleasm-support-2.1.3-1.el5.x86_64.rpmoracleasmlib-2.0.4-1.el5.x86_64.rpm 4、 Openfiler相关安装包iscsi-initiator-utils-71-0.10.el5.x86_64.rpm5、 OCFS相关安装包ocfs2-2.6.18-164.el5-1.4.2-1.el5.x86_64.rpm ocfs2console-1.4.2-1.el5.x86_64.rpm ocfs2-tools-1.4.2-1.el5.x86_64.rpm 6、 Oracle集群件10201_clusterware_linux_x86_64.cpio.gz libXp-1.0.0-8.1.el5.i386.rpm 补丁包 libXp-1.0.0-8.1.el5.x86_64.rpm补丁包二、 配置第一个虚拟机:要创建和配置第一个虚拟机，您需要添加虚拟硬件设备，如磁盘和处理器。在继续执行安装之前，请创建以下 windows 文件夹以存放虚拟机和共享存储。D:mkdir racdcora1 虚拟机1D:mkdir racdcora2 虚拟机2D:mkdir racopenfiler 共享存储启动vmware应用程序1. 创建一个新的虚拟机。 2. 新建虚拟机向导：单击 Next。 3. 选择适当的配置： a. 虚拟机配置：选择 Custom。 4. 选择 Hardware conmpatibility a. 选择Workstation 6.5-7.05. 选择安装源 a. 选中Installer disc image file(iso): 点击 Browse 选中CentOS-5.4-x86_64-bin-DVD.iso6. 命名虚拟机： a. 虚拟机名称：输入“dcora1”。 b. 位置：输入“d:rac dcora1”。 7. Processors处理器选择： a. Number of processors : 2 b. Number of cores per processor : 18. 内存设置: a. 设置为2048M9. 网络类型： a. 网络连接：选择 Use bridged networking。 10. 选择 I/O 适配器类型： a. I/O 适配器类型：选择 LSI Logic。 11. 选择磁盘： a. 磁盘：选择 Create a new virtual disk。 12. 选择磁盘类型： a. 虚拟磁盘类型：选择 SCSI (Recommended)。 13. 指定磁盘容量： a. 磁盘容量：输入“50GB”。 b. 取消选择 Allocate all disk space now。为了节省空间，您现在不必分配所有磁盘空间。 选择Store virtual disk as a single file14. 指定磁盘文件： a. 磁盘文件：输入“dcora1.vmdk”。 b. 单击 Finish。 三、 安装CentOS系统:1. 欢迎使用 Enterprise Linux：单击 Next。2. 语言选择：选择简体中文。 3. 键盘配置：选择美国英语式。 4. 点击下一步会弹出警告必须对分区进行初始化,点击【是】 5. 这里选择建立自定义的分区结构,点击下一步6.点击【新建】按钮7.在弹出来的添加分区界面中进行选择 a. 文件系统类型: swap b. 大小 4096MB c. 选中强制为主分区 重复步骤 6 再添加一个分区a. 文件系统类型: ext3b. 挂载点选中根目录 /c. 选中 并强制为主分区 分区完成后点击确定进入下个界面再点击下一步进入到网络设备设置界面; 8.设置网络设备:a. 点击【编辑】按钮,在弹出来的编辑接口中取消掉Enable IPv6 support的选项,并选中 Manual configuration IP Address :01 Prefix(Netmask): b. 设置主机名: 点击 手工设置(m) : 输入 dcora1一路继续进入时区选择界面,选择后点击下一步9.设置root用户密码: oracle10.进行软件安装定制:选中 现在定制 并点击下一步a. 选中 开发下的 Ruby,X软件开发,开发工具,开发库,老的软件开发b.选中服务器下的服务器配置工具,网络服务器,老的网络服务器 选中老的网络服务器 并点击 【可选的软件包】按钮选中 telnet-server-0.17-39.e15.x86_64 和rsh-server-0.17-40.e15.x86_64 c. 另选中基本系统下的管理工具,系统工具,老的软件支持,其中 系统工具 点击 【可选的软件包】 选中 sysstat-7.0.2.-3.el5.x86_64点击【下一步】开始安装CentOS系统 11.系统安装完成重启后会进行一些基本配置;点击【前进】a. 禁用防火墙 点击【前进】按钮b. 禁用SELinux点击【前进】按钮c. Kdump 默认配置点击【前进】按钮d. 日期和时间默认配置点击【前进】按钮e. 创建用户界面不进行新用户的创建 点击【前进】按钮最后一路默认设置 完成基本配置四、 虚拟机补充配置(添加双网卡并进行配置):由于配置rac集群环境需要另外增加一块网卡进行两机的专用互联,将虚拟机关机进行另外一块网卡的添加;1.VMware Server 控制台：单击 Edit virtual machine settings。 2.虚拟机设置：单击 Add。 3.新增硬件向导：单击 Next。 4.硬件类型： a.硬件类型：以太网适配器。 5.网络类型： b.主机模式：Bridged c.单击 Finish。 6.虚拟机设置： d.选择 Floppy 并单击 Remove。 7.虚拟机设置：单击 OK。用root用户登入CentOS系统进行另外一块网卡的配置:点击 系统 -管理 -网络双击 网卡eth1 选中 静态设置的IP地址进行手工设置a. 地址: b. 子网掩码: 设置完后点击右下方的应用按钮 并点击 【激活】 按钮对设置进行激活五、 系统初始配置:1. 安装 VMware 工具 点击 VM 下 Install VMware Tools 打开一个终端并执行 rootdcora1 # vmware-config-tools.pl 一路按回车完成安装 2. 关闭sendmail服务rootdcora1 # chkconfig -level 12345 sendmail off -下次启动不启动sendmail服务rootdcora1 # service sendmail stop -关闭当前的sendmail服务 3. 开启telnet服务rootdcora1 # vi /etc/xinetd.d/telnet按a 修改 disable = yes - disable = no 按 esc 然后 :x 保存退出 4. 开启ftp服务rootdcora1 # vi /etc/xinetd.d/gssftp 修改 disable = yes - disable = no server_args = -l -a - server_args = -l 保存退出 5. 重新启动xinetd服务使的修改的ftp和telnet配置文件生效 rootdcora1 # service xinetd restart 6. 打开root用户的ftp，telnet权限 rootdcora1 # vi /etc/securetty 在文件尾部加入 pts/0 pts/1 pts/2 pts/3 7. 编辑内核参数,在/etc/sysctl.conf 中编辑（每个节点,根据自己的实际情况编辑）： rootdcora1 # vi /etc/sysctl.conf kernel.shmmni=4996kernel.shmmax = 68719476736kernel.sem=250 32000 100 128net.ipv4.ip_local_port_range = 1024 65000net.core.rmem_default = 524288net.core.wmem_default = 524288net.core.rmem_max = 16777216net.core.wmem_max = 16777216net.ipv4.ipfrag_high_thresh = 524288net.ipv4.ipfrag_low_thresh = 393216net.ipv4.tcp_rmem = 4096 524288 16777216net.ipv4.tcp_wmem = 4096 524288 16777216net.ipv4.tcp_timestamps = 0net.ipv4.tcp_sack = 0net.ipv4.tcp_window_scaling = 1net.core.optmem_max = 524287dev_max_backlog=2500sunrpc.tcp_slot_table_entries = 128sunrpc.udp_slot_table_entries = 128net.ipv4.tcp_mem = 16384 16384 16384运行命令 rootdcora1 # /sbin/sysctl p 改变内核参数。 8. 创建 oracle 组和用户 rootdcora1 # /usr/sbin/groupadd oinstall rootdcora1 # /usr/sbin/groupadd dbarootdcora1 # /usr/sbin/useradd -m -g oinstall -G dba oraclerootdcora1 # mkdir p /oraclerootdcora1 # chown oracle:dba /oraclerootdcora1 # passwd oracle9. 配置/etc/hosts 加入网络虚拟地址 rootdcora1 # vi /etc/hosts localhost.localdomain localhost:1 localhost6.localdomain6 localhost6 #public01 dcora102 dcora2#vip1 dcora1-vip2 dcora2-vip#private dcora1_priv dcora2_priv#openfiler9 openfiler 10. 修改系统字符集以显示中文 rootdcora1 # vi /etc/sysconfig/i18n在文件中删除原有信息并加入下列信息LANG=zh_CN.GB18030LANGUAGE=zh_CN.GB18030:zh_CN.GB2312:zh_CNSUPPORTED=zh_CN.GB18030:zh_CN:zhSYSFONTACM=8859-15SYSFONT=latarcyrheb-sun16 六、 拷贝并配置第二个虚拟机 1. 关闭dcora1 将dcora1 的vmware 文件复制一个放入 D:/rac/dcora2 2. 启动vmwrare 装载D:/rac/dcora2 下拷贝过来的 文件 选择 I copied 点击 VM - Settings 修改文件名 将Options 下的 Virtual machine name 改为dcora2 3.修改网络地址 参考 四、虚拟机补充配置 进入网络配置界面将.bak的网卡配置文件进行删除对eth0,eth1两个网卡地址进行修改 a. 网卡eth0 地址:02 子网掩码: b. 网卡 eth1 地址: 子网掩码: 配置完后将两个网卡的配置都激活 4.修改机器名 rootdcora2 # vi /etc/syscofig/network 将HOSTNAME=dcora1 修改为 HOSTNAME=dcora2七、 配置NTP服务保持时间同步1.在dcora1上执行rootdcora1 # vi /etc/ntp.conf 将文件替换为:restrict default kod nomodifyrestrict -6 default kod nomodify notrap nopeer noqueryrestrict restrict -6 :1restrict 01 mask nomodify notraprestrict 01server 01server # local clockfudge stratum 10driftfile /var/lib/ntp/driftkeys /etc/ntp/keyslogfile /var/log/ntp.logbroadcastdelay 0.008 保存后执行rootdcora1# /etc/init.d/ntpd start rootdcora1# chkconfig ntpd on 2.在dcora2上执行rootdcora2 # ntpdate 01rootdcora2 # vi /etc/crontab加入* * * * * root ntpdate dcora1& hwclock -w保存退出八、 使用SSH 建立用户等效性 在安装Oracle OAC10g期间，OUI需要把文件复制到集群中的其他主机上并在其上运行程序。可以使用RSH或SSH启用用户等效性。简单的说就是提供了一种在集群中其他主机上复制文件和执行程序时不需要口令提示的安装方式。如果一切均设置正确，则您现在就可以使用 ssh 在其他集群主机上不必输入口令而登录、执行程序和复制文件了。 通过在远程集群主机上运行诸如 date 等简单命令来验证用户等效性： 测试每个方向上所有服务器的连通性是非常重要的。这样会确保当 OUI 在 CRS 和数据库软件安装期间试图复制文件时不会出现类似以下的消息。 该消息只有在远程节点上第一次执行操作时才会出现，因此通过测试连通性，您不仅确保了远程操作的正常运行，还完成了初始的安全密钥交换。 注意: 以上步骤执行完以后，需要执行和本机建立等效性，否则安装CRS时也会出错：1.启动 dcora1 ,dcora2 两个虚拟机,分别以root,oracle 用户telnet 登陆到两台虚拟机上2.在 oracle 上用root用户执行oracledcora1# mkdir /.ssh oracledcora1# chmod 700 /.sshoracledcora1# ssh-keygen -t rsa 一直按enteroracledcora1# ssh-keygen -t dsa 一直按enter用root 用户执行rootdcora1# mkdir /.ssh rootdcora1# chmod 700 /.sshrootdcora1# ssh-keygen -t rsa 一直按enterrootdcora1 # ssh-keygen -t dsa 一直按enter在 dcora2 上用oracle用户执行 oracledcora2# mkdir /.ssh oracledcora2# chmod 700 /.sshoracledcora2# ssh-keygen -t rsa 一直按enteroracledcora2 # ssh-keygen -t dsa 一直按enter用root用户执行rootdcora2 # mkdir /.ssh rootdcora2 # chmod 700 /.sshrootdcora2 # ssh-keygen -t rsa 一直按enterrootdcora2 # ssh-keygen -t dsa 一直按enter 3. 在 dcora1 上用oracle用户执行 oracledcora1#cat /.ssh/id_rsa.pub /.ssh/authorized_keys oracledcora1#cat /.ssh/id_dsa.pub /.ssh/authorized_keys oracledcora1#ssh dcora2 cat /.ssh/id_rsa.pub /.ssh/authorized_keys会出现 Are you sure you want to continue connecting (yes/no)? 输入 yes出现 rootdcora2s password: 输入密码 oracle oracledcora1#scp /.ssh/authorized_keys dcora2:/.ssh/authorized_keys再次出现 rootdcora2s password: 输入密码 oracle在 dcora1 上用root用户执行rootdcora1#cat /.ssh/id_rsa.pub /.ssh/authorized_keys rootdcora1#cat /.ssh/id_dsa.pub /.ssh/authorized_keys rootdcora1#ssh dcora2 cat /.ssh/id_rsa.pub /.ssh/authorized_keys会出现 Are you sure you want to continue connecting (yes/no)? 输入 yes出现 rootdcora2s password: 输入密码 oracle rootdcora1#scp /.ssh/authorized_keys dcora2:/.ssh/authorized_keys再次出现 rootdcora2s password: 输入密码 oracle 4.验证SSH用户等效性以及NTP服务时间是否同步 在dcora1上分别用用户root,oracle输入 rootdcora1 # ssh dcora1 date;ssh dcora2 date; oracledcora1# ssh dcora1 date;ssh dcora2 date; 若是不需要输入密码则证明SSH用户等效性搭建成功; 若两者的日期相差1秒以内 说明NTP时间同步搭建成功;九、 安装openfiler配置集中存储 启动vmware应用程序,配置openfiler虚拟机环境1. 创建一个新的虚拟机。 2. 新建虚拟机向导：单击 Next。 3. 选择适当的配置： a. 虚拟机配置：选择 Custom。 4. 选择 Hardware conmpatibility a. 选择Workstation 6.5-7.05. 选择安装源 a. 选中Installer disc image file(iso): 点击 Browse 选中 openfiler-2.3-x86_64-disc1.iso6. 选择系统版本a. 选中Linuxb. 选中CentOS 64-bit7. 命名虚拟机： a. 虚拟机名称：输入“openfiler”。 b. 位置：输入“d:rac openfiler”。 8. Processors处理器选择： a. Number of processors : 1 b. Number of cores per processor : 19. 内存设置: a. 设置为1024M10. 网络类型： a. 网络连接：选择 Use bridged networking。 11. 选择 I/O 适配器类型： a. I/O 适配器类型：选择 LSI Logic。 12. 选择磁盘： a. 磁盘：选择 Create a new virtual disk。 13. 选择磁盘类型： a. 虚拟磁盘类型：选择 SCSI (Recommended)。 14. 指定磁盘容量： a. 磁盘容量：输入“10GB”。 b. 取消选择 Allocate all disk space now。为了节省空间，您现在不必分配所有磁盘空间。 选择Store virtual disk as a single file15. 指定磁盘文件： a. 磁盘文件：输入“openfiler.vmdk”。 b. 单击 Finish。 开始安装openfiler系统1. 一路next ,直到分区画面2. 手工进行分区选择 Manually partition with Disk Druid - NEXT 点击【NEW】新增一个分区 a. File System Type: swapb. Size(MB): 2048c. Additional Size Options : 选择 Fixed sized. 勾选中 Force to be a primary partition - OK 点击【NEW】新增第二个分区a. File System Type: ext3b. Mount Point: 选择 / 根节点c. Additional Size Options : 选择 Fill to maximum allowable sized. 勾选中 Force to be a primary partition -OK -NEXT3.设置网络地址a. Hostname : openfilerb. Network Devices 设置点击 【Edit】a. 去掉勾选 Configure using DHCPb. 勾选 Activate on boot 设置固定IP 网段与dcora1,dcora2保持一致-OK -NEXT4. 选择时区选择 Asia/Shanghai-NEXT5. 录入root 密码 oracle oracle 然后一路NEXT完成安装配置openfiler系统启动后界面如上图;其中 9:446 是它的web服务地址可以在浏览器键入该地址进入web界面进行配置;1. 为了模拟集中存储环境,先跟该虚拟机增加2块硬盘; 键入 openfiler login: root password: oracle 登陆系统rootopenfiler # halt键入 halt 关闭系统 然后power off 关闭该虚拟机 进入VMware Server 控制台：单击 Edit virtual machine settings。 a. 虚拟机设置：单击 Add。 b. 新增硬件向导：单击 Next。 c. 硬件类型： Hard Disk d. 然后 create a new virtual disk -NEXTe. 选择 SCSI -NEXTf. Maxximum disk size(GB): 选择 5G -NEXT -Finishg. 然后重复上述步骤再增加一块5G的硬盘2. 配置openfiler 启动openfiler虚拟机在web浏览器中录入 9:446 Username : 默认用户名 openfiler Password : 默认密码 password -Log Ina. 点击进入 System菜单界面配置 Network Access Configuration 录入: Name: dcora1 Network/Host: 01 Netmask: 55 Type: Share 点击按钮【Update】继续添加 录入: Name: dcora2 Network/Host: 02 Netmask: 55 Type: Share 点击按钮【Update】 b. 点击进入service菜单界面 将 iSCSI target server 设为 Enabledc. 点击进入volumes 菜单界面 点击下方的 create new physical volumes;可以看到 /dev/sdb /dev/sdc 两块我们之前刚刚添加的两块硬盘分别点击 Edit Disk 下的 /dev/sdb /dev/sdc点击【create】按钮 完成对/dev/sdb 物理卷的添加 点击 右侧的 Block Devices 再对/dev/sdc添加物理卷完成后 点击 右侧的 Volume Groups添加卷组 勾选上 /dev/sdb1 /dev/sdc1 录入组名 vg_oradate 点击按钮【Add volume group】 完成硬盘卷组的添加 将多个硬盘、多个分区添加到一个卷组中。一个卷组可以使用跨硬盘跨分区的存储空间，这就是专门的存储技术带来的好处。 点击 右侧的 Add Volume输入卷名，卷描述，输入卷的大小，文件系统、卷格式改为 iscsi ，点击create 点击 右侧的 iSCSI Targets 修改 Target IQN 名称：改为.openfiler: 点击【Add】点击 【LUN Mapping】 出现下面的界面 点击按钮【Map】将 dcora1,dcora2设置为Allow 十、 配置 Oracle 自动存储管理 (ASM)1. 通过ftp上传asm安装包oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpm oracleasm-support-2.1.3-1.el5.x86_64.rpmoracleasmlib-2.0.4-1.el5.x86_64.rpm以及openfiler的插件包iscsi-initiator-utils-71-0.10.el5.x86_64.rpm 打开系统命令窗口 a. 输入命令: ftp 01b. 输入用户User: rootc. 输入密码Password: oracled. ftp bin 改为2进制进行上传e. ftp lcd d:softwareoracleasm 定位到包的目录f. ftp put oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpmftp put oracleasm-support-2.1.3-1.el5.x86_64.rpmftp put oracleasmlib-2.0.4-1.el5.x86_64.rpmftp put iscsi-initiator-utils-71-0.10.el5.x86_64.rpm将上述4个安装包上传到root 根目录 ftp quit 退出ftp输入命令: ftp 02重复上述 a-f 步骤 将安装包传到 decora2 机器上 2. 执行安装包telnet 到 dcora1(01),dcora2(02) 两台机器上 用root用户执行安装 # rpm Uvh oracleasm-support-2.1.3-1.el5.x86_64.rpm# rpm -Uvh oracleasm-2.6.18-164.el5-2.0.5-1.el5.x86_64.rpm# rpm -Uvh oracleasmlib-2.0.4-1.el5.x86_64.rpm# rpm -Uvh iscsi-initiator-utils-71-0.10.el5.x86_64.rpm 3. 配置 ASMLib。以 root 用户身份在两个节点上配置 ASMLib。# /etc/init.d/oracleasm configureConfiguring the Oracle ASM library driver.This will configure the on-boot properties of the Oracle ASM librarydriver. The following questions will determine whether the driver isloaded on boot and what permissions it will have. The current valueswill be shown in brackets (). Hitting without typing ananswer will keep that current value. Ctrl-C will abort.Default user to own the driver interface : oracleDefault group to own the driver interface : dbaStart Oracle ASM library driver on boot (y/n) n: yFix permissions of Oracle ASM disks on boot (y/n) y: yWriting Oracle ASM library driver configuration: OK Loading module oracleasm: OK Mounting ASMlib driver filesystem: OK Scanning system for ASM disks: OK 4. 挂载集中存储a. 在dcora1,dcora2上同时用root 用户执行 # service iscsid start # service iscsi start # chkconfig iscsid on # chkconfig iscsi on# iscsiadm -m discovery -t sendtargets -p openfiler执行上个语句会出现9:3260,1 .openfiler:执行# iscsiadm -m node -T .openfiler -p openfiler l重启服务# service iscsi restart执行# cd /dev# ls sd*若出现 sdb 则大功告成5.对openfiler卷组sdb进行分区,第一个sdb1用于ocfs,第二个sdb2用于asm 只用在dcora1上执行,dcora2会自动同步rootdcora1 # cd /devrootdcora1 dev# fdisk sdbCommand (m for help): nCommand action e extended p primary partition (1-4)Partition number (1-4): 1 First cylinder (1-10176, default 1): 1Last cylinder or +size or +sizeM or +sizeK (1-10176, default 10176): 2048 Command (m for help): nCommand action e extended p primary partition (1-4)pPartition number (1-4): 2First cylinder (2049-10176, default 2049): 直接回车Using default value 2049Last cylinder or +size or +sizeM or +sizeK (2049-10176, default 10176): 直接回车Using default value 10176Command (m for help): wThe partition table has been altered!在dcora1 上运行rootdcora1 # cd /devrootdcora1 dev# ls sd*在dcora2 上运行rootdcora2 service iscsi restartrootdcora2 # cd /devrootdcora2 dev# ls sd* 6. 创建 ASM 磁盘。以 root 用户身份在任何一个节点上创建 ASM 磁盘。rootdcora1 # /etc/init.d/oracleasm createdisk VOL1 /dev/sdb2rootdcora1 # /etc/init.d/oracleasm scandisksrootdcora1 # /etc/init.d/oracleasm listdisks VOL1在dcora2机上执行 rootdcora2 # /etc/init.d/oracleasm scandisksrootdcora2 # /etc/init.d/oracleasm listdisks 同样也会出现 VOL1十一 配置 Oracle 集群文件系统 (OCFS2) OCFS2 是 Oracle 开发的一个通用集群文件系统，与 Enterprise Linux 内核集成在一起。它允许所有节点在集群文件系统上同时共享文件，因而消除了管理原始设备的需求。这里，您将在 OCFS2 文件系统中寄宿 OCR 和表决磁盘。您可以从 OCFS2 用户指南获取有关 OCFS2 的其他信息。 1.通过ftp上传并安装OCFS2安装包ocfs2-2.6.18-164.el5-1.4.2-1.el5.x86_64.rpm ocfs2console-1.4.2-1.el5.x86_64.rpm ocfs2-tools-1.4.2-1.el5.x86_64.rpm ftp方法 参考十-1 在dcora1,dcora2上用root用户安装rpm Uvh ocfs2-tools-1.4.2-1.el5.x86_64.rpmrpm Uvh ocfs2console-1.4.2-1.el5.x86_64.rpmrpm Uvh ocfs2-2.6.18-164.el5-1.4.2-1.el5.x86_64.rpm 2. 创建 OCFS2 配置文件. 以 root 用户进入dcora1虚拟机，打开终端执行rootdcora1 # /etc/init.d/o2cb enable rootdcora1 # ocfs2console 会弹出图形界面 a. OCFS2 控制台：选择 Cluster，然后选择 Configure Nodes。 b. 节点配置：单击 Add。 c. 新增节点：添加以下节点，然后单击 Apply。 l 名称：dcora1 l IP 地址： 01l IP 端口： 7777 l 名称：dcora2 l IP 地址： 02l IP 端口： 7777点击【应用】按钮若是出错可直接写入应用文件中ro