学习笔记系列之-基于workstation+starwind构建Oracle-RAC存储环境.docx

追求卓越，海纳百川奇度学习笔记系列之基于Workstation+StarWind构建Oracle RAC存储环境一.概述由于不断的学习，我发现了一种新的方式来实现Oracle RAC共享存储，写这篇文章的目的在于简化使用Vmware构建Oracle RAC的存储环境，分享于广大的采用虚拟机玩Oracle RAC的朋友。以下的两种方式共享存储方式几乎全部是虚拟机玩Oracle RAC的朋友采用的：1.使用Vmware server添加多块磁盘。2.使用openfiler。第1种方式配置vmware参数，还是有很多朋友无法实现共享存储。第2种采用openfiler方式，需要额外多开一个虚拟系统来提供存储，本来两个节点的RAC需求的内存就比较大，再开一个虚拟系统，估计大家都吃不消了。我介绍一种新的方式来实现Oracle RAC的共享存储，就是采用StarWind产品。它是基于Windows平台的，在磁盘上可以划分一块物理磁盘，或者划分一块磁盘内的区域来提供共享存储。StarWind可以到官方网站下载免费的基本版本和官方提供的license来搭建我们的学习环境。高级版本是收费的，免费版本就够用了官方也提供license（一定要下载），我已在自己的测试环境通过。本文从这款软件的安装、配置共享存储，到Oracle RAC节点的挂载、裸设备的绑定，演示了整个RAC共享存储的配置。二.配置存储1.先安装Microsoft iSCSI Software，这是StarWind要求的，可以到/download/en/details.aspx?DisplayLang=en&id=18986下载。2.安装StarWind，安装过程不列，跟平常软件没什么区别。3.打开StarWind management console，如图：4.右键点击StartWind Servers，选择add host，如图：5.弹出的对话框如下：这里无需修改，点ok即可，3261是管理端口。6.在创建完成后，右键单击servername，选择connect，如图：7.输入root用户名，密码为starwind，默认的密码，连接成功后，来到管理这台server的页面，会提示输入license，安装事先下载好的license文件，即可。我本机已安装过，不再演示。如图：8.右键单击Targets，选择add target，并弹出对话框，输入target名字，如图：9.单击Next，选择第一项Hard Disk，点击Next10. 选择第二项Basic Vritual，单击Next11.选择第一项Image File device，单击Next12.选择第二项Create new virtual disk，单击Next13.填写image file文件路径和大小，下面是支持的压缩、加密等功能，这里不选。单击Next14.这里是磁盘属性的配置，一定要选上第二项，允许cluster使用，也就是多路径访问，然后Next15.选上第二个write-through ching，单击Next16.展示创建target信息单和target名字，连续单击Next完成创建。17.创建完成后，存储服务已经在运行，监听本机所有网卡ip的3260端口，如图：到此共享存储的基本环境已经完成，需要在Oracle RAC的节点通过iscsi方式，进行挂载共享存储，前提虚拟机内的节点必须保证和主机互相通信。三.挂载存储OS：rhel51.安装iscsi的rpm包，可以在rhel5的镜像内找到。rootracdb1 Server# rpm -vih iscsi-initiator-utils-42-0.5.el5.i386.rpm warning: iscsi-initiator-utils-42-0.5.el5.i386.rpm: Header V3 DSA signature: NOKEY, key ID 37017186Preparing. # 100% 1:iscsi-initiator-utils # 100% rootracdb1 Server# cat /etc/iscsi/initiatorname.iscsi InitiatorName=.redhat:01.1e715d33ce102.探测主机server运行的共享存储标识target。rootracdb1 /# iscsiadm -m discovery -t sendtargets -p :3260:3260,-1 .starwindsoftware:-qidu这里发现了我们事先创建好的存储，下面我们使用iscsi挂载磁盘。3.通过iscsi挂载磁盘。rootracdb1 /# iscsiadm -m node -T .starwindsoftware:-qidu -p :3260 lrootracdb1 /# fdisk -lDisk /dev/sda: 32.2 GB, 32212254720 bytes255 heads, 63 sectors/track, 3916 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System/dev/sda1 * 1 1020 8193118+ 83 Linux/dev/sda2 1021 1275 2048287+ 82 Linux swap / Solaris/dev/sda3 1276 3916 21213832+ 83 LinuxDisk /dev/sdb: 42.9 GB, 42949672960 bytes64 heads, 32 sectors/track, 40960 cylindersUnits = cylinders of 2048 * 512 = 1048576 bytesDisk /dev/sdb doesnt contain a valid partition tablerootracdb2 /# fdisk -lDisk /dev/sda: 32.2 GB, 32212254720 bytes255 heads, 63 sectors/track, 3916 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System/dev/sda1 * 1 1020 8193118+ 83 Linux/dev/sda2 1021 1275 2048287+ 82 Linux swap / Solaris/dev/sda3 1276 3916 21213832+ 83 LinuxDisk /dev/sdb: 42.9 GB, 42949672960 bytes64 heads, 32 sectors/track, 40960 cylindersUnits = cylinders of 2048 * 512 = 1048576 bytesDisk /dev/sdb doesnt contain a valid partition table每个节点上面的/dev/sdb就是刚才通过iscsi挂载的磁盘。4.在StarWind控制台，可以看到有两个客户端已经连接到此存储，如图：5.在节点1，对/dev/sdb磁盘进行分区，过程不演示，分区后如图：rootracdb1 /# fdisk -lDisk /dev/sda: 32.2 GB, 32212254720 bytes255 heads, 63 sectors/track, 3916 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System/dev/sda1 * 1 1020 8193118+ 83 Linux/dev/sda2 1021 1275 2048287+ 82 Linux swap / Solaris/dev/sda3 1276 3916 21213832+ 83 LinuxDisk /dev/sdb: 42.9 GB, 42949672960 bytes64 heads, 32 sectors/track, 40960 cylindersUnits = cylinders of 2048 * 512 = 1048576 bytes Device Boot Start End Blocks Id System/dev/sdb1 1 9538 9766896 83 Linux/dev/sdb2 9539 23844 14649344 83 Linux/dev/sdb3 23845 40960 17526784 83 Linuxrootracdb2 /# fdisk -lDisk /dev/sda: 32.2 GB, 32212254720 bytes255 heads, 63 sectors/track, 3916 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytes Device Boot Start End Blocks Id System/dev/sda1 * 1 1020 8193118+ 83 Linux/dev/sda2 1021 1275 2048287+ 82 Linux swap / Solaris/dev/sda3 1276 3916 21213832+ 83 LinuxDisk /dev/sdb: 42.9 GB, 42949672960 bytes64 heads, 32 sectors/track, 40960 cylindersUnits = cylinders of 2048 * 512 = 1048576 bytes Device Boot Start End Blocks Id System/dev/sdb1 1 9538 9766896 83 Linux/dev/sdb2 9539 23844 14649344 83 Linux/dev/sdb3 23845 40960 17526784 83 Linux6.使用udev进行裸设备的绑定，不采用ASMlib。编辑/etc/udev/rules.d/60-raw.rules文件，添加以下内容：ACTION=add, KERNEL=sdb1, RUN+=/bin/raw /dev/raw/raw1 %NACTION=add, KERNEL=sdb2, RUN+=/bin/raw /dev/raw/raw2 %NACTION=add, KERNEL=sdb3, RUN+=/bin/raw /dev/raw/raw3 %NKERNEL=raw1-3, OWNER=grid, GROUP=asmadmin, MODE=660rootracdb1 /# start_udevStarting udev: OK 查看裸设备信息： rootracdb1 /# ls -l /dev/raw*crw- 1 root root 162, 0 Dec 16 04:06 /dev/rawctl/dev/raw:total 0crw-rw- 1 grid asmadmin 162, 1 Dec 16 05:49 raw1crw-rw- 1 grid asmadmin 162, 2 Dec 16 05:49 raw2crw-rw- 1 grid asmadmin 162, 3 Dec 16 05:49 raw3rootracdb1 /# raw -qa/dev/raw/raw1: bound to major 8, minor 17/dev/raw/raw2: bound to major 8, minor 18/dev/raw/raw3: bound to major 8, minor 19rootracdb2 /# start_udevStarting udev: OK rootracdb2 /# ls -l /dev/raw*crw- 1 root root 162, 0 Dec 16 04:07 /dev/rawctl/dev/raw:total 0crw-rw- 1 grid asmadmin 162, 1 Dec 16 04:08 raw1crw-rw- 1 grid asmadmin 162, 2 Dec 16 04:08 raw2crw-rw- 1 grid asmadmin 162, 3 Dec 16 04:08 raw3rootracdb2 /# raw -qa/dev/raw/raw