Windows2003下RAC实现V1.1.doc

技术培训文档密 级：文档编号：CAP/YBB-2012-004Windows Server 2003下Oracle 10g（11g）RAC的实现郑州新开普电子股份有限公司总页数75版本1.0建立日期编制人公司总部审核人批准人批准日期2012-5-10保管人存放位置文件修改控制序号版本*变化状态修改内容、页码及条款修改人批准人修改日期11.0A编写初稿公司总部21.1M细节完善邢红乐2012-5-10*变化状态：A增加，M修改，D删除Oracle 10g RAC背景A 简要介绍Oracle Real Application Clusters (RAC)可以支持24 x 7 有效的数据库应用 系统，您可以在由低成本的服务器构成的高可用性系统上自由部署您的应用，而无需修改您的应用程序。已经有超过4200个用户从中受益。现在Oracle在10g RAC中更提供免费的集群软件和存储管理软件，为您降低应用成本。拥有RAC您无需再为成本而牺牲性能和 可靠性。B 关键特性B.1高可用性Oracle Real Application Clusters 提供一个高性能低成本的应用平台，支持所有类型的应用系统，无论是事务处理型应用还是分析 型应用。所有应用共享同样的服务器和存储资源。出现任何的服务器或磁盘故障，系统会自动重新接管发生故障的功能。这些对前端用户的完全透明的。同样，如果 您需要增加服务器或改变其他组件的配置也不会影响到应用系统。 B.2高性能Oracle Real Application Clusters保持着TPC-C的记录，达到每分钟 118万个事务的处理能力，和仅仅 $5.52 每tpmC的成本。在3,000 GB的 TPC-H数据仓库Benchmark 测试中, Oracle RAC同样保持性价比的领先地位，保证我们的用户能够达到更好更快的 ROI。这仅仅是Oracle 保持的多项Benchmark 记录中的最 近的一些指标。B.3按需扩充您现有的系统可能是基于当前的工作负载而构建的，当 应用规模需要扩充时(支持更多的数据、用户或应用)，您就需要扩展您的系统以保证系统的性能。当您的应用是构建于大型的SMP主机时，您可能需要购买另一 台昂贵的主机，但可能只能使用到其处理能力的很小一部分。但是如果您使用Oracle RAC的话，您可以通过增加一台或多台低成本的服务器来扩充您的应用系统的处理能力，满足应用需求。1、概述与系统架构1.1 概述该RAC的安装工作是在Windows 2003平台中给出利用AMA光纤磁盘阵列安装配置Oracle 10g的方法与步骤，并给出简单Oracle 10g集群使用测试。1.2 硬件系统配置与实施架构图 配置为RAID5，两台服务器均可以看到3块共享磁盘。构成Oracle 10g RAC集群环境的设备列表1Windows 2003 服务器两台2每台服务器上有一块2GB的光纤卡或scsi卡3每台服务器上有两块网卡4网络交换机两台5对磁盘阵列进行恰当的RAID配置，两台服务器上均能看到3块共享磁盘，4个逻辑分区1、1个逻辑盘（1块盘10G）存放OCR2、1个逻辑盘（1块盘10G）存放表决磁盘3、1个逻辑分区（1块盘400G）存放数据库数据4、1个逻辑分区（1块盘300G）存放闪回区6操作系统版本：Windows Server 2003 Service Pack 17Oracle 版本：10g网络配置1节点1公共IP： 对应公共网卡对应虚拟IP(VIP)：2节点2公共IP： 对应公共网卡对应虚拟IP(VIP)：3节点1私有IP地址： 对应私有网卡4节点2私有IP地址： 对应私有网卡配置网络图硬件连接注意：上边两个交换机不是必须的，可以用普通网线将私有网卡直接相连就行了。2、Windows 2003安装配置2.1 安装Windows Server 2003 Service SP11节点1 安装Windows Server 2003l 安装盘符C：l 主机名设为winrac1l Administrator用户的口令设置为oracle2节点2 安装Windows Server 2003l 安装盘符C：l 主机名设为winrac2l Administrator用户的口令设置为oracle2.2 服务器操作系统配置(在节点1和节点2上)Oracle 真正应用集群10g的软件要求是：132-bit Windows,Oracle Real Application Clusters for 32-bit 需要Windows Server 2000 Service pack1或更高。Windows Server 2003（32-bit），所有版本。Windows Server 2003 R2（32-bit），所有版本。21、检查Windows版本，满足要求：右键我的电脑属性常规系统：Microsoft Windows Server 2003 Enterprise Edition Service Pack 12、Oracle 要求Windows 的内存至少为1GB3、服务器交换空间：小于等于2G的内存要求交换空间的大小至少为物理RAM大小的两倍。选择控制面板，双击系统，然后点击“高级”选项：“性能”的“设置”:然后选高级，点下边“虚拟内存”上的更改，设置虚拟内存的“初始大小”应为“2048”，“最大值”设置为4096MB3重启机器2.3 修改注册表1HKEY_LOCAL_MACHINESystemCurrentControlSetServiceTcpipParametersValue Name:DisableDHCPMediaSenseData Type：REG_DWORD BooleanValue：1 图（1） 图（2）2重启机器3、存储安装配置3.1、加载磁盘阵列磁盘阵列做好raid之后，连接上服务器，两台服务器上执行如下命令：开机后在打开命令提示符执行下列命令： C: diskpartDISKPART automount enableDISKPART exit然后重新启动电脑3.2、初始化磁盘共享磁盘设置图（1） 共享磁盘设置图（2）Initialize all 5 disks by clicking the Next buttonDont convert any of the disks. Make sure all 5 disks are unchecked, then Next button共享磁盘设置图（3） 共享磁盘设置图（4）Complete the process by clicking the Finish button然后给这几个共享磁盘 进行创建扩展磁盘分区，创建逻辑驱动器 注意不要为逻辑驱动器添加盘符，也不要格式化逻辑驱动器，步骤参考以下截图： 共享磁盘设置图（5） 共享磁盘设置图（6） 共享磁盘设置图（7） 共享磁盘设置图（8）共享磁盘设置图（9） 共享磁盘设置图（10） 共享磁盘设置图（11） 共享磁盘设置图（12）共享磁盘设置图（13） 共享磁盘设置图（14）上面的设置之后，DISK1的颜色变成为蓝色共享磁盘设置图（15）对另外的三个磁盘也重复上面截图的操作！磁盘初始化完之后，将节点1和节点2都重启机器节点1和节点2：确保在两个节点上都能看到磁盘阵列的分区，并且确保任何一个分区均未分配驱动器号，如何出现驱动器号则删除。4、网络配置4.1、达成的目标/方案1区分公共网络网卡和私有网卡2设置IP地址3修改网卡名称4调整网卡次序5修改hosts文件主机名与IP地址：应为公共网络接口在域名系统（DNS）中注册IP地址和主机名，但在这里不适用DNS，只将这些信息登记到主机文件C:windowssystem32driversetchosts,;为每个专用网络接口提供一个专用IP地址，一个专用主机名，并将这些信息登记到主机文件C:windowssystem32driversetchosts;网络设置图（1）在主机文件C:windowssystem32driversetchosts输入一下内容 winrac1 #公共 winrac2-vip #虚拟 winrac1-priv #专用 winrac2 #公共 winrac2-vip #虚拟 winrac2-priv #专用4.2、详细操作过程描述在节点1：配置网络1把本地连接那块网卡的连接改名为public，然后设置TCP/IP网络设置图（2）2把本地连接2那块网卡的连接名改为private，然后设置TCP/IP网络设置图（3）网络设置图（4）3 修改Host文件位置：C:windowssystem32driversetchosts localhost winrac1 #公共 winrac1-vip #虚拟 winrac1-priv #专用 winrac2 #公共 winrac2-vip #虚拟 winrac2-priv #专用PS：这个文件里面一共要包含6组IP： 公共IP，私有IP和虚拟IP（VIP）4 检查被网络服务访问的连接顺序，确保public位于第一位，在网上邻居上右键点属性菜单栏上点高级点高级设置网络设置图（6）在节点2上以同样的方法来配置网络，然后重启两个服务器。5、环境检查5.1 检查节点之间的连通性两台虚拟机winrac1和winrac2互相ping公共主机名和专用节点名 看是否ping的通，这个时候是ping不通VIP地址的！在节点1上打开开始运行，输入cmd，然后输入命令ping winrac2,看下网络连通性，如果没有问题，再输入命令ping winrac1-priv检查专用网络的连通性，用同样的方法在节点2上执行以上操作。5.2 检测节点之间能否互相访问共享 在RAC1上用 net use rac2c$ 在RAC2 上用 net use rac1c$如果都提示“命令已完成”，则证明节点间享福访问共享正常5.3 设置时间同步net time /setsntp:sghwinrac1(把winrac1作为时间服务器)Net time winrac2 /set 设置winrac2和winrac1的时间同步5.4 集群软件安装前期检查插入Oracle clusterware 光盘，利用Oracle clusterware软件包中的 cluvfy工具检查安装是否符合所有条件，C:clusterwarecluvfyruncluvfy.bat stage pre crsinst n winrac1,winrac2 verbose等结果出来，看是否条件都满足安装RAC的要求，如果有不符合要求的地方进行相应的调整！关于VIP的地方是一定不会通过的！不用理会这个错误。6、安装过程(在其中一个节点上安装)6.1 达成的目标/方案1安装Oracle Clusterware2确认Oracle Clusterware正确安装3标记ASM存储所用的共享磁盘分区4安装Oracle RAC数据库6.2 开始安装 Cluster ware软件！ Oracle cluster 安装图（1）Oracle cluster 安装图（2） Oracle cluster 安装图（3） Oracle cluster 安装图（4）在这一步要点ADD 然后添加另外一个节点的公共接口名，专用接口名。VIP接口名 Oracle cluster 安装图（5） Oracle cluster 安装图（6）在这一步 把public接口类型改为公用继续 下一步接下来是设置OCR和和表决磁盘的存放地方，下一步，然后准备就绪界面然后安装，等到configuration assistants出来Oracle cluster 安装图（7）继续等待Oracle cluster 安装图（8）等出VIP错误的时候不要理会，直接点OK、 Oracle cluster 安装图（9）Oracle cluster 安装图（10） Oracle cluster 安装图（11） 以上两步 选中 用CFS来格式化分区并指定盘符 Oracle cluster 安装图（12） Oracle cluster 安装图（13） Oracle cluster 安装图（14） Oracle cluster 安装图（15） Oracle cluster 安装图（16） Oracle cluster 安装图（17） Oracle cluster 安装图（18） Oracle cluster 安装图（18） Oracle cluster 安装图（19） Oracle cluster 安装图（20） Oracle cluster 安装图（21）这个错误要注意是不是在第四步时弹出的，如果是第四步弹出的直接忽视往下走，如不是则前面步骤就出现了问题，查问题的所在。 Oracle cluster 安装图（22） Oracle cluster 安装图（23）点EXIT完成CLUSTERWARE的安装在RAC1上运行vipca.batVIPCA 安装图（1） VIPCA 安装图（2）VIPCA 安装图（3）把RAC1，RAC2vip接口名输进去 VIPCA 安装图（4） VIPCA 安装图（5） VIPCA 安装图（6） VIPCA 安装图（7）安装完Oracle Clusterware 后，查看安装是否正确（这个命令要在C:oracleproduct10.2.0crsBIN目录下才能执行）6.3 标识ASM逻辑驱动器（在节点1上）要在数据库安装过程中使用磁盘，必须通过asmtoolg用ASM标头标记用于存储数据库文件的逻辑驱动器。步骤如下：1运行oracle10g安装光盘上文件目录databaseasmtool下的可执行程序asmtoolg.exe2选择Add or change label，然后点击“下一步”：3在“select disks”页面上，选择一个要标记的磁盘(选择一个最大分区用来放数据)，并可以选择修改该前缀。然后单击“下一步”：45单击“完成”6用同样的方法标记闪回区盘，命名flash7896.4 安装Oracle 10g RAC数据库软件（节点1）执行安装程序：将数据库光盘插入光驱中，执行setup.exe,出现安装界面点下一步继续。 数据库软件安装图（1）数据库软件安装图（2） 数据库软件安装图（3） 数据库软件安装图（4） 数据库软件安装图（5） 数据库软件安装图（6） 数据库软件安装图（7）数据库软件安装图（8） 数据库软件安装图（9） 数据库软件安装图（10）在此之后可能会出现没响应数据库软件安装图（11）在节点2上执行binSelectHome.bat:（用来激活节点2的数据库软件）6.5使用NETCA配置监听(节点1) 监听配置图（1） 监听配置图（2） 监听配置图（3） 监听配置图（4） 监听配置图（5） 监听配置图（6） 监听配置图（7）监听配置图（8） 监听配置图（9） 监听配置图（10）如果监听配置出现TNS-04406错误, 处理方法：删除集群配置和单节点配置里面所有监听。然后重新创建集群配置的监听即可注：1，最后打上KB958644补丁保证Workstation服务的正常启动。此服务不正常启动将造成CRS通讯出现问题。2，检查两个节点上的本地用户组是否一致，比如一个节点缺少ora_dba用户组，手工添加上再尝试。crs_stat -t crsctl check crs 分别检查状态是否正常。查看应用状态，监听已启动：6.6使用DBCA创建数据库(节点1)在命令行里输入dbca回车出现创建数据库图形界面： 创建数据库图（1）创建数据库图（2） 创建数据库图（3） 创建数据库图（4） 创建数据库图（5） 创建数据库图（6） 创建数据库图（7） 创建数据库图（8） 创建数据库图（9） 创建数据库图（10） 创建数据库图（11） 创建数据库图（12） 创建数据库图（13） 创建数据库图（14） 创建数据库图（15） 创建数据库图（16） 创建数据库图（16） 创建数据库图（17） 创建数据库图（18） 创建数据库图（19） 创建数据库图（20） 创建数据库图（21） 创建数据库图（22） 创建数据库图（23）(进程数默认150，需要设置更大，具体数值根据现场需求，硬件速度以及访问量) 创建数据库图（24） 创建数据库图（25） 创建数据库图（26） 创建数据库图（27） 创建数据库图（28） 创建数据库图（29） 创建数据库图（29） 创建数据库图（30） 创建数据库图（31） 创建数据库图（32）查看应用状态，所有应用都已启动：如需重新安装实例，先删除实例，然后再crs_unregister ora.ora92in.dbcrs_unregister ora.ora92in.ora92in1.instcrs_unregister ora.ora92in.ora92in2.inst7、Oracle RAC 10g 安装后的简单测试及使用7.1 达成的目标/方案Oracle 10g RAC简单测试及使用7.2检查应用程序资源的状态l 查看各节点的运行状态 crs_stat t l 节点1和2应用程序状态： Srvctl status nodeapps n winrac1Srvctl status nodeapps n winrac2l 节点1和2 ASM状态 Srvctl status asm n winrac1Srvctl status asm n winrac2 l 检查实例状态 Srvctl status database d sdzy7.3 检查RAC配置l 查看数据库实例 Srvctl config database l 查看数据库配置 Srvctl config database d 实例名l 查看节点应用配置 Srvctl config nodeapps n 节点1，-a g s ll 查看ASM配置 Srvctl config asm n winrac1 Srvctl config asm n winrac2l 查看数据库实例SQLselect inst_id, 2 instance_number inst_no, 3 instance_name inst_name, 4 parallel, 5 status, 6 database_status db_status, 7 active_state state, 8 host_name host 9 from gv$instance 10 order by inst_id; 7.4 检查Oracle 集群间的状态l 查看主机名 hostnamel 查看状态 crsctl check crs 查看状态是否正常，如果不正常根据提示查找原因 7.5 检查数据库配置 用SQLPLUS连接到实例输入命令 SQL show sga Total System Global Are 431038464 bytes Fixed Size 1333676 bytes Variabe Size 356517460 bytes Database Buffers 67108864 bytesRedo Buffers 608464 bytes SQLCol file_name format a50 SQLSelect file_name,bytes/1024/1024 from dba_data_files; FILE_NAME BYTES/1024/1024 7.6 Oracle 企业管理器（OEM）数据库控制台用IE浏览器运行EM http:/节点1:1158/em 7.7 验证数据库控制台的状态（节点1）l 首先将实例连接到第一个节点上， 在命令行输入 set oracle_sid = 实例名1 l 然后查看控制台的状态 在命令行输入emctl status dbconsole如果正常则会在输出结果中出现 Oracle 10g的版本及状态 l 启动和停止数据库控制台命令分别为：emctl start dbconsole、emctl stop dbconsolel 启动和停止数据库控制台后通过 emctl status dbconsole 查看数据库控制台状态8 技术应答8.1 RAC的高可用性、高伸缩性及高可靠性我听说RAC无法证明其在超过4个处理器的集群上的伸缩性 您有什么证据来证明RAC 的高可用性、高伸缩性和高可靠性?标准的benchmark 性能测试表 明 SAP 运 行于RAC上可以达到80%的伸缩性。一个明显的例证是最近在HP上所作的标准 TPC-C测试。第一个测试是Oracle运行于有64个Intel Itanium2 CPU 的HP SuperDome SMP巨型服务器。第二个测试是16个节点的集群系统，每个节点是4个CPU的SMP服务器。测试结果表明RAC环境性能超过SuperDome 18% ，这两个测试使用了完全同样的 Itanium2 CPU，处理器总数都是64。所以在同样的CPU处理能力下，RAC具有更好的伸缩性。当您再进一步考察这两种方案的成本时，您会发现RAC的成本更低。HP SuperDome 将近800万美元，而同样的集群系统的成本仅仅不到300万美元， 其成本只是大型机的1/3。8.2Oracle RAC 10g的优越性为什么说Oracle Real Application Clusters 10g 要远远超过它的竞争对手?最基本的不同是，Oracle Real Application Clusters 10g 中所有服务器都可以直接访问数据库中的所有数据，其他的数据库在开放系统中都做不到这点， 正是由于这个原因，您可以非常方便地根据需求随时增加服务器来扩充您的系统，无需重新分布数据和应用。Real Application Clusters象一个单一的系统一样工作，任何节点的故障都不会影响其他节点对数据的访问。所以说增加服 务器就增加了系统的可靠性。另外一点，对用户来说RAC是一个数据库系统，对它的维护管理如同单机一样简单方便。8.3 Oracle RAC10g与其他故障切换方式的不同之处Microsoft SQL Server和IBM DB2都有active-active 的故障切换方式，为什么我要采用Oracle Real Application Cluster 10g ?其他的数据库系统都无法 真正的支持 active-active方式的集群系统，即集群的两个节点可以支持同样的应用。实际上，他们只能支持双向的active-passive 架 构，即节点 A 运行应用A，同时节点B 运行应用B，每个节点作为另一个节点的备份节点。但是同样的应用无法同时运行在两个不同的节点。在Oracle Real Application Cluster 10g 中，同样的应用可以运行在两个或更多的节点，每一个节点都可作为所有其它节点的备份机。当 出现单点故障时，整个Real Application Clusters数据库系统的效率只会有很小的降低。8.4 Oracle RAC 10g与分布式应用的不同之处我的分布式应用 系统运行非常好，为什么我要把我的数据库进行集中?如果您的应用系统正运行 于Oracle上，他们当然可以支持您的业务需求。但是集群的数据库可以让您管理更少的数据库，意味着更 少的管理成本。同时如果您把数据集中到Oracle Real Application Cluster 10g 上，您可以提高整个系 统的可用性，达到99.99%甚至更高。8.5 Oracle RAC10g与硬件集群环境的不同之处我们已经有了集群硬件环境，并且可以进行应用的切换，为什么我还需要Oracle Real Application Clusters 10g?当您在集群环境下运行您 的应用，如果不采用Oracle Real Application Clusters 10g 的话，您的应用是运行于单例程状态下。虽然您的服务 器是集群的一部分，但实际上相当于只运行在一台单机上。在硬件集群环境下，如HP ServiceGuard、 Sun Cluster 和 Microsoft Cluster Services, 您可以在集群的任何一个 节点重新启动 Oracle数据库 (因为硬盘可以共享). 这就是我们所说的 cold failover。Cold failover 切 换速度依赖于相关硬件资源的切换速度，这可能需要5到 25 分钟的时间恢复。如果使用Oracle Real Application Clusters 10g， 在服务器发生故障时，其他存活的服务器可以自动快速的恢复故障服务器的例程。Oracle Real Application Clusters 10g 可以提供业界最快的系统恢复，在60秒内可以对系统故障进行恢复，这至少比硬件的 cold failover方 案快5倍。8.6 Oracle RAC 10g与Data Guard的不同之处我们使用Data Guard来实现故障切换，