Oracle真正应用集群最佳实践-Jerry.ppt

RoyRosseboRACPack甲骨文公司 真正应用集群最佳应用作者 KirkMcGowanRolandKnappRoyRossebo以及RACPack团队其他成员 讲座目标 只要坚持遵从一些最佳应用 在Linux上实施真正应用集群就应该会相对简单一些演示基于RACPack客户对9i和10g体验的最重要的RAC最佳应用 一般的和Linux特定的最佳应用没有其他特定平台重点讲述10g 免责声明 这些最佳应用的依据是客户的真实体验 通常会提供最佳的结果 但是不同系统具有不同的需求和成本结构 因此这些最佳应用可能不适用于所有情况 随着技术不断的发展 以及新体验的出现 这些最佳应用可能会随着时间的推移而发生变化 这些最佳应用不能替代产品使用正式指南的标准产品文档 议程 规划最佳应用体系结构考虑事项期望效果项目计划实施最佳应用基础架构考虑事项安装数据库配置应用程序考虑事项运作的最佳应用备份与恢复监控与调整生产移植 了解体系结构 集群的数据库服务器 镜像磁盘子系统 高速交换机和互联 集线器或交换机结构 网络 集中管理控制台 存储区域网 低延迟互联 用户 无单点故障 了解体系结构 共享磁盘数据库 共享数据模型 了解体系结构 公用网络 节点1 共享存储 重做日志所有实例 数据库和控制文件 OCR和voting磁盘 oracle home 操作系统 CRS 集群互联 数据库实例1 ASM实例1 集群互联 了解体系结构 集群术语基本功能通过消除作为单点故障 SPOF 的节点和Oracle 实现了高可用性通过增加额外的处理容量 实现了可伸缩性硬件组件专用互联 网络交换机共享存储器 并行访问 存储交换机软件组件操作系统 集群管理器 DBMS RAC 应用程序各种集群管理器之间的区别 规划体系结构 消除单点故障工作负载分布 负载均衡 策略Net服务 SQL Net Oracle10g服务使用网格控件监控和管理并达成服务级别协议处理节点 足够的CPU以适应故障可伸缩I O子系统使用ASM和S A M E 规划体系结构 集群互联FastEthernet 千兆以太网公用网络以太网 FastEthernet 千兆以太网推荐的服务器配置每台服务器最少2个CPU2个和4个CPU服务器的成本通常最经济每个CPU1 2GB内存光纤通道 SCSI或NAS存储连接 规划体系结构 集群互联冗余RH3 0NICBondingwww kernel org pub linux kernel people marcelo linux 2 4 Documentation networking bonding txt本地ORACLE HOMEOCFSV2支持共享的ORACLE HOME裸设备上的OCR和Voting磁盘 坚不可摧的Linux产品 RedHatEnterpriseLinuxAS ES2 1和3 0SuSELinuxEnterpriseServer8 SuSELinuxAG Oracle将支持与其他发行版本一起运行的Oracle产品 但不支持该操作系统本身 坚不可摧Linux上的RAC认证 认证企业级操作系统发行 例如RHAS2 1和3 0 SuseSLES 8 集群件 OracleOSD集群件 直接联网存储 例如NetworkAppliancefilers 大多数SCSI和SAN存储器都可兼容有关软件认证的详细信息 请访问 设置正确的期望 如果您的应用程序要在SMP上透明伸缩 则现实的期望是它在RAC上伸缩良好 而不必对应用程序代码进行任何更改 RAC消除了作为单点故障的数据库和节点本身 确保了出现这些故障时数据库的完整性 制定适当的目标 高可用性目标计划与非计划技术故障 站点故障与人为错误可伸缩性目标加速和扩展响应时间 吞吐量和其他计量标准服务器 整合目标通常与TCO相关通常比较主观 构建您的项目计划 与您的供应商合作多个股东 共享成功构建详细的测试计划在进入RAC之前确认在SMP上的可伸缩性 首先优化单个实例明确知识上的欠缺并进行培训集群 RAC 高可用性 可伸缩性 系统管理需要时利用外部资源建立严格的系统和应用程序更改控制一次针对一个系统元素应用更改首先针对测试环境应用更改监控应用程序更改对基础系统组件的影响定义支持机制和上报过程 议程 计划最佳应用体系结构考虑事项期望效果项目计划实施最佳应用基础架构考虑事项安装数据库配置应用程序考虑事项运作的最佳应用备份与恢复监控与调整生产移植 安装流程图 配置硬件 配置专用网络 安装和配置坚不可摧的Linux 安装OracleCRS 安装Oracle数据库 包括RAC和ASM 运行VIPCA 自动从RDBMSroot sh启动 配置存储器 包括ASMLIB 使用DBCA创建数据库 Linuxx86要求 操作系统要求RedHatEnterpriseLinuxES AS2 1 x86 Gnugccpackage gcc 2 96 108 1或更高版本还必须安装下列程序包 或更高版本 make 3 79binutils 2 11openmotif 2 1 30Kernelerrata25 e 25 或更高版本 RHSA 2003 195 06 glibc2 2 4 31errata或更高版本 RHSA 2003 022 09 Linuxx86要求 续 操作系统要求RedHatEnterpriseLinuxES AS3 Update2 x86 Gnugccpackage gcc 3 2 3 2或更高版本还必须安装下列程序包 或更高版本 make 3 79binutils 2 11openmotif 2 2 2 16setarch 1 3 1compat db 4 0 14 5compat gcc 7 3 2 96 122compat gcc c 7 3 2 96 122compat libstdc 7 3 2 96 122compat libstdc devel 7 3 2 96 122 Linuxx86要求 续 操作系统要求UnitedLinux1 0 x86 尚未认证 认证将与补丁程序集10 1 0 3一起在6月末结束 ServicePack3 SP3 或更高版本 内核版本2 4 21 138 Gnugccpackage gcc 3 2 2 38或更高版本还必须安装下列程序包 或更高版本 make 3 79binutils 2 12openmotif 2 2 2 124 LinuxIA64要求 操作系统要求RedHatEnterpriseLinuxES AS2 1 Update3 还必须安装下列程序包 或更高版本 make 3 79binutils 2 11openmotif 2 1 30gcc 2 96 124glibc 2 2 4 32libaio 0 3 92 1libaio devel 0 3 92 1必须安装Kernelerrata40 e 40 或更高版本 LinuxIA64要求 续 操作系统要求RedHatEnterpriseLinuxES AS3 Update1 还必须安装下列程序包 或更高版本 gcc 3 2 3 20make 3 79binutils 2 11openmotif 2 2 2 16setarch 1 3 1compat db 4 0 14 5compat gcc 7 3 2 96 122compat gcc c 7 3 2 96 122compat libstdc 7 3 2 96 122compat libstdc devel 7 3 2 96 122必须安装Kernelerrata40 e 40 或更高版本 LinuxIA64要求 续 操作系统要求SuSELinuxEnterpriseServer8还必须安装下列程序包 或更高版本 ServicePack3 SP3 或更高版本 kernelversion2 4 21 107 gcc 3 2 29make 3 79binutils 2 12openmotif 2 2 2 124有关详细信息 请参阅Oracle 数据库客户机快速安装指南LinuxItanium的10gRelease1 10 1 编号 B13763 01 准备Linux环境 在集群的每个节点上执行下列操作在 etc sysctl conf中设置内核参数向 etc hosts文件添加主机名为ORACLE HOME 对于Oracle用户ID可写入 建立文件系统和位置在所有节点上设置ssh 在所有节点上安装该rpm 使用脚本 etc init d oracelasmConfigure 选项配置ASMLib 使用 etc init d oracleasmcreatediskVOL1 dev sdg 为ASM提供磁盘 将发现字符串设置为 ORCL 从 ASMLib的安装流程图 有关详细的安装说明 请参阅 使用OracleUniversalInstaller安装CRS CSS堆栈 使用 CRS HOME root sh第一次启动该Oracle堆栈 加载 安装hangcheck计时器 如果要对数据库文件使用ASM 则请为CRS CSS创建两个裸设备 CRS安装流程图 使用DBCA简化数据库创建 设置MAXINSTANCES MAXLOGFILES MAXLOGMEMBERS MAXLOGHISTORY MAXDATAFILES DBCA为自动进行 将表空间创建为本地管理 DBCA为自动进行 创建所有的表空间并具有ASSM 自动分段空间管理 特性 DBCA为自动进行 配置自动UNDO管理 DBCA为自动进行 使用SPFILE而不是使用多个init ora DBCA为自动进行 安装后 要启用异步I O 必须重新链接Oracle才能使用skgaioi o 并为RH2 1和RH3 0系统安装bug3208258与Basebug3016968的PatchSetException 安装 ARU 10 1 0 2ARU6076422来修复专用互联的使用 将UDP发送 接受缓冲区大小调整为256Ksysctl wnet core rmem max 262144sysctl wnet core wmem max 262144sysctl wnet core rmem default 262144sysctl wnet core wmem default 262144 ASMLib安装后 使用asmlibrealease1 0 1 确保正确运行了 oracleasmconfigure 确保对于所需的磁盘正确运行了 oracleasmcreatedisk 执行 oracleasmlistdisks 显示可使用磁盘对于每个标记的磁盘执行 oracleasmquerydisk 确保它已被标记使用cat proc filesystem命令 确保存在一个oracleasm文件系统执行df ha 此命令应该显示 dev oracleasmfs已经装载ls l dev oracleasm disks 确保ownership permissions为oracle oinstall验证对于ASMLIB是否使用了下列搜索字符串 或对DBCA或对命令行 ORCL Oracle10g的现有版本要求执行自定义安装才能获取标记的asmlib磁盘 如果ASM实例当前处于活动状态 则在发现asmlib磁盘的同时 要跟踪ASMalert log 来查看ASM是否会显示有关发现的消息 验证RAC配置 在所有节点上运行的实例SQL select fromgv instanceRAC在专用互联上进行通信SQL oradebugsetmypidSQL oradebugipcSQL oradebugtracefile name home oracle admin RAC 1 udump rac 1 ora 1343841 trcChecktracefileintheuser dump dest SSKGXPT0 x2ab25bcflagsinfofornetwork0socketno10IP10 0 0 1UDP49197sflagsSSKGXPT UPinfofornetwork1socketno0IP0 0 0 0UDP0sflagsSSKGXPT DOWNRAC正在使用所要求的IPC协议 CheckAlert log clusterinterconnectIPCversion OracleUDP IPIPCVendor1proto2Version1 0PMONstartedwithpid 2 仅在必要时才使用cluster interconnects 议程 计划最佳应用体系结构考虑事项期望效果项目计划实施最佳应用基础架构考虑事项安装数据库配置应用程序考虑事项运作的最佳应用备份与恢复监控与调整生产移植 本地管理的表空间 将所有表空间创建为本地管理 并且带有自动分段空间管理CREATETABLESPACExx EXTENTMANAGEMENTLOCAL SEGMENTSPACEMANAGEMENTAUTO 在DBCA中这是自动完成的 ASSM 自动分段空间管理 ASSM 消除了计算PCTUSED FREELISTS和FREELISTGROUPS的复杂过程允许实例进行空间的动态亲和 避免了可用列表组固有空间的硬分区 避免了并发访问时的争用 并优化了空间使用 不需要任何维护 使您能够支持任意数量的实例 而不用对对象作任何更改 使用在线重新构建功能 将对象从可用列表组移到ASSM 在DBCA中自动配置 应用程序部署 对于RAC无需特殊的应用程序设计或编码在一个单一实例SMP环境中运行正常的所有应用程序在RAC也会运行正常只是 在一个实例环境中出现的争用问题在RAC环境中可能会更加严重 如果与数据相关的路由可在中间层实现 则还可以进一步提高性能 应用程序部署 规则与单一实例相同SQL调整顺序缓存将大型对象分区使用不同的块大小避免DDL按照前面的注意事项使用LMT和ASSM SQL调整 优化的执行计划可共享的SQL解析审计全表扫描 顺序 顺序号总是使用缓存选项将顺序缓存设置为1000或更多增加SYS AUDSES 的缓存值在出现大量 登录 时会有所帮助将顺序sys audses 的缓存更改为10000 对大型表 索引进行分区 使用合适的分区 改善对象的可管理性 DML密集对象的散列 列表和组合分区会有所帮助 不同的块大小 大块用于经常进行长扫描的表 大多数为读操作的表和索引 使用批量加载进行加载并且没有更新的表 小块用于上述情况之外的环境 尽量少用DDL 不要创建和删除属于正常用户应用程序一部分的表 而采用其他方式DDL访问数据字典 在单个实例以及RAC上都会引起争用问题DDL操作可能会使得存储的sql语句失效 从而导致重新分析 这样会影响性能 议程 计划最佳应用体系结构考虑事项期望效果项目计划实施最佳应用基础架构考虑事项安装数据库配置应用程序考虑事项运作的最佳应用备份与恢复监控与调整生产移植 操作 DBA过程与单个实例基本相同 只有一些较小区别 而且大多数为机械上的区别 管理Oracle环境通过引导 重新引导服务器来启动 停止Oracle集群系列管理多个重做日志线程启动和关闭数据库使用网格控制备份和恢复性能监控和调整生产移植 备份和恢复 使用RMAN备份和恢复ASM文件的唯一选择使用网格控制访问RMAN的GUI界面对于备份和存档日志使用10g快速恢复区域在ASM上 可用于所有实例 实例恢复 设置fast start mttr target初始设置为300比较好性能与可用性的平衡为一次恢复确定缓冲区大小 确保使用了异步I O 使用恢复并行 避免逐出故障节点 如果一些重要进程无法快速响应 则可能会收到 heartbeat 故障为LMS启用实时优先级不要长时间在100 CPU情况下运行系统确保对于控制文件和voting磁盘都具有良好的I O响应时间 性能监控 调整 首先对单个实例10g进行调整Oracle性能管理器 ADDM AWRRAC特定的视图使用脚本 跟踪进行补充监控V SES