广西社保局技术方案

2 2 技术方案 技术方案 一一一 概述概述 1 1 需求分析需求分析 随着互联网技术 通信技术的快速发展 各行各业信息化建设也从通常的文字 录入 办公自动化发展到业务活动的信息化 为了满足不同应用的需求 基于互联 网的应用模型和计算模型得到了广泛的应用 PC 服务器随着 CPU 的推陈出新和 整体结构的不断完善 凭借其强大的性能优势和技术特点在越来越多的关键业务中 发挥了重要的作用 集群就是 PC 服务器应用在关键业务的技术保障 在三层架构应用系统的接入 层 多台 PC 服务器构建的负载均衡集群系统可以为业务系统提供足够的接入能力 在三层架构应用系统的后端 多台高性能的 PC 服务器构建的数据库集群系统可以 提供强大的数据处理性能 为业务系统提供强劲 稳固的后台系统 基于集群技术 的 PC 服务器平台凭借价格优势和强大的性能保证取代部分小型机成为许多关键业 务的首选 随着各药店的数据量越来越大 数据查询和计算等业务越来越复杂 它需要一 个高性能的超级计算机才能在特定的时间内完成大量的计算和数据的交换 由 PC 服务器和高性能计算集群是满足要求的首选 根据不同的特定计算内容和性能要求 的不同由几台到上百台 PC 服务器通过内部高速互连设备连接构成的高性能计算集 群系统已大量应用于生产研究的实际应用中 本次工程的总体任务如下 方案应以 先进 实用 经济 合理 用管两便 安全可靠 易于扩展 的 指导思想为原则 采用先进成熟的主流技术 充分考虑新建系统的可扩充性和与原 有系统的兼容性 并体现科学规划 合理布局 预留充分 应用方便的特点 达到 现代化 高效 舒适 安全 节能的人文办公环境的要求 服务器集群系统建设应该符合如下要求 1 1 1保证数据库可靠性保证数据库可靠性 Oracle 数据库以其稳定性著称 真正应用集群将这一优点发扬光大 能够以 单点故障方式移除服务器 如果一个实例故障 集群中的其它实例将仍然保持运行 和活动状态 1 1 2具备快速恢复能力具备快速恢复能力 Oracle 数据库包含许多有助于从各类故障中轻松恢复的功能 如果 RAC 数据 库中的一个实例出现故障 集群中的另外一个实例将察觉到这一故障 随后自动进 行故障恢复 利用快速应用程序通知 快速连接故障转移和透明应用程序故障切换 这三个功能 应用程序可以很方便地掩藏组件故障 使用户无法察觉 1 1 3支持错误检测和业务持续运行支持错误检测和业务持续运行 Oracle 集群件自动监控 RAC 数据库并可对环境中的错误进行快速检测 在用 户不知不觉中自动完成故障恢复 使用快速应用程序通知功能 应用程序能够在集 群组件故障出现时立即得到通知 然后将事务切换至无故障节点 从而掩藏这一故 障 让用户无法察觉 使用真正应用集群 在计划和意外停机期间仍可持续提供服 务 如果一个节点 或实例 出现故障 数据库将仍然保持运行状态 应用程序仍 可访问数据 大多数的数据库维护操作可在不中断运行的情况下完成 并且对用户 透明 其它维护任务可以通过滚动方式完成 所以可将应用程序中断时间降至最少 或完全消除 快速应用程序通知和快速连接故障切换可帮助应用程序达到服务水平 和掩藏组件故障 1 1 4 高性价比高性价比 满足应用的同时 高性价比是集群系统建设的不二选择 最后 我们强调 系统设计要符合现在和未来 3 5 年内的需求 不能盲目追 求大而全 以最少的投资创造实际需要的功能 一一一 服服务务器集群系器集群系统统建建设规设规划划 2 1 建设原则 服务器集群系统设计将严格遵守各种相关的技术原则 遵循各种相关的技术标 准和规范 整个集群系统设计严格按照以下原则进行 先进性和实用性先进性和实用性 采用先进成熟的技术满足内部应用系统的需求 兼顾其他相关的管理需求 尽 可能采用先进的技术以适应更高的数据 语音 视频 多媒体 等业务处理需要 使整个系统在相当一段时期内保持技术的先进性 以适应未来信息化的发展的需要 安全性和可靠性安全性和可靠性 为保证各项业务应用 集群系统必须具有高可靠性 尽量避免系统的单点故障 要对网络结构 网络设备等各个方面进行高可靠性的设计和建设 在集群系统设计 上应采用硬件备份 冗余等可靠性技术提高整个系统的可靠性 灵活性和可扩展性灵活性和可扩展性 集群系统是一个不断发展的系统 所以它必须具有良好的灵活性和可扩展性 能够根据不断深入发展的需要 方便的扩展网络覆盖范围 扩大数据存储容量和提 高整个系统的应用功能 具备支持多种应用系统的能力 提供技术升级 设备更新 的灵活性 开放性和互连性开放性和互连性 具备与多种协议计算机通信网络互连互通的特性 确保本集群系统的基础设施 的作用可以充分的发挥 在结构上真正实现开放 基于开放式标准 包括各种局域 网 广域网等 坚持统一规范的原则 从而为未来的发展奠定基础 可管理性可管理性 随着业务的不断发展和数据量的不断增加 数据库管理的任务必定会日益繁重 所以在集群系统设计中 必须建立一套全面的数据库集群系统管理解决方案 集群 系统中服务器最好采用统一高性能的 操作系统采用统一高安全性的 数据库采用 统一高效兼容性的 实现统一的管理 最终能够实现监控 监测整个集群系统的运 行情况 可以迅速确定系统故障等 2 1 1 集群系统资源的高可用性集群系统资源的高可用性 集群系统的建设关注整体投资回报 系统资源与应用的实用性是集群系统建设 的根本 在此基础上考虑集群系统的可靠性 可扩展性 安全性以及可管理性 提供永不中断的服务 真正的集群系统必然能提供服务的高可度可用性 也就是说 系统对外是一个 单一的逻辑映像 但是内部有高度的容错实现 能在某一节点出现错误的情况下 系统的服务不停止 并且能在不中断整个系统服务的情况下 修复出现错误的节点 使其重新加入集群中 继续提供服务 2 1 2 集群系统的高可靠性集群系统的高可靠性 集群系统由于运行各个药店的业务系统 需要保证数据库的正常运行 不因网 络单点的故障或变化引起业务的瞬间质量恶化甚至内部业务系统的中断 这点十分 重要 集群系统作为数据处理及转发中心 应充分考虑可靠性 数据库系统的可靠性增强 目前的数据库系统大多采用双数据库服务器 采用串行的连接方式 假设一台 数据库服务器出现问题的几率为 0 01 那么整个数据库集群出现问题的概率至少 应该是 0 01 x 2 而真正的数据库集群系统由于应用了并行的连接方式 假设一 台数据库服务器出现问题的几率为 0 01 两台数据库构成的数据库集群出错的概 率就是 0 01 x 0 01 所以可以看出 与目前数据库系统的机构相比 并行的数 据库集群可以显著增强系统的可靠性 2 1 3 集群系统的集群系统的可伸缩性可伸缩性 Oracle 真正应用集群提供了独一无二的应用程序伸缩技术 传统上 当服务 器容量不足时 我们会使用更大的新服务器来替换它 但服务器容量越大 其价格 也愈加昂贵 而对于使用了 RAC 的数据库 我们可选择其它方法进行增容 原先 运行于大型 SMP 服务器上的应用程序可移植到小型服务器集群中运行 或者 您 也可以选择保留现有硬件的投资 在集群中加入新服务器 或创建一个集群 来增 加容量 通过 Oracle 集群件和 RAC 向集群中添加服务器时并不需要停机 且在 启动新实例后 应用程序就可立即利用这些增加的容量 集群中的所有服务器必须 使用同一操作系统和相同版本 Oracle 软件 但其容量不需要一样 现在 客户 可以根据自己的需要来选择集群 可以是由每台服务器含 2 个 cpu 的普通服务器 组成的集群 也可以是每台服务器含 32 或 64 个 cpu 的服务器组成的集群 2 1 4 集群系统的高安全性集群系统的高安全性 网络的发展趋势是基于 Internet Web 技术的开放网络化系统 这不仅带来了新 的巨大的使用方便 同时也带来了不断增加的复杂应用及信息技术的挑战 因而安 全是集群系统建设中要考虑的一个关键因素 数据集可扩性 任何时刻同时拥有多份一致的数据集 这种高数据可靠性 只有用并行同步事务复制的方法才能做到 整个系统在任 何时刻具有多个一致的数据集 这样一旦某一数据集遭到破坏 还有剩余的数据和 数据库继续提供正常的服务 2 1 5 集群系统的可管理集群系统的可管理性性 随着网络中设备逐渐增多 网络技术日趋复杂 网络管理的重要性越来越明 显 网络的复杂导致系统运行的不确定因素增加 可靠性降低 宕机 时间变 长且带来的损失越来越大 而往往由于平时对网管的忽略 缺乏受过专业培训的网 络管理人员 也缺乏综合的网管解决方案 因而发生问题时无从下手 这才意识到 网管的重要 作为一套考虑完善 可靠性要求极高的系统 当然不希望有 亡羊补 牢 的情况发生 因此集群系统易管理性是必不可少的考虑因素之一 从设备本身 操作系统所具备的一些网管功能 到简单的网络管理工具 甚而功能强大的大型数 据库管理系统 用户可根据自身的实际应用和资金安排 循序渐进 逐步实现全面 集群系统管理功能 与传统的单一应用系统不同 服务器集群系统集中了各药店数据库资源 在这 样的一个大量数据集中管理环境中 网络从承载单一的数据到多种不同的应用 如 何合理分配利用集群系统资源 保障关键性业务的管理要求成为网络规划管理人员 不能回避的问题 2 2 服务器集群系统方案简介 2 2 1 此次方案设计拓扑如下图 此次方案设计拓扑如下图 方案规划方案规划 在两台浪潮服务器上安装 LINUX 操作系统 在 LINUX 5 0 上安装 ORACLE 10G RAC 当 Oracle10gRAC 集群的任何一个服务器节点出了问题 整个应用不会 停止 不存在切换时间问题 整个系统可以高效稳定的运行 非常适合用户对整个 系统高可用性极强的要求 2 3 方案设计思想 充分考虑集群系统建设的特点 结合用户的实际情况 我们建议从下面几个 方面设计来保证用户整个服务器集群系统的高可靠性 高可用性 易扩展性 开放 性 安全性 可管理性和实用性 2 3 1 服务器操作系统选择服务器操作系统选择 本次用户采购的是 PC 系列服务器 目前在 PC 服务器上可以应用的服务器操 作系统 包括 WINDOWS NT 2000 2003 系列 以及 Linux 系列操作系统 我们在 此次项目中 我们选择最新版的 RedHat Advance Server 5 0 作为集群操作系统平台 对比 Linux 和微软最新服务器操作系统 window2003 区别 1 安全性对比 Linux 操作系统的安全性比 Windows 系列的操作系统好很多 因为 Linux 与 UNIX 的关系太密切了 实际上 Linux 就是 UNIX 设计的克隆 Clone Linux 也可 以算是 Unix 家族中的一员 Linux 内核吸收了 UNIX 超过 30 年的研究经验 在安 全方面属于最高级别的操作系统 但是售价又比商业的 UNIX 系统低很多 对使用 Windows 的人来说 病毒 木马无处不在 各种各样的新型病毒与木马层出不穷 给系统管理员造成了非常大的麻烦和工作压力 Linux 由于其继承了 UNIX 的优秀 设计 具有健壮的先天病毒免疫能力 至今 Linux 操作系统上的原生的病毒几乎没 有 2 稳定性对比 Linux 的稳定性比 Windows 系列的操作系统好很多 人们会经常提及一个问 题为什么 Linux 几乎不崩溃 Linux 的稳定性是由于它没有像 Windows 操作系统 一样内核如此庞大 漏洞无穷 资料表明 Linux 与其它 Unix 系统和大型操作系 统如 VMS IBM 大型机等一样具有相同的可靠性 原因并不难以得到 系统的稳 定性主要取决于系统设计的结构 计算机硬件的结构自从 1981 设计开始就没有作 特别大的改动 而连续向后兼容性使那些编程风格极差的应用软件勉强移植到 Windows 的最新版本 这种将就的软件开发模式极大地阻碍了系统稳定性的发展 Linux 的稳定性并不是一个意外的例外 稳定性是所有大型计算机操作系统所 具有的共性 Linux 所共享的 Unix 设计体系是经过长期实践考验的 Linux 吸取了 Unix 系统 30 多年发展的经验 Linux 操作系统体现了最现代化操作系统的设计理 念和最经得住时间考验的设计方案 3 性能对比 Linux 的性能在众多的服务应用上好于 Windows 系列的操作系统 许多的独 立机构针对 Linux 和 Windows NT Linux 和其它流行的 Unix 作了大量的评测 除 了一次评测以外 所有的测试都显示不但在单处理器上击败了 NT 而且在 NT 自 认为其多线程结构扩展性更强的多处理器系统中击败了 NT Linux 能通过使用重 量级处理来代替 NT 使用的轻量级线程而获得优越的性能 Linux 中的进程复制极 为有效 几乎消除了使用线程的需要 令人惊奇的是 Linux 恰好能击败基于 SPARC 硬件平台上的 Solaris 虽然仅仅在单处理器的机器上 有一项分析揭示 了 Linux 性能优越的主要原因 Unix 系统 包括 Linux 系统在内 把图形处理为一个 用户级的应用 图形可根据需要被选择是否运行 Linux 系统中存在适度复杂的图 形界面 但是它们并没有与操作系统的内核紧紧捆绑在一起 图形界面可按需求关 闭 Oracle 原生于 UNIX 家族 Oracle 数据库从诞生之日起就与 Unix 架构的操作 系统联系在一起 Oracle 在 Unix 架构上的操作系统上有着先天的性能优势 就连 IBM 和 Oracle 都全力支持 Linux 发行了专门的 Linux 版本的数据库版本 各种 评测和报告表明 Linux 数据库方面的服务处理性能 不仅远高于 Windows 的处 理性能 甚至高于了部分商业 UNIX 的性能 举个例子 比如说 Linux 原生 UNIX 的 异步 I O 模式 这种模式在 Windows 操作系统是没有的 这种模式的应用在 Oracle 得到了很好的体现 极大的提高了整个 Oracle 数据库的综合性能 2 3 2数据库系统选择数据库系统选择 Oracle10g 是 Oracle 公司最新稳定一代的数据库平台 不管从性能 安全 扩 张性方面比起 Oracle9I 的平台有了很大的提高 Oracle10gRAC 集群中采用了 OCFS2 集群文件系统 对比 Oracle9iRAC 集群中 的 OCFS 文件系统 Oracle10g 这个版本不论从稳定性还是性能 都远远高于 Oracle9iRAC 集群系统 2 3 3数据集群软件选择数据集群软件选择 在此次项目中 针对项目规划和目标 我们选用了 Oracle10gRAC 集群作为本 次项目的集群解决方案 理由如下 1 项目背景 原有各个药店的数据都是独立的 采用定时上传数据的方式传到中心服务器 中心服务器采取双机热备的方式 这个模式的缺点非常明显 主要体现在以下几个 方面 a 数据分散 管理维护困难 b 由于是定时上传数据 所以无法达到实时管理数据 c 各个药店由于服务器性能参差不齐 访问和统计数据效率较低 d 中心服务器由于采取传统双机热备的方式 实际上只有一台服务器在工作 性 能上无法保证处理日益增加的数据量 并且 热备方式当主服务器宕机时 备 份服务器接管需要一定的切换时间 2 项目规划与目标 a 实现数据统一管理 b 实现实时管理数据 c 提高原有系统的数据并发处理性能 d 改变原有服务器的双机热备方式 提高整个服务器集群的工作性能 服务器集 群的节点数量可以不断扩展 不影响原来的集群结构 将原有的双机热备切换 时间 减少至零 3 OracleRAC 集群描述 Oracle RAC 集群是当今最先进的集群技术 Oracle RAC 集群具有延展性 而 且可支援各种硬件平台及任何数目的集群节点 Oracle RAC 集群技术兼具高延展 效能 多节点 与 Failover 失效切换 能力两项特性 它同时也是网格计算的基础 从性能而言 Oracle10g 将 RAC 集群技术发挥到了极点 不但将原有的高延展 性能 可以增加多个服务器节点提高性能 技术继承下来 更是真正意义实现了网格 式计算 网格计算指的是将多个 Oracle RAC 集群连接在一起 让数量规模庞大的电 脑系统与储存系统协同运作 进而提供惊人的生产力 Oracle 公司最新一次在 RAC 下性能测试 创造了性能最优的世界记录 原因很简单 由于 Oracle10gRAC 集群的每个节点均是可用的 节点之间共享 Oracle 专用的内存缓冲区 性能极高 并非传统意义上的双机热备技术 只有一台服务器在工作 另一台在休眠状态 所 能比较 从高可用性来说 Oralce10gRAC 将 Failover 失效切换 的技术继承并更方便 维护 Oracle10gRAC 技术是 Oracle 公司的原生技术 无需第三方软件支持 对比 symantec Veritas 这样的第三方软件有着先天的优势 当 Oracle10gRAC 集群的任 何一个服务器节点出了问题 整个应用不会停止 不存在切换时间问题 整个系统 可以高效稳定的运行 非常适合用户对整个系统高可用性极强的要求 总结来说 OracleRAC 有几项突出优势 1 由于集群中所有节点都参与运算 性能可大幅提高 2 可以实现多台廉价的服务器共同组建一个 OracleRAC 集群 无需由于数据量不 断增加 为提高处理能力而被迫采购更高性能的昂贵服务器 从而保护用户的 原有投资 3 由于是集群工作模式 出现故障点后 无需等待切换时间 大大增加了整个业 务系统的高可用性 4 服务器集群可扩展节点数量 最多的工作节点高达 32 个 传统的双机热备模式 只能支持两个服务器 5 由于此次项目要求数据实现统一管理和实时管理 要求整个服务器系统的处理 并发事务能力大大增强 传统的单节点处理模式 处理并发访问的能力有限 OracleRAC 多节点共同处理事务的架构 大大增加了整个服务器系统的事务并 发处理能力 2 4 具体实施步骤具体实施步骤 一 安装 Redhat AS Linux 1 使用第一张 CD 启动服务器 您可能需要更改 BIOS 设置 以允许从 CD 启动 2 启动屏幕上出现时在底部显示 boot 选择 Enter 从控制台上执行图形安装 对于其他安装方法和选项 请参阅 Red Hat 安装指南 安装程序扫描硬件 短暂显示 Red Hat 闪屏 然后开始显示一系列屏幕提示 3 选择语言 选择简体中文 4 配置键盘 接受默认值 5 欢迎屏幕 单击 下一步 6 配置鼠标 接受默认值 7 安装类型 选择 Custom 8 设置磁盘分区 本文不介绍磁盘分区的详细方法 而是假设您熟悉磁盘分区方法 警告 对磁盘进行错误分区是删除硬盘上所有内容的最可靠 最快捷的方法之一 如果不确定如何分区 请先停下来 找人帮帮您 否则您将冒丢失数据的危险 本文使用默认分区方案 文件系统均为 ext3 须注意如下一点 交换分区 将此分区大小至少设置为系统 RAM 的两倍 但 32 位系统不要超过 2GB 如果需要大于 2GB 的交换空间 则创建多个交换分区 9 配置启动加载程序 接受默认值 10 配置网络 此时配置两个网卡 用规划好的两个地址 一个公网地址 一个私有地址 使用静态 IP 地址配置数据库服务器 单击 Edit 出现一个弹出窗口 取消选中 Configure using DHCP 复选框 并输入服务器的 IP 地址和网络掩码 确保选中 Activate on boot 然后单击 OK 在 Hostname 框中 选择 manually 并输入主机名 dbrac1 集群依次类推 在 Miscellaneous Settings 框中 输入其他网络设置 11 配置防火墙 本次将不配置防火墙 选择 No firewall 12 其他语言支持 接受默认值 13 选择时区 选择适合您区域的时间设置 将系统时钟设置为 UTC 对服务器而言通常是一个很 好的做法 为此 单击 System clock uses UTC 14 设置 Root 口令 输入 root 的口令 并再次输入以进行确认 15 选择程序包组 最下面选择全选 单击 下一步 继续操作 16 准备安装 单击 下一步 17 安装程序包 软件将被复制到硬盘并被安装 根据提示更改光盘 然后在安装完成时单击 下一 步 18 配置图形界面 X 接受默认值 除非安装程序无法识别您的视频卡 如果您的视频卡无法被识别 则 将无法继续操作 19 配置监视器 如果安装程序正确识别了您的监视器 则接受默认值 否则 从列表中选择一个兼 容的监视器 20 定制图形配置 接受默认值 21 恭喜 从系统中取出安装介质 然后单击 下一步 22 系统自动重新启动并显示一个新的欢迎屏幕 单击下一步 23 许可协议 阅读许可协议 如果同意其中的条款 则选择 Yes I agree to the License Agreement 并单击下一步 24 日期和时间 设置日期和时间 如果要使用 NTP 服务器 推荐 则选择 Enable Network Time Protocol 并输入 NTP 服务器的名称 25 用户帐户 此时不要为 oracle 创建帐户 本部分稍后将介绍如何创建 oracle 帐户 26 Red Hat Network 如果要立即使用或激活 Red Hat Network 帐户 则接受默认值 单击 Next 并遵循 Red Hat 产品附带的产品激活说明 如果不能连到网络 此时可不必激活 随便填上 检测网络不通 跳过即可 27 其他 CD 单击下一步 28 完成设置 单击下一步 29 出现一个图形登录屏幕 30 恭喜 您的 Linux 软件现已安装完毕 验证安装 验证内核版本 uname r 2 6 9 22 ELsmp 验证已安装的程序包 rpm q make gcc gcc c libaio libaio devel make 3 80 184 1 gcc 3 3 3 43 24 gcc c 3 3 3 43 24 libaio 0 3 98 18 3 libaio devel 0 3 98 18 3 注 应显示更高版本 二 针对 Oracle 配置 redhat 2 1 验证系统要求验证系统要求 要验证系统是否满足 Oracle 10g 数据库的最低要求 以 root 用户身份登录 并运行以下命令 要查看可用 RAM 和交换空间大小 运行以下命令 grep MemTotal proc meminfo grep SwapTotal proc meminfo 例如 grep MemTotal proc meminfo MemTotal kB grep SwapTotal proc meminfo SwapTotal kB 所需最小 RAM 为 512MB 而所需最小交换空间为 1GB 对于 RAM 小于 或等于 2GB 的系统 交换空间应为 RAM 数量的两倍 对于 RAM 大于 2GB 的系统 交换空间应为 RAM 数量的一到两倍 Oracle 10g 软件还需要 2 5GB 的可用磁盘空间 而数据库则另需 1 2GB 的 可用磁盘空间 tmp 目录至少需要 400MB 的可用空间 2 2 内核参数内核参数 1 内核参数 在 etc sysctl conf 中编辑 kernel shmall kernel shmmax kernel shmmni 4096 kernel sem 250 32000 100 128 fs file max 65536 net ipv4 ip local port range 1024 65000 net core rmem default net core rmem max net core wmem default net core wmem max 然后用执行 sbin sysctl p 2 hangcheck timer 设置 RAC 节点间通过 CSS 来判断通信状态 因此需要设定定时器来触发判断 该 定时器就是 linux 内核自带的 hangcheck timer 具体操作 在 etc rc local 中加入 数值以具体情况而定 以下是默认值 modprobe hangcheck timer hangcheck tick 30 hangcheck margin 180 表示 每隔 30 秒检查一下节点状态 如果 180 秒内仍没有反应 则重启该节点 这也就是说 检查的间隔最长为 30 180 秒 如果超过这个时间 则系统重启 Tip 如果系统尚不稳定 可将数值设置的大一些 这样可以有充分的时间来修复 系统 否则系统会进入循环重启状态 2 3 添加添加 oracle 用户和组用户和组 usr sbin groupadd oinstall usr sbin groupadd dba usr sbin useradd m g oinstall G dba oracle id oracle uid 1000 oracle gid 1000 oinstall groups 1000 oinstall 6 disk 1001 dba 设置 oracle 帐户的口令 passwd oracle Changing password for user oracle New password Retype new password passwd all authentication tokens updated successfully 设置 oracle 的 shell 限制 在 etc security limits conf 文件中加入 oracle soft nproc 2047 oracle hard nproc 16384 oracle soft nofile 1024 oracle hard nofile 65536 2 4 网络设置网络设置 注 此处使用的公共地址为规划好后的地址 不能为临时地址 除非试验安装 RAC 要求机群内的每个节点至少有两块网卡 一个设置为公用 公网 对外提 供服务 一个设置为私用 专用 提供节点内的告诉传输 此外还需要为公用网 卡配置一个虚拟地址 oracle 需要借此为用户提供透明的高可用服务 具体介绍 如下 专用网络专用网络 每个集群节点通过专用高速网络连接到所有其他节点 这种专用高速网络也称 为集群互联或高速互联 HSI Oracle 的 Cache Fusion 技术使用这种网络 将每个主机的物理内存 RAM 有效地组合成一个高速缓存 Oracle Cache Fusion 通过在专用网络上传输某个 Oracle 实例高速缓存中存储的数据允许其他 任何实例访问这些数据 它还通过在集群节点中传输锁定和其他同步信息保持数 据完整性和高速缓存一致性 专用网络通常是用千兆以太网构建的 但是对于高容量的环境 很多厂商提供 了专门为 Oracle RAC 设计的低延迟 高带宽的专有解决方案 Linux 还提供 一种将多个物理 NIC 绑定为一个虚拟 NIC 的方法 此处不涉及 来增加带宽和 提高可用性 公共网络公共网络 为维持高可用性 为每个集群节点分配了一个虚拟 IP 地址 VIP 如果主 机发生故障 则可以将故障节点的 IP 地址重新分配给一个可用节点 从而允许 应用程序通过相同的 IP 地址继续访问数据库 修改 etc hosts 加入下面内容 127 0 0 1 localhost localdomain localhost public address 10 45 170 17 dbrac1 10 45 170 18 dbrac2 private address 172 168 0 17 dbrac1 eth0 172 168 0 18 dbrac2 eth0 virtual address 10 45 170 117 dbrac1 vip 10 45 170 118 dbrac2 vip 虚拟地址可以随便起一个 保证同一个网段 在安装 RAC 的时候 vipca 会自动将虚拟地址绑定在公共网卡上的 2 5 为用户等效性设置为用户等效性设置 SSH 为用户等效性设置为用户等效性设置 SSH 在安装 Oracle RAC 10g 期间 OUI 需要把文件复制到集群中的其他主机上并 在其上执行程序 为了允许 OUI 完成此任务 必须配置 SSH 以启用用户等效 性 用 SSH 建立用户等效性就提供了一种在集群中其他主机上复制文件和执行 程序时不需要口令提示的安全方式 第一步是生成 SSH 的公共密钥和专用密钥 SSH 协议有两个版本 版本 1 使用 RSA 版本 2 使用 DSA 因此我们将创建这两种类型的密钥 以确保 SSH 能够使用任一版本 ssh keygen 程序将根据传递给它的参数生成任一类型的公共 密钥和专用密钥 当您运行 ssh keygen 时 将提示您输入一个用于保存密钥的位置 当提示时 只需按 Enter 接受默认值 随后将提示您输入一个口令短语 输入您能记住的 口令 然后再次输入该口令进行确认 当您完成以下步骤后 在 ssh 目录中将 会有四个文件 id rsa id rsa pub id dsa 和 id dsa pub id rsa 和 id dsa 文 件是您的专用密钥 千万不要告诉任何人 id rsa pub 和 id dsa pub 文件是您的 公共密钥 必须将其复制到集群中其他每个主机上 在每个主机上 以 oracle 用户身份登录 mkdir ssh chmod 755 ssh usr bin ssh keygen t rsa Generating public private rsa key pair Enter file in which to save the key home oracle ssh id rsa Enter passphrase empty for no passphrase Enter same passphrase again Your identification has been saved in home oracle ssh id rsa Your public key has been saved in home oracle ssh id rsa pub The key fingerprint is 4b df 76 77 72 ba 31 cd c4 e2 0c e6 ef 30 fc 37 oracle ds1 orademo org 注意 本例中此处一路按回车选择默认 usr bin ssh keygen t dsa Generating public private dsa key pair Enter file in which to save the key home oracle ssh id dsa Enter passphrase empty for no passphrase Enter same passphrase again Your identification has been saved in home oracle ssh id dsa Your public key has been saved in home oracle ssh id dsa pub The key fingerprint is af 37 ca 69 3c a0 08 97 cb 9c 0b b0 20 70 e3 4a oracle ds1 orademo org 注意 本例中此处一路按回车选择默认 现在 必须将每个主机上的公共密钥文件 id rsa pub 和 id dsa pub 的内容复 制到其他每个主机的 ssh authorized keys 文件中 使用 ssh 将每个文件的内容 复制到 ssh authorized keys 文件 请注意 当您使用 ssh 第一次访问远程主机 时 其 RSA 密钥将是未知的 从而将提示您确认是否希望连接该主机 SSH 将 记录该远程主机的 RSA 密钥 并在以后连接该主机时不再做出相关提示 只需在第一个主机上 以 oracle 用户身份登录 复制本地帐户的密钥 以便 连接本地主机的 ssh 能够起作用 如果您要剪切和粘贴这些命令 则分别运行它们 SSH 每次会提示输入 oracle 的口令 如果同时粘贴这些命令 则第一个命令在提示输入口令之前刷新输 入缓冲区 从而导致其他命令将会丢失 cat ssh id rsa pub ssh authorized keys cat ssh id dsa pub ssh authorized keys ssh oracle dbrac2 cat ssh id rsa pub ssh authorized keys The authenticity of host dbrac2 10 49 9 100 can t be established RSA key fingerprint is d1 23 a7 df c5 fc 4e 10 d2 83 60 49 25 e8 eb 11 Are you sure you want to continue connecting yes no yes Warning Permanently added dbrac2 10 49 9 100 RSA to the list of known hosts oracle dbrac2 s password ssh oracle dbrac2 cat ssh id dsa pub ssh authorized keys oracle dbrac2 s password chmod 644 ssh authorized keys 要对第二个主机做同样的处理 请注意 这次有的 SSH 不会提示您输入 oracle 的口令 这是因为第一个主机 dbrac1 现在知道了第二个主机的公共密钥 而 SSH 现在使用的是一种不同的认证协议 建立用户等效性建立用户等效性 如果一切均设置正确 则您现在就可以使用 ssh 在其他集群主机上不必输入 口令而登录 执行程序和复制文件了 通过在远程集群主机上运行诸如 date 等 简单命令来验证用户等效性 ssh dbrac2 date Sun Jun 27 19 07 19 CDT 2004 测试每个方向上所有服务器的连通性是非常重要的 这样会确保当 OUI 在 CRS 和数据库软件安装期间试图复制文件时不会出现类似以下的消息 该消息只 有在远程节点上第一次执行操作时才会出现 因此通过测试连通性 您不仅确保了 远程操作的正常运行 还完成了初始的安全密钥交换 The authenticity of host dbrac2 10 49 9 100 can t be established RSA key fingerprint is 8f a3 19 76 ca 4f 71 85 42 c2 7a da eb 53 76 85 Are you sure you want to continue connecting yes no yes 注意 以上步骤执行完以后 需要执行和本机建立等效性 否则安装 CRS 时 也会出错 在每个节点上分别执行 ssh hostname 此处 hostname 分别为 dbrac1 dbrac2 三 配置共享磁盘 配置共享磁盘的方法有三种 Oracle 集群文件系统 OCFS 自动存储管理 器 ASM 原始设备 RAW 安装安装 OCFS2 我将把 OCFS2 文件安装到两台单处理器计算机中 安装过程只需要您以 root 用户帐户在集群中的所有节点所有节点上运行以下命令即可 su rpm Uvh ocfs2 2 6 9 11 0 0 10 3 EL 1 0 4 1 i686 rpm ocfs2console 1 0 2 1 i386 rpm ocfs2 tools 1 0 2 1 i386 rpm Preparing 100 1 ocfs2 tools 33 2 ocfs2 2 6 9 11 0 0 10 3 67 3 ocfs2console 100 禁用禁用 SELinux 向 RHEL4 提供一个建议 即 OCFS2 当前无法在启用 SELinux 的情况下 运行 如果您使用的是 RHEL4 则您需要禁用 SELinux 使用工具 system config securitylevel 才能执行 O2CB 服务 要禁用 SELinux 运行 Security Level Configuration GUI 实用程序 usr bin system config securitylevel usr bin system config securitylevel then etc bashrc fi export ORACLE BASE u01 app oracle export ORACLE HOME ORACLE BASE product 10 2 0 db 1 export ORA CRS HOME u01 crs oracle product 10 2 0 crs 1 export ORACLE SID dbrac1 export ORACLE TERM xterm export LD ASSUME KERNEL 2 4 1 export ORA NLS33 ORACLE HOME ocommon nls admin data export LD LIBRARY PATH ORACLE HOME lib lib usr lib usr local lib PATH PATH HOME bin ORACLE HOME bin ORA CRS HOME bin sbin export PATH 然后执行 source bash profile 使环境变量生效 注意 ORACLE SID 每台机器不一样 如 dbrac1 的 SID 为 dbrac1 dbrac2 的 SID 为 dbrac2 以此类推 对 LD ASSUME KERNEL 环境变量的说明 这个参数实际上是为了避免 Linux 上的 NPTL Native POSIX Thread Library 和 Oracle 应用不兼容的问题 设定 LD ASSUME KERNEL 为 2 4 1 表示使用旧有 的 Linuxthreads with floating stacks 4 2 安装安装 CRS 集群软件集群软件 仅在集群的一个节点一个节点上执行下列安装过程 Oracle Universal Installer 将 把 Oracle 集群软件安装到集群中的所有其他节点 您现在就可以安装该环境的 集群 部分 Oracle 集群件了 在上一节中 您将 Oracle 集群件的安装文件下载并解压缩到 linux1 的目录 u01 app oracle orainstall clusterware 中 这是唯一需要执行安装的节点 在 Oracle 集群件的安装过程中 系统将提示您提供相关的并要在 RAC 集群 中配置的节点 当实际的安装开始时 配置的远程访问把所需的软件复制到所有节 点 那 Oracle 集群件究竟是用来干什么的呢 它包含所有集群和数据库配置元数据以及多个适用于 RAC 的系统管理特性 通过它 DBA 可以将一个 Oracle 实例 或多个实例 注册和调用到集群 在通常 的操作中 Oracle 集群件将通过一种特殊的 ping 操作向集群中配置的所有节点 发送消息 通常称作 心跳 如果对任何节点的心跳检测失败 则它将检查 Oracle 集群件配置文件 位于共享磁盘上 以辨别是节点故障还是网络故障 安装 Oracle 集群件后 用于安装 Oracle 10g 数据库软件 下一节 的 Oracle Universal Installer OUI 将自动识别这些节点 与您将在本节中执行 的 Oracle 集群件安装一样 Oracle 数据库 10g 软件只需要从一个节点中运行 OUI 将把此软件程序包复制到 RAC 集群中配置的所有节点 OracleOracle 集群件共享文件集群件共享文件 将把由 Oracle 集群件使用的两个共享文件存储到我们在前面创建的 OCFS2 文件系统中 这两个共享 Oracle 集群件文件是 Oracle 集群注册表 OCR o位置 u02 oradata orcl OCRFile o大小 100MB CRS 表决磁盘 o位置 u02 oradata orcl CSSFile o大小 20MB 注意 对于此处的安装而言 无法将 ASM 用于两个 Oracle 集群件文件 OCR 或 CRS 表决磁盘 问题是只有这两个文件就绪并可以访问后才可以才可以启动 Oracle 实例 要使 ASM 可用 应首先运行 ASM 实例 可以将这两个共享文件存储到 OCFS2 共享的原始设备或其他供应商的集群化文件系统中 验证环境变量验证环境变量 启动 OUI 之前 应先从控制台以 root 运行 xhost 命令以允许建立 X Server 服务器连接 然后 取消 ORACLE HOME 变量的设置并确认 RAC 集群的每 个节点定义了唯一的 ORACLE SID 还应确认我们是以 oracle 用户帐户登录的 以以 oracleoracle 登录登录 xhost access control disabled clients can connect from any host su oracle 取消取消 ORACLE HOMEORACLE HOME 的设置的设置 unset ORA CRS HOME unset ORACLE HOME unset ORA NLS10 unset TNS ADMIN 验证验证 linux1linux1 上的环境变量上的环境变量 env grep ORA ORACLE SID orcl1 1 ORACLE BASE u01 app oracle ORACLE TERM xterm 验证验证 linux2linux2 上的环境变量上的环境变量 env grep ORA ORACLE SID orcl2 2 ORACLE BASE u01 app oracle ORACLE TERM xterm 安装集群就绪服务安装集群就绪服务 注意 注意 OracleOracle RACRAC 1010g g 10 1 0 310 1 0 3 中的中的 CSSCSS 超时计算超时计算 请注意 安装 Oracle 集群件软件后 您需要修改集群件的 CSS 超时值 这对 10 1 0 3 和更高版本来 说更是如此 这是因为其 CSS 超时计算方法不同于 10 1 0 2 从 Linux 平台 包括 IA32 IA64 和 x86 64 上的 Oracle 10 1 0 3 开始 已发现因 CSS 后 台程序超时引起的多个问题 这在过去一直是困扰我的一大难题 尤其