AIX5.3Solaris10新特性培训教材

内部使用内部使用 中国工商银行软件开发中心中国工商银行软件开发中心 2007 年年 6 月月 培训教材 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 1 页页 共共 2 页页内部使用内部使用 前前 言言 根据 2007 年我行系统软件版本的升级计划 Solaris 系统从 8 升级到 10 AIX 系统从 5 2 升级到 5 3 这两个系统版本相对于旧版本均有较大的改进 本课程向学员阐述 AIX5 3 和 Solaris10 的新特性 并讲述 AIX52 到 53 Solaris 从 8 到 10 的升级过程和建议方案 本教材由系统部李佳昀编写 在编写过程中 参考了郑均强编写的 AIX5 3 升级研究项目新特性分析报告 和 AIX5 3 升级研究测试报告 教材发布范围 中心内部 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 2 页页 共共 2 页页内部使用内部使用 目目 录录 课程目标 1 第 1 章 AIX5 3 新特性 2 1 1 概述 2 1 2 微分区技术 2 1 3 虚拟 I O 技术 4 1 4 并发多线程处理 4 1 5 其他新特性 5 第 2 章 SOLARIS10 新特性 6 2 1 概述 6 2 2 ZONE分区技术 6 2 3 RESOURCE MANAGER 9 2 4 DTRACE动态跟踪工具 9 2 5 ZFS 文件系统 10 2 6 预测性自我修复 10 2 7 其他新特性 11 第 3 章 AIX5 2 和 SOLARIS10 的升级 11 3 1 升级方法 11 3 2 应用迁移步骤 12 3 3 特殊问题处理 15 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 1 页页 共共 15 页页内部使用内部使用 课程目标 课程目标 在完成本课程后 您应该了解如下内容 了解 AIX5 3 的新特性的基本概念 包括微分区 虚拟 I O SMT 等 能基 本了解这些技术在开发 生产实践中的应用场景 了解 Solaris10 的新特性的基本概念 包括 Container Resource Manager ZFS DTrace 预测性自我修复等 能基本了解 Container 的划分 操作和在开发测试中的应用 了解 AIX 从 5 2 升级到 5 3 Solaris 从 8 升级到 10 的过程 升级方式以及 升级注意事项 了解应用迁移到新系统平台需做的测试准备工作 迁移的注意 事项等 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 2 页页 共共 15 页页内部使用内部使用 第第 1 章章 AIX5 3AIX5 3 新特性新特性 1 1 概述概述 IBM 公司在 2004 年底随着 Power5 芯片系列服务器发布 AIX5 3 的正式版 截止 2007 年 5 月已发布到 AIX5 3TL06 比较 AIX5 2 AIX5 3 带来了一些重 要的新特性 如微分区技术 虚拟 I O SMT 并发多线程技术等 在系统可用 性 资源利用率 运行性能 安全管理等方面都得到了一定的改进 下面将针 对微分区 虚拟 I O SMT 等三个方面对 AIX5 3 的新特性作简单的阐述和分析 使得我行相关人员对 AIX5 3 系统有初步的认识 1 2 微分区技术微分区技术 1 2 1 LPAR 技术技术 LPAR 也即逻辑分区技术 是在 IBM 公司随着 Power4 芯片产品研发的基 于硬件层进行逻辑分区的技术 其概念是在同一台物理服务器上对其硬件资源 包括 CPU 内存 I O 柜 包括网卡 光纤通道卡 SCSI 控制器等 进行自定 义划分 从而在一台物理服务器上形成若干个动态逻辑分区即 LPAR 每个 LPAR 独立使用其物理资源 管理员需在每个 LPAR 上分别安装独立的操作系 统 各 LPAR 之间彼此独立 就象是一台独立的服务器 逻辑分区技术是基于硬件层的虚拟化技术 各硬件资源只能被其所属的分 区独立使用 不能共享 每个逻辑分区至少需要 1CPU 单位 1 块物理磁盘 一定量的内存单元才能正常运行 1 2 2 微分区技术微分区技术 微分区技术 micro partition 是 AIX5 3 的新技术 实际上就是原来 LPAR 逻辑分区技术在 CPU 资源分配上的一个突破 在 Power5 芯片的硬件支 持下 微分区技术分区对于 CPU 资源的划分可以达到 CPU 利用率的 10 即 每个微分区至少只需使用 10 个 CPU 单元 在此基础上增加或减少资源的 CPU 单位颗粒度可为 1 个 CPU 相对于 LPAR 微分区技术更加有效的利用 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 3 页页 共共 15 页页内部使用内部使用 CPU 的资源 系统部于 2006 年 5 月份对 AIX5 3 进行了升级研究 对微分区技术有以下 结论 请各位学员了解 1 使用微分区需专门的 license 需要额外的付费 由于目前 AIX5 3 尚未 在生产上大规模实施 且在研发测试环境上应用还未广泛 因此总行 尚未进行 license 的集中采购 2 目前只有 AIX5 3 版本才支持微分区技术 3 在 HMC 上对微分区进行管理和管理普通的 lpart 没有太大区别 其原 理都是基于服务器硬件层 Hypervisor 进行资源隔离和计算管理 我行 相关系统管理员可以很快就能掌握微分区的划分和管理 其管理界面 如下图所示 4 微分区是基于硬件层的虚拟分区 其隔离度较 Sun 的 Container 容器和 IBM 的 Workload Partition 要高 且其划分资源的颗粒度较小 可有效 的改善 CPU 资源的利用率 5 由于可提高硬件资源的利用率 微分区技术建议可应用在开发测试环境 而在生产上的应用 其必要性和局限性仍需进行进一步的测试验证 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 4 页页 共共 15 页页内部使用内部使用 1 3 虚拟虚拟 I O 技术技术 虚拟 IO 技术是 AIX5 3 的另一项重要的新技术 虚拟 IO 实际上是使用一个 专门的管理分区 对机器 I O 硬件进行管理和分配 而其它的分区上使用的硬 件资源 如网卡 硬盘 可以是实际的网卡 硬盘 可以和其它分区共享使用 在升级研究测试中 对虚拟 IO 技术有以下结论 1 使用虚拟 IO 依赖于 AIX5 3 系统 需要额外收费的 license 但其 license 可以和微分区共用 目前我行尚未购买 2 虚拟 IO 作用范围内的其他分区 或微分区 和虚拟 IO 所在分区均需在 同一个 Hypervisor 的控制范围内 且虚拟 IO 所在分区需至少占用 1 个 CPU 单元 3 微分区技术和虚拟 IO 技术相结合 可降低各微分区对系统 IO 资源的依 赖 也就是说 每个微分区不再必须为其分配系统 IO 资源 如网卡 硬盘 SCSI 控制器等 各微分区对 IO 资源的使用对用户来说是透明 的 由虚拟 IO 服务器进行控制 因此 使用虚拟 IO 技术可大大降低分 区对硬件的依赖 更加有效的改善硬件资源的利用率 可有效的在研发 测试环境中推广使用 4 虚拟 IO 的管理技术相对较复杂 我行现有技术人员需进行一定培训才 可掌握 1 4 并发多线程处理并发多线程处理 SMT Simultaneous Multi threading 并发多线程处理技术是 Power5 芯 片的硬件技术 目前只能在 AIX5 3 中才可以进行激活 也就是说 其使用条件 微 Power5 芯片 AIX5 3 其基本原理是在 CPU 芯片中增大流水线的数量 当 一个 CPU 线程处于等待状态时 如等待内存数据 CPU 可以将另外一个线程 拉入流水线进行运算 从而更加合理的使用 CPU 的计算能力 能有效的加强系 统的吞吐能力 在升级研究测试中 对 SMT 技术有以下结论 1 只有 AIX5 3 Power5 才能激活 SMT SMT 不需额外的 License AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 5 页页 共共 15 页页内部使用内部使用 2 SMT 可通过系统命令打开或关闭 命令如下 打开 smtctl m on bosboot a 关闭 smtctl m off bosboot a 打开关闭 SMT 也可以通过 smit 工具完成 smit Performance Resource Scheduling Simultaneous Multi Threading Processor Mode Change SMT Mode 查看 SMT 设置 smtctl 3 应用性能方面 在不采用微分区的情况下 打开 SMT 功能能对多线程 并发应用有一定的性能提升 举例 但假如应用自身未有多线程并发 功能 是否打开 SMT 对应用性能基本无影响 4 在采用微分区的情况下 需慎重考虑是否打开 SMT 功能 从上述测试 结果分析可知 存在矛盾的情况 假如应用自身为比较纯粹的多线程并 发应用 那么 SMT 功能的打开能提升一定的性能 但假如应用自身并 非纯粹的多线程并发应用 如 oracle 等 打开 SMT 功能 反而有可能 会在一定程度上降低应用性能 但是 综合前置的测试又证明 打开 SMT 功能能明显降低同场景下 IO 的 busy 对此 IBM 公司陪同测试 的工程师在测试结束前未能对整体结果作出正式的 合理的解释 因此 实际使用中 项目组相关人员必须针对具体应用再进行详细测试以决定 SMT 是否启用 1 5 其他新特性其他新特性 Multi BOS 10g 以太网 SR support 支持更大的内存页面大小 加大系统吞吐量 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 6 页页 共共 15 页页内部使用内部使用 第第 2 章章 Solaris10Solaris10 新特性新特性 2 1 概述概述 2005 年第一季度 3 月 4 日 Sun 公司发布了第一个 Solaris 10 官方正 式版 它是针对 UltraSPARC 64 位 AMD Opteron Athlon64 和 Intel x86 处理器设计的操作系统 Solaris 10 系统带来了一些重要的新特性如 zones 软件 分区技术 预测性自我修复 Dtrace 动态跟踪等 在系统可用性 资源利用率 性能 安全性等方面都得到改进 对比之前旧版本的 Solaris 版本 新版本在各 方面都有较大的技术创新 下面将从系统管理 系统性能 系统安全 应用支 持等四个方面对新特性作简单阐述和分析 使我行相关人员对 Solaris10 的新特 性有一整体认识 2 2 Zone 分区技术分区技术 Zone 区域 分区用于对操作系统服务进行虚拟化 并提供独立而安全的 应用程序运行环境 区域就是在 Solaris 操作系统的某个实例中创建的一个虚 拟的操作系统环境 多个区域基本上可提供标准的 Solaris 接口和应用程序环 境 每个区域都可提供一组自定义的服务 通过 Resource Manager 可进一步 控制各个 zone 的应用程序使用可用系统资源的方式 不妨将一个区域想像为一个盒子 一个或多个应用程序可在这个盒子中运 行 而不影响系统的其余部分 这种隔离可防止在某个区域中运行的进程监视 或干扰在其他区域中运行的进程 即使在某个区域中运行的进程具有超级用户 权限 也不能查看或影响其他区域中的活动 2 2 1 Zone 软件分区技术的特点软件分区技术的特点 Solaris 操作系统缺省的单个实例为全局区域 Global Zone 全局区域既是 系统的缺省区域 也是用于在整个系统中实施管理控制的区域 全局区域的管 理员可以创建一个或多个非全局区域 Local Zone 之后 这些非全局区域便可 由相应的区域管理员来管理 区域管理员的权限仅限于某个非全局区域 分区之间的区域隔离性较高 可以提供较高程度的资源细化 Zone 具有以 下特性 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 7 页页 共共 15 页页内部使用内部使用 区域不需要专用的 CPU 物理设备或部分物理内存 系统资源可在单 个域或在同时运行的多个区域之间得到复用 也可借助操作系统中的 RM 组件为每个区域分别分配这些资源 实现进程隔离 一个进程只能看到同一区域中的各个进程 或向这些 进程发送信号 通过为每个区域至少提供一个逻辑网络接口 可在不同区域间实现基 本通信 各个区域之间的网络设置有较好的隔离性 在某个区域中运行的应用 程序看不到其他区域的网络流量 每个区域都在文件系统分层结构中拥有一个位置 某一特定区域中运 行的进程不能直接访问属于其他区域磁盘上的数据 分区自身消耗系统资源较少 根据 Sun 公司资料说明 在一个 Solaris10 系统实例上可以支持 8000 个相互独立的 zone 分区 而分区 本身所耗用的系统负载少于 3 2 2 2 Localzone 的限制的限制 从用户角度来看 Local Zone 简称 LZ Global Zone 简称 GZ 跟低版本 Solaris 的一个单机系统没有明显区别 但是 由于系统安全 分区隔离等因素 在 Solaris 10 上的改变 如一些 shell 命令无法在 LZ 中使用 LZ 相对单机系 统而言 还是存在着一些区别 一般情况下 在低版本的 Solaris 操作系统上使 用了超级用户特权的应用在 LZ 会受到一定程度的影响 下面从几个方面进行 分析 2 2 2 1 特权特权 特权可理解成 GZ 中才能具备的操作权限 LZ 上缺少特权往往会引起应用 程序两种情况发生 1 由于特权不足而导致系统调用行为异常 2 特权取消 导致 set uid 权限的程序发生错误 下表列出了在 LZ 上不被支持的系统特权 PrivilegeZone Privilege cpc cpu no AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 8 页页 共共 15 页页内部使用内部使用 DTrace kernel no DTrace proc no DTrace user no net rawaccess no proc clock highres no proc lock memory no proc priocntl no proc zone no sys config no sys devices no sys ipc config no sys linkdir no sys net config no sys res config no sys suser compat no sys time no 2 2 2 2 系统调用系统调用 由于在 LZ 的环境进程使用受限特权 某些系统调用带上某些参数使用时 返回出错结果 2 2 2 3 系统库 系统库 libraries 以下库文件在 LZ 里不能被正常调用 libdevinfo 3LIB 设备信息 lib 库 libcfgadm 3LIB 配置管理 lib 库 libpool 3LIB pool 池配置操作 lib 库 libtnfctl 3LIB TNF 探针控制 lib 库 libsysevent 3LIB 系统事件接口 lib 库 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 9 页页 共共 15 页页内部使用内部使用 2 2 2 4 设备文件设备文件 LZ 里 对设备 伪设备文件如 dev null dev zero dev poll dev random dev tcp 等访问存在限制 物 理设备不能直接被 LZ 所能访问 2 2 2 5 网络网络 在 LZ 里 不能对网络配置进行控制 包括 IP 地址 路由表 2 2 2 6 文件系统文件系统 在创建 LZ 时 该 LZ 根文件系统 的创建有两个可选的模式 Sparse Root 和 Whole Root 在 Sparse Root 模式下 各个 LZ 通过只读方式访问 即 lofs GZ 的 lib platform sbin usr 四个系统目录 各个 LZ 的系统和应用软 件版本通过 GZ 进行统一管理 在 Whole Root 模式下 各个 LZ 皆拥有自己的整个根文件系统 能进行读 写 软件安装不会出现因为只读而失败的问题 但是 相对 Sparse Root 模式 Whole Root 模式会耗用更多的磁盘空间 2 3 Resource Manager ResourceM 是 Solaris Container 环境的一个组件 RM 加上 Zone 构成了 Container 环境 而在 Solaris 10 上 Container 也直接被称为 Zone 使用 RM 可以控制应用如何去使用系统可用资源 包括如下功能 分配计算资源如 CPU 单元 监控所分配资源的使用情况 根据需要动态调整 2 4 DTrace 动态跟踪工具动态跟踪工具 DTrace 是一项动态跟踪工具 借助其功能 Solaris 管理员和开发人员可编 写 D 语言脚本在程序中置入探针观察内核和用户进程 DTrace 可以动态检测操 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 10 页页 共共 15 页页内部使用内部使用 作系统内核和用户进程 并记录用户在所关注的位置 称为探测器或探针 指 定的数据 从而帮助用户了解应用和系统的运行状况 2 5 ZFS 文件系统文件系统 ZFS 即 zettabyte FS 是 SUN Solaris 10 操作系统中的新文件系统 提供 了虚拟化存储功能 SUN 公司在 2007 年 3 月份发布的 Solaris10Update3 最新版 本中已加入了 ZFS 的正式官方版本 希望学员对其功能作一大致了解 ZFS 的 基本特点如下 简单管理 ZFS 可以动态分配存储空间 解决了无法旧版本 Solaris 中无 法动态扩展分区 文件系统 的管理难题 增强了系统管理的灵活 性 验证数据完整性 ZFS 可以自动验证所有被修正过的数据的有效性和完整性 支持超大文件和文件系统 是首个 128 位文件系统 ZFS 提供比 32 位或 64 位文件系统多 16 倍的扩充能力 理论上支持高达十万兆字节的文件系统容量 性能的提升 ZFS 减少了传统文件系统 I O 对性能的约束 新增了对存储设 备的动态条带化 有助于提高系统的数据吞吐量 2 6 预测性自我修复预测性自我修复 这是 Solaris10 一个新的体系结构 目的是构建和部署具有预测性自我修复 能力的系统和服务 通过使用自我修复技术 有助于提高系统可用性和可靠性 Solaris 10 系统中自带了便于对 CPU 内存 I O bus 组件和系统服务进行自我 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 11 页页 共共 15 页页内部使用内部使用 修复的组件 预测性自我修复技术 在 Solaris 10 中表现为 Solaris Service Manager 和 Solaris Fault Manager 两大组件 2 6 1 Solaris Service Manager Solaris Service Manager 简称 SMF 在传统 UNIX 启动脚本 初始运行级 别以及配置文件的基础 即基于运行级别的 rc 脚本服务控制结构 上进行扩充 新的系统服务体系跟 Windows 的系统服务管理类似 2 6 2 Solaris Fault Manager Solaris Fault Manager 简称 SFM 提供了一个简化的管理消息模型 用于 处理如 CPU 内存 IO 等硬件故障 在 Solaris10 中 特定的软件组件 Fault Manager 会自动诊断导致故障或缺陷的根本原因 并启动自我修复的功能 例 如 产生事件向管理员传递消息 隔离或取消激活故障组件 发送消息管理员 执行修复活动 2 7 其他新特性其他新特性 网络栈的新体系结构 内存防止优化 MPO NFS 方面的性能提升 加 入了 libumem lmtmalloc 动态链接库 这是一个对于多线程程序更快的内存分 配函数 更适用于多线程的复杂应用程序使用 上述新特性均有效的增强了 Solaris10 的系统性能 第第 3 章章 AIX5 2AIX5 2 和和 Solaris10Solaris10 的升级的升级 3 1 升级方法升级方法 操作系统是最底层的软件系统 应用迁移到新的系统平台会涉及到中间件 数据库 以及应用系统的兼容性和稳定性 操作系统版本进入升级周期后 需提前做好升级范围的部署 确定升级的 方法 AIX5 3 Solaris 10 的安装方式有两种 一是初始化安装 Initial 这 种方式系统盘的所有数据将会被破坏 二是升级安装 migration Upgrade 这 种方式仅对操作系统部分进行升级 而原有数据将会被保存下来 但这种方式 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 12 页页 共共 15 页页内部使用内部使用 的升级时间较长 且不能回退 因此风险也较大 由于 Solaris 8 到 10 版本的跨 度较大 为减小应用迁移的风险 一般情况下建议采用初始化的安装方式进行 版本升级 然后再在新平台下搭建应用环境 另一方面 如果应用系统环境的 搭建需要安装较多的其他第三方软件 而且总的软件安装 数据备份恢复的工 作量较大 停机时间超出预期 这时可考虑升级安装 3 2 应用迁移步骤应用迁移步骤 应用从就版本系统迁移到新版本系统 一般包括以下流程 3 2 1 确认应用系统的软硬件兼容性确认应用系统的软硬件兼容性 系统升级前应确认如下的信息 应用系统涉及的第三方软件及其版本列表 升级前先明确应用是否涉及第三方厂商的系统软件 如 Oracle WAS CICS 等 如果应用不涉及第三方软件 可直接进入 3 2 2 验证 应用在新平台的代码兼容性 如果应用涉及第三方软件 则可通过联系厂商取得相关资料 确认涉及的 第三方软件版本是否通过 Solaris 10 或 AIX5 3 的官方认证 如 Oracle Websphere Veritas 等相应的版本是否通过官方认证 如果确认涉及的所有第 三方软件都已通过 Solaris 10 认证 则可进入步骤 3 2 2 验证应用在 Solaris 10 平台的代码兼容性 如果存在未认证的问题 则必须升级第三方软件的版本直 到确认其在 Solaris 10 或 AIX5 3 平台上经过认证 然后基于升级后的第三方软 件 如 WAS 进行应用的改造 应用系统涉及的硬件资源 例如检查应用服务器的硬部件是否需要升级 firmware 检查 SAN 和存储驱 动在 Solaris 10 AIX5 3 上是否要重新安装等等 相应的步骤可以参考硬件厂商 的相关文档 应用在 Solaris 10 AIX5 3 操作系统的系统参数是否需要更改 如果运行在旧版本系统上的应用存在修改系统参数的情况 例如 综合前 置应用在 Solaris 8 需在 etc system 文件中修改系统消息队列的相关参数 那 么在应用迁移到新系统平台前应针对应用具体情况记录下需修改的系统参数 AIX5 3 Solaris10 新特性培训教材新特性培训教材 版权所有版权所有 中国工商银行软件开发中心中国工商银行软件开发中心第第 13 页页 共共 15 页页内部使用内部使用 操作系统升级后需重新修改这些相关参数 修改的方法和 Solaris 8 相同 3 2 2 应用在应用在 Solaris10 上的兼容性验证上的兼容性验证 在完成应用涉及的软硬件信息确认和第三方软件版本升级之后 开发人员 可根据具体情况对应用进行改造 发布新的应用版本 对于 Solaris 系统可使用 Sun 公司提供的二进制兼容测试工具 Appcert Solcat 或 Java 程序兼容性检 查工具 Java Application Verification Kit 下载网址 Http Solaris 10 平台的兼容性检查 对于 C 的应用 AIX53 和 Solaris10 平台均可二进制兼容 保险起见 可使用新 平台的编译器对程序进行重新优化编译 如果结果表明应用程序可被 Solaris 10 兼容 表示直接移植应用的风险较小 在开发部门和生产上可根据应用系统的复杂度和重要程度决定是否搭建测试环 境进行全面的功能性能测试 如果工具检查结果表明应用程序不能被新平台兼 容 则说明需要进一步修改应用程序或重新编译 其过程可参考下图 如果经 过测试流程 应用仍不兼容 则必须先对应用按照 Solaris 10 AIX53 的标准进 行修改 操作系统升级和配套的应用版本发布同步进行 应用修改请