联合项目-IT支撑系统云计算技术方案与规范

中国移动集团重点 /联合研发项目结题汇报报告 项目名称： IT支撑系统云计算技术方案与规范 项目编号： 第 2页 一 . 开题计划完成情况 目 录 二、主要研究成果 第 3页 1.1研究背景和目标：中国移动 IT支撑系统硬件资源现状 IT支撑系统集中化建设后，随着用户和业务的发展，系统所需硬件资源越来越多，机器 数量规模越来越庞大 ，占用面积越来越大 - 山东公司 BOSS系统现有 52台 P595（半配或满配）、 22台 P690 （半配或满配），经分系统有4台满配 IBM P595、 2台半配 IBM P570，并且每年都以接近 50 60个主机（分区）以上的量级在增长 在 IT系统的建设和扩容中，为了避免厂家绑定，采购的主机及存储设备型号众多，在生产环境中面临 异构 主机和阵列的环境 应用层 网络层存储层 主机型号众多，操作系统不统一 存储设备品牌、型号众多 IT投资支出快速增长 - 2009年辽宁公司的利润增长已经只有百分之十几，而公司在 IT上的资本性支出与成本性支出还保持远高于 20%的增长 硬件资源的投入成本上以 小型机和阵列存储为主 - 辽宁 GEDC总体投资上服务器：存储：网络基本为4： 4： 2，而其中服务器中 UNIX小机数量占两成，但是投资占六成。以 辽宁移动 GEDC的 2009年第三方软硬件扩容工程 项目为例， PC服务器（含两路刀片与四路机架）共 66台， UNIX服务器（按每四颗 CPU板为 1个单位计算） 19个单位，前者投资 540万，后者投资 800万 第 4页 面临的问题和挑战 资源共享问题 ： 烟囱式建设模式下，各个系统资源之间互为孤岛，资源固定 - 项目建设方式下根据业务峰值规划系统资源需求，容易造成占用资源大，设备利用率低 - 系统压力不均，由于电信业务的峰值特点，造成同类设备的利用率存在较大的波动。由于资源无法共享，公司只能被动的采购更大容量的设备进行扩容 - 异构阵列环境下不同的存储采用不同的数据复制、数据迁移软件，导致不同品牌阵列之间数据无法自由复制和迁移 挑战： 打破资源孤岛 ，实现资源有效共享和动态调整 利用率 50 利用率 99 利用率不足 10 应用层 存储层 文件服务器 数据库服务器 APP服务器 不够用啦 负荷过高 部署周期问题： 支撑新业务周期长，部门间容易产生矛盾 - 随着移动业务的高速发展，新业务层出不穷，传统的新业务支撑需要从立项、采购、安装、开发、测试、上线等一系列流程，需要周期长，业务部门意见大，无法快速满足一线和市场竞争的需求 - IT支撑系统资源能力规划困难，尤其是服务器， TPMC的估算方式和实际运算能力存在较大偏差，加之用户和业务发展存在不确定因素较多，往往未达到设计目标，部分系统已不堪重负，经常发生提前扩容的情况 - 在这种情况下，市场部门面临业务支撑落后于市场开拓的问题，计划建设部门面临扩容频繁的问题，业务支撑部门面临运维、研发压力过大的问题 挑战：建立新的资源规划使用模式，达成业务需求响应迅速、投资节省、系统稳定 的共赢 第 5页 面临的问题和挑战 资源配置不合理： 系统粗放部署方式带来资源浪费 - 业务系统的性能和可靠性要求各不相同，对于主机和存储的需求存在不同的需要 - 由于早年的 X86设备性能低下，大量应用一直部署在小型机上，没有根据近年 X86服务器的性能增长适时分流部分应用，造成建设成本的浪费 - 一些系统将多类数据的存放收敛到单个阵列，造成某些对性能和可靠性要求较低的数据也使用了中高端阵列，造成建设成本浪费 挑战：硬件资源 物尽其用 厂家隐性绑定问题： - 传统数据迁移与灾备工程中的存储绑定：在传统阵列级的数据迁移和灾备工程中，由于受到厂商限制，不但各厂家阵列之间甚至同一厂家不同型号的阵列间也是很难实现的，通常在灾备中心配置一台与生产相同的阵列 - 主机到存储的链路管理一般使用磁盘阵列厂商所提供的链路管理软件，一旦该阵列的存储容量达到容量瓶颈，用户只能选择向同一厂商新购阵列，或进行复杂的数据搬迁工作来适应新购异构阵列的情况 挑战：实现资源层面的多厂家 完全竞争 运维问题： 维护标准化程度差，维护效率低，成本高 - UNIX服务器和阵列设备运维管理接口不统一，无法实现统一管理， IT运维人员在多种管理工具，大量的设备之间疲于奔命 - 在设备增长前提下，采用传统管理和技术方式管理数量庞大设备必然难以精细化管理 挑战：建立自动化运维体系，统一管理资源层， 提高运维效率 扩展性问题： 集中处理模式下系统在大规模事务处理和海量数据分析场景出现资源瓶颈 - 服务器和阵列设备单点的 Scale up扩展能力有限 挑战：利用分布式技术构建 Scale Out硬件资源架构，满足业务发展对处理能力的需求 第 6页 项目开题确定的研究目标 1 2 3 4 提出在 IT支撑系统中引入 IaaS层云计算的技术路线和策略，形成中长期指导 技术研究 对关键技术进行测试验证，为试点实施提供技术可行性数据 结合省公司 IT支撑系统进行试点实施，对云计算在 IT支撑系统中实施的收益进行评估 策略规划 研究 IaaS云计算的关键技术，进行原理分析和厂家方案的对比分析，并制定相关技术方案和规范，为云计算在 IT支撑系统中实施的技术选型和方案制定提供技术依据 测试验证 试点实施 研究目标 第 7页 1.2 主要研究内容及分工 “ 全面引入虚拟化技术 虚拟化的引入可以从简单的存储系统、 X86服务器入手，逐步扩展到 UNIX服务器， 最终实现异构、异地的存储和服务器资源虚拟和共享，通过 集中管理 实现智能化的资源调度，提高硬件使用效率，降低能耗和维护管理成本，提升业务的安全性和可靠性。” “ IT支撑云 在管理信息系统、网络管理系统、业务支撑系统中引入虚拟化和云计算技术，为企业内部 IT支撑服务” -跃总“云之旅”总结 IaaS的 核心技术是对资源的虚拟化 ，实现资源的动态调度、按需分配，以促进资源的有效使用 课题主要研究内容，围绕三个系统，聚焦虚拟化技术 和 硬件标准化 ，结合测试和试点工作提出 IT支撑系统云计算的技术方案与引入策略 BSS OSS MSS 策略研究测试试点硬件虚拟化 X86替换小型机 分布式存储 技术分析第 8页 项目组对研究课题的分解和整合 省公司 项目名称 山西 NG-BOSS虚拟化云计算平台研究 辽宁 企业数据中心云计算应用研究 上海 IT基础架构虚拟化与管理研究 浙江 测试环境存储资源整合及资源池构建的研究与实现 湖南 云计算在网管系统中应用研究 四川 服务器虚拟化在业务支撑中心的影响与前景研究 江苏 云计算技术在网管系统基础架构中的综合应用 山东 云计算在 IT系统中三层实现的研究 原始课题 技术分析 X86虚拟化技术规范和分析报告（研究院） UNIX虚拟化技术规范和分析报告 （研究院） 存储虚拟化技术规范和分析报告 （研究院） 策略研究 X86服务器虚拟化在业务支撑系统和管理信息系统中的引入策略和方案研究 （浙江） X86服务器虚拟化在网络支撑系统中的引入策略和方案研究（江苏） UNIX服务器虚拟化在网管系统中的引入策略和方案研究 （湖南） UNIX服务器虚拟化在 BOSS系统中的引入策略和方案研究（山东、浙江、四川） 存储虚拟化在 IT支撑系统的测试系统引入策略和方案研究 （浙江） 存储虚拟化在业务支撑系统的引入策略和方案研究（山西） 存储虚拟化在网络支撑系统的引入策略和方案研究（上海） 分布式云存储系统在网络支撑系统中的引入策略和方案研究 （江苏） IT支撑系统中 X86服务器对 UNIX服务器的替代研究（辽宁） 第 9页 1.3 开题计划完成情况总结 经集团技术部统筹规划，研究院牵头，协同山西、辽宁、上海、江苏、浙江、山东、湖南、四川 8个省公司，依据开题的分工和时间计划， 按时完成 了各个子课题的试点和研究任务，以及 所有研究文档的输出 。 研究成果 技术分析报告 3篇，技术规范类 11篇，涵盖服务器和存储技术规范，以及对各类虚拟化技术的测试规范 完成 8项测试工作和测试报告 8篇，对各类虚拟化技术进行了测试验证 在技术分析和测试验证基础上，各省公司开展 9项相关试点 完成研究报告 12篇，对 IaaS云计算在 IT支撑系统引入的各个层面进行了全面深入分析 第 10页 项目创新 项目针对前沿云计算技术，结合中国移动 IT支撑系统现状，做出了应用型创新工作 - 对 IaaS层云计算实施进行了全面的技术分析和测试 - 在三大 IT支撑系统中展开试点工作 - 提出了中国移动 IT支撑系统的引入策略 专利情况：山西公司在项目研究中提出一项专利 - 专利的公司编号： SX1009001 - 所属项目编号： 2010_LH_06 - 专利名称： 一种实现详单快速存储检索的逆向链表实现装置及方法 专利申请主要解决的问题是在虚拟化存储平台上解决海量详单存储检索效率问题 第 11页 一 . 开题计划完成情况 目 录 二、主要研究成果 第 12页 主要研究成果 目录 1 2 3 4 体系架构与总体思路 技术方案、规范和引入策略研究 IT支撑系统云计算资源池的管理 课题总结与展望 第 13页 2.1课题研究的技术体系架构与总体思路 研究技术体系架构： 本课题聚焦于 IaaS层面云计算落地方案与发展策略 ，研究通过虚拟化技术构建云计算资源池，通过X86平台替代小型机和分布式存储的引入，推动硬件资源向低成本和标准化方向发展，最后利用云计算资源的管理平台实现资源对上层应用的灵活交付 X86服务器虚拟化 云资源池的管理 UNIX服务器虚拟化 存储虚拟化 分布式存储 X86平台替代小型机 IaaS层云计算在 IT支撑系统的实现方案的总体思路： 服务器资源池，首先着眼于 X86服务器的虚拟化整合，其次推动部分小型机应用向 X86资源池的迁移，对于无法替代的小型机，利用虚拟化技术提高系统效益 存储资源池， IT支撑系统主要采用 FC SAN设备，因此首先采用存储虚拟化技术整合 FC SAN设备，对上提供动态容量和不同性能的标准存储服务，然后放眼整体存储架构，通过分布式存储的引入，探索存储层面向标准化服务器集群演进的途径 资源池的管理，基于云计算的资源服务需求明确管理目标，结合产品的现状构建资源池管理平台 第 14页 主要研究成果 目录 1 2 3 4 体系架构与总体思路 技术方案、规范和引入策略研究 IT支撑系统云计算资源池的管理 课题总结与展望 第 15页 X86服务器虚拟化 UNIX服务器虚拟化 服务器虚拟化技术分类 隔离性高 灵活性高 App1 App2 HW OS App1 OS1 App2 OS2 HW1 HW2 App1 OS1 App2 OS2 HW VMM 操作系统级虚拟化 在硬件之上构建虚拟层，建立多个逻辑分区或虚拟机 硬件级虚拟化 在硬件架构上实现物理隔离分区，电气化隔离 应用级虚拟化 在同一操作系统内，创建应用隔离容器 HP nPar， SUN DSD HP vPar， SUN LD，IBM DLPar HP SRP， SUN Saloris Container， IBM WPar VMWare ESX， Xen，KVM， Hyper-V Parallels Virtuozzo 第 16页 X86服务器虚拟化技术架构 操作系统级虚拟化 应用级虚拟化 原理：虚拟层是通过创建虚拟操作系统实例实现的，它再指向根操作系统的关键系统文件，这些指针驻留在操作系统容器受保护的内存中，提供低内存开销 应用分析：虚拟化实例的密度很大，维护效率高；但隔离性差，应用对根操作系统的破坏，其他客户机也会跟着被破坏，实际应用较少 原理： hypervisor通过一个软件层在现有操作系统上实现硬件虚拟化，与容器架构不一样，II型客户机提供了一个完整的、独立的、无依赖的客户机操作系统副本，通常利用半虚拟化驱动网络和 I/O提高客户机性能 应用分析：由于虚拟化功能必须通过宿主操作系统，客户机的性能大大低于裸金属架构，可用于开发 /测试或桌面类应用程序 原理：该类 hypervisor直接运行在系统硬件上，提供了更好的客户机性能。通过处理器虚拟化扩展增强，包括英特尔 VT和AMD-V技术， hypervisor的性能得到大幅度提升 应用分析：隔离性和性能表现均衡，目前是 X86服务器虚拟化 企业应用的主流选择 App1 OS1 App2 OS2 HW VMM App1 OS1 App2 OS2 HW VMM HOST OS App1 App2 HW OS OS Virtualization Type I：裸金属架构 TypeII：寄居架构 容器架构 第 17页 利用 X86服务器虚拟化构建云计算资源池 FC存储阵列 iSCSI 存储阵列 NAS 存储阵列 虚拟化管理服务器 管理客户端 SAN交换机 Fabric IP网络 Hypervisor VM VM VM VM VM 服务器群 1 服务器群 2 服务器群 3 Web 浏览器 第 18页 X86服务器虚拟化规范和测试工作 X86服务器虚拟化系统设备规范 研究院制定 X86服务器虚拟化系统设备规范作为企业标准提供给集团和省公司，用于 X86服务器虚拟化产品的选型、测试和合理应用 规范内容包括 X86服务器虚拟化的技术实现方式，典型系统架构 功能要求：基础功能、快速部署、动态分配和虚拟化管理 非功能要求：性能、可用性、可扩展性、可管理性、安全性等 对外提供的接口要求 研究院依据中国移动 X86服务器虚拟化技术规范 开展功能和性能测试 测试产品： VMWare： vShpere； Microsoft： Hyper-V； Redhat： KVM；华为和 Novell： Suse Xen 测试结论 功能方面 基本都能够满足中国移动 X86虚拟化的基本功能要求 在规范未做强制要求的少数高级功能上有所不同 性能方面 从 24个虚拟机的 SPECVirt压力测试的分数来看，各厂商虚拟化产品的性能差距不大，都可以满足中国移动 X86虚拟化的性能要求 不同虚拟化产品对于系统物理资源的消耗表现稍有差别，但影响不大 第 19页 研究院对 X86虚拟化关键问题测试研究 -虚拟机存储 存储方式 性能 扩展性 HA/在线迁移支持 成本 FC-SAN 高 单台存储设备有 限扩展 支持 高 IP-SAN 中 单台存储设备有 限扩展 支持 较低 分布式文件系统 低于 IP-SAN 通过增加 DFS节点实现线性扩展 支持 较低 本地磁盘 （多磁盘做 RAID） 顺序读性能高，其余性能低 无额外存储设备，线性扩展 可实现恢复到快照状态的准 HA /可实现中断时间或迁移时间较长的准在线迁移 低 虚拟机存储使用策略 对 HA及在线迁移有需求场景下选择共享存储设备 与 IP-SAN相比，分布式文件系统 DFS无优势，目前针对虚拟化平台技术不够成熟，且部分情况下性能更低，目前不建议在服务器虚拟化映像文件存储中使用 考虑到未来 X86云资源的大规模物理节点的情况，存储建议采用基于万兆以太网的 SAN设备，如 iSCSI和 FCoE等 对于 HA及在线迁移无严格要求，建议使用成本最低，扩展性最好的本地磁盘进行虚机镜像文件存储（多块磁盘做 RAID方式） 第 20页 浙江业务支撑系统 X86虚拟化试点 试点系统 业务支撑系统，营业厅现场管理系统 试点方案 虚拟服务器采用了 4套 HP BL685 4路刀片服务器，管理服务器采用了 1套 2路刀片服务器；存储系统复用了 HP XP24000光纤存储系统 虚拟化软件采用了 Vmware Vsphere 4 enterprise edition，虚拟化管理软件采用 Vmware Vsphere vCenter Server Standard，操作系统为 Suse Linux 10.1。架构示意图如右图： 试点结论 营业厅现场管理系统作为 WEB类和 轻 负载应用类业务，适合引入虚拟化技术； 采用 VMware虚拟架构解决方案，在可行性、可靠性及稳定性方面能够满足要求； 共享存储上， 后续考虑将存储改为中低端盘阵，以提高投资性价比； 引入 X86虚拟化后，对于人员、网络等维护管理方面提出了新的挑战。 第 21页 江苏 X86虚拟化试点 试点系统 网络支撑系统 试点方案 江苏网管系统针对 8套网管系统、 12种安全管理平台，实施 PC服务器虚拟化，包括日志审计系统、安全管控平台、 4A、网络投诉处理平台、综合资源、信令监测、数据网管、传输网管等 实施领域主要在 Web服务器、数据采集机和网管接口机 将原有 120台服务器上的应用通过虚拟化整合到 30台服务器上 试点结论 实践证明，虚拟化平台可以满足上述网管系统的业务需求 共享存储利旧现有 FC SAN设备，整体方案收到良好的投资效益 新技术的运用也带来维护模式的转变，需进一步探索 第 22页 效益评估 -江苏网管支撑系统 整合前 整合后 效益 规模 120台 30台 部署空间减少 75% 投资 硬件 120*5万；操作系统 120*1万 合计 720万 硬件 30*10万，操作系统操作系统 30*1万，虚拟化软件 30*3.5万，合计 435万 节约 40% 能耗 60千瓦 30千瓦 解决 50%，每年约 52万 上线周期 3天 2小时 减少 90%以上 注：虚拟化后的共享存储在现有阵列上划分，空间几十个 G， IO消耗也很低，成本上没有计入 第 23页 效益评估 -GEDC大规模部署 GEDC一期 X86虚拟化经济收益预分析 虚拟化方式 传统方式 1 CPU 0 50 2 CPU 41 181 4 CPU 16 156 投资（万元） VMWARE软件 408.00 PC SERVER投资 511.00 2,520.70 系统集成 57.00 存储 102.38 成本（万元） 维保服务 51.10 252.07 人工成本 100.00 200.00 电费 122.64 1,087.99 制冷及配套 122.64 1,087.99 建筑空间 9.24 68.64 合计（万元） 1,484.00 5,217.39 经济收益（万元） 3,733.40 第 24页 X86服务器虚拟化引入策略 X86虚拟化技术发展已趋成熟，对于目前 IT支撑系统内的 X86服务器都可以考虑实施，但是虚拟化的实施要综合考虑成本和收益， 避免为了虚拟化而虚拟化 虚拟化实施应满足低利用率或动态部署原则 对于虚拟化架构的共享存储设备，应评估不同方案成本对比，建议采用 IP SAN方式支持 虚拟化实施范围的扩大有助于提高服务器整合比，实现效益最大化，建议对三大 IT支撑系统统一建设 X86虚拟化资源池 虚拟化产品的选择上，应参考分级标准，合理选择，避免盲目采用成本最高的解决方案 原则二：当物理服务器上需要动态分配给不同应用系统使用时，应该考虑虚拟化 依据：虚拟机资源不与任何物理机绑定，虚拟机镜像可以方便分发、快速部署 效果：资源被 池化 ，可根据应用需要 动态分配和回收 ，满足业务动态变化需求 案例：生命周期短的临时应用或开发、测试系统，负载波动大、需求难以预测的系统如业务云资源池、 IDC弹性计算业务等 建议：需要自动化、具有策略性的的虚拟化管理系统 原则一：当发现多台物理服务器的资源利用率过低时，应该考虑虚拟化 依据：利用虚拟化“一分多”的特性，同时运行多个虚拟机，共享资源 效果：实现 应用整合 ，提高利用率，降低 TCO 案例：小型业务平台、信息化、网管采集机等 建议：在部署多个虚拟机时，可以考虑其对资源的不同需求，以及“错峰”效应 第 25页 参考分级标准合理选择 X86虚拟化功能 A类 在 B类的基础上提供了更多高级功能，适用于对可用性和管理功能要求极高的关键系统部署或其他特种应用场景 B类 在 C类基本功能的基础上增加了自劢部署和管理、劢态分配、安全、高可用性等功能，适合对虚拟化资源管理及可用性有较高要求的应用场景，如支撑系统云，云资源池系统等 C类 满足服务器虚拟化的虚拟机基本申请、部署、管理等最基本功能，适合一般的服务器虚拟化应用场景，如小型虚拟化系统，内部开发与测试系统等对可靠性无绝对要求的系统 功能点 A类 B类 C类 虚拟化基本功能 操作系统类型 CPU类型 存储类型 虚拟机最大配置 虚拟机运行控制 虚拟机部署 虚拟机创建 虚拟机镜像复制 虚拟机模板 虚拟机快照 P2V转换 模板批量部署 V2V虚拟机格式转换 功能点 A类 B类 C类 虚拟化管理 运行状态监控 资源统一管理 资源分配策略 补丁和升级 故障告警 资源发现 存储 I/O控制 网络 I/O控制 脚本自劢化管理 可编程管理接口 电源管理 高可用性 故障隔离 虚拟机故障切换 虚拟机容错切换 功能点 A类 B类 C类 资源劢态分配 CPU资源复用 虚拟机热迁移 内存资源复用 资源在线调整 存储热迁移 网络热迁移 虚拟网络和安全 虚拟交换机 支持划分 VLAN 虚拟防火墙 第 26页 IT支撑系统 X86平台替代小型机驱动力 有助于降低成本 有助于提高效率 目前小型机从 CPU、硬件架构到操作系统一般都是厂家私有标准，相互之间 不通用 ， 缺乏互操作性 不同服务器之间操作、管理都不相同，给应用开发、设备管理等都造成很大困难， 影响业务部署、管理效率 小型机 价格高 ，动辄数十甚至上百万元，企业 IT系统投资巨大 由于标准化问题造成软硬件绑定，不利于厂商之间竞争，进一步加剧了价格居高不下 采用 X86服务器替代小型机，符合云计算对服务器的技术要求，是 IT支撑系统 降低成本、提高效率 的必然选择 出货量同比增长 营收同比增长 X86 14.9% 25.9% RISC和 Itanium -10.1% -9.5% 2010年第 3季度全球服务器增长（来自 gartner） 第 27页 X86平台替代小型机可行性分析 Unix小型机 X86服务器 性能 单机性能高 单机最高性能稍低，但也完全能够与中低端小型机相比，通过大规模集群能提高非常高的性能 可用性 采用专用组件且冗余度较高，具有非常高的可靠性 单机硬件冗余度较低，可靠性相对较差，但可以通过多节点提高系统可用性 可扩展性 设备纵向可扩展性强，在硬件扩展过程中可不停机 纵向可扩展性受局限，但横向扩展能力非常强 成本 成本高、价格高 成本低、价格便宜 标准化 标准化、开放性程度差 标准化程度高，适合组成多节点集群 从性能、可靠性、可扩展性等各方面来看， X86服务器能够提供与中低端小型机相比的能力，同时在成本、标准化等方面具有很大优势，能够满足大多数业务的需求 第 28页 IT支撑系统 X86平台替代小型机引入策略 将应用并发请求数较小或处理简单，对资源需求量小的应用系统应选择部署在 X86平台 原来运行在 Unix操作系统下的应用软件，改造为 Linux或 Windows下的应用软件 对于中间件 /数据库等第三方软件，改用相应 X86版本 以 X86虚拟机方式 部署应用系统可进一步降低成本 规模事务型应用，如 CRM应用服务器，积极推动利用负载均衡的 X86集群进行替代 应用软件或第三方软件改造为 X86操作系统版本，部署到多个服务器节点中 在系统中增加负载均衡模块，实现基于网络流量乃至不同应用的负载分发 应用的低谷可通过 关闭部分节点的模式降低能耗 研究和试点在批处理和大型数据仓库等场景采用分布式处理 X86集群方式替代小型机 应用需要进行更改，由原来集中处理任务改变为分布式处理方式，第三方软件也需要适用这种模式 选择支持分布式处理的数据库产品，将数据库分散部署在多个 X86服务器节点上 利用 X86服务器替代小型机符合云计算标准化和公司低成本高效建设的需求，应在保证业务可用性的基础 上，对于资源需求小的应用系统 优选部署在 X86云资源池 上， 积极试点 在规模事务型应用中采用 X86集群方式替代小型机， 研究和试点 在批处理和大型数据仓库等场景采用分布式处理 X86集群方式替代小型机 第 29页 小型机虚拟化的分类和代表产品 虚拟化技术 产品 厂家 平台支持 操作系统 物理分区 （硬件级虚拟化） Dynamic System Domains Sun Sun RISC Solaris NPAR HP HP RISC/Itanium HPUX/Linux/Windows 逻辑分区 （操作系统级虚拟化） LPAR IBM IBM RISC IBM/Linux PowerVM IBM IBM RISC（ Power 6 only） i5/OS/IBM i, AIX and Linux VPAR HP HP RISC/Itanium HPUX/Linux/Windows Logical Domains Sun Sun T1/T2/Rock Solaris/Linux 资源分区 （应用级虚拟化） Solaris Containers/Zones Sun Sun RISC/X86 Solaris 10 Process Resource Manager HP HP RISC HP-UX Workload Partition IBM IBM RISC（ Power 6 only） i5/OS/IBM i, AIX and Linux 第 30页 IBM虚拟化技术 LPar和 WPar 一个 system p 的系统平台，该平台被分割成多个 LPAR，每个 LPAR 上可以运行一个操作系统实例。 LPAR 上可运行的系统包括 Linux， AIX 和 VIOS。在运行 AIX6 的 LPAR 中，又可以运行和管理一个或多个 WPAR WPAR 是由软件创建的、 AIX 6 映像中的虚拟化的操作系统环境。对于所承载的应用程序来说，每个工作负载分区都是一个安全的、隔离的环境。WPAR 中的应用程序认为，它正执行于自己的、专门的 AIX 实例中。对于大多数 应用程序来说， WPAR 就好像 是一个 AIX 的启动实例。通 常，在 WPAR 中，应用程序无 需修改就可以运行 AIX 6 Global Instance Workload Partition QA Workload Partition Data Mining Workload Partition Dev Workload Partition e-mail Workload Partition Billing IBM LPAR既逻辑分区指的是将一个物理的服务器划分成若干个逻辑的服务器，每个逻辑的服务器运行自己独立的操作系统，有自己独享的处理器、内存和I/O资源 , 这些资源在各个 LPAR之间是隔离的 Power Hypervisor 第 31页 SUN虚拟化技术体系 按照 CPU槽的颗粒进行分区 最多的硬件分区数量多达 24个 完全的硬件故障隔离 没有性能开销的损失 几代 CPU可以共存同一系统域 可在线更换 每个逻辑域是一个完整的虚拟机，包含可动态配置的服务器资源和各自独立的 OS 分区粒度小，内存以 8KB的粒度分配 域可单独配置、启动和关闭 ,无需服务器硬件的重启 可隔离操作系统以上的故障 在 Solaris核心中实现 OS虚拟化 - 动态资源管理 - 系统环境，安全性和故障隔离 (zones) 极轻量级实现，高密度部署场景 - 理论极限 8000 应用范围广范，可应用于各种类型的硬件平台 第 32页 HP服务器虚拟化技术体系 虚拟化 技术特征 说明 适用场景 nPar 硬件分区 以单元板为单位调整资源 高可用的核心系统，适合多种操作系统的整合 Dynamic nPar 支持在线的激活和释放分区中的单元板 单元板混插 支持同机箱内混合不同的处理器 vPar 逻辑分区 以 1CPU和 64M内存为单位调整资源 基于 HP-UX环境的系统整合 动态增减 CPU 为虚拟分区动态增减 CPU而无需重启 内存动态迁移 为虚拟分区动态增减内存而无需重启 HPVM 虚拟机 以 1% CPU为单位调整资源 小应用系统 动态资源分配 虚拟、动态共享的 CPU, Mem和 I/O 虚拟机在线迁移 应用不中断情况下，不同物理服务器之间迁移 VM SRP 安全资源分区 以 1% CPU为单位调整资源 HPUX的操作系统环境下的高密度整合 资源分配 CPU共享、内存分组、 I/O带宽控制 第 33页 小型机虚拟化测试工作 厂家 测试方 虚拟化技术 主要测试结论 IBM 山东 lPar wPar 功能： 动态 LPAR技术，可以在不停应用的情况下，增加、减少或者移动一个专有分区中的 CPU、内存和 IO卡资源 实时分区迁移 技术可以实现 AIX分区跨物理设备热迁移 性能： 基于 BOSS15项关键业务的资源专用模式和资源共享模式的对比压力测试，证明共享 CPU模式的性能只是略有下降（约 3%） SUN 湖南、四川 LD Container 功能： LD和 Container技术可以实现跨物理设备热迁移，以及在不停应用的情况下调整硬件资源， LD对内存资源不能实现在线调整 Java类应用可实现基于 container的 跨平台迁移 ， oracle数据库也可实现基于container的跨平台迁移 性能： 两种虚拟化模式下对性能对性能影响都较小（约 2%）， Container方式表现优于 LD HP 研究院 nPar vPar HPVM 功能： nPar、 vPar和 VM三种虚拟化技术可以实现对资源的不同粒度的动态调整，且调整中不影响上层应用， HPVM支持热迁移 VM迁移对应用的影响：在迁移的 Frozen Phase会造成网络中断，测试中的具体表现为 5个左右的ping time out，实际中断时间在 20-30秒左右 性能： nPar和 vPar方式对性能无影响， HPVM影响较大（ CPU 2%，磁盘 IO在 10%-20%） HPVM不支持 CPU超线程，影响到 CPU的并行处理能力 小型机虚拟化技术可以灵活实现资源的在线调整，实现虚拟化后对性能的影响较小，可以满足实际生产系统的要求 第 34页 山东公司 IBM小型机虚拟化实践 试点系统 业务支撑系统， BOSS和 CRM 试点方案 1、每台物理主机采用 DLPar分为多个分区 2、将同一业务一个中心主用端和和另一个中心备用端部署到同一台物理主机 3、同一主机所在分区承载业务为关键与非关键搭配，如测试系统，采用 IO硬件隔离方式实现网络安全 4、将主机剩余的资源和部分备份资源统一放在 预留资源 中，预留资源设臵为“共享”模式： （ 1）同一主机的预留资源可以在生产系统峰值进行人工调整，预留分区资源不够的情况下，调配非关键业务的资源 （ 2）新应用上线可暂时占用预留分区 5、对于每个应用的分区资源依据实际运行情况进行 周期性人工调整部署 试点结论 山东公司 2005年开始试点，现在 所有系统均支持 DLPAR，部分测试系统使用微分区和 VIOS 通过结合容灾系统实现生产分区、容灾分区、测试分区等部署在同一台物理主机，搭建预留资源池。 实现了 资源动态调配 应对定期和突发资源需求、建立测试系统、快速搭建新业务分区等功能 未来规划将新购置的 P7系列小型机 统一满足三大 IT支撑系统的 UNIX平台需求 第 35页 四川 SUN小型机虚拟化试点 业务系统 业务 虚拟机数量 物理服器 型号 布署架构 VIP WEB VIP1 2台 SUN T5120 SERVER1 的 domain1与SERVER2 的 domain1 VIP2 2台 SUN T5120 SERVER1 的 domain2与SERVER2 的 domain2 domain1 VIP1节点 SUN T5120 Server 1 SUN T5120 Server 2 domain2 VIP2节点 VCS集群 domain1 VIP1节点 domain2 VIP1节点 Primary domain 虚拟服务器 Primary domain SunCluster集群 虚拟服务器 试点系统 业务支撑系统， VIP web 试点方案 通过对 SUN小型机 T5120进行虚拟化分区整合，并通过资源动态调配技术，根据业务变化需求利用 SUN的 SMC工具在不同分区间进行手动资源调整 试点结论 Logical Domain方案可以满足生产系统的稳定运行需求，通过 SMC也可实现资源的按时段和按策略自动调整，但考虑生产系统的稳定性，仍然采用手工方式 第 36页 湖南 SUN小型机虚拟化试点 硬件配臵： 1、两台 sun sparc平台，三台 x86服务器 3、 sun 6140共享存储 软件配臵： 1、 solaris10操作系统， sparc平台使用 sparc版， x86平台使用 x86版。 2、 oracle10g数据库软件 试点结论 Container方式可以满足测试环境的需求 现有 container可以完全满足在 sun平台下跨系统版本的平滑迁移，例如将 solaris8的应用平滑迁移到 solari10 平台。在这一部分中将主要测试一、虚拟化之后的部署和迁移的平滑性以及用户的便捷性。二、做完虚拟化之后的系统性能以相关资源占用情况。 Solari10在 sparc和 x86都有相应的版本发布，另外一个测试目的将测试 sparc和 x86的互迁移能力（本次测试 java类程序和 oracle数据库的迁移）。 未来小型机的应急预案中将考虑 X86接管小型机的方案 试点系统 网络支撑系统，话务网管性能管理模块 试点方案 利用 Container技术构建性能管理模块的测试环境 验证 Container的虚拟化功能和异构硬件平台间的迁移 第 37页 浙江 HP小型机虚拟化实践 业务系统 业务类型 单机数量 服务器平台 上层应用 部署模式 营业系统 WEB服务器 20台 HP rx6600， VM虚拟机 每台划分 2台 VM虚拟机 WEB服务 网络负载均衡 中间件、接口服务器 10台 HP 9000 SD， Npar/Vpar 每台划分 2-4个分区 Weblogic Tuxedo Hp SG主备集群 数据库服务器 10台 HP ISD， Npar/动态 Npar 每台划分 2-4个分区 Oracle 10g Hp SG主备集群 Oracle RAC集群 试点系统 业务支撑系统，营业系统 试点方案 综合运用 nPar、 vPar和 HPVM技术（见上表），达到主机资源的有效利用 动态 nPar和 vPar的分区资源采用不定期手工调整方式，应对应用的峰值需求，新机器装机时，预留部分资源，供实际上线后的整体运行调整 试点结论 通过使用 HP UNIX虚拟化技术，效果是明显的，有效提升资源利用率，节约机房空间，并大大降低运营管理成本 前期采购成本相对较高，特别是高端设备成本、虚拟化软件及实施费用带来了额外的成本，但通过集中化形式的采购，该部分成本可实现尽可能的压缩 风险在于大量应用集中部署在少量物理高端 UNIX服务器上，一台 UNIX服务器整体宕机的影响会超过虚拟化实施前，但是高端 UNIX服务器通过背板、电源设计等的大量冗余设计，提升了可靠性，降低了停机时间，当然应用部署上也可以通过双机等形式实现高可用。 第 38页 小型机虚拟化引入策略 -总体策略 首要保证各业务系统运行的性能和可靠性，小型机虚拟化技术的引入 兼顾技术的成熟度和资源调控的灵活性 ，针对不同类型的小型机，选择不同的分区技术应用策略 对生产系统的资源动态调整，应采用手工调整方式，忙时调整应对高峰资源需求，周期性调整应对资源需求基线的变化，对测试系统可配置策略方式实现资源的自动调配 生产系统与测试系统，可部署在相同的小型机上建立共享资源池，但不应采用共享网卡虚拟化技术，采用 独立的硬件资源以及 VLAN，以满足网络安全策略的要求 第 39页 IBM小型机虚拟化引入策略 技术类别 功能描述 引入策略 lpar 静态分区 过渡到 dLpar dlpar 动态分区，粒力度为 1个 cpu 适于各类应用，如核心数据库主机，要求资源高，突发需求高，高响应时间，对中间件、 web等也适用 微分区 动态分区，粒度为 0.1个 cpu 适于测试、管理等业务，资源要求小的业 务，进行 CPU资源的精细控制 Wpar 基于 AIX6的分区技术 适于测试、基于 AIX6的小系统，单分区性能要求不高，但是台数较多的系统 VIOS、虚拟网卡和光纤卡等 虚拟 io服务器，为其他分区提供 io服务功能 对 io要求不高的多个业务系统 工作负载管理 可根据预设的条件自动调剂 资源 适于测试系统，生产系统的资源调配采用 手工方式确保系统的稳定 分区在线迁移 可主动维护，不中断应用 适用于最关键业务的计划内宕机场景， P6以上硬件 鉴于 IBM小型机虚拟化如 DLPAR等技术已经非常成熟并有长时间的关键生产业务验证，因此可以直接引入，对于所有系统均可考虑采用 DLPar专享资源技术，更充分享用分区灵活性的特性 基于 AIX6以上的小业务系统和测试环境，采用 WPar技术实现高密度部署 第 40页 SUN小型机虚拟化引入策略 Container虚拟化有 跨平台 的特点，相比其他两种虚拟化方式更适合构建云计算资源池 在 部署应用数量多和应用峰值变化明显 的场景下， SUN小型机虚拟化优选Container虚拟化 Container方式下可实现 小型机应用的低成本应急方案 ，当小型机资源紧张，或发生故障的情况下，可将 Container连同应用迁移到安装 Solaris 10的 X86服务器上 对于关键应用，如核心应用数据库等，可采用 硬分区或逻辑分区 方式，但在操作系统兼容的前提下，建议积极向 Container方式演进 建设上采用集中化、两端化的方式，核心关键应用部署在新购高端服务器的物理分区上， 限制增加中间中低端服务器 ，现有中端设备进行利旧支持非关键业务和测试类应用。新增非关键业务集中在 X86服务器上，可以是windows或 solaris系统。 Windows系统运行在 vmware之上， Solaris系统使用 container技术可以在 X86服务器和中端服务器之间灵活进行业务或应用迁移 第 41页 HP小型机虚拟化引入策略 系统可用性要求较高的 核心生产应用 系统，如营业和计费的 DB、 APP等采用 动态 nPar技术 vPar适用于系统可用性要求相对较低的 非核心应用系统 ，如业务支撑网外围系统，如统一接触、统一备份管理， BOMC，门户网站，以及 IT支撑系统的常规测试 HPVM可以承载对资源的需求量和可用性较低的应用系统，如 WEB和门户服务器，但基于成本考虑，此类应用建议采用 X86架构服务器实现 HPVM可用于测试平台 ，进行资源需求不高的常规测试，或用于临时性测试，对临时、过渡性测试需求实现快速分配、回收资源 SRP在电信领域应用案例较少，可应用在测试环境中，针对 HP-UX系统进行测试 第 42页 存储虚拟化 实现方式：一般由操作系统下的逻辑卷管理软件完成（安装客户端软件），不同操作系统的逻辑卷管理软件也不相同 优点是性能损耗小，缺点是占用主机资源，主机数量越多，实施 /管理成本越高 代表产品：赛门铁克 SF 存储虚拟化（ FC SAN）使服务器的存储空间可以跨越多个异构的磁盘阵列，常用于解决阵列间利用率不均衡或在不同磁盘阵列之间做数据镜像保护等问题 SAN 服务器 磁盘 阵列 基于主机的虚拟化 SAN 服务器 磁盘 阵列 基于存储设备的虚拟化 SAN + 虚拟化引擎 服务器 磁盘 阵列 基于存储网络的虚拟化 实现方式：在存储控制器上添加虚拟化功能，常见于中高端存储设备 优点是不占主机资源，技术成熟度高，缺点是消耗存储控制器的资源；异构