全国信息共享中心及ERP核心基础资源整合及云化服务研究

承担单位：集团管理信息系统部 湖南公司 河南公司 2010年 5月 课题名称：全国信息共享中心及 ERP核心 基础资源整合及 “ 云 ” 化服务研究 项目类型：集团重点 /联合项目 一、项目信息 课题名称 全国信息共享中心及 ERP核心基础资源整合及 “ 云 ” 化服务研究 课题分类 主题词 服务化，虚拟化，云计算 课题预计开始时间 2010.5 预计结束时间 2010.12 立项经费、预算 目录 课题立项背景和意义 课题研究目标 课题研究内容 课题研究总体框架 课题技术方案和关键技术 课题难点、创新点、专利点以及已有积累 课题成果、研究计划和分工 共享中心一期实现了基本的知识管理应用和部分协作应用，支持全国约 5万用户的访问，然而随着全国近 30万用户的接入需求日趋强烈，用户对系统的访问量逐月提高，新的共享应用也迫切需要部署，这些均对共享中心的基础设施能力提出了更高的要求。 中国移动 ERP核心平台是支撑了公司财务、人力、供应链等方面的业务需求，目前的硬件环境包括总部和各省生产环境、集中在总部的各省 ERP测试环境和各省自行购买的 ERP测试环境，以及相应的存储阵列、磁带库等，全国的硬件资源总量较大。然而在 ERP核心系统方面，存在主机系统资源利用率不均衡、资源浪费的问题，亟待整合提升。 二、立项背景和意义： 立足共享中心及 ERP核心基础设施改造 总部及各省的硬件环境均分别独立运行 ， 各硬件运行的忙闲时有很大差异 ， 同时处于忙时和闲时的硬件资源无法实现负荷的分担； ERP核心系统生产环境和测试环境的主机资源利用不均衡 ，尚未实现资源的整合和共享 。 不具备对全集团所有员工（ 30万 ） 的支撑能力 ， 尚未实现基于虚拟化的资源整合； 搜索 、 信息发布等系统组件服务化能力不强 ， 难以让省公司实现能力集成； 难以在南方基地为多个省公司提供服务 。 共享中心的问题 ERP核心的问题 虚拟化已经成为基础资源整合的有效的和广泛采用的技术；随着基于虚拟化技术的基础资源的整合，在虚拟化资源的运维和管理方面相应会出现一些需要改进的地方和解决的问题，包括对包含物理资源和虚拟化资源在内的资源体系进行设计和完善，实现绿色的资源管理体系，构建具备自动化运维管理能力的虚拟化资源运营管理平台。 随着虚拟化资源数量的增加 ， 其运维和管理的复杂度越来越高 ， 呈现出很多与传统的物理资源完全不同的运维和管理等问题 建立针对虚拟化资源的管理和运维体系 ， 成为一项重要的工作 如何克服虚拟化资源与物理资源之间的管理差异 ， 进而对虚拟化资源与传统资源进行统一管理 ， 提高管理能效 如何打通虚拟化资源与外围资源体系之间的通道 ， 实现资源之间的协调 ， 进而提高资源的可重用能力 虚拟化资源数量提升后 ， 人工对虚拟化资源进行维护的难度越来越大 ， 如何在人工运维的基础上逐步实现虚拟化资源的自动化管理 ， 将进一步提高虚拟化资源的服务效能 需要尝试构建具备自动化运维能力的资源运营管理平台 虚拟化资源的后期运维问题 虚拟化资源与外部资源 融合问题 虚拟化资源的服务效能问题 二、立项背景和意义： 加强整合资源的运维管理 目录 课题立项背景和意义 课题研究目标 课题研究内容 课题研究总体框架 课题技术方案和关键技术 课题难点、创新点、专利点以及已有积累 课题成果、研究计划和分工 研究目标一： 研究 共享中心基础设施虚拟化方案 ，作为基于虚拟化进行主机及存储扩容的依据；同时设计虚拟资源管理体系； 研究 ERP核心系统主机资源的整合 设计方案，提出 ERP核心主机资源动态调配原则及演进路线规划。 研究目标二： 研究管理信息系统 虚拟化资源的运维管理方案 ，对包含物理资源和虚拟化资源在内的资源体系进行设计和完善 ， 规划绿色资源管理体系； 尝试 构建虚拟化资源运营管理平台 ， 研究跨地域的虚拟化资源调度 ， 验证自动化管理关键技术 。 目标三： 研究共享中心 关键应用的 SOA服务化改造 方案 ，实现对省公司的信息共享能力的输出与共享； 针对全国共享为总部和南基地 4省提供共享服务的要求 ， 设计 共享中心 “ 云 ”化服务提升方案 ， 具体考虑多租户数据隔离 、 计量等问题 。 为适应管理信息系统的发展要求，本联合项目将立足基础资源虚拟化及应用云化技术，总部重点针对共享中心以及 ERP核心系统开展主机、存储等基础资源的整合研究，并开展共享应用的服务化改造，提高资源利用效率及需求响应速度；湖南和河南公司则在已有虚拟化成果的基础上，开展基础设施虚拟化及物理资源联合运维管理方案研究，尝试构建自动化基础设施运维管理平台。 三、课题研究目标 目录 课题立项背景和意义 课题研究目标 课题研究内容 课题研究总体框架 课题技术方案和关键技术 课题难点、创新点、专利点以及已有积累 课题成果、研究计划和分工 基础资源虚拟化整合研究 . 1.共享中心主机虚拟化研究： 在充分利用现有 HP服务器的基础上，扩充x86及 Unix主机，构建主机虚拟资源池 实现总体服务器运算能力的虚拟化管理 实现在不中断服务的前提下跨硬件服务器的资源调配 2.共享中心存储虚拟化研究： 充分利用现有的磁盘阵列及逻辑卷管理软件实现存储虚拟化，构建存储资源池。 3.共享中心基础资源虚拟化演进路线规划： 根据主机和存储资源虚拟化研究成果，规划共享中心实施基础资源虚拟化整合的演进路线 存储层 数据库层 应用层 应用服务器云 数据库服务器组 1 （利旧） 数据库服务器组 2 （利旧） L4 存储资源池 LDAP DB2 My SQL NAS SQL Server Content Server Oracle AD 数据库服务器组 3 X86(NEW) VM1 J2EE VM2 J2EE VM3 J2EE VM5 PHP VM6 PHP VM7 .NET VM8 .NET VM VM4 J2EE 四、课题研究内容 1： 基础资源虚拟化整合 共享中心 主机资源虚拟化整合研究 . 1. ERP核心系统主机虚拟化研究： 充分利用现有生产环境和测试环境的 IBM（重点）和 SUN服务器，根据 两种环境下主机资源使用峰值在时间分布上的差异性 ，进行主机虚拟化整合，构建主机虚拟资源池 2. ERP核心系统主机资源动态调配原则研究： 根据不同系统的特性和采用虚拟化产品的功能，给出主机资源动态调配的原则 3. ERP核心系统主机虚拟化演进路线规划： 给出 ERP核心系统主机资源虚拟化整合的演进路线规划 四、课题研究内容 2： 主机资源虚拟化整合 ERP核心 基于湖南移动信息系统虚拟化技术的建设成果经验，对虚拟化计算资源后期的绿色管理和运维体系进行设计，逐步完善虚拟化计算资源的生命周期管理机制，建立虚拟资源与外围物理资源相融合的统一管理体系，并设计自动化的虚拟资源管理平台，以此提高虚拟化资源的绿色管理水平，进一步提升虚拟化资源的服务效能 计算资源的全生命周期管理（资源池） 面向业务需求的计算资源全生命周期管理： 虚拟资源与外围资源 /资产管理体系的融合 虚拟化资源自动化管理平台的规划 计算资源池与外围资源/资产管理体系的融合 资源的管理与分配 虚拟化资源管理平台 资源服务流程体系 (ITIL) 外部资源集成管理 资源的监控与优化 四、课题研究内容 3： 资源虚拟化整合 运维管理体系 河南公司在本省虚拟化实践及湖南运维管理体系研究的基础上，着重开展虚拟化资源运营管理平台的规划设计、测试实现及关键技术验证等研发改造。 四、课题研究内容 4： 资源虚拟化整合 自动化运营管理平台 虚拟化资源运营平台 本地虚拟化管理平台的规范以及架构设计和建设实施 实施资源池的自服务门户功能 实施本地具备 SLA的虚拟资源池，实现物理资源和虚拟资源的流动和按需供给 实施基于本地虚拟化资源池虚拟资源和物理资源的统一监控 配置和管理 研究如何构建计算资源动态服务池 ,面向云化的发展路线 技术和方案 研究和验证跨本地应用系统全生命周期的物理资源和虚拟资源供应的技术和难点 研究本地跨物理实例的物理资源和虚拟资源联合管理的技术和难点 ,包括 x86服务器 虚拟化监管， UX系统虚拟化监管和关键技术 跨地域虚拟化资源 研究本地跨数据中心虚拟化资源池的架构和关键技术 研究跨区域网络带宽对于跨地区的应用资源使用的影响和安全 研究 传统应用架构能否支持跨地域网络的资源服务建模的实例 对于网络联通资源池技术验证，测试和试运行后，评估跨地域的可行性和适用范围 自动化管理系统 架构和关键技术 验证 自动化运维管理系统功能规划 自动化运维管理系统架构规划 业务服务的监控 虚拟化下的自动化运维研究 博客、论坛等系统信息的内容挖掘 研究共享中心搜索引擎和信息发布等功能服务化的方案，完成功能输出和共享，为省公司提供统一搜索与信息发布服务，支撑省公司实现两级联合搜索与信息展示。 共享中心搜索引擎功能的提升 基本搜索引擎 高级搜索功能 信息发布系统 交流空间：论坛、博客等 共享中心内容 Tagging ，实现内容聚类、主题挖掘、用户行为分析、内容推荐等 搜索结果的聚类和主题化展现 搜索引擎功能服务化，完成共享中心搜索功能的输出和共享，实现统一搜索 基于聚类 和主题的 内容搜索服务 RSS 四、课题研究内容 5： 共享中心关键应用服务化改造 结合基础设施虚拟化以及核心应用的服务化研究，规划设计针对全国共享以及为总部和南基地 4省本地共享实现共享中心“云”化服务的方案，重点考虑多租户数据隔离与计量等问题。 服务租户数据隔离研究 ： 多租户化的服务将对用户数据进行严格的分权分域管理，全国应用区及其他省公司用户将无法访问、搜索和修改本省公司租户的用户数据，形成相对独立的应用空间，方便本地化应用和管理； 服务使用计量方案研究 ： 在多租户环境下提供对资源使用、用户内容创建、以及租户自定义目标的服务使用计量，并定期或根据用户需要生成计量报表，实现各省公司管理员对数据流量、服务使用时长、用户创建文档数据、用户发文统计等各类参数的有效管理。 租户数据共享 共享实例式隔离 独占实例式隔离 租户数据基于应用实例的隔离 租户数据的完全隔离 四、课题研究内容 6： 共享中心应用及平台云化 目录 课题立项背景和意义 课题研究目标 课题研究内容 课题研究总体框架 课题技术方案和关键技术 课题难点、创新点、专利点以及已有积累 课题成果、研究计划和分工 五、研究总体框架：基础资源的虚拟化整合 基于共享中心和 ERP核心系统基础资源现状，重点针对其量化的使用率和性能等数据进行调研和分析，进行虚拟化技术适用性分析和相关技术的选型；基于数据，产出基于量化评估的整合方案；在此基础上，结合应用的特征和用户的个性化需求，进行贴合性调整和设计，产出满足用户最终需求的基础资源整合方案 适用性分析 精细化评估 贴合性设计 确定虚拟化整合的业务需求驱动力及潜在要求； 分析现有基础资源体系成熟度、应用类型（流媒体 /数据库）等； 初步确定达标技术方案，进行成本、难度、效能等方面的综合评定，确定是否需要进行虚拟化应用； 绘制虚拟化初步应用路线，勾勒预期整合目标和风险挖掘。 结合要整合的目标基础资源，进行性能和资源利用率等方面的数据调研；对量化的数据进行分析，基于最优化理论和相关方法，形成基于精细化评估虚拟资源整合方案； 在基本的宿主和虚拟关系类型评估之上，向虚拟资源细化版本和指令集等细化方向进行分析和评估，包括 I/O， 3D、 USB、 Ac等； 确定资源虚拟化整合的具体业务需求驱动力、用户的个性化需求，以及潜在指标要求；对精细化评估生成的整合方案进行进一步调整； 对不同应用的特征（核心 /边缘等）进行分析，对虚拟化整合方案进行进一步调整，生成贴合实际需要的整合方案； 完成资源虚拟化整合路线规划； 五、研究总体框架：虚拟化资源的管理运维 现状调研与需求分析 虚拟资源管理体系与 全生命周期管理方案 虚拟资源与物理资源 一体化管理融合方案 虚拟资源自动化监控 与管理平台规划 研究基础设施虚拟化后对原有运维体系带来的冲击； 研究如何建立与虚拟化相适应的管理与建设制度，强化对虚拟环境的控制，包括： 1.建立健全的虚拟化管理组织架构； 2.建立虚拟资源全生命周期（申请、创建、供应、更新、跟踪、回收）管理流程； 3.设计相应的工单表格。 研究如何将虚拟资源与物理资源纳入统一的管理界面 建立虚拟资源的迁移、快照、备份流程，建立虚拟机与物理机的转换流程，从而保证虚拟资源的高可用性和业务连续性，实现对物理资源的高效利用 研究如何将虚拟资源管理纳入统一 IT网管平台 规划虚拟资源自动化运维管理的各项功能，包括对虚拟资源的资产跟踪、故障排查、风险预警、性能优化及统计报表等 虚拟化技术实施与运维风险评估 基础设施资源管理体系现状调研 基础设施资源管理最佳实践及参考模型调研 A B C x 8 6 Archit ec tureVM w a re ESX Se r v erx 8 6 Archit ec tureVM w a re ESX Se r v erVMotionS t o r ag e五、研究总体框架：自动化运营管理平台 高可用性 业务的可持续性 VM的动态管理和迁移 管理SCVMM 计算提供器 网络 提供器 SAN 提供器 尝试从服务层和管理层两个层面实现对用户的自服务申请管理以及对虚拟化资源的自动化配置管理。 五、研究总体框架：关键应用服务化及云化 关键应用（搜索引擎和信息发布）调研和分析 关键应用（搜索引擎和信息发布）的服务化方案设计 基于搜索引擎和信息发布等关键应用的特征（只包含业务逻辑或者提供应用展示逻辑），结合两项应用在共享中心的建设现状和应用情况，完成两项应用的服务化及共享中心平台”云“化设计 调研关键应用的现状和应用场景，以及主要的用户类型；同时分析应用是只包含业务逻辑还是同时提供应用展示逻辑；基于此，可以选择适合的方法进行服务化 根据关键应用的特征（只包含业务逻辑还是提供展示逻辑），结合应用场景和用户类型，进行关键应用的服务化设计；对于只包含业务逻辑的应用，则可以基于 SOA技术体系，结合 Web Service等组件模型和 BPMS技术实现应用的服务化；对于包含了表示逻辑的应用，则可以基于门户应用集成技术完成应用的服务化发布和集成； 1 2 3 4 从服务器、操作系统、中间件（数据库）、应用等不同层面考虑租户隔离和安全机制；从共享应用、多应用实例 共享中间件（数据库）等不同模式中选择适合的模式完成方案设计 在多租户隔离和管理结构的基础上，从服务使用、流量、时间等不同角度完成共享中心平台的服务使用计量方案设计 共享中心平台的多租户结构和机制设计 共享中心平台的服务使用计量机制设计 目录 课题立项背景和意义 课题研究目标 课题研究内容 课题研究总体框架 课题技术方案和关键技术 课题难点、创新点、专利点以及已有积累 课题成果、研究计划和分工 六、技术方案和关键技术： 基础资源的虚拟化整合 基础资源的虚拟化整合主要采用现有的商业化技术和产品，包括主机虚拟化和存储虚拟化两个方面；主机虚拟化主要是 HP UNIX体系（共享中心）下的虚拟化技术和 IBM AIX体系（ ERP核心系统）下的虚拟化技术；存储方面则综合考虑不同的存储虚拟化技术 主机资源的虚拟化整合： 主机体系 共享中心 ： HP UNIX ERP核心系统 ： IBM AIX, SUN SOLARIS 产品 IBM Power: PhyLParPowerVM HP UNIX: nParvPar SUN SOLARIS: DomainLDom HP vPar IBM PowerVM SUN LDOM 存储资源的虚拟化整合： 带内 (In-band)产品 IBM SVC （ SAN Volume Controller） 带外 (Out-of-band)产品 EMC Invista， LSI StoreAge SVM （ Storage Virtualization Manager） 基于主机（ Host-based）产品 Symantec VSF（ Veritas Storage Foundation） 带内 带外 基于主机 六、技术方案和关键技术： 虚拟化资源的运维管理 组织与设施 技术 流程 运营 申请 创建 供应 更新 回收 跟踪 基于湖南移动现有 IT管理成熟程度进行虚拟资源管理流程设计，满足全生命周期管理需求 问题管理 容量管理 配置管理 变更管理 虚拟化管理岗位 虚拟化主管 虚拟机管理、存储管理、网络管理 虚拟基础设施的定义与分级 虚拟资源 主机、群集、资源池 增强对虚拟化技术的控制性和可见性，完善对虚拟资源的跟踪和监控手段 迁移 快照 备份 转换 统筹虚拟资源自动化运维及 IaaS拓展应用需求，进行虚拟资源管理平台的规划及验证测试 自服务门户 资产规划、跟踪及使用计费 监控与自动化部署 风险预警及冲突告警 故障排查及自动修复 动态调配及优化 跨物理实例资源联合 统 一 信 息 平 台 系 统 运 维 管 理 组统 一 信 息 平 台 系 统 用 户 服 务 台服 务 台 话 务 员 创 建 工单 ， 并 记 录 故 障 描 述工 单 被 服 务 台 关 闭工 单 被 成 功 派 发 给 统一 信 息 平 台 系 统 运 维管 理 组工 单 被 服 务 台 创 建成 功服 务 台 话 务 员 转 派 该 工单服 务 台 话 务 员 将 处 理 结果 反 馈 给 用 户 ， 并 关 闭工 单V工 单 被 成 功 返 回 到 服务 台统 一 信 息 平 台 系 统 运 维 管理 组 的 系 统 处 理 流 程其 他 故 障 事 件 被 系 统用 户 提 出（ v i a h o t l i n e ）V P N 登 录 失 败 被 系 统用 户 提 出（ v i a h o t l i n e ）邮 件 收 发 问 题 被 系 统用 户 上 报（ v i a h o t l i n e ）统 一 信 息 平 台 登 录 失败 被 系 统 用 户 提 出（ v i a h o t l i n e ）代 办 工 作 显 示 异 常 被系 统 用 户 提 出（ v i a h o t l i n e ）短 信 收 发 问 题 被 系 统用 户 上 报（ v i a h o t l i n e ）邮 件 登 录 异 常 被 系 统用 户 提 出（ v i a h o t l i n e ）公 文 流 转 错 误 信 息 被 系 统 用 户 上 报（ v i a h o t l i n e ）总 部 到 省 公 司 公 文 传递 错 误 信 息 被 系 统 用户 上 报（ v i a h o t l i n e ）修 改 登 录 口 令 请 求 被系 统 用 户 提 出（ v i a h o t l i n e ）查 阅 公 文 流 转 环 节 的请 求 被 系 统 用 户 于 非工 作 时 段 提 出（ v i a h o t l i n e ）虚拟化管理 T a r g e tE S X 3 . X S e r v e rA p pO SS o u r c eE S X 3 . X S e r v e rA p pO SD if f e r e n t ia lE n g in eD a t a M a p六、技术方案和关键技术： 关键应用服务化及平台云化 根据关键应用的特征和类型，从只包含业务逻辑，以及提供应用展示逻辑两个方面进行相关技术方案的设计 组件与系统 （共享中心功能组件） 展示与接入 （省公司完成个性化展示） 流程 （基于 BPMS进行服务功能的编排） 服务 （ Web Service，服务化的功能组件） 用户与企业应用之间的交互，包括业务功能及内容的展示以及用户的接入访问方式等 共享中心具体的业务功能组件，统称成为原子组件或原子服务 基于 Web Service等组件标准提供业务功能的服务化访问和调用接口 业务流程的承载，包括业务流程的编排、实例规则设置和运行执行等 省公司按 需完成服 务的编排 和展示 对于只包含业务逻辑的应用 ，采用SOA体系完成功能的服务化、发布和集成 对于包含了表示逻辑的应用 ，采用传统的门户应用集成技术完成应用的发布和集成 功能组件 服务化 JSR168 Portlet WSRP Web Clipping/IFrame AJAX RSS Mashup 目录 课题立项背景和意义 课题研究目标 课题研究内容 课题研究总体框架 课题技术方案和关键技术 课题难点、创新点、专利点以及已有积累 课题成果、研究计划和分工 七、项目的难点 基础资源虚拟化整合中的贴合性方案调整和设计 共享中心平台 “ 云 ” 化设计中的租户隔离方案设计 基础资源虚拟化之后物理资源和虚拟资源一体化管理和运维体系的设计 基于策略的虚拟化资源自动化部署、动态资源调配以及容量管理 虚拟资源的监控、风险预警及故障自动修复 跨物理实例（跨机房）的资源联合管理 八、本课题的创新点和专利点 共享中心 “ 云 ” 化平台中的租户隔离方法 共享中心 “ 云 ” 化平台中的服务使用计量方法 实现物理资源和虚拟资源一体化管理和运维的相关方法 基于用户自服务的资源申请和供应 基于策略的资源调配和自动化部署 九、与本课题有关的研究工作积累和 已取得的研究成果 2009年总部开展中国移动全国信息共享中心企业 2.0应用研究 完成了对共享中心现有频道和应用的梳理，以及对服务化和“云”化相关技术的适用性分析；建立了共享中心“云”化研究的基本思路和规划。 20092010年湖南公司开展了 MSS域主机虚拟化整合 基于精确化、自动化评估和成本体系优化，经过个性化需求定制，实现现有 X86服务器 8:1整合（整合比 87.5%），物理服务器数量由 40余台减少到 5台，整合中充分考虑了现有工作负载的特性、整合系统的板卡 /外设特征、系统的重要性等问题，保证了可靠性和资源按需分配； 实现了虚拟机环境下的核心系统的隔离和高可用性 HA，完成了共享存储的规划实施，在解决“虚拟机漂移”等复杂问题的前提下，实现最大程度的资源动态调配。 2009年河南公司开展 MSS域 IT基础设施虚拟化整合 实现了现有 x86服务器 5:1整合，物理服务器数量由 60余台减少到 13台； UNIX服务器实现 4： 1整合，物理服务器数量由 14台减少到 3台，以此为基础构建了管理信息系统开发测试平台； 多台虚拟机共享一台物理主机的资源，提升了单台服务器的 CPU和内存利用率；利用虚拟化技术系统平台的可用性达到 99.99%，减少了停机时间。 基于 SVC存储虚拟化技术，由整合前的 3套独立存储整合为 1套共享存储资源池。实现了从分散管理到集约管理的转变；从资源分割到资源共享的转变。 目录 课题立项背景和意义 课题研究目标 课题