2011开题报告《IaaS云计算的资源管理技术研究和试点》.doc

中国移动集团级重点研发项目（含联合项目）开题报告一、项目编号及名称：2011_lh_20 iaas云计算的资源管理技术研究和试点二、项目组：项目组承担课题名称负责人及手机、邮箱研究院（牵头单位）it系统技术引入及实施方案研究山东（协助单位）存储性能监控管理系统研究北京（协助单位）基于云计算平台的虚拟化资源全生命周期管理的研究广东（协助单位）基于云计算的多系统域融合管理体系研究河北（协助单位）网管跨系统数据库服务整合的研发安徽（协助单位）网管数据存储整合与虚拟化研究河南（协助单位）多元化存储虚拟化整合在网管系统中的研究和应用北京（协助单位）网管基础设施虚拟化技术应用研究广东（协助单位）网管云计算平台实践与研究山西（协助单位）基于云计算虚拟化的服务器整合研究四川（协助单位）基于弹性存储的云存储资源池研究与实现三、课题背景和意义云计算技术，是互联网发展到一定阶段后诞生的全新的计算方式。它吸取了并行计算、分布式计算等计算机科学概念的长处，同时结合了网络存储、计算机虚拟化、负载均衡等传统计算机和网络技术，是多种概念与技术相融合的新概念。云计算的核心思想，是将大量用网络连接起来的计算资源进行统一管理和调度，构成一个集中的计算资源池，向用户提供按需式服务。这就意味着，计算资源经过云计算的概念包装后，可以通过互联网直接向用户提供服务。云中的资源是可以不断进行扩展的，用户无需关心提供计算资源的网络、存储及其他相关对象，要做的只是随时获取、按需使用，就象使用水、电一般方便。自云计算概念面世以来，因其优秀的投入产出比和服务的灵活性，就一直持续受到各大企业和it厂商的关注。著名的it咨询组织gartner已连续三年将云计算评为十大最具战略意义的技术，亚马逊、谷歌等大型企业的成功更是无形中为云计算打开了市场。中国移动集团公司一直紧随技术前沿趋势，高瞻远瞩的坚持开展创新，发展自己的科技探索之路。集团公司李跃总裁在中国移动2010年总经理研讨会上讲道：“各级公司要坚持走创新之路，用创新破解难题，用创新迎接挑战，用创新引领未来。”在集团富有远见的战略指导之下，从总部、南方基地、到各级省公司，都在从主机、存储、到桌面终端的各级资源上积极进行云计算领域的探索。为提高it系统的利用率，降低建设成本，加快业务上线速度，省公司在it支撑系统积极开展了的虚拟化实践，通过服务器虚拟化和存储虚拟化构建了虚拟化资源架构，初步形成了资源和应用的松耦合。针对各个省公司在以虚拟化为核心的iaas云计算的研究规划，10年技术部组织了联合项目it支撑系统云计算技术方案与规范，研究院联合省公司进行了云计算的方案研究和试点工作。虽然总部、研究院及各省公司都在云计算技术探索和发展上卓有成效，但毕竟云计算技术是一个新生的事物，关于云计算的模式和演进路线，在it行业也存在很多的不统一看法。同时，各家it厂商虽然都基于云计算推出自己的战略方案，但如何在企业应用中进行落地，将新技术架构与现有业务模式相结合，仍然是需要进行具体分析和研究的方向。目前主要有待解决的问题是：l 三大it支撑系统的集中化建设中，需要规划三大it支撑系统云资源层的共享整合，集中整合后相应管理机制尚属空白；l 省公司的中小规模虚拟化实践仍停留在初级整合阶段，各类资源管理分散，对上层应用的资源支撑效率低下；l 集中化建设背景下对资源池的规模提出较高要求，而目前省公司在资源池的实践尚未突破数据中心的物理局限；l 虚拟化实践距离构建云计算资源池的目标还存在较大的差距。四、课题研究目标本课题主要面向it支撑系统集中化建设的需求，研究构建多系统共享的私有云资源池的总体技术方案，服务和资源的部署管理机制，以及其中的关键技术。l 推动it支撑云的集中化整合配合公司的集中化发展战略，研究在基地模式下，三大it支撑系统云平台的整合演进路线。并研究整合后如何建立相适应的管理机制和制度体系，并规范系统的部署周期。l 推动虚拟化资源向云服务演进改变传统的物理资源的生命周期管理方式。在已实施虚拟化的资源池基础上，实现云资源的统一管理，实现资源的全生命周期管理。对上层应用提供云服务，实现应用的“自动化”部署。l 推动云计算资源池的有效利用解决集中化背景下存储和计算云资源的关键技术，如跨地域的资源共享和云环境下系统的备份等。五、课题研究内容5.1 研究总体框架云服务演进集中化整合云服务优化mbo融合演进服务管理机制服务定义服务申请服务使用服务部署私有云资源池资源池管理region management虚拟机系统物理主机分布式云存储集中存储路由器/交换机负载均衡防火墙/nat主机资源存储资源网络资源根据课题的研究目标，项目将重点研究it支撑系统集中化整合演进路线，整合后的服务管理机制，以及私有云资源池的总体技术架构，包括资源池的管理、资源的跨地域共享和集中备份等技术。项目的子课题体系架构如下：mbo融合演进服务管理机制私有云资源池云计算资源生命周期管理基于云计算的多系统域融合管理体系研究私有云资源池总体技术架构云计算资源异地共享云计算资源监控云计算系统的备份课题1：基于云计算的多系统域融合管理体系研究面向集中化整合需求，以基地建设规划为背景，研究三大it支撑系统的整合和管理机制。主要研究内容如下：1、研究三大it支撑系统域（oss、bss、mss）融合演进路线融合演进的分阶段发展规划，整合切入系统，以及远期目标和近期目标。2、研究平台融合后的总体管理流程和制度体系结合中国移动组织架构和itil管理体系，就各支撑系统的服务申请、审批、部署、使用、回收等制定管理流程和规范，实现各系统服务的标准化全生命周期管理。3、研究三大域的系统接入部署周期管理研究梳理跨多系统域间的业务应用部署管理规范。以各系统业务需求及总体管理体制为基础，制定资源分配方式，资源部署调度策略，为云平台各功能模块建设和三大域的系统接入提供部署指南。课题2：私有云资源池总体技术架构-研究院研究企业私有云资源池的技术架构，包括组网、计算平台的选型等，满足it支撑系统不同sla的计算、存储和网络的资源需求。子课题1：云计算资源生命周期管理-北京对企业私有云的物理和虚拟化资源生命周期管理规范、流程的研究，研究资源的自动化部署及配置。从运维管理角度，小型机和x86的成本对比分析。子课题2：云计算资源监控-山东，河南（存储），河北，山西（计算）对企业私有云内的各类资源构建指标体系，并进行监控，除监控云资源相关的物理设备外，还实现对企业私有云内运行的各业务系统的资源使用情况的监控和统计。子课题3：云计算资源异地共享-广东研究30-100公里范围内，多个物理数据中心之间资源共享的适用场景和技术方案的可行性。子课题4：云计算系统的备份-安徽研究对云计算平台系统集中备份或云备份的方案实现和适用分析。子课题5：分布式云存储资源的管理研究分布式存储系统对存储资源进行分配、权限控制、回收等技术方案。研究将hdfs文件系统映射到各种平台（包括移动设备）的本地操作系统上方案，使用户能够完全透明，方便操作和使用hdfs资源。5.2 难点及解决方案l 融合架构下的管理机制参考itil管理体系，研究适合中国移动it支撑系统整合架构的管理方法。l 复杂环境下的虚拟化资源云服务化不同等级的计算和存储虚拟化资源下，研究服务的申请、分配、部署方式，根据业务应用定义不同sla的服务模板。l 跨地域资源共享存储数据的跨地域访问、共享和迁移，计算资源虚拟机的跨地域迁移。5.3 主要技术方案和关键技术1、云计算资源管理技术虚拟资源物理资源服务器、存储系统、网络设备虚拟机系统、存储池、虚拟网络iaas服务计算和存储资源的生命周期运营管理用户管理服务管理资源管理部署调度安全管理it支撑系统构建云计算资源池后，大量的异构设备纳入到统一管理域内，需要通过集中的资源池管理平台，优化现有的管理工作，让有限的人力可以通过提高管理效率的方式来支撑更大规模的系统维护。实现对各类资源状态的统一监控，资源自动调度部署，快速划分资源支持新业务上线需求，基于系统运行状况通过手动或基于策略自动方式对现有资源分布进行优化，资源和应用分离后以服务方式对业务部门提供易操作的资源交互界面。2、跨地域资源共享技术esx 群集 aesx 群集 b同步随处访问能实现跨主机、跨集群、跨数据中心的访问和在节点之间同步镜像，并克服延迟，带宽和连贯性方面的挑战的原因。利用对远距离 vmotion 的支持，迁移和移置虚拟机、应用程序和数据。实现透明地在数据中心之间共享和平衡资源。3、云备份技术方案备份服务器本地集中备份云存储服务传统备份技术采用lan-free或server-free方式将备份数据存储到本地的磁带库或者vtl设备上。云备份方式下，备份服务器建立与云存储服务的接口，将备份数据通过wan，以对象存储方式保存到远端存储，达到降低成本的目的。六、专利检索情况1、检索采用soopat（）专利数据库2、检索说明检索关键字“云计算” and “管理机制”，没有检索到相关专利检索关键字“云计算” and “生命周期管理”，没有检索到相关专利检索关键字“云计算” and “资源监控”，检索到2项专利自适应云计算方法和系统 - 201010507288.3 审中一种面向云计算的数据中心管理系统 - 201010267700.9 审中本发明公开了一种面向云计算的数据中心管理系统,它由:通用文件系统api模块、资源监控模块、资源告警模块、策略配置模块、规则引擎、资源调度模块、执行模块和资源虚拟化api接口模块组成,实现数据中心智能调度,改善数据中心的服务质量、提高可靠性降低运营维护成本。3、检索分析在云的管理机制和生命周期管理方面尚无相关专利涉及云计算的资源监控方面，专利“一种面向云计算的数据中心管理系统 ”与课题研究内容有一定关联度，如果此方面申请专利需要考虑规避。七、已有的研究工作积累和取得的研究成果针对各个省公司在以虚拟化为核心的iaas云计算的研究规划，10年技术部组织了联合项目it支撑系统云计算技术方案与规范，研究院联合省公司进行了云计算的方案研究和试点工作。项目提出了iaas云计算实施的总体技术框架，给出了构建iaas资源池的总体思路，提出计算平台的x86化策略，以及各类虚拟化技术的引入策略。项目的研究成果得到了技术部的认可，对项目的后续研究建议上，提出了两个方面的期望：未来云计算资源池具备一定规模后，将对资源的自动化管理和部署提出更高要求，后续应进一步加强在资源池管理平台的研究工作，并推进相关的试点验证工作；建议下一步将跨域的云计算资源池构建纳入研究范围，并将相关要求在技术规范中得到体现，为今后的云融合奠定技术基础。八、本课题的创新点和专利点l 复杂大型企业私有云构建l 三大it支撑系统的集中化云平台演进规划l 参考itil提出基于云计算的跨专业域的创新管理机制l 跨地域的云资源整合九、 外部合作伙伴委托方案无十、预期研究产出10.1 研究成果（研究报告、形成的软硬件平台）： iaas云计算资源管理技术研究报告-研究院项目总体研究报告，内容包括：l 在基地模式下，三大it支撑系统云平台的整合演进路线，整合后相适应的管理机制和制度体系，以及多系统的部署机制。l 在已实施虚拟化的资源池基础上，实现云资源的统一管理，实现资源的全生命周期管理。对上层应用提供云服务，实现应用的“自动化”部署。l 集中化背景下存储和计算云资源的关键技术前瞻性研究，包括跨地域的资源共享和云环境下系统的备份等基于云计算的多系统域融合管理体系研究报告-广东l 以基地建设规划为背景，规划三大it支撑系统域（oss、bss、mss）融合演进路线：整合切入系统的选择，分阶段整合规划，合理制定远期和近期目标；l 支撑系统的服务申请、审批、部署、使用、回收等制定管理流程和规范；l 以各系统业务需求及总体管理体制为基础，制定资源分配方式，资源部署调度策略，为云平台各功能模块建设和三大域的系统接入提供部署管理规范。私有云资源池总体技术架构研究报告-研究院提出企业私有云资源池的总体技术架构：l 结合现有it支撑系统安全域等要求，规划私有云的组网架构；l 计算平台的选择，x86化的策略；l 资源生命周期管理：满足it支撑系统不同sla的计算、存储和网络的资源需求；l 异构资源的监控管理；l 资源异地共享和云备份技术的前瞻性技术分析和引入策略。云计算资源生命周期管理研究报告-北京对企业私有云的资源设计、申请、发布、监控/运维、回收等全生命周期各阶段的特点进行研究：l 云计算资源生命周期管理规范和流程分析和验证服务资源自助申请、自动化创建流程及动态回收的各环节；l 云计算资源的自动化部署结合企业应用情况，制定不同sla等级要求的服务资源模板。l 计算平台的运维成本分析云计算存储资源监控研究报告-山东，河南企业私有云环境下存储资源的实时监控管理l 对企业私有云内的存储资源构建监控指标体系；l 对企业私有云内运行的各业务系统的资源使用情况的监控和统计；l 基于监控信息的存储资源规划和动态调整。云计算计算资源监控研究报告-河北，山西企业私有云环境下计算资源的实时监控管理l 对企业私有云内的计算资源构建监控指标体系；l 基于监控信息的计算资源规划和动态调整。云计算资源异地共享技术方案研究报告-广东对多个物理数据中心的资源共享进行前瞻性技术分析，并提出引入策略：l 跨地域资源共享的业务驱动分析；l 30-100公里范围内，多个物理数据中心之间资源共享的技术方案；l 技术引入策略。云计算系统的备份技术方案研究报告-安徽规划云计算资源池的备份解决方案：l 集中备份技术方案和适用场景分析；l 云备份的技术方案和适用场景分析；l 云备份和集中备份的技术比较和效益分析；l 备份方案引入策略。分布式云存储资源的管理研究报告-四川l 分布式文件存储系统技术架构和特点l 分布式存储系统对存储资源进行分配、权限控制、回收等技术方案。l 将hdfs文件系统映射到各种平台（包括移动设备）的本地操作系统上方案，使用户能够完全透明，方便操作和使用hdfs资源。10.2 标准成果（形成的企业标准及标准化组织成果）：10.3 专利成果（专利申请计划）：10.4 试验成果（开展的相关试验室及外场测试工作中形成的试验报告）：十一、课题研究分工单位分工内容研究产出负责人研究院项目总体组织规划，负责项目总体研究工作，牵头子课题“私有云资源池总体技术架构研究报告”研究iaas云计算资源管理技术研究报告私有云资源池总体技术架构研究报告安徽公司负责子课题“云计算系统的备份”云计算系统的备份技术方案研究报告北京公司负责子课题“云计算资源生命周期管理”云计算资源生命周期管理研究报告云计算资源生命周期管理研究报告 广东公司负责子课题“基于云计算的多系统域融合管理体系研究”基于云计算的多系统域融合管理体系研究报告负责子课题“云计算资源异地共享”云计算资源异地共享技术方案研究报告 山东公司负责子课题“云计算存储资源监控”云计算计算资源监控研究报告河南公司协助子课题“云计算存储资源监控”山西公司负责子课题“云计算计算资源监控”云计算计算资源监控研究报告河北公司协助子课题“云计算计算资源监控”四川公司负责子课题“分布式云存储资源的管理”分布式云存储资源的管理研究报告十二、项目研究计划进度2011年5月：项目启动，开题2011年6月：技术方案研究2011年7月-8月：构建软硬件环境2011年9月-10月：技术方案的测试验证2011年11月：完成项目研究报告2011年12月：项目结题十三、项目关键技术决策点及完成时间计划项目关键决策点决策点简要描述研究完成时间计划无十四、项目企业绩效贡献情况预测由于本项目为软课题性质研究，成果没有试点计划，因此难以评估实际的绩效贡献。项目对企业绩效贡献的量化路径图项目特征指标（pav）指标名称项目应用前指标现状值：pavc项目应用1年后指标预期值：pave1此项目带来的指标变动量：pav企业特征指标网络及生