银行开发测试云平台-总体规划

1、 银行开发测试云平台总体规划目录 TOC o 1-3 h z u HYPERLINK l _Toc500271206 第1章项目综述 PAGEREF _Toc500271206 h 4 HYPERLINK l _Toc500271207 1.1项目背景 PAGEREF _Toc500271207 h 4 HYPERLINK l _Toc500271208 1.2发展规划 PAGEREF _Toc500271208 h 5 HYPERLINK l _Toc500271209 第2章需求分析 PAGEREF _Toc500271209 h 7 HYPERLINK l _Toc500271210 2

2、.1我们对需求的理解 PAGEREF _Toc500271210 h 7 HYPERLINK l _Toc500271211 2.2我们对开发测试业务流程的理解 PAGEREF _Toc500271211 h 9 HYPERLINK l _Toc500271212 第3章建设目标 PAGEREF _Toc500271212 h 11 HYPERLINK l _Toc500271213 3.1本期目标 PAGEREF _Toc500271213 h 11 HYPERLINK l _Toc500271214 3.1.1SPDB Cloud Web Services统一接口 PAGEREF _Toc

3、500271214 h 11 HYPERLINK l _Toc500271215 3.1.2建立以自服务为中心的资源在线审批流程 PAGEREF _Toc500271215 h 11 HYPERLINK l _Toc500271216 3.1.3建立资源的自动化部署 PAGEREF _Toc500271216 h 11 HYPERLINK l _Toc500271217 3.1.4建立平台的自动化部署 PAGEREF _Toc500271217 h 11 HYPERLINK l _Toc500271218 3.1.5工单管理 PAGEREF _Toc500271218 h 12 HYPERLI

4、NK l _Toc500271219 3.1.6资源使用规范和生命周期管理 PAGEREF _Toc500271219 h 12 HYPERLINK l _Toc500271220 3.1.7监控与容量管理 PAGEREF _Toc500271220 h 12 HYPERLINK l _Toc500271221 3.2未来发展目标 PAGEREF _Toc500271221 h 12 HYPERLINK l _Toc500271222 第一步，开发测试云 PAGEREF _Toc500271222 h 12 HYPERLINK l _Toc500271223 第二步, 开发测试与非关键业务的半

5、融合云 PAGEREF _Toc500271223 h 13 HYPERLINK l _Toc500271224 第三步，生产融合云 PAGEREF _Toc500271224 h 13 HYPERLINK l _Toc500271225 第4章方案设计 PAGEREF _Toc500271225 h 14 HYPERLINK l _Toc500271226 4.1开源软件为核心的设计原则 PAGEREF _Toc500271226 h 14 HYPERLINK l _Toc500271227 4.1.1OpenStack PAGEREF _Toc500271227 h 14 HYPERLIN

6、K l _Toc500271228 4.1.2Eucalyptus PAGEREF _Toc500271228 h 15 HYPERLINK l _Toc500271229 4.1.3Cloud Foundry PAGEREF _Toc500271229 h 15 HYPERLINK l _Toc500271230 4.2总体架构设计 PAGEREF _Toc500271230 h 16 HYPERLINK l _Toc500271231 4.3本期实施框架 PAGEREF _Toc500271231 h 17 HYPERLINK l _Toc500271232 4.4功能模块设计 PAGER

7、EF _Toc500271232 h 18 HYPERLINK l _Toc500271233 4.4.1统一资源层 PAGEREF _Toc500271233 h 18 HYPERLINK l _Toc500271234 4.4.2调度执行层 PAGEREF _Toc500271234 h 20 HYPERLINK l _Toc500271235 4.4.3接口适配层 PAGEREF _Toc500271235 h 22 HYPERLINK l _Toc500271236 4.4.4PaaS平台层 PAGEREF _Toc500271236 h 23 HYPERLINK l _Toc5002

8、71237 4.4.5业务自服务门户层 PAGEREF _Toc500271237 h 25 HYPERLINK l _Toc500271238 4.4.6管理门户 PAGEREF _Toc500271238 h 25 HYPERLINK l _Toc500271239 4.4.7监控告警 PAGEREF _Toc500271239 h 26 HYPERLINK l _Toc500271240 4.5开发测试资源流程与场景 PAGEREF _Toc500271240 h 27 HYPERLINK l _Toc500271241 4.5.1开发测试用户场景 PAGEREF _Toc5002712

9、41 h 27 HYPERLINK l _Toc500271242 4.5.2管理员场景 PAGEREF _Toc500271242 h 29 HYPERLINK l _Toc500271243 4.6高可用设计 PAGEREF _Toc500271243 h 30 HYPERLINK l _Toc500271244 4.6.1Vmware虚拟化高可用 PAGEREF _Toc500271244 h 30 HYPERLINK l _Toc500271245 4.6.2Hyper-v虚拟化高可用 PAGEREF _Toc500271245 h 31 HYPERLINK l _Toc5002712

10、46 4.6.3应用虚机高可用 PAGEREF _Toc500271246 h 32 HYPERLINK l _Toc500271247 4.7集成接口 PAGEREF _Toc500271247 h 33 HYPERLINK l _Toc500271248 第5章预期收益 PAGEREF _Toc500271248 h 34 HYPERLINK l _Toc500271249 5.1规范化开发测试的资源管理流程 PAGEREF _Toc500271249 h 34 HYPERLINK l _Toc500271250 5.2提高资源的部署效率和资源利用率 PAGEREF _Toc5002712

11、50 h 34 HYPERLINK l _Toc500271251 5.3敏捷开发与DevOps PAGEREF _Toc500271251 h 34 HYPERLINK l _Toc500271252 第6章远景规划 PAGEREF _Toc500271252 h 35 HYPERLINK l _Toc500271253 6.1第一期：立足于IaaS，实现初级PaaS PAGEREF _Toc500271253 h 35 HYPERLINK l _Toc500271254 6.2第二期；优化IaaS流程，向高级PaaS演进 PAGEREF _Toc500271254 h 35 HYPERLI

12、NK l _Toc500271255 6.3敏捷开发与DevOps一体化，促进业务敏捷 PAGEREF _Toc500271255 h 35项目综述项目背景随着银行新一代系统建设的推进，应用系统的更新换代越来越迅速。互联网金融的兴起也对业务需求的敏捷性提出了越来越高的要求。时代的发展对银行开发测试项目的顺利有效进行提出了越来越高的挑战，采用云计算的模式管理开发测试资源，促进资源部署的敏捷性是大势所趋。开发测试云的建设将促进敏捷开发，及时响应业务需求，加快开发、测试、上线的周期。云计算是一种具备高度扩展能力的弹性技术服务，用户能够通过网络，按需使用。通过弹性共享的基础架构，智能自动的各级资源管理

13、，简便可控的服务交付，云计算可以助力解决传统开发测试环境架构的沉疴，集中资源创新，建立新的生态环境，真正实现开发测试中心的集约化可持续发展的模式。开发测试云的建设目标是利用先进的云计算技术，整合开发测试中心现有系统软硬件资源，构建包含存储集中、计算资源集中、整合平台环境自动化部署管理的开发测试云平台。本期通过IaaS云的建设，推进开发测试资源环境的运维管理标准化，资源审批流程化，中间件和数据库部署的自动化。未来基于本期IaaS打下的基础，促进PaaS平台云的落地，实现开发框架支撑平台的自助化，参数化和自动化。基于本期开发测试云的建设，我们建议银行的开发测试与运维流程向DevOps进行演进，HP

14、开发测试云平台已经为DevOps的落地奠定了资源设施和流程编排的基础。DevOps是一组过程、方法与系统的统称，用于促进开发、技术运营和质量保障（QA）部门之间的沟通、协作与整合。 它的出现是由于软件行业日益清晰地认识到：为了按时交付软件产品和服务，开发和运营工作必须紧密合作。开发测试云在基础架构云(IaaS)的层面，将促进开发测试所需资源的敏捷性，通过部署流程和审批管理，保障资源的生命周期可控与高效进行；但开发测试云不只是基础架构云，开发测试云同时也初步具备平台云(PaaS)的特征。在开发测试资源平台，用户可以直接部署所需的中间件、数据库、应用，而无需关注底层所依赖的环境资源，如CPU, 内

15、存，存储、操作系统、环境设置。用户只需要关注其所使用的中间件、数据库和应用是否可以高效的满足业务和开发测试的需求，而无需关注其支撑环境的细节，云平台通过自动化流程将保障开发测试所需平台的快速部署、弹性扩展和资源回收，减少开发测试人员配置环境所花费的大量时间，同时保障开发测试的环境与生产环境的高度一致性，避免因环境不一致引起的生产上线故障。发展规划根据对项目的了解，我们制定了开发测试云未来三到五年的规划分以下三期进行：第一期：建立开发测试资源池与云管理平台，构建完整的IaaS与初级PaaS平台。本期实现开发测试对资源使用的标准化与自助化，通过云计算门户，开发测试人员自助申请所需的资源。云计算门户

16、把开发测试常用的环境汇总成几大服务目录，项目组只需在服务目录中选择最适合自己的服务项，进行简单的几步配置，即可生成运行环境，其中包括虚拟机、存储、网络，所需安装的操作系统，所需安装的中间件、数据库等支撑软件，通过流程编排自动进行环境的部署。开发测试所提交的资源申请经过部门审批、云计算运维审批，最后由自动化引擎进行自动部署。同时，如果开发测试组需要对环境做出变更，也需要进行相应的资源审批。通过一期的建设，将规范化开发测试流程，梳理出标准化服务目录与资源流程编排模板，促进开发测试部署环境的进度。第二期：开发测试云优化，高级PaaS的演进。在一期的建设中对x86的部署大部分都使用vmware，只有少

17、量kvm和hyper-v。在二期将融合行内除x86虚拟化以外的资源，包括IBM Power小型机，HP-UX小型机，存储设备和网络设备，实现高度融合的云平台。同时，二期将实现资源的弹性和软自助负载均衡，包括web层，中间件层与数据库层的资源弹性。通过监控可是实时获取各层对资源的使用情况，在高峰时间将触发自动化流程增加新的节点，扩展服务能力。同时在闲时也将自动收缩，回收资源，以满足其他开发测试项目对资源的需求。本期将从流程上打通软件开发与测试，结合发布管理，加速从开发版本到功能测试到集成测试到Staging测试测环境部署效率，同时优化资源的部署使用效率。第三期：DevOps开发测试与运维。Dev

18、Ops是融合了开发、测试、运维的敏捷开发模式，通过环境的快速迁移与共享，使开发测试人员更熟悉生产运维环境，运维人员更熟悉开发测试模式。从开发测试到功能测试到集成测试到阶段测试到生产环境，每个阶段的问题都可以及时反馈回上一个阶段，从而使运维人员更及时发现问题，反馈问题，开发人员更迅速作出版本变更，测试人员更迅速获得环境进行版本测试并上线。DevOps促进了需求与实现的敏捷性，从长远意义将促进业务的灵活性。DevOps模式图示如下：需求分析我们对需求的理解通过对银行业务和环境的理解，以及在本次开发测试云的规划，需求，POC，立项等阶段的深入沟通交流，我行在本次项目中，通过引入成熟的云计算技术，建立

19、一套开发测试资源管理云平台，纳管行内开发测试环境已有的X86服务器，实现混合虚拟化软件（vmware, hyper-v, kvm）的统一管理。开发测试云平台在架构上要具备融合性和先进性，在今后需有能力无缝融合行内的其他设备，包括IBM Power小型机、HP-UX小型机、存储设备和网络等设施；从x86虚拟化的角度分析，行内开发测试环境具有230台左右x86服务器，大部分已部署vmware ESXi虚拟化软件，并通过vCenter进行管理。在vmware上运行大约1800个虚机，开发测试云要能够纳管已有的vmware环境，并将已有虚机纳入开发测试云平台管理，但不能影响虚机上的业务运行；同时，由于

20、行内已小范围采用Hyper-V虚拟化软件，并通过CSV构成集群共享卷，实现Hyper-v虚机的高可用和在线迁移。Hyper-v环境由System Center VMM进行管理和操作，因而开发测试云平台要具备通过SCVMM管理Hyper-V的能力；随着虚拟化使用范围的扩大和不断深入，行内已经在对kvm进行评估。开发测试云平台同时要能够管理kvm虚拟化，减少今后虚拟化软件的资产投入。从小型机的角度分析，行内生产和开发测试大量使用Power小型机和HP-UX小型机做为关键业务应用的运行系统，因而开发测试云要能够纳管Power小型机和HP-UX小型机。IBM 对Power小型机虚拟化之路，也一直在发展

21、和探索，从传统的System Director，HMC方式管理lPar，到与OpenStack集成整合的PowerVC，以及目前Power 8平台下的Power KVM，IBM一直在为Power探寻顺应云计算时代的虚拟化之路。HP云平台做为融合基础设施的倡导者，我们提供各种方式对Power进行管理，并在IBM工具的基础上进行创新，实现了具有HMC和无HMC直通IVM的不同管理方式，并在POC中进行了验证。云平台需具备对Power进行管理的能力，但考虑到本次项目的周期和规模，将把Power纳管工作放到今后项目中实施，开发测试云要能跟上技术发展，用当时最佳的方式对小机资源进行纳管。从存储的角度分析

22、，行内大量使用NetApp的存储设备和HP的存储设备，因而开发测试云要能够通过标准化的方式管理和使用存储资源。行内已经部署了vmware虚拟化软件和hyper-v虚拟化软件，不同的虚拟化使用存储的方式不同。对于vmware虚拟化，存储设备卷将以共享的方式挂载到ESXi，透过vCenter构建成datastore，虚机的镜像、实例文件和扩展磁盘都通过datastore方式进行管理和使用；对于hyper-v虚拟化，存储设备卷共享给Windows 2008 R2 Server或Windows 2012 Server,通过System Center在集群之间构建CSV集群共享存储卷，虚拟文件存储于CS

23、V卷内，从而实现虚拟的高可用和在线迁移。开发测试云管理平台要能够根据不同的虚拟化软件，选择对应的存储管理使用方式，实现存储的标准化使用和高效利用。从网络的角度分析，在当前阶段，开发测试云需兼容已有的网络架构。包括使用已有的vlan, 防火墙、安全策略和QoS策略，做好开发测试项目组之间的网络隔离和安全策略。未来三到五年，随着SDN概念的普及和应用，势必在行内得到关注和使用。因而开发测试云需要能够管理SDN，与SDN互动，灵活敏捷的通过软件控制网络策略，监控网络流量，并作出灵活的调整。从应用架构上分析，开发测试云需使用开放的架构，与业界成熟的云计算架构保持一致。目前广受关注的四大开源云计算阵营，

24、OpenStack和CloudStack，OpenNebula和Eucalyptus，都不乏厂商的拥护和支持。但OpenStack已经在竞争中胜出，受到更多的厂商和用户的青睐，发展迅速。因而，开发测试云要以OpenStack开放架构为核心，整合厂商已有的最佳实践，并且可通过定制化与行内实际情况深度集成，打造基于开源的企业级开发测试云解决方案。在开放云平台内核架构之上，要根据我行的特定需求制定统一开放的调用接口层:SPDB Cloud WebServices，满足今后各不同应用系统对云资源的调度使用需求。同时通过SPDB Cloud WebSErvices，实现架构上的松耦合，上层自服务门户和功

25、能实现上与底层资源调度实现解耦，建立灵活敏捷的可持续发展架构。从云计算层次上看，基础架构云(IaaS)从一定层面上可以解决行内开发测试资源部署管理和效率问题，但开发测试云不等于IaaS。行内有大量应用都是基于Weblogic中间件和Oracle数据库，是标准化的三层应用。对于这样的应用系统的开发测试，如果只是从IaaS获取了开发测试机器，还需要手工做很多重复性工作才能把机器用于应用的测试。因而，开发测试云需要从一定程度上实现PaaS平台云的特点。用户可以从云平台选择所需的平台功能，例如一台中间件或一台数据库。开发测试云平台根据客户的选项无需干预的交付所需的平台，用户不用关心该中间件或数据库部署

26、在什么硬件设备、什么操作系统，需要什么配置和环境变量，用户只关心其获得了所需的中间件或数据库，可以立刻执行应用的测试任务。同时，PaaS平台云具有弹性云计算的特点，可以根据工作负责动态伸缩，或资源回收，满足客户需求并提高资源效率。从开发测试云长远规划分析，开发测试云在当前阶段需实现基于x86设备的完善的IaaS功能，并配合审批流程提高资源效率；同时需实现初级PaaS，实现标准平台的供给能力；在二期需实现融合小机的纳管和高级PaaS，与行内开发框架紧密集成，实现API接口和程序代码层级的PaaS；在三到五年通过开发测试云逐渐引领开发测试团队走向敏捷开发和DevOps，在互联网金融日益深入的时代背

27、景下顺应潮流，促进业务的灵活性，持续创新。我们对开发测试业务流程的理解目前，在银行开发测试环境中已部署vmware软件，由管理员通过vCenter根据开发测试的需求创建虚拟化资源，供开发测试使用。行里在x86上应用的开发测试都在vmware虚拟机上进行。业务需求以项目的方式下达到开发测试部门，开发测试部门分项目组进行研发、并进行功能测试、集成测试、阶段测试，最后上线部署。开发测试所需资源由项目组统一提出申请，下达到运维运维部门。运维部门接到申请并经过审核，在现有开发测试资源中创建虚拟机，交付给开发测试部门使用。同时，开发测试部门具有IBM Power小机和HP-UX小机，由项目组预定使用，都是

28、由系统管理员手工进行系统安装和下放给开发测试人员使用。目前对资源的审批、开通都是由手工方式进行，效率较低，且资源回收困难。下放到开发测试使用的虚拟机难以管控，很多用于申请项目之外的目的。开发人员由于资源回收后重新申请周期较长，且需要独立重新安装所需的中间件、数据库或其它配置项，需要较高的技能和较长时间调试，因而不愿意回收某项目用完的虚机，而是在另外的项目继续使用。这种方式造成的结果是资源管控混乱，不能有效地利用资源，缺乏资源预警，缺乏量化的扩容指标。建设目标本期目标基于以上我们对我行需求的理解和开发测试流程的理解，我们在本次项目中实现以下目标： SPDB Cloud Web Services统

29、一接口开发测试云做为应用开发测试的核心设施平台，需要不止满足从云平台申请和创建设施资源的当前需求，同时还应该满足其他系统的对接需求，使第三方系统可以通过API连接到云平台创建资源。因而制定我行云计算的REST Web Service是本次项目建设的重要组成部分。功能门户平台都需要通过SPDB Cloud Web Services统一接口实现资源管理和资源调度，同时，第三方应用也能够通过统一接口消费云平台所提供的资源能力。在当前阶段我们会全部使用本地化私有云做为开发测试资源，但在未来三到五年，随着公有云的逐渐深入，统一调用接口可以和公有云平台进行互操作，构成混合云，进一步促进资源使用的灵活性，构

30、建节能减排IT新形态。建立以自服务为中心的资源在线审批流程构建一个开发测试资源自服务门户，为每个开发测试项目组以及人员建立账户，由开发测试项目组自助申请所需资源。每个项目组设置一名项目经理权限，项目组对资源的申请先由项目经理审批，然后由开发科集中审批，确保所申请的资源是项目合理所需。最后资源申请进入到运维部门，由运维部门审批后形成工单，自动进行资源部署，并自动发邮件通知。建立资源的自动化部署通过开发测试云平台可以申请虚机(CPU, 内存，磁盘)和操作系统。在申请服务目录页面选择所需资源的规格，开发测试平台会自动按照需求进行安装，交付后获得的虚机直接即可使用。建立平台的自动化部署通过开发测试云平

31、台可以申请中间件和数据库等开发支持平台。在申请服务目录页面选择所需平台的类型和规格，开发测试平台会自动按照需求进行安装，交付后获得的平台（数据库、中间件）,直接即可使用工单管理审批完成的资源申请最后形成工单。工单分两类：自动化执行工单和人工下派工单。自动化执行工单会提交给自动化引擎，调度虚拟化软件和流程编排软件进行部署；人工下派工单需派给工程技术人员，由人工执行，例如对裸机的部署。工单管理将规范化资源管理，在后台进行记录，形成统计图表。资源使用规范和生命周期管理通过这次开发测试云平台的建设，要规范化开发测试流程，建立起资源的使用规范和生命周期管理机制。开发测试人员遵从规范，针对某一项目申请的资

32、源使用完成后需及时释放，不允许用于其它项目。由于开发测试云平台部署资源非常快速，而且可以到达应用一级，所以开发测试人员无需担心重新构建开发测试环境的复杂度。监控与容量管理通过对云平台完善的监控，可以形成统计报表，预测既有资源可以支持未来多少项目的使用。容量管理使信息中心可以做到未雨绸缪，及时扩容，保障开发测试项目的顺利进行。未来发展目标我们建议以开发测试云项目为契机，逐步规范化我行的开发、测试、生产、运维一体化管理。我们建议开发测试云分以下三步走：第一步，开发测试云开发测试云做为资源的自助平台，规范化开发测试流程，促进敏捷开发与业务快速上线，解决运维资源利用率不高与开发测试资源紧张的矛盾。第二

33、步, 开发测试与非关键业务的半融合云开发测试云纳管了已有的测试资源，今后可以扩展资源池，建立非关键业务部署的云平台。例如，可以从OLTP集中交易数据库分出分析型事务，运行于OLAP数据库。而OLAP数据库可以建立在融合云平台的生产区域。生产区域云将具有云平台的弹性资源特点，具备自动伸缩能力，例如建立在云平台的OLAP数据库，在白天主要负载来自于数据复制和报表查询，负载量较轻，会自动收缩到单个数据库实例；随着报表的压力增加，数据库会自动扩展成两个节点；夜间跑批业务量加大，会自动扩展到4个和8个节点；随之循环，按照负载情况自动改变集群中节点的数量。第三步，生产融合云该期将总结开发测试云的建设经验，

34、制定逐步进行生产环境云平台建设的计划和步骤。由于在开发测试云建设中已经实现了版本发布管理和测试环境的自动化发布流程，因而该自动化流程过渡到生产云是必然的趋势，可以很好的避免上线部署的人工失误，减少生产系统的维护窗口时间。从开发测试云到生产云可遵从从周边到核心，从标准化到特殊化的原则，选择有代表性的应用逐步完成应用系统到生产云的迁移工作。方案设计开源软件为核心的设计原则HP开发测试云管理平台使用开放性技术，与IT发展的主流技术保持一致。目前开源社区活跃着四大开源云计算平台，分别是OpenStack, CloudStack, OpenNebula和Eucalyptus，发展和更新非常快速，代表了云

35、管理平台的先进水平。各云平台供应厂家都会从中选择一种开源技术作为自己云计算产品的内核，从而保证技术的先进性与功能上的快速发展。同时，开源云计算平台接口和模块化已成为云计算业界的事实标准，选择开源技术作为厂家云计算产品可以保障产品的开放性和标准性。HP是OpenStack的最高等级白金会员，并且收购了Eucalyptus，同时也是开源PaaS云平台Cloud Foundry的创始会员。HP把各家开源云平台进行了企业级融会贯通，进行企业级加固和功能增强，构建完整的开源云平台生态系统。HP在开源云计算的支持和采纳上是史无前例的，奠定了HP云计算解决方案的基础。此次开发测试云项目中，将使用OpenSt

36、ack做为技术核心，结合Eucalyptus混合交付API的设计，充分考虑我行的IT现状与具体需求，为行内量身定做基础设施云解决方案。以下将针对与HP云计算方案相关的开源软件进行介绍。OpenStackOpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。它的社区拥有超过130家企业及1350位开发者，这些机构与个人都将OpenStack作为基础设施即服务（简称IaaS）资源的通用前端。OpenStack项目的首要任务是简化云的部署过程并为其带来良好的可扩展性。本文希望通过提供必要的指导信息，帮助大家利用OpenStack前端来设置及管理自己的公共云或私有云。OpenSta

37、ck 是由 Rackspace 和 NASA 共同开发的云计算平台，帮助服务商和企业内部实现类似于 Amazon EC2 和 S3 的云基础架构服务(Infrastructure as a Service, IaaS)。OpenStack 包含两个主要模块：Nova 和 Swift，前者是 NASA 开发的虚拟服务器部署和业务计算模块；后者是 Rackspace开发的分布式云存储模块，两者可以一起用，也可以分开单独用。OpenStack 是开源项目，除了有 Rackspace 和 NASA 的大力支持外，后面还有包括 Dell、Citrix、 Cisco、 Canonical 这些重量级公司的

38、贡献和支持，发展速度非常快。HP是开源云平台OpenStack最早的支持者，也是主要贡献者之一。目前HP是OpenStack的八大白金会员之一，代码贡献率也名列前茅。OpenStack是HP云计算的长期发展策略，包括HP公有云和企业私有云，都会采用OpenStack做为产品和服务的核心。EucalyptusEucalyptus是一种开源的软件基础结构，用来通过计算集群或工作站群实现弹性的、实用的云计算。它最初是美国加利福尼亚大学 Santa Barbara 计算机科学学院的一个研究项目，现在已经商业化，发展成为了 Eucalyptus Systems Inc。Eucalyptus 仍然按开源项

39、目那样维护和开发。HP在2014年9月收购了Eucalyptus，进一步扩展HP在企业私有云和混合云的技术能力。同时，Eucalyptus的创始人也加盟HP，做为全球副总裁负责HP云计算事业。Cloud Foundry在平台云的领域，HP是Cloud Foundry基金会的创始会员之一，并且以Cloud Foundry做为企业PaaS平台云的核心。Cloud Foundry是VMware于2011年4月12日推出的业界第一个开源PaaS云平台，它支持多种框架、语言、运行时环境、云平台及应用服务，使开发人员能够在几秒钟内进行应用程序的部署和扩展，无需担心任何基础架构的问题。同时，它本身是一个基于

40、Ruby on Rails的由多个相对独立的子系统通过消息机制组成的分布式系统，使平台在各层级都可水平扩展，既能在大型数据中心里运行，也能运行在一台桌面电脑中，二者使用相同的代码库。HP把Cloud Foundry做为自己PaaS平台云的发展策略，并且对Cloud Foundry做了扩展和优化，构建成为HP的PaaS平台云发行版本。作为新一代云应用平台，Cloud Foundry专为私有云计算环境、企业级数据中心和公有云服务提供商所打造。Cloud Foundry云平台可以简化现代应用程序的开发、交付和运行过程，在面对多种公有云和私有云选择、符合业界标准的高效开发框架以及应用基础设施服务时，可

41、以显著提高开发者在云环境中部署和运行应用程序的能力。总体架构设计根据以上建设目标，以及基于HP对开源云管理软件为核心的发展策略，我们设计我行可持续发展的开发测试云总体构架，即满足本期建设需求，又能保障今后向PaaS平台云的扩展性需求，以及融合小机资源统一纳管的需求。架构中包含了开发测试项目组自服务门户、云管理员运维门户、服务运营、资源管理、流程及调度自动化、资源池子系统做为核心功能模块；同时包含围绕在周边的用户管理、报表系统、备份系统、运维系统、安全管理和监控系统，以提高开发测试云平台的可用性。 本期实施框架基于以上我行开发测试云的整体架构，结合本期建设的目标和范围，并充分考虑开源技术的成熟度

42、，我们设计我行开发测试云的本期实施架构如下：以上应用架构的层次和部件组织上采用松耦合的方式，Hp云管理平台做为用户门户，和底层资源池完全解耦，通过SPDB Cloud WebServices调用所需接口。因而该架构扩展能力强，易于和不同的资源池类型进行对接。考虑到OpenStack是业界未来发展的趋势，受到广大厂商的广泛支持，因而该架构的核心和目标是通过OpenStack统一管理各类资源池。目前，OpenStack对vmware和kvm的管理已日渐成熟，但对hyper-v, xen, power, hp-unix虚拟化的支持仍待改进。在我们的方案中，OpenStack已经可以成熟纳管的虚拟化技

43、术，我们将使用OpenStack进行管理，但对于目前受OpenStack支持有限的虚拟化资源池，我们采用Adapter资源适配器来进行管理。未来在OpenStack增强了对这些Hypervisor的支持，并且HP验证稳定可靠，可以用于生产的情况下，会统一由OpenStack进行管理。受益于系统的松耦合架构，该切换对上层云计算管理平台没有影响，对客户操作体验没有影响，对底层资源池也没有影响，可以无缝的平滑进行。功能模块设计统一资源层统一资源层是整个云管理平台的最底层，包括物理硬件资源和虚拟化资源。物理资源包括服务器类，存储设备类和网络设备类。服务器类：HP云管理平台可以管理数据中心主流的所有服务

44、器设施，有x86刀片，x86机架式服务器，IBM Power小型机，HP-UX小型机；在这个层面上，HP采用开源OpenStack的Ironic模块对硬件服务器进行统一管理。对于HP的x86，采用ILO硬件控制台进行管理；对IBM x86，采用IMM控制台进行管理，对于Power小型机，采用System Director进行管理，对HP-UX，采用OA模块进行管理。存储设备类：HP云管理平台可以管理数据中心主流的存储设备，包括EMC, NetAPP, HP等厂家的块存储设备，NAS存储设备。同时支持对FC光纤交换机进行Zone的划分设置，LUN区域映射等基本操作。同时存储设备类支持存储虚拟化，

45、如IBM SVC，可以调用存储虚拟化接口，屏蔽底层不同存储设备的差异，用统一的接口对存储资源池进行统一管理。网络设备类：HP云管理平台可以管理主流网络设备，包括Cisco, Huawei等厂家的交换机，对交换机设置VLAN，设置转发规则等。虚拟化资源类，包括市场主流的虚拟化软件：VmwareVmware是目前最好的商业虚拟化软件，功能全面。Vmware的设计是由虚拟化管理员通过vcenter管理整个vdc(虚拟化数据中心)，但不具备用户自服务、服务目录和审批流程和自动化等云计算管理的高级功能。银行已大量部署VMWARE的虚拟化软件，初步实现了PC服务器的虚拟化，对于应用部署的虚机资源请求，管理

46、员人工进行创建、初始化、分配IP地址等操作。因而本次建设主要面对vmware虚拟化软件，实现对vmware虚机部署的自服务和审批流程，以及自动化安装操作系统、初始化、参数配置和基础软件的参数化安装部署。KvmKVM是基于Linux操作系统内核的虚拟化技术，集成于Linux发行版本，无需额外采购。考虑本项目的规模，以及持续的扩展性需求，集成于操作系统本身的KVM技术将是最适合的虚拟化平台选择。KVM是一种高效的虚拟化技术，需要英特尔虚拟技术(VT, Virtualization Technology)或AMD安全虚拟机(SVM/AMD-V)的支持。KVM通过直接调用CPU硬件提供的虚拟化技术，最

47、大限度提升虚拟化效率，减少系统开销。KVM发展迅速，可以帮助企业降低虚拟化和云平台的采购成本，降低云的整体拥有成本。越是大型的VDC，通过采用开源KVM越是能显著降低成本。考虑到未来云计算数据中心的规模发展，我们建议银行今后项目中可采用vmware和kvm混合的虚拟化环境，这样既能兼容和保留已有的vmware资产，又能在未来扩容时，综合考虑各种虚拟化技术与部署需求的规划，选择最适合最节俭的扩容方案。我方方案支持混合资源池。Hper-vHyper-V是微软提出的一种系统管理程序虚拟化技术。Hyper-V最初预定在2008年第一季度，与Windows Server 2008同时发布。Hyper-V

48、设计的目的是为广泛的用户提供更为熟悉以及成本效益更高的虚拟化基础设施软件，这样可以降低运作成本、提高硬件利用率、优化基础设施并提高服务器的可用性。Hyper-V采用微内核的架构，兼顾了安全性和性能的要求。Hyper-V底层的Hypervisor运行在最高的特权级别下，微软将其称为ring -1（而Intel则将其称为root mode），而虚拟机的OS内核和驱动运行在ring 0，应用程序运行在ring 3下，这种架构就不需要采用复杂的BT（二进制特权指令翻译）技术，可以进一步提高安全性。XenXen 是一个开放源代码虚拟机监视器，由剑桥大学开发。它打算在单个计算机上运行多达100个满特征的操

49、作系统。操作系统必须进行显式地修改（“移植”）以在Xen上运行（但是提供对用户应用的兼容性）。这使得Xen无需特殊硬件支持，就能达到高性能的虚拟化。但Xen归根到底是一种半虚拟化技术，需要对操作系统进行更改，提供操作系统driver. 考虑到日后发展的速度，以及对银行所使用的广泛操作系统的支持要求，我们不建议使用xen做为虚拟化软件。HP云管理平台支持Xen。调度执行层调度执行层是整个云计算数据中心的智能执行引擎，是云管理平台的底层技术内核与大脑，因而这个层次是云平台最重要的部分，也是HP云技术区别于其他技术的优势所在。在调度执行层针对不同的底层资源具有不同的调度自动化模块，模块功能如下：Op

50、enStack调度执行层以OpenStack做为核心，对X86的物理资源和虚拟化资源进行统一管理。HP是OpenStack的白金会员，是业界最早的宣布支持OpenStack的企业之一。HP基于OpenStack的公有云，是业界第一个以OpenStack为核心的公有云供应商，在2011年即已上线运营，通过OpenStack管理着具有数以千计的计算节点，数以PB的分布式存储。HP在公有云运营中积累了大量的OpenStack最佳实践，并反馈到HP的产品中，形成了HP自己的OpenStack商业发行版，具有稳定、易用、易于扩展、高性能、高可用等特点。HP做为OpenStack的贡献者，多年来在代码贡献

51、率方面处于贡献前列。HP在OpenStack委员会具有两位董事会成员和两位技术委员会成员，在标准制定和发展路线上有举足轻重的地位。同时，HP主导了TripleO, Ironic和DBaaS等OpenStack开源项目，并提供专职员工持续贡献和跟进项目Power SchedulerIBM Power小机资源调度器模块，负责对Power物理机和虚拟机进行调度管理。管理Power的方式上，Power Scheduler支持HMC方式管理，同时也支持IVM方式管理。HMC是IBM的商用软件，可以对多台Power小机统一进行管理。IVM是Power机器自带的虚拟化管理控制台，不需要额外购买。考虑到很多客

52、户没有HMC，为降低总体拥有成本，提高性价比，Power Scheduler可以支持IVM，把调度逻辑上升到Scheduler模块执行。由于采用了IVM逻辑盘镜像克隆的方式部署lPar逻辑分区，因而部署速度非常快，比NIM Server恢复的方式和自动化安装的方式部署速度要显著提高。HP-UX SchedulerHP-UX小机调度器，负责对HP-UX小机进行调度管理。该模块通过调用VSP接口实现对HP-UX小机vPar的划分、挂载逻辑盘和安装操作系统。同时通过调用OA控制台，对HP-UX小机物理设备进行管理。由于HP-UX是我方自有产品和技术，因而在对HP-UX的管理方面，具有最佳方案，并和今

53、后HP-UX的持续发展路线保持同步。OO自动化Operations Orchestration简称为OO，用于实现标准运维和ITIL流程的自动化。它还针对您的数据中心运维提供了大量即购即用的工作流。随着数据中心不断扩展和日益复杂，应用、虚拟服务器与物理服务器、网络设备及存储基础设施逐渐增多，许多IT 组织也相应地实施了关键IT 管理系统，如自动化系统、服务台工具、问题记录系统和监控工具，以管理日益复杂的数据中心。但是，由于管理系统的各自为政，IT部门很难实现系统间操作流程的准确与一致性。在云平台设计中，HP OO起到关键性作用。在自动化部署数据库、中间件、自动化部署操作系统并初始化参数、配置网

54、络等很多功能，都需要采用OO自动化流程引擎进行处理。OO是云平台自动化的关键技术。HP云管理平台同时可以支持第三方软件“Cobbler”和”Puppet”做为自动化部署工具。在本项目中，将使用Puppet做为自动化部署工具。Puppet是一种Linux、Unix、windows平台的集中配置管理系统，使用自有的puppet描述语言，可管理配置文件、用户、cron任务、软件包、系统服务等。puppet把这些系统实体称之为资源，puppet的设计目标是简化对这些资源的管理以及妥善处理资源间的依赖关系。puppet采用C/S星状的结构，所有的客户端和一个或几个服务器交互。每个客户端周期的（默认半个小

55、时）向服务器发送请求，获得其最新的配置信息，保证和该配置信息同步。每个puppet客户端每半小时(可以设置)连接一次服务器端, 下载最新的配置文件,并且严格按照配置文件来配置服务器. 配置完成以后,puppet客户端可以反馈给服务器端一个消息。流程管理引擎流程管理引擎提供云平台的审批流程、工单流程和自动化执行流程。用户资源请求将下发到流程管理引擎，由流程管理统一根据定义的工作流进行下发执行。接口适配层接口适配层把云平台能力抽象和封装成RESTFUL WebService API，供业务门户和管理门户进行调用。在HP云管理平台方案中，业务门户层和管理门户层的功能都是通过调用接口适配层的API完成

56、功能项。接口适配层兼容Amazon Web Services，是业界的实施标准。同时，由于采用标准接口层，第三方应用和周边业务系统可以方便快捷的和云管理平台进行集成，快速扩展云平台的能力。接口适配层所提供的接口分成两类，即IaaS类接口和PaaS类接口，无论基础设施服务还是平台服务，都可以通过公共API调用透传完成，方便与外部系统对接。同时，通过接口适配层，云管理平台可以扩展云市场，并和业务系统进行挂钩，从而实现一个云管理系统，多个业务系统共用，达到节约资源，提高云平台利用率的目的。HP云管理平台的开放性和扩展性可以有效避免系统的重复建设。PaaS平台层PaaS平台层提供平台即服务能力。HP的

57、PaaS平台目前使用OO流程编排或开源的Puppet实现，在未来可以和Cloud Foundary进行无缝整合，实现真正的开发架构服务，加速应用的开发、测试、部署的生命周期，促进业务的敏捷性。PaaS平台层分成以下三类能力：数据库平台云数据库平台云提供关系型数据库的自动化部署，无需人工操作，系统自动按照专家经验，按预设的参数自动化安装数据库服务。所能支持的数据库有Oracle RAC, DB2，mysql， sql server等。自动化参数化数据库安装不同于通过vmware模板生成虚机的方式安装。模板方式所配置的数据库参数是固定的，不灵活，难以用一套模板适用多个不同的开发项目。而且封装成模板

58、的数据库软件，重新生成虚机的稳定性也是难以保障的。例如db2，一旦模板安装出来虚机IP地址与制作模板时不同，是不能直接启动数据库的，必须做复杂的初始化和重新加载的操作。这在很大程度上增加了管理员的工作量，不利于云计算方式的部署。自动化参数化安装的方式，则有效避免模板化部署的这一弊端，通过专家经验编写的安装流程，一来可以降低安装技能的需求，提高部署效率；二来灵活方便，每一个安装参数都可以定制化，满足不同项目的个性化需求。中间件平台云中间件平台云提供主流中间件的自动化部署，无需人工操作，系统自动按照专家经验，按预设的参数自动化安装中间件服务。所能支持的数据库有Weblogic, Websphere

59、, tomcat, JBOSS等。自动化参数化中间件安装不同于通过vmware模板生成虚机的方式安装。模板方式所配置的中间件参数是固定的，不灵活，难以用一套模板适用多个不同的开发项目。而且封装成模板的中间件软件，重新生成虚机的稳定性也是难以保障的。例如websphere，一旦模板安装出来虚机IP地址与制作模板时不同，是不能直接启动的，必须做复杂的初始化和重新加载的操作。这在很大程度上增加了管理员的工作量，不利于云计算方式的部署。自动化参数化中间件安装的方式，则有效避免模板化部署的这一弊端，通过专家经验编写的安装流程，一来可以降低安装技能的需求，提高部署效率；二来灵活方便，每一个安装参数都可以定

60、制化，满足不同项目的个性化需求。大数据平台云随着大数据业务的兴起，现在有很多业务需要用到大数据平台。但是大数据平台的搭建是相对复杂的，如果每个应用都建立一套自己的大数据，也是不经济的。因而，平台云提供了大数据支持，业务系统可以通过云平台申请所需的大数据能力。平台云集成了Hadoop集群自动化安装配置的能力。业务和应用系统可以通过自服务门户申请所需的大数据能力，配置所需的节点数，存储容量等信息，云平台会自动化按需安装所需的Hadoop集群，提交给业务用户。当大数据分析能力用完后，可以随时释放占用的资源，供给其他业务应用使用。因而，大数据平台是充分利用了底层基础设施云的能力，简化了大数据的部署和回