集团云数据中心计算资源池-规划设计

1、PAGE 集团云数据中心计算资源池详细规划设计目录 TOC o 1-3 h z u HYPERLINK l _Toc47296915 1前言 PAGEREF _Toc47296915 h 2 HYPERLINK l _Toc47296916 1.1背景 PAGEREF _Toc47296916 h 2 HYPERLINK l _Toc47296917 1.2文档目的 PAGEREF _Toc47296917 h 2 HYPERLINK l _Toc47296918 1.3适用范围 PAGEREF _Toc47296918 h 2 HYPERLINK l _Toc47296919 1.4参考文档

2、 PAGEREF _Toc47296919 h 2 HYPERLINK l _Toc47296920 2设计综述 PAGEREF _Toc47296920 h 3 HYPERLINK l _Toc47296921 2.1设计原则 PAGEREF _Toc47296921 h 3 HYPERLINK l _Toc47296922 2.2设计思路 PAGEREF _Toc47296922 h 5 HYPERLINK l _Toc47296923 2.3建设目标 PAGEREF _Toc47296923 h 7 HYPERLINK l _Toc47296924 3集团云计算规划 PAGEREF _T

3、oc47296924 h 8 HYPERLINK l _Toc47296925 3.1整体架构规划 PAGEREF _Toc47296925 h 8 HYPERLINK l _Toc47296926 3.2资源池规划 PAGEREF _Toc47296926 h 8 HYPERLINK l _Toc47296927 3.2.1计算资源池 PAGEREF _Toc47296927 h 9前言背景集团信息中心中心引入日趋成熟的云计算技术，建设面向全院及国网相关单位提供云计算服务的电力科研云，支撑全院各个单位的资源供给、数据共享、技术创新等需求。实现云计算中心资源的统一管理及云计算服务统一提供；完成

4、云计算中心的模块化设计，逐渐完善云运营、云管理、云运维及云安全等模块的标准化、流程化、可视化的建设；是本次咨询规划的主要考虑。文档目的本文档为集团云计算咨询项目的咨询设计方案，将作为集团信息中心云计算建设的指导性文件和依据。适用范围本文档资料主要面向负责集团信息中心云计算建设的负责人、项目经理、设计人员、维护人员、工程师等，以便通过参考本文档资料指导集团云计算数据中心的具体建设。参考文档集团云计算咨询项目访谈纪要信息安全技术信息系统安全等级保护基本要求（GB/T 22239-2008）信息系统灾难恢复规范（GB/T20988-2007）OpenStack Administrator Guide

5、（ HYPERLINK / /）OpenStack High Availability Guide（ HYPERLINK / /）OpenStack Operations Guide（ HYPERLINK / /）OpenStack Architecture Design Guide（ HYPERLINK / /）设计综述设计原则结合集团当前的实际现状及未来三年业务发展需求，此次云计算规划的考虑原则如下：关注IT能力的快速提升IT能力包括业务服务能力和运维能力上。业务服务能力上，从技术层面来说，包括物理硬件资源、云计算资源抽象层、统一的应用平台以及应用软件。运维能力则包括了人员、流程、工具等各

6、个方面。IT能力组成示意对于云计算技术的选择以及运维工具的选择上，在技术对比之外，更应关注于选择本身是否能给集团带来业务服务能力以及运维能力的快速提升上，并以此作为评判的基本原则。采用开放的架构开放本身有两个含义：源代码开放和标准开放。源代码开放，允许集团可以拥有完全的掌控，可以修改或则增加新的功能满足集团自身的需要；标准开放意味着集团可以通过各种符合标准的产品构成自己的云计算方案开放架构的两方面含义对于集团而言，标准开放比源代码开放更重要。源代码开放虽然能够让集团拥有完全的掌控，但由于人力的持续投入，以及业务重心的考虑，所谓的“完全的掌控”并不一定能够获得；而标准开放可以避免受单个实体控制（

7、使单个实体受益），这是集团更应关注的。关注资源的弹性资源的弹性来自于集团的业务需求，也是重要的设计原则。资源的弹性体现在各个层面。硬件层面更多的表现为资源可以线性扩展，可以快速部署；IAAS平台层面则需要能够支撑管控规模的线性扩展；云资源层面则真正实现资源的弹性，可以随着业务量的增多而弹性增加，也可以随着业务量的萎缩而弹性收缩；应用层面的弹性则更多的体现在灵活的部署上。其他通用原则除去上述集团应该特别关注的原则外，整个规划设计还需要考虑下述通用原则：其他通用原则汇总高可用性：结构的高可用性，资源的冗余部署，逻辑关系的松耦合设计，不会因为任何一个模块发生故障而影响业务的开展。具体来说，包括物理网

8、络、云计算资源、云计算平台、业务应用自身等各个层面的高可用。安全性：安全区域合理规划，安全策略精细化部署，安全策略进行统一的管理，能够满足未来业务发展对安全的需求。灵活性：满足业务与应用系统灵活多变的资源分配及部署需求。可管理性：结构简单、健壮，易于管理和维护，满足监管要求及日常运维的需求，并提供及时发现和排除故障的能力。性能：采用的技术应带来性能的提升，至少本身不会带来性能的大幅下降。设计思路集团云计算的服务对象包括业务及科研体系、运维体系、管理层，未来则可能面向集团，甚至其他企业提供服务。每个服务对象对云计算的关注和诉求均存在不同。具体分析各个对象的需求，可以发现：自有业务体系：能够方便、

9、快速的获得所需IT资源，不愿介入IT本身的管理维护，业务系统不中断；其他业务体系：对云内隔离的疑虑，对云内安全的需求，对可靠性保证的担忧；管理层：关注投资收益比，能方便的获得投资决策数据，包括业务的经营数据，IT的运营数据；运维体系：平台可靠，易于管理，业务快速自愈能力，弹性扩展能力，运维工作量低，完善的安全防护；建设者：建设者和运维体系可以是一个实体，但基于对象考虑它有其独特的需求。初始能够快速建设，后续能够快速的扩容，建设周期短，人员投入少，建设质量有保证；针对各个对象需求分析总结，云计算的规划思路主要在于标准化模块化、资源池化、资源服务化、云容量的可视化、运维部署自动化、资源高可用、云安

10、全服务、运维场景化这些方面，具体分析见下面的表格。针对服务对象的云计算规划思路分析服务对象分析云计算相关规划思路自有业务体系关注资源提供的数量及类型、及时性，自服务能力等，可用性资源池化、资源服务化、业务连续性其他业务体系可用性、安全隔离云安全服务、业务连续性管理层资源利用率、业务数据云容量的可视化建设者可扩展性标准化、模块化运维体系可维护性、业务连续性、可管理性、可视化、自动化、安全业务连续性、云安全服务、运维部署自动化，运维场景化对前面的规划思路进行归纳分类，云计算的规划主要需要考虑下面的六点：物理资源的模块化、标准化；资源池化；统一管理平台（统一平台的资源服务化、云容量的可视化、运维部署

11、自动化）；业务连续性；云安全服务；运维场景化；后面针对每一点分别进行具体分析。建设目标结合集团IT架构现状和未来业务发展的需求，我们给出的解决建议有采用标准化硬件基础设施建设；建设云计算高可用架构的统一资源池；建设统一的云管理平台；构建统一的PaaS平台；构建运维体系、流程和工具；建设基于等保的安全体系，最终达到IT资源统一云化、科研环境平台化、业务应用服务化、运维管理自动化的云计算建设目标。集团云计算规划整体架构规划日前，集团发布信息通信新技术推动智能电网和“一强三优”现代公司创新发展行动计划（以下简称行动计划），推进大数据、云计算、物联网和移动互联等新技术在智能电网和“一强三优”现代公司建

12、设中的创新应用。集团未来三年云计算整体蓝图，需要构建多中心的“科研云”，全面提升集团未来的业务创新能力，保障业务快速安全交付。对于其中同城云数据中心内的建设，则可以划分为物理资源层、虚拟化平台层、云服务层，以及贯穿各个层面的运维管理层整个科研云涵盖IaaS、PaaS、SaaS服务，提供完整的云计算服务；同时科院云是符合等保三级和集团合规要求的安全可靠的云；同时建设统一的运营、运维管理体系贯穿整个科研云各个层面；构建集团统一的云服务门户，通过云服务门户统一对内对外提供云服务，支持科研各应用领域： 资源池规划针对集团此次云计算的建设，从基础网络、云网络、计算、存储、云平台、安全、运维和容灾八个领域

13、对云计算进行规划设计，基于开源的高可用的商用云计算架构，各组件松耦合、模块化、标准化，实现云计算的灵活性，最终实现统一的资源池化、统一资源管理和统一资源交付的目标。计算资源池计算资源池设计目标目前调研来看集团大部分的业务系统都是适合虚拟化的，并且目前正在进行业务云化的工作；但大数据平台等高性能计算、高IO的系统应该部署在物理服务器上，以减少虚拟化平台的资源争用 。因此，集团计算资源池建设目标：将虚拟化、裸金属、高性能计算、大数据资源的统一池化，通过统一的云平台，实现对各种异构资源的统一整合管理，同时针对不同的业务需求，实现亲和性的多资源池智能调度。虚拟化资源池规划设计在云计算体系中，x86架构

14、服务器是计算资源池的核心。将相同或者相似类型的服务器组合在一起，通过安装虚拟化软件，实现服务器的软硬解耦，屏蔽物理设备的差异，统一管理和调度，从而形成统一的计算资源池。完整的虚拟化系统逻辑架构如下图所示：在虚拟化系统架构中，虚拟化软件应该包括两个部分，即虚拟化内核和虚拟化管理系统。虚拟化内核运行在物理服务器和上层操作系统之间的“元”操作系统，用于协调上层操作系统对底层硬件资源的访问，减轻软件对硬件设备以及驱动的依赖性，同时对虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优化等问题进行处理和优化。结合集团未来云规划，虚拟化集群应该选择KVM内核架构，并且兼容现有的虚拟化平台。虚

15、拟化管理系统实现对数据中心内的计算、网络和存储等硬件资源和虚拟资源的统一管理和调度，形成虚拟资源池；虚拟化管理系统对上层应用提供自动化服务，包括：虚拟计算、虚拟网络、虚拟存储、高可靠性（ HA）、动态资源调度（ DRS）、虚拟机容灾与备份、虚拟机模板管理、集群文件系统、虚拟交换机策略等。为了对外提供差异化的服务质量，我们应该按照不同应用场景，对计算资源进行分组，从而在逻辑上形成多个不同的计算资源区。每个计算资源区用于某些预定义的应用群组，内由多个同类型服务器构成。通过选择不同的服务器型号和数量，高可用架构（HA，负载均衡），来满足不同应用分组在高可用性和性能方面的不同需求。在云计算资源区中，对

16、计算资源采用分层管理的模型可以有效的降低管理复杂度，提高管理效率。在分层管理模型中，从顶层到底层一般分为云资源、主机池、集群、宿主机和虚拟机等；其中云资源、主机池和集群属于逻辑组件，宿主机和虚拟机属于物理组件。云资源分层管理模型中的顶层资源，涵盖虚拟化系统可管理范围内所有的硬件基础设施，包括服务器、存储和网络。主机池一系列主机和集群的集合体，主机可纳入集群中，也可以单独存在。没有加入集群的主机全部在主机池中进行管理。集群一系列主机的集合，系统通过对集群内主机和虚拟机状态的监控，可以实现虚拟机的高可用性、资源动态调度等特性主机物理服务器，即虚拟化宿主机，为虚拟机提供硬件环境；虚拟机由运行在宿主机

17、上的虚拟化内核模拟形成，每台虚拟机都是一个完整的系统使用虚拟化集群的目的是克服单机虚拟化的局限性，利用技术手段提高虚拟机的可用性，最终达到业务不中断或减少业务中断时间，确保业务数据更安全的目标。虚拟化平台应具备如下功能架构，目前集团已经建成计算资源池，但是在虚拟化的高可靠、资源动态调度需要优化，资源弹性伸缩和虚机备份上有待建设。虚拟化资源池建设时应遵循以下规范，才能发挥虚拟化的可靠性和最大性能：（1）虚拟化管理平台管理平台应部署双机集群，支持高可用性,作为全局虚拟化的管理中心；（2）主机池在内网二级、三级业务、开发测试区和外网的二级系统区分别构建资源池，同一个二层网络的主机应规划在同一个主机池

18、中；（3）集群从主机池中选择适当数量的服务器（建议1420台服务器），组成一个集群，如业务集群1 ，同一个集群具有HA的属性。同一集群的主机应该在同一个POD里面，因此建议4U服务器15台组成一个集群；每个集群符合N+1原则，更具可靠性；同时避免只有2台物理机的资源池的相关可能潜在的问题；（4）网络从安全隔离、性能和可靠性角度，网络可根据承载流量的不同，按功能划分为业务、管理和存储网络，并独立部署;（5）存储对物理层提供的存储设备进行统一的整合与池化，为虚拟机提供统一的存储资源池，是高可用、资源弹性调度等特性的基础;建议每个LUN大小在1215T,但不能超过虚拟化平台支持的最大值；各应用系统对

19、计算能力的需求不同，为了能够快速的为业务部门交付计算资源，我们需要设计一系列不同规格的虚拟机模板，以满足不同应用、不同时期的需求，同时对虚机模板进行统一的加固和配置，简化运维。根据实际应用需要，定制不同规格虚拟机模板，匹配不同的用户需求,内存应该是CPU核数的14倍；虚拟机的模板需要做系统加固、打上必要的补丁、安装VMM Tools、开启监控协议、安装备份和防病毒的客户端，并经常性维护更新。裸金属资源池建设规划裸金属资源池规划目标：（1）自动化批量部署高性能物理服务器，运维管理便捷；（2）服务器与云内其它虚拟机、容器等资源互连互通，融合管理；（3）可以通过云平台定制开发实现物理服务器的管理，如通过OpenStack ironic组件来实现，但要注意服务器的兼容性；高性能计算资源池建设规划在高性能计算区规划2U、4U、带GPU的物理服务器，用来部署大数据、GIG等系统，并且建设HPC池满足高性能计算的业务要求；高性能计算区采用40G互联网络，保证东西向内部互访的需求；与云平台集成，统一管理。大数据资