H3C Cloud CMP多云及混合云技术方案

目录

1.方案概述............................................................................1-3

1.1详细设计编制说明...................................................................1-3

1.2设计文档适用范围...................................................................1-3

1.3详细设计编制单位、编制依据.........................................................1-3

1.4方案背景说明.......................................................................1-5

1.5方案建设目标.......................................................................1-6

2.方案配置相关标准....................................................................2-8

2.1H3CCloudCMP与其它云平台对接标准.................................................2-8

2.2云间安全控制规划...................................................................2-9

2.3云内安全规划......................................................................2-10

3.H3CCloudCMP整体架构规划.........................................................3-13

3.1H3CCloudCMP整体架构规划.........................................................3-13

3.2H3CCloudCMP接入网络改造升级规划.................................................3-15

3.3H3CCloudCMP规戈1..........................................................................................................................................3-16

3.3.1H3CCloudCMP运营管理平台规划..................................................3-16

3.3.2统一服务门户...................................................................3-17

3.3.3统一云运营.....................................................................3-23

3.3.4统一云服务.....................................................................3-48

3.3.5统一云运维.....................................................................3-75

4.H3CCIoudCMP对接接口标准要求......................................................4-79

4.1接口规范..........................................................................4-79

4.1.1路径...........................................................................4-79

4.1.2操作...........................................................................4-80

4.1.3参数...........................................................................4-81

4.1.4安全...........................................................................4-83

4.1.5错误码.........................................................................4-83

4.1.6状态码.........................................................................4-84

4.2接口类型..........................................................................4-84

4.2.1资源配置接口...................................................................4-84

4.2.2资源同步接口...................................................................4-84

4.2.3资源监控告警接口...............................................................4-84

4.2.4资源性能监控接口...............................................................4-85

4.2.5消息通知接口...................................................................4-85

4.3对接接口范围说明..................................................................4-85

1.方案概述

1.1详细设计编制说明

本文档是对H3cCloudCMP云管理平台多云及混合云技术方案的详细设计，作

为多云及混合云平台建设的基础及指导文件，用于指导市场多云及混合云管理平台

部分的招标和实施。

1.2设计文档适用范围

本设计方案适用于多云及混合云平台的建设、维护和管理，为客户的多云及混合

云平台的建设提供规范化依据，指导项目实施建设。

1.3详细设计编制单位、编制依据

本项目详细设计由新华三技术有限公司编制，设计编制所涉及国家政策文件及

规范包括：

1、《基于云计算的电子政务公共平台顶层设计指南》（2013年2月20日）；

2、《关于进一步加强政务部门信息共享建设管理的指导意见》（发改高技（2013〕

733号）；

3、《关于加强和完善国家电子政务工程建设管理的意见》（发改高技〔2013〕266

号）;

4、《国家发展改革委关于印发“十二五”国家政务信息化工程建设规划的通知》

（发改高技（2012）1202号）;

5、《国务院关于印发“十二五”国家战略性新兴产业发展规划》（国发（2012）

28号）；

6、《国务院关于大力推进信息化发展和切实保障信息安全的若干意见》（国发

（2012）23号）;

7、《国务院关于落实〈政府工作报告〉重点工作部门分工的意见》（国发〔2012〕

13号）；

8、关于印发《国家电子政务“十二五”规划》的通知（工信部规［2011）567号）；

9、《国务院关于加快培育和发展战略性新兴产业的决定》（国发［2010）32号）；

10、《国家信息化领导小组关于加强信息安全保障工作的意见》（中办〔2003〕27

号）；

11、《国家信息化领导小组关于我国电子政务建设的指导意见》（中办发（2002）

17号）；

12、《信息安全技术云计算服务安全指南》（GB/T31167-2014）；

13、《信息安全技术云计算服务安全能力要求》（GB/T31168-2014）o

14、《国务院关于印发“十三五”国家信息化规划的通知》（国发〔2016〕73号）；

15、《教育信息化2.0行动计划》（教技（2018）6号）；

1.4方案背景说明

在多云成为新常态的背景下，多云管理平台的建设也逐渐成为当前企业关注的

重点话题之一。

云计算的发展使企业的基础设施不再是单纯的物理机或虚拟化平台，还包括私

有云，公有云等。混合云战略逐渐成为大多数企业的首选，但混合云的部署和管理并

不是一帆风顺的。

越来越多的企业使用多个云厂商提供的云服务，同时也带来了多云管理的问题。

如有些应用需要在异构环境中迁移、有些需要在多个异构云环境中部署、有些需要跨

云跨网络运行、有些需要跨云进行灾备和恢复，类似的这些管理问题，如果主要依靠

人力处理，会带来很大工作量。

同时企业IT有非常明显的特征，就是IT基础设施多样、异构长期共存和不断

演进。当企业上云后，面对的是对历史各个阶段以当时技术构建的资源池以及业务系

统的管理，而传统IT时代的IT管理平台不适用于云IT的资源管理，管理起来非常

吃力，仍按传统方式使用也无法充分发挥云的特性和优势，因此迫切需要一个开放的

管理平台，能够既兼顾遗留环境，又开放支持新的云平台。，希望通过这样一个平台，

全面覆盖各类基础设施环境IT及应用管理，以集中统一的方式管理物理机、虚拟化

平台、以及多种供应商云平台资源及运行在其上的应用，并能够方便应用在多个异构

资源池环境中迁移、部署、同步备份数据、调度资源、自动化管理等。

企业若是想简化多云的管理与部署，借助简单高效、功能强大的多云管理工具，

就成为一种必不可少的手段。

IDC发布的《2018云管理软件市场分析》中指出：2018年，中国云系统和服务

管理软件市场规模达1.050亿美元，同比增长40.4%。IDC预测，该市场在未来五年

仍然会保持高速增长，年复合增长率达到44.3%,到2023年市场规模将达到6.512

亿美元，是2018年市场规模的6倍。

H3c在私有云研发深耕多年，有很多成功案例。基于对私有云的深刻理解，提出

了多云及混合云管理方案。

本文档将详细介绍H3cCloudCMP多云及混合云管理方案。

1.5方案建设目标

Gartner对CMP给出的定义是：CMP(Cloudmanagementplatforms,云管理平

台)是一种管理公有云、私有云和混合云环境的整合性产品，其最小的功能范围应

该包括自服务界面(self-serviceinterfaces)、创建系统镜像(provision

systemimages),监控和账单(meteringandbilling),以及基于策略的一定程

度的负载优化(workloadoptimization)等。高级的功能还包括整合外部已有的

企业管理系统，包括服务目录(servicecatalogs).存储和网络资源配置，更高

级的资源管理和监控，比如客户机性能和可用性监控等。

H3CCloudCMP产品基于微服务集群架构，具有高可靠性。CMP产品实现多云及

混合云的统一云服务，统一云运营，统一云运维，统一云认证。CMP产品主要具备多

云平台的整合能力，能够对多种异构基础设施中的资源、环境、应用进行集中统一高

效地管理。具备跨平台的编排能力，以服务目录为最主要载体的云服务管理能力，多

云资源监控告警能力，多租户和多层次的资源访问控制能力；具备运营产品管理和计

量计费能力，流程审批和报表功能，云服务商评价（云分析）功能，可视化的大屏展

示功能；具备安全管理和跨云容灾备份能力。同时提供开放接口整合其它外围系统的

能力。

2.方案配置相关标准

2.1H3CCloudCMP与其它云平台对接标准

接口范围：

为了保证H3CCloudCMP能够对其它云平台的服务进行有效的管理，拉通云平台

之间的优势互补性，实现最大化的资源共享，就需要H3cCloudCMP与其它云平台

按需从以下方面实现对接：

1)云基础资源接口

2)云租户信息接口

3)laaS层接口

4)PaaS层接口

5)SaaS层接口

6)容器及容器管理接口

7)运维管理及数据接口

8)安全运维及数据接口

9)监控数据接口

10)审计数据接口

11)容灾备份接口

接口可持续性要求：

在提供以上接口后，需要保证云平台后期升级后，不影响这些接口的正常使用,

即保证接口的持续可用性和兼容性。

接口标准的一致性要求：为了简化H3cCloudCMP与其它云平台的对接难度，

H3c对以上接口类型制定了一套标准的接口要求，H3CCloudCMP和所有其它平台都

必须遵循此接口标准，具体内容请见第4章“H3cCloudCMP对接接口标准要求”。

2.2云间安全控制规划

公有云

行业云

H3CCloudCMP将成为所有接入云平台的汇聚点，所以，在H3cCloudCMP侧,

必须做好安全访问控制，避免安全威胁从一个云平台扩散到所有云平台。

为了保证云间安全访问控制的有效性，至少需要满足以下要求:

1)身份认证与精细化权限控制

2)精细化路由策略

3)精细化安全策略

4)云平台各自的安全日志和操作日志都必须可被审计

5）云平台在网络接入边界部署安全访问控制及风险分析设备

2.3云内安全规划

建设完善的安全体系

云计算安全体系框架

云

云

安

安

安

安

全

全

全

全

管

能

技

服

理

力

术

务

业务连续性

安全建设参考标准：

•网络安全法

•信息安全技术网络安全等级保护基本要求第1部分安全通用要求

•信息安全技术网络安全等级保护基本要求第2部分云计算安全扩展要求

•《关于加强党政部门云计算服务网络安全管理的意见》

•《信息安全技术云计算服务安全指南》

・《信息安全技术云计算服务安全能力要求》

•CSA（云计算安全联盟）云计算安全指南和技术要求

ISO27001

云安全管理要求：

•建立完善的安全保障组织机构

•设立安全岗位

,配备专业安全人员

・制定安全制度和安全规范

•持续进行人员的安全培训

•建立完善的安全运维体系，实施有效的可持续的安全监控和安全设计

安全技术要求：

持续安全运维（监控、审计）；风险主动发现、幡、识SU、分析和处理

通用控

开发工具安全、API安全保护jximj

频那、口密、分、镜蝌户、

授权、CA.应用厢管理、血

黜她防超辎射管理、虚机访问控制业

务

技

风

安全fl弗链实现东西横向安全湖（分区分域）术

险

风

控

VPC实现南d啕晌险

制

控

安全管理中心、身份认证、堡垒机

制

互联网安全防护交换1[内砥郅涉

t...............................................................................

HA、集群、冗余、容灾备份

入侵防御、防火墙、DDoS、身份认证、VPN

物理位置、消防、监控系统、门禁、电犍

安全技术引用图

云安全服务要求:

1）提供丰富的安全云服务；

2）实现租户间、业务系统间和VM间的安全隔离;

3）实现安全服务、安全风险的可视化；

3.H3CCloudCMP整体架构规划

3.1H3CCloudCMP整体架构规划

H3CCloudCMP广泛对接不同厂商公有云/私有云，接口类型丰富,成熟度高,快速交付!

H3CCloudCMP云整体架构规划图

CMP管理平台作为多云及混合云管理的统一平台，对用户提供几个“统一”：

统一云服务：用户只需登录CMP这一个平台，即可管理和使用多个云平台提供的

服务，而不需要使用多个账号分别登录每个云；只需适应CMP平台的界面风格，而不

需要面对不同云平台的操作差异，大大降低了操作使用难度。并且CMP平台可以提供

丰富的云服务功能，包括laaS层的计算与存储、网络与安全、云数据库服务；PaaS

层的中间件服务、应用服务、大数据服务；SaaS的软件服务；同时支持更高级的服

务编排和云灾备服务。

统一云运营：在CMP平台上可以统一管理不同云环境提供的资源，统一封装出产

品对用户呈现；提供统一的产品上架，支持多种计费策略、计量计费和账单功能；提

供统一的分级组织管理功能，每个组织可以自定义使用多个云的资源。

统一云运维:CMP提供对多种运维工具的对接功能，将运维数据统一在CMP平台

进行呈现，用户可以方便的通过CMP监控管理多云及混合云。CMP提供资源配置管理

工具，可以统一管理IT资源和云资源，真正做到统一运维。运维功能可以从云、资

源池、虚拟化资源、组织、用户等维度，进行服务分析、性能分析、容量分析。提供

多维度告警功能，支持设置告警条件、合并同类告警和发送告警功能。提供多维度报

表功能。

统一云认证：CMP平台负责对接底层云资源，提供统一的用户认证体系，普通用

户只需在CMP上一次注册登录，即可使用所有的底层云资源。

CMP管理平台同时提供云安全管理，提供客户化的云成本分析、云服务质量分析

等功能，帮助客户更好的管理多云及混合云。

3.2H3CCloudCMP接入网络改造升级规划

H3CCloud

CMP

云间互联广域网建设

行业云

H3CCloudCMP接入网络规划

接入网络规划说明:

•将当前云机房作为未来城市云运营中心，所以，所有其它云计算平台网络全

部接入政务云机房。

•接入方式可以是专线或者互联网VPN通道。

3.3H3CCloudCMP规戈ij

3.3.1H3CCloudCMP运营管理平台规划

&3P自服务门户管理员门户运维人员门户监管门户

租户间隔离防火墙IPS/IDS

云平台监控

拓I卜监控

在主机工硬盘汽士属服空云账号管理

镜像对象存储角色管理

甘网络用户晒账户安全认证

VPC负载均衡献会工单管理

弓钊生公网IP密钥对报表管理通知服务数据库侬空

数据库核云文备£源配工滑理云计量分析集中告警

容器应用服务日志自雌钙

中间件服务云辐非自

资源管理层计算资源存储资源网络资源数据库资源

华三云适配华为云适配阿里云适配Openstackig配腾讯云适配Asure云适配AWS适配…

CMP管理平台采用微服务架构。微服务架构的关键优点：

1)架构上支持业务敏捷化开发，迅速上线、迅速调整、迅速试错。

2)基于容器技术的微服务平台，在平台层面天然支持全服务的高可用运

行、全服务的横向可扩展性、从小规模单台服务器部署到上百台规模化集

群的运行。

微服务架构由于有上述的几个关键且不可替代的优点，已成为大部分IT行业、

特别是云计算相关行业应用的架构标准。而容器和容器编排技术是微服务架

构运行的良好平台，所以将容器技术与微服务架构结合起来、发挥微服务架构

的优点、克服其缺点，是CMP微服务平台的整体设计思路。

微服务架构的关键设计原则:

类型关键点说明

服务粒度划分松耦合能够独立修改和部署单个服务，而不需要修改系统的其他服务

高内聚如果要改变某个业务的行为的话，只需要在一个服务中修改，然

后迅速发布即可

接口技术无关性无论服务内部基于什么技术实现，对外提供的API都是统一的

API兼容性服务新版本同时兼容老版本调用

接口协议通常情况下只使用REST接口；对延迟敏感的情况下使用

ProtocolBuffer/GRPC；不建议使用RPC

数据库独立建库单个服务使用自己的数据库(databaseschema)

数据访问暴露数据访问的接口，但通常情况下不暴露数据

数据修改单个库(schema)的数据只能被唯一一个服务修改

接口通信同步通常情况下用同步方式，简单可靠

异步针对处理时间较长的业务

事件驱动不是发起请求，而是发布一个事件；订阅了这个事件的服务才可

以处理这个事件

3.3.2统一服务门户

可基于门户实现自服务功能。主要包括资源申请、进度查询、资源管理(实时展现、

资源查询、资源集中告警)、计量计费、策略管理、账户信息、操作日志、角色管理、

权限管理、统计报表、公共查看等功能。

|自服务门户

自服务门户为个人用户和企业用户提供人性化的操作界面，引导用户方便、快捷地体

验自主受理服务，提高客户的感知度。

自服务门户的主要功能是实现产品的自动化开通，支持安全、多租户的资源管理模式,

实现全业务的自主受理，并通过标准化的接口，与外部第三方系统进行无缝集成，为

用户提供丰富的预置资源，帮助用户实现资源的快速使用。同时，租户自服务界面为

用户提供了基于Web的管理界面，具有统一的访问界面。

服务门户原理图如下：

服务门户功能图:

运营服务用户中心

用户管理API

习户DB

F

用户通过自助服务门户来浏览、申请、订购、使用和管理云产品服务。自助服务门户

包含的功能模块有:

1)云产品商城

2)云产品购物车

3)云产品服务订单管理

4)云服务操作中心

5)工单管理

6)运维监控管理

区分角色的个性化界面

云业务管理系统能够提供面向租户和监管人员的统一接入门户，通过界面集成、

数据集成及功能集成等技术将各个子系统中的功能和信息有效的组织起来，提供统

一的信息服务入口，提供用户、授权、认证管理，并根据需求定制为不同用户角色开

发不同的界面呈现内容。

不同的用户在完成登录认证后，系统根据其角色、权限等展示不同的个性化界面。

系统管理员概览页：

系统管理员具有系统最高权限，可以查看CMP所管理的所有的云的资源情况。

容量

0%0%0%

cpuoffis内??

/云管理平台

内存邮率TOP5

■cloudin024%

■cloud70X)6%

■yunllO0.03%

3000000

+.(GB).0.00%

0.00%

■大610X»%

W47%

a111

用户ZX云,rj1q乃管脚5

Zo\三三矶口充专III建三Xr

户〃0(68),昌0(个)乒L。(个)

3(*)18(个)24%(个)10(fe)32994(G8)0(个)52(个)

面向租户：租户可基于门户实现自服务的功能，主要包括资源申请、进度查询、

资源管理、计量计费、账户信息、操作日志、统计报表、公共查看等功能。其对资源

的管理可实现对所属资源的实时展现、资源查询、资源集中告警、资源配置、统计报

表等功能。

组织管理员概览页:

组织管理员负责本组织内的自组织创建、成员管理。可以查看本组织内的资源。

组织绫源系统最新公告

&元公告

r=y3•性云三矶后/云理・岭公网》[7-71虐孔寄存云

，昌,G0▲0G0▲0G0▲0慌3G0▲0

快捷操作

强没住s?用a费M云猿鸟

资源配额

代办事项

例涯E・0

内存

例Gtt融0

S4:S4：GB念建:GB

已分正：己箍：GB已分配：GB

普通用户概览页:

用户斐源系统晨新公告

修元公告

「三I、潮1云壬机

AO\!^/©AO

®AO@T国rTo

安全追

G▲0o

杨同屿阳0

费用统计

CNY/S

总费用（CNY/元）

0

近三月费用（CNY/元）

0

面向监管部门：主要是完成对全局情况的查看和角色权限内的流程审核、资源管

理、用户管理、角色管理、权限管理等功能。

门户可以实现用户对资源操作的统一接入和安全监管，即用户可以通过门户进行

资源的远程访问、电源管理、性能管理和配置管理，可以在portal界面中申请下属

任一云平台的云资源，实现云资源的跨平台统一管理；而管理员可以对用户的资源操

作制定流程和记录日志。。

统一的界0面信息展示

门户对信息的展示应优先使用图形化界面结合表格的方式并支持导出，功能展示

分区合理，兼容各类主流的浏览器。

统一界面展示指在云平台运营指挥中心，通过分屏显示技术，构建大型的组合

屏幕，也可以通过工程投影机实现大屏幕的投射。大屏幕将显示全屏的仪表盘，包含

关键参数的显示，如虚拟机数量、组织资源使用情况T0PN展示、资源使用百分比的

图形化显示、通过柱状图显示系统性能等。

统一界面展示工作，通过系统定制开发完成，全景将同时展示云平台门户系统的

业务类数据和运维的技术类数据。具体的展示方式、展示效果，将在项目启动后的定

制开发会议上，由用户做决策。

|运营门户

运营门户提供产品管理的操作界面，为云产品的营销提供支持。

云服务采购及操作管理主要包含购物车管理、订单管理、账单管理、计费管理、

流程管理、账号管理、角色管理、权限管理、工单管理等。

♦务目录

浏览

购买生或订单

馒作停用请求

情求

其它请求

己

投

以

云0B

袭

号

进入【云服务】页面，浏览云服务产品，将预采购的云服务产品放入【购物车】，在

购物车中调整云服务产品数量，查看价格，确认后，提交资源【订单】，申请【审批】

（如果有审批环节，可选），审批通过后，进行费用【支付】，支付完毕后产品开通。

服务申请快速入口：

云服务

弹性云主机「弹性公网IP

旦申请

r'VV'"1申请

由请

云服务产品变更流程

选择变更产品提交变更申请变更审批变更审核业务停机申请（可

选）一一业务停机审批（可选）--业务停机确认（可选）一一产品变更前备份（可

选）--产品变更--变更后产品验证--变更后产品交付-产品恢复上线。

云服务产品事件/故障管理流程

流程1-填写工单

租户填写事件/故障工单一一运营事件/故障受理一一确认事件/故障内容，如果可以

直接处理，请直接处理事件/故障；如无法直接处理需将工单转交给后台运维，后台

运维受理工单一一处理工单内容一一将处理结果返回给运营平台一一运营平台审核

后返回给租户。

流程2-callcenter

租户通过callcenter提交事件或故障，运营电话员记录事件或故障，查看知识库，

如果可以直接解答解决，则直接回复租户，并记录；如果无法直接完成处理，许记录

事件或故障，提交工单转交给运营，运营事件/故障受理一一确认事件/故障内容，如

果可以直接处理，请直接处理事件/故障；如无法直接处理需将工单转交给后台运维,

后台运维受理工单一一处理工单内容一一将处理结果返回给运营平台一一运营平台

审核后返回给租户。

云服务产品问题管理流程

同上

3.3.3统一云运营

主要是完成对全局情况的查看和角色权限内的产品管理、资源管理、服务管理、用户

管理、流程审核等功能。

a

।业务运营管理

系统目标：

•运营门户是帮助客户管理运营状况的有效工具，它以直观形象的方式将当前的

运营信息集中地展现出来，让客户管理者随时随地了解企业整体运作状况

主要功能：

•可扩展商品属性功能

•无限类别产品分类功能

・安全管理

•运维监控

•权限管理

•资源管理

统一的用户体验:

•为用户提供了基于Web的管理界面，具有统一的访问界面。

•运营管理门户主要服务于运营管理组织及其人员，通过运营管理门户实现对

所有运营管理功能模块的操作。

|产品管理

云服务产品管理主要是实现云服务产品生命周期管理，例如：云产品规格定义、云产

品创建、云产品发布、云产品变更、云产品回收等。

淘览

订单生成

云产品全生命周期管理的实现主要由运营管理系统中的【云产品管理】和【计量计费】

功能模块完成共同完成。

云产品全生命周管理主要功能如下：

1)云产品定义：依据租户反馈的需求，定义出符合用户需求的云产品，例如：提

供云主机。

2)云产品规格设计：针对完成定义后的云产品，进行具体的规格设计，例如：云

主机产品，需要定义出是普通性云主机、高性能云主机、裸设备云主机，以及具体的

配置规格，例如：2c4G,4c8G等。

3)云产品变更：自定义产品可以更改产品名称，规格，SKU等。

4)云产品模板创建：针对具体的规格，创建出对应的云产品模板

5)模板转化为云产品：将创建好的云产品模板，转化为云产品

6)云产品定价：结合投资成本和运营成本，为云产品进行定价，给出具体的销售

价格

7)云产品验证：测试验证云产品是否能够正常提供服务

8)云产品发布：将云产品发布到自助服务门户系统，并由租户按需选择购买

9)云产品发布撤销：将不再符合租户需求的云产品进行回收，不再提供服务

9)云产品销毁：将撤销的云服务产品删除产品价格、删除产品、删除相对应的产

品模板、删除产品规格定义和删除产品定义。

|业务管理

云服务业务管理主要指的是变更管理、工单管理和流程管理等。

变更管理

云资源管理平台通过变更管理流程规范云平台生产环境的变更活动，确保所有变

更行为能准时完成，并且不会导致服务意外中断，降低风险，保证云平台生产环境的

稳定性、可靠性、安全性，最大化地提升云平台的可用性。

流程管理

政务云平台的管理涉及到不同政府部门的租户、不同的云服务商、各类监管部门

等众多使用和管理角色，因此对于系统的管理需要制定一些规范的制度和流程，通过

流程化审核和记录确保系统整体使用和运维的安全。CMP平台支持审批流程，流程可

以定制审批层级和每级审批人、审批流程中提交图片和文件附件、将线下审批资料进

行归档，从而可以满足政务部门的不同需求。

以资源审批为例，申请资源并下单之后，用户可通过“我的流程”查看流程的进

度：

物流程

r?：至状华关通了：

名容状态处理人田病底

仃的支付朝中TM%Admin2019-04-16092202

订・文付—gfcT市站admin2019-04-1110:42:19

丁餐克付