私有云建设方案

私有云数据中心建设方案

1.项目背景

当前云计算产业正在如火如荼的发展，大型互联网运营商如阿里、百度等都已经提供了

公有云'忆务，专门服务于中小型企业，为其提供基础IT建设与维护服务。而对部分大型企

业和安全性有较高要求的用户来说，私有云则成为其自身IT建设的首选。私有云数据中心

将逐步替代原有形态的企业数据中心，为企业口常IT等业务运营环境提供更加强有力的支

持。

在云计算的三个层面中，上层架构的PaaS与SaaS要求更加贴合企业自身的业务系统特

征，因此系统设计更加注重个性化和独立化部署。而底层的laaS结构则具有更高的通用性

与普适性，可以在大多数云计算数据中心中部署，为企业提供灵活的业务部署环境。本文将

重点阐述laaS私有云数据中心的基础系统设计。

2.建设目标

为了满足业务发展的需要，有效地解决资源利用率以及业务快速上线需求、集中管控、

降低运维成本、快速部署、节能环保等问题。搭建私有云平台，通过虚拟化、自动化等互联

网相关技术来解决现有数据中心的各种挑战，随着虚拟化及云计算的日益成熟，将应用服务

器等部署在基于私有云的平台上，以达成如下建设目标：

>使数据中心IT资源池化，统一以服务的方式提供给用户。

>根据业务负载，云平台自动弹性的分配计算、存储、网络资源给用户，快速帮助搭

建业务应用。

>IT资源可以快速部署，从月/天提升到分钟/秒级别，提高创新效率。

>自动化运维管理企业数据中心IT资源，提高企业IT管理人员的运维效率。

3.建设规划

3.1.建设原则

项目建设遵循如下儿个原则:

1

>自主可控原则

本次的建设建议采用自主可控技术搭建私有云，保障私有云信息安全。

>循序渐进原则

本项目的建设不是•蹴而就，应循序渐进。在本次建设中，应该本着符合使用来控制规

模，如果后续仍然有业务系统需要迁移，可以利用私有云的可扩展性，逐步完成扩展。

>统一规划和分布实施原则

本项目的建设需要通过建设统一的顶层框架，统一规划、统一实施和统一管理，保证项

目按照进度、按计划建设，

>先进性原则

本项目的建设，要求技术具有先进性，并保证在未来•段时间内具有先进性和扩展性。

3.2.项目建设内容、思路及技术规划

从架构上来看，私有云数据中心主要由6个部分组成：

计算虚拟化资源；

共享存储资源；

融合网络资源；

安全防护资源；

应用优化资源；

统一管理平台；

计算虚拟化资源与共享存储资源提供了云计算中最为基础的计算与存储系统，安全防护

资源与应用优化资源提供了安全优化的附加增值服务，统一管理平台和使用交付平台为外部

的用户与管理员提供了云计算资源管理使用的入口，融合网络资源通过连接整合将上述6

个部分紧密结合在一起，使云计算资源能够作为一个真卫的整体对外提供服务。

3.2.1.计算虚拟化系统设计

为了使大量的服务器资源能够集成在一起，统一对外提供计算服务，必需部署软件的虚

拟化系统来整合成云。因比在私有云数据中心内，服务器虚拟化软件平台是该系统最为核心

的组成内容。

虚拟化软件平台通常分为虚拟化业务平台和管理平台两个部分，业务平台部署在大量的

物理服务器计算资源上，实现计算资源一虚多的虚拟化业务需求；而管理平台则通常会部署

2

在统一管理平台组件内部，对业务平台所在物理服务器计算资源进行统一调度部署。

服务器虚拟化平台主要提供分区、隔离、封装和迁移4个关键特性。

分区：在单一物理服务器上同时运行多个虚拟机。

隔离：在同•服务器上的虚拟机之间相互隔离。

封装：整个虚拟机都保存在文件中，而且可以通过移动和发制这些文件的方式来移动和

复制该虚拟机。

迁移：运行中的VM可实现动态迁移到不同物理机的虚拟平台上。

3.2.2.共享存储系统设计

在私有云数据中心内部，除了使用虚拟化平台对物理服务器计算资源进行整合以外，还

需要对存储资源进行集中处理，以达到数据级别的资源整合。存储系统实现上有很多技术分

类，根据服务规模要求，在私有云数据中心内主要使用IPSAN\FCSAN或NAS作为共享存

储系统提供数据存储服务，存储系统整合后，可以通过专业的软件平台为服务器集群提供数

据共享服务。

3.2.3.融合网络系统设计

在私有云内部，根据位置和连接资源的不同，网络系统通常可以分为五个部分。

接入网络：服务器到接入设备之间。

后端网络：服务器到存储设备之间。

前端网络：接入设备到核心设备之间。

互连网络：数据中心之间互连部分。

边缘网络：数据中心与外部网络互连部分。

＞接入网络

接入网络主要用于连接物理服务器与接入层设备，在私有云中，由于大量虚拟化技术的

应用，对接入网络的挑战从传统的物理服务器间流星传输变化为如何更好的承载虚拟机之间

的流量。从技术思路上来说，目前主要是由虚拟化软件厂商主导的将流量处理工作都交由物

理服务器的虚拟交换机vSwitch完成，同一物理服务器内部虚拟机交互流量由vSwitch本地

转发，不同物理服务器的虚拟机通信时通过在vSwitch之间建立隧道技术完成，无需关心中

间物理网络的连接方式，此类方案代表技术如VXLAN、NVP等。

＞后端网络

后端网络主要用于连接服务器资源与存储资源，可选方式以FC/IP/NAS几种为主，设计

3

原则依据存储资源的类型选择。

>前端网络

根据数据中心的计算资源规模大小，前端网络可以选择采用二层或三层架构设计。

>互连网络

私有云中多地部署数据中心站点已经是很常见的建设方式，多个数据中心之间使用前面

提到的vSwitch之间建立的隧道如VXLAN/NVP等，好处是对中间网络没有特殊需求，只要能

够保证服务器的vSwitch间1P层能够实现通信即可，无论是数据中心内部的前端网络还是

站点之间的互连网络，只需提供最基本的IP通信，对网络的依赖性降到最低。

>边缘网络

边缘网络用于私有云内部应用对外提供服务，考虑到私有云的安全性，因此必须使用专

业的物理防火墙设备，对内外网做安全隔离。

3.2.4.安全防护系统设计

安全在私有云环境中更加重要。私有云数据中心系统设计时，要分四个方面来考虑安全

防护系统设计。

接入防护网络防护|虚拟化防护应用防护

用户网络

］物理服务器

>接入防护

私有云数据中心需要为管理人员提供管理服务，首允需要管理员进行安全防护。主要通

过SSLVPN/IPSECVPN/PORTAL等手段对管理员身份进行辨识确认，并分配访问权限。

>网络防护

网络防护指私有云内部网络中提供的流量安全防护手段，技术上通常是通过读取流量报

文中的特定字段，去匹配预设内容，进而执行通过、删除或统计等动作，针对OSI模型L2-L7

可以提供不同层次的检测坊护。由于数据报文L2-L4的封装报文头内容较为规范，且种类较

少，因此交换机和路由器等网络设备可以使用ASIC芯片对相应报文字段进行截取，解析与

判断处理，即常用的ACL过滤功能。由于L4以上各层封装内容多种多样，很难将大量的判

断工作由简单的AS1C完成，因此需要专门的安全设备使用CPU进行解析处理。而病毒漏洞

4

等特征代码往往隐藏在报文的应用层负载中，所以相应的工作也需要更专业的如【PS等安全

设备来识别处理。目前大部被安全设备已支持虚拟化部署。

>虚拟化防护

在私有云中，虚拟化系统是计算资源必不可少的部分，因此也需要考虑在虚拟化方面进

行安全防护，但从技术思路上与网络防护区别不大，主要是以在'Switch上部署ACL等安全

策略和建立虚拟防火墙vFWo

>应用防护

应用防护主要基于操作系统层面,通过软件防火墙等产品或技术基于应用自身进行安全

防护。

3.2.5.应用优化系统设计

私有云数据中心内部，为了提供更好的业务应用系统访问能力，往往需要应用优化系统,

典型的应用优化系统有应用负载均衡，系统可以是各自独立的物理设备，也能够以软件授权

的形式部署在同•套物理设备上。

应用负载均衡系统提供对服务器业务访问的负载均衡能力，原理上通常使用网络地址转

换NAT技术,将多个实际的业务系统IP地址转换为一个虚拟业务IP地址对外部提供业务访

问。不同的用户访问到达时，负载均衡系统会自动依据预设规则（如轮转、随机和最小连接

等），将这些访问请求分发到不同的实际业务系统，达到资源扩展使用的目的。

应用负载均衡系统配合计算资源虚拟化管理平台，还可以实现弹性计算智能扩展。即配

置虚拟化管理平台与负载均衡系统实现联动，当管理平台检测到当前虚拟服务器访问量较

大，CPU或内存等关键指标运行超过预设阀值，则会自动创建新的虚拟服务器，新的访问请

求可以被分配到新建的虚拟服务器上，从而降低原有实际业务系统的压力。

3.2.6,统一管理系统设计

在私有云数据中心内，真正的统一管理是指可以由一位管理员通过一套管理平台系统，

方便的完成整个业务系统的部署。技术原理上，需要计算、存储和网络等资源均提供基于标

准的API开放接LJ,统一管理平台可以通过这些标准接U下发配置，对资源实现创建、修改

和删除等基本的处理动作，从架构设计上，统一管理平台可以直接和设备资源进行交互，也

可以通过对应的管理平台去管理不同的资源。

5

4.私有云建设方案

4.1.技术架构规划

本次私有云系统除核心网络节点和存储外，全部采月虚拟化方案设计，用于对外提供各

种服务的虚拟主机节点集合构成了计算“资源池”，其不仅实现了基于服务器的CPU、内存、

磁盘、I/O等硬件的虚拟化实现动态管理的“资源池”，同时还可以在各类型虚拟主机所在

的物理服务器之间进行动态的迁移和变更资源。为此要求将各种类型的物理服务器、存储、

网络等设备统一为一个逻辑意义上的“资源池”，从而提高资源的利用率，简化系统管理,

实现服务器整合，让IT对业务的变化更具适应力。

此次私有云项目使用的产品是VMwarevCloudSuite,VMwarevCloudSuite是VMware

提供的云计算数据中心解决案套件

VMwarevCloudSuit?是•款基卜VMwarevSphcrc的云计算范础架构解决案。借助

vCloudSuite可完成基于策略的监管为每个应用提供适当的可用性和安全性。

vCloudSuite提供了一整套组件，该套件通过置的智能机制提供虚拟化基础架构服务

（计算、网络、安全性和可用性），以便根据需要按照定义的策略自动为应用执行调配、放

置、配置和控制。

图：vCloudSuite

vCloudSuite集成了以下产品:

•VMwarevSphore：具备基于策略的自动化功能的计算虚拟化平台

•VMwarevCenterSiteRecoveryManager：自动规划、测试和执行灾难恢复

6

•VMwarevCIoudNetworkingandSecurity：借助体系集成确保虚拟化计算环境的网络

连接和安全性

•VMwarevCloudAutomationCenter：支持策略的自助式云计算服务调配

•VMwarevCenterOperationsManagementSuite：对动态云计算环境的性能、容量和配置

进行集成式的主动管理

•VMwarevCloudDirector：支持多租户和公有云可延展性的虚拟化数据中心

上述这些产品整合了完整的私有云数据中心解决方案的所有要素，可以根据实际需求选

择其中部分或者全部产品组件来搭建私有云数据中心。

私有云的系统部署逻辑架构如下图所示：

期

分

宿

布

主

式

机

防

集

火

航

对象存储4

室

一

OverlayVXLAN

私有云

7

4.2.资源池化

4.2.1.计算资源池化

在服务器虚拟化面，vCloudSuite的vSphere产品组件是针对x86系统的虚拟化技术，

它可以将x86系统转变成通用的共享硬件基础架构，服务器物理硬件、操作系统和应用以

松耦合的式联结，虚拟机和上面的操作系统和应用完全独立于底层的硬件。

vSphere通过把服务器计算资源抽象化、池化和自动化来实现资源的自由调配和充分利

用，它可以使资源充分利用，并按需调配。当数据中心的服务器需要升级或维护的时候，通

过虚拟机迁移技术可以把服务器上的虚拟机在工作状态迁移到另一个主机，始终保持业务的

连续性。服务器虚拟化大大增加了数据中心的灵活性和"的敏捷性，减少管理的复杂度和

IT响应时间。

4.2.2.网络资源池化

与传统解决方案不同，云平台的SDN（软件定义网络）网络使用户的虚机的网络不再

是一个扁平化、无法自定义的固定的网络结构，而是一个可以提供丰富的网络功能并能够灵

活配置的网络。

基于VXLAN+NSX技术，网络将所有物理世界的网络设备都被设计成了可操作的网络对

象。只需要在管理面板点击配置，就可以根据业务需要灵活快速地构建更杂的网络环境，使

网络管理更加智能，仅仅使用传统交换机等网络设备，而无需网络设备支持SDN,支撑了

更灵活便捷的网络扩展。

私有云允许不同项目（租户）创建属于自己的网络，并通过项目（租户）的边界路

由器连接到外网。不同项FI（租户）之间的网络是允许重叠，即不同项目（租户）可以

创建相同的网段。

4.2.3.存储资源池化

对于集中式存储，通过IPSAN或NFS方式将商业存储设备的存储资源分配给虚拟化平台，

再由统一的虚拟化管理平台vCenter统一管理分配。

4.3.软件定义网络与安全

在摆脱现有网络架构对虚拟化环境的束缚上，vCloudSuite的软件定义的网络与安全

解决案vCloudNetworkingandSecurity能够以编程的方式将虚拟网络调配、添加到工作

8

负载，以及在当前数据中心乃至多个数据中心根据需要在任意地点放置、移动或扩展。

就像服务器虚拟化将虚拟机从底层X86服务器硬件分离出来一样，vCNS将基于软件的

虚拟网络从底层网络硬件分离出来，以便支持新的网络运营模式。

通过使用VMware软作定义的网络与安全vCNS解决案，实现了软件定义的快速部署，大

大提高了数据中心的部署效率。除了这一明显的改变，vCNS对前面提到的传统网络与安全

体系结构在虚拟化环境下的缺陷进行了彻底的颠覆，具体容如下图所示。

虚拟数据中心

・软件定义快速部署

•可扩展能力强

•工作负载可按需移动扩展

•独立于硬件

•运维管理方便快捷

网络虚拟抽象层

计算虚拟抽象层

物理基础架构

X2

图：vCNS在虚拟化环境下的优势

vCloudNetworkingandSecurity通过设定安全组相关策略，实现云主机的安全隔离，

创建安全策略，包含了端口、地址类型、IP协议类型、端口范围及远程连接方式等参数进

行设定，规定云主机的安全策略方式，保证云主机的安全性。

4.4.高可用与灾难恢复

在可用性与灾难恢复面，vCloudSuite提供的软件定义的可用性解决案是基于虚拟化

环境的，因此，它具备传统的可用性解决案所无法比拟的独特优势。

9

组件服务器存储数据站点

-------------------------------------/V---------------——-----------------------,、-------------■一.、----------_

图：vCloudSuite软件定义可用性解决方案

在功能组件层面，多网卡绑定和存储多路径等技术可以在平台发生多种故障时，对平台

进行一定程度的保护。因此，即使某些组件出现了故障，系统仍然可以继续进行相关的操作

而不会影响任正在运行的服务。

在服务器层面，vMotion可以减少计划的停机时间，它可以在所有设备无故障时保持业

务连续运行，不需要仅仅因为正常维护而停止应用。vSphcreHA和FaultTolerance分别

通过提供中断快速恢复和连续可用性来最小化或消除非计划停机时间，它们可以在发生本地

故障时，提供系统可以继续访问应用的能力。

在存储层面，StoragevMotion可以通过在存储阵列和跨存储阵列实时迁移虚拟机磁盘

文件来避免因计划存储维护或者vSphereVMFS升级等事件而造成的应用程序停机。

在数据保护层面，用户可以使用vSphereDataProtection和VADP以简单无中断的式

备份整个虚拟机，包括操作系统、应用二进制文件和应用数据。

在站点间层面，vCenterSiteRecoveryManager和vSphereReplication可以使企

业管理从生产数据中心到灾难恢复站点的故障切换，同时，它还可以管理两个互为恢复站点

且具有活动工作负载的站点之间的故障切换。

VMware软件定义的可用性解决案覆盖了可能出现问题的各个面，最大限度地提升数据

中心的可靠性，可用性以及灾难恢复的能力。

4.5.集中式管理

VMwarevCenterServer是一款服务器和虚拟化管理软件，提供一个用于管理VMware

vSpher环境的集中式平台。利用vCenterServer,管埋员可以自动实施和交付虚拟基础

10

架构。

图：vCenterServer管理拓扑

vCentcrServer位于vSphere的管理层下。vCenterServer对数据中心进行便捷的

单点控制。可提供多基本的数据中心服务，例如：访问控制、性能监视以及配置。它可将各

个计算服务器的资源整合起来，以供整个数据中心的虚拟机共享。

vCenterServer组件包括用户访问控制、核心服务、分布式服务、vCenterServer插

件和vCenterServer接口。

4.6.性能监控及管理

vCenterOperationsManager从虚拟环境每个级别的每个对象（从单个虚拟机和磁盘驱

动器到整个群集和数据中心）收集性能数据。它存储并分圻这些数据，而且使用该分析提供关

于虚拟环境中任意位置的问题或潜在问题的实时信息。

vCenterOperationsManager可与现有VMware产品配合使用，安装好vCenter

OperationsManager后，管理员登入vSphereUI用户界面，可看到管理画面，此界面可用

于显示当前虚拟基础架构中各节点（可.以在vCenter级别，数据中心级别，集群级别，ESXi

主机级别以及虚拟机级别上显示节点信息）的资源使用情况和资源需求情况，并以数字的形

象直观地呈现负载的高低，对于主要的环境资源，包括CPU,存，网络以及存储等，进行使

用情况汇总。

11

VmwarevC«ntorOperationsManager

?

o

"

.OvCm-SournyvLab

0M19o

♦gCOS

4Q|;

102582W

10251298u

8»■・•■•■・，rm-nBo

*wvwox

S。

0

0・

图：仪表板界面

4.7.自动化部署

运用模板规范化部署相关应用，如：Apache,web应用服务、Mysql、云资源管理平台

（云控制器、计算资源虚拟化、存储虚拟化、网络虚拟化）等。实现快速的、批量的部署。

>自动化手动任务：手工流程的自动化减少了部署工作量。

>减少脚本撰写和维护工作量：使用再构建集合而非撰写自己的脚本和工具有助于加

快部署。

>错误预防；手动流程是极易出错的。无论是生产中还是生产前都可以看到收益。

>审计与可见性：能够更好地记录哪里发生了什么情况，缩短了缺陷类选的时间，可

以更加顺利地开展审计工作。

>减少发布工程师的工作时间：生产力提高，错误更少，几乎不用返工。

4.8.实例模板概述

根据应用和服务配置，私有云定制了一些标准化模板实例，一个实例等同于一台虚拟机,

包含vCPU、内存、操作系统、网络、磁盘等最基础的计算组件。根据不同的硬件配置，可

以分为多种不同的规格。

>通用型

处理器与内存配比为1:4

适用场景：

•I/O密集型业务场景，例如中大型OLTP类核心数据库

12

•中大型NoSQL数据库

•搜索、实时日志分析

•大型企业级商用软件，例如SAP

计算型

处理器与内存配比为1:2

适用场景：

•高网络包收发场景

•Web前端服务器

•大型多人在线游戏（MU0）前端

•测试开发，例如DevOps

内存型

处理器与内存配比为1:8

适用场景：

•Redis数据库及其他NoSQL数据库（例如Cassandra、MongoDB等）

•结构化数据库（例如MySQL等）

•电商、游戏、媒体等I/O密集型应用

•Elasticsearch搜索

•视频直播、即时通讯、房间式强联网网游

•高性能关系型数据库、联机事务处理（OLTP）系统

浮点运算和并行运算型

采用NVIDIAT4GPU计算加速器

GPU显存支持4GB和8GB

处理器与内存配比约为1:5

适用场景：

•音视频编解码

•音视频渲染

•云游戏的云端实时渲染

•AR和VR的云端实时渲染

•AI（DL和ML）推理，适合弹性部署含有AI推理计算应用的互联网业务

•深度学习的教学练习环境

13

•深度学习的模型实验环境

＞非标准化实例

支持配置非标准化模板，可根据服务要求给实例分配资源。

适用场景：

•DDoS

•IPS

•Logserver

•日志审计

•数据审计

•SLB

•漏扫

4.9.维护区

本项目设立安全维护区，在私有云里采用独立物理设备配置，网络上逻辑隔离。主要目

的为管理员远程维护提供安全接入。

维护区采用SSLVPN提供远程接入服务器，为保障服务可靠性，使用两台互为主备。

安全验证采用动态令牌结合用户名密码的方式进行双因子认证，保证终端接入的安全

性。整体设计架构如图所示：

14

4.10.监控系统

＞方案目的

针对网络环境的实际需要，对服务器，路由和交换机进行了监测和管理，具体添加CPU、

memory、Disk、接口流量、接口状态、接口丢包率，流量流向，协议使用分布，网络增长

趋势等监测器，并绘制和发布网络拓扑图，设置专门的报警，在超过预设阈值时发送报警，

故障恢复同样发送通知。同时通过长期对公司网络性能监控，在业务网络出现瓶颈前升级，

避免因网络性能下降造成的业务损失，实现对网络监测和分析以及网络故障及时发现和故障

恢复。并且需长期保存监控数据，以作同期数据比较。

＞方案介绍

本次监控系统采用SclarWindsOrion,此系统是一个支持分布式网络监控解决方案的

网络监控系统，用于网络性能监测、流量分析、链路监挖及配置管理等方面。该系统根据管

理员配置.的任务模型主动、智能和协作地监控网络，从网络节点收集数据，并分析出具潜在

的错误。Orion是专门为各种复杂的网络环境开发的网络管理、网络监控和网络探测工具，

能够满足本次私有云监控的需求。

＞系统组成

§9-Orion系统组成

IIS

NTAIPSLA

XCMAPMIPAMUDTSE

NPM

SQLServerDB

SolarWindsOrion基于.net架构设计，前端webserver使用1IS,后台数据库使用

SQLServer,如图,其包含模块有:

15

SoIarWindsOrionNetworkPerformanceMonitor,简称NPM,可独立部署;

SolarwindsOrionNetFlowTrafficAnalyzer,简称NTA,依赖于NPM才能部署;

SolarwindsOrionIPSLA,简称IPSLA,依赖于NPM才能部署；

SolarWindsOrionNetworkConfigurationManag