云计算资源池平台架构设计

1、云计算资源池平台架构设计目 录 TOC o 1-3 h z u HYPERLINK l _Toc6483411 第1章 云平台总体架构设计 PAGEREF _Toc6483411 h 4 HYPERLINK l _Toc6483412 第2章 资源池总体设计 PAGEREF _Toc6483412 h 5 HYPERLINK l _Toc6483413 2.1 X86计算资源池设计 PAGEREF _Toc6483413 h 6 HYPERLINK l _Toc6483414 2.1.1 计算资源池设计 PAGEREF _Toc6483414 h 6 HYPERLINK l _Toc64834

2、15 2.1.2 资源池主机容量规划设计 PAGEREF _Toc6483415 h 8 HYPERLINK l _Toc6483416 2.1.3 高可用保障 PAGEREF _Toc6483416 h 9 HYPERLINK l _Toc6483417 2.1.4 性能状态监控 PAGEREF _Toc6483417 h 12 HYPERLINK l _Toc6483418 2.2 PowerVM计算资源池设计 PAGEREF _Toc6483418 h 14 HYPERLINK l _Toc6483419 2.2.1 IBM Power小型机虚拟化技术介绍 PAGEREF _Toc648

3、3419 h 14 HYPERLINK l _Toc6483420 2.2.2 H3Cloud云平台支持Power小型机虚拟化 PAGEREF _Toc6483420 h 16 HYPERLINK l _Toc6483421 2.2.3 示例 PAGEREF _Toc6483421 h 18 HYPERLINK l _Toc6483422 2.3 物理服务器计算资源池设计 PAGEREF _Toc6483422 h 19 HYPERLINK l _Toc6483423 2.4 网络资源池设计 PAGEREF _Toc6483423 h 20 HYPERLINK l _Toc6483424 2.

4、4.1 网络虚拟化 PAGEREF _Toc6483424 h 20 HYPERLINK l _Toc6483425 2.4.2 网络功能虚拟化 PAGEREF _Toc6483425 h 34 HYPERLINK l _Toc6483426 2.4.3 安全虚拟化 PAGEREF _Toc6483426 h 36 HYPERLINK l _Toc6483427 2.5 存储资源池设计 PAGEREF _Toc6483427 h 37 HYPERLINK l _Toc6483428 2.5.1 分布式存储技术方案 PAGEREF _Toc6483428 h 37 HYPERLINK l _To

5、c6483429 2.6 资源安全设计 PAGEREF _Toc6483429 h 46 HYPERLINK l _Toc6483430 2.6.1 安全体系 PAGEREF _Toc6483430 h 46 HYPERLINK l _Toc6483431 2.6.2 架构安全 PAGEREF _Toc6483431 h 47 HYPERLINK l _Toc6483432 2.6.3 云安全 PAGEREF _Toc6483432 h 53 HYPERLINK l _Toc6483433 2.6.4 安全管理 PAGEREF _Toc6483433 h 59 HYPERLINK l _Toc

6、6483434 2.6.5 防病毒 PAGEREF _Toc6483434 h 62云平台总体架构设计基于当前IT基础架构的现状，未来云平台架构必将朝着开放、融合的方向演进，因此，云平台建议采用开放架构的产品。目前，越来越多的云服务提供商开始引入Openstack，并投入大量的人力研发自己的openstack版本，如VMware、华三等，各厂商基于Openstack架构的云平台其逻辑架构都基本相同，具体参考如下：图2-1：云平台逻辑架构图从上面的云平台的逻辑架构图中可以看出，云平台大概分为三层，即物理资源池、虚拟抽象层、云服务层。1、物理资源层物理层包括运行云所需的云数据中心机房运行环境，以及

7、计算、存储、网络、安全等设备。2、虚拟抽象层资源抽象与控制层通过虚拟化技术，负责对底层硬件资源进行抽象，对底层硬件故障进行屏蔽，统一调度计算、存储、网络、安全资源池。3、云服务层云服务层是通过云平台Portal提供IAAS服务的逻辑层，用户可以按需申请相关的资源，包括：云主机、云存储、云网络、云防火墙与云负载均衡等 。基于未来云平台的发展趋势及华北油田数据中心云平台的需求，华北油田的云平台应具备异构管理能力，能够对多种虚拟化平台进行统一的管理、统一监控、统一运维，同时，云平台能够基于业务的安全需要进行安全防护，满足监控部门提出的安全等级要求。下面是本次云平台架构的初步设计，如下图所示：图2-2

8、：云平台总体架构图资源池总体设计从云平台的总体架构可以看出，资源池是云平台的基础。因此，在构建云平台的过程中，资源的池化迈向云的是第一步。目前，计算资源的池化主要包括两种，一种是X86架构的虚拟化，主要的虚拟化平台包括VMware、KVM、Hyper-V等；另一种是小型机架构的虚拟化，主要的虚拟化平台为PowerVM，这里主要关注基于X86架构的虚拟化。存储资源的池化也包括两种，一种是当前流行的基于X86服务本地磁盘实现的分布式存储技术，如VMware VSAN、华为 FusionStorage、华三 vStor等；另一种是基于SAN存储实现的资源池化，实现的方式是利用存储虚拟化技术，如EMC

9、 VPLEX、华为 VIS(虚拟化存储网关型)和 HDS VSG1000(存储型)等。这两种方式分别适用于不同的场景，对于普通的数据存储可以尝试使用分布式存储架构，如虚拟机文件、OLAP类数据库等，而对于关键的OLTP类数据库则建议采用基于SAN存储的架构。网络资源池化也包括两种，一种是基于硬件一虚多技术实现的网络资源池，如 华为和华三的新型的负载均衡、交换机、防火墙等设备；另一种是基于NFV技术实现的网络资源池。这两种方式分别适用于不同的场景，对于南北向流量的网络服务建议采用基于硬件方式实现的网络资源池化，而对于东西向流量的网络服务建议采用基于NFV技术实现的网络资源池化。图2-2-1：华北

10、油田资源池总体设计示例X86计算资源池设计计算资源池设计服务器是云计算平台的核心之一，其承担着云计算平台的“计算”功能。对于云计算平台上的服务器，通常都是将相同或者相似类型的服务器组合在一起，作为资源分配的母体，即所谓的服务器资源池。在这个服务器资源池上，再通过安装虚拟化软件，使得其计算资源能以一种虚拟服务器的方式被不同的应用使用。这里所提到的虚拟服务器，是一种逻辑概念。对不同处理器架构的服务器以及不同的虚拟化平台软件，其实现的具体方式不同。在x86系列的芯片上，其主要是以常规意义上的VMware虚拟机或者H3Cloud虚拟机的形式存在。后续的方案描述中，都以H3C 虚拟化软件进行描述。CVK

11、：Cloud Virtualization Kernel，虚拟化内核平台运行在基础设施层和上层操作系统之间的“元”操作系统，用于协调上层操作系统对底层硬件资源的访问，减轻软件对硬件设备以及驱动的依赖性，同时对虚拟化运行环境中的硬件兼容性、高可靠性、高可用性、可扩展性、性能优化等问题进行加固处理。CVM：Cloud Virtualization Manager，虚拟化管理系统主要实现对数据中心内的计算、网络和存储等硬件资源的软件虚拟化，形成虚拟资源池，对上层应用提供自动化服务。其业务范围包括：虚拟计算、虚拟网络、虚拟存储、高可靠性（HA）、动态资源调度（DRS）、虚拟机容灾与备份、虚拟机模板管理

12、、集群文件系统、虚拟交换机策略等。采用购置的虚拟化软件对多台PC服务器虚拟化后，连接到共享存储，构建成虚拟化资源池，通过网络按需为用户提供计算资源服务。同一个资源池内的虚拟机可以共享资源池内物理服务器的CPU、内存、存储、网络等资源，并可在资源池内的物理服务器上动态漂移，实现资源动态调配。计算资源池逻辑组网架构图如下所示：计算资源池逻辑组网架构建成后的虚拟化系统，虚拟机之间安全隔离；虚拟机可以实现物理机的全部功能；兼容主要服务器厂商的主流X86服务器、主流存储阵列产品、运行在X86服务器上的主流操作系统，并支持主流应用软件的运行。资源池主机容量规划设计单台服务器所能支持虚机数量的决定因素主要取

13、决与两方面：服务器的硬件配置CPU性能多核高主频技术使得CPU成为性能瓶颈的可能性越来越低内存大小做为硬指标的内存，配置越高，所能支持的虚机数量越多网络端口千兆网环境已很普遍，网络带宽大多有保证，更多从管理角度来考虑HBA卡磁盘访问性能对虚机数量有一定影响，建议采用10G以太网或者8Gbps FC以减少链路影响本地磁盘内置磁盘的可用性及IO吞吐能力均较弱，不建议在其上存放虚拟机，推荐使用外置高性能磁盘阵列应用负载大小由于物理服务器资源自身的最大限制，应用负载越大，所能同时运行的虚机数量越少建议将不同应用访问特性的应用混合部署在同一物理服务器上灵活运用DRS和VMotion技术可将物理机与虚机的

14、比率关系调到最优考虑到HA及DRS所要求的资源冗余，所有运行虚机在正常负载下，总体资源使用率不超过三分之二会比较合适在部署虚拟化时，对物理服务器的硬件配置需要考虑以下因素：可用的CPU目标数量尽可能多，单台服务器建议配置6个以上的CPU核。超线程技术并不能提供等同于多核处理器的好处；建议关闭CPU的超线程功能使用具有EM64T能力的Intel VT 或AMD V 技术的CPU可以同时支持运行32位和64位的虚拟机采用同一厂商、同一产品家族和同一代处理器的服务器组成的集群，可以获得最好的虚拟机迁移兼容能力内存资源往往比CPU资源更会成为潜在的瓶颈，尽可能采用最大容量的内存条（单条8GB效果优于两

15、条4GB）。下表给出了部署虚拟化时的服务器建议配置：服务器CPU路数双路四路CPU（建议主频2GHz以上）双路四核四路双核或四核内存16GB+32GB+千兆网口无外接存储4+ / 6+4+ / 6+使用FC存储4+ / 6+4+ / 6+使用IP存储6+ / 8+6+ / 8+SAN端口2*8Gbps FC或2*10Gbps Eth2*8Gbps FC或2*10Gbps Eth内置硬盘（使用外置磁盘阵列时）22电源双冗余双冗余虚拟机资源分配设计虚拟机CPU分配原则：尽量使用最少的vCPUs，如果是单线程应用，无需多线程处理。虚拟CPU数量不要等于或超过物理CPU核数，如双路双核的服务器配置，虚

16、机最多使用两个虚拟CPU内存分配原则：内存总量为在资源评估后，计算虚拟机评估结果所需实际内存尽量避免大于物理内存的总和。因为应用程序而产生的更多内存需要用磁盘内存来解决，会导致系统性能下降。如需要P2V迁移，在进行虚拟化迁移之前，应对每个应用系统虚拟化迁移后所需的虚拟计算进行合理的评估和计算，以确保迁移后应用系统的可用性、可靠性和各项性能指标可满足业务目标。虚拟资源计算的原则是，如果客户希望业务系统迁移后，业务系统能够保持与原系统一致的体验，我们建议虚拟机的计算能力与原物理服务器的计算能力保持一致；如果客户希望通过P2V的迁移，提高资源的利用率，我们建议虚拟机的计算能力可以相比原先进行一定程度

17、的压缩，具体的压缩计算方式如下图所示。高可用保障主机高可用H3C CAS虚拟化平台 HA功能会监控该集群下所有的主机和物理主机内运行的虚拟主机。当物理主机发生故障，出现宕机时，HA功能组件会立即响应并在集群内另一台主机上重启该物理主机内运行的虚拟机。当某一虚拟服务器发生故障时，HA功能也会自动的将该虚拟机重新启动来恢复中断的业务。除了对集群中的物理服务器节点进行持续检测之外，H3C CAS HA软件模块还对运行于物理服务器节点之上的虚拟机进行持续检测。在每台服务器节点上都运行了一个LRMd（Local Resource Manager daemon，本地资源管理器守护进程），它是HA软件模块中

18、直接操作所管理的各种资源的一个子模块，负责对本地的虚拟化资源进行状态检测，并通过shell脚本调用方式实现对资源的各种操作。当LRMd守护进程检测到本机的某台虚拟机出现通信故障时，首先将事件通知给DC，由DC统一将该虚拟机状态告知集群内所有的物理服务器节点，并按照一定的策略算法，为该故障的虚拟机选择一个空闲的服务器节点，在该节点上重启该虚拟机。操作系统蓝屏高可用蓝屏又称之为蓝屏死机（Blue Screen of Death，BSoD），是微软Windows操作系统无法从一个系统错误中恢复时，为保护计算机数据文件不被破坏而强制显示的屏幕图像。从专业的角度来讲，蓝屏被定义为“当微软Windows操

19、作系统由于出现灾难性错误或者内部条件阻止系统继续运行而显示的蓝色屏幕”。Linux类型操作系统没有蓝屏的概念，与之对应的称之为内核崩溃（Kernel Panic），此时，可能会在终端输出内核栈，如果Linux操作系统开启了Core Dump选项，则会产生Core文件。H3C CAS CVK虚拟化内核系统支持虚拟机蓝屏（Windows）和崩溃（Linux）的故障检测及HA处理，前提条件是在虚拟机操作系统上必须安装CAStools工具，该工具的目的是通过虚拟串口通道保持与H3C CAS CVK虚拟化内核系统的实时通信，判定虚拟机的存活状态，如果在3个时间周期（一个周期为30秒）内没有接收到操作系统

20、CAStools的应答，则通过探测虚拟机磁盘I/O读写来进一步判定虚拟机的存活状态，如果在6个时间周期（一个周期为30秒）内没有探测到虚拟机磁盘I/O读写活动，则判定虚拟机操作系统蓝屏。当确定虚拟机出现蓝屏之后，有三种HA处理方式，可由系统管理员在H3C CAS CVM虚拟化管理平台上配置：不处理：即使检测到虚拟机蓝屏故障，也不会做任何处理（默认配置）。故障重启：将蓝屏后的虚拟机在本地物理主机上重新启动。故障迁移：将蓝屏后的虚拟机迁移到集群内其它正常工作的物理主机上。应用高可用应用HA是指运行于虚拟机操作系统内的业务系统的高可靠性，当业务系统由于自身原因导致无法对外正常提供服务时，可以借助应用

21、HA功能，以最短的时间自动恢复业务。企业级业务系统一般都以进程服务的方式驻留在操作系统内，H3C CAS CVM虚拟化管理平台利用CAStools工具来监控业务服务进程的状态，该工具安装在虚拟机操作系统上，通过虚拟串口通道保持与H3C CAS CVM虚拟化管理平台的实时通信，判定业务的存活状态。如果在连续3个时间周期（1个周期为30秒）内探测到被监测的服务状态为非运行或非活跃状态，则自动重启该服务，如果连续4个时间周期检测到应用服务故障，且重启服务失败，则根据系统管理员配置的应用HA策略，重新启动虚拟机或仅上报应用故障不可恢复的告警消息。H3C CAS应用HA服务检测机制应用HA特性给客户带来

22、如下明显的价值：实时显示应用程序的可用性状态；当应用程序不可用时，执行用户自定义的修复策略，包括重启服务和重启虚拟机，最小化业务宕机时间；当应用程序不可用时，触发告警通知。性能状态监控基于物理服务器的性能监控提供物理服务器CPU和内存等计算资源的图形化报表及其运行于其上的虚拟机利用率TOP 5报表，为管理员实施合理的资源规划提供详尽的数据资料。物理服务器性能图形报表基于虚拟机的性能监控提供虚拟机CPU、内存、磁盘I/O、网络I/O等重要资源在内的关键元件进行全面的性能监测。虚拟机性能图形报表基于虚拟交换机的性能监控提供虚拟机交换机上各个虚端口的流量统计与模拟面板图形化显示。虚拟交换机状况监测基

23、于虚拟网卡的性能监控提供进出虚拟机虚端口的流量的图形化实时显示。虚拟网卡性能状况监测PowerVM计算资源池设计小型机，在国内习惯上用来指UNIX服务器，在服务器市场中处于中高端位置。小型机具有区别X86服务器和大型主机的特有体系结构，各厂商使用自家的UNIX版本的操作系统和专属处理器。小型机以其RAS（高可靠性、高可用性、高服务性）等特性，在金融、政府、电信、工业等领域广泛使用。IBM Power小型机在中国保守估计每年的销量是20,000台，市场存量200,000台以上。小型机的市场占有率非常高，如果云平台要进入金融、政府等行业的市场，就必须把小型机“融入”到自己的系统当中。云平台要做到支

24、持小型机，那么首先该平台要支持小型机的虚拟化。这也是云计算各厂商主要的重要竞争点。本文将谈谈华三通信的云平台如何做到支持小型机虚拟化。IBM Power小型机虚拟化技术介绍 PowerVM是在基于IBM POWER处理器的硬件平台上提供的虚拟化技术家族，为IBM Power小型机提供了行业领先的虚拟化解决方案。借助IBM PowerVM 虚拟化解决方案，企业可以整合大量的应用程序和服务器、充分虚拟化系统资源，从而提供一个更具灵活性的动态IT基础架构。 PowerVM虚拟化实现架构如图1所示。 图1 PowerVM虚拟化架构图2 VMware架构从图1可以看出，PowerVM虚拟化核心是固件级别

25、，IO虚拟化由专用的VIOS（虚拟I/O服务器）分区（即虚拟机）提供。而如图2所示VMware虚拟化是建立在操作系统之上的，IO虚拟化也是由操作系统提供。由于其核心技术内建于系统固件之中，PowerVM 提供了一个高度安全的虚拟化平台，该平台已获得了通用标准评估与验证体系（CCEVS）EAL4+安全认证。H3Cloud云平台支持Power小型机虚拟化H3Cloud 云平台是一套基于OpenStack、面向业务的私有云操作与管理系统，提供了租户管理、认证鉴权、计算、网络、存储等私有云服务与管理功能。目前H3Cloud云平台已经支持Xen、KVM、VMware ESXi、CAS等虚拟化技术。鉴于I

26、BM Power小型机在金融、电信等领域的广泛应用和PowerVM在虚拟化方面的优势。H3Cloud云平台支持PowerVM虚拟化势在必行。Power 小型机虚拟化管理网络架构 Power小型机管理系统网络总体架构如下图所示：H3Cloud平台服务网络PCenter管理网络Power小型机HMC数据网络图3 Power小型机管理系统网络总体架构 和H3Cloud管理其它虚拟化厂商产品的组网方案相同，Power 小型机管理系统中也存在3种类型的网络：服务网络、管理网络和数据网络。 服务网络：主要为云环境提供服务。PCenter连接在本网络里以便能够访问H3Cloud云平台；而H3Cloud云平台

27、为了能够访问PCenter和为Power小型机的微分区提供image镜像文件，需要连接到本服务网络；Power小型机作为客户端需要能够访问H3Cloud云平台的镜像文件服务器以便下载镜像文件，因此也需要连接在本网络中。 管理网络：本网络主要为PCenter能够访问HMC(Hardware Management Console)以便管理Power 小型机使用。主要作用是能够通过HMC获取管理的Power小型机的各种信息，并且能够访问Power小型机的VIOS以便配置微分区。数据网络：主要为部署的微分区的应用程序之间交换数据使用。Power 小型机虚拟化支持概述H3Cloud平台对Power小型机

28、虚拟化支持功能模块如下图所示：OpenStackH3Cloud平台界面Image模块网络模块PCenter驱动VIOSPower小型机HMCPCenter 服务RESTAPI接口 图4 H3Cloud云平台对Power小型机虚拟化支持模型 如图4所示，在整个模型中，PCenter驱动是H3Cloud云平台与PCenter服务程序联系的纽带，H3Cloud平台通过它与PCenter服务程序的REST API接口进行通信，获取PCenter服务程序管理的Power小型机的信息，比如Power小型机的电源状态和CPU个数、内存大小、硬盘大小、网络连接等硬件信息。 REST API接口是PCenter

29、服务程序对外提供的标准访问接口，外部程序或者客户端需要通过REST API与PCenter服务程序通信。 PCenter服务程序是整个Power小型机管理系统的核心，它基于客户机服务器模型，通过HMC来对Power小型机进行管理和获取小型机资源信息，并且能够支持在Power小型机上进行微分区和微分区硬件设备（比如SCSI 客户端、虚拟以太网卡）的创建、删除、查询等操作。PCenter服务程序同时能够直接与Power小型机的VIOS通信，对Power小型机微分区的硬盘和网络进行创建和管理。 Pcenter服务程序能够依据收集到的所管理Power小型机的各种硬件信息，将H3Cloud平台的虚拟机创

30、建请求信息自动调度到合适的Power小型机上进行虚拟机的生命期管理。 HMC专门负责管理Power小型机，Pcenter服务程序正是通过HMC对Power小型机进行管理控制 。 VIOS是Power小型机上专门负责I/O管理的特殊分区，一般来说，它占有所有的I/O硬件资源比如硬盘控制器、物理网卡设备等，并基于这些物理设备来为在Power小型机上创建的微分区提供虚拟I/O服务。而微分区将作为客户端使用VIO服务器提供的服务。 示例 下面以创建PowerVM云主机为例来演示用户需求在H3Cloud云平台上实现。配置PowerVM实例 用户在H3Cloud云平台上单击“创建新主机”链接，然后按照提示

31、，选择用于创建新主机的镜像、规格和网络，在“基本配置”tab页输入新主机的名称等信息后，单击“确定”按钮，开始创建主机。如图5和6所示。 图5 PowerVM实例配置详情界面 图6 PowerVM实例创建完成界面通过SSH远程登录PowerVM实例主机创建成功后，可以通过SSH客户端工具远程登录该主机。如图7所示。 图7 远程登录云主机界面云计算本身不提供虚拟化技术，它需要借助于各种主流的虚拟化方案并和其进行交互，来实现云主机的创建和管理。H3Cloud云平台支持Power小型机虚拟化后，借助H3Cloud云平台强大的私有云服务与管理能力，必将给使用Power小型机的金融、政府等行业用户带来全

32、新的体验。物理服务器计算资源池设计在云数据中心中，物理主机作为云计算资源重要的单元，对于高IO要求和性能敏感型的应用是必不可少的。H3CloudOS可以统一纳管裸设备，将服务器作为资源交付给最终用户。最终用户在选择云主机时，可以根据云主机所负载的应用选择相对应规格的物理服务器、适用的OS等参数。H3CloudOS可以实现对物理主机实现类似于普通虚机生命周期管理里涵盖的功能，将物理服务器纳入整个云计算数据中心的计算资源池统一管理。网络资源池设计网络虚拟化内、外网资源池网络资源均采用两台核心交换机、两台接入交换机组成，全网由万兆光纤互联。云计算中大量采用和部署的虚拟化几乎成为一个基本的技术模式，部

33、署虚拟机需要在网络中无限制地迁移到目的物理位置，虚机增长的快速性以及虚机迁移成为一个常态性业务。这些动态工作负载的连接要求网络具备资源化能力，而传统网络已经不能满足需求。传统网络技术面临以下三个问题：虚拟机迁移范围受到网络架构限制虚拟机迁移的网络属性要求，当其从一个物理机上迁移到另一个物理机上，虚拟机需要不间断业务，因而需要其IP地址、MAC地址等参数维持不变，如此则要求业务网络是一个二层网络，且要求网络本身具备多路径多链路的冗余和可靠性。传统的网络生成树(STP，Spaning Tree Protocol)技术不仅部署繁琐，且协议复杂，网络规模不宜过大，限制了虚拟化的网络扩展性。基于各厂家私

34、有的IRF/vPC等设备级的（网络N:1）虚拟化技术，虽然可以简化拓扑、具备高可靠性，但是对于网络有强制的拓扑形状，在网络的规模和灵活性上有所欠缺，只适合小规模网络构建，且一般适用于数据中心内部网络。而为了大规模网络扩展的TRILL/SPB/FabricPath/VPLS等技术，虽然解决了上述技术的不足，但对网络有特殊要求，即网络中的设备均要软硬件升级，而支持此类新技术会带来部署成本的大幅度上升。虚拟机规模受网络规格限制在大二层网络环境下，数据流均需要通过明确的网络寻址以保证准确到达目的地，因此网络设备的二层地址表项大小（即MAC地址表），成为决定了云计算环境下虚拟机的规模上限，并且因为表项并

35、非百分之百的有效性，使得可用的虚机数量进一步降低。特别是对于低成本的接入设备而言，因其表项一般规格较小，限制了整个云计算数据中心的虚拟机数量，但如果其地址表项设计为与核心或网关设备在同一档次，则会提升网络建设成本。虽然核心或网关设备的MAC与ARP规格会随着虚拟机增长也面临挑战，但对于此层次设备能力而言，大规格是不可避免的业务支撑要求。减小接入设备规格压力的做法可以是分离网关能力，如采用多个网关来分担虚机的终结和承载，但如此也会带来成本的巨幅上升。网络隔离/分离能力限制当前的主流网络隔离技术为VLAN（或VPN），在大规模虚拟化环境部署会有两大限制：一是VLAN数量在标准定义中只有12个比特单

36、位，即可用的数量为4K，这样的数量级对于公有云或大型虚拟化云计算应用而言微不足道，其网络隔离与分离要求轻而易举会突破4K；二是VLAN技术当前为静态配置型技术（只有EVB/VEPA的802.1Qbg技术可以在接入层动态部署VLAN，但也主要是在交换机接主机的端口为常规部署，上行口依然为所有VLAN配置通过)，这样使得整个数据中心的网络几乎为所有VLAN被允许通过(核心设备更是如此)，导致任何一个VLAN的未知目的广播数据会在整网泛滥，无节制消耗网络交换能力与带宽。上述的三大挑战，完全依赖于物理网络设备本身的技术改良，目前看来并不能完全解决大规模云计算环境下的问题，一定程度上还需要更大范围的技术

37、革新来消除这些限制，以满足云计算虚拟化的网络能力需求。在此驱动力基础上，逐步演化出Overlay网络技术的SDN VPC数据中心方案。Overlay介绍Overlay基础概念Overlay在网络技术领域，是一种网络架构上叠加的虚拟化技术模式，其大体框架是对基础网络不进行大规模修改的条件下，实现应用在网络上的承载，并能与其它网络业务分离，并且以基于IP的基础网络技术为主。Overlay网络是指建立在已有网络上的虚拟网，逻辑节点和逻辑链路构成了Overlay网络。Overlay网络是具有独立的控制和转发平面，对于连接在overlay边缘设备之外的终端系统来说，物理网络是透明的。Overlay网络是

38、物理网络向云和虚拟化的深度延伸，使云资源池化能力可以摆脱物理网络的重重限制，是实现云网融合的关键。Overlay网络概念图Overlay技术标准IETF在Overlay技术领域提出VXLAN、NVGRE、STT三大技术方案。大体思路均是将以太网报文承载到某种隧道层面，差异性在于选择和构造隧道的不同，而底层均是IP转发。VXLAN和STT对于现网设备而言对流量均衡要求较低，即负载链路负载分担适应性好，一般的网络设备都能对L2-L4的数据内容参数进行链路聚合或等价路由的流量均衡，而NVGRE则需要网络设备对GRE扩展头感知并对flow ID进行HASH，需要硬件升级；STT对于TCP有较大修改，隧

39、道模式接近UDP性质，隧道构造技术属于革新性，且复杂度较高，而VXLAN利用了现有通用的UDP传输，成熟性极高。所以总体比较，VLXAN技术具有更大优势，而且当前VLXAN也得到了更多厂家和客户的支持，已经成为Overlay技术的主流标准，所以本文的后续介绍均以VXLAN技术作为标准进行介绍，NVGRE、STT则不再赘述。VXLAN（Virtual eXtensible LAN，可扩展虚拟局域网络）是基于IP网络、采用“MAC in UDP”封装形式的二层VPN技术，具体封装的报文格式如图2所示。VXLAN可以基于已有的服务提供商或企业IP网络，为分散的物理站点提供二层互联功能，主要应用于数据

40、中心网络。VXLAN具有如下特点：使用24位的标识符，最多可支持16M个VXLAN，解决了传统二层网络VLAN资源不足的问题。基于IP网络组建大二层网络，使得网络部署和维护更加容易，并且可以好地利用现有的IP网络技术，例如利用等价路由负载分担。只有边缘设备需要进行VXLAN处理，VXLAN业务对网络中间设备透明，只需根据IP头转发报文，降低了网络部署的难度和费用。根据客户不同组网需求，Overlay的网络部署分为以下三种组网模型，如下图所示。Overlay的网络部署图网络Overlay的隧道封装在物理交换机完成。这种Overlay的优势在于物理网络设备性能转发性能比较高，可以支持非虚拟化的物理

41、服务器之间的组网互通。它的缺点就是现网设备大都不支持VXLAN, 需要大批量更换设备。主机Overlay隧道封装由虚拟设备完成，不用增加新的网络设备即可完成Overlay部署，可以支持虚拟化的服务器之间的组网互通。它纯粹由服务器实现Overlay功能，对现有网络改动不大，但是可能存在转发瓶颈。混合Overlay是Network Overlay和Host Overlay的混合组网，可以支持物理服务器和虚拟服务器之间的组网互通。它融合了两种Overlay方案的优点，既可以发挥硬件GW的转发性能，又尽可能的减少对于现有网络的改动。VXLAN工作原理VXLAN是一个网络封装机制，它从两个方面解决了移动

42、性和扩展性：它是MAC in UDP的封装，允许主机间通信通过一个Overlay网络，这个Overlay网络可以横跨多个物理网络。这是一个独立于底层物理网络的逻辑网络，虚机迁移时不再需要改动物理设备的配置。VXLAN用24-bit的标识符，表示一个物理网络可以支持1600万个逻辑网段。数量级大大超过数据中心VLAN的限制（4094） 在ADDC体系结构中，封装工作在VTEP上执行，VTEP可以是vswitch，或者是物理设备。 这样，VXLAN 对主机和底层三层网络来说都是透明的。VXLAN 和 非 VXLAN 主机（例如，物理服务器或 Internet 路由器）之间的网关服务由VXLAN三层

43、网关设备执行。 Vxlan三层网关将 VXLAN 网段 ID 转换为 VLAN ID，因此非 VXLAN 主机可以与 VXLAN 虚拟服务器通信。Overlay网络分为2个平面，数据平面和控制平面。Overlay 数据平面提供提供数据封装，基于承载网络传输，VXLAN使用MAC over UDP封装Overlay 控制平面提供1、服务发现（Service Discovery）Overlay 边缘设备如何发现彼此，以便建立Overlay 隧道关系2、地址通告和映射（Address Advertising and Mapping）Overlay 边缘设备如何交换其学习到的主机可达性信息（包括但不限

44、于MAC地址、或IP地址、或其他地址信息）Overlay 边缘设备到主机的可达性问题，物理网络和Overlay网络地址映射3、隧道管理（Tunnel Management）如何维持和管理Overlay 边缘设备之间的虚拟连接关系VXLAN控制平面的实现主要有三种方式：1.通过数据平面自学习：配置VXLAN ID和组播组之间的关系，通过Flooding and Learning机制完成地址学习，这要求物理网络支持组播转发，对网络支持组播组的数量有要求，是IETF规定标准的控制平面实现方式：数据平面自学习2.通过控制协议学习：利用扩展路由协议IS-IS或BGP完成VXLAN控制平面的地址学习，属于

45、私有协议:控制协议学习3.通过SDN Controller实现：由于Controller了解整网的拓扑结构，VM管理器知道虚拟机的位置和状态，这样，通过Controller与VM管理器的联动，就可以很容易实现基于Controller完成控制平面的地址学习，然后通过标准OpenFlow协议下发到网络设备。H3C Controller支持多个节点集群，提供了高可靠性和极强的扩展性。SDN Controller实现控制面三种实现方式对比，在大规模的云计算虚拟化环境中，以Controller方式为最优：无需物理网络支持大量组播组标准协议，可扩展性极强部署简单，可通过Controller集中管理和控制设

46、备 主机部署与物理位置解耦和通过使用MAC-in-UDP封装技术，VXLAN为虚拟机提供了位置无关的二层抽象，Underlay网络和Overlay网络解耦合。终端能看到的只是虚拟的二层连接关系，完全意识不到物理网络限制。更重要的是，这种技术支持跨传统网络边界的虚拟化，由此支持虚拟机可以自由迁移，甚至可以跨越不同地理位置数据中心进行迁移。如此以来，可以支持虚拟机随时随地接入，不受实际所在物理位置的限制。所以VXLAN的位置无关性，不仅使得业务可在任意位置灵活部署，缓解了服务器虚拟化后相关的网络扩展问题；而且使得虚拟机可以随时随地接入、迁移，是网络资源池化的最佳解决方式，可以有力地支持云业务、大数

47、据、虚拟化的迅猛发展。分布式网关分布式网关把分布在多台主机的单一OVS逻辑上组成一个“大”交换机，原来每个OVS需要分别配置，而现在OVS分布式网关可在控制器管理界面集中配置、管理。分布式网关通过控制器创建和维护，当一个OVS分布式网关被创建时，每一个主机会创建一个隐藏的OVS与分布式网关连接。分布式网关主要具备以下几个功能：可以实现OVS集中管理的功能，在控制器管理界面对OVS集中配置管理，无需对每个OVS单独配置、管理。OVS分布式网关可以通过流表实现VXLAN的二三层转发。虚拟机迁移时可以使得虚拟机网络端口状态在从一个主机移到另一个主机时保持不变，这样就能支持对虚拟机持续地统计监控并促进

48、安全性监控。虚拟机迁移后，不需要重新配置网关等网络参数，部署简单、灵活。如果采用的是物理设备作为VTEP，则L2 GW等同于OVS，实现的效果相同，适用不同的使用场景。Overlay网络流表路由ARP代答对于虚拟化环境来说，当一个虚拟机需要和另一个虚拟机进行通信时，首先需要通过ARP的广播请求获得对方的MAC地址。由于VXLAN网络复杂，广播流量浪费带宽，所以需要在控制器上实现ARP代答功能。即由控制器对ARP请求报文统一进行应答，而不创建广播流表。ARP代答的大致流程：控制器收到OVS上送的ARP请求报文，做IP-MAC防欺骗处理确认报文合法后，从ARP请求报文中获取目的IP，以目的IP为索

49、引查找全局表获取对应MAC，以查到的MAC作为源MAC构建ARP应答报文，通过Packetout下发给OVS。主机迁移策略跟随在虚拟化环境中，虚拟机故障、动态资源调度功能、服务器主机故障或计划内停机等都会造成虚拟机迁移动作的发生。虚拟机的迁移，需要保证迁移虚拟机和其他虚拟机直接的业务不能中断，而且虚拟机对应的网络策略也必须同步迁移。虚拟机迁移及网络策略如图所示：图：虚拟机迁移及网络策略跟随网络管理员通过虚拟机管理平台下发虚拟机迁移指令，虚拟机管理平台通知控制器预迁移，控制器标记迁移端口，并向源主机和目的主机对应的主备控制器分布发送同步消息，通知迁移的VPort，增加迁移标记。同步完成后，控制器

50、通知虚拟机管理平台可以进行迁移了。虚拟机管理平台收到控制器的通知后，开始迁移，创建VM分配IP等资源并启动VM。启动后目的主机上报端口添加事件，通知给控制器，控制器判断迁移标记，迁移端口，保存新上报端口和旧端口信息。然后控制器向目的主机下发网络策略。源VM和目的执行内存拷贝，内存拷贝结束后，源VM关机，目的VM上线。源VM关机后，迁移源主机上报端口删除事件，通知给控制器，控制器判断迁移标记，控制器根据信息删除旧端口信息并同时删除迁移前旧端口对应的流表信息。主控制器完成上述操作后在控制器集群内进行删除端口消息的通知。其他控制器收到删除端口信息后，也删除本控制器的端口信息，同时删除对应端的流表信息

51、。源控制器需要把迁移后新端口通知控制器集群的其他控制器。其他控制器收到迁移后的端口信息，更新端口信息。当控制器重新收到Packet-in报文后，重新触发新的流表生成。Overlay网关高可靠性Overlay网关的高可靠性原理如图所示：Overlay网关高可靠性网关组中网关的VTEP IP和GW VMAC 相同,均通过路由协议对内网发布VTEP IP对应路由。网关组内部，采用无状态转发设计，所有网关信息同步。在处理OVS发往GW的流量时，动态选择GW组中的一个GW，可以很好地起到负载分担的作用。网关故障后，流量切换到分组内其它网关，保证业务平滑迁移。网关与内外网设备连接，采用聚合或ECMP方式，

52、某链路故障，网关自动切换链路，无需人工干预。单个网关设备采用双主控，原主控故障，新主控接管设备管理，所有处理网关自动完成。转发层面和控制层面分离， VCF Controller不感知，网关上流量转发不受影响。SDN VPC架构SDN VPC是领先的网络连接和安全解决方案，它可以提高运营效率，发挥敏捷性并可实现能够快速响应业务需求的延展性。它可在单一解决方案中提供大量不同的服务，包括虚拟防火墙、多租户、负载均衡和VXLAN扩展网络。SDN VPC可实现网络和安全保护虚拟化，从而创建高效、敏捷且可延展的逻辑结构，并满足虚拟数据中心的性能和可扩展性要求。SDN VPC采用安全服务链架构，通过服务链，

53、定义业务经过不同的安全节点，为业务提供全面的安全防护。SDN VPC方案是面向客户应用的数据中心网络解决方案，简单灵活高性价比！SDN VPN方案组件如上图所述，SDN VPC方案组件在整个数据中心内位于承上启下的腰部位置，承上对接云管理平台，云平台可以是第三方的云平台或者H3C的CSM云平台，用户通过云平台可以对整个数据中心的业务和资源进行管理。启下对接计算资源层，计算资源层包括虚拟计算资源和物理服务器，虚拟计算资源可以是H3C的CAS虚拟机、VMware的vsphere、Microsoft的hyper-v或者是开源的KVM/XEN，ADDC都可以无缝的和它们对接。SDN VPC方案又由3个

54、层次组成，最下一层是转发层，负责对数据报文进行转发、封装、解封装、防火墙业务、负载均衡业务等，转发层的具体设备包含交换路由设备、安全设备等。控制层由VCF控制器组成，控制器对overlay网络进行集中的控制，通过openflow协议对overlay设备下发流表，通过netconf协议对overlay设备进行策略配置下发，通过ovsdb对vswitch进行策略配置下发。控制层往上是管理层，管理层主要作用是对用户呈现一个图形化的操作管理界面，包括overlay网络与underlay网络的统一拓扑管理、图形化的策略配置、设备的性能监控、安全事件及策略等的管理都是在管理层上实现的功能。SDN VPC拓

55、扑典型的SDN VPC组网图如上图所述，在这个图中，转发层的设备包括vswitch虚拟交换机、vxlan二层网关、vxlan三层网关、vFW、vLB、其他普通的路由交换设备。控制层设备为VCF控制器。管理层设备为iMC。控制层设备和管理层设备可以集中部署在管理控制Rack区。对于一个用户的数据中心来说，服务器包含两种类型，即虚拟化服务器和非虚拟化服务器，虚拟化的服务器采用vswitch作为vtep，物理服务器则采用支持Vxlan的物理交换机作为vtep。Overlay转发就是vtep之间的通信。控制平面借助H3C高可靠的SDN Controller集群实现管理和配置，VCF控制器集中控制vte

56、p和vxlan二层网关、vxlan三层网关。Overlay网络的所有设备由H3C VCF Controller通过标准协议集中管理，减少了传统设备管理的复杂性。同时当用户业务扩展时，通过集中管理用户可以方便快速的部署网络设备，便于网络的扩展和管理。在VXLAN实际网络部署中，接入设备可以为vSwitch和物理交换机。为了实现VXLAN的网关功能，由核心物理网络设备承担，提高了网络性能。H3C核心设备主要提供VXLAN 网关功能，支持VXLAN报文的封装与解封装，并根据内层报文的IP头部进行三层转发，支持跨VXLAN之间的转发，支持VXLAN和传统VLAN之间的互通。H3C vSwitch软件主

57、要提供虚拟化VXLAN 隧道封装功能，支撑VM接入Overlay网络，支持VXLAN报文的封装与解封装，支持跨VXLAN之间的转发。H3C 物理接入网络设备主要提供VXLAN 隧道封装功能，支撑物理服务器接入Overlay网络，支持VXLAN报文的封装与解封装，并根据内层报文的MAC头部进行二层转发。图中的网络服务资源池部署了vFW和vLB，起安全服务链的作用。数据在网络中传递时，需要经过各种服务节点，才能保证网络按照设计要求，提供给用户安全、快速、稳定的网络服务。数据需要按照业务逻辑所定义的顺序，依次经过这些服务节点，这就是服务链。在上图中通过部署SDN控制器作为服务链的控制平面，可以实现服

58、务链定义的自动化。该方案具有如下特性：可以支持虚机与非虚拟化的物理服务器之间的二层数据互通。用物理设备实现VXLAN路由功能，提升了网络的整体性能。控制面实现由H3C高可靠的SDN Controller集群实现，提高了可靠性和可扩展性，避免了大规模组播的复杂部署。支持分布式网关功能，使虚机迁移后不需要重新配置网关等网络参数，部署简单、灵活。通过SDN控制器定义安全服务链，实现了服务链定义的自动化，而且控制器会实时监控安全资源池的负载情况，可以根据负载实现安全资源池的扩展或者资源释放。满足私有云、虚拟化环境交换需求，主要关注点：通过N：1虚拟化（IRF）简化网络，提升网络可靠性由原来的秒级到毫秒

59、级，并通过纵向虚拟化，实现网络更加扁平、简化。网络虚拟化技术应用价值：H3C核心交换机 IRF2 N：1虚拟化，简化管理和配置，提升可靠性，数据中心交换机还支持纵向虚拟化，进一步简化网络结构。通过纵向虚拟化技术IRF3，接入交换机可以是核心或汇聚交换机的端口扩展器，整个网络如同一台设备，纵向虚拟化具有如下优点:统一管理：纵向虚拟化架构形成之后，连接到主设备就可以集中配置和管理架构内的所有成员，而不用物理连接到每台成员设备上单独配置。统一安全策略：整网的安全策略只需在主设备上进行配置，避免了对全网设备逐一配置所带来的潜在策略冲突，并大幅降低了安全部署工作量。简化网络层级：支持大规模的远程接口板扩

60、展能力，传统需要三层网络架构才能实现的组网结构通过IRF3可以简化为二层组网，网络的物理和逻辑层次更加简单。简化业务：IRF3架构中的各种业务配置基于单一逻辑设备进行配置，这样可以大幅简化整网的VLAN、IP、路由、Mpls等规划注意事项。方便维护：所有接入设备的配置和软件版本均由主设备自动分配，新增设备的加入或离开时可以实现“热插拔”和零配置，不影响其他设备的正常运行，整网的故障排除也是单点的。网络功能虚拟化随着网络技术发展，网络功能会在一个虚拟机上实现，功能更加灵活适应虚拟化计算需求，这就是NFV技术。在数据中心边界实现2-7层深入安全防护，在数据中心核心业务自身还要实现应用层安全。安全资