关于浙江电信云资源池引入VxLAN的部署初探论文

1、关于浙江电信云资源池引入 VxLAN的部署初探论文 中国电信浙江公司为解决业务云资源池中网络资源管理遇到的 困境，试点引入VxLAN技术，以此为基础构建与物理网络松耦合的网 络虚拟化资源池， 进一步探索私有云网络资源开放的可行性。 本文从 VxLAN技术的实际部署设计方案出发，解析云资源池引入 VxLAN的设 计要点，并结合资源池的实际情况，进一步分析引入VxLAN如何为云 资源池在网络资源管理效率方面带来提升。主要问题中国电信浙江公司自 xx 年开始研究部署云计算技术， 建设了业 务云计算资源池。经过几年的发展和优化，现已基本形成安全、可靠 的云计算资源池体系。 目前在资源池上已经承载了包括

2、企业信息化系 统在内的近300个应用平台。自xx年开始，伴随着资源池规模的增 大、部署应用系统的增多、 业务需求的不断叠加，网络能力逐渐成为 了资源池演进的瓶颈： 网络集中配置导致业务开通时间越来越长、 不 同应用的网络个性需求不断叠加到基础网络上、 网络资源的SLA粒度 与资源池其他资源的分配管理互不匹配等。究其原因，我们认为主要存在以下两点。 资源池网络相关设备均是由传统的 IP 设备组成，维护人员 直接管理、 配置和维护物理设备， 但是物理设备无法实现高效的动态 化。已经可以动态按需分配的计算资源会因物理网络设备的限制而无 法高效地实现自动化供给与调配 ;不同类型资源的统一快速配置与编

3、排组合还难以做到，快速的自动协同更是不可能 ; 无法满足多租户环 境下不同客户对各类资源的统一快速供给需求。 资源池内共享的网络资源导致物理设备上配置复杂， 各配置 信息集中在某些核心设备上，缺乏隔离手段，会出现某一配置出错， 进而导致整个资源池网络出现故障， 并引发业务大面积的中断， 配置 压力也很大。复杂的配置决定网络的配置必须集中在 12 名对资源池 网络环境非常熟悉并且对各租户网络需求充分理解的维护人员上， 这 不仅需要维护人员的技术水平极高， 而且也形成了资源池的配置瓶颈。因此，我们尝试了“网络资源池化”：将网络资源封装为类似 计算、存储的池化资源进行多租户管理，并通过SDN网络管理

4、能力开 放的方法，解决上述问题。软件定义网络软件定义网络(Software-Defined-Network ，SDN技术广义上是 解决云资源池网络瓶颈的理想方案， 其具体的实现方案主要包括以下 3种类型。(1) 基于专用接口的方案： 该类方案的实现思路是不改变传统网 络的实现机制和工作方式， 通过对现有网络设备的操作系统进行升级 改造，使之能够支持专用的可编程接口供网络管理系统调用， 实现网 络设备的统一配置管理和策略下发， 改变原先需要逐台设备进行登录 配置的手工操作方式 ; 同时这些接口也可用于开发网络应用，实现网 络设备的软件编程。其中，最典型的技术产品是思科的 onePK(OpenNe

5、twork Environment Platform Kit)O(2) 基于叠加网络的方案：该类方案的实现思路是以现行的 IP 网络为基础， 在其上建立叠加的逻辑网络 (Overlay Logical Network) 用于屏蔽掉底层物理网络的差异， 实现网络资源的虚拟化， 使得多个 逻辑上彼此隔离的网络分区以及多种异构的虚拟网络可以在同一共 享网络基础设施上共存， 支持网络资源的多租户共享并突破传统网络 技术对租户网络的限制。其中，最典型的技术产品包括 VMware NSX 及其主导推出的 VxLAN微软支持的NVGRHBM的DOV等，其中VXLAN 利用了现有通用的UDP传输，成熟性极高。

6、总体比较，VxLAN技术相 对具有优势。VxLAN网络设备主要有3种角色，分别是VTEP(VXLAN Tunnel End Point) 、VxLAN GW(VxLANGatewa、y)VxLAN IP GW(VxLAN IP Gateway) ，均是物理网络的边缘设备，而由 3种边缘设备构成了 VxLAN Overlay 网络，对于应用系统来说，只与这 3 种设备相关，与 底层物理网络无关。(3) 基于开放协议的方案：这是当前最流行的SDN实现方案，它引入了开放的网络协议标准， 强调网络中控制与转发的分离， 支持南 向网络设备的集中控制， 并提供丰富的北向应用编程接口， 能够有效 降低网络架

7、构复杂度，支持业务驱动的网络资源灵活调配。其中，最 典型的技术成果是由 ONF(OpenNetworking Foundation ，开放网络基 金会)提出的基于OpenFlow南向控制协议的SDN架构。基于中国电信浙江公司云资源池的现状和需求，我们选择了对 现网影响最小的叠加网络方案，同时以VxLAN作为项目实施的核心技 术，其主要原因在于：大规模云计算资源池对 VLAN的需求远不止4096; 资源池大量的物理及虚拟服务器的存在，物理交换机上的MAC表项资源面临耗尽； 多租户需要隔离、自主的网络环境 ; 弱化运营商传统建设采购模式造成的底层物理设备差异性 ; VxLAN协议的引入，不会对现有

8、网络造成大规模的改造工作， 改造风险最小。实施方案引入中国电信浙江公司云资源池希望在 VMwarevSphere虚拟化平台 基础之上，借助VxLAN技术实现网络的虚拟化，使网络资源成为一种 可以按需动态分配的资源， 期望能在确保系统安全的前提下通过平滑、 稳定升级，实现资源池网络能力的多租户开放、自配置、自管理、构 建灵活、高效、扩展性强的网络环境。云资源池网络现状中国电信浙江公司云资源池是一个部署在绍兴和金华 2 个物理 节点的“双活统一”资源池，两物理节点以 DWD互接，节点核心交 换机通过跨节点 2层虚拟化堆叠实现资源池的逻辑统一， 拓扑如图 1 云资源池网络采用扁平化的网络架构 （核心

9、-接入）。 核心层采用 H3C 12518交换机，负责高速的 3 层交换。 接入层主要采用 H3C 5500/5800 交换机。 接入交换机安装在每个服务器机柜的机架顶，实现服务器网络接入，但只开启 2层转发，所有 3 层网关设置在核心层。核心层和接 入层均采用了 H3C的IRF2技术，构建了天然无环网络结构，因此没 有启用 STP (生成树协议 ) ，所有机架内服务器之间的 3层流量需要 上行至核心层进行交换。 所有的部件和线路都采用双节点、 双线路的部署方式， 保证 业务的高可靠性。网络收敛比约为 1:5。核心层 - 接入层的连接采用万兆以太网连接， 并通过多链路捆绑 提供性能扩展和高可用

10、保护。接入层通过多条千兆连接捆绑的方式， 连接服务器。网络管理上区分为资源管理网、业务数据网。实施方案 设计方案设计整体思路 从更好地融合计算资源和网络资源的角度考虑，本次方案选择 了资源池虚拟化平台同平台的 NSXfor vSphere(以下简称NSX)乍为 SDN的解决方案。方案总体思路是一种将虚拟网络从传统物理网络中 解放出来的叠加网络解决方案。以 VxLAN为基础，NSX通过建立虚拟 网络提供一种抽象的、运行在物理和逻辑网络之间的虚拟网络层。根据平台不同的角色定义和硬件能力需求，总体上将环境分为 不同的功能域：计算(Computing)、管理(Management)、边界(Edge)、

11、 桥接(Bridge)、网络的逻辑架构。物理网络设计网络虚拟化的一个关键目标就是提供虚拟到物理网络的抽象化，因此物理网络必须提供一种健壮的 IP 传输并具有下列特性： 简易性 可扩展性 容错性服务质量等级(QoS)保证为了达到以上几种特性，且便于网 络虚拟化后的运维便利， 我们对原有的网络功能拓扑进行了重新设计。 核心交换机仍为管理网段的网关 , 在此为各个管理网段配 置网关 IP 地址。 将原本只是作为纯粹 L 2 通道交换的接入交换机改造为架 顶式 TOR(to p -of-rack) 交换设计，在此为各 V x L A N 的 V T E P 配置网关地址，并开启 3 层路由功能。 TO

12、R 核心路由器为 3 层路由 OSPF(OpenShortestPath First) 交换，资源可平行扩展，能支持大量机架及TOF建设。同时缩小了 TOF及核心交换机管理MAC地址的数量，缩小了 2层网络范围。计算域(Computing)内的VNI建立以每个业务的各种服务型 态为单位，如典型业务有 Web/APP/DB备中服务型态，即开设3个V N I 用于该业务，便于实现服务的“东西向”传输效率及提高安全性。边界域(Edge)部署在VxLAN和VLAN网关之间，其数量等于 外联VLAN的数量。该设计使得每个Edge虚拟网关负载较小，但数量 增加，可以选择使用户集群中的服务器进行负载均衡，且

13、Edge虚拟网关与服务 VLAN 1:1 对应, 有利于问题的查找。 通过 V x L A N 流量的网络设备，需将 MT U 值置为1600。 整体物理网络设计架构如 虚拟网络设计 网络虚拟化包含 3 个主要的方面：解耦合、再组成和自动化。 所有 3 方面对于达到预期的效果都是重要的。 解耦合，它是使物理网 络变简单与可扩展的关键。当建立一个新的环境时，选择一个允许未来扩展的架构是必须 要考虑的。此类部署的指导思路是使用一个简单的集群式架构而非通 过VLAN的扩展实现。尽管这是一个简单的需求，但却对物理交换架 构如何建立和扩展有深远 * 。我们还是以 3种集群的视角来设计讨论： 计算集群、边

14、界集群、 管理集群。 计算集群 计算集群用以为业务平台提供虚拟计算资源，计算集群需要具 有如下设计属性： 与现有网络可交互 对于新部署或重新设计 对于虚拟机接入不需要考虑 VLAN划分 对于计算集群的网络扩展不应该考虑 VLAN方式。 提供一种可重复利用的架构设计虚拟化后的主机通常会发起3种的流量：VxLAN流量、管理流量、vSphere vMotion流量。VxL AN 可看作网络虚拟化后新引入的流量， 通过UDP封装，用以承载所有虚 拟机通信的流量。不同的流量类型可以被 VLAN隔离，从IP地址段的层面加以明确区分。VLAN在TOR交换机汇聚，设定如下： VTEP 的VLAN提供一个3层的

15、网络端口 ； vMotion的VLAN并不提供任何网关，不论2或3层都无法上行出去； 管理VLAN上行至另一独立的管理接入交换机以 2层连接至核 心交换机。 边界集群 边界集群作为连接虚拟与物理网络之间的桥梁，会有大量的数 据交互，其主要功能： 提供“进站 / 出站”式的物理网络连接 通过VLAN与物理网络建立连接 主机式集中物理服务边界是所有逻辑网络的终点，并且在物理和逻辑网络间提供 3层跳转。设计思路的重点是区分 VxLA N （叠加） 流量和未封装 （原始） 流量。物理上这两种网络流量会有重叠， 可能都 汇聚在相同的边界集群接入交换机上，需要使用两个不同的VLAN加以区分。边界节点（Ed

16、ge）可以使用两种方式提供服务，根据实际情况选 择适合的方案：1. 内部地址仅在Edge内部使用，对外使用NAT的方式进行通 信。外部VLAN在Edge上联口终止。外部网关设备无需额外路由配置。2. 内部地址通过默认路由方式对外建立连接。 网关使用静态路 由将需要访问内部的流量向Edge传输，后者通过OSPF获得路由进行 数据包分发。Edge上联口仅需配置点对点传输接口即可。 管理集群实施效果 通过部署SDN将 VxL AN引入云计算资源池，网络能力可以成为一种资源进行按需配置， 同时将各租户的网络配置进行隔离， 提高了 网络安全性并简化了网络配置， 很多配置可以由租户自行完成， 结合 在xx

17、年底部署的分布式块存储（SVR-SAN实现软件定义存储（SDS）, 基本消除了网络和存储的供给瓶颈， 将资源池变成一个基础设施能力 超市。目前已经部署“天翼阅读”等业务进行商用，基本达到引入预 期，概括起来主要体现在 4 方面。1. 通过VxLAN可*定义2层网络，实现了可扩展的多租户网 络，可以由租户自管理和自配置，目前 VxLAN技术已经基本成熟，且 业内已经基本形成产业标准， 对未来企业资源池资源的全面云化、 资 源自助管理有着深刻的意义。2. 以业务平台（租户）为单位实现路由、负载均衡、NAT和防火 墙功能，是未来资源池设计必须实现的目标， 由此达到网络资源池的 2次隔离和封装的目的，用以实现任何一个业务平台的网络变更、割 接都不会对其他业务和大网造成影响。3. 分布式路由功能有必要在资源池网络虚拟化工作中引入，其 可以大大减轻资源池核心交换机的流量压力和配置的复杂性， 也为以 业务为单位的QoS及SLA定