CloudFabric云数据中心网解决方案-计算联动设计指南

1、 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY PartNumber DOCPROPERTY Product&Project Name CloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（计算联动） DOCPROPERTY Product&Project NameCloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（计算联动） STYLEREF Contents 目 录文档版本 DOCPROPERTY DocumentVersion * M

2、ERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE ii DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE xv DOCPROPERTY DocumentVersion * MERGEFORMAT 01 DOCPROPERTY Propri

3、etaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司 STYLEREF 1 什么是网络虚拟化文档版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE 1什么是网络虚拟化网络虚拟化，一般意义上的概念是指将物理网络资源通过某种虚拟化技术，虚拟成逻辑网络资源，以提供更加灵活的网络资源调配和供给能力。Overlay、M

4、PLS、VPN、VLAN、Virtual router、VRF等都可以认为是网络虚拟化的某种表现形式。新兴的网络虚拟化认为，应用本身无需关心传统意义上的网络信息和配置，比如路由协议等，这些由网络虚拟层来提供。底层的硬件就提供转发功能，很多复杂配置由网络虚拟层来托管，和计算虚拟化类似。另外，网络虚拟化还提供网络功能的可编程能力。本文中提到的“网络虚拟化”，是CloudFabric云数据中心网解决方案中定义的一个场景大类，和“云网一体化”相对。在此场景中，没有云平台的直接参与，其特点是网络业务和计算业务相互间的协同需要通过其他业务流来协同，网络管理员和计算管理员通过协同来完成新业务的部署或调整。C

5、loudFabric解决方案中的网络虚拟化场景又细分为机架出租子场景和计算联动子场景：机架出租：包含iMaster NCE-Fabric控制器和网络，不含云平台，也不和虚拟机管理平台联动。网络管理员通过iMaster NCE-Fabric提供的单独管理界面来实现对网络的统一管理。计算联动：包含iMaster NCE-Fabric控制器、网络和虚拟机管理平台，不含云平台，网络管理员通过AgiMaster NCE-Fabric的单独管理界面来实现对物理&虚拟网络的统一管理，且网络系统与计算系统联动，计算系统由计算管理员管理。 DOCPROPERTY Product&Project NameClou

6、dFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（计算联动） STYLEREF 1 n * MERGEFORMAT 1 STYLEREF 1 什么是网络虚拟化文档版本 DOCPROPERTY DocumentVersion * MERGEFORMAT 01 ( DOCPROPERTY ReleaseDate 2020-10-30) DOCPROPERTY ProprietaryDeclaration * MERGEFORMAT 版权所有 华为技术有限公司PAGE 13设计计算联动业务类型的SDN数据中心 HYPERLINK l _ZH-CN_TOP

7、IC_0192836608 o 2.1 计算联动业务简介 HYPERLINK l _ZH-CN_TOPIC_0192836601 o 2.2 计算联动方案设计计算联动业务简介什么是计算联动现阶段企业IT面临的常见挑战有：挑战一：业务越分越细，设备越来越多，配置和管理的成本越来越高。挑战二：IT资源总是不够用，但同时又有很大浪费。资源利用率不均衡，很难灵活进行资源调度。云计算提供资源池化、资源池弹性伸缩、业务按需自助发放等一系列优点，可以很好地帮助企业IT应对上述挑战。但是在现阶段，并非所有企业都能一步到位实现业务全面云化，主要受技术和非技术两类因素的制约。在技术层面，由于业务系统庞杂，IT开发

8、能力有限，因此会采购大量的商业化软件进行业务构建。而这些商业化软件对硬件平台、OS或数据库有着不同的要求。比如，有的对服务器形态（虚拟机/物理机）有特定要求，有的对数据库种类有特定要求。其次，各业务系统的应用规模在一定时间内可预估，弹性伸缩范围有限（通常都是增长而非萎缩），服务器都是根据业务和系统的特定要求在特定时间段内上线的。此外，由于业务分区的网络资源以及计算存储资源类型繁多，因此原有的网络和计算独立管理模式短时间内无法消除。另外还有一些非技术层面的因素，比如企业当前架构下尚无云平台部门，计算需求由IT部门负责，网络需求由网络部门负责，两大部门短期内无法融合。再比如云平台正处于成长期，繁多

9、的商用云平台各有优劣，在这种情况下，部分企业选择观望。综上所示，不能一步到位完成云计算构建时，部分企业选择先对网络部分进行自动化改造，以适应计算虚拟化等业务需求，即先将网络资源和计算资源先联动起来，然后逐步改造成具有统一云平台的云计算场景。这种网络资源和计算资源联动的方式，就是计算联动。计算联动方案概览如REF _fig16348433121919 r h图2-1所示，在计算联动场景中，不包含云平台，网络业务由网络部门的网络管理员通过控制器来配置，计算资源由IT部门的计算管理员负责配置。网络管理员和计算管理员通过企业内部的业务流进行业务协商。在计算联动系统中，控制器和计算虚拟化平台之间对接后可

10、实现一定的自动化：控制器会将网络配置通过接口下发给计算平台；计算平台将虚拟机上线、下线等信息通知给控制器，由控制器下发对应接入端口的配置，从而完成端到端业务配置上线。计算联动方案概览计算联动方案可以最大程度上实现网络的自动化配置，减轻网络管理员的配置工作量。计算联动方案设计方案架构REF _fig12416446250 r h图2-2展示了CloudFabric解决方案中的计算联动场景的逻辑分层架构和分层之间的接口。计算联动场景的逻辑分层架构和接口示意图逻辑分层层次说明业务呈现层计算联动场景中不含云平台，iMaster NCE-Fabric直接提供独立的UI作为人机交互界面，它通过RESTfu

11、l接口对接控制器，管理员通过前台图形化界面的操作，完成对控制器业务编排指令的下发。网络分析/控制层由iMaster NCE-Fabric南向完成网络设备自动化配置：iMaster NCE-Fabric通过SNMP发现并获取物理交换机和防火墙的相关信息、通过NETCONF给物理交换机和防火墙下发配置命令、通过OpenFlow给物理交换机下发流表。iMaster NCE-Fabric通过OVSDB与vSwitch（CE1800V）之间交互动态信息，并通过OpenFlow给vSwitch下发流表。iMaster NCE-Fabric对接VMM，实现虚拟网络发放和虚拟感知。当使用SecoManager

12、时，SecoManager对接iMaster NCE-Fabric，SecoManager实现VAS服务的编排和策略管理，完成VAS业务的建模、实例化和配置下发。FabricInsight的采集器将网络中的TCP SYN、FIN、RST报文镜像到分析器进行大数据分析，从而实现基于真实业务流量发现网络异常。网络服务层遵循Spine-Leaf结构，CE交换机实现了硬件NVE的功能，可以作为L2/L3 VXLAN GW，并支持分布式路由器。如果网络中有第三方的VAS设备，则还可以通过业务链（Service Chain）的方式对第三方VAS服务进行引流。计算接入层虚拟化服务器：iMaster NCE-

13、Fabric通过与VMM的对接来完成虚拟机上线、下线时对应网络侧配置的自动下发和修改。物理服务器：部分服务器不支持虚拟化，则可以通过L2BR的方式接入到VXLAN网络中。交互接口图中序号接口两端接口说明1控制器自主业务编排界面控制器通过RESTful接口对接。2iMaster NCE-FabricVMMiMaster NCE-Fabric通过WebService接口与VMM对接，进行资源同步并感知VM上下线信息，作为网络侧配置下发的依据。3iMaster NCE-Fabric物理交换机SNMP：用于iMaster NCE-Fabric发现和获取物理交换机的信息。NETCONF：用于iMaste

14、r NCE-Fabric向物理交换机下发配置。4iMaster NCE-FabricvSwitchOVSDB：用于iMaster NCE-Fabric与vSwitch交互动态配置信息。OpenFlow：用于iMaster NCE-Fabric向vSwitch下发流表。5SecoManager防火墙SNMP：用于SecoManager发现和获取防火墙的信息。NETCONF：用于SecoManager向防火墙下发配置。6FabricInsight物理交换机SNMP：用于FabricInsight发现和获取物理交换机的信息。NETCONF：用于FabricInsight与物理交换机进行流镜像同步。业

15、务模型介绍REF _fig88612211400 r h图2-3是一个租户内部的基础业务模型和举例说明示意图。常见业务模型举例业务模型中的元素说明如下：Tenant：是指租户，一个租户可申请独立的计算、存储和网络资源，一个租户可对应理解为一个业务系统或部门。VPC：是指Virtual Private Cloud，每个VPC为一个安全域，一个VPC可理解为拥有相同安全策略的业务的集合。VPC在物理上映射为VRF。EPG：表示一组业务端口的集合，每个EPG内部的业务端口具有相同的安全策略，一个EPG内可以有一个或多个子网。通过EPG可以方便地配置安全策略。Subnet：表示网段的概念。可以在一个V

16、PC中设置一个或多个不同的网段。VM：表示计算资源如虚拟机，一个虚拟机接入一个Subnet，一个Subnet中可以接入多个虚拟机。业务发放流程业务发放流程概览计算联动场景中的业务下发，需要网络管理员和计算管理员两个角色合作完成：网络管理员操作对象是iMaster NCE-Fabric，完成网络业务的编排和下发。计算管理员的操作对象是VMM，完成VM的资源配置、创建和管理。如REF _fig8395111021513 r h图2-4所示，计算联动的业务在发放前服务器和TOR交换机之间已经通过LLDP协议交互了拓扑关系，即TOR的端口与物理服务器的连线关系。业务发放的主要流程如下：计算管理员先在V

17、MM上将服务器主机纳管好，并创建好虚拟交换机。网络管理员在iMaster NCE-Fabric上创建租户和VPC。在VPC内编排逻辑网络，如vRouter、Subnet等。iMaster NCE-Fabric将创建的Subnet对应的VLAN信息推送给VMM。VMM会给对应的网络创建相应的PortGroup，即一个Subnet对应一个PortGroup。计算管理员创建虚拟机，指定虚拟机的各项参数，包括虚拟机所属的PortGroup。VMM接收到计算管理员的指令后，在其所纳管的宿主机中选择一个主机，并创建虚拟机、划分资源。VMM确认该虚拟机正常上线后，VMM将此上线信息通知iMaster NCE

18、-FabriciMaster NCE-Fabric从VMM处获取VM上线的宿主机信息，并根据LLDP邻居关系，确定该宿主机是连接到TOR交换机的哪个端口，这样iMaster NCE-Fabric给此TOR端口下发VLAN和VNI映射的自动化配置。iMaster NCE-Fabric根据网络管理员在VPC中的配置，下发虚拟机的网关以及相应的安全策略的配置。此时虚拟机可以正常使用网络。业务发放流程概览网络资源发放过程在网络管理员对网络资源进行配置发放的过程中，计算管理员是不感知的。网络资源发放过程REF _fig4400124517332 r h图2-5如所示。计算联动中网络资源发放的自动化示意图

19、网络管理员根据在iMaster NCE-Fabric的租户网络编排页面中编辑业务所需的逻辑网络（如vRouter、LogicSwitch、Subnet等），界面通过REST接口通知后台的iMaster NCE-Fabric接收并记录这些配置信息。iMaster NCE-Fabric根据管理员分配给它使用的VNI空间范围，计算并保存VLAN与VNI的映射关系，即某一个VLAN映射到某一个VXLAN内的VNI上。此时，这些配置参数和映射关系都是存放在iMaster NCE-Fabric上的，还没有实际下发给交换机。这是因为VM还没有上线，iMaster NCE-Fabric不知道VM会从哪一台交换

20、机接入VXLAN网络域。iMaster NCE-Fabric通过WebService接口对接VMM并传递上述信息。VMM在虚拟交换机上创建LocalNetwork所需PortGroup（指具有相同VLAN、QoS、安全策略的一组属性集合），并将Local VLAN-ID与PortGroup绑定。即iMaster NCE-Fabric推送到VMM的VLAN和VMM在虚拟交换机上创建的PortGroup是一一对应的关系。计算资源发放过程当计算管理员创建虚拟机并将虚拟机接入网络时，网络管理员是不感知的。下面介绍几种VM的常见业务动作时，各个系统之间是如何自动化完成交互和部署的。VM上线VM上线的自动

21、化流程如REF _fig7600629153215 r h图2-6所示。计算联动中VM上线时的自动化示意图计算管理员根据业务需求在VMM界面上配置计算资源配额（vCPU、RAM、ROM、操作系统等）。计算管理员创建虚拟机，VMM会根据已有配置动态地进行计算资源均衡调度，选择一台主机，并根据步骤1中的配置来加载虚拟机。计算管理员在VMM界面可查看网络侧已经同步过来的PortGroup信息，此时计算管理员手工将虚拟机的网卡与PortGroup进行绑定。VMM将PortGroup的配置推送给对应的主机，并执行虚拟机与PortGroup绑定的配置。iMaster NCE-Fabric通过WebServ

22、ice接口感知虚拟机上线和PortGroup绑定信息，并获取虚拟机上线的位置（包括VM的ID和VM所在主机的ID）。iMaster NCE-Fabric查询关键信息并下发配置：iMaster NCE-Fabric先以PortGroup为索引查询数据库，获取Local VLAN与VNI映射信息。iMaster NCE-Fabric再通过查询LLDP邻居数据库，获取该主机与TOR端口的连接关系。iMaster NCE-Fabric通过NETCONF接口向TOR端口下发Local VLAN到VNI的映射配置。如果是本路由网络中的第一个VM上线，则iMaster NCE-Fabric还会下发vBDIF

23、网关的相关配置。这样，VM上线后iMaster NCE-Fabric自动下发了VM的二层接入配置和三层网关配置，VM就可以正常访问网络了。VM下线VM下线的过程也是自动化的，这个过程网络管理员也是不感知的。计算管理员通过VMM计算发放界面进行VM下线操作。VMM查询数据库，找到指定VM所属的主机，执行VM下线操作，取消VM与PortGroup的绑定，并回收计算资源。iMaster NCE-Fabric通过WebService接口感知虚拟机下线以及PortGroup解绑定事件，并获取虚拟机下线位置。iMaster NCE-Fabric通过LLDP获取该主机与TOR交换机的端口连接关系；iMast

24、er NCE-Fabric以PortGroup为索引查询数据库，获取Local VLAN与VNI映射信息；iMaster NCE-Fabric查询相同端口下是否还存在使用当前Local VLAN的VM，如果不存在，iMaster NCE-Fabric则通过NETCONF接口删除交换机端口中该Local VLAN到VNI的映射配置。VMM判断主机是否存在其他虚拟机绑定到当前PortGroup，如果不存在，则回收PortGroup配置。VM自动迁移VM迁移的自动化流程如REF _fig1058871153311 r h图2-7所示。VM自动迁移是指当主机（或VM）故障时，系统将故障主机上所有VM在

25、其他节点上重启。计算联动中VM迁移时的自动化示意图计算联动中VM自动迁移的过程如下：VMM感知主机故障。VMM重新调度资源，将故障主机上所有VM在其他节点上重启。iMaster NCE-Fabric通过订阅VMM事件，感知VM迁移的消息，并获取VM迁移前后主机的位置。iMaster NCE-Fabric通过LLDP找到迁移前后相关的TOR和对应端口，通过NETCONF接口，删除迁移前TOR上VLAN和VNI的映射配置，并在新的迁移后的TOR上下发VLAN和VNI映射的配置（此前主机上没有相同PortGroup的VM，如果存在不会在TOR上重复下发相关配置）。在自动迁移的场景下，计算管理员和网络

26、管理员都是不感知的，依靠VMM和iMaster NCE-Fabric之间的协同来完成的计算资源迁移和网络配置的自动调整。VM手动迁移VM的手动迁移是指计算管理员手动通过VMM的界面来实施VM迁移，如REF _fig16970119162812 r h图2-8所示。计算联动中VM手工迁移时的示意图计算联动中VM手动迁移的过程如下：计算管理员通过VMM发放界面触发VM迁移。VMM找到VM所属主机，并在VMM集群内重新调度，选择新的目标主机，进行VM迁移操作。iMaster NCE-Fabric通过订阅VMM事件，感知VM迁移消息，并获取VM迁移前后主机的位置信息。iMaster NCE-Fabri

27、c通过LLDP找到迁移前后相关的TOR和对应端口，通过NETCONF接口，删除迁移前TOR上VLAN和VNI的映射配置（主机上不再存在相同PortGroup的VM），并在新的迁移后的TOR上下发VLAN和VNI映射的配置（此前主机上没有相同PortGroup的VM，如果存在不会在TOR上重复下发相关配置）。选择Network Overlay组网类型在部署计算联动场景前，请选选择Network Overlay组网类型。推荐使用分布式Network Overlay，其具有规模易扩展、东西向流量不绕行等优点。分布式Network Overlay和集中式Overlay的对比参见REF _table20

28、89673195516 r h表2-1。分布式Network Overlay和集中式Overlay的对比项目分布式Network Overlay（推荐）集中式Overlay组网定义数据中心南北向和东西向由不同组VXLAN GW设备承担。东西向VXLAN GW由接入设备承担。南北向VXLAN GW由框式或盒式设备独立承担。数据中心南北向和东西向由同一组VXLAN GW设备承担。VXLAN GW由集中的一组或多组设备承担。每组VXLAN GW内由堆叠或多活保证网关组可靠性。适用场景规模可支持海量VPC（通过扩展Leaf设备实现）支持的VPC数量有限（由VXLAN GW设备决定，不易扩充）可靠性L2

29、接入可靠性通过TOR设备级堆叠或M-LAG保证。L3可靠性通过BGP-EVPN协议保证。BGP-EVPN可提供秒级的故障收敛能力。L2故障域与L3故障域重叠。L2接入可靠性通过TOR设备级堆叠或M-LAG保证。L3可靠性可通过设备级堆叠或双活保证，也可通过BGP-EVPN协议保证。M-LAG及双活机制保留设备的独立控制面，同时可提供毫秒级的故障切换时间。L2故障域与L3故障域隔离。流量模型南北向流量经过VXLAN GW转发。东西向流量在DVR间直接转发，不经过VXLAN GW绕行。三层流量全部由VXLAN GW交换，东西向流量绕行。VXLAN GW设备易成为整网性能瓶颈。 DOCPROPERTY Product&Project NameCloudFabric云数据中心网解决方案 DOCPROPERTY DocumentName 设计指南（计算联动） STYLEREF 1 n * MERGEFORMAT 2 STYLEREF 1 设计计算联动业务类型的SDN数据中心文档版本 DOCPROPERTY DocumentVersio