NSX-T技术架构设计最佳实践

1、NSX-T技术架构设计最佳实践NSX on VDS2vSphere 7.0之前，NSX在专用的虚拟交换机 N-VDS 上运行。VDS和N-VDS虚拟交换机无法共享VMware中的上行链路。 我们在NSX部署模型上看到两种：34 个（或更多）物理网卡2 个物理网卡 VDS + N-VDS（通常不是强制性的） 仅N-VDS后一种情况很普遍，意味着将需要vmkernel接口迁移到N-VDSNSX-T 和 N-VDS挑战：迁移vmknics（专门用于mgmt）vmknic分配，例如：隔离管理和存储流量利用多个vMotion vmknics基础结构流量的优先级和带宽预留典型带有2个上行网卡的ESXi 传

2、输节点需要将所有流量迁移到N-VDSN-VDSU1P2U0P1VM3VM2vmk0vmk2VM1ESXi Transport Nodevmk1Infrastructure+VM traffic4现在，可以将 NSX-T 直接运行在 VDS 上首先，需要VDS 7.0 版升级到VDS 7.0将MTU设置为1600或更高ESXi Host01VDS 7.0 MTU1600VM-Avmk0DVPGVDS 升级熟悉的操作方式安全迁移向导负责vmk0 迁移+自动回滚初始状态ESXi Host01VSS or VDS=1600VM-Avmk0DVPGNSX on VDSESXi Transport Nod

3、e01VDS 7.0 + NSXVM-Avmk0DVPGOverlay/VLAN-TZ6NSX 安装 在 VDS 上之后，该 VDS 被 NSX 管理vCenter UI曾经是7新的 NSX DVPG （分布式虚拟端口组） 配置在 C1-VDS 上vCenter UI8将虚拟机迁移到新的 NSX DVPGvCenter UI9在vCenter中管理以下 4 个VDS参数，并被 NSX 使用VDS 1: SEND LLDPESXi TN1NSX+VDSVDS 2: SEND AND RECEIVE LLDPESXi TN2NSX+VDSESXi TN3NSX+VDSESXi TN4NSX+VDS

4、Overlay/VLAN Transport Zones10上行链路, 包括链路聚合组LAGs交换机MTULLDP参数NIOC配置表只有这些参数的值都相同的主机，才能位于同一个VDS上新的VDS可被称为CVDS（Converged VDS），以便与原来的VDS区别基于VDS的简单安装迁移中断较小将控制权留给vCenter管理员更简单的VLAN微分段使用方式变化需要vCenter和VDS现在，某些网络对象属于vCenter管理员（假定NSX管理员包括vCenter角色。）非vSphere环境中，NSX仍使用N-VDS11NSX on VDS 总结NSX-T性能优化12GENEVE Overlay

5、 Tunnel回顾：传输节点（主机）之间的Overlay隧道Transport Node 1Transport Node 2VM1VM2LS10LS2013Maximum Packet Size AllowedESXi 1MTU最大传输单元ToR SwitchvNIC MTU: 1500/8800pNIC MTU: 1700/9000ESXi 2vNIC MTU: 1500/880014pNIC MTU: 1700/9000为达到最大吞吐性能，MTU应在主机 和虚拟机上被增加，以下是推荐数值：9000 on ESXi8800 on VMMTU: 1700/9000501015202515008

6、800Throughput (Gbps)VM (vNIC) MTUMaximum Transmission Unit (MTU)Throughput30MTU对吞吐率的影响Maximum Packet Size AllowedESXi 1ToR SwitchvNIC MTU: 1500/8800pNIC MTU: 1700/9000ESXi 2vNIC MTU: 1500/880015pNIC MTU: 1700/9000MTU: 1700/9000多队列接收Thread 1Thread 2Thread 3Thread nCore 1100%UsageCore 20%UsageCore 30%

7、UsageCore n0%UsageESXi Kernel SpaceNetwork Adapter QueuesQueue 1没有多个接收队列所有流量都由一个核心处理 即使可用，也不会使用多核16多队列接收对吞吐率的提升效果Receive Side Scaling (RSS)5010152025Geneve - VLANVLAN - GeneveRoutingThroughput (Gbps)RSS for VM EdgeThroughputWithout RSSWith RSSThread 1Thread 2Thread 3Thread nCore 120%UsageCore 220%Us

8、ageCore 320%UsageCore n20%UsageQueue 1Queue 2Queue 3Queue nNetwork Adapter Queues17ESXi Kernel Space计算节点（标准）计算节点(增强数据通道)ESXi 节点与虚拟机形态的Edges节点配合基于裸金属的Edge节点重要的功能1.Geneve-Offload：节省CPU周期增强的数据路径：用于类RSS：利用多个核心DPDK：Poll Mode驱动程2.Geneve-RxFilters：通过使用更似DPDK的功能序，具有与内存相关的增强多核心和使用基于软件的LRO来功能，有助于最大程度地提提高吞吐量高数

9、据包处理速度3.RSS（如果不支持Geneve-RxFilters）：通过使用更多核心来提高吞吐量好处1.高吞吐量，典型的基于TCP的DC工 作负载1.NFV型工作负载的最 大PPS借助Edge VM调整+具有RSS支持的NIC，可最 大化基于典型TCP的DC工作负载的吞吐量在Edge VM的vmx文件中添加/编辑以下两个参 数，然后重新启动Edge VM 将“ X”替换为用 于TEP和上行链路的接口号ethernetX.ctxPerDev =“ 3”ethernetX.pnicFeatures =“ 4”最大PPS最大吞吐量最大规模 快速故障切换兼容性矩阵检查网卡的兼容性 NSX-T安装指南

10、中的https:/resources/compatibility/search.php?deviceCategory=io“检查要求”部分：/en/VMware-NSX-T/index.html18物理网卡兼容性在不同情况下哪些功能很重要NSX对网卡兼容性的要求很宽松，大部分服务器上的网卡均满足部署NSX的条件如果对于吞吐率性能（特别是Edge节点上的南北向流量）有很高的要求，可采用支持DPDK、RSS、TSO、LRO、Enhanced DataPath等功能的网卡主机和Edge传输节点的 上行链路配置19ESXi Compute RackCompute-ESXi1P1P2ToR-RightT

11、oR-LeftCompute-ESXi2P1P2CVDSUplink2Uplink1端口组-Storage/vMotionWeb1App1Web1App1CVDSUplink2Uplink1端口组-Mgt/OverlayMgt VMKStorage VMKvMotion VMKMgt VMStorage VMKvMotion VMKTEP-IPTEP-IPTEP-IPTEP-IPESXi计算传输节点基于流量类型的双网卡策略NSX-T Uplink ProfileGuest VM流量 源端口负载均衡基础架构流量 VLAN固定20ESXi-with-EdgeNodeVM_plus_Tenants_

12、VMsP1P2ToR-RightToR-LeftVDSRouter1Router2ESXi TEP-IPUplink2CVDSUplink1WEBAPPP3P4vMotion PGvMotion VMKStorage PGVSAN VMKMgt PGMgmt VMKESXi计算传输节点四网卡时的流量分配CVDS上行配置文件Guest VM流量源端口VDS上行配置文件根据流量类型21Edge 节点虚拟机设计群集放置注意事项组合计算和Edge群集 2个上行链路和1个VDS 静态和动态路由vmk2ESXi Hosteth0Mgmt IPTEP-IP-1 VLAN 200Edge-01vmk1vmk0

13、ToR-A ToR-BVLAN 100 & 200 TEPVLAN 101 ExternalCVDSVDS-01fp-eth2MGMT-PGStorage-PGvMotion-PGvSphere-PGApp-LSWebSegmentTEP-IP-2 VLAN 200TEP-IP-2VLAN 100TEP-IP-1VLAN 100请注意，Edge和主机TEP的传输网络VLAN ID必须不同！VLAN 100 & 200 TEPVLAN 102 ExternalUplink 1Uplink 2Trunk-ASegmentTrunk-BSegmentfp-eth1fp-eth022Edge 节点虚拟

14、机设计群集放置注意事项组合计算和Edge群集 4个上行链路，2个VDS 静态和动态路由vmk2ESXi Hosteth0Mgmt IPTEP-IP-1VLAN 200Edge-01vmk1fp-eth1fp-eth0ToR-A ToR-BVLAN 100 & 200 TEPVLAN 101 ExternalCVDSUplink 2Uplink 1VDS-01VDS-02fp-eth2TEP-IP-1 VLAN 100TEP-IP-2VLAN 200Trunk-ASegmentvSphere-PGStorage-PGvMotion-PGMgmt-PGWeb-LSSegmentUplink 4Up

15、link 3TEP-IP-2 VLAN 100VLAN 100 & 200 TEPVLAN 102 ExternalTrunk-BSegmentvmk0请注意，Edge和主机TEP的传输网络VLAN ID必须不同！23Edge节点配置具有高可用特点的EBGP ECMP路由设计N-VDS-01Mgmt IPUplink-1Uplink-2Mgmt IPEdge-02Trunk-A-SegmentA/S Failover OrderTrunk-B-SegmentA/S Failover OrderToR-AToR-BVLAN 100 & 200 TEPVLAN 101 ExternalVLAN 1

16、00 & 200 TEPVLAN 101 ExternalManagement-PGVDSUplink 1Uplink 2VLAN101TEP-IP-1TEP-IP-2Edge-01 ESXi HostN-VDS-01Uplink-1Uplink-2TEP-IP-1TEP-IP-2Tier-0 (A)Tier-0 (S)eth0fp-eth2eth0fp-eth2fp-eth0fp-eth1fp-eth1fp-eth0EN 1EN 2VLAN 101VLAN 101Tier-0Tier-1Tier-1ToR-AToR-BVLAN1014x BGP邻居 ECMP=4242 物理网卡 = 单个 VDS4 物理网卡 = 12个VDS提供对IP存储流量的隔离 提供对架构管理流量的隔离2x10或2x25或4x10或4x25？使用两层路由：在T1（A / S）上使用集中式服 务，以在T0（A / A）上保留 ECMP一次性配置T0，在T1级别委派 给初级管理员/租户根据故障域确定T1放置单层或两层路