HPC_网络设计_指南_v1

1、HPC网络解决方案服务器的讨论会耦合在网络部分文档目标技术目标技术目标 阐述HPC网络的架构 各个功能区的分析应用需求分析可选的网络优化措施Cisco产品选择以及原因 计算节点子系统 存储以及并行文件子系统 管理节点子系统 高频交易类系统 听众目标听众目标 了解HPC网络的应用需求 了解Cisco抛弃infiniband的原因 了解Cisco在HPC网络中的创新技术 和 解决方案 Solution应用模板示范感谢！感谢！多位同事、专家的鼎力相助多位同事、专家的鼎力相助Shengli HouXu LuJun XieSteve YangWang JinGuoLing ZhangStarry Wu以

2、及以及其它其它HPC单位人员的帮助单位人员的帮助如如 RedHat / 气象局气象局 的专家的专家HPC网络架构网络架构简述简述HPC网络架构综述计算节点计算网络存储网文件系统管理网计算节点特性计算网特性存储网特性并行文件系统存储节点特性管理网特性管理节点特性传统HPC网络设计Brief计算节点I/O 节节点点存储： 磁盘前言前言.传统传统HPC 网络架构综述网络架构综述传统的HPC网络设计示意图：多个网络多个网络 for 不同的流量不同的流量 ! 存储网SAN 或者 NAS以SAN 居多I/OI/O节点：节点：快速读取磁盘快速读取磁盘对计算节点提供并发文件存储服务对计算节点提供并发文件存储服

3、务 如果对存储性能有要求，就一定会用SAN。 (NAS的性能很差I/O 网以前有Infiniband 或者GE 两种方案;I/OI/O网的主要作用是为网的主要作用是为“并行文件系统并行文件系统”提供网络通提供网络通道道 带宽敏感带宽敏感+ +部分功能区时延敏感部分功能区时延敏感 计算通讯网 - IPC以前是Infiniband或GE现在也有用10GE的Inter-Process Communication (IPC) Inter-Process Communication (IPC) 提供计算节点之间的通讯提供计算节点之间的通讯 绝对时延敏感绝对时延敏感 管理网 可以单建，也有可能和IPC 或

4、者I/O网 复用管理网的主要作用是管理网的主要作用是: :提供提供各各节点监控、节点监控、ImageImage分发等分发等等等流量不会太大流量不会太大前言前言.传统传统HPC网络逻辑示意网络逻辑示意SAN 网络网络I/O 节点节点MDS服务器服务器类似Master目录服务器并行文件系统Master 节点节点用户终端用户终端不在不在重点重点讨论范围讨论范围IPC 网络网络计算节点计算节点用户终端接入连接用户终端接入连接User 接入连接的主要任务: Job initiation 典型情况下是 SSH / Telnet / Bproc 等控制方式 观测实时的任务结果 可能是图形化的结果p 图形化的

5、结果：一般情况下会从一台若干台特定的服务器上获取。p 图形的传送一般GE带宽 就够了。 有时会被用作 Inter-Cluster (GRID) 的通讯 这种情况下需要参考IPC网络的设计； 需要考虑： 安全 和 QOS 一般情况下User只会和Master Node通讯由Master Node 来管理其它节点通常用户接入用GE & TCP/IP 足够.UserMaster NodeHPC网络架构简述：计算系统网络架构简述：计算系统HPC网络架构综述计算节点计算网络存储网文件系统管理网计算节点特性计算网特性存储网特性并行文件系统存储节点特性管理网特性管理节点特性传统HPC网络设计Brie

6、f1.1计算网络特性简析计算网络特性简析-AHPC 计算网络：主要负责计算网络：主要负责Process之间的通讯之间的通讯 松耦合 & 紧耦合 = 指Process之间的交互频度某些特别的松耦合应用甚至在Process之间没有交互流量，这些用户是对网络不敏感的我们关心的是瓶颈在我们关心的是瓶颈在I/O上的上的HPC应用场景应用场景 包括带宽包括带宽&Latency如果如果HPC应用是绝对的本地计算应用是绝对的本地计算 那么重点在那么重点在CPU/Core/GPU/Memory速度速度&大小大小 首要考虑如何提高I/O传输时延 = Latencyp I/O Latency

7、 Process 就能越快地摆脱 等待的状态，CPU 利用率p 最直接的证明就是多CPU inter-connect 的超级计算机系统p 某些HPC应用甚至会用Multicast 来同步数据 L2 Multicast Latencyp Latency 会从/协议栈协议栈 /网卡网卡-IO /线路线路 /设备转发设备转发 /拓扑拓扑 /拥塞的拥塞的Queue 等多处引入 低延迟网络方案有 Infiniband 或 10GE w Low Latency 或者 RDMA over Converged Ethernet (RoCE) 可选 必须是必须是DCB 的网络的网络，才能支持 RoCE 1.1计

8、算网络特性简析计算网络特性简析-BHPC 计算网络计算网络，其它：其它： 安全控制对故障Server的隔离，防止干扰整个L2域 : 广播抑制、Loop防止、Flapping 网络要求HA 对”实时实时HPC”应用非常重要 流量统计和分析 QoS: 在多个网络复用情况下的QoS (管理网复用; 个人不建议和I/O网复用，除非是松耦合)对关键流量的QoS 优化 如果采用Socket Ethernetp 应用流量模型是否允许采用不丢包的Ethernet技术 p ToE 网卡的重要性 个人认为必备 组播技术的用法 目前只在某些特定的HPC应用系统中作为重点使用。10Gb Ethernet vs IB

9、HPC 领域领域Initiator SpeedTarget SpeedData ThrougputPer I/O NodeGigabit EthernetGigabit Ethernet112-118MBpsGigabit Ethernet10 Gigabit Ethernet325-350MBps10 Gigabit Ethernet10 Gigabit Ethernet700-1100MBpsIB SDR - IPoIBIB SDR - IPoIB350-375MBpsIB SDR IPoIBCM (ofed 1.2)IB SDR IPoIB (ofed 1.2)525-575MBpsIB

10、 SDR SDPIB SDR - SDP590-625MBpsIB DDR IPoIBIB DDR IPoIB350-375MBpsIB DDR IPoIBCM (ofed 1.2)IB DDR IPoIB (ofed 1.2)525-700MBpsIB DDR SDPIB DDR SDP920-1150MBpsSockets APIMPITCPSDPOFED 1.2MPIOFED 1.2IPIPoIBGE10 GE10 GE with ToESDR IBDDR IBSDR IBDDR IB10GLLEMVAPICHOMPILatency (us)35.325.89.020.314.310.0

11、8.83.823.293.32Bandwidth MB/s118121412195607278961033122013541351CPU9%25%25%23%26%27%28%25%25%25%比较的情况比较的情况 MPI编程接口p以太网卡用10G w RDMA 时效果相当p编程用Sockets or MPI (各占50%, I/O敏感会选MPI)IPoIB 和10GE 比较无明显优势 TCP Offload Engine (ToE) 必备p降低网络时延p降低CPU利用率p解放PCI-E总线（小突发效率低）p注: TOE 有很多 Sub-FeatureSDP-IB vs 10GE w ToE

12、无任何优势交换机的低延迟 = DCE(DCB) SwitchTCP 协议栈的普适和灵活结论结论: 10GE w ToE 在非在非MPI 编程的环境中有明显编程的环境中有明显优势；优势；10GE w RDMA 在在MPI 环境中和环境中和IB 接近接近IB (2.5Gbps为单位为单位, x1 x4, x12 倍速倍速; 8B/10B编码编码)一般用一般用x4, 所以所以SDR/DDR等价以太网带宽是等价以太网带宽是 8G/16GServer背靠背背靠背要表达为消耗了多少HZ 的CPU才有意义 最差的情况是1bit耗用1HZ/Core的CPURoCE (RDMA Over Converged E

13、thernet)Source: Mellanox Corp.OFA Verbs InterfaceIBTransportProtocolNetwork LayerInfiniBand Link LayerInfiniBandOFA* StackInfinBand ManagementRDMA Application / ULPRDMAPDDPIPSCTPMPATCPEthernet Link LayeriWARPEthernetManagementRoCEEthernet Link LayerEthernetManagementIBTransportProtocolNetwork LayerI

14、/O Stack 比较比较Source: Mellanox Corp.Applications / OS ServicesSocketsSCSIFCP/FCTCPIPDCB EthernetFCoERoCEOFA RDMA VerbsiWARPiSCSISDPMPIRDS Single Chip 10 watts Available from major vendors Emulex RoCE NIC Qlogic iWARP NIC Intel iWARP Chelsio iWARP Cisco DCE/DCB switch Broadcom RoCE NIC Mellanox RoCE N

15、IC Brocade DCB Switch2nd CNAsMPI (MVAPICH2) Performance RoCE vs IB/performance/interNode.shtmlMVAPICH2 IB-DDRMVAPICH2 Ipath-DDRRoCEone-sided put latency micro-second micro-second3.353.357.657.654.834.83one-sided get latency (4Bytes) micro-second micro-second6.266.2612

16、.9112.9111.1311.13one-sided put bandwidth Million Bytes/secMillion Bytes/sec164116411950195011421142one-sided get bandwidth Million Bytes/secMillion Bytes/sec165116511333133311421142put bidirectional bandwidth Million Bytes/secMillion Bytes/sec298529853286328622842284在这个性能评测的结构中，我们可以发现10GE RoCE 和Inf

17、iniband HCA 在“延迟”这个技术指标上已经非常接近了。所以除非是有很大的带宽需求，否则所以除非是有很大的带宽需求，否则RoCE完全可完全可以替代以替代Infiniband了。了。RoCE : RDMA over Ethernet. 最新的最新的Ethernet HPC 技术，有取代技术，有取代 iWARP 的趋势。的趋势。明确表示明确表示RoCE 需要网络支持需要网络支持DCB & lossless Ethernethttp:/ advances in lossless Ethernet (DCB) for an efficient RDMA over Ethernet Lo

18、west latency of 1.3 microseconds on lossless Ethernet RDMA Transport offload with zero copy for low CPU utilization Ethernet vs IB HPC 领域领域 市场份额市场份额45.6%42.8%Top 500 统计情况统计情况IB 生态环境！生态环境！1.2计算节点计算节点-AHPC 计算节点主要考虑节点内的计算能力计算节点主要考虑节点内的计算能力 将尽可能多的将尽可能多的Process/Core放在一个放在一个Server内内Core之间的交互可以走更高速的share L

19、2 cache，最差也是FSBMemoryCPU之间的交互可以通过Memory(DRAM) 有硬件Arbitor 4*CPU 的一般都是SMP，更复杂的还有NUMA/MPP方式.延迟更低、带宽更高、不占外部延迟更低、带宽更高、不占外部I/O；明显明显Core数量多，会有多个优势数量多，会有多个优势目前来看CPU-Memory 的带宽不是瓶颈单一Server 能支持的Core/CPU 数量一般一个PC Server， 4个CPU是SMP 架构下性能较好的数量单一Server内，需考虑操作系统对Core/CPU数量的支持能力；一般Core & Process 是一个量级的；出于性能考虑甚至

20、可以per Process per Core.1.2计算节点计算节点-BHPC 计算节点的其它考虑计算节点的其它考虑 内存的I/O速度 某些应用也会需要计算节点支持大内存； 应用算法会有明确的需求; 个人接触到的: 最大16G/Process; 最小1G/Process; 本地存储: SSD 是趋势吗是趋势吗 = 除非采用本地预读取的方案；除非采用本地预读取的方案； 网卡 Infiniband HCA: SDR、DDR、QDR = 一般用DDR (x4) GE - 管理接口(RDMA over Ethernet: 在MPI环境中，降低延迟、实现基于Ethernet的RDMA; 可以认为是Eth

21、ernet Infiniband.)(TCP offload Engine: 在IP环境中，对降低延迟、减少CPU开销、提高PCI-E总线吞吐量非常关键. 在和I/O 节点的通讯时，尤其重要. ) 可靠性:p 由于主控节点会把故障机的任务Re-Schedule，所有有一定的容忍度p 但实际上非常不希望出问题 (影响时效性)HPC网络架构简述网络架构简述: 文件系统文件系统HPC网络架构综述计算节点计算网络存储网文件系统管理网计算节点特性计算网特性存储网特性并行文件系统I/O节点特性管理网特性管理节点特性传统HPC网络设计Brief2.1 并行文件系统并行文件系统 I/O节点简析节点简析-AHP

22、C 是一种并行计算的方式，所以会有多个节点对同一个文件进行是一种并行计算的方式，所以会有多个节点对同一个文件进行操作，具备这种能力的文件系统操作，具备这种能力的文件系统 并行文件系统并行文件系统 GFS 就是一种设计架构非常高效的分布式并行文件系统 鉴于目前的HPC中不常用GFS，所以我们在此不以GFS 为分析对象并行文件系统有很多，我们以比较典型的Linux开源的Lustre文件系统来说明甚至部署 NFS 文件系统时的技术需求也可以参照Lustre 的要求来设计 HPC并行文件系统的思路由多台I/O 节点机 来并发并发地对外提供存储的读写单个文件可以进行“条纹化条纹化”处理，分散到不同的I/

23、O节点上由主控机(一台或者多台)来控制多个对象对同一个文件的操作 “锁” 所以客户端访问文件时，首先要从主控机那里拿到权限&IndexI/O 节点机可互相提供LUN 的A/S备份 2.1 并行文件系统并行文件系统 I/O节点简析节点简析-B并行文件系统并行文件系统 Lustre 各个功能节点需求分析各个功能节点需求分析p Meta Data Server(MDS) 相当于Index服务器服务器 = 快速存储快速存储 读写读写= 12% file-system; 强劲的强劲的CPU 能力能力(最少最少4 core) 典型的典型的I/O读写速度敏感，而非流读写速度敏感，而非流量量。需要有大

24、内存做。需要有大内存做Cache 给给Client 提供提供Index; p MDS 目前支持双机主备(将来甚至更多A/A)，所以要求有SAN连接；读写的特点是大量小数据块的随机读写p Object Storage Server(OSS) 相当于文件的存储点，它的任务是把RAW-Disk变成Client能读写的文件。所以它一方面要求高速的外部磁盘读写大数据块的读写为主，另一方面需要给文件系统的Client大吞吐量回应。一般性一般性能要求较高的场合会用能要求较高的场合会用 HBA(SAN)后端后端 & 10GE/IB前端前端；简单地说就是；简单地说就是大带宽的系统总线通道大带宽的系统总线

25、通道 最少要最少要2倍倍理论理论/3.5倍倍实际实际于于NIC/HBA/HCAp OSS节点也需要部分Memory，用来做CacheRead-Only File-不同的HPC应用的读写比例不一样读2写8 或者读8写2，需根据实际情况配置 。 CPU 在NIC/HCA-RDMA &HBA 做Offload 的情况下不会高，反之则会有相当消耗 尤其是用CPU来处理TCP时。Lustre 组网示意图组网示意图2.2 并行文件系统并行文件系统 前端网络简析前端网络简析 并行文件系统的并行文件系统的前端前端网络需求网络需求 并行文件系统(Lustre)网络需求简析p 支持IB 或 TCP/IP

26、实践中以IP 略多.p 整个系统的绝大部分流量基本为南北向；即Client OSSp 系统对带宽敏感，后端的磁盘阵列是I/O瓶颈的主要焦点p 信令流量的关键部分呈以MDS为核心的星形结构;p MDS 的响应能力是整个系统的关键 并行文件系统(Lustre) 前端网络构建要点p 并行文件系统的信令流量特点是: 流量不大、但要求快速响应快速响应 (低延迟低延迟)；p 并行文件系统的数据流量特点是 持续大流量持续大流量+大包大包；p 所以非常有必要对信令流量做专门的优化！所以非常有必要对信令流量做专门的优化！2.3 存储网络存储网络(SAN)简析简析SAN网络需求网络需求 MDS的SAN网络需求简析

27、p 外部存储容量不大，约为数据文件系统的12%p 要求有冗余 目前MDS工作在A/S模式.p 对外部存储的优化方案 以 小数据块的随机读写为主 FC or SAS & RAID 0+1p 单列的“日志记录”存储 提高性能 20%! OSS的SAN网络构建要点p 网络规模大小取决与OSS的能力 每个OSS能带多少个外部存储 以及对总体存储容量的需求.p 要求有冗余 OSS 工作在分区模式的A/A模式p 对外部存储的优化方案 以大数据块的顺序读写为主 RAID 5 or RAID 6 striping patternHPC网络架构简述：管理网络架构简述：管理系统系统HPC网络架构综述计算节

28、点计算网络存储网文件系统管理网计算节点特性计算网特性存储网特性并行文件系统I/O节点特性管理网特性管理节点特性传统HPC网络设计Brief3.1 管理节点简析管理节点简析 Master Node (管理节点管理节点) 功能Image 分发、任务分发、调度预处理、后处理Monitoring & Report管理平台 需求Master Node 可以监控包括SAN 在内的所有节点 这意味着有可能是多块NIC/HBAMaster Node 在做Post-Process 时，某些应用的特殊需要：Memory & Fast I/O & CPU/Core & 较大的存储 等

29、等；（HPC 软件会有直接的要求）Master Node 一般会做A/S 冗余，要求Dual Power Supply Master Node 的故障会导致整个系统Down; 但一般计算节点会保存一个中间状态。下次计算开始时，可以从中间状态再开始的3.2 管理网简析管理网简析 管理网管理网 流量分析除了特定的情况如Image分发、Post-Process时有大文件的检查和拼装 ，平时的流量都不大。平时的Monitoring 都是小包；Monitoring & Report管理平台对实时性要求不高 网络需求在没有特定需求的情况下，GE 足够可以和计算网、I/O网 复用HPC网络详解：网络

30、详解：Cisco 的解决方案的解决方案深入分析计算节点计算节点+网络子系统网络子系统存储&并行文件 网络子系统管理网络子系统1.数据流量分析2.网络方案选择4.Cisco产品的匹配和优势1.数据流量分析3.Server的考虑2.网络方案选择3.Server的考虑4.Cisco产品的匹配和优势1.数据流量分析3.Server的考虑2.网络方案选择4.Cisco产品的匹配和优势总结Overview思科总拼装图+思科有利的配置传统设计vs新设计计算子系统：数据流量分析计算子系统：数据流量分析我们在此关心对“延迟 & 带宽”敏感的HPC 应用u延迟敏感延迟敏感 延迟的引入延迟的引入:p

31、协议栈协议栈 +多次内存读写多次内存读写 +NIC(SFP) +线路线路 +Switch Forwarding +拓扑拓扑(Nodes) +CongestionMPIRoCEToEInfinibandEthernetRDMARoCE w DCB或或 iWARPS/D/QDR10/40/100GESFP+光光vs电电IB SwitchDCE 10/40GE100GE Switch减少层次减少层次减少层次减少层次Credit 机制机制Lossless-E& Credit&Buffer& 拥塞控制拥塞控制u带宽的考虑带宽的考虑:pCPU/Core Memory 系统总线系统总

32、线 NIC/HCA/HBA NIC/HCA/HBA 网络网络4/8 Core 不是问题不是问题 (L2 Cache)4路路CPU 以内也不是问题以内也不是问题FSB: Intel-QPI & AMD HTPCI-E x16有效带宽约有效带宽约40Gbps !如果做如果做加速比法则：有效带宽在加速比法则：有效带宽在40/3.5=12G左右左右网络设计无阻塞网络设计无阻塞计算子系统：网络模型推荐计算子系统：网络模型推荐 - 1计算节点96Nexus 5596 or 5548网络层面延迟分析网络层面延迟分析 1500字节字节L2 Unicast 2us - FIFOL2 Multicast

33、6us (RFC3918)L3 主要用来做南北向流量；不是计算流量；主要用来做南北向流量；不是计算流量；从从10GE NIC 出来开始计算出来开始计算(的帧的帧):网络上的网络上的Unicast Latency:10GE Link (1.2us)+2us(FIFO) = 3.2us 网络上网络上的的Multicast Latency:10GE Link (1.2us)+6us(FIFO) = 7.2us 一般的小型一般的小型GE以太网交换机转发时延以太网交换机转发时延LIFO在在7us(Unicast) & 9us(Multicast)所以，相对应的所以，相对应的网络上的网络上的 Un

34、icast latency： GE Link(12us)+7us+GE Link(12us) = 31us网络上的网络上的 Multicast latency：GE Link(12us)+9us+GE Link(12us) = 33usInfiniband 96 ports 带带Fabric 420ns / 36 ports以内不带以内不带Fabric 140ns (组播性能不明组播性能不明)SDR Unicast： SDR Link(1.5us) +0.14us + SDR Link(1.5us) = 3.14usDDR Unicast：DDR Link(0.75us) +0.14us +

35、SDR Link(0.75us) = 1.64usNote: N50 xx 的的L2 组播组播 没有优化过，性能不好没有优化过，性能不好IB 比比10GE 提高的这几个提高的这几个us 的时延的时延优势，最终反映到应用层面是非优势，最终反映到应用层面是非常微弱的。常微弱的。10GE/GE 大概能提高大概能提高30%50%据此简单计算据此简单计算 IB/10GE +1.5%左右左右计算子系统：网络模型推荐计算子系统：网络模型推荐 - 2计算节点352 或者512Nexus 7018 or 7010 w F1N7K w F1 延迟分析延迟分析-1500字节字节L2 Unicast 轻载轻载6us;

36、 重载时会上升到重载时会上升到9usL2 Multicast RoCE/ToE * 10GE 解决方案解决方案 (大、中、小大、中、小)N7018/N7010: 512/256 * 10GE Ports 全线速N5596/N5548: 96/48 * 10GE Ports 全线速DCE/DCB 低延迟，Lossless Ethernet 完美支持 RoCE/ToE 技术低延迟、可扩展的硬件组播能力扁平化的、可扩展的网络拓扑方案扁平化的、可扩展的网络拓扑方案单层单层架构提供最多512个个10GE节点节点 w 低延迟 & 全线速双层双层架构(Fabric Path) 提供 8192 个个1

37、0GE节点节点 w 低延迟 & 全线速在现有平台平滑地向在现有平台平滑地向40GE/100GE 过渡的技术方案过渡的技术方案专业的专业的QoS 技术提供流量优化和网络复用的手段技术提供流量优化和网络复用的手段高可靠的设备高可靠的设备 以及以及 良好的安全保护能力良好的安全保护能力Cisco UCS 统一计算平台提供适合HPC 的服务器计算平台？深入分析计算节点+网络子系统存储存储&并行文并行文件件 网络子系统网络子系统管理网络子系统1.数据流量分析2.网络方案选择4.Cisco产品的匹配和优势1.数据流量分析3.Server的考虑2.网络方案选择3.Server的考虑4.Cis

38、co产品的匹配和优势1.数据流量分析3.Server的考虑2.网络方案选择4.Cisco产品的匹配和优势总结Overview思科总拼装图+思科有利的配置传统设计vs新设计信令数据流uMDS :p频繁的信令交互 小包p要求快速的响应uOSS :p持续的大流量数据包p根据前面的分析，根据前面的分析，PCI-E 服务器服务器 做做Transport 的时候，带宽的时候，带宽 最高也就最高也就11Gbps 左右；左右；p所以可以支持前端10GE & 后端8G FC HBA p网络过载时，对Buffer敏感由于由于存储的数据流量的特点是持续的大流量存储的数据流量的特点是持续的大流量所以如何保证所

39、以如何保证信令流量不受数据流量的影响信令流量不受数据流量的影响OSSServerHBA 8GFCoE 10GE10GE NICuSAN :p标准的A/B 平面设计；p8G FC 或 条件允许的话条件允许的话10GE FCoE是优选是优选(FCoE可以获得轻微的带宽和延迟优势可以获得轻微的带宽和延迟优势)；pIndex&日志 用RAID 0/1；Data用Raid 5/6MDS 的信令通道需要Switch 支持 QoS所以这里是比所以这里是比 IB 有优势的地方有优势的地方Switch QoS 比较简单的做法是 根据Src/Dst MDS_IP_Addresses因为文件的读写 是一种持

40、续的大流量行为，所以不建议将它和计算网合并如果如果SAN 支持支持FCoE，倒是正好可以考虑和前，倒是正好可以考虑和前端端的网络合并。的网络合并。流量正好不冲突流量正好不冲突目前高密度的FCoE/Ethernet 要明年Q1 Ready小规模的情况下，N55xx 比较适合做这种融合的网络Fabric Path 提供网络矩阵提供网络矩阵网络的流量主要从网络的流量主要从OSS Client 主要对带宽敏感；主要对带宽敏感；OSSOSS节点节点256256N7018N7018128*10GE128*10GEFabric Path16*8 10GE合计对合计对Client提供提供512个个10GE 接口接口SAN网络网络最好最好8G FC或者或者10G FCoEMDS10GE前端网络前端网络负责负责Client到到OSS节点节点Raid 5/6Raid 0/1OSSOSS节点节点48 8G/16G = 转发有效转发有效1212G G1G10G10G延迟1.643.5 1.643.5 微妙微妙33 微妙3.2/7.23.2/7.2微妙微妙组播有扩展性问题(5001000个组，性能未知)-好，延迟低好，延迟低HA能力