框式开放自研交换机技术实现与应用场景白皮书

框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-030041分布式存储技术与产业分析报告框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-030041分布式存储技术与产业分析报告开放数据中心标准推进委员会框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004版权声明ODCC（开放数据中心委员会）发布的各项成对于未经著作权人书面同意而实施的剽窃、复制、修I框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004编制说明本白皮书在撰写过程中得到了多家单位的大力）：司）：框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 I II 1 2 3 3 4 4 5 6 6 12 16 16 17 18 19 20 21 22 24框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 24 24 24 28 31 31框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-030042015年3月举行的OCP（OpenComputeProject，开放计算项目）峰会上，微软向OCP贡献了SAI（SwitchAbstractionInterface，交换机抽象接口）。正式发布了SONiC(SoftwareforOpenNetworkingintheCloud)。SONiC的所有软自此之后，SONiC逐渐成为了互联网行业超大规模数据中心网络首选的开源操作系统。交换机抽象接口(SAI)在使SONiC适应各种底层硬件要作用。SAI为ASIC提供一致的接口，允许网络供应商在其平台上快速启用SONiC，同时通过供应商特定的扩展在硅和光学领域进行创新。这使云规模的提供商能够拥有一个通用的运营模式，同时从硬件创新中受益。下图说明了图1SONIC软件系统结构机状态服务）容器的单一实例在设备上单个NPU系统上支持，已经逐渐扩展为1框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004SONiC软件系统在单芯片设备获得大规模部署之后，行业内对SONiC在框式大型设备上也进行了大量的探索和实现，其中包括Microsoft、Broadcom、Cisco、Nokia、Arista、Baidu等国内外公司。本文的目标就是阐述一下S软件系统在框式大型设备上的技术实现和部署场景，在本文的撰写过程中，SONIC在全球数据中心场景中已经进行了广泛的、大规模的部署，也给用随着接入服务器的技术演进和规模发展，数据中心内部的网络架构从单平数据中心内部的架构规模和速率的快速演进，也直接推动了城域网和骨干网的架构变革，数据中心内小型化盒式单芯片多平面的网络架构随着芯片技术运维管理。架构简化，设备数量低，逻辑简单，这些都是运维管理希望的扩展能力。DCI的架构升级迭代困难，需要有更灵活的组网方案，更易扩多速率端口支持。DCI以机房作为接入点，生命周期较长一般随着机房新建一直到下线，需要维护多代不同技术的数据中心架构，如果无缝扩展是一个2框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004自主可控，统一运维和自动化能力。随着开放系统在客户数据中心网络的大规模部署，开放操作系统例如Sonic已经广泛使用。DCI交换机也有很大的图2式开放自研交换机部署场景框式开放自研交换机的优势：组网灵活，架构设备数量少，拓扑简单；单设备端口密度大，按板卡灵活按需扩容，无缝演进；框式开放自研交换机项目的规划目标：降低DCI网络架构拓扑复杂度，简化拓扑；提高运维效率，降低Opex成本，统一操作系统；架构技术演进平ASNAutonomoussystemnumber，BGP的自制系统号BGPBorderGatewayProtocolIntermediatesystemtoIntermediatesystem协议，IGP路由协议RCRegionalCore区域核心RRRoutereflector路由反射器，用于IBGP环境SCsupercore，超核角色VOQvirtualoutputqueue3框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004如前所述，SONiC是微软发布的开源交换机操作系统，也软件平台，实现了数据控制面与转发面的分离，用户可以采购白牌交换机搭载通过改变软件策略和拓扑实现新的网络架构，让截止目前，SONIC软件系统已经被国内外大型互联网公司的生产网络上大规模部署运行，其中绝大多数场景在数据中心内部的单图3SoniconSingleASIC与此同时，SONIC软件系统的扩展应用场景需求也陆续出现，其中一个是图4SoniconMultipleASICs4框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004图5SoniconModularChassis通过从数据中心内的DCN场景部署，扩展延伸到数据中心互联的DCI场景部署，SONiC软件系统通过全面覆盖可以提供统一化运维、快速故障响应等用户体验，同时代码开源的特点也让使用者们的创新想设计简单-平台具有单个ASIC，无交换矩阵，无线卡，没有具有多个ASIC的线卡，硬件组件之间没有相互通信，即ASIC到ASIC或LCASIC到SFASI图6SONIC单芯片设备5框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004机箱/设备管理器-用于管理硬件组件的软件–ASIC（低级别，即启动）线信机制，即FIB传播到线卡ASIC。系统ASIC内的可追溯性，即LCASIC到图7SONIC机框设备图8CISCOSiliconONEBasedFamily6框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004作为思科与OCP社区持续合作的一部分，思科现在已经在盒式和模块化块化路由系统以完全分布式的方式支持SONiC的一个重要里程碑。接下来，我们将了解基于机箱的路由器的详细信息以及SONiC如何在Cisco8000模块化系思科用22个月制造11款芯片，快速迭代，使用一个架构，涵盖多种场景和用途。思科倾听客户的需求并从零开始打造了全新的SiliconOne统一架片，可以同时提供与路由器芯片相媲美的能力与灵活性，和与交换机芯片媲美的性能与能效比。SiliconOne包含3.2T到25.6T多种容量的路由器和数据中心芯片家族，从第一天开始就充分考虑能够同时兼顾商业网络操作系统与各种SAI接口，从而帮助客户与合作伙伴实现一次开发、处处使用，这大大的减少图9CISCOSiliconONE7框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004思科基于SiliconOne芯片打造了高性能、高能效比的开放网络系统C8000系统。该系统充分考虑到未来网络发展对性能、可编程性、节能环保等需求，提供了从单芯片盒式路由器到大容量框式设备，以及开放解耦CLOSFabric等多种系统形态。特别值得指出的是该系统带来的超高能效比，大幅度地降低每比图10CISCOSiliconONE框式交换机8框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004图11框式交换机逻辑结构（CISCO’sexample）板卡上的NPU和机箱内的矩阵卡连接在一个CLOS网络中。每个板卡上的板卡和矩阵NPU通过背板连接。所有节点（LC、RP）都通过机箱内的以太网交换机网络连接到外部世界。这种矩阵在逻辑上表示单层叶脊网络，其中叶和脊从转发的角度来看，Cisco8000模块化系统作为单个转发元件工作，在板以及QoS、ACL、入站镜像等入口功能。然后使用代表传出接口的虚拟输出队列(VOQ)将数据包转发到适当的出口板卡NPU，方法是将数据包封装在矩阵报头和NPU报头中。数据包通过多个链路打散到多个交换矩阵，以实现逐个数据包的出口LCNPU使用NPU标头中的信息处理来自矩阵的传入数据包，以对数据在单个NPU固定系统中，上述入口和出口功能都在同一个NPU中执行，因9框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004图12框式交换机运行SONIC（CISCO’sexample）这个叶脊网络中的每个节点都运行一个独立的SONiC实例。叶节点和主干镜像、陷阱等标准监控和故障排除技术也可以在该网络的叶层和脊层中使用。图13框式交换机运行SONIC（CISCO’sexample）框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004每个板卡在板卡CPU上运行一个SONiC实例，管理该板卡上的NPU。SO的一个实例在RPCPU上运行，管理矩阵卡上的所有NPU。板卡SONiC实例代表特能力，因为它可以配置为网络模式或矩阵模式。因此，我们在板卡和矩阵卡上使用相同的ASIC，通过在矩阵模式下配置板卡和矩阵之间的接口，而在网络图14框式交换机转发模式（CISCO’sexample）图15框式交换机运行SONIC，叶脊拓扑（CISCO’sexample）框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004卡上的SONiC在板卡上的每个NPU运行一个BGP实例，这通常是一个小数字（低个位数）。另一方面，RPSONiC管理大量的矩阵NPU。为了优化设计，FabricNPU被配置为点对点交叉连接模式，在每对板卡NPU之间提供虚拟管道跨矩阵的数据包仍以以太网帧的形式交换，从而在矩阵NPU上启用镜像、对于需要在机箱内进行基于矩阵的数据包转发的用例，可以将板卡-矩阵链路重新配置为在矩阵模式下运行，从而允许相同的总之，利用CiscoSiliconOneASIC的独特功能和系统设计，Cisco8000允许在模块化系统中实施基于SONiC的标准叶脊网络拓扑，从而为以最佳方式实现分解网络设计的灵活性铺平了道路模块化2．Nokia&Arista框式交换机在支持SONIC的实现中，除了CISCO之外，还有另外两家厂商，NOKIA和ARISTA的框式交换机也积极支持SONIC的实现，并在OCP社区中非常活NOKIA和ARISTA在框式开放自研交换机的SONIC实现相同，只是在设备板卡到交换板卡之间的数据格式上存在差异，他们的设备设上述转发细节差异和产品硬件设计芯片选择的差异，对于支持SONIC的能诺基亚7250IXR-6e/10e是一款高性能、高密度、心主干和广域网部署。它为400GE、200GE、100GE、50GE、40GE、25GE和10GE框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004接口提供硬件支持，以实现结构内和服务器连接。7250IXR-6e是一款四线卡插槽平台，支持高达115.2Tb/s的系统容量和最新一代线卡。7250IXR-10e是一款八线卡插槽平台，采用最新一代线卡时，支持高达230.4Tb/s的系统容量。这些系统旨在通过利用真正的正交直接交叉连接（无需中间背板连接器）完全全系列板卡原生支持MACsec。并创新性的采用了8Fabric矩阵卡设计，单块Fabric卡采用2块Ramon芯片，相比于传统采用6Fabric矩阵卡但单Fabric诺基亚7250IXR-6e/10e机箱和全系列线卡均为J2C+芯片进行优化设计，并为未来Jericho3芯片做好准备，未来只需将业务板卡升级至采用J3芯片的诺基亚7250IXR-6e/10e专为数据中心环境进行了400G板卡情况下，其整机典型功耗仅有10610W。其中包括采热孔设计，其通风效率高达90%以上，远远大于传统采用矩形散热孔设计的散热网。同时业务板卡采用了更高螺距设计，可以容纳下更大面积的散热网，并且更高螺距使得业务板卡内部主板上可以放置更大体积的散热片，使得接口提供20W以上的供电能力，可以让每一个QSPF-DD接口都能支持并插满400GZR/ZR+模块，依然能提供良好的散热效率。同时更高的螺距也使得相对于传统的业务板卡通过板卡侧后端卡住机箱内部成型金属板方式来固定住业务板卡的方式，诺基亚进一步改进了机加工工艺，通过卡片导轨方式来固定业务板卡。使得业务板卡与机箱之间可以提供±0.03的位置精度的系统公框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004差，是传统卡住成型金属板方式的位置精度系统基亚的7250IXR-6e/10e一次顺利通过GR-63的3轴30分钟随机震动测试和4一块业务板卡上都有x868核心CPU来控制单块业务板卡上的NPU。通过分布式控制平面的硬件设计，大大加速了整机启动速度，使得整机启动时间在10-15分钟内即可开始转发流量。而无论主控板还是业务板卡，其上的CPU均采用先图16Nokia7250IXR-6e/10e诺基亚积极参与OCP框式SONiC工作组计划，为框式SONiC项目提供了7250IXR系列框式交换机的硬件驱动和PMON；根据SONiC版本更新7250IXR系列交换机上进行功能和性能等的综合测试；并修复已发现的7250IXR硬件去驱框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004Arista7800R3系列将高密度100G和400G与低延迟和线速性能为大型虚拟化数据中心、互联网对等互连、云网络和任务关键型环境而设计。具有大型路由表的深度缓冲区VoQ架构提供了针对现代数据中心和电信云优化Arista7800R3系列FlexRoute引擎提供了灵活的可扩展性，以支持部署为具有互联网规模路由的路由平台。所有Arista7800R3系列都支持FlexRoute™引擎，提供可扩展性，以支持部署为具有互联网规模的路由平台。7800R3系列加速sFlow具有采样功能，并以线速处理流式样品。7800R3K系列支持一系列由。算法ACL为访问控制、基于策略的转发和网络遥测提供更灵活、可扩展的该系统具有从前到后的气流、冗余和热插拔监控器、电源、结构和冷却模图17Arista800R3Series框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004ARISAT积极参与OCP框式SONiC工作组计划，为框式SONiC项目提供了框式交换机的硬件驱动；积极参与制定OCP对框式SONIC的测试规范和标准，测试。ARISTA在框式SONiC项目的推广发展也做了非常多的尝试和努力，取得DCICLOS架构的集群也可以配置为BGP联盟，对外呈现一个自治域AS，作图18DCICLOS架构组网分析框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004联盟内EBGP打通路由，对外一个AS64600，和上下游设备EBGP配置，如图，对外DC1和DC2经联盟内相同互联节点T0-3，与不重合节点T0-1、T0-5BGP联盟方式的CLOS集群，对外呈现与一个大机框相似，对外互联结构没 1CLOS架构分布式控制平面Fabric和forwarder之间采用三层路由方式互联，无法使用Jericho2c+的fabric端口，芯片有一半的转发端口用于互2Fabric层采用成本较低的Tomahawk芯片，基于包转发，Tomahawk芯3CLOS架构分布式控制平面具备了组网灵活的优势，同时控制平面和转DistributedDisaggregatedChassis(DDC)分布式机框方案是Broadcom公司基于DNX芯片系列提供的解决方案。DDC方案实现了传统机框设备的硬件组件和软件的全面解耦，一台逻辑的交换机，可以由物理独立的控制器、物理独立的业务板卡和物理独立的转发板卡组成，这些独立的物理组件之间通过高速DriveNets公司的NetworkCloud产品是业界第一个也是唯一一个商用的框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004图19DriveNetsDDC采用DCICLOS架构组建集群，可以实现超大规模的转发能力和组网能力。设备名称角色芯片端口形态T1FabricJericho2/Jericho2c+48*100G端口/卡T0Forwarder2*Jericho2插卡式：2*48*100G或12*400G+48*100G图20Jercho2/2c+/3DCICLOS集群框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004设备名称角色芯片端口形态T1FabricSiliconOneQ20048*100G端口/卡T0ForwarderSiliconOneQ200插卡式：32*100G或16*400G线卡图21SiliconOneDCICLOS集群图22DDC原理框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004DDC顾名思义是一种分布式解耦机框设备的解决方案。首先它解耦了硬件标准的X86服务器做控制引擎，集中控制平面，管控所有的转发交换机、统一的OS系统运行在转发交换机和fabric上，OS与硬件解耦，适配通用控制平面和数据平面分离。控制平面由X86的控制器集中管控，白盒交换数据平面灵活伸缩。能够根据转发容量的需求，灵活扩缩容转发交换机和fabric。Fabric和转发交换机之间采用fabric端口互联，采用8GBHBM（Highbandwidt图23Jericho2c+芯片结构图24Ramon芯片结构图25DDC集群结构框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 2Fabric设备采用Ramonfabric芯片，单芯片具备9.6T转发能力， 3LC与Fabric之间通过400G的Fabric4集群配备至少2台互备冗余的管理交换机，管理交换机互联所有fabric设备、LC转发设备、控制引擎，控制面的数据流通过管理交换5集群至少包含2台X86Server做控制引擎，主备工作，控制引擎作DDC设备和框式交换机一样采用CELL交换方式，CELL交换使fabric的流图26Cell转发原理2流量进入的LC白盒的转发芯片处理数据包，IP数据包查询FIB表框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004 个LC。Reachabilitytable基于内部的reachabilityprotocol在LCVOQ机制保证数据在集群内转发不丢包，cell转发能够保证数据流在集群Fabric层面的cell转发会增加网络延迟，但这个延迟和DCI网络的数据交换机的每个input端口的物理buffer为每个在转发芯片上是专门给outputqueue，避免任何两个端口的通信不影响其它端output接口有带宽转发数据时，出接口给input端口分配credit，只有框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004output端口没有资源转发时，不给input端口credit，input端口没有对比项DCICLOS架构方案DDC方案故障域故障域小，单白盒设备故障不影响全局转发故障域大，控制面故障将导致整集群不可用拥塞避免转发与fabric层之间packet交换方式，在多访问1的场景，fabric有丢包风险转发与fabric层之间信元交换方式，有VOQ机制保证fabric转发不丢包，基于cell转发，流量负载更加均衡硬件成本有一半转发容量用于上联fabric，单设备转发能力降低一半，同等转发能力比机框交换机高100%以上同等转发容量比机框交换机高25%左右，Fabric采用专用的fabric芯片，相对转发芯片成本更低运维风险分布式控制面，升级维护简单集中控制平面，控制面升级、故障诊断复杂管理风险分布式控制面，转发层配置不对称，管理维护相对复杂集中控制管理配置简单采用DDC方案，研发难度较高，运维相对复杂，控制面集中故障域相对较结论：采用框式开放自研交换机方案较优，SONIC适配容易落地，部署场景适用于DCI核心设备。其扩展的DDC方案，案例和场景还不够清晰，可以作框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004支持linkdelayup/down,传输设备出现故障或抖动，减少对路由层面的收）；框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004识一个IPv4CE。END.DX4代表PE端点需要解封装IPv6SID，转发原始的IPv4功能要求子功能功能参数优先级Staticroutenull0route/defaultroute中Policybasedroutingload-balancenext-hop支持重定向下一跳负载均衡中NQA联动支持与NQA联动中BGPECMP128paths,supportecmpas-path-relax,高Peergroup支持配置对等体组高importroutes支持引入其它路由协议路由（静态、OSPF）高4bytesAS支持4字节ASN高RR(routereflector)支持路由反射器功能高pathselectattributesBGP选路属性支持：weight、localpreference、MED、community高routeaggregation支持路由聚合，支持抑制明细，并支持聚合路由的路由策略(attribute-policy,suppress-policy)高timerssetting支持BGPhello和holdtime调整中Addpath8paths高BGPLS（linkstate)getISIStopoloyinfo,computeTEpath中routepolicy支持灵活的收、发路由策略（基于acl/prefix-list/community的路由过滤,as-path/LP/MED/weight操作等）高supportIPv6address-familyBGP高框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004NSFNonstopforwarding/routing高BFD联动中ECMP128paths高segment-routingmpls高Peerauthentication中高NSFnonstopforwarding/routing高Fastreroute中costadjustment支持wide-metric，支持接口开销调整配置高routingmanipulation支持路由过滤、引入外部路由、发布缺省路由中routeaggregation支持路由聚合高BFD联动高SRTEMPLSSR高SRv6中SRTI-LFA支持TE隧道热备份高directtraffictotunnel支持静态路由、策略路由、IGP自动路由方式引流到隧道高diff-servicegroup支持TE隧道的服务等级，匹配业务报文的优先级tag，将流量引导到对应服务等级隧道中BFDforSR-TELSP支持BFD与TELSP联动高QoSWRR/WFQ高ECNsupportfastECN/CNP中DSCP/IPPremarkingDSCPtodot1pmapping高MQC支持MQC(moduleqoscommand-line)方式配置（流分类、流行为、流策略）高CARpolicies中ManagementSSHv2高telnet高loginsourceIPfilter高netstream/sflow高trafficsampler.支持1：1024采样比高ZTP中TACACS+AAA高Netconf/YANG高gRPC中SNMPv2/v3高框式开放自研交换机技术实现与应用场景白皮书ODCC-2022-03004Inbandtelemetry中acesLACP100AGGports,eachAGGportsupport48memberportsmax高link-delay/carrier-delay高MTUmax100