2024边缘超融合网关技术白皮书

版权声 编写 前 一、边缘云计 （一）边缘云计算的定 （二）边缘云计算的典型场 边缘云游戏场 边缘音视频场 安防监控场 工业互联网应用场 本地覆盖类场 场景需求总 （三）边缘云计算的优势与挑 二、超融网关技 （一）超融网关定 （二）超融网关形态与技术架 （三）超融网关典型网元功 负载均衡(LB,Load 网络地址转换(NAT,NetworkAddress 物理机和虚拟机互通（PV,Physical-to-Virtual 弹性IP(EIP,Elastic 虚拟专用网络(VPN,VirtualPrivate 专线(DG,Dedicated 工业与物联网边缘云协议转换网关（ProtocolConversionGateway）...................................................35三、面向边缘计算场景的超融网关关键技 39（一391．模块................................................402．块................................................413．块..............................................42（二）应用层技术..............................................451．术............................................452．技术....................................483．术..........................................50（三）转发面技术..............................................561．术........................................562．术..................................593．术......................................614．术................................................65（四）硬件接口层66望....................................................69五、参考资料......................................................71六、缩略术 1置将更远。能够作为中心云能力的一种延伸，更加贴近用户，将计算能力拓展至“最后一公里”。如图1所示，根据边缘计算位置的不同，可以分为区域、现场和IoT中心云机房：此类机房具备大于10万服务器的规模，部署在一线城市，他们到用户的延迟一般小于30ms，提供了完整的云服务区域边缘云：此类机房部署在省会以及地级行政区城市，机房现场级边缘云：此类机房部署在用户IDC机房现场侧，一般提供一套机柜方案，和用户IDC机房的机器混用资源更加有限的网关设备，对接类IoT设备协议，令IoT设23云游戏，简单来说就是以云计算为基础的游戏方式。如图2所手机和主机），而在云游戏的运行模式下，所有游戏都在“云上”戏大大降低了对硬件的依赖，使得用户在普通的PC机/手机上也可3A而降低游戏时延。如图3所示，在边缘云游戏场景中，业务将渲染强的技术积累，近年来自身的直播业务覆盖音乐、脱口秀、舞蹈、4商作推进音视频直播架构部署在边缘节点，在更好的体验与更低如图4所示，在进行架构升级之前，客户将音视频直播架构部署在中心云，将视频数据在中心云处理完成之后，再通过CDN节点56依托于原有CDN资源的情况下，在边缘云提供对主播的收流、存储等处理之后，分发资源到全球CDN中心，同时集成了即时通信、CDN接入端需要在原有CDN的能力下提供实时的信息交流，边缘融网7头采集视频数据，在本地做聚之后上传到云端采集。传统的安防监控架构则是将视频在本地做聚之后上传到云中心进行存储，该防监控架构。客户将视频在本地做聚之后上传到距离摄像头最缘，进行抽帧/结构化处理，核心数据通过云边网络回传中心分析&如图7所示，在这一案例中，云厂商为客户提供了遍布全国的工业互联网通过系统构建网络、平、安全三大功能体系,打造态和应用模式。随着工业4.0的蓬勃兴起和对现场设备管控、资源物理深度融应用。针对智能制造与智慧工厂等应用场景，边缘计算可靠的网络等运行环境，并与云平对接，利用大数据赋能生产与管全自动SMT(SurfaceMountTechnology)生产系统是工业互联网PCBSMT维护和检测，如SPI/AOI误判点数过多，造成产线直通率下降，每条SMT产线均需要固定一目检人员进行二次复判。大量的目检造8使用边缘云计算方案的SMT建立基于SMT大数据的边缘云计算方案是解决上述问题的关键。如图8所示，边缘网关部署在SMT产线设备侧，负责实时采集、缓存SMT数据，并结AI推理引擎对数据进行轻量级实时分析检测。部署在边缘云的边缘智脑平会对边缘网关上送的数据进行准实时分析和利用，对SMT制程、SMT机参数、SPI/AOI检测数据等进行中轻量级分析，及时侦测与处理SMT生产线的异常与不良。部署在中心云上AIAIAI线下服务结，音视频数据量较大，但都具有本地化特征，主要通常较小且较数量多，离客户城市较近，可以较好服务此类场景。x86x86x86ARMx86资源池数量多，每个资源池的计算规模小,从几服务器到几十服务器不等；（2）边缘站点单点的功耗低，易于灵活部署，信应用，有高带宽需求，同时EIP、NAT、负载均衡等功能需求全。负载均衡功能等需求。其中网络、安全设备占比高，云平、SDN控本高，占用机架空间大，功耗大。需要根据具体场景选择适的网综上所述，边缘云计算站点资源池规模不大，但功能需求全，部署需求。为了应对上述挑战，边缘云计算市场亟需一种集多种网络功能、且能灵活部署的超融网关设备，以节约机房空间、降二、超融网关技（一）超融超融网关是一种新型的网络设备，它集成了多种硬件，以发技术、异构资源统一优化等先进技术相结，实现了网络设备的高度集成和智能化。超融网关极大地提高了网络的灵活性和可扩的网络设备通常是单一功能的，而超融网关则将多种功能集成在其次，超融网关降低了网络的管理复杂性和成本。通过统一最后，超融网关提高了网络的性能。通过智能化的管理和优总的来说，超融网关是网络发展的一个重要趋势，它将网络设备的功能、性能和管理方式提升到了一个新的水平。随着超融技术的进一步发展，我们可以期待超融网关将带来更多的创新和同时，相比于部署与中心云的超融网关，部署在边缘云的超融网关还有如下特点：带来更大的资源收益：边缘超融网关通常部署在资源受限的环境中，而中心云场景的超融网关通常部署在资源丰富的数据更低成本：边缘超融网关技术可以减少对网络带宽成本的需提高数据安全性和隐私性：现场级边缘超融网关技术可以在本地处理敏感数据，降低数据泄露的风险。而中心云场景的超融更强的可扩展性：边缘超融网关技术通常具有更强的分布式（二）超融图9面向边缘云计算的超融网关典型部署位如图9所示为面向边缘云计算的超融方面可以令用户就近接入（专线接入，基于公网VPN接入或者无线空口接入等）网关上可以集成多种网元能力（如，LB、NAT、EIP、PVGW、VPNNAT）。超融网关是一种面向边缘计算场景的网络设备，将多种网元融在一起，以满足资源受限环境下的需求。超融网关可以采可编程交换机Tofino、SiliconOneCPUASIC+FPGACPUx86ARM交换机ASIC芯片：采用高性能的交换机ASIC芯片，如Tofino，SiliconOne，BroadcomTrident、Tomahawk高度集成CPUASICFPGA成在同一硬件平上，降低功耗和空间占用。IPU(InfrastructureProcessingUnit)/DPU(DataProcessingSDN（如OpenDaylight、ONOS）来实现；在状态监控CPU应用层：应用层主要关注如何实现多种应用在同一超的用户并发；使用自动化测试覆盖技术，加速超融网关产硬件层：硬件层主要关注如何将异构的硬件有机的整，实10融融网关形态。11融51.2T的带宽，使用基于P4可编程ASIC芯片，可自定义基础的供设备安全。有PCIEMulti-Corex86CPUsessionNATx86CPU可安装所需的ContainerApp（三）超融负载均衡(LB,Load两种类型，即四层负载均衡（TCP和UDP协议）和七层负载均衡（HTTPHTTPS）12性和稳定性。四层负载均衡集群内的每一节点服务器均匀地分配海量访问请求，并且每一节点服务器之间都有会话同步策略，以TCP/UDP四层和七层负载均衡联的形式：七层负载均衡在接受到四会调用Key1）类似。IP一客户端的请求分发到同一服务器。安全性：负载均衡网关应具备防止DDoSSYNflood网络地址转换(NAT,NetworkAddressIPIP典型场景如访问公网服务：边缘网络只希望主动访问公网上的13NATIPIPIP公共网络中的用户向指定的公网IPNATNATIPIPNATNATIP转换为公网IP地址转换：将私有网络中的内部IP地址转换为公共网络中的外端口映射：通过端口映射，NAT备映射到同一个公共IPIP动态NAT：动态NAT是一种多对一的地址映射方式，将内部式适用于需要共享公共IP地址的场景，如普通上网用户。场景，如VoIPP2P部署方式：NAT网关可以部署在边缘站点、云环境或混物理机和虚拟机互通（PVPhysical-to-Virtual物理机和虚机互通网关（Physical-to-VirtualGateway，简称P2VGateway）是一种用于实现物理机与虚拟机之间的通信和数据传14PVGW据内层目的IP弹性IP(EIP,Elastic个地域下固定不变的公网IP地址，提供访问公网和被公网访问的普通公网IP和EIP均为公网IP地址，二者均可为边缘云资源提供访问公网和被公网访问的能力。两者的区别是：普通公网仅能在CVM购买时分配且无法与CVM解绑，如购买时未分配，则EIPIP地址资源，可随时与CVM、NAT网关、弹性网卡和高可用虚拟IP等云资源绑定弹性IPIP：弹性IPIP地址，IPIP：允许用户根据需要将弹性IP络问题时，弹性IP15EIP用户通过管理控制或API请求分配一个弹性IP地址IPIPIP用户将分配到的弹性IP公共网络中的流量根据弹性IP地址被转发到相应的内部资用户可以根据需要解绑弹性IP地址，并将其重新绑定到其虚拟专用网络(VPN,VirtualPrivate在边缘云计算场景中，VPNIPSecSSL虚拟网络连接，打通IDC、内部办公网络、移动端和云私有网络VPC/云联网CCN全连接。16VPNVPCIDC17VPNIDCVPN18VPNIDCVPN主备通道实现主备容灾上边缘云简单的用户IDC17为VPNIDC在通过VPN连接上边缘云场景中实现互通的示意图。用户IDC-1、IDC-2、IDC-3分别通过自的IPsecVPNVPCVPNIDC-1、IDC-2、3之间不仅可以访问VPN网关所属私有网络内的类资源，还可通过边缘云VPN网关实现中转互通，最终实现IDC1、IDC2、VPC18VPNIDCVPN云的示意图。用户IDC仅需要与单个边缘云VPC实现互通，在用户IDC侧，用户可以部署两IPsecVPN设备，分别与边缘云私有网络型VPN建立IPSecVPN通道，VPN网关路由表配置两条目(DG,Dedicated专线网关（DedicatedGateway）是一种用于连接企业内部网络和外部网络（如云计算平、数据中心等），提供专用、高速、低19用户IDC内部网络的路由器建立专用通道连接，并接受路由配置指向VPCIDCVPC在物理层，用户的IDC机房与边缘云机房基于运营商提供的物理专企业与云计算平或数据中心提供商签订专线服务协议，建如下是一种典型的企业专线上云网络架构，该专线网关用于提SD-WAN结使用，以提供强大的20安全的能力，可动态为应用模块分配独占的CPUCore，均衡性能和功能需求的算力（21）。21工业与物联网边缘云协议转换网关（ProtocolConversionPtolCnronGey）是一种用于实现不同协议之间的转换，使工业互联网设备或物联网设备能够与云平进行通信和数据交互的网元。工业边缘协议转换网关是联结物理世界与数字世界的重要桥梁，就像工业互联网的神经结，将工业现场的产线、管道、LC、变频器、机器人等设备连接起来，使之成为一个有机整体，以适应现场应用低延时、高可靠、多样化的需求，并配边缘智脑共同进行智能化数据处理，其典型的三层技术架222北向：指边缘网关的应用层，主要包括工业实时流数据的AI（边缘持遗留设备或专有设备的软件SDK南向：指边缘网关的物理层，主要包括边缘网关的智能板OPCUAoverTSNOICT融生态系统。服务以及EdgeXFoundry组件。目前主流的嵌入式操作系统都是基于LinuxCentOSUbuntuDebian和FedoraKubernetesEdgeXFoundry是一组开源的开源微服务集，可以在Kubernetes请求。EdgeXFoundry与平或供应商无关，可以由微服务或理想的边缘计算平。IOTEdgeIntelligence：为物联网边缘智能平，旨在帮助企强大的数据集成和管理功能，可以连接和整来自不同设备和传感测能力。它可以将实时数据与预先训练的模型相结，以实现实时23IoTEdgeIntelligence与公有云之间的互联交互可以实现数解决方案，并充分利用边缘设备和公有云平的优势，提高系统的性能、可靠性和智能化程度（24）。24IoT为云平支持的协议，实现设备与云平之间的通信。之间的通信安全。云平处理请求并返回响应25SNMP或其他协CPU：CPUCPU份验证和权限管理。关键技术包括使用身份验证协议（如安全协议（SSL/TLS）建立加密通道、使用对称加密和非设备接入认证方式：网关设备接入平之前，需通过身份认Username：Username户与密码，支持通过HTTPAPI管理认证数据。UsernameClientID：ClientIDClientID与密码，支持通过HTTPAPI管理认证数据。ClientID认证不依赖外部数据源.Mnesia认证：Mnesia认证使用EMQX内置Mnesia数据ClientID/UsernameHTTPAPI管理认证数据。Mnesia认证不依赖外部数据源。HTTP：HTTPHTTP根据HTTPAPI返回的数据判定认证结果，能够实现复杂的的HTTPHTTPstatusCode)来处理认证请求。JWT：JWTopensnewwindowToken证方式。客户端使用Token作为用户或密码（取决于插LDAP：LDAP认证使用外部LDAP服务器作为认证数据MySQL认证：MySQL认证使用外部MySQL数据库作为认证PostgreSQL认证：PostgreSQL认证使用外部PostgreSQLRedis认证：Redis认证使用外部Redis数据库作为认证MongoDB认证：MongoDB认证使用外部MongoDB数据库作26超融网关的应用层技术主要面向如何将多种网元能力同时LinuxNetworkNamespaceNetworkPolicy弱。最近，一种新的虚拟化技术Firecracker被提了出来。这是一27Firecracker27所示，Firecracker运行在用户空间，并使用基于Linux内核的虚拟机(KVM，Kernel-basedVirtualMachine)创建计算机。它提供内置的速率限制器，使您能够精细地控制同一计算机上数千个微虚拟机使用的网络和存储资源。您可以通过FirecrackerAPI创建和配置速率限制器，并定义支持突发或特定快速启动：FirecrackerKVMJailer现的，它们可以在Linux内存去重：Firecracker高密度：Firecracker可以在同一物理机上运行数千个虚安全性：Firecracker主机之间的隔离，包括seccomp、namespace、cgroups和SELinuxFirecrackerRust安全和可维护性等优点。Firecracker已经在AWSLambdaFargate28MicroVMFC28Firecracker以在同一物理机上运行数千个虚拟机，这比传统虚拟化技术快得20Lambda术是非常重要的。相比于K8s技术，轻量化的容器管理技术需要易程序。其中K3s轻量级：K3s易于使用：K3s以很容易地创建、运行和管理容器。此外，K3sK3sRancherLabs的，旨在提供一个简单、轻量级且易于使用的容器运行时环境。Kubernetes10个字母的单词，简写为K8s。Kubernetes的K3sKubernetes。K3sKubernetes100MBK3sK8ssqlite3存储机制的轻量级存储后端。同时支持使用etcd3MySQL和Postgre，最大程度减轻了外部依赖性，K3s仅需要现代内核和cgroup29K3s29K3s（HA）Serverk3sservercontrolplaneK3sAgentk3sagent数据存储或controlplane组件。ServerAgentkubelet、容器运行时和CNI。有的ASIC可编程芯片仅支持部分内存的跨应用之间共享（比如，TofinostatefulRAM），对于其他RAM（Match-融。为了应对上述问题，一种新的架构Menshen（“门神”）被提了RMT(ReconfigurableMatchTables)编译器（Tofino30基于空间的分区：Menshen来说，Menshen（如流表和状态内存）在不同标识不同的模块，并使用这些模块ID分段表：Menshen来说，MenshenCAM：MenshenCAM具体来说，Menshen使用了一种称为“CAMLookup”的机制来进行流表匹配。CAM（Content-AddressableMemory）是内存访问表：Menshen问。具体来说，MenshenMATable”的机前馈结构：hn使用了一种称为“前馈结构”的机制来实现模块之间的通信。具体来说，Msen使用了一种称为“aetFwdngah不同模块之间的传递路径。在aetoaigrh到另一个模块。ehn使用前馈结构来实现ctFwdgGph软件控制：MenshenMenshen31（31MenshenGbps3233当将模块/应用1234超融网关的转发面技术主要关注数据包在网络设备中的转发态会话的冗余的字段，并进行字段压缩、字段并、字段分DRAM：有许多硬件具有扩展查找资源的HBMFPGA，IPU/DPU当前的可编程开发方案主要通过手动调参的方式寻找最优资源问题，一种去除表项依赖的方案Cetus被提了出来，它能够自动化35Cetus之后，CetusP4（写后读；写后写；读后写），然后通过变量换法、Action并法等技36图37依赖消除法示例，左图（Action并法解决写后写赖），右图（变量换法解决写后读依赖）在Action并法中，对相同变量b进行写的操作，被ActionMatch配不同的Action即可，此时两个表项就可以并到流水线在变量换法中，将需要读和写的共享变量a复制一份t1a38Cetus11分钟（注，本文还提出了编译器级别的强制优化技术，优化了VRRP（VirtualRouterRedundancyProtocol）实现虚拟IP地址的故障切换，或使用BFD（BidirectionalForwardingDetection）检测链路故障和拓扑变化。和同步状态信息，如使用NoSQL数据库（如Cassandra、Redis）实现高可用性和弹性扩展，或使用分布式事务和一致性协议（如Paxos、Raft）保证数据一致性。Redplane如，NAT网关、LB网关以及防火墙等场景，一般采用强一致性状态39初始化(initialf1包达到switch-1，switch-1向statestore发起初始化switchstatestore（避免浪费交换更新（停等协议）：switch-1收到流f1的包pkt2读取：switch-1switch-始化。Statestoreackf1对于弱一致性状态同步协议，基本流程与上述流程类似，只是中交换机上的路由配置、ACL析不理的测试路径，并进行剪枝，从而提升测试效率。40Meissa40Meissa分析CFG：在给定了P4程序、以及下发的业务表项后，Meissa会自动化的分析P4程序的控制流得到CFG(CallFunctionGraph)；CFG2node：Predicatenode(条件)，Action更新条件数值Actionnode，就更新当前存储的变量数值(如，dstIP，srcPort条件满足判断：每次到Predictnode，就根据存储的变量数否符预期。41如图41为有效和无效路径的示意图。(a)中路径为有效测试，(c)也为无效路径，因为如果srcPort==80成立，则不可能等于4242Router，mTAG，ACL，switch，Meissa可以在100s以内完成分析，比现有的方案快400gw-1gw-2，MeissaAqulia22gw-3gw-4，Aquilia1Meissa150s100%覆盖测试路径的测试样例。要求包括：时钟同步等，所有网关设备都可以使用IEEE15881µs-10ns43超融网关底层会接入种样的硬件类型，如FPGA、CPU和43知道硬件细节的情况下与硬件交互。HAL目前主流的网关开发方式是面向一个特定的平，比如面向可编程交换机、x86服务器、或者FPGA。然而种平的性能和资源等有优劣，仅在一种平上实现网元能力未必能够达到最优的性将这些异构硬件有机的组起来，比如x86+FPGA，x86+可编程芯片（如，不同平得使用不同的语言开发，交换机ASIC采用P4/NPL，为了解决这个问题，一种能够自动化的整异构资源方案Flightplan被提了出来，它能够根据开发者的注释，自动化的分隔44Flightplan44Flightplan程序拆分Flightplanp4模块需求抽象：Flightplan分析个P4程序模块的资源需45同的维度存储到数据库中，以供后续最优方案