Telemetry技术白皮书-6W103-整本手册

本文中的内容为通用性技术信息，某些信息可能不适用i 11.1产生背景 1.2技术优势 1.3Telemetry网络模型 1.4Telemetry实现方式和差异 21.5Telemetry典型组网应用 4 42.1gRPC概述 42.1.1gRPC协议栈 42.1.2gRPC网络架构 2.1.3Dial-in模式和Dial-out模式 2.2gRPC可采集的数据信息 2.3基于gRPC的Telemetry应用场景 73.1INT概述 3.1.1产生背景 3.1.2技术优点 3.1.3技术标准化 3.2INT组网模型 3.3INT报文格式 3.3.1INT报文头组成及封装位置 3.3.2INT固有头部格式 3.3.3INT监测信息meta-data格式 3.4运行机制 3.4.1普通型INT 3.4.2灵活型INT 3.4.3不同网络中INT的运行机制 3.5INT可采集的数据信息 144.1TelemetryStream概述 4.1.1产生背景 4.1.2技术优点 4.2TelemetryStream报文格式 4.3TelemetryStream运行机制 175.1简介 5.2报文封装格式 5.3端口镜像方式的ERSPAN 205.3.1网络构成 205.3.2工作机制 205.4流镜像方式的ERSPAN 225.4.1简介 225.4.2工作机制 225.5基于ERSPAN的Telemetry应用场景 25 266.1技术概述 266.2网络架构 276.3运行机制 276.3.2AC汇聚上报模式 296.3.3AP直接上报模式 306.4典型组网 311要求也不断提高。为了满足用户需求，网络运•超大规模：管理的设备数目众多，监控的信息数量非常庞大。•快速定位：在复杂的网络中，能够快速地定位故障，•SNMP和CLI主要采用“拉模式”获取数据，即发送请求来获取设备上的数据，限制了可以•SNMPTrap和日志虽然采用“推模式”获取数据，即设备主动将上报事件和告警，监控的数据内容极其有限，无法准确地反映网Telemetry是一项监控设备性能和故障的远程数据采集技术。它采用“推模式”•采集数据的精度高，且类型十分丰富，可以充分反映网络状况。设备就可以持续上报数据，减轻了设备处理•采集器：用于接收和保存网络设备上报的监控2•控制器：通过NETCONF等方式向设备下发配置，实现对网络设分析器采集器控制器上报监控数据NETCONF等方式下发配置上报监控数据网络设备TelemetryStream是一种基于报文采样的网络流量监控技术，TelemetryStream可以采集流量经过的每个设备的入接口及出接戳，可支持计算流量经过其中任意设备的传3据则来自设备收到的其他网络节点的报文，云平台上报状态信息。不同Telemetry方式的差异如表1所示。Telemetry无线设备、无线测量对象的选择指定某些XPath通过QoS策略或ACL进行报文过滤通过ACL进行报•源端口、源•流镜像设备连上云平台•按周期采样•实时上报事按采样率采样一部分报文（报文），文按采样率采样一部分报文（报文•按周期采样•实时上报事设备的各种配置数据、运行状态数据（接口的状态信息和统计数转发路径上每台设备的设备信息、接口信息、队列信息、时间戳信息和转发路设备ID、流量入接口及其时间戳、流量出接口•设备的运行•无线终端的•无线空口数数据上送采集器根据gRPC协议栈将采样数据编发送给订阅关联INT报文封装在UDP报文中，查IP转发表发送给向镜像报文添加Telemetry并封装含有采集器地址信息的UDP头及二三层头，再添加时间戳，查IP转发表为镜像报文添加ERSPANv2头或后，重新计算加GRE头和IPv4报文头，通过IP网络路由转发到AC汇聚上报和AP直接上报4如图2所示，gRPC、INT、ERSPAN将采集到的数据发送到数据采集器后，分析器可以分析数据以及时发现网络中潜在的问题，及时优化网络，以避免数据采集和分析器数据报文数据采集和分析器ERSPAN镜像报文gRPCERSPAN镜像报文gRPC上报信息端口上添加INT端口上添加INT头IPIPnetwork说明说明采集器和分析器可以是两个独立的设备，也可gRPC协议栈分层如表2所示。5•JSON（JavaScriptObjectNotation轻量级的数据交换格式，采用公共RPC方法定义在公共proto文件中，例如grpc_d该层是可选的，设备和采集器可以基于TLS协议进行通道加密和双向证书如图3所示，gRPC网络采用客户端/服务器模型。gRPCservergRPCclient(2)服务器通过监听指定服务端口来等(3)用户通过执行客户端程序登说明说明设备既可以作为gRPC服务器，也可以作为gRPC客户端，具体与两者的连接模式有关，请参见6−gNMICapabilities操作：获取设备的能力集。−gNMISubscribe操作：向设备订阅数据推送服务，包括事件触发类数据和周期采样类•Dial-out模式：设备作说明说明•物理接口状态信息：例如光模块状态和接口的带宽利用率。•接口的报文/队列统计数据：例如接口丢包和错包统计、队列•表项/资源数据：例如转发表项资源、ACL流表7WANWAN采集和分析器（gRPC服务器）控制器Internet采集和分析器（gRPC服务器）控制器Internet客户端源和目的间业务报文客户端源和目的间业务报文SWASWBgRPC主动上报事件数据在传统网络中，我们对报文做转发路径探测时，经常会要控制器软件的干预。由于没有硬件的支持，一的网络中，这两种方法都不能精准定位出在哪台设备地优化网络架构。INT（In-bandINT作为可视化技术的一个重要组成部分，8送给采集器。最终通过部署在采集器上的网管软件，对监•支持配置采样集数据的采样率。•通过QoS策略或ACL，可以灵活地调整需要进行路径探•在路径探测的最后一跳，直接封装报文并发送给采集器。•收集探测路径上每台设备的设备信息、接口信息原始报文INT报文9rINToverTCPETHMACDMAC,SMACIPHDRDIP,SIP,IPHDRTCPHDRINTProbeHDRMD#NMD#1PayloadFCSINToverUDPETHMACDMAC,SMACIPHDRDIP,SIP,IPHDRUDPHDRINTProbeHDRMD#NMD#1PayloadFCSINToverUDP(VXLAN)ETHMACDMAC,SMACIPHDRDIP,SIP,IPHDRUDPHDRINTProbeHDRMD#NMD#1VXLANHDROriginalETHFrameFCSProbeMaker(1)(32bits)ProbeMaker(2)(32bits)Version(8bits)MessageType(8bits)Flags(16bits)TelemetryRequestVector(32bits)HopLimit(8bits)HopCount(8bits)MustBeZero(16bits)MaximumLength(16bits)CurrentLength(16bits)Sender`sHandle(16bites)SequenceNumber(16bites)INT报文固有头部格式如图7所示，各字段含义如下：•Version：目前固定填充为0x0•Flags：保留字段，目前固定填充为0x0000。•HopLimit：最•HopCount：报文已经过网络节点数量。•MaximumLength：INT报文•CurrentLength：INT报文采集数据的当前长度，单位为字节。•Sender`sHandl•SequenceNumber：INT流中报文的序说明说明Device-ID(32bits)Template-ID(3bits)Congestion(5bits)EgressPortDropPktByteCntUpper(8bits)IP_TTL(8bits)Queue_Id(8bits)RxTimestampSecondsUpper(32bits)RxTimestampSeconds(16bits)RxTimestampNano-SecondsUpper(16bits)RxTimestampNano-SecondsUpper(16bits)TxTimestampNano-SecondsUpper(16bits)TxTimestampNano-SecondsUpper(16bits)EgressPortUtilization[%](16bits)IngressPort[module,port](16bits)EgressPort[module,port](16bits)EgressPortDropPktByteCnt(32bits)INT监测信息meta-data格式如图8所示，各字段含义如下：•RxTimestampSecondsUpper/RxTi•RxTimesta•TxTimestamp•IngressPort[mo•EgressPort[m•首节点•尾节点•首节点•尾节点INT在普通网络和EVPN/VXLAN网络TransitEgressIngressTransitEgressL2HDRL3HDRL4HDRINTHDRIngressCollectL2HDRL3HDRL4HDRINTHDRIngressCollectDataTransitCollectDataPayloadL2HDRL3HDRL4HDRINTHDRIngressCollectDataPayloadCollectorHostAHostBL2HDRL3HDRUDPHDRL2HDRL3HDRL4HDRINTHDRIngressCollectDataTransitCollectDataEgressCollectDataPayload原始报文INT报文VTEPIngressHostATransitVXLANTunnelVXLANTunnelL2HDRL3HDRUDPHDRINTHDRIngressCollectDataVXLANHDRPayloadVTEPEgressL2HDRL3HDRUDPL2HDRL3HDRUDPHDRINTHDRIngressCollectDataTransitCollectDataVXLANHDRPayloadCollectorHostBVXLANTunnelL2HDRL3HDRUDPHDRL2HDRL3HDRUDPHDRINTHDRIngressCollectDataTransitCollectDataEgressCollectDataVXLANHDRPayload原始报文INT报文•流量入接口ID•入接口时间戳•流量出接口ID报文从各个节点的流量出接口离开设备时的设备本地时间。•缓存信息在对实时性要求较高的网络中，需要能精准定位出哪台设备的哪个端口上转发报文最耗时。通过此计算出流量经过某台设备或多台设备时的传输时延，从•可通过ACL调整路径探测的报文范围。•可通过修改采样器，灵活调整采样精4.2TelemetryStre说明说明DstMIDTelemetryStreamheaderFlagsReservedTimeReceivertimestampRx_TxOriginIDReservedSequencenumberVersionDstMIDTelemetryStreamheaderFlagsReservedTimeReceivertimestampRx_TxOriginIDReservedSequencenumberVersionEthernetheaderIPheaderUDPheaderSrcMIDUsermetadataOriginalmirroredframe...FCSTimeReservedOriginIDTransmittertimestampRx_TxTimeReservedOriginIDFCSFCS从PTP模块获取的时间，包含16bits秒位和32b81VersionTelemetryStream版本，88889），•Dest_sample（1bit固定为0•Flex_sample（•Mcast_sample（1bit是否为组播报文采样•Discarded（1bit采样报文送往本地CPU处理•Dest_port_encoding（3bits74.3TelemetryStre(2)设备在入接口通过ACL筛选原始报文，对命中规则的报文，按设定的采样率抽取部分报文进ServerADeviceADeviceBDeviceCServerBCollectorCollectorL2HeaderL3HeaderUDPHeaderTelemetryStreamHeaderOriginalDataRxTimestamp TxTimestamp•流量经过指定设备的传输时延=该设备的出接口时间戳–该设备的入接口时间戳•流量经过多台设备的传输时延=出接口所在设监测设备，使用户可以利用数据监测设备分析这些报文（称为镜像报文以进行网络监控和故障IPv4headerGREheaderforERSPANencapsulationERSPANTypeIIheader0001000000000VerVerCoSIPv4headerGREheaderforERSPANencapsulationERSPANTypeIIheader0001000000000VerVerCoSTSessionIDReservedIndexOriginalmirroredframe...IPv4headerProtocoltype(0x88BE)SequencenumberVLANCRCVer：ERSPAN封装的版本，ERSPANtypeII取值为1。VLAN：镜像报文的原始VLAN。CoS：镜像报文的原始CoS（Class的网络监控场景（比如网络管理、入侵检测、性能和延迟分析等这些场景中需要知道原始镜像ERSPANv3将镜像报文封装为协议号为0x22EB的GRE报文，如图14所示。IPv4headerGREheaderforERSPANencapsulationVer0001000000000CoSBSOTSessionIDVerDGHWIDPIPv4headerGREheaderforERSPANencapsulationVer0001000000000CoSBSOTSessionIDVerDGHWIDPOERSPANTypeIIIheaderPlatformSpecificSubHeaderPlatfIDPlatformSpecificInfoPlatformSpecificInfoTimestampIPv4headerProtocoltype(0x22EB)SequencenumberVLANSGTOriginalmirroredframe...CRCVLAN：镜像报文的原始VLAN。CoS：镜像报文的原始CoS（ClassPlatformSpecificSubHeader：平台特定子头部，具体格式如图15所示。-SwitchID：标识镜像报文的来源设备。-PortID/Index：标识源设备上的目的端口。0x5SwitchIDPortID/IndexTimestamp•数据监测设备：接收镜像报文、对镜像报文进行分析处理的设备。•在源设备上：•在目的设备上：Tunnel方式三层远程端口镜像报文的转发过程如图16所示。目的设备源设备Tunnel接口Tunnel接口目的设备源设备IPnetworkGREtunnelIPnetworkPortBPortAPortBPortAPortBHost原始报文源端口镜像报文普通端口数据监测设备目的端口配置封装参数方式三层远程端口镜像仅需在源设备上置单播路由协议，并确保设备之间的三层网络在源设备上先创建一个本地镜像组，然后为该镜像组配如图17所示，配置封装参数方式三层远程端口镜像(4)监测设备对报文进行解封装，并分析镜像NetworkNetwork源设备IPnetwork源设备IPnetwork数据监测设备源端口目的端口原始报文镜像报文源端口目的端口Host流镜像通过QoS实现，设备先通过流分类匹配待镜像像至指定目的地。该方式可以灵活配置报文的匹配条•Loopback方式•配置封装参数方式•监控组方式(1)在源设备上配置QoS策略并将策略下发到源接口上，流分类匹配指定NetworkTunnel接口来自HostB的镜像报文TunnelTunnel接口GREtunnel源设备目的设备IPnetwork源设备目的设备PortPortBPortB流镜像到接口（指定loopback参数）监测设备来自HostA的报文来自HostB的报文HostAHostB在源设备上配置QoS策略，流分类匹配指定特征的报文，流行为•指定出接口方式：同时指定出接口和封装参数，设备给镜像报文加封装后从指定接口发出。采用这种方式时，可以通过路由协议的负载分担实(4)监测设备对报文进行解封装，并分析镜像通过本方式镜像到监测设备的报文为封装后的报文，因此监测设备必须支持解封NetworkNetwork来自HostB的镜像报文源设备IPnetwork监测设备流镜像到接口来自HostA的报文来自HostB的报文HostAHostB如图20所示，监控组方式流镜像到三层远程设备的实现方式为：(1)在源设备上配置监控组，为监控组添加成员端口时配置封装参数。(2)在源设备上配置QoS策略，流分类匹配指定特征的报文，流行(5)监测设备对报文进行解封装，并分析镜像通过本方式镜像到监测设备的报文为封装后的报文，因此监测设备必须支持解封装。Network流镜像到监控组来自HostB的镜像报文目的设备源设备IPnetwork目的设备源设备监测设备监控组成员端口来自HostA的报文监测设备来自HostB的报文HostAHostB控制器分析器WANInternet控制器分析器WANInternetTCP控制报文ERSPAN镜像报文(6)分析器根据接收到的ERSP基于云平台的Telemetry是面向云化网络管理场景推出的无线网络监控解决方案，适用于行数据的自动化采集与上报，为大规模无线网络说明说明•无线接入点（AP负责承担终端接入管理、实时射频状态采集以及原始运行