2023数据中心网络流量分析技术

数据中心网络流量分析技术数据中心网络流量分析技术白皮书数据中心网络流量分析技术白皮书目录网络流分析求和场景 1流量路可视术 2镜技术 2探报文技术 3随检测术 5INT技术 6In-situOAM技术 9IFA12Inband-OAM技术 16丢包可技术 17染技术 17丢原因技术 18下一步作建议 19参考文献 20i数据中心网络流量分析技术白皮书（中文版）数据中心网络流量分析技术白皮书（中文版）PAGEPAGE10数据中心网络流量分析技术白皮书网络流量分析需求和场景现在业务难感知、问题难自证和故障难定位。和配置感知难度。精准度差，网络难以自证清白。发路径成为故障定位的前提条件。展示应用级别的网络质量,便于实现网络精细化管理和故障精准定位。逐流级别提升整网的运维能力具有重要意义。场景一：流量路径可视化流量路径可视化指的是业务报文转发路径可视化，在网络拓扑上描绘出业务中业务流量真实转发路径由业务流经过的每一个网络节点以及其出入端口信息组成，流量路径质量信息包含时延信息等。场景二：丢包情况可视化TCP的业务TCPHTTP1%HTTP10%流量路径可视技术Spine-LeafVxLAN网络内转发的逐跳设备及出/入物理端口。镜像技术ERSPANVLAN将复制的报文发送到远程数据监测设备，远程数据监测平台根据采集到的ERSPAN络监控。图1ERSPAN技术示意图以BM1访问BM2为例，整个过程如下：Leaf1BM1Spine1Leaf1BM1出的报文；Leaf2Spine1报文。IP报文在网络设备中进行三层转发时，IPTTLTCPTCPTCPTTLTCP发路径。ERSPAN技术适用于TCP、RDMA等会话可视化，当前未能覆盖数据中心所有业务报文通信场景。探测报文构造技术SDNSDN整合处理，绘制流量路径。图2通过探测报文构造技术绘制路径信息过程如下：SDNDSCPSDN控制器；SDNOpenFlowpacket-out发送给探测起始设备即首跳设备，探测报文携带特征值；首跳设备根据转发信息将探测报文转发给下一跳设备；DSCPOpenFlowpacket-in报文上SDNSDNOpenFlowpacketin算得到转发路径。探测报文构造技术能够显示源到目的的路径信息，成为SDN网络运维手段之一，但该技术绘制出的路径信息为探测报文路径，可能和真实信息存在偏差。随流检测技术随流检测技术是一种将流量信息直接封装在数据报文中实现以数据报文为粒度的流量可视技术。当前业界主流的随流检测技术包含INT、In-situOAM、IFAInband-OAM行分析和处理，实现流量路径可视。依据数据上送模式，分为护照模式（PP，Passport）和明信片模式（PC，Postcard）两种。明信片模式指业务路径上每个节点将采集的本地流量数据封装成独立报文关联一条流端到端的质量信息数据。表1INTIn-situOAMIFAInbandOAMMDMXXDIOAMDEX上报模式PPPCPCPPPCPP&PCPC报文修改（每节点/头节点）每节点头节点无修改每节点头节点均可头节点检测方式随路/复制检测随路/复制检测随路/复制检测随路检测丢包统计不支持不支持不支持支持路径可视支持支持支持支持测量信息较多较多较多少技术代表Intel、盛科等思科等博通等华为等INT技术INT技术是Intel为主导提出的一种新的遥测技术，通过在数据层面收集网络状态并上报来实现网络状态的监控。INT报文头插在4层报文头以下，具体的报文格式如下：图3INT报文头格式示意图表2INT报文头各字段及含义表属性比特数含义Ver4版本号D1置位后，尾节点（SinkNode)在提取MD信息后，丢弃该报文E1MaxHopCountexceeded，若节点由于剩余跳数为0，无法添加自己的元数据，则必须置位。源节点（SourceNode)sha应置0M1MTUexceededHopML5每跳MD的长度RemainingHopCount8允许将其元数据添加到包中的剩余跳数InstructionBitmapDomainSpecificID1616Metadata数据的具体内容INT域的唯一标识，如果域特定ID与此节点已知的任何域ID匹配，则需对域特定标志（DS标志）和域特定指令（DS指令）进行额外处理DSInstruction16由domainspecificID标识的INT域的指令位图。每个被设置的位都要求在插入校验和补码之前将域特定元数据附加到基线元数据INT-MX（eMbedinstructions）、INT-XD(eXportData)等。INT-MD技术INT-MD是经典的内嵌式带内遥测技术，采用护照模式上送。在该模式下，INT域中含有三类主要功能节点：INT源节点（INTSourceNode)、INT尾节点（INTSinkNode)INT（INTTransitSourceINTSink是遥测线路的起点和终点，起点负责指出需要收集信息的流量和收集的信INTTransitHop技术的所有设备。图4INT-MD示意图SourceINThdNTinstrutionNThadr（NTMtadtINTMetadata中，并随报文一起送到下一节点。INTTransit节点在原有的INTinstruction和Metadata后添加本节点Metadata信息，并送往下一节点。INTSinkINTMetadataMetadataINT报文上送数据检测平台。INT-MX技术INT-MX有三类主要功能节点：INT源节点（INTSourceNode)、INT尾节点（INTSinkNodNT（ITTnsitNodI-MD有一定差异，只在INTSource节点修改原始报文。图5INT-MX示意图SourceINTheader），INTinstructionMetadataINT报文直接上送数据监测平台。INTTransitINTinstructionMetadataINT报文上送数据监测平台。INTSinkINTinstructionMetadata，上送至数据INTheaderINTinstruction信息。INT-XD技术INT-XDINTSource节点、INTTransitINTSinkINT节点都具备同样MetadataINTINT报文做任何修改。图6INT-XD示意图INTINT特定路径上的某些数据包流量数据。In-situOAM技术In-situOAM(IOAM)是由以思科为主导的一种随路检测技术，和INT类似，IOAM同样借助于数据面业务进行网络状况的收集、携带、整理、上报，不使用单独的控制面。IOAMIPv4/IPv6IOAM报文格式如下：图7IOAM报文头格式示意图表3IOAM报文头各字段及含义表属性比特数含义Namespace-ID16默认为0；用于节点匹配判断NodeLen5必须设置，4字节倍数标识每节点数据长度Flags4Bit0的副本发送回源；Bit2置位表示是一个活动的OAM数置位表示每个支持IOAM的节点立即导出IOAM数据字段，不添加到数据包中RemainingLen7在节点数据列表被认为溢出之前，此字段以4字节的倍数指定用于记录节点数据的数据空间IOAM-Trace-Type24用于指定在此节点数据列表中使用的数据类型Reserved8预留字段IOAM（EncapsulatingNode)（DecapsulatingNode)IOAMIOAM-DEX模式。IOAMIOAM信息采用逐跳累加转发信息并以护照模式进行上报。IOAMIPOAM4情况下，对设备和网络带宽资源消耗大。图8标准IOAM示意图在报文转发过程中，Encapsulating节点给指定业务报文增加IOAMinstructionIOAMMetadata到下一节点。TransitMetadataMetadata节点。DecapsulatingMetadataMetadata信息封装成IOAM报文上送数据检测平台。IOAM-DEXIOAM-DEX采用非逐跳累加，以明信片模式上报。图9IOAM-DEX示意图在报文转发过程中，Encapsulating节点给指定报文添加IOAMinstruction，将本节点的Metadata封装成IOAM报文直接上送数据监测平台。TransitIOAMMetadataIOAM报文上送数据监测平台。Decapsulating节点根据IOAMinstruction生成本节点的Metadata，上送至数据检测平台，同时剥离掉IOAMinstruction信息。IOAMIOAMIPv4/IPv6optionoptionCPUCPU资源消耗较大。技术IFAIFAIFA送数据检测平台。IFALayer3Layer4IPIP头IFAIFANextHdrIFAHeader定义格式如下：图10IFA报文头格式示意图表4IFA报文头各字段及含义表属性比特数含义Ver4指定IFAGNS4全局命名空间，指定IFA区域范围IFAMetadata的命名空间NextHdrRMFTSITAC8311111IPHeader协议类型，从IP头复制保留位,传输时必须初始化为0，并且收到时被忽略Initiator节点负MF尾印。表示IFA区域需要对Metadata进行尾部操作带内。表示这是live流量环回。表示该IFA报文需要在Termination节点上发回给原IP地MaxLength8指定Metadata栈最大允许长度，为4个八位字节的倍数。由与最大长度，如果当前长度等于或超过最大长度，节点停止插与最大长度，如果当前长度等于或超过最大长度，节点停止插入MetadataIFAMetadata4如下：图11IFAMetadata头格式示意图表5IFAMetadata头各字段及含义表属性比特数含义RequestVector8可作为GNS的扩展ActionVector8定义对属性比特数含义RequestVector8可作为GNS的扩展ActionVector8定义对输时必须初始化为0，并且收到时被忽略HopLimit8指定IFA域中最大跳数。该值由Initiator节点负责初始前节点不再插入Metadata；0xFF表示可忽略HopLimit检测CurrentLength8指定当前Metadata长度图12IFA尾节点上报示意图IFA（IFAheader）IFA（Metadata）同样会流经相同的转发路径。IFAMetadata。IFAIFA复制的数据报文直接上送或截取元数据信息上送数据检测平台。IFA技术依赖于芯片处理能力，可通过策略配置实现流量自定义和按需部署，具备一定灵活性。作为数据中心交换机的主流芯片，博通芯片新系列天然支持IFA技术，为数据中心流量可视化提供基础设施的支持。到丢包统计。Inband-OAM技术Inband-OAM头解封装。IPV6IPv6头的“选项数据”字段中，具体封装格式如下：图13基于IPv6IOAM表6基于IPv6属性比特数含义Optiontype8option类型标识OptDataLen8option数据长度（字节数）FlowMonID20业务流标识，设备内唯一LFlag1业务流标识，设备内唯一，丢包测量染色标识DFlag1时延测量染色标识，置1时，要求向分析器上报时间戳信息HTI8标识扩展头的类型。取值如下：0：保留；1-15：私有扩展；16-255：标准扩展。本规范定义的扩展类型取值为16NodeMonIDFFlagPTExtFMType2013216设备节点标识，检测系统内唯一1011:60s；100:300s；其他：预留11：预留扩展流检测类型标识，通过bitmap标识，取值定义暂时预留Inband-OAM域含有三类主要功能节点：封装节点，转发节点，解封装节点。IPID（FlowID），对特数据中心网络流量分析技术白皮书（中文版）数据中心网络流量分析技术白皮书（中文版）PAGEPAGE17定报文进行染色。Flow据检测平台。Flow数据检测平台，同时删除封装头信息，恢复原始报文。Inband-OAM精准且只产生少量的测量数据。丢包可视技术（多个周期内技术为染色技术，丢包原因分析主要借助于芯片的能力实现。染色技术图14记字段交替染色，同时统计本周期发送的染色报文数，并上报给管控系统。1~2和接收端之间的时间偏差，同时保证乱序报文可被正确统计。IngressEgress周期的统计信息进行比较，计算每条流在节点内的丢包情况。EgressIngress流表基线比较，计算每条流在设备间的丢包情况。i务流的丢包数和丢包比例。丢包原因分析技术术主要依赖于芯片能力。目前丢包原因分析能够实现丢弃报文的特征分析和丢弃原因分析。丢弃报文数据中心网络流量分析技术白皮书（中文版）数据中心网络流量分析技术白皮书（中文版）PAGEPAGE19MACMACVLANIP地址、IP地址、源端口号、目的端口号、原始报文头、丢弃报文的源端口名称、IPv4IP未命IPVLANIPv4CPU网络情况、快速定位。CPUCPUCPUPHYMAC生的丢包等，还需借助其他工具和手段进行。下一步工作建议封闭性特点，无法互操作，需进一步提升标准化水平和开放性。智慧化水平。参考文献IETFRFC8321Alternate-MarkingMethodforPassiveandHybridPerformanceMonitoring.IETFdraft-kumar-ippm-ifa-02带内随流分析技(inbandFlowAnalyzer).ICTExpressIn-bandNetworkTelemetry(INT)DataplaneSpecification带内网络遥测(INT)数据平面规范.IET