基于软件定义工业网络的多路径传输机制设计与实现

导读：软件定义工业网络架构及其关键技术，正在推动工业网络系统进一步向着扁平化、全互联的方向发展。本文基于软件定义工业网络体系架构，借助其统一管控、灵活转发的优势，通过在转发平面和控制平面新功能设计，实现了采用多个路径传输同一业务数据的方法。该方法可以有效提高网络的可靠性，并且降低传输时延和时延抖动。1引言

软件定义网络（SDN）技术是一种架构，与传统网络架构相比，它将控制平面分离出来，降低传输网络的复杂性，并在控制平面根据具体的应用场景，计算生成实时的网络转发策略，实现动态的、可编程式的网络配置，进而提高网络可扩展性和管控粒度。SDN的这一特性，使其可以在工业场景中进一步深化传统办公网（IT网络）和工业网络（OT网络）的融合，即软件定义工业网络（SDIN）。SDIN可以在控制平面区分办公业务、工业采集/控制业务、生产管理业务等，并对不同业务采用与之相适应的转发调度策略，从而实现多业务的共网传输，实现工业应用场景下的网络扁平化与设备的全互联。在工业控制系统中，可靠性和时延是考量网络系统的重要指标。融合网络中多种业务共网传输以及工业环境的干扰是网络时延和可靠性的重要影响因素。特别是在无线链路中，带宽相对较低和电磁干扰对数据的时延和可靠性影响更为突出。针对上述问题，本文以SDIN为基础，设计并实现了一种多路径传输机制，以提高网络的可靠性，并降低时延和时延抖动。2工业融合网络的业务

工业融合网络的主要业务可以分为IT类业务和OT类业务。其中IT类业务可以认为是工厂内的传统互联网业务，该类型业务往往没有任何响应时间要求，即使有，通常也在几十毫秒或更确切地说是几秒的范围内[1]。同时，由于对时延要求较低，可以借助传输层、应用层等多方面的重传机制实现业务最终的可靠传输，对网络可靠性要求较低。OT业务主要面向工业控制、采集等工业自动化网络应用业务，通常分为三类，文献[2]中针对三个分类列举了典型的工业协议和实现方式。在这里要说明，类型A（同步实时）对实时性要求非常高，通常需要专用芯片实现，不在本文的讨论范围内。OT业务的工业以太网协议往往是应用层和网络层相结合的协议体系，因此可以交互数据类型进行进一步区分：首先，工业以太网一般具有设备发现功能，因此会有设备发现的数据包，通常是广播或者组播数据；其次，工业以太网协议需要完成设备组态，因此有组态协商数据，通常封装在TCP/IP协议上；再次，工业以太网需要交互报警信息，因此有报警数据；最后，工业以太网要完成数据采集、控制的核心功能，需要有采集、控制数据的交互。通常所说工业网络对实时性、可靠性要求较高，指的即是后两种，特别是第三种用途工业以太网数据，前两种用途的数据对实时性、可靠性要求相对较低。文献[3]中用浙大中控的WebFieldJX300XP工业控制系统代表工控网络，将其与校园网代表的传统IT网络进行了详细对比。对比两类业务：数据量上OT业务数据量明显小于IT业务；时间分布上，OT业务的时间分布更加规律，具有一定的周期性；数据包长度上，OT业务数据包分布简单，长度多几个固定值。这些特征可以一定程度上代表PROFINET、EtherCAT等工业以太网协议的数据特征。3多路径传输的主要网络指标分析

为了增强OT业务传输的可靠性，本文设计了一种多路径传输方案。采用冗余路径发送多个数据包的副本，避免单条链路上的数据重传和链路不稳定等因素对时延的影响，进而降低时延并减小时延抖动。3.1可靠性分析采用多路径冗余传输主要用于改善网络数据传输的可靠性，本文主要考虑基础链路故障对网络可靠性的影响，将网络单一链路e失效概率记为P(e)，则对于路径r，失效概率如式（1）所示：将s记作某两个网络节点之间独立传输数据包不同副本的路径的集合，则在两个节点之间数据包失效的概率可以写作简单的乘积关系，如式（2）所示：因此，多路径传输对可靠性的提升如式（3）所示：其中，t0表示原始路径。以最简单的两条路径为例，如果两节点间两条独立路径失效概率分别为P(r1)和P(r2)，则采用两条路径冗余传输失效概率如式（4）所示：工业网络中链路的可靠性较高，常规负载下可靠性在99.999%以上。因此对于一个10跳级联的路径，其可靠性也在99.99%以上，可以满足大多数工业业务的需求。当网络中有某条链路干扰加大或者有无线链路的情况下，其可靠性便难以保证。因此，本文所研究的多路径传输主要针对无线链路或者受干扰较大的有线链路。3.2时延分析多路径传输对网络传输时延指标具有一定的改进作用，本文将网络设备的存储转发时延和链路时延作为一个整体，单一路径r的时延分布曲线如式（5）所示：其中，τ表示该链路的时延。该路径上单个数据包传输时延小于τ的概率如式（6）所示：将s记作某两个网络节点之间独立传输数据包不同副本的路径集合，由于采用冗余链路收发时，用最先到达的数据包副本的时间作为该数据包的到达时间。则数据包在两个网络节点间传输时延小于τ的概率如式（7）所示：两节点间冗余路径收发数据的时延分布曲线函数如式（8）所示：同样，以最简单的两条路径为例。如果两节点间两条独立路径时延分布曲线函数分别为D(r1,τ)和D(r2,τ)，则采用两条路径冗余传输时延分布曲线函数如式（9）所示：在实际工程应用中，时延分布曲线函数D(τ)的关系依然是复杂的，而其积分的表达式I(τ)的关系是显而易见的，如式（10）所示：如两条独立路径传输时延小于1ms的概率分别为0.7和0.8，冗余传输的时延小于1ms的概率0.94，即平均时延是降低的。两条路径虽然可以降低时延的平均值，但是改善无干扰、无拥塞且稳定的常规路径的存储转发时延并不是本文的目的，我们依然认为常规情况下单条路径的传输时延是满足工业系统需求的。本文所述的多路径传输的主要目标是提高可靠性，避免单条路径拥塞或者重传等情况导致的大时延。

4基于SDIN的多路径传输设计

文献中描述了典型的SDIN架构。在该架构下，由控制平面分析工业数据特征，并生成转发路径；转发平面根据控制平面的规则，识别冗余路径传输的数据包并转发。4.1以太网数据包改造为了实现多路径的传输，需要在不同路径上传输数据包的副本，并且在数据到达接收终端之前，由转发平面设备识别同一数据包的不同副本，并将多余副本丢弃。因此需要对同一数据包的不同副本进行标记。为了适用于通用的网络，对数据包的改造基于高可靠性无缝冗余网络（HSR）协议，如图1所示。图1高可靠性无缝冗余网络（HSR）协议字段示意图在对数据包进行复制时，在数据包的源MAC地址后，添加HSR字段。其中，HSR_ET为以太网帧类型，两字节长度，为固定值0x892F；pathID表示路径ID，4比特长度，用于区分不同的路径；LSDUsize为负载长度，12字节长度；SeqNr为序号，16字节长度，同一数据包的不同副本序号字段相同，同一MAC地址的相邻数据包的序号依次加“1”。数据包的不同副本最终需要到达同一节点恢复为单一数据包，恢复时通过MAC地址和HSR字段区分收到的数据包是同一数据包的不同副本还是不同数据包。两个数据包路径ID不同，其他字段相同，则被认为同一数据包的不同副本；否则认为其是两个不同的数据包。4.2转发平面功能设计转发平面依托Linux系统和OpenvSwitch实现，多路径传输基于多个以太网接口。传统OpenvSwitch实现软件定义网络（SDN）的功能方式如图2所示。通过OVS命令建立OpenvSwitch桥接，并将多个网口添加到该桥接之下。控制器通过OpenFlow设置OpenvSwitch桥接的流表。OpenvSwitch根据流表完成多个网口之间的数据转发。图2传统OpenvSwitch实现SDN转发面功能示意图为了复制生成多个数据包副本并通过不同网络接口转发，以及过滤多个数据包副本保留一个数据包副本转发，将传统的OpenvSwitch改造，添加虚拟网络层以及接口适配层，如图3所示。图3改进的OpenvSwitch功能示意图虚拟接口层即建立虚拟网络接口：针对每一个物理网口建立一个常规接口，添加到OpenvSwitch桥接中；建立一个冗余接口，添加到OpenvSwitch桥接中。上述建立的常规接口和冗余接口全部为系统的虚拟网络接口。转发时，转发路径如图3中虚线所示：通过流表转发到冗余接口的数据包，将建立副本同时通过两个网口发出；通过流表转发到常规接口的数据包将由相应的网口发出。接口适配层主要调度物理网口和虚拟网口之间的数据包。在处理发送数据包时：如果是常规接口的数据包，直接发送至物理网口；如果是冗余接口的数据包，则按照本文4.1节的格式对数据包进行改造，并分别通过两个网口发送数据包副本。在处理接收数据包时：如果是常规的网络数据包，则发送至对应的常规网络接口；如果是改造后的数据包，则将数据包还原，并将收到的数据包第一个副本发送至冗余接口，第二个副本丢弃。上面描述了两条路径的转发面设计，多条路径传输的转发面设计原理相同。需要注意的是，转发平面对数据包的改造和还原必须成对实现，因此需要在控制平面将实现改造功能的节点与实现还原功能的节点配对。另外，对数据包的改造不能嵌套。4.3控制平面功能设计前一节详述了转发平面的设计，但是冗余发送节点改造后数据包必须由冗余接收节点将其还原。因此需要在控制平面将经过冗余发送节点改造后的数据包导向对应的冗余接收节点，传统网络是很难实现的。为了实现这一功能，需要完成以下几个步骤：首先，控制平面需要识别冗余接口。为此本文利用SDN使用简单服务发现协议（SSDP）进行链路发现的特点，设计了一种数据平面“自环结构”。如图3所示，在数据平面接口适配层，将“冗余接口”的SSDP数据直接发送给两个“常规接口”，这种“自环”可以反应到控制面上。控制面将这种自环作为“冗余接口”的标志。其次，控制平面需要生成多条路径，本文采用的是人为规划路径，路径自动生成的方法不在本文的讨论范畴。再次，控制平面需要判断多个路径上是否有配对的冗余接口，如图4所示，节点A表示发送端，节点B表示接收端。理想情况如图4（a）所示，表示节点A和节点B两个常规接口是一一对应的，其物理网口也是一一对应的；图4（b）所示的情况，发送端节点A的两个常规接口对应到接收端节点B的一个接口上，此时数据包冗余传输只能是单向的。反应到工业业务中表示只能通过冗余路径发送控制指令或者采集现场状态；图4（c）的情况，虽然有两条路径经过了两个具有冗余接口的设备，但是对应到了不具有冗余接口功能的物理接口上，此时是不满足多路径传输条件的。图4冗余接口配对示意图最后，针对图4中的（a）和（b）两种情况，控制平面生成流表时，将节点A的转发端口设置为“冗余接口”。控制平面除了要实现多路径冗余转发的收发节点配对之外，还要指定什么样的数据包采用多路径传输策略。一般可以通过协议类型、地址等进行区分，需要针对具体工业协议而定，这里也不再赘述。5实验结果与分析

为了测试本文方法的性能，搭建了实验环境，验证本文所述的方法对可靠性和时延的改善效果。实验拓扑如图5所示，采用了无线链路作为实验对象，以提高实验效果的展示度。两台PC通过以太网口与两个节点分别连接，节点A和B的“冗余接口”分别映射到自身的两个无线接口。节点A的无线接口1和节点B的无线接口1组成一个无线局域网，节点A的无线接口2和节点B的无线接口2组成一个无线局域网，两个无线局域网频率错开。图5测试环境5.1可靠性验证PC-A作为测试数据发送方，PC-B作为数据接收方，PC-A间隔约40ms向PC-B发送一个UDP数据包，UDP载荷长度200字节。在节点A和节点B之间，分别采用单一路径和双路径完成PC-A到PC-B的数据传输，测试时长约为2小时，取前180,000个发送数据，对比结果如表1所示。表1可靠性测试对比表通过对比实验发现，单一链路的数据丢包率在0.4%左右，而通过两条链路同时丢包率仅为0.00222%，与本文3.1节分析结果相近。两条链路数据传输可靠性已经超过了99.99%并接近99.999%。5.2时延验证为了观察单一链路和双链路数据传输的时延分布，在PC-A上采用ping命令获取双向时延，针对双向均为单链路和双向均为双链路的情况，记录10,000条ping命令时延结果，进行统计分析，对比结果如表2所示。表2时延测试对比表

单位：ms时延分布对比如图6所示。图6时延分布对比通过对比统计值，采用双链路收发的效果主要表现为：（1）降低了最大时延；（2）小幅地降低平均时延；（3）降低了时延标准差，即时延更加稳定。这也与3.2节分析的结果一致。观察时延分布图，可以看出单链路的时延主要分