CN119011463B 一种基于链路状态感知增强的路径智能优 选方法及系统 （南京信息工程大学）

KR20230090200A,202一种基于链路状态感知增强的路径智能优本发明公开了一种基于链路状态感知增强络和GAT网络分别捕获由多个链路状态组成的网升网络服务性能以及适应动态拓扑结构变化方2步骤S1：采集目标网络的拓扑信息与端口状态信息所获得的网络状态组成网络状态序列输入智能体，智能体基于当前时刻的网络状态序列rtttt;;ay表示t时刻目标网络中节点i与节点j之间链路eij上的业务请求，m为节点总;全局网络的时延Df表达式如下：;;;3网络源—目的节点对间包含k条可行路径，构成可行路径集;2.根据权利要求1所述的一种基于链路状态感知增强的路径智能优选方法，其特征在;t;trr为ht-1的重置门权重矩阵；;-14;;;QK;;;空间特性提取模块基于GAT网络构建，GAT网络将自注意力机制模块的输出中的元素;其中，A={A}表示邻接矩阵，Aij表示图结构中节点i和节点j的连通性，a()是转换.；5;利用标准化后的注意力系数将节点i的邻域表示进行线性累加得到该节点的最终输出;;;;3.根据权利要求1所述的一种基于链路状态感知增强的路径智能优选方法，其特征在;t是在网络状态序列st下执行路径选择动作at的奖励，表示奖励折扣因子，V(s)和v(srx1)分别表示当前时刻网络状态序列st和下一时刻网络状态序列st+1的评估价值；;6与旧路径选择策略TO,u在网络状态序列st下采取路径选择动作at的概率的比值；采用梯度裁剪方法定义目标函数Leiv(0)如下式：;t表示在多个时间步长上评估括号内表达式的平均;和应用层三层结构，以实现如权利要求1_3任意一项所述的一种基于链路状态感知增强的所述的数据层包含目标网络的各类路由节点以及通信链路，通控制层通过南向接口向数据层周期性地发送预设请求指令，7[0004]随着深度强化学习技术的快速发展，基于深度强化学习（DeepReinforcement[0007]为实现以上功能，本发明设计一种基于链路状态感知增8rtttt9设计的方法及系统对于网络结构动态变化具有更强的[0020]图1是根据本发明实施例提供的一种基于链路状态感知增强的路径智能优选方法[0021]图2是根据本发明实施例提供的一种基于链路状态感知增强的路径智能优选方法[0023]图4是根据本发明实施例提供的一种基于链路状态感知增强的路径智能优选系统rtttt点总数；当节点i与节点j之间链路上有业务流通过时，将业务请求元素赋值为1，即,而没有业务流通过的链路以及非邻接节点构成的链路，将其元素赋值为全局网络源—目的节点对间包含k条可行路径，构成可行路径集p={p,p2,ps,…,pr}，ie[1,Isl],je[1,ldll，wij表示源节点i与目的节点j之间选择路径p的路径权值，且;为不同的网络性能指标定义重要程度；为避免网络性能指标差异对算法收敛性能产生影估价值；和前一时刻的隐藏状态ht-1为输入，通过sigmoid函数计算得出一个[0,1]之间的值来决定[0064]z；[0066]重置门与更新门的功能类似，以当前时刻的网络状态xt和前一时刻的隐藏状态ht-1具体如下式：[0072]当前时刻的隐藏状态ht的输出公式如下所示，通过当前时刻的[0073]hr=zohr-1+(1-z)ohr；[0076]式中，HR表示GRU网络的输出，hf表示GRU网络中第i个单元的隐藏层输出，[0079]K=WP-HR；[0080]V=W,HR；注意力机制模块的输出HR'如下式：模块的输出HR'中的特征向量；[0095]利用标准化后的注意力系数将节点i的邻域表示进行线性累加得到该节点的最终Isl×ldl为输出层神经元数量。[0107]对路径选择策略的更新阶段使用优势函数来衡量每个路径选择动作的好坏程[0109]其中，rt是在网络状态序列st下执行路径选择动作at的奖励，表示奖励折扣因子，V(s)和v(srx1)分别表示当前时刻网络状态序列st和下一时刻网络状态序列st+1的评[0112]其中，or,(0)表示当前路径选择策略πθ在网络状态序列st下采取路径选择动作at的概率与旧路径选择策略TO,u在网络状态序列st下采取路径选择动作at的概率的比值；示的梯度裁剪方法定义目标函数Leiv(0[0133]图6(a)_图6(c)是不同流量强度下五种算法的平均网络吞吐量、平均端到端时延[0134]图7(a)_图7(f)是不同拓扑结构下五种算法的平均网络吞吐量、平均端到端时延和平均丢包率对比图。图7(a)和图7(b)展示了各算法在链路损毁情况下流量强度分别为和4.39%。图7(c)和图7(d)展示了各算法在链路损毁情况下流量强度分别为50kbps和下，相较于其他四种路由算法，DRL_SGA算法的平均端到端时延分别降低了至少24.25%、量下，相较于其他四种路由算法，DRL_SGA算法的平均丢包率分别降低了至少35.19%、