CN118722789B 一种基于合作竞争博弈的列车运行实时调整方法 （北京交通大学）

一种基于合作竞争博弈的列车运行实时调本发明涉及一种基于合作竞争博弈的列车建立训练目标网络过程中的即时奖励函数和延点站时基于竞争博弈策略和列车自身的延误时基于合作博弈策略和所有列车总的延误时间获2S10、获取指定线路的线路静态数据和与指定线路关联的所有列车初始时刻的动态数所述即时奖励函数是在各列车未到达终点站时基于竞争博弈策略和列车自身的延误所述延时奖励函数是各列车到达终点站后基于合作博弈策略和所有列车总的延误时在损失函数和奖励函数满足收敛条件时，获得训练后的策3d.,2a,+G、(1.9)i,n相邻列车i'在车站n的到达和出发的最小时l.(1.13)action*t,i表示列车i的纳什均衡策略，action*t,_i表示除列车i之4假设actiont_1,i＝0并且满足出发条件，则当随机数rand＞ò时根据策略网络Q(St,i,表示强化学习环境中帮助策略网络更新设置的目标网络，目标初始时刻的动态数据包括：列车初始时刻运行位置为始获取单元，用于获取指定线路的线路静态数据和与指定线路关联的所所述即时奖励函数是在各列车未到达终点站时基于竞争博弈策略和列车自身的延误所述延时奖励函数是各列车到达终点站后基于合作博弈策略和所有列车总的延误时策略网络训练单元，用于所有列车未到达终点站时，基于列车5在损失函数和奖励函数满足收敛条件时，获得训练后的策)O(ai6i,n相邻列车i'在车站n的到达和出发的最小时l(1.13)action*t,i表示列车i的纳什均衡策略，action*t,_i表示除列车i之假设actiont_1,i＝0并且满足出发条件，则当随机数rand＞ò时根据策略网络Q(St,i,7表表示强化学习环境中帮助策略网络更新设置的目标网络，目标程序，所述处理器执行所述计算机程序以实现如权利要求1_2任一所述的基于合作竞争博8[0009]第一方面，本发明实施例提供一种基于合作竞争博弈的[0010]S10、获取指定线路的线路静态数据和与指定线路关联的所有列车初始时刻的动9[0012]所述即时奖励函数是在各列车未到达终点站时基于竞争博弈策略和列车自身的[0013]所述延时奖励函数是各列车到达终点站后基于合作博弈策略和所有列车总的延mes,.(1.1)d,2a,,+7(1.9)车i和相邻列车i'在车站n的到达和出发的最小时间间隔，da_hn表示同一车站n的列车i和sl.(1.13)间t时列车i在始发站nt,i＝0设置为出发时间d.减去计划出发时间dr;ai,n、u,分别表[0048]可选地，所述第一条件为：Rt,i(action*t,i,action*t,_i)≥Rt,i(actiont,i,[0054]假设actiont-1,i＝0并且满足出发条件，则当随机数rand＞ò时根据策略网络Q(St,i,actiont,i,θ)选择动作act[0063]表示强化学习环境中帮助策略网络更新设置的目标网络，[0064]第二方面，本发明实施例还提供一种基于合作竞争博弈的列车运行实时调整装建立训练策略网络过程中的即时奖励函数和[0067]所述即时奖励函数是在各列车未到达终点站时基于竞争博弈策略和列车自身的[0068]所述延时奖励函数是各列车到达终点站后基于合作博弈策略和所有列车总的延[0077]将学习到的列车运行图调整策略即列车在车站的到发顺序的非线性关系保存到[0078]图1为本发明实施例提供的基于合作竞争博弈的列车速度曲线优化与运行图调整[0085]图8为本发明实施例提供的一种基于合作竞争博弈的列车运行实时调整方法的流[0092]S10、获取指定线路的线路静态数据和与指定线路关联的所有列车初始时刻的动[0094]列车运行动态数据包括初始时刻的列车运行动态数据和其他时刻与强化学习环[0097]所述即时奖励函数是在各列车未到达终点站时基于竞争博弈策略和列车自身的[0098]所述延时奖励函数是各列车到达终点站后基于合作博弈策略和所有列车总的延2,...,t1}，t0和t1分别表示运行图调整时间区间的起始时间和最终时间，当前时间t∈[0109]步骤1：获取指定线路的线路静态数据和指定线路关联的所有列车初始时刻的动[0114]所述即时奖励函数是在各列车未到达终点站时基于竞争博弈策略和列车自身的[0115]所述延时奖励函数是各列车到达终点站后基于合作博弈策略和列车总的延误时[0122]③相邻列车间隔限制：a_hn和d_hn分别为列车i和相邻列车i'SH_dis_end,(1.11)1.9)；满足列车间发车间隔约束(公式1.4)；满足列车之间的出发‑到达间隔约束(公式[0139]步骤2_2：设置各智能体状态(即列车状态)为当前列车在当前时刻在前方车站的[0140]列车状态设置为当前列车i[0148]列车未到达终点站时使用竞争博弈策略，以各列车i自身的延误时间设置即时奖时列车i在始发站nt,i＝0设置为出发时间dm,减去计划出发时间dr;在中间车站nt,i=1,...,N_1设置为出发延误时间(出发时间dm,减去计划出发时间)加上到达延误时间[0163]假设actiont_1,i＝0并且满足出发条件，则当随机数rand＞ò时根据策略网络Q(St,i,actiont,i,θ)选择动作act[0167]动作actiont,i选择完后，列车i采取选择好的动作actiont,i，会获得奖励函数[0170]每个回合的奖励函数取所有与环境交互得到的奖励函数RT,i的平均值；而[0175]将学习到的列车运行图调整策略即列车在车站的到发顺序的非线性关系保存到建立训练策略网络过程中的即时奖励函数和[0182]所述即时奖励函数是在各列车未到达终点站时基于竞争博弈策略和列车自身的[0183]所述延时奖励函数是各列车到达终点站后基于合作博弈策略和所有列车总的延上述术语的示意性表述