CN114418213B 一种基于深度强化学习的城市电动车辆调度方法和系统 （中山大学）

一种基于深度强化学习的城市电动车辆调本发明公开了一种基于深度强化学习的城提出了一个可以捕捉和提取边信息的图神经网径问题，且提出了一个软约束+硬约束的两阶段得更好求解效果的前提下大幅度地缩减求解时2S2：使用编码器分别对所述有向完全图中的点S3：使用解码器进行解码，在每步解码中根据步骤isVVE3络的输出即为所有点信息和边信息经过编码器编码得到ttt)表示当前车辆状t及与结点i相邻点和边的隐向量计算出每一结可以被选择，反之则表示不能被选择，在软约束处理方法中，当遇到如下情况之一时有在硬约束处理方法中，当遇到如下情况之一时有maskf=0:45证集上表现最好的编码器和解码器用于求解带时间窗电动车6.一种基于深度强化学习的城市电动车辆调度系统，其特图建模模块，所述图建模模块将带时间窗电动车辆路径问题建模成一个有向完全图，编码模块，所述编码模块使用编码器分别对所述有解码模块，所述解码模块使用解码器进行解码，在每步解码中根据点和边的特征表示以及当前车辆状态信息和历史路径信息，以自回归的方式逐步构造路求解模块，所述求解模块将训练好的编码器和解码器用于6电动车辆路径问题的研究。带时间窗的电动车辆路径问题(ElectricVehicleRouting量的迭代搜索仍然会导致较大的计算量，且一旦问题发生变化便需要重新进行搜索求解，78[0023]S2.1：使用两个嵌入层分别将所述结点信息vi和边信息eij映射成高维的特征向[0035]其中MHA是多头注意力子层，FF是全连接子层，BN是批正则化子层表示拼接操经网络的输出即为所有点信息和边信息经过编码器编码得到的特9t[0048]当遇到如下情况之一时有mas在验证集上表现最好的编码器和解码器用于求解带时间[0085]参数更新模块，所述参数更新模块根据所述问题的解计算出总回报，使用REINFORCE算法对编码器和解码器的参[0088]1、本发明设计了求解非对称带时间窗电动车辆路径问题的深度强化学习优化算[0089]2、本发明设计的捕捉和提取边信息的图神经网络可以有效地解决非对称车辆路[0096]对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解[0099]本实施例提供一种基于深度强化学习的城市电动车辆调度方法，如图1至图2所器对点和边的特征向量表示以及车辆状态信息和历史路径信息进行序列解码得到结点序[0113]S2.1：使用两个嵌入层分别将所述结点信息vi和边信息eij映射成高维的特征向[0125]其中MHA是多头注意力子层，FF是全连接子层，BN是批正则化子层表示拼接操经网络的输出即为所有点信息和边信息经过编码器编码得t了软约束和硬约束两种约束处理方法，在软约束处理方法中，当遇到如下情况之一时有在验证集上表现最好的编码器和解码器用于求解带时间=5个充电站结点和C＝50个客户结点(S5-C50)、S＝10个充电站结点和C＝100个客户结点(S10-C100)。使用测试集对训练好的模型进行测试并记录实验结果，模型在测试时采用-54.2656.38-27.7949.870.822.170.530.78[0181]本实施例提供一种基于深度强化学习的城市电动车辆调度系统，如图3所示，包[0185]参数更新模块，所述参数更新模块根据所述问题的解计算出总回报，使用REINFORCE算法对