CN117726040B 一种基于ddqn算法的配送车辆动态调度优化方法 （安徽农业大学）

US2020273346A1,2020一种基于DDQN算法的配送车辆动态调度优本发明公开了一种基于DDQN算法的配送车(Semi-MarkovDecisionProcess)框架进行建2S1、将生鲜配送中的动态车辆调度问题视为基于SM模拟器利用真实数据中的出发地、目的地位置和到达时间，并使用概NewOrderAgent和VehicleAgent两种不同的将所述经验元组输入执行梯度步骤，通过反向传播算法更新深度神执行动作a后智能体进入的新状态；r表示智能体在执行动作后从环境中获得的即时奖励；3Agent根据估计的Q值选择具有最大Q值的动作；NewOrderAgent将2.根据权利要求1所述的一种基于DDQN算法的配送车辆动态调度优化方法，其特征在使用一个基于纬度和经度的简单坐标系统来表示车辆和目的地=γ;Agent根据配送行程持续时间和车辆揽货时间获得奖励：普通奖励R由两部分组成：43.根据权利要求1所述的一种基于DDQN算法的配送车辆动态调度优化方法，其特征在4.根据权利要求3所述的一种基于DDQN算法的配送车辆动态调度优化方法，其特征在于，所述基本实体的类定义为Order类和Vehicle类：所述Order类表示客户发出的订单请5.根据权利要求3所述的一种基于DDQN算法的配送车辆动态调度优化方法，其特征在6.根据权利要求3所述的一种基于DDQN算法的配送车辆动态调度优化方法，其特征在7.根据权利要求5所述的一种基于DDQN算法的配送车辆动态调度优化方法，其特征在8.根据权利要求5所述的一种基于DDQN算法的配送车辆动态调度优化方法，其特征在5[0003]相关技术中，在研究生鲜配送车辆调度时，往往把把该类问题视为MDP(MarkovDecisionProcess)，假设分配发生在固定的时间间隔内；由于分配的时候要考虑所有可[0005]本发明的目的在于提出一种基于DDQN算法的生鲜配送动态车辆调度优化方法以[0009]S1、将生鲜配送中的动态车辆调度问题视为基于SMDP(Semi-MarkovDecision6调度分配。为了解决传统Q-learning训练中存在的高估偏差问题，采用了DoubleQ-[0017]SMDPs(Semi-MarkovD[0024]Agent根据配送行程持续时间和车辆揽货时间获得奖励。普通奖励R由两部分组时间出现，车辆在地点之间的移动需要不同的持续时间，车辆具有不同的可用性(包括容7[0028]优选的，所述Agent的类定义为VehicleAgent类和NewOrderAgent类。[0038]在训练过程的初始阶段，Agent了解环境中的行为后果后会随机做出动作并收集[0041]这些经验元组被输入执行梯度步骤，通过反向传播算法更新深度神经网络的参8个q函数使用另一个q函数的值更新下一个状态，以驱动Agent更准确地估计当前状态和动A为例：[0050]图1为本发明提出的一种基于DDQN算法的生鲜配送动态车辆调度优化方法的图谱[0053]参照附图1，一种基于DDQN算法的生鲜配送动态车辆调度优化方法，包括以下步9[0058]SMDPs(Semi-MarkovD[0065]Agent根据配送行程持续时间和车辆揽货时间获得奖励。普通奖励R由两部分组时间出现，车辆在地点之间的移动需要不同的持续时间，车辆具有不同的可用性(包括容[0082]在训练过程的初始阶段，Agent了解环境中的行为后果后会随机做出动作并收集[0085]这些经验元组被输入执行梯度步骤，通过反向传播算法