CN119396146A 基于深度强化学习的无人船动态路径规划方法及系统 （北京星网船电科技有限公司）

基于深度强化学习的无人船动态路径规划本发明提供基于深度强化学习的无人船动态路径规划方法及系统，涉及路径规划技术领位置以及海洋环境信息输入至预先构建的深度使用状态值函数评估无人船在各个状态下采取2基于所述深度强化学习模型，使用状态值函数评估无人船在基于预设的路径优化算法，通过考虑无人船的动力学约束以及海洋环境的动态变化，将无人船的初始位置和海洋环境信息编码为状态向量，作为深度强化学习模型的输先经验回放缓冲区根据样本的时序差分误差从所述优先经验回放缓冲区中采样一批转移样本，计算每个转移样本的时序差分误基于所述加权均方误差损失函数，使用随机梯度下降算法更新在3.根据权利要求2所述的方法，其特征在将无人船的当前位置坐标、航向角以及局部感知范围内的海洋环境3使用dueling深度Q网络评估无人船在不同状态下采取不同动作的长期回报，所述所述状态值函数表示无人船在当前状态下的期望累积奖励，所述优势函在训练过程中，无人船通过与环境的交互，利用时序差分学习算法更在决策时刻，无人船根据当前状态，使用训练好的dueling将通过深度强化学习得到的无人船局部路径规划结果作为路径构建无人船在海洋环境中的时变人工势场，所述时变人工势场由目标点的引力势场、障碍物的斥力势场以及考虑无人船速度损失在引力势场和斥力势场的势场函数中分别引入时变引力系数变引力系数和所述时变斥力系数根据海流速度的大建立无人船在时变人工势场中的运动方程，以所述局部路径规划结将动态全局路径输出给无人船的运动控制模块，用于指导无人船的att4repattrepvelatt(x,t)表示在t时刻无人船当前位置x对应的引力势场函rep8.基于深度强化学习的无人船动态路径规划系统，用于实现前述权利要求1_7中任一第二单元，用于基于所述深度强化学习模型，使用状态值第三单元，用于基于预设的路径优化算法，通过考虑无其中，所述处理器被配置为调用所述存储器存储的指令，以执行5程序指令被处理器执行时实现权利要求1至7中任意6化学习模型中，所述深度强化学习模型通过对无人船动态路径规划样本数据的学习训练，7述优先经验回放缓冲区根据样本的时序差分误差确[0018]基于所述加权均方误差损失函数，使用随机梯度下降算8[0038]将通过深度强化学习得到的无人船局部路径规划结果作所述局部路径规划结果由无人船的当前位置和目标述时变引力系数和所述时变斥力系数根据海流速度的大小9rep[0072]图1为本发明实施例基于深度强化学习的无人船动态路径规划方法的流程示意[0073]图2为本发明实施例基于深度强化学习的无人船动态路径规划系统的结构示意[0076]图1为本发明实施例基于深度强化学习的无人船动态路径规划方法的流程示意化学习模型中，所述深度强化学习模型通过对无人船动态路径规划样本数据的学习训练，述优先经验回放缓冲区根据样本的时序差分误差确[0085]基于所述加权均方误差损失函数，使用随机梯度下降算__[0106]传统的DQN算法使用均匀采样的方式从经验回放缓冲区中抽取转移样本，这种方式忽略了不同样本对于学习的重要性差异。优先经验回放(PrioritizedExperience[0111]S102.基于所述深度强化学习模型，使[0122]本申请使用duelingDQN算法来评估无人船在不同状态下采取不同动作的长期回[0125]DuelingDQN使用两个独立的神经网络来分别估计状态值函数V(s)和优势函数A[0130]通过连续的决策过程，无人船可以得到一条从当前位置到目标位置的局部路[0131]在测试阶段，为了提高决策的鲁棒性，可以使用集成学习的思想，训练多个[0132]总之，基于状态值函数的duelingDQN算法为无人船的局部路径规划提供了一种[0133]S103.基于预设的路径优化算法[0136]将通过深度强化学习得到的无人船局部路径规划结果作所述局部路径规划结果由无人船的当前位置和目标述时变引力系数和所述时变斥力系数根据海流速度的大小[0141]示例性地，由duelingDQN算法得到的无人船局部路径规划结果虽然能够实时地rep[0159]在每个决策时刻，从duelingDQN算法得到的局部路径规划结果中取出前N个航(x,t)，直到收敛或达到最大迭代次数。优化后的轨迹作为无人船当前时刻的动态全局路[0161]总之，本申请提出了一种基