CN114802248B 基于深度强化学习的自动驾驶车辆换道决策系统及方法 （中汽院智能网联科技有限公司）

司基于深度强化学习的自动驾驶车辆换道决一种基于深度强化学习的自动驾驶车辆换道决2所述数据采集模块，用于采集目标车辆的数据信息，以及采集目标所述数据分析模块，用于对第一数据集合进行分析处理，并得到自所述换道策略模块，用于根据得到的换道场景和换道数据生成所述对第一数据集合进行分析处理为，利用预设的分析算法对有限的所述预设的分析算法为Actor-Critic算法；所述深度强化学collision为仿真环境对于车辆发生碰撞的2.根据权利要求1所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在3.根据权利要求1所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在4.根据权利要求1所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在35.根据权利要求1所述的基于深度强化学习的自动驾驶车辆换道决策系统，其特征在步骤S2，利用Actor-Critic算法对采集到的collision为仿真环境对于车辆发生碰撞的步骤S3，利用基于规则的轨迹规划算法计算得到步骤S4，根据换道策略得到基于规则的换道轨迹执highway_env和基于动力学的仿真软件CarSim对本模型的输7.根据权利要求6所述的基于深度强化学习的自动驾驶车辆换道决策方法，其特征在4阶段主流的基于规则算法都面临着数据量不足导致模型无法完全应对自动驾驶车辆在换建立带有3个隐含层的决策神经网络，并利用换道安全奖励函数对所述决策神经网络进行和周边环境车辆的相对位置信息与跟驰或换道动作对应的奖励函数，建立深度Q学习的加5驾驶技术的换道策略进行更全面准确的测试，指导自动驾驶车辆快速安全地完成车道变min为车辆训练过程中采用的最小速度，vmax为车辆训练过程中采用的最大速度，a为对于换道过程中速度奖励值，b是对车辆发生碰撞的碰撞惩罚值，collision为仿真环境对于车辆发生6其中θi为规划步长起点的tt+1[0030]步骤S4，利用自动驾驶仿真环境highway_env和基于动力学的仿真软件CarSim对7[0034]图1为本发明基于深度强化学习的自动驾驶车辆换道决策系统实施例一的系统示[0035]图2为本发明基于深度强化学习的自动驾驶车辆换道决策系统实施例一的LSTM神[0036]图3为本发明基于深度强化学习的自动驾驶车辆换道决策系统实施例一的LSTM神[0037]图4为本发明基于深度强化学习的自动驾驶车辆换道决策方法实施例一的流程示[0038]图5为本发明基于深度强化学习的自动驾驶车辆换道决策方法实施例一的收益变8rt+1[0052]表示从状态st出发，执行动作at后，智能体使用策略π与交互得到的期望累积奖J(θ)的梯度可得：9遗忘门的偏置项。[0072]然后再经过一个sigmoid函数层，即输入门会决定哪些值需要被更新，然后[0076]然后再更新上一时刻细胞状态，首先从细胞状态移除掉我们在忘记门决定的信it]+bi)+st-1ft-1[0090]如附图4所示，本发明还提供了一种应用于上述系统中的基于深度强化学习的自环境highway_env和基于动力学的仿真软件CarSim对本模型的输出结果[0101]第一步，利用数据采集模块2采集目标车辆的数据信息和目标车辆附近的干扰车第一换道策略发送至处理器模块1，处理器模块1的数据存储单元5接收并存储第一换道策[0104]第四步，对换道轨迹执行模型进行训练和尝试，最后利用自动驾驶仿真环境highway_env和基于动力学的仿真软件CarSim对本模型的输出结果进行验证，利用自动驾阶段主流的基于规则算法都面临着数据量不足导致模型无法完全应对自动驾驶车辆在换扰车辆的运行数据来进行统计分析处理，利用Actor-Critic算法对第一数据集合进行处并对换道模型利用深度强化学习方法来进行训练和尝试，最后利用自动驾驶仿真环境highway_env和基于动力学的仿真软件CarSim对本模型的输出结果进行验证，整个验证过[0110]第四步，对换道轨迹执行模型进行训练和尝试，最后利用自动驾驶仿真环境highway_env和基于动力学的仿真软件CarSim对本模型的输出结果进行验证，利用自动驾[0111]提供显示换道轨迹和换道数据的功能，从而使自动驾驶第一换道策略发送至处理器模块1，处理器模块1的数据存储单元5接收并存储第一换道策[0116]考虑到自动驾驶车辆周边道路环境的无规则变化以及周边车辆的紧急刹车或者[0117]以上所述的仅是本发明的实施例，方案中公知的具体技术方案和/或特性等常识发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内