CN117218618B 基于强化学习驾驶世界模型的端到端自动驾驶方法及系统 （同济大学）

基于强化学习驾驶世界模型的端到端自动种基于强化学习驾驶世界模型的端到端自动驾车前视相机作为输入图像，基于生成式世界模并模拟线虫神经系统建立类脑神经网络结构来取代传统强化学习中的感知机网络或者卷积网2将所述二维特征投影至三维空间，得到三维特征，并预测每个三维特基于所述深度概率分布，采用加和池化的方式将所述三维特征映射至鸟瞰图空间中，所述后验特征通过包含历史时刻信息的隐藏特征、前一时刻的动作所述先验特征通过包含历史时刻信息的隐藏特征以及前一时刻的动作采利用当前时刻的环境动力学信息生成当前时刻的隐藏特征，作为下一时刻的隐藏特假设后验特征和先验特征均符合正态分布，所述后验特征和所述先表示隐藏特征；表示对k时刻的图像进行图像编码，得到图像特征的过程；表示所述后验特征的生成过程；p(zn)~N(u,(lw,ar-1),o,(hx,ar-1))表示所述先验特征的生成过程；表示前一时刻2.根据权利要求1所述的基于强化学习驾驶世界模型的端到端自动驾驶方法，其特征3其中，p(zn)~N(u,(lw,ar-1),o,(hx,ar-1))表示先验特征的生成过程；表示前3.根据权利要求1所述的基于强化学习驾驶世界模型的端到端自动驾驶方法，其特征在任意两个连续层之间，任意没有突触的目标神经元j插入7mso-t个突触，7mso-t满4.根据权利要求1所述的基于强化学习驾驶世界模型的端到端自动驾驶方法，其特征5.根据权利要求1所述的基于强化学习驾驶世界模型的端到端自动驾驶方法，其特征4采用引入熵正则化的强化学习算法，建立环境和强化学习智能体的略分别定义为Q0(sla)和(IS)；Q函数接收输入状态动作对(s,a)输出一个实数值作为值v；函数和策略分别通过如下损失函数进行优化求解：6.一种基于强化学习驾驶世界模型的端到端自动所述环境信息提取模块用于以汽车前视相机作为输入图所述输出模块用于将所述环境有效交通信息输入至所述类脑神经回路所述生成式世界模型包括相连接的感知模块和所述环境所述感知模块用于以单目相机图像为输入图像，对所述输入图像进行所述三维特征编码单元用于将所述二维特征投影至三维空间，得到三5所述后验特征通过包含历史时刻信息的隐藏特征、前一时刻的动作所述先验特征通过包含历史时刻信息的隐藏特征以及前一时刻的动作采利用当前时刻的环境动力学信息生成当前时刻的隐藏特征，作为下一时刻的隐藏特假设后验特征和先验特征均符合正态分布，所述后验特征和所述先表示隐藏特征；表示对k时刻的图像进行图像编码，得到图像特征的过程；表示所述后验特征的生成过程；p(zn)~N(u,(lw,ar-1),o,(hx,ar-1))表示所述先验特征的生成过程；表示前一时刻6[0004]本申请实施例提供一种基于强化学习驾驶世界模型的端到端自动驾驶方法及系7征采样生成；先验特征通过包含历史时刻信息的隐藏特征以及前一时刻的动作采样生成；ek-1θkk-1[0013]其中，p(an)~N(u,(hx,ar-1),o,(h,ar-1))表示先验特征的生成过程；ak-1表示8[0022]在一些示例性实施例中，生成式世界模型为经过强化学习训练后的驾驶世界模Q函数接收输入状态动作对(s，a)输出一个实[0029]本申请实施例提供一种基于强化学习驾驶世界模型的端到端自动驾驶方法及系9[0032]图1为本申请一实施例提供的基于强化学习驾驶世界模型的端到端自动驾驶方法[0033]图2为本申请一实施例提供的基于强化学习驾驶世界模型的端到端自动驾驶系统[0034]图3为本申请一实施例提供的基于强化学习驾驶世界模型的端到端自动驾驶方法[0040]参看图1，本申请实施例提供了一种基于强化学习驾驶世界模型的端到端自动驾[0053]参看图2，本申请实施例还提供一种基于强化学习驾驶世界模型的端到端自动驾[0054]在一些实施例中，生成式世界模型包括相连接的感知模块和ekek-1θkk-1[0061]由于在未来时刻k+T生成式世界模型无法获得图像输入，生成式世界模型通过预接使用隐藏特征hk+T和先验特征zk+T生成下一时刻的隐藏特[0064]其中，p(zn)~N(up(hx,ar-1),op(φQ函数接收输入状态动作对φ