CN112801273B 一种基于变分自编码器和强化学习的自动驾驶控制器及训练方法 （江苏大学）

MotionPlanningFrameworkforAutono.2020,1-9.一种基于变分自编码器和强化学习的自动本发明公开了一种基于变分自编码器和强2所述编码器包括卷积模块和循环神经网络模块，卷积模块处理第m时刻的前视摄像头输入层将3个256*256*3的矩阵合并为256*256*9的矩阵；卷积层Conv1由(3*3*9)*32，输出为8*8*128的特征；全连接层FC的尺寸为(8*8*128)*512，其输入是卷积层Conv3的输所述的循环神经网络模块为LSTM长短时记忆网络，输入是带有四个时刻所述的潜在变量zt由循环神经网络模块通过全连接层FC_μ和全连接层FC_σ进一步提取2.根据权利要求1所述的一种基于变分自编码器和强化学习的自动驾驶控制器，其特t包括方向盘转角和刹车油门开度。3.一种如权利要求1所述的基于变分自编码器和强化学习的自动驾驶控制器的自动驾3S3利用S2处理过的数据集去预训练变分自编码器(S5在训练强化学习网络(RL_net)的过程中不断采集数据去扩充训练变分自编码器的4.根据权利要求3所述的一种基于变分自编码器和强化学习的自动驾驶控制器的自动S3.1将当前时刻传感器获取k张RGB图4算法模型控制器部分和训练流程部分。算法模型控制器包括变分自编码器(VAE)和强化学5下每个状态量的信息量_log(p(st))趋于相等，附加奖励B(st)所带来的激励探索效果也逐渐消失。添加所述的附加奖励B(st)可以提高强化学习智能体探索状态空间的能力和学习[0013]在训练变分自编码器(VAE)后期，变分自编码器(VAE)最终的损失函数可以表示[0015]因此，可以用经过预训练之后的变分自编码器(VAE)的损失函数去近似状态量的[0018]2)将采集的数据集进行处理，利用每一时刻的环境状态量构造当前时刻的特征[0020]4)利用变分自编码器(VAE)提取潜在变量特征zt，作为强化学习网络(RL_net)的[0021]5)在训练强化学习网络(RL_net)的过程中不断采集数据去扩充训练变分自编码t+1>。[0024]所述变分自编码器(VAE)的解码器为反卷积模块，反卷积模块将循环神经网络提6[0031](2)本发明变分自编码器(VAE)的编码器部分采用了卷积模块加循环神经网络的[0032](3)本发明通过利用变分自编码器(VAE)的损失函数去构造附加奖励项B(st)，加[0039]图1为基于变分自编码器和强化学习的自动驾驶算法模型框架图，本发明方法包[0044]所述的实时奖励rt包括环境实时反馈的奖励r't和由变分自编码器的损失函数构7[0048]3)利用处理过的数据集去预训练变分自编码器(VAE)，使得每输入前四个时刻的[0049]4)利用变分自编码器(VAE)提取的潜在变量特征zt作为强化学习网络(RL_net)的[0050]5)在训练强化学习网络(RL_net)的过程中不断采集数据去扩充训练变分自编码t+1>。[0055]所述的输入层将3个256*256*3的矩阵合并为256*256*9的矩阵；所述的卷积层8[0057]所述的潜在变量zt由循环神经网络模块通过全连接层FC_μ和全连接层FC_σ进一[0063]上文所列出的