CN115373380B 基于lstm和变分自编码的移动机器人自主探索方法 （杭州电子科技大学）

基于LSTM和变分自编码的移动机器人自主本发明涉及一种基于LSTM和变分自编码的过奖励函数指导移动机器人进行自主探索到达析和存储过去时刻的障碍物和移动机器人自身化学习的方法实现仿真环境与真实环境完成自2移动机器人的状态空间包括自身运动的线速度V和角速度W,以移动机器人初始位置为距离目标点的距离Lgoal和方向θ,其移动机器人通过搭载2D激光雷达观测环境，观测的状态空间包括障碍物的距离基于长短期记忆网络和变分自编码器的TD3强化学习网络，该首先将移动机器人的状态空间输入到长短时记忆网络中，然后出hn与n时刻的输入合并后，最后输入到具有ReLU型非线性函数的一个多层感知机对状态动作参数分别代表移动机器人的线速度a1和角速度a2；之后对输出层应用tanh激活函数，异；critic网络使用一对状态s和动作a作为输入；状态s经过一个全连接层L4和ReLU激活s3t2.根据权利要求1所述的基于LSTM和变分自编码的移动机器人自主探索方法，其特征过一个全连接层L1得到特征的均值mean，再将encoder_state经过另一个全连接层L2得到3.根据权利要求1所述的基于LSTM和变分自编码的移动机器人自主探索方法，其特征①中的奖励函数给予奖励，直至移动机器人发生碰撞或者超过500个step都没有发生碰撞其中仿真环境为ROS的Kinetic版本中的Gazebo和Rviz平台，其中ROS中含有的物理仿4.根据权利要求1所述的基于LSTM和变分自编码的移动机器人自主探索方法，其特征4[0001]本发明属于智能控制领域，具体涉及含LSTM和变分自编码的TD3强化学习的移动主探索强化学习网络中引入LSTM和变分自编码使网络能够分析和存储过去时刻的障碍物[0006]移动机器人的状态空间包括自身运动的线速度V和角速度W,以移动机器人初始位[0007]移动机器人通过搭载2D激光雷达观测环境，观测的状态空间包括障碍物的距离的输出hn与n时刻的输入合并后，最后输入到具有ReLU型非线性函数的一个多层感知机对5[0014]将步骤(a)特征提取的结果输入到变分自编码器中，得到输出的特征embed_结果经过四个一维卷积层和一个ReLU激活层后得到编码的特征encoder_state；接着将6(3)①中的奖励函数给予奖励，直至移动机器人发生碰撞或者超过500个step都没有发生[0034]其中仿真环境为ROS的Kinetic版本中的Gazebo和Rviz平台，其中ROS中含有的物[0042]移动机器人的状态空间包括自身运动的线速度V和角速度W,以移动机器人初始位7时记忆网络的输出hn(根据n时刻的输入和上一时刻的中间状态值hn-1产生的n时刻的状态[0050]将步骤(a)特征提取的结果输入到变分自编码器中，得到输出的特征embed_个全连接层L1得到特征的均值mean，再将encoder_state经过另一个全连接层L2得到特征两个参数分别代表移动机器人的线速度a1和角速度a2。之后对输出层应用tanh激活函数，8[0066]仿真环境为ROS的Kinetic版本中的Gazebo(ROS中含有的物理仿真