CN117391181B 智能体的控制方法、装置、计算机设备和存储介质 （清华大学）

将图像信息和本体感知状态信息输入至融合网于决策结果对智能体进行控制。上述控制方法比传统的卷积神经网络只能应用于理想化的单2通过视觉传感器获取智能体所在环境的图像信息和通过惯性测量器件获取本体感知将所述图像信息和所述本体感知状态信息输入至融合网络中进行融合，得到融合结意力子网络用于对所述第一编码序列和所述第二编码序列中的每个向量都与所有其他向将所述融合结果输入至深度强化学习网络中进行运动决策，并基于能体进行控制；所述深度强化学习网络是采用PPO算法根据目标损失对初始深度强化学习述PPO算法通过最大化期望回报的似然比来更新目标策略中的策略参数；所述初始深度强化学习网络包括策略网络和评价网络；所述策略网络用于预测所述智能体的下一步动作，所述评价网络用于预测所述智能体在当前状态下的对所述图像信息和所述本体感知状态信息进行预处理，得到预所述将所述图像信息和所述本体感知状态信息输入至融合网络中进将所述预处理后的图像信息和所述预处理后的本体感知状态信息输入至所述融合网3根据所述目标损失对所述初始深度强化学习网络进行训练，得到训练后的决策网络，获取模块，用于获取智能体所在环境的图像信息和本体感知状态信融合模块，用于将所述图像信息和所述本体感知状态信息输入至融合网络中进行融控制模块，用于将所述融合结果输入至深度强化学习网络中进行预处理模块，用于对所述图像信息和所述本体感知状态信息进行预后的图像信息和预处理后的本体感知状态信息；所述图像信息的预处理包括增加维度处对应的，所述融合模块，具体用于将所述预处理后的图像信息决策单元，用于将所述样本特征数据输入至所述策略评估单元，用于将所述目标策略和所述决策结果输入至评价网络中进行训练单元，用于根据所述目标损失对所述初9.一种计算机设备，包括存储器和处理器，所述存储器存被处理器执行时实现权利要求1至4中任一项所述的4存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面所述的方法的步567后的图像信息和预处理后的本体感知状态信息输入至预先训练好的融合网络中进行多模8态信息之后，可以将图像信息和本体感知状态信息输入至预先训练的特征提取子网络中，9对应的第一编码序列和状态特征对应的第二编码序列。于Transformer模型是一种基于注意力机制的神经网络模型，在融合图像信息和本体感知训练的编码子网络中分别进行编码，通过Transformer模型将视觉特征对应的输入序列的[0072]本申请实施例中，控制设备基于上述步骤得到第一编码序列和第二编码序列之的智能体的控制方法，通过使用Transformer的自注意力机制可以有效地融合深度图像和[0076]本申请实施例提供的智能体的控制方法，相比于基于CNN的算法和基于元学习的t0,0visual代表(0,0)元素的深度图像信息标记，t0,1visual代表(0,1)元素的深度图像信息标N-1,N-1visual代表(N-1,N-1)元素的深度图像信息标[0085]在一个实施例中，还提供了一种智能体的控制方法，图2实施例所述的方法还包Optimization(PPO)算法来训练初始深度强化学习网络。策略网络用于预测智能体的下一[0094]通过在PyBullet软件中进行算法验证，可以在一个可控的虚拟环境中进行快速、半径与转向角之间的关系可以通过关系式(1)[0110]本申请实施例提供的智能体的控制方法，通过深度强化学习PPO算法可以同时优境)获取当前状态信息st(包含图像信息和本体感知状态信息)，通过上述实施例中所述的[0125]在仿真平台中训练基于PPO算法的多模态深度强化学习算法，设计合理的奖惩机[0134]S7015，根据目标损失对初始深度强化学习网络进行训练，得到训练后的决策网对应的第一编码序列和状态特征对应的第二编码序列。结构能够提高神经网络对非结构化信息的感知和理解能力，从而更好地适应不确定的环征进行关联融合，最后分别得到两种数据的特征向量(参见图13中的视觉特征和状态特征)，可以实现将不同模态的信息联系起来的效果，接下来，将两种模式的特征向量拼接进行后续的运动规划。够准确避障并安全地运行。采用了Transformer的自注意力机制来处理视觉信息和本体感[0154]融合模块11，用于将图像信息和本体感知状态信息输入和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之机程序被处理器执行时实现上述各方法实施例中非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read_Only(ReRAM)、磁变存储器(MagnetoresistiveRandomAccessMemory，MRAM)、铁电存储器(FerroelectricRandomAccessMemory，FRAM)、相变存储器(PhaseChangeMemory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory，库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，