CN119511739A 基于强化学习的四足机器人控制器的训练方法和装置 （煤炭科学研究总院有限公司）

基于强化学习的四足机器人控制器的训练本申请提供了一种基于强化学习的四足机传感器数据和第二目标控制信号，构建训练数使用RGB图像数据作为视觉感知信息，够更加适2在仿真环境中控制四足机器人执行第一目标控制信号，确定第根据所述第一传感器数据、所述第一高程图数据和所述第一目标控在仿真环境中控制四足机器人执行第二目标控制信号，确定第将所述第二传感器数据、所述第二高程图数据和所述第二根据所述训练数据，对待训练的第二控制器进行训练，得到训练完成将所述第一传感器数据输入至所述第一控制器中的第一内部感知网对第一目标控制信号对应的第一目标向量、所述第一编码向量和所述根据所述实际控制信号和所述第一目标控制信号，对所述第一控制器进行根据所述奖励函数，调整所述第一控制器的参数，直至所述奖从所述第一目标控制信号中获取目标速度和目标角速度，并从所述实际根据所述目标速度和所述实际速度，确定速度奖励函数，并获根据所述目标角速度和所述实际角速度，确定角速度奖励函数，3根据所述速度奖励函数和所述速度奖励权重、所述角速度奖励函数根据所述每个关节的预测位置信息和所述每个关节的目标位置信息，根据所述损失函数，调整所述第二控制器的参数，直至所述损将所述第二传感器数据输入至所述第二控制器中的第二内部感知网对第二目标控制信号对应的第二目标向量、所述第三编码向量和所述第一确定模块，用于在仿真环境中控制四足机器人执行第一目第一训练模块，用于根据所述第一传感器数据、所述第一第二确定模块，用于在仿真环境中控制四足机器人执行第二目第一获取模块，用于将所述第二传感器数据、所述第二高程45应对真实环境中复杂的地形环境，通常需要融合视觉感知信息到四足机器人的控制算法6现如第一方面所述基于强化学习的四足机器人控在被处理器执行时实现根据第一方面所述的基于强化学习的四足机器人控制器的训练方[0010]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特图1为本申请实施例提供的一种基于强化学习的四足机器人控制器的训练方法的图2为本申请实施例提供的另一种基于强化学习的四足机器人控制器的训练方法图3为本申请实施例提供的另一种基于强化学习的四足机器人控制器的训练方法图5为本申请实施例提供的一种基于强化学习的四足机器人控制器的训练装置的[0013]下面采用实施例对本申请的基于强化学习的四足机器人控制器的训练方法进行7[0014]图1为本申请实施例提供的基于强化学习的四足机器人控制器的训练方法的流程[0016]其中，第一目标控制信号包括目标速度和的第一传感器数据mt以及第一高程图数据。[0018]其中，第一传感器数据包括但不限于惯性测量单元（Inertialmeasurementw=(w,w,w2)ER3和机身位姿g-(g.g,g2)ER3，机身位姿使用重力的方向向量在机器人自身坐标系下的投影表示。8现有的感知手段缺乏识别这些地形塌陷风险的能力，可能导致四足机器人误入危险区域，的高程图数据作为输入，但是第二控制器将基于RGB摄像头采集的RGB图像数据作为输入，将第一目标控制器的输出数据即第一目标控制器作为标签，采用模仿学习训练以RGB图像9[0039]图2为本申请实施例提供的基于强化学习的四足机器人控制器的训练方法的流程[0041]关于该步骤S201可采用本申请中各实施例中的任一实现方式实现，此处不再赘感器数据mt输入至第一内部感知网络，由第一内四足机器人的每个关节的第一预测位置信息和四足机器人的实际控将最后一次调整参数后的第一控制器确定为第度wtarget，并从实际控制信号中获取第一速度v、第一角速度w和力矩r，根据目标速度R,=-Ilvtarget-vll训练装置，图5为本申请实施例提供的一种基于强化学习的四足机器人控制器的训练装置一目标控制器包括第一目标内部感知网络、第一目标外部感知网络和第一目标控制器网目标控制信号输入至第一目标控制器中，获取所述四足机器人的每个关节的目标位置信器执行所述程序时，实现如第一方面所述的基于强化学习的四足机器人控制器的训练方述计算机程序在被处理器执行时实现第一方面所述的基于强化学习的四足机器人控制器如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，