CN119512184A 基于约束奖励的深度强化学习四足机器人运动控制方法及系统 （清华大学）

基于约束奖励的深度强化学习四足机器人本发明公开了一种基于约束奖励的深度强在仿真训练环境中通过奖励函数和成本约束函完成的策略网络模型部署至推理测试环境进行2建立四足机器人深度强化学习的仿真训练环境，其中，所述仿真训练基于所述机器人信息和所述第一模拟环境信息，在所述仿真训练建立推理测试环境，并将所述训练完成的策略网络模型部署至所将所述目标策略网络模型部署至所述四足机器人中，以对所述四足在IsaacGym仿真训练环境中载入包含所述四足机器人的机器人信息的URDF文件，其在所述IsaacGym仿真训练环境中载入包含所述第一模拟环境信息的第一环境模型文=λw1rtlv+λw2rtav+λw3rfat+λw4rcc+λw5rbh+λw6rda+λw7rso3在所述仿真训练环境中配置初始策略网络和对应教师网基于所述机器人信息和所述第一模拟环境信息，根据所述教师网8.一种基于约束奖励的深度强化学习四足机器人运动训练模块，用于基于所述机器人信息和所述第一第二建立模块，用于建立推理测试环境，并将所述训练完成控制模块，用于将所述目标策略网络模型部署至所述四足机所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被算机程序被处理器执行时实现如权利要求1_4过目标策略网络模型使得四足机器人在真实环境中长期[0006]本发明的另一个目的在于提出一种基于约束奖励的深度强化学习四足机器人运5在IsaacGym仿真训练环境中载入包含所述四足机器人的机器人信息的URDF文在所述IsaacGym仿真训练环境中载入包含所述第一模拟环境信息的第一环境模=λw1rtlv+λw2rtav+λw3rfat+λw4rcc+λw5rbh+λw6rda+λw7rso对所述初始策略网络进行训练，并调整所述奖励函数和所述成本约束函数对应的权重参6真训练环境包括所述四足机器人的机器人信息和第[0017]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得图1为根据本发明一个实施例的基于约束奖励的深度强化学习四足机器人运动控图6为根据本发明一个实施例的基于约束奖励的深度强化学习四足机器人运动控[0019]下面参照附图描述根据本发明实施例提出的基于约束奖励的深度强化学习四足[0020]首先将参照附图描述根据本发明实施例提出的基于约束奖励的深度强化学习四7[0021]图1为根据本发明一个实施例的基于约束奖励的深度强化学习四足机器人运动控[0022]如图1所示，该基于约束奖励的深度强化学习四足机器人运动控制方法包括以下方法可以包括：在IsaacGym仿真训练环境中载入包含四足机器人的机器人信息的URDF文=λw1rtlv+λw2rtav+λw3rfat+λw4rcc+λw5rbh+λw6rda+λw7rso8t重质量对应的第三阈值范围为[_1，2]；机身质心对应的第四阈值范围为[_0.05，Y和可以通过实验或人工进行设定，通过最小化成本约束函数来指导后续模型学习的方向，使得模型可以快速的找到有效策9数的奖励函数值和成本约束函数的约束成本函数值对初始策略网络中的策略生成和策略同时教师模型采用多层感知机网络训练，教师模型利用知识蒸馏的方法指导学生模型训IDE中载入包含第二模拟环境信息的第二环境模型文件，在IDE中运行第二环境模型文件，足机器人高层控制系统切换为底层控制系统，使用状态机切换为强化学习模型控制状态，[0053]根据本发明实施例提出的基于约束奖励的深度强化学习四足机器人运动控制方[0054]其次参照附图描述根据本发明实施例提出的基于约束奖励的深度强化学习四足[0055]图6为根据本发明一个实施例的基于约束奖励的深度强化学习四足机器人运动控真训练环境包括四足机器人的机器人信息和第确定模块602，用于确定仿真训练环境的奖励函数、域随机化参数和成本约束函在IsaacGym仿真训练环境中载入包含四足机器人的机器人信息的URDF文件，其在IsaacGym仿真训练环境中载入包含第一模拟环境信息的第一环境模型文件，=λw1rtlv+λw2rtav+λw3rfat+λw4rcc+λw5rbh+λw6rda+λw7rso一策略网络用于生成动作策略，第二策略网络用于对生成动作策略进行评估得到奖励信函数，通过多损失函数的近端策略优化算法在仿真训练模型中对初始策略网络进行训练，[0063]根据本发明实施例提出的基于约束奖励的深度强化学习四足机器人运动控制系术人员可以将本说明书中描述的不同