CN119489450A 机器人运动控制方法及设备 （人形机器人(上海)有限公司）

本申请实施例提供一种机器人运动控制方2将所述当前状态输入至运动控制模型，获得所述机器人所需执行和所述平衡控制任务训练是在所述路径规划任务控制所述机器人执行所述当前动作，若所述机器人执行完成当基于初始策略函数和初始价值函数构建所述路径规划任务训练对应的第一强化学习基于所述训练后的第一强化学习模型构建所述步态控制任务对应的第二强化学习模根据所述训练后的第二强化学习模型确定所述运,基于所述训练后的第二强化学习模型构建所述平衡控制任务训练对应的第三强化学3根据所述训练后的第三强化学习模型确定所述运基于所述训练后的第三强化学习模型构建第四强化学习模型；所对应的第四奖励函数是根据第一奖励函数、所述第二奖励函数和所述第三奖励函数确定将所述当前状态、所述当前动作、所述下一状态和所述奖励值存储根据所述训练数据，对所述第一强化学习模型进行梯度下降训练，获若M大于或等于，则在当前状态下的Q网络输出的Q值中选择最大Q值对应的动作作为所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所4方式进行路径规划。训练和所述平衡控制任务训练是在所述路径规划任务训练的基础[0012]基于初始策略函数和初始价值函数构建所述路径规划任务训练对应的第一强化[0014]基于所述训练后的第一强化学习模型构建所述步态控制任务对应的第二强化学5[0026]基于所述训练后的第二强化学习模型构建所述平衡控制任务训练对应的第三强6[0042]若M大于或等于，则在当前状态下的Q网络述步态控制任务训练和所述平衡控制任务训练是在所述路径规划任务训练的基础之上进处理器执行如上第一方面以及第一方面各种可能的设计[0052]本实施例提供的机器人运动控制方法及设备，该方法包括获取机器人的当前状务训练包括路径规划任务训练，以及步态控制任务训练和平衡控制任务训练中的至少一7[0060]需要说明的是，本申请提供的机器人运动控制方法可用8[0070]102、将所述当前状态输入至运动控制模型，获得所述机器人所需执行的当前动制任务训练和所述平衡控制任务训练是在所述路径规划任务训练的[0076]图2为本申请实施例提供的运动控制模型的训练过程的流程示意图一。如图2所[0077]201、基于初始策略函数和初始价值函数构建所述路径规划任务训练对应的第一9其中，a1表示向前移动一个网格单元的距离Ad1，az表示向后移动一个网格单元的距离Adz，表示向左移动一个网格单元的距离Ad:，a4表示向右移动一个网格单元的距离。的动作能够准确执行则状态转移概率为：[0089]如果动作at是合法的（不会使机器人超出环境边界或碰到障碍物则stx1是根据[0095]203、基于所述训练后的第一强化学习模型构建所述步态控制任务对应的第二强述第二强化学习模型设计专门针对步态控制任等不稳定情况则给予负奖励。利用强化学习算法，机器人可以在不断的试验中学习到在不 表示关节角速度，F=(F1,F2,…,Fj)表示作用在机器人身体上的外力[0101]步骤2042、定义动作空间：动的值更小则获得更高的奖励。x-b（2）[0108]vologn(a/s)A(s,a)（3）[0111]205、基于所述训练后的第二强化学习模型构建所述平衡控制任务训练对应的第述第三强化学习模型设计专门针对平衡控制任从模拟环境中不断抽样试错学习到在真实场景中有效进行平衡控制的过渡（即采用sim_[0115]示例性的，平衡控制任务对应的第三强化学习模型的训练过程可以包括以下步感器测量值为P=(P,P2,…PR)(假设机器人有K个脚底压力传。r=-B(a,w,p)，如果机器人在受到外部干扰后能够更快地恢复平衡t为机器人身体在当前时刻的倾斜角度，αt+1时更新价值函数来更好地估计状态价值。具体公式涉及到对策略网络n(als)和价值网络R=w1*Rfpath}+w2*Rgait}+w3*R(balance}。其中，R{path}是与路径规划相关的奖励，[0135]强化学习算法选择：第四强化学习模型是在第三强化学[0151]其次，计算目标Q值。对于每个采样的经验数据，利用目标Q网络计算目标Q值：[0153]通过反向传播算法计算损失函数对Q网络参数的梯度V,,L(Q)，并使用优化算法网络中的权重参数保持不变。训练包括路径规划任务训练，以及步态控制任务训练和平衡控制任务训练中的至少一个；所述步态控制任务训练和所述平衡控制任务训练是在所述路径规划任务训练的基础之上模型构建所述步态控制任务对应的第二强化学习模型；对所述第二强化学习模型进行训A(S,a)=Q(S,a)-V(S)，Q(S,a)是动作一价值函数，v(S)是状态一价值函数。操作和记录操作相关联的操作。处理组件501可以包括一个或多个处理器509来执行指令，[0180]存储器502被配置为存储各种类型的数据以支持在设备50的操作。这些数据的示[0181]电源组件503为设备50的各种组件提供电力。电源组件503可以包括电源管理系[0182]多媒体组件504包括在所述设备50和用户之间的提供一个输出接口的屏幕。在一后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或经由通信组件为设备50的显示器和小键盘，传感器组件507还可以检测设备50或设备50一个组件的位置传感器组件507可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体[0186]通信组件508被配置为便于设备50和其他设备之间有线或无线方式的通信。设备分。处理器和