CN119427343A 机械臂的控制方法、机械臂及计算机可读存储介质 （深圳元戎启行科技有限公司）

道福保社区桃花路与槟榔道交汇处西语言模型依次输出多个子任务对应的自然语言2将所述任务指令和所述环境图像输入至大语言模型，以使所述大语将所述自然语言指令按照顺序先后输入至机械臂控制模型，以使所将所述任务指令和所述环境图像输入至大语言模型，以使所述大语检测到所述第一子任务执行完成时，利用所述大3.根据权利要求1所述的方法，其特征在于，在控制所述机械臂执行对应的动作过程若未执行完成，继续向所述机械臂控制模型输入所述子任务对应的所述自然语言指基于关键帧将所述轨迹流分解为多个子轨迹流；其中，每一将所述轨迹流中夹爪状态发生改变或连续预设数量帧内机械臂速度为0的轨迹帧确定3将所述多个子轨迹流、环境数据和所述关键帧时所述机械臂的位置输入至利用所述环境数据中的每一子轨迹流中所述机械臂的最终位置和所述实际位置确定利用每一子轨迹流中所述机械臂的最终旋转角度和所述实际旋转角度确定出第二损利用每一子轨迹流中所述机械臂上的夹爪最结合所述第一损失、所述第二损失和所述第三损失调45改变或连续预设数量帧内机械臂速度为0的轨迹帧确定为关键帧；基于关键帧将轨迹流分6[0022]图3是本申请提供的对子任务对应的动作的执行完成情况一实施例的流程示意7言模型能够将复杂的操作任务拆解为多个单一动作，依靠机械臂连续执行多个单一动作，8臂控制模型，以使机械臂控制模型基于自然语言指令控制机械臂执行子任务A3对应的动决策(BehaviorDecision)是狭义上的决策规划控制部分之一，它涉及到机械臂行为决策9[0067]以此循环，直至机械臂控制模型基于自然语言指令控制[0073]在一些实施例中，可以利用大语言模型识别当前环境图像中的机械臂夹爪位前环境图像中的夹爪位置并没有位于物体正上方，则说明子任务对应的动作未执行完成。而可以结合机械臂夹爪的位置和目标物体的位置之间的相对位置关系来判断是否符合该[0089]在一些实施例中，机械臂完成目标任务所涉及的轨迹流可以通过示教的方式得轨迹流中机械臂的最终旋转角度(真实旋转角度)和实际旋转角度(模仿旋转角度)确定出轨迹流中机械臂上的夹爪最终状态(真实夹爪状态)和实际状态(模仿夹爪状态)确定出第[0116]在一应用场景中，上述的大语言模型和机械臂控制模型的采用以下方式进行训[0118]假设有专家数据其中代表着A=fa1,QZ,…,am}和对应的环境信息每一个a都包含着当前机械臂的rightwrist达到关键帧的状态时机械臂所处的关键位置fk,kz,…,km}CA,每一个关键位置到下一个关键位置都对应着一个人类标注的动作语言指令I，该动作语言指令描述了从当前关键帧的状态到下一个关键帧的状态所作的动作，对每个演示数据ξ每10帧ii}作为模仿学习数据，其中将oi进行点云重渲[0126]其中，Lrotation表示上述的第二损失，fa表示上述的最终旋转角度(用欧拉角表i表示上述的机械臂上的夹爪实际状态。[0131]在上述的大语言模型和机械臂控制模型训练完成后，部署至机械臂的相应系统视觉内容并使用自然语言完成各种任务”。在大语言模型中用投影方案进行视觉_文本对械臂移动至物体C正上方。机械臂的机械臂控制模型基于自然语言指令控制机械臂执行对移动至物体C的位置。机械臂的机械臂控制模型基于自然语言指令控制机械臂执行对应的于指示机械臂移动至区域B正上方。机械臂的机械臂控制模型基于自然语言指令控制机械机械臂移动至区域B正上方时同步带动了物体C至区域B然语言指令用于指示机械臂下移至区域B。机械臂的机械臂控制模型基于自然语言指令控[0155]另外，在本申请各个实施方式中的各功能单元可以集成