CN119407765A 机器人的控制方法、装置、设备及介质 （鹏城实验室）

本公开提供了一种机器人的控制方法、装生成大模型中，对机器人所处环境进行场景描2将所述感知数据输入至监督微调后的行为树生成大模型中，对所述将所述控制指令和所述场景描述文本输入至所述行为树生成大将所述目标描述文本输入至所述行为树生成大模型中进行行为树基于所述目标行为树控制所述机器人执行对应的分别将所述控制指令、所述场景描述文本和多个层级的所所述分别将所述控制指令、所述场景描述文本和多个层级的所述思维将所述控制指令、所述场景描述文本和所述思维分解提示文本输入至将多个所述思维步骤信息和所述思维生成提示文本输入至所述行为树生成大模型中，通过所述思维生成提示文本引导所述行为树生成大模型对多个所述思维步骤信息进行思将多个所述候选执行动作和所述状态评估提示文本输入至所述行为树生成大模型中，通过所述状态评估提示文本引导所述行为树生成大模型对多个所述候选执行动作进行思基于多个所述动作评分从对应的多个所述候选执行动作进行筛从多个所述候选执行动作中确定起始节点和通过预设的启发式搜索算法，根据多个所述动作评分确定所述起始节3将多个所述思维步骤信息和所述思维生成提示文本输入至所述行为树生成大模型中，通过所述思维生成提示文本引导所述行为树生成大模型对多个所述思维步骤信息进将所述控制指令和所述场景描述文本输入至所述行为树生成大模基于所述行为树生成大模型对所述融合特征进行分解和预规划，生成多项子描述文将所述第一文本特征与所述第二文本特征进行对齐，并在对齐8.根据权利要求6或7所述的机器人的控制方法，其所述对所述感知数据进行编码得到第二文本特征，融合所述第一文本特对所述视觉数据进行编码得到第一子文本特征，对所述音频数据进行所述样本行为树数据包括样本描述文本和对应的标签将各个所述样本描述文本输入至初始的行为树生成大模型中，对各基于所述样本行为树和对应的所述标签行为树对所述初始的行为树生成大模型进行4构建所述标签行为树的描述文本生成提示文本，并从多个所述标签行为树中选定多个含有不同行为树元素的目标行为每个所述目标行为树构建对应的标准描述文构建所述标签行为树的描述文本生成提示文本，并数据获取模块，用于获取机器人的控制指令，以及所述机器人所处场景描述模块，用于将所述感知数据输入至监督微调后的行指令分解模块，用于将所述控制指令和所述场景描述文本输行为树生成模块，用于将所述目标描述文本输入至所述行为树生成大有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至11任一项所述的机器算机程序被处理器执行时实现权利要求1至11任一项所述5[0002]随着科技的飞速发展，机器人已成为现代工业和日常生活中不可或缺的一部分，[0006]获取机器人的控制指令，以及所述机器人所处环境中任意一个模态下的感知数6成大模型结合所述场景描述文本对所述控制指令进行分解和预规划，生成多项子描述文[0017]将多个所述思维步骤信息和所述思维生成提示文本输入至所述行为树生成大模[0018]将多个所述候选执行动作和所述状态评估提示文本输入至所述行为树生成大模[0024]将多个所述思维步骤信息和所述思维生成提示文本输入至所述行为树生成大模[0025]通过所述思维生成提示文本引导所述行为树生成大模型对多个所述思维步骤信制指令进行分词映射得到第一文本特征，并对所述感知数据进行编码得到第二文本特征，7每个所述样本行为树数据包括样本描述文本和对应的标[0040]基于所述样本行为树和对应的所述标签行为树对所述初始的行为树生成大模型[0050]场景描述模块，用于将所述感知数据输入至监督微调后8机器人周围环境的理解能力，随后将控制指令和场景描述文本输入至行为树生成大模型标行为树控制机器人执行对应的动作节点，就能提高机器人的工作效率和任务完成的质9技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，[0083]本公开实施例提供的机器人的控制方法可应用于终端中，也可应用于服务器端方法可以包括但不限于包括步骤S101可以利用感知数据来生成一个对机器人所处环境的场景描述文本，这个文本是一个简洁骤S103可以进一步包括步骤S201至步骤S2[0120]步骤S302，将多个思维步骤信息和思维生成提示文本输入至行为树生成大模型[0121]步骤S303，将多个候选执行动作和状态评估提示文本输入至行为树生成大模型骤S304可以进一步包括步骤S401至步骤S4可以表示机器人执行动作序列到达当前节点的总时间或总能量消耗等，H可以使用曼哈顿[0138]步骤S501，将多个思维步骤信息和思维生成提示文本输入至行为树生成大模型[0139]其中，动作库包含机器人的多个可执行动作以及各个可执行动作对应的动作描acition_lib将通过代码赋值动作库的全局路径。这一步将引导行为树生成大模型在生成考机器人的动作库{robot_action_lib}，{step_name}步骤对应的{robot_action}动作有动作库，step_name对应思维分解得到的步骤名，robot_action是需要输出的候选执行动分解为多个可执行的子任务或动作，从而将复杂的控制指令和环境信息转化为一系列清骤S601可以进一步包括步骤S701至步骤S[0154]在上述步骤中，行为树生成大模型为不同模态的感知数可以通过计算它们之间的相似度或距离来找到它们之间的对应关系，这个过程称为对齐。觉数据可以是部署在机器人上的摄像头，或者部署在机器人所处环境中的摄像头获取的，[0172]进一步地，本公开实施例中采用轻量基座大模型来作为初始的行为树生成大模的行为树生成大模型，并且在训练过程中，采用参数高效微调(Parameter_Efficient_Fine_Tuning)方法中的量化低秩适应(QuantizedLow_RankAdaptation)高效微调方法，[0173]请参阅图12，图12是本公开实施例提供的样本描述文本生成过程的流程示意在一些实施例中，样本描述文本通过以下步骤得到，可以进一步包括步骤S1001至步骤[0176]在上述步骤中，本公开实施例提供了一种生成样本数据中样本描述文本的方法。[0178]请参阅图13，图13是图12中步骤S1002进一步包括的流程示意图。在一些实施例可以从多个标签行为树中选定多个含有不同行为树元素的目标行为树，例如，将从行为树树构建对应的标准描述文本，基于每个目标行为树和对应的标准描述文本对预设的描述文本生成大模型进行监督微调，包括以one_shot的方式提示大语言模型，从而得到监督微调后的描述文本生成大模型。[0188]场景描述模块1402，用于将感知数据输入至监督微调后[0189]指令分解模块1403，用于将控制指令和场景描述文本输入至行为树生成大模型标行为树控制机器人执行对应的动作节点，就能提高机器人的工作效率和任务完成的质[0194]该机器人的控制装置的具体实施方式与上述机器人的控制方法的具体实施例基可以根据实际的需要选择其中的部分或者全部模块来实现本说对现有技术做出贡献的部分或者该技术方案的全部或部分可