CN118721204B 机器人的控制方法及装置、系统和机器人 （青岛智孝工业科技有限公司）

服务器端将训练后的第二具身智能模型的全局2所述任务规划模块，用于响应于目标需求指令，调用训练好的第一具求从所述多个任务执行规划中确定目标任务执行规划；所述联邦学习模块，用于接收所述服务器发送的所述第一具身智能所述模型构建与推理模块，用于在构建第二具身智能模型后，将多模所述任务规划单元，用于获取所述当前环境信息及所述目标需求指令务执行规划；所述决策单元，用于按照用户预设的优先级顺序及目标需求从所述多个任务执行规划所述环境感知与调整单元，用于基于所述用户对所述目标任务的反馈信息和/或目标所述多模态数据融合模块，用于将所述多模态训练数据所述具身智能建模引擎，用于构建所述具身智能模型，并基于所述融对第二具身智能模型进行训练，得到所述训练好的第二具身智能模型对应全局模型参数，响应于目标需求指令，调用训练好的第一具身智能模型对所述目标需求指令进行分获取当前环境信息及所述目标需求指令所服务用户的状态3信息及所述状态信息得到由所述多个目标任务组成的多个任务执行按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任务执行规划；在所述目标任务执行规划执行各个目标任务过程中，基于将训练好的第一具身智能模型对应的模型参数上传至服务器，以在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个目标基于所述当前环境信息调整每个任务执行规划中各个目标任务的执行策略以及各个调用价值评估标准，分别对各个任务执行规划中的根据所述预设的优先级顺序及所述目标需求将所述评估结果中最优评估结果作为所述目标任务执行规划。使用所述更新后的全局模型参数、用户历史数将多模态训练数据输入所述第二具身智能模型进行训练，得到训练将所述全局模型参数发送至机器人，以便所述机器人根据所述全局模其中，所述将多模态训练数据输入所述第二具身智能在所述第二具身智能模型中，将所述多模态训练数据进行特征提取及4基于所述融合后的训练数据进行跨模态训练，以得到训练好的所述第二具身智能模将多模态训练数据输入所述第二具身智能模型基于预设聚合算法对所有的新的全局模型参数进行聚合处理，得基于所述聚合后的全局模型参数对所述第二具身智能模型进行分析单元，用于响应于目标需求指令，调用训练好的第组成单元，用于基于所述当前环境信息及所述状态信息得到由确定单元，用于按照用户预设的优先级顺序及目标需求从所调整单元，用于在所述目标任务执行规划执行各个目标训练单元，用于将多模态训练数据输入所述第二具身发送单元，用于将所述全局模型参数发送至机器人，以便型参数及用户历史数据对机器人中的第二具身智所述训练单元，还用于在所述第二具身智能模型中，将所述多模态基于所述融合后的训练数据进行跨模态训练，以得到训练好的所述第二具身智能模12.一种机器人，其特征在于，所述机器人包括如权利要求10所述的机器人的控制装5所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被令用于使所述计算机执行根据权利要求3-7或8-9中执行时实现根据权利要求3-7或8-9中6[0002]机器人(Robot)是一种能够半自主工作的智能机器。机器人能够通过编程和自动及目标需求从所述多个任务执行规划中确定目标任务执行规划；型参数，并根据所述全局模型参数对所述第一具身智能模型及用户历史数据进行本地训个任务执行规划；7规划中确定目标任务执行规划；[0014]所述环境感知与调整单元，用于基于所述用户对所述目标任务的反馈信息和/或[0016]所述多模态数据融合模块，用于将所述多模态训练数据进行特征提取及融合处局模型参数由服务器配置后，并根据所述全局模型参数及用户历史数据进行本地训练得环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；[0021]按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确定目标任[0026]在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个[0027]基于所述当前环境信息调整每个任务执行规划中各个目标任务的执行策略以及8[0030]根据所述预设的优先级顺序及所述目标需求将所述评估结果中最优评估结果作[0039]在所述第二具身智能模型中，将所述多模态训练数据进行本地训练得到；9户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进行[0055]在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个[0056]基于所述当前环境信息调整每个任务执行规划中各个目标任务的执行策略以及[0059]根据所述预设的优先级顺序及所述目标需求将所述评估结果中最优评估结果作机程序在被处理器执行时实现如前述第二方面或第三方面[0082]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特目标需求从所述多个任务执行规划中确定目标任务执行规划。[0100]将目标需求指令解析为多个目标任务的过程可以通过调用训练好的第一具身智务执行规划2：移动用户到淋浴椅-调节水温-调节浴室温度-洗头-涂抹洗发水-洗身体-涂[0103]按照用户预设的优先级顺序从上述两个任务执行规划之中选择一个作为目标任[0108]在一些实施例中，请继续参阅图2，本申请实施例所述的所述任务规划模块11包[0109]所述目标分析单元111，用于响应于目标需求指令，对所述目标需求指令进行分[0110]所述任务规划单元112，用于获取所述当前环境信息及所述目标需求指令所服务[0111]所述决策单元115，用于按照用户预设的优先级顺序及目标需求从所述多个任务同任务执行规划中各个目标任务执行顺序的优劣，该优劣通过价值函数的最高的任务执行规划确定为目标任务执行规划。[0121]同步与对齐：如果多个模态的数据有时间或空间上的对应关系(如视频中的图像[0164]有关目标需求指令与目标任务之间的对应关系可参阅图1的详细说明，本申请实所述当前环境信息及所述状态信息得到由所述多个目标任务组成的多个任务执行规划；[0167]在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个目标任务规划执行步骤，该处所述的当前环境信息可以通过但不限于通过上述实施例2.1[0168]步骤103，按照用户预设的优先级顺序及目标需求从所述多个任务执行规划中确[0169]在训练好的第一具身智能模型中基于所述当前环境信息及所述状态信息为每个[0170]将目标需求指令解析为多个目标任务的过程可以通过调用训练好的第一具身智[0179]各个机器人将本地训练的第一具身智能模型对应的模型服务器收集所有参与方的更新。使用聚合算法(如加权平均)整合这些更新后的模型参数，参数及用户历史数据对机器人中的第一具身[0190]在所述第二具身智能模型中，将所述多模态训练数据进[0191]多模态训练数据的来源通过上述实施例2练数据的格式和内容与2.1数据收集子系统中的多模态数据进行本地训练得到；[0206]获取单元32，用于获取当前环境信息及所述目标需求指令所服务用户的状态信用户对所述目标任务的反馈信息和/或目标需求的更新，动态对所述目标任务执行规划进[0212]上传单元36，用于将训练好的第一具身智能模型对应的[0214]基于所述当前环境信息调整每个任务执行规划中各个目标任务的执行策略以及[0217]根据所述预设的优先级顺序及所述目标需求将所述评估结果中最优评估结果作全局模型参数及用户历史数据对机器人中的第一具身[0227]在所述第二具身智能模型中，将所述多模态训练数据进[0237]如图9所示，设备500包括计算单元501，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)502中的计算机程序或者从存储单元508加载到RAM(RandomAccess因特网的计算机网络和/或各种电信网络与其他设备交换信元501的一些示例包括但不限于CPU(CentralProcessingUnit，中央处理单元)、GPU(GraphicProcessingUnits，图形处理单元)、各种专用的AI(ArtificialIntelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital元509而被载入和/或安装到设备500上。当计算机程序加载到RAM503并由计算单元501执可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行前述机器人的控制方路系统、FPGA(FieldProgrammableGateArray，现场可编程门阵列)、ASIC(Application-SpecificIntegratedCircuit，专用集成电路)、ASSP(ApplicationSpecificStandardProduct，专用标准产品)、SOC(SystemOnChip，芯片上系统的系统)、CPLD和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/[0241]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器[0244]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与