CN118143940B 一种基于视觉大模型的机械臂控制方法、装置、设备及存储介质 （上海人工智能创新中心）

US2019001489A1,2019.01.03本发明公开了一种基于视觉大模型的机械目标任务的描述文本及其多个视角的场景图像对目标任务的描述文本及其多个视角的场景图2将所述目标任务的描述文本及其多个视角的场景图像输入动作预测模将所述目标任务的描述文本及其多个视角的场景图像输入动作预测模将所述多个视角的图像特征与所述描述文本输入所述多视角注意所述多视角注意力网络包括多模态预训练神经网络、单视角注意力模将所述多个视角的图像特征分别输入所述单视角注意力模块，将所述文本特征与所述多个视角的中间特征输入所述多视角注意将所述任务样本的描述文本及其多个视角的场景图像输入所基于所述预测动作序列与所述真实动作序列对所述基于所述损失函数对所述动作预测网络及所述多视角注意力网络3动作序列获取模块，用于将所述目标任务的描述文本及所述多视角注意力网络包括多模态预训练神经网络、单视角注意力模所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1_5中任一项所述的8.一种计算机可读存储介质，其特征在于，所述令，所述计算机指令用于使处理器执行时实现权利要求1_5中任一项所述的基于视觉大模4模的具身数据集。5列控制机械臂以执行目标任务。本发明实施例提供的基于视觉大模型的机械臂控制方法，[0022]图5是本发明实施例二中的一种基于视觉大模型的机械臂控制装置的结构示意[0026]图1为本发明实施例一提供的一种基于视觉大模型的机械臂控制方法的流程图，移动至地点B。多个视角的场景图像可以是对目标任务所处的场景从各个角度进行拍摄所6[0031]其中，视觉分割大模型可以是对预训练的图像分割大模型(SegmentAnything微调算法对所述新增网络结构中的参数进行调整获得。多视角注意力网络可以由后基于动作序列驱动机械臂末端执行器工作以执行“使用棍子将方块移动到天蓝色色块角注意力模块。多模态预训练神经网络(ContrastiveLanguage_ImagePre_Training，CLIP)用于对文本进行特征提取。单视角注意力模块可以理解为单视角Transformer模块，7序列。融合处理的方式可以是：对各动作序列图中的位姿序列进行坐标系的转换(由图像坐标系00t}。理过程与上述实施例中动作预测模型对目标任务的描述文本及其多个视角的场景图像的8动作预测模型对目标任务的描述文本及其多个视角的场景图像进行处理，获得动作序列，以控制机械臂按照该动作序列执行目标任务，可以降低对三维空间机械臂控制的计算量，[0047]图5是本发明实施例二提供的一种基于视觉大模型的机械臂控制装置的结构示意[0049]动作序列获取模块520，用于将目标任务的描述文本及其多个视角的场景图像输9[0073]图6示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种如因特网的计算机网络和/或各种电信网络与其他设[0076]处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0079]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_