CN119539092A 基于多模态大模型的动作生成方法、系统、设备及介质 (语仓科技(北京)有限公司)_第1页
CN119539092A 基于多模态大模型的动作生成方法、系统、设备及介质 (语仓科技(北京)有限公司)_第2页
CN119539092A 基于多模态大模型的动作生成方法、系统、设备及介质 (语仓科技(北京)有限公司)_第3页
CN119539092A 基于多模态大模型的动作生成方法、系统、设备及介质 (语仓科技(北京)有限公司)_第4页
CN119539092A 基于多模态大模型的动作生成方法、系统、设备及介质 (语仓科技(北京)有限公司)_第5页
已阅读5页,还剩24页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

基于多模态大模型的动作生成方法、系统、本申请公开了一种基于多模态大模型的动2基于第一多模态大模型对所述多模态指令进行意图理解及步骤针对所述用户控制意图中的任一个处理步骤,采集当前环境信基于所述环境感知结果及所述用户控制意图,采用第四多模态大模若所述下一步动作的质量不满足要求,则通过第三多模态大模型重新生成下一步动采集每个处理步骤执行过程中产生的日志信息、提示信息8.一种基于多模态大模型的动作生成系统,应用于权利要求1_7任一项所述的基于多意图理解模块,用于基于第一多模态大模型对所述多模态指令进行3处理器执行时实现权利要求1_7中任一项所述的基于多模态大模型的动4[0001]本申请涉及人工智能领域,特别是涉及一种基于多模态大模型的动作生成方法、指令或环境变化进行调整,这种缺乏交互性的控制方式限制了机器人的应用场景和灵活户控制意图及所述当前环境信息采用第二多模态大模型进行环境感知,得到环境感知结5信息,并基于所述用户控制意图及所述当前环境信息采用第二多模态大模型进行环境感算机程序被处理器执行时实现上述的基于多模态大[0015]图2为本申请一实施例提供的一种基于多模态大模型的动作生成方法的整体流程[0016]图3为本申请一实施例提供的一种基于多模态大模型的动作生成方法的详细流程[0017]图4为本申请一实施例提供的一种基于多模态大模型的动作生成系统的功能模块6[0033]本申请的目的是实现在多模态环境下的动作生成,生成后的动作为实体机器人、[0035]本申请实施例提供的基于多模态大模型的动作生成方法,可以应用于如图1所示7[0043]下面提供了两个不同动作类型的示例,分别为浏览器操作示例和机械臂操作示89机械臂操作和浏览器操作的第一多模态大模型输出结果示[0057]表9提供了第二多模态大模型进行图片信息识别的提示词示例,表10提供了机械臂操作和浏览器操作中第二多模态大模型的操作和浏览器操作中第三多模态大模型生成动作的结果,结合用户控制意图、当前执行的动作及标准操作程序(StandardOperating用户能通过这个统一的动作生成方法同时控制实体机器人和虚拟APIAgent。解决了目前[0087]意图理解模块402用于基于第一多模态大模型对所述多模态指令进行意图理解及[0088]环境感知模块403用于针对所述用户控制意图中的任一个处理步骤,采集当前环[0090]动作执行模块405用于根据所述下一步动作调用相应的动作接口,以执行所述处该计算机程序被处理器执行时实现上述各方机程序被处理器执行时实现上述各方法实施例中本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read_取存储器(StaticRandomAccessMemory,SRAM)或动态随机存取存储器(Dynamic[0098]本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论