CN119398159A 基于多模态融合的智慧家庭场景理解与交互方法及系统 （青岛海大新星软件咨询有限公司）

基于多模态融合的智慧家庭场景理解与交本发明公开了一种基于多模态融合的智慧为和潜在意图，将采集到的图像/视频数据采用转换成的文本数据和通过多模态视觉大模型理交互的内容生成指令，从指令生成可视化提示施图像/视频内容的实时分割，通过视觉提示词将大语言模型和多模态视觉模型在智能家庭场进行三维处理，基于场景的实时分割实现了与2将文本数据和理解内容采用大语言模型进行信息提取并采用多模态视觉大模型根据可视化提示词对图像/视频内容进行实时2.根据权利要求1所述的基于多模态融合的智慧家庭场景理解与交互方法，其特征在3.根据权利要求2所述的基于多模态融合的智慧家庭场景理解与交互方法，其特征在对于视频数据以多任务方式输入给多模态视觉大模型进行4.根据权利要求1所述的基于多模态融合的智慧家庭场景理解与交互方法，其特征在将文本数据和理解内容采用大语言模型进行信息提取并完成推理5.根据权利要求1所述的基于多模态融合的智慧家庭场景理解与交互方法，其特征在基于可视化提示词进行坐标处理得到图像轮廓可视化提示词生成单元，用于基于用户交互的内容生成指令7.根据权利要求6所述的基于多模态融合的智慧家庭场景理解与交互系统，其特征在8.根据权利要求7所述的基于多模态融合的智慧家庭场景理解与交互系统，其特征在9.根据权利要求6所述的基于多模态融合的智慧家庭场景理解与交互系统，其特征在3[0004](2)缺少对场景的内容深度理解。现有的智慧家庭往往依赖于预设的规则和简单[0005]本发明提出一种基于多模态融合的智慧家庭场景理解与交互方法及系统，以高将文本数据和理解内容采用大语言模型进行信息提取并采用多模态视觉大模型根据可视化提示词对图像/视频内容进行实时对于视频数据以多任务方式输入给多模态视觉大模型进行4基于可视化提示词进行坐标处理得到图像轮廓[0012]在本发明一些实施例中，所述数据推理单元采用多模态视觉大模型对图像和/或[0015]在本发明一些实施例中，所述图像/视频分割单元还用于基于可视化提示词进行更有效的理解用户行为和潜在意图，将采集到的图像/视频数据采用多模态视觉大模型进像/视频内容的实时分割，通过视觉提示词将大语言模型和多模态视觉模型在智能家庭场5[0019]图1为本发明提出的基于多模态融合的智慧家庭场景理解与交互方法的执行步骤图6为本发明实施例中多模态视觉模型基于视频内容的理解的图像分割示意图之图8为本发明实施例中多模态视觉模型基于视频内容的理解的图像分割示意图之图13为本发明实施例中多模态视觉模型基于可视化提示词实现图像内容分割的图14为本发明提出的基于多模态融合的智慧家庭场景理解与交互系统的系统架6[0038]Prompt提示词技术是创建提示或指导像ChatGPT这样的语言模型输出的过程，7中，这个过程涉及到识别和定位图像中的对象，并为每个检测到的对象生成一个边界框8[0059]为更有效的理解用户行为和潜在意图，本发明以多模态视觉大模型对图像和/或9坐标点是多边形的一个顶点。在这种情况下，坐标点通常是有序的，并且按照一定的顺序[0106]经过内容识别、内容分割、三维处理后的图像被加载到符合6Dof的数据传输[0110]本发明还提出一种基于多模态融合的智能家庭场景理解与交互系统，如图14所[0113]图像/视频分割单元4，用于采用多模态视觉大模型根据可视化提示词对图像/视[0117]在本发明一些实施例中，数据推理单元2将文本数据和理解内容采用大语言模型