7.3视觉问答电子课件_第1页
7.3视觉问答电子课件_第2页
7.3视觉问答电子课件_第3页
7.3视觉问答电子课件_第4页
7.3视觉问答电子课件_第5页
已阅读5页，还剩4页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

7.3视觉问答什么是视觉问答?视觉问答(VisualQuestionAnswering,VQA)是一项结合计算机视觉与自然语言处理的多模态任务。输入：图片输入：自然语言问题VQA模型输出：自然语言答案核心能力细粒度识别：识别物体及其属性。物体识别与计数：精确定位并统计数量。行为与常识推理：理解动作并结合常识。背景与意义：多模态计算人类通过视觉、听觉、触觉等多感官模态感知世界。多模态计算旨在让机器模仿这种能力，融合不同类型的数据。仿生学基础核心目标旨在开发能够整合来自多个来源（图像、音频、文本）信息的算法，增强机器以类似人类的方式理解世界。应用场景更智能的交互理解上下文，例如在图像中找出与文本查询最相关的对象。广泛的应用交互式教育、医学诊断、视障辅助、智能客服等。VQA实例解析：辛普森一家问题“霍默戴帽子了吗？”推理链条实体识别:定位角色“霍默”。属性检测:检测头部是否有物体覆盖。逻辑判断:比对“帽子”特征。答案否VQA问题分类体系类别描述示例单项选择只有一个正确答案“伯恩斯先生的西装是什么颜色？（a）蓝色（b）红色（c）绿色”多项选择有多个可能的答案。“图像中显示的是什么？（a）婴儿（b）人物（c）杯子”是/否（真/假）只有两个可能的答案“图像中有孩子吗？”开放式没有固定的答案集，通常需要自然语言答案事实关于图像的事实信息“玛吉的裙子是什么颜色？”推理需要推理或推断来回答“右边的那个男人感觉怎么样？”空间关于物体或区域之间的空间关系“图像的右边是谁？”比较对象或区域之间的比较“丽莎和巴特之间谁最高？”属性分类关于对象的属性或特性的内容“玛吉的头发是什么形状的？”动作识别关于行动或事件“这些人都在做什么？”计算关于对象或区域的数量“图像中有多少人？”对象选择关于物体的信息“图片里有狗吗？”VQA的输入问题在格式和内容上具有极高的多样性，这使其比视觉定位（VisualGrounding）等任务更具挑战性。VQA的扩展子领域OCR-VQA(TextVQA)定义涉及将光学字符识别(OCR)技术集成到VQA模型中。任务目标识别和解释图像中的文本以回答问题。典型应用询问书名、路牌识别、商品标签等。KB-VQA(基于知识的VQA)定义利用外部知识库(KB)来辅助回答问题。核心挑战需要“图像信息+外部常识”结合才能回答。示例识别图中鸟的种类并回答其迁徙地。视觉问答标准工作流程1.输入图像+问题2.特征提取CNN/RNN3.多模态融合Attention4.推理生成分类/生成VQA常用算法演进第一阶段：深度学习融合VQAModel(2015)开山之作，CNN+LSTM。SAN引入“多层注意力机制”，逐步聚焦关键区域。MCB通过“双线性池化”高效融合特征。第二阶段：预训练与大模型VisualBERT/LXMERT大规模“视觉-语言预训练”。ViT抛弃CNN，完全使用Transformer处理图像块。CLIP对比学习范式，统一图文特征空间。VQA是AI通向通用人工智能(AGI)

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论