模态基础及学习 1

Introduction

to

Information

Retrieval绪论Live

Q&A/jinCS3245

–

Information

Retrieval多模态机器学习2世界是多模态的人类通过视觉、听觉、味觉等多种感官获取信息不同模态信息相互补充、融合，形成更加准确的认知人工智能需要具备类似的人类多模态理解能力多模态机器学习（MultimodalMachineLearning,MML）研究如何融合不同形式的数据，实现理解、推理与生成相比单模态学习，多模态学习能够利用更丰富的信息Ch.

11-12多模态信息与人工智能CS3245

–

Information

Retrieval多模态机器学习3多模态（Multimodality）同一对象或语义下存在的不同形式的信息典型形式：同一对象的多媒体数据：图像、视频、文本描述不同传感器数据：RGB图像、红外图像、医学影像不同结构的信息表示：图像、语言、公式、符号Ch.

11-12什么是多模态？

同一事物的不同模态：图像、中文描述和英文描述CS3245

–

Information

Retrieval多模态机器学习41.异质性（Heterogeneity）不同模态具有不同的数据结构和表达形式图像：像素矩阵文本：词语序列Ch.

11-12多模态数据的核心性质CS3245

–

Information

Retrieval多模态机器学习52.相关性（Correlation）不同模态描述同一对象，包含共享信息模态间存在语义关联

Ch.

11-12多模态数据的核心性质CS3245

–

Information

Retrieval多模态机器学习63.交互性（Interaction）多模态融合产生新的信息模态之间相互作用增强理解能力Ch.

11-12多模态数据的核心性质CS3245

–

Information

Retrieval多模态机器学习7表示学习（Representation）

学习统一、多模态语义表示翻译（Translation）

实现不同模态之间转换对齐（Alignment）

建立不同模态之间对应关系融合（Fusion）

综合多模态信息进行决策协同学习（Co-learning）

利用辅助模态增强目标模态Ch.

11-12主要研究内容CS3245

–

Information

Retrieval多模态机器学习8目标：学习能够表达跨模态信息的统一表示两类方法：1.表示融合将多个模态映射到共享空间前期融合、后期融合、混合融合Ch.

11-12多模态表示学习CS3245

–

Information

Retrieval多模态机器学习91.表示融合前期融合：表示层面融合，先融合多单模态表示得到统一多模态表示，再送入单模态适配模型。后期融合：决策层面融合，各模态单独训练模型生成独立模态决策，再融合全部决策输出最终结果。混合融合：融合前期、后期融合两种思路，同时完成表征层融合与决策层融合。Ch.

11-12多模态表示学习CS3245

–

Information

Retrieval多模态机器学习102.表示协同利用辅助模态增强目标模态常用于训练阶段多模态、测试阶段单模态场景

Ch.

11-12多模态表示学习CS3245

–

Information

Retrieval多模态机器学习11目标：根据一种或多种模态生成新的目标模态三类任务：多模态总结从丰富信息生成简洁描述多模态翻译模态之间语义保持一致转换多模态创作根据条件生成新的内容Ch.

11-12多模态生成CS3245

–

Information

Retrieval多模态机器学习12目标：建立不同模态之间的对应关系存在不同粒度对齐跨模态检索中，对齐对象是同一事物的图像数据和文本数据。图像语义分割中，对齐对象是图像数据中的某个区域与文本数据中的某个单词。Ch.

11-12多模态生成CS3245

–

Information

Retrieval多模态机器学习13目标：建立不同模态之间的对应关系两类方法：显式对齐直接学习模态间对应关系代表：跨模态对比学习隐式对齐学习不同模态空间之间的潜在联系代表：对抗学习Ch.

11-12多模态生成CS3245

–

Information

Retrieval多模态机器学习14早期阶段：心理学与认知研究McGurk效应揭示多模态信息交互作用计算模型阶段AVSR语音识别手势语音转换系统深度学习阶段深度表示学习推动多模态发展图像描述、多模态翻译等任务快速发展当前趋势大规模预训练模型推动多模态智能发展Ch.

11-12多模态对齐CS3245

–

Information

Retrieval多模态机器学习15三大任务类别Ch.

11-12多模态机器学习主要任务CS3245

–

Information

Retrieval多模态机器学习16智能推荐融合商品图像、文本、用户行为实现个性化推荐Ch.

11-12多模态机器学习应用淘宝平台中个性化推荐界面CS3245

–

Information

Retrieval多模态机器学习17智能气象预测融合卫星图像、雷达数据提升天气预测能力Ch.

11-12多模态机器学习应用华为云盘古气象模型预测结果展示

CS3245

–

Information

Retrieval多模态机器学习18自动驾驶融合摄像头、雷达、传感器实现环境理解与决策Ch.

11-12多模态机器学习应用CS3245

–

Information

Retrieval多模态机器学习19多模态智能交互多模态对话系统能够：理解多源输入信息；融合不同模态内容；生成更加自然、智能的回复GPT-4等大型多模态模型支持

Ch.

11-12多模态机器学习应用CS3245

–

Information

Retrieval多模态机器学习20人机交互多模态大模型支持图像+文本理解实现自然语言交互医疗健康融合MRI、PET等医学影像辅助疾病预测与诊断科学研究AlphaFold利用多模态信息预测蛋白结构加速生命科学研究Ch.

11-12多模态智能应用拓展CS3245

–