多模态机器学习教学大纲

《多模态机器学习》课程教学大纲一、课程基本信息课程名称：多模态机器学习适用专业：计算机科学与技术、人工智能、大数据技术、电子信息等高年级本科生、研究生先修课程：机器学习基础、深度学习基础、Python程序设计、计算机视觉、自然语言处理基础授课教材：《多模态机器学习》（清华大学出版社）总学时：48学时（理论32学时、实验16学时）课程性质：专业选修/专业拓展课程二、课程定位与课程简介传统单模态机器学习仅依靠文本、图像、语音等单一数据来源进行建模，特征表达维度有限、场景适应性弱。多模态机器学习通过整合文本、语音、图像、视频多源信息，构建更丰富、鲁棒的特征表示，是当前人工智能前沿核心方向。本课程教材作者长期从事多模态科研与教学，针对初学者普遍存在的“懂理论、不会落地、不会建模”的痛点，采用“问题驱动、理论支撑、案例落地、项目闭环”的教学模式。课程由浅入深讲解单模态特征提取、多模态表示学习、多模态融合理论，并结合工业级真实应用场景开展实战教学，培养学生将现实问题转化为多模态机器学习任务的系统化思维与工程实践能力。三、课程教学目标1.知识目标掌握多模态机器学习基本概念、发展历程与研究范式；掌握文本、语音、图像、视频四大单模态特征提取方法；掌握多模态表示学习、多模态融合核心理论；熟悉多模态检测、分类、检索、时序定位、生成、对话等主流任务框架。2.能力目标具备独立完成单模态数据处理与特征提取的工程能力；具备根据业务场景选择合适多模态表示、融合策略的建模能力；具备小型多模态人工智能项目的数据处理、模型搭建、训练调优与结果分析能力。3.素养目标建立多维度、系统化人工智能建模思维，具备工程问题分析能力、算法思辨能力与创新应用意识。四、教学重点与难点（一）教学重点单模态手工与深度特征提取方法；多模态统一表示与跨模态对齐原理；多模态融合架构与融合策略；多模态典型任务建模流程与应用范式。（二）教学难点不同模态数据分布差异与跨模态对齐；模态冗余、模态不同步、模态缺失等工程问题处理；复杂场景下多模态模型选型、设计与调优。五、课程主要教学内容（模块式）模块一：课程绪论与领域认知（第1章，4学时）主要内容：单模态与多模态机器学习对比、基本概念、发展历程、研究方向、行业应用场景、课程学习体系与学习方法。教学目标：建立整体学科认知，明确多模态学习的优势与研究价值。模块二：单模态特征提取理论（第2–5章，16学时）主要内容：文本特征提取、语音特征提取、图像特征提取、视频时空特征提取，涵盖传统手工特征与深度学习预训练特征两套体系。教学目标：掌握各模态数据处理流程与特征表征方式，为多模态融合奠定基础。模块三：多模态核心理论（第6–7章，8学时）主要内容：多模态联合表示、协同表示、跨模态对齐学习；多模态特征层、中间层、决策层三级融合体系；各类融合算法与工程适配策略。教学目标：掌握多模态建模核心理论，具备模态融合方案设计能力。模块四：多模态实际应用场景（第8–14章，16学时）主要内容：多模态讽刺检测、视频动作分类、图文检索、组合式图像检索、跨模态视频时序定位、多模态摘要生成、多模态对话系统七大典型应用任务。教学目标：熟悉工业级多模态任务建模流程，具备项目落地能力。六、考核方式与成绩评定本课程采用过程性考核+终结性考核相结合的方式，重实践、重应用、弱化机械记忆。1.平时作业与实验报告（35%）：包含各章节上机实验、代码实现、实验分析报告。2.课程综合实践项目（45%）：小组完成完整多模态应用项目，含方案设计、代码实现、模型训练、结果分析与结题汇报。3.期末考核（20%）：开卷考试（仅限纸质资料），题型为简答题、对比分析题、场景方案设计题，考察综合理解与工程应用能力。开卷说明：考试不考察机械背诵，重点考察多模态模型对比、融合策略选型、工程问题分析与解决方案设计。七、课程教学特色1.完全依托教材14章完整体系授课，理论体系完整、应用场景全覆盖；2.理论与实验一一对应，解决学生“看得懂、不会做”的普遍痛点；3.以真实业务场景驱动教学，强化问题建模与工程