大模型技术与应用（微课版）-教学大纲

课程教学大纲课程编号：待定课程名称：大模型技术与应用总课时：48学分：2开课单位：开课学期：教学要求：本课程的教学要求是使学生全面掌握大模型技术的基本概念、核心原理与实际应用能力，旨在培养学生能够理解和运用所学知识进行大模型的选型、部署、训练、推理优化及智能应用开发的能力。同时，培养学生的综合能力，包括但不限于信息获取、模型评估、系统集成以及解决实际复杂任务的能力。具体来讲，就是使学生能够“懂、训、用”大模型技术：“懂”是懂原理：深入理解大模型的基础理论与架构设计，掌握Transformer架构、预训练、微调、推理优化等核心技术，了解主流大模型的特点及发展趋势；“训”是训模型：学会对大模型进行训练、微调与推理优化，涵盖模型轻量化、提示工程、检索增强生成、智能体构建等方面的知识与技巧；“用”是用服务：在掌握上述基本技能的基础上，进一步学习如何基于大模型进行实际应用开发，包括多模态应用、智能体系统及问答系统的开发与部署。每章具体要求如下：模块1大模型概述：能够通过讲解使学生了解大模型的基本概念、特征与发展脉络；掌握大模型的准确定义与核心特征、从统计语言模型到预训练大模型的发展历程、大模型的核心分类；理解大模型的通用型构建流程与技术导向型构建流程；熟悉大模型相关资源；了解大模型面临的技术挑战、应用挑战及伦理安全挑战。实训方面，使学生能够独立完成开源大模型的本地化部署与基础应用。模块2大模型基础架构与原理：能够通过讲解使学生深入理解大模型的核心架构——Transformer；掌握Transformer的整体架构设计、数据处理流程、编码器组件、解码器组件、输出组件；理解Transformer的机器翻译工作原理及典型模型变体；熟悉Transformers库的基本组成与使用方法。实训方面，使学生能够基于Transformers库加载预训练Transformer模型，完成中英翻译任务的部署与使用。模块3大模型训练技术：能够通过讲解使学生理解大模型训练的完整技术链路；掌握预训练阶段的数据准备、模型架构设计、分布式训练与优化策略；掌握微调的核心概念与方法，包括全参数微调、前缀微调、提示微调及LoRA（低秩适应）等参数高效微调技术的原理与优势。实训方面，使学生能够运用LoRA轻量化微调方法，在特定数据集上对开源模型进行微调，并观察效果变化。模块4大模型推理技术：能够通过讲解使学生理解大模型推理阶段的工作流程、核心挑战及主流推理框架；掌握模型量化的原理与实现、知识蒸馏的基本思想、模型剪枝方法、稀疏激活等模型压缩与优化技术。实训方面，使学生能够使用知识蒸馏方法，将大模型推理能力迁移至轻量学生模型，并可视化解蒸馏过程中的损失变化与性能对比。模块5多模态大模型技术：能够通过讲解使学生理解多模态大模型的基本概念与主流架构；掌握多模态大模型的预训练策略与微调方法；理解多模态推理与生成的基本流程。实训方面，使学生能够使用多模态大模型完成图文生成实践，并理解数据与模型的交互过程。模块6提示工程：能够通过讲解使学生掌握提示工程的核心概念、核心要素与设计原则；理解各类提示方法的原理与应用场景：零样本提示、少样本提示、思维链提示、自洽性提示、思维树提示。实训方面，使学生能够对比不同提示方法对问答任务准确率的影响，并进行定量分析与效果评估。模块7大模型智能体：能够通过讲解使学生了解大模型智能体的基本概念与发展趋势；掌握大模型智能体的核心组件：记忆组件、工具调用组件、任务规划组件；理解多智能体系统的协作机制；熟悉大模型智能体的主要协议，包括模型上下文协议与智能体对智能体协议；掌握主流开发框架。实训方面，使学生能够基于开源框架构建电商领域的大模型智能体，实现商品推荐、订单查询、售后问答等场景应用。模块8轻量化大模型问答系统开发与部署实践：能够通过讲解使学生掌握大模型问答系统的完整开发流程；理解大模型问答系统的基本架构与核心挑战，掌握检索增强生成（RAG）的基本原理与技术要点；熟悉开源框架的特点与选型；理解AnythingLLM的核心功能与应用方式；掌握大模型问答系统的整体架构设计。在开发实践方面，使学生能够完成环境部署、本地知识库构建、API调用与集成、问答系统前后端开发与联调测试。通过本模块，全面提升学生从零构建可交互大模型问答系统的综合实践能力。教学内容：周次章节及教学内容累计学时1~2模块1大模型概述情景引入知识准备1.1大模型基础1.1.1大模型定义与特征1.1.2大模型发展历程1.1.3大模型核心分类1.2大模型构建流程与资源1.2.1通用型构建流程1.2.2技术导向型构建流程1.2.3大模型相关资源1.3大模型面临的挑战与应对方法1.3.1技术挑战1.3.2应用挑战1.3.3伦理安全挑战实训任务1.4开源大模型的本地化部署与基础应用模块小结模块练习63~4模块2大模型基础架构与原理 情景引入知识准备2.1Transformer架构2.1.1概述2.1.2数据处理2.1.3编码器组件2.1.4解码器组件2.1.5输出组件2.1.6机器翻译示例2.1.7Transformer模型变体2.2Transformers库2.2.1基本组成2.2.2使用方法2.2.3未来发展实训任务2.3基于Transformer的中英翻译大模型的部署与使用模块小结模块练习65~6模块3大模型训练技术 6情景引入 59知识准备 603.1预训练 603.1.1数据准备 613.1.2模型架构设计 633.1.3分布式训练与优化 643.2微调 683.2.1全参数微调 693.2.2前缀微调 713.2.3提示微调 723.2.4LoRA 74实训任务 763.3LoRA轻量化微调 76模块小结 86模块练习 8667~8模块4大模型推理技术 6情景引入 88知识准备 894.1推理概述 894.1.1推理的工作流程 894.1.2核心挑战 904.1.3推理框架 904.2模型压缩和优化技术 954.2.1模型量化 974.2.2知识蒸馏 994.2.3模型剪枝 1014.2.4稀疏激活 103实训任务 1054.3知识蒸馏执行流程与可视化 105模块小结 116模块练习 11669~10模块5多模态大模型技术 6情景引入 118知识准备 1195.1多模态大模型概述 1195.1.1基本概念 1195.1.2模型架构 1205.2多模态大模型预训练与微调 1255.2.1预训练 1255.2.2微调 1275.3多模态推理与生成 129实训任务 1315.4多模态大模型驱动的图文生成实践 131模块小结 142模块练习 142611~12模块6提示工程 6情景引入 143知识准备 1446.1提示工程概述 1446.1.1提示工程核心要素 1446.1.2提示工程设计原则 1486.2提示方法原理 1506.2.1零样本提示 1506.2.2少样本提示 1516.2.3思维链提示 1526.2.4自洽性提示 1556.2.5思维树提示 156实训任务 1576.3问答任务提示方法效果对比 158模块小结 165模块练习 165613~14模块7大模型智能体情景引入 167知识准备 1687.1大模型智能体简介 1687.2大模型智能体核心组件 1697.2.1记忆组件 1697.2.2工具调用组件 1707.2.3任务规划组件 1717.3多智能体 1737.4大模型智能体主要协议 1747.4.1模型上下文协议 1747.4.2智能体对智能体协议 1777.5主流开发框架 180实训任务 1827.6电商大模型智能体构建与场景应用 182模块小结 191模块练习 191615~16模块8大模型问答系统开发实践 6情景引入 1928.1基础知识准备 1948.1.1大模型问答系统 1948.1.2检索增强生成 1958.2开源框架与应用 1968.2.1开源框架概述 1978.2.2AnythingLLM 1978.2.3大模型问答系统整体架构 1998.3大模型问答系统开发与部署 2008.3.1环境部署 2018.3.2构建本地知识库 2118.4问答系统开发 2188.4.1API介绍 2188.4.2问答系统开发 221模块小结 226模块练习 2266教材及主要参考书目：教材：《大模型技术与应用》参考书目：王志强，蔡平，王仪丰等．大模型技术与应用[M]．北京：清华大学出版社