大语言模型技术与应用教学设计

第页《大语言模型技术与应用》教学设计课程名称：大语言模型技术授课年级：授课学期：教师姓名：2024年月章节名称第1章从人工智能起步计划课时2课时教学目标（1）熟悉人工智能定义及基础知识。（2）熟悉人工智能实现途径。（3）熟悉大数据与人工智能发展的关系。教学重点1.1什么是人工智能1.1.3人工智能定义1.2人工智能实现途径1.3人工智能知识要点1.3.1计算机建模1.3.2机器学习1.3.3监督学习与无监督学习1.3.4人工神经网络与深度学习1.4大数据助力人工智能1.4.3大数据与人工智能相辅相成1.5定义生成式人工智能1.5.1关键特征和类型1.5.2世界模型问题1.5.3知识传递和语言支持1.5.4开源还是闭源教学难点1.3人工智能知识要点1.3.1计算机建模1.3.2机器学习1.3.3监督学习与无监督学习1.3.4人工神经网络与深度学习1.4大数据助力人工智能1.4.1大数据三个思维转变教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：1.1什么是人工智能1.1.1“智能”的概念1.1.2人工智能的历史1.1.3人工智能定义1.1.4人工智能大师1.2人工智能实现途径1.3人工智能知识要点1.3.1计算机建模1.3.2机器学习1.3.3监督学习与无监督学习1.3.4人工神经网络与深度学习1.4大数据助力人工智能1.4.1大数据三个思维转变1.4.2大数据思维特点和原则1.4.3大数据与人工智能相辅相成1.5定义生成式人工智能1.5.1关键特征和类型1.5.2世界模型问题1.5.3知识传递和语言支持1.5.4开源还是闭源【作业】【实训与思考】了解典型的大语言模型教学后记授课结合实例：通过实际案例和示范演示，帮助学生理解课文内容。互动讨论：鼓励学生参与讨论，调用学生主动学习的积极性。章节名称第2章语言模型及其发展计划课时4课时教学目标（1）熟悉语言模型的定义。（2）熟悉大模型发展历程。（3）了解Transformer模型的核心知识。教学重点2.1语言模型的定义2.3TRANSFORMER模型2.3.1Transformer核心2.3.2Transformer过程2.3.3Transformer结构2.3.4Transformer模块2.4混合专家架构教学难点2.3TRANSFORMER模型2.3.1Transformer核心2.3.2Transformer过程2.3.3Transformer结构2.3.4Transformer模块教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时4：2.1语言模型的定义2.2大模型发展三阶段2.2.1基础模型阶段2.2.2能力探索阶段2.2.3突破发展阶段2.3TRANSFORMER模型2.3.1Transformer核心2.3.2Transformer过程2.3.3Transformer结构2.3.4Transformer模块2.4混合专家架构【作业】【实训与思考】熟悉阿里云大模型“通意千问”教学后记章节名称第3章大语言模型定义计划课时2课时教学目标（1）熟悉大语言模型基础知识。（2）熟悉大语言模型工作原理。（3）掌握大语言模型定义。教学重点3.1BLOCKHEAD思维实验3.2大语言模型的定义3.3大语言模型工作原理3.3.1大模型的研究基础3.3.2词元及其标记化3.3.3基础模型3.3.4词嵌入及其含义3.3.5基于Transformer模型3.3.6自注意力机制3.3.7生成和理解3.3.8预训练过程与微调3.4大模型的幻觉3.4.1幻觉的分类3.4.2产生幻觉的原因3.4.3检测大模型病症3.4.4减轻幻觉教学难点3.3大语言模型工作原理3.3.1大模型的研究基础3.3.2词元及其标记化3.3.3基础模型3.3.4词嵌入及其含义3.3.5基于Transformer模型3.3.6自注意力机制3.3.7生成和理解3.3.8预训练过程与微调教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：第3课大语言模型定义3.1BLOCKHEAD思维实验3.2大语言模型的定义3.3大语言模型工作原理3.3.1大模型的研究基础3.3.2词元及其标记化3.3.3基础模型3.3.4词嵌入及其含义3.3.5基于Transformer模型3.3.6自注意力机制3.3.7生成和理解3.3.8预训练过程与微调3.4大模型的幻觉3.4.1幻觉的分类3.4.2产生幻觉的原因3.4.3检测大模型病症3.4.4减轻幻觉【作业】【实训与思考】基于CHATGPT的免费工具：CHATAI小组件教学后记章节名称第4章大语言模型架构计划课时2课时教学目标（1）熟悉大语言模型生成原理。（2）了解多模态语言模型。（3）掌握大语言模型结构与应用技术架构。教学重点4.1生成式预训练语言模型4.2大语言模型生成技术4.2.1思维链4.2.2上下文学习4.2.3指令微调4.2.4零样本/少样本4.2.5训练策略及优化4.3多模态语言模型4.3.1多模态指令微调4.3.2多模态上下文学习4.3.3多模态思维链4.3.4大模型辅助视觉推理4.5应用技术架构教学难点4.1生成式预训练语言模型4.2大语言模型生成技术4.2.1思维链4.2.2上下文学习4.2.3指令微调4.2.4零样本/少样本4.2.5训练策略及优化4.3多模态语言模型4.3.1多模态指令微调4.3.2多模态上下文学习4.3.3多模态思维链4.3.4大模型辅助视觉推理教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：第4课大语言模型架构4.1生成式预训练语言模型4.2大语言模型生成技术4.2.1思维链4.2.2上下文学习4.2.3指令微调4.2.4零样本/少样本4.2.5训练策略及优化4.3多模态语言模型4.3.1多模态指令微调4.3.2多模态上下文学习4.3.3多模态思维链4.3.4大模型辅助视觉推理4.4大语言模型的结构4.4.1关键组成与设计原则4.4.2稀疏注意力机制分类4.5应用技术架构【作业】【实训与思考】熟悉百度大模型“文心一言”教学后记章节名称第5章人工数据标注计划课时2课时教学目标（1）了解人工智能的知识表示方法。（2）熟悉数据表示基础知识与分类。（3）掌握数据标注执行方法。教学重点5.2什么是数据标注5.3数据标注分类5.3.1图像标注5.3.2语音标注5.3.33D点云标注5.3.4文本标注5.4执行数据标注5.4.1制定标注规则5.4.2数据标注过程5.4.3标注团队管理教学难点5.1知识表示方法5.1.1知识的概念5.1.2知识表示的定义5.1.3知识表示的过程教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：5.1知识表示方法5.1.1知识的概念5.1.2知识表示的定义5.1.3知识表示的过程5.2什么是数据标注5.3数据标注分类5.3.1图像标注5.3.2语音标注5.3.33D点云标注5.3.4文本标注5.4执行数据标注5.4.1制定标注规则5.4.2数据标注过程5.4.3标注团队管理5.5智能数据标注【作业】【实训与思考】熟悉GLOBEEXPLORER智能搜索引擎教学后记章节名称第6章大语言模型预训练数据计划课时2课时教学目标（1）熟悉大语言模型的预训练数据知识。（2）熟悉预训练数据处理知识，了解数据训练集、测试集和验证集。（3）重视数据印象的分析，了解数据集面临的挑战。教学重点6.1数据来源6.1.1通用数据6.1.2专业数据6.2数据处理6.2.1质量过滤6.2.2冗余去除6.2.3隐私消除6.2.4词元切分6.3数据影响分析6.3.1数据规模6.3.2数据质量教学难点6.5数据集面临的挑战6.5.1规模和质量待提升6.5.2大模型与数据集相辅相成6.5.3标准规范需健全6.5.4存储性能待提高教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：6.1数据来源6.1.1通用数据6.1.2专业数据6.2数据处理6.2.1质量过滤6.2.2冗余去除6.2.3隐私消除6.2.4词元切分6.3数据影响分析6.3.1数据规模6.3.2数据质量6.4典型的开源数据集6.4.1Pile6.4.2ROOTS6.5数据集面临的挑战6.5.1规模和质量待提升6.5.2大模型与数据集相辅相成6.5.3标准规范需健全6.5.4存储性能待提高6.6训练集、测试集、验证集的异同6.6.1训练、测试与验证数据集的不同之处6.6.2训练、测试与验证数据集的相似之处【作业】 111【实训与思考】熟悉科大讯飞大模型“讯飞星火认知”教学后记章节名称第7章组织大语言模型开发计划课时2课时教学目标（1）熟悉大语言模型开发组织的基础知识。（2）熟悉大语言模型数据处理的组织流程。（3）理解分布式计算、分布式数据处理以及训练策略。教学重点7.1大模型开发流程7.2大模型数据处理7.2.1数据采集7.2.2数据清洗和预处理7.2.3数据标注7.2.4数据集划分7.2.5模型设计7.2.6模型初始化7.2.7模型训练7.2.8模型验证7.2.9模型保存7.2.10模型测试7.2.11模型部署7.3分而治之的思想7.3.1分布式计算7.3.2消息传递接口MPI7.3.3MapReduce模型7.3.4批处理和流处理教学难点7.4分布式训练与策略7.4.1什么是分布式训练7.4.2数据并行性7.4.3模型并行性7.4.4流水线并行性7.4.5混合并行7.4.6分布式训练集群架构教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：7.1大模型开发流程7.2大模型数据处理7.2.1数据采集7.2.2数据清洗和预处理7.2.3数据标注7.2.4数据集划分7.2.5模型设计7.2.6模型初始化7.2.7模型训练7.2.8模型验证7.2.9模型保存7.2.10模型测试7.2.11模型部署7.3分而治之的思想7.3.1分布式计算7.3.2消息传递接口MPI7.3.3MapReduce模型7.3.4批处理和流处理7.4分布式训练与策略7.4.1什么是分布式训练7.4.2数据并行性7.4.3模型并行性7.4.4流水线并行性7.4.5混合并行7.4.6分布式训练集群架构【作业】【实训与思考】程序员：文心大模型开发代码智能体教学后记章节名称第8章大语言模型智能体计划课时2课时教学目标（1）熟悉智能体及其环境知识。（2）了解智能体的良好行为和环境本质。（3）熟悉智能体基本结构。教学重点8.1智能体和环境8.2智能体的良好行为8.2.1性能度量8.2.2理性8.3环境的本质8.3.1指定任务环境8.3.2任务环境的属性教学难点8.4智能体的结构8.4.1智能体程序8.4.2学习型智能体8.4.3智能体组件的工作8.5构建大模型智能体教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：8.1智能体和环境8.2智能体的良好行为8.2.1性能度量8.2.2理性8.3环境的本质8.3.1指定任务环境8.3.2任务环境的属性8.4智能体的结构8.4.1智能体程序8.4.2学习型智能体8.4.3智能体组件的工作8.5构建大模型智能体【作业】【实训与思考】人形机器人创业独角兽FIGUREAI教学后记章节名称第9章强化学习方法计划课时2课时教学目标（1）熟悉强化学习方法及其主要概念。（2）熟悉强化学习的知识基础。（3）熟悉深度强化学习知识。教学重点9.1强化学习的概念9.1.1强化学习的定义9.1.2不同于监督和无监督学习9.1.3不同于传统机器学习9.1.4大模型的强化学习9.1.5先验知识与标注数据9.2强化学习基础9.2.1基于模型与免模型环境9.2.2探索与利用9.2.3片段还是连续任务9.2.4网络模型设计9.3强化学习分类9.3.1从奖励中学习9.3.2被动与主动强化学习9.3.3学徒学习【作业】【实训与思考】熟悉文生视频大模型SORA教学难点9.2强化学习基础9.2.1基于模型与免模型环境9.2.2探索与利用9.2.3片段还是连续任务9.2.4网络模型设计9.4深度强化学习教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：9.1强化学习的概念9.1.1强化学习的定义9.1.2不同于监督和无监督学习9.1.3不同于传统机器学习9.1.4大模型的强化学习9.1.5先验知识与标注数据9.2强化学习基础9.2.1基于模型与免模型环境9.2.2探索与利用9.2.3片段还是连续任务9.2.4网络模型设计9.3强化学习分类9.3.1从奖励中学习9.3.2被动与主动强化学习9.3.3学徒学习9.4深度强化学习【作业】【实训与思考】熟悉文生视频大模型SORA教学后记章节名称第10章提示工程与技术计划课时2课时教学目标（1）熟悉人工智能定义及基础知识。（2）熟悉人工智能实现途径。（3）熟悉大数据与人工智能发展的关系。教学重点10.1提示工程的定义10.2提示的原理10.2.1提示构成10.2.2提示调优10.3提示工程技术10.3.1链式思考提示10.3.2生成知识提示10.3.3少样本提示10.3.4自一致提示10.3.5思维树提示10.3.6提示的通用技巧10.4提示学习和语境学习10.4.1提示学习10.4.2语境学习10.4.3提示学习与语境学习的关系教学难点10.2提示的原理10.2.1提示构成10.2.2提示调优10.3提示工程技术10.3.1链式思考提示10.3.2生成知识提示10.3.3少样本提示10.3.4自一致提示10.3.5思维树提示10.3.6提示的通用技巧教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：10.1提示工程的定义10.2提示的原理10.2.1提示构成10.2.2提示调优10.3提示工程技术10.3.1链式思考提示10.3.2生成知识提示10.3.3少样本提示10.3.4自一致提示10.3.5思维树提示10.3.6提示的通用技巧10.4提示学习和语境学习10.4.1提示学习10.4.2语境学习10.4.3提示学习与语境学习的关系【作业】【实验与思考】文生图：注册使用MIDJOURNEY绘图工具教学后记章节名称第11章微调与检索增强生成计划课时2课时教学目标（1）熟悉大模型的各种微调工程技术，掌握PEFT微调方案。（2）熟悉检索增强生成技术及其运用方法。（3）掌握提示工程、微调工程和检索增强生成技术的不用应用场景。教学重点11.1为什么要微调11.2微调工程定义11.2.1微调工程关键步骤11.2.2上下文窗口扩展11.2.3手动构建指令11.2.4自动构建指令11.3技术路线与流行方案11.3.1微调技术路线11.3.2提示微调11.3.3前缀微调11.3.4LoRA方法11.3.5QLoRA方法11.4检索增强生成技术11.4.1信息检索基础11.4.2检索增强生成的定义11.4.3检索增强生成核心组成11.4.4检索增强生成工作原理教学难点11.3技术路线与流行方案11.3.1微调技术路线11.3.2提示微调11.3.3前缀微调11.3.4LoRA方法11.3.5QLoRA方法11.4检索增强生成技术11.4.1信息检索基础11.4.2检索增强生成的定义11.4.3检索增强生成核心组成11.4.4检索增强生成工作原理教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2:11.1为什么要微调11.2微调工程定义11.2.1微调工程关键步骤11.2.2上下文窗口扩展11.2.3手动构建指令11.2.4自动构建指令11.3技术路线与流行方案11.3.1微调技术路线11.3.2提示微调11.3.3前缀微调11.3.4LoRA方法11.3.5QLoRA方法11.4检索增强生成技术11.4.1信息检索基础11.4.2检索增强生成的定义11.4.3检索增强生成核心组成11.4.4检索增强生成工作原理11.5检索增强生成与微调对比【作业】【实训与思考】熟悉智谱华章大模型“智谱”教学后记章节名称第12章大语言模型应用框架计划课时2课时教学目标（1）了解大模型内涵的哲学思想。（2）熟悉大模型应用流程。（3）熟悉大模型的应用场景。教学重点12.2大语言模型应用流程12.2.1确定需求大小12.2.2数据收集12.2.3数据集预处理12.2.4大模型预训练12.2.5任务微调与部署12.3大语言模型应用场景12.3.1大模型典型应用领域12.3.2大模型助力医疗诊断教学难点12.1大语言模型哲学问题12.1.1组成性12.1.2天赋论与语言习得12.1.3语言理解与基础12.1.4知识传递和语言支持教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：12.1大语言模型哲学问题12.1.1组成性12.1.2天赋论与语言习得12.1.3语言理解与基础12.1.4知识传递和语言支持12.2大语言模型应用流程12.2.1确定需求大小12.2.2数据收集12.2.3数据集预处理12.2.4大模型预训练12.2.5任务微调与部署12.3大语言模型应用场景12.3.1大模型典型应用领域12.3.2大模型助力医疗诊断【作业】【实践与思考】精通垃圾分类的ZENROBOTICS机器人教学后记章节名称第13章技术伦理与限制计划课时2课时教学目标（1）理解人工智能面临的伦理挑战。（2）熟悉数据隐私及其保护对策。（3）熟悉人工智能伦理原则，了解大模型的知识产权保护。教学重点13.1人工智能面临的伦理挑战13.1.1人工智能与人类的关系13.1.2人与智能机器的沟通13.2数据隐私保护对策13.2.1数据主权和数据权问题13.2.2数据利用失衡问题13.2.3构建隐私保护伦理准则13.2.4健全道德伦理约束机制13.3人工智能伦理原则13.3.1职业伦理准则的目标13.3.2创新发展道德伦理宣言13.3.3欧盟可信赖的伦理准则教学难点13.4大模型的知识产权保护13.4.1大模型的诉讼案例13.4.2尊重隐私，保障安全，促进开放13.4.3边缘群体的数字平等教学方式结合PPT开展课堂理论教学，引导学生阅读课文并做好课堂笔记教学过程课时2：13.1人工智能面临的伦理挑战13.1.1人工智能与人类的关系13.1.2人与智能机器的沟通13.2数据隐私保护对策13.2.1数据主权和数据权问题13.2.2数据利用失衡问题13.2.3构建隐私保护伦理准则13.2.4健全