教案12 大模型训练技术_第1页
教案12 大模型训练技术_第2页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

课题大模型训练技术总课时4主备教师高楚其教学目标1.知识目标：掌握大模型定义、预训练与微调技术2.能力目标：能够理解LoRA、QLoRA等高效微调方法3.素养目标：认识大模型对科学研究的影响教学重点大模型分类：语言大模型、视觉大模型、多模态大模型预训练方法：自回归预训练、自编码预训练、编码器解码器预训练模型压缩：剪枝、量化、知识蒸馏微调技术：LoRA、QLoRA、PromptTuning、PrefixTuning教学难点LoRA低秩适应的数学原理QLoRA如何在有限显存下微调大模型思维链（ChainofThought）提示技术课前预习教学过程首次备课板块一：导入新课展示ChatGPT、通义千问、文心一言等大模型引出大模型训练的核心技术板块二：讲授新知1.大模型概述（8分钟）定义：参数规模达到亿级以上的深度学习模型分类：语言大模型（GPT系列）、视觉大模型（CLIP、StableDiffusion）、多模态大模型（GPT4V、Gemini）训练流程：数据收集→构建架构→预训练→微调→评估→部署2.预训练技术（10分钟）自回归预训练：GPT系列自编码预训练：BERT系列编码器解码器预训练：T5、BART模型压缩：剪枝：移除不重要的神经元量化：FP32→INT8→INT4知识蒸馏：大模型指导小模型学习3.微调技术（12分钟）全参数微调的问题：显存占用大、训练时间长LoRA：低秩适应，在权重矩阵旁边添加低秩矩阵QLoRA：量化LLM的LoRA微调PromptTuning：学习软提示词PrefixTuning：在每层注意力前添加可学习前缀思维链（CoT）：引导模型逐步推理板块三：实践演示使用HuggingFacePEFT库实现LoRA微调板块四：总

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论