大语言模型概论（微课版）-教学大纲

《大语言模型概论》教学大纲（2025春季版）（适用于16周、32学时、2学分，可扩展为48学时）一、课程定位1.课程代码：AI309（建议）2.课程性质：专业核心选修（人工智能、计算机、软件、数据科学、语言学、教育技术等专业）3.前导知识：Python程序设计、线性代数与概率统计、机器学习基础（无先修可补2学时“AI数学速览”）4.课程目标（OBE四维-成果导向教育）·知识：系统掌握大模型“数据-算法-算力-伦理”完整知识体系。·能力：能独立完成“提示设计→微调→部署→评估”端到端实验，并撰写技术报告。·素养：建立“技术-社会-伦理”协同视角，具备AGI时代的责任创新意识。·发展：为学生进入大模型研发、产品、治理三类岗位奠定可迁移能力。二、毕业要求指标点对应·问题分析：能运用数学与AI基本原理分析大模型能力边界。·设计/开发：能针对真实场景需求设计可落地的大模型应用方案。·研究：能基于开放数据集与开源基座模型开展对比实验并解释结果。·终身学习：能追踪arXiv、HuggingFace、GitHub前沿动态并复现关键论文。·伦理与社会责任：能识别并缓解大模型在隐私、版权、偏见、能耗方面的潜在风险。三、学时分配与进度表周次学时知识单元（对应教材章）课堂教学重点实验/实践环节（2学时连排）课后作业（四选一）12第1章人工智能基础AI发展简史、三次浪潮、Transformer崛起Lab0：Python+PyTorch环境速配作业122第2章什么是大语言模型GPT家族演化、参数规模与能力跃迁Lab1：与3个在线大模型对话并记录幻觉案例作业232第3章语言模型及其发展从n-gram到LLaMA：数据-算法-算力三元组Lab2：使用Wiki数据训练2层小Transformer作业342第4章大模型架构注意力可视化、位置编码、多模态雏形Lab3：注意力热图可视化工具开发作业452第5章人工数据标注主动学习、弱监督、智能标注平台Lab4：Doccano文本标注实战（NER）作业562第6章大模型预训练数据Pile、ROOTS、中文WuDao数据处理流程Lab5：构建1GB领域语料并清洗作业672第7章大模型开发组织分布式训练、DeepSpeek、混合并行策略Lab6：单机多卡微调GPT-2（LoRA）作业782第8章提示工程与微调提示模式库、语境学习、PEFT系列Lab7：对比零样本/少样本/LoRA性能作业892第9章强化学习方法RLHF、PPO、奖励模型构建Lab8：使用RLHF微调对话模型（TRL）作业9102第9章（续）+阶段答疑案例：InstructGPT、ChatGPT能力溯源同上作业10112第10章大模型智能体ReAct、Toolformer、AutoGPT架构Lab9：构建“搜索+计算”智能体作业11122第11章大模型应用框架LangChain、LlamaIndex、RAG端到端Lab10：私域知识库问答系统作业12132第12章GenAI与AIGC文生图、文生视频、可控生成评估Lab11：StableDiffusion+ControlNet实践作业13142第13章技术伦理与限制深度伪造、数据主权、AI治理框架辩论赛：开源vs闭源大模型安全责任作业14152第14章通用人工智能AGI能力涌现、风险评估、对齐技术Lab12：小组展示AGIRoadmap海报课程总结报告162课程复习与期末考试闭卷+机考混合（40%客观+60%案例设计）合计：理论32学时，实验24学时（课外机房开放），研讨4学时，机动2学时。四、教学内容与深度要求单元1人工智能基础知识：图灵测试、AI三次浪潮、机器学习分类、深度网络演进。能力：能对比符号主义/连接主义/行为主义路线。高阶：解析“中国AI崛起”现象（政策、数据、场景、人才）。单元2大语言模型概念知识：生成式AI定义、LLM与GAN/VAE区别、幻觉成因。能力：能用“Blockhead”思维实验向非专业听众解释LLM工作原理。高阶：评估开源vs闭源模型的商业可行性。单元3语言模型发展知识：统计n-gram、神经LM、Transformer、MoE。能力：能推导自注意力公式并计算FLOPs。高阶：分析DeepSeek-MoE的稀疏化策略对能耗的影响。单元4大模型架构知识：GPT系列差异、思维链、指令微调、多模态架构。能力：能绘制完整的前向+反向传播示意图。高阶：设计“视觉-语言”联合提示模板并评估零样本性能。单元5数据标注知识：知识表示、标注类型、质量评估κ值。能力：能制定标注手册并计算IAA。高阶：引入主动学习循环，降低30%标注成本。单元6预训练数据知识：数据源、去重、隐私消歧、词元切分。能力：会用HuggingFace数据集句子片段构建中文语料。高阶：对比不同数据配比在下游任务上的缩放法则（ScalingLaw）。单元7开发组织知识：分布式训练、混合并行、检查点保存、容错。能力：能在4×A100环境完成1.3B模型继续预训练。高阶：估算训练成本（/(1×10²¹)FLOPs）并优化并行策略。单元8提示工程与微调知识：提示要素、语境学习、PEFT系列算法。能力：能使用LoRA在消费级GPU微调7B模型。高阶：构建领域提示库并发布到PromptHub共享。单元9强化学习知识：MDP、PPO、RLHF、RHF与DPO比较。能力：能训练6B奖励模型并完成1轮RLHF。高阶：分析奖励黑客现象及缓解策略。单元10大模型智能体知识：智能体要素、ReAct框架、工具调用。能力：实现“搜索+计算器+代码解释器”三工具智能体。高阶：评估智能体WebShop环境的成功率。单元11应用框架知识：RAG、LangChain六组件、向量数据库。能力：能搭建可水平扩展的私域问答系统。高阶：引入混合检索（稠密+稀疏）提升召回8%。单元12GenAI&AIGC知识：扩散模型、视频生成、AIGC评估指标。能力：能用Diffusers库微调文生图模型。高阶：设计“文本-草图-视频”级联生成管道（Pipeline）。单元13伦理与限制知识：数据主权、模型治理、深度伪造、碳排放。能力：能完成一次模型审计并出具伦理合规报告。高阶：制定“红队”测试方案并量化风险等级。单元14AGI知识：能力涌现、对齐、脑启发人工智能。能力：能撰写AGI技术趋势白皮书（2000字）。高阶：辩论“AGI是否应该立即开源”并给出政策建议。五、实验/实践体系（13小实验+1综合大作业）1.实验环境：·硬件：GPU服务器8×A10080GB；学生云账户（AutoDL/阿里云PAI）·软件：PyTorch2.2+CUDA12.1、Transformers、DeepSpeed、TRL、LangChain、Weights&Biases2.实验考核：·每次实验提交JupyterNotebook+Readme（≥500字反思）·自动评分：代码40%+结果30%+报告30%3.综合大作业（第16周展示）题目三选一：A.领域大模型微调与评估（需含数据清洗、LoRA、RLHF、自动评估）B.RAG智能问答系统（需含混合检索、WebUI、用户研究）C.多模态AIGC应用（文+图+视频任意组合，需原创提示工程）交付物：代码仓库+演示视频+技术报告（≥4000字）+海报评分：创新性25%、技术深度25%、工程完整20%、社会影响15%、答辩表现15%六、考核与评价成分权重说明平时作业（14次四选一）10%平台自动批改，取均值实验报告（13次）20%教师+TA双评，迟交-20%/天课堂研讨与辩论5%出勤+发言质量期中在线测试（第8周15%客观题+架构绘图题综合大作业20%同行评议+教师复核期末闭卷+机考30%理论闭卷40%+机考实操60%七、教材与资源1.主教材：《大语言模型概论（微课版）》韩志科等，人民邮电出版社，20252.参考书：-《UnderstandingLargeLanguageModels》SebastianRaschka,2024-《大模型技术：从理论到实践》李航等，2025-《ReinforcementLearningforLanguageModels》OpenAIBlog汇编3.开放资源：-课程GitHub：/youruni/LLM2025（含PPT、实验、数据集）-在线题库：-视频微课：每章3×8分钟，配套字幕与思维导图八、教学团队与分工-课程负责人：周苏教授（总体设计、伦理单元）-理论教学：韩志科副教授（架构、RL）、韩俊晓博士（预训练、数据）-实验教学：周彬斌高级工程师（分布式训练、云原生部署）-企业导师：王文（阿里云PAI架构师）负责RAG与AIGC实战-TA团队：博士生2名、硕士生4名，负责实验答疑与作业批改九、质量保障与持续改进1.每章结束24h内收集在线反馈（匿名问卷）