《大语言模型原理与应用》 -教案 第11章 大语言模型的评估

课次：第讲课程教案授课主题第十一章大语言模型的评估（概述与评估体系）章节内容11.1概述、11.2大语言模型评估体系及相关指标地点课时教学目的与要求1、了解大语言模型评估的重要性及行业挑战；2、掌握四大评估维度的核心内涵；3、熟练记忆各维度关键评估指标及适用场景；4、能够区分不同评估指标的应用边界。教学重点1、功能性、性能、对齐性、安全性评估的核心定义；2、自然语言理解、推理、生成能力的关键指标；3、性能评估中吞吐量、延迟等指标的实际意义；4、对齐性与安全性评估的核心关注要点。教学难点1、不同评估指标的适用场景区分；2、推理能力与生成能力评估的逻辑差异；3、对齐性评估中伦理合规与事实一致性的平衡。教学方法1、多媒体教学演示2、案例分析法3、讨论法教学手段网络资源应用、在线教学平台教学过程课程思政元素说明：*号标注的是课程思政的融入点一、情境导入，引出核心主题（一）教师通过医疗AI误诊、生成式AI传播虚假信息等案例，引出大语言模型评估的必要性。（二）介绍张钹院士在人工智能领域的奠基性贡献，强调AI技术评估的严谨性与责任感。（三）明确本章节学习目标：掌握多维度评估体系，具备基础评估实践能力。二、核心知识讲解（一）11.1概述1、大语言模型评估的核心价值：明确性能边界、保障应用安全、推动技术优化。2、行业挑战：价值观对齐、鲁棒性不足、多模态适配、低资源语言支持等。3、传统评估与现代评估方法的差异：自动评估、人工评估、LLM评估的互补性。（二）11.2评估体系及指标1、功能性评估：分自然语言理解（准确率、语义相似度等）、推理能力（MRR、Hit@K等）、生成能力（ROUGE、BLEU等）展开，结合SST-2、HotpotQA等数据集案例。2、性能评估：详解吞吐量、延迟、并发数、能耗等指标，对比GPT-3与TinyLlama的性能差异。3、对齐性评估：涵盖伦理合规（RAI指标）、偏见消减、毒性过滤、事实一致性四大模块。4、安全性评估：聚焦鲁棒性验证（对抗性攻击）与风险预警（红队测试）。三、归纳总结与随堂练习（一）回顾四大评估维度及核心指标，梳理指标适用场景思维导图。（二）随堂练习：判断不同应用场景（如智能客服、医疗辅助）的核心评估指标。（三）布置课后任务：查阅C-Eval基准官方文档，了解其数据集结构。课程导入环节，通过案例对比医疗AI误诊、生成式AI虚假信息传播等风险事件，引出评估必要性后，过渡到张钹院士的科研事迹，强化“严谨评估是AI技术落地前提”的认知。教学后记

课次：第讲课程教案授课主题第十一章大语言模型的评估（评估方法与基准）章节内容11.3大语言模型评估方法、11.4评估基准地点课时教学目的与要求1、掌握人工评估、LLM评估、对比评估的实施流程；2、理解麦克尼马尔检验等对比评估方法的原理；3、熟悉C-Eval、MMLU等主流评估基准的特点；4、能够根据任务需求选择合适的评估方法与基准。教学重点1、人工评估的评分设计与结果校准；2、LLM评估的指令设计与结果解析；3、主流评估基准的适用场景对比；4、对比评估的实操步骤。教学难点1、LLM评估与人工评估的结果一致性验证；2、评估基准的选择与任务匹配逻辑；3、对比评估的统计学意义解读。教学方法1、多媒体教学演示2、案例分析法3、讨论法教学手段网络资源应用、在线教学平台教学过程课程思政元素说明：*号标注的是课程思政的融入点一、回顾旧知，导入新知（一）回顾四大评估维度及核心指标，提问："如何科学验证不同模型在同一指标上的差异？"引出评估方法主题。（二）明确本讲目标：掌握三类评估方法，熟悉主流基准的应用。二、核心知识讲解（一）11.3评估方法1、人工评估：讲解评估团队组建、评分标准设计（如5级李克特量表）、结果一致性检验，分析其优缺点。2、LLM评估：演示基于GPT-4的评估流程，包括指令设计、样本输入、结果解析，对比其与人工评估的效率差异。3、对比评估：介绍麦克尼马尔检验的核心逻辑，结合模型A与模型B在文本分类任务上的表现案例，演示对比步骤。（二）11.4评估基准1、基准核心作用：性能衡量、能力诊断、比较竞争、应用指导。2、主流基准详解：-C-Eval：中文高级推理能力评估，涵盖多学科领域；-MMLU：多任务准确率评估，覆盖基础数学、计算机科学等；-GSM8K：小学数学推理任务，测试数值计算与逻辑能力；-HumanEval：代码生成功能正确性评估。3、基准选择原则：匹配任务场景、覆盖核心能力、兼顾数据多样性。三、归纳总结与随堂练习（一）梳理评估方法与基准的对应关系，形成选择决策树。（二）随堂练习：为"中文智能客服模型"选择合适的评估方法与基准。（三）布置课后任务：准备C-Eval评估环境搭建所需的依赖库清单。讲解“评估基准”模块时，对比主流基准的适用场景，重点分析C-Eval的数据集设计逻辑与应用价值，组织小组讨论“为什么中文AI模型需要专属评估基准”，深化对科技自主创新意义的理解。教学后记课次：第讲课程教案授课主题第十一章大语言模型的评估（实践操作与案例分析）章节内容11.5大语言模型评估实践、章节案例分析地点课时教学目的与要求1、掌握基于opencompass的C-Eval基准部署流程；2、能够独立完成环境配置、数据准备、评估执行与结果分析；3、熟练运用评估知识分析实际场景案例；4、具备多维度评估指标的权衡与优化能力。教学重点1、opencompass环境配置与C-Eval数据集部署；2、评估结果的关键指标解读；3、医疗、教育等场景的评估案例分析；4、多维度指标的权衡策略。教学难点1、评估环境的依赖冲突解决；2、评估结果的深度分析与问题定位；3、实际场景中评估维度的优先级排序。教学方法1、多媒体教学演示2、案例分析法3、讨论法教学手段网络资源应用、在线教学平台教学过程课程思政元素说明：*号标注的是课程思政的融入点一、明确实践目标，导入实操环节（一）强调评估实践的核心价值：将理论转化为实操能力，保障模型应用可靠性。（二）明确本讲实践任务：基于opencompass完成C-Eval基准评估，分析评估结果。二、实操环节讲解与演示（一）环境配置1、服务器开发环境创建与独立工作空间分配；2、Python、PyTorch、Transformers等依赖库安装；3、opencompass仓库克隆与工具安装，解决常见依赖冲突。（二）数据准备1、C-Eval数据集下载与解压；2、数据集结构解析（训练集、测试集、验证集划分）。（三）评估执行1、支持模型与数据集查询（pythontools/list_configs.pyinternlmceval）；2、评估命令执行与过程监控，常见错误排查。（四）结果分析1、评估报告解读：准确率、召回率等核心指标分析；2、模型优势与不足定位，提出优化方向。三、案例分析与综合应用（一）医疗诊断辅助系统案例：1、评估重点：功能性（医学术语理解、推理准确性）、对齐性（伦理合规）、安全性（鲁棒性）；2、权衡策略：优先保障安全性与对齐性，适当优化性能指标。（二）智能教育平台案例：1、评估重点：生成能力（答案准确性、可读性）、偏见消减（性别/地域无偏见）；2、权衡策略：平衡功能性与教育引导性。四