AI智能体开发课件第22章

AI智能体开发新手必修课第22章：评估维度与指标设计讲师：资深AI工程师|日期：2026年3月课程简介学习目标掌握评估维度与指标设计的方法。理解评估工具与方案设计的原理。能够使用评估工具对智能体进行评估。内容概览评估维度与指标设计评估工具与方案设计实战案例：对已开发智能体进行功能/性能评估目录评估维度与指标设计涵盖任务完成率、工具调用准确率、回复相关性、鲁棒性、成本及时延等核心指标。评估工具与方案设计主流评测框架解析、评测数据集构建策略、离线评估流程与在线A/B测试方案。实战案例：智能体评估运用专业评估工具，对已开发智能体进行全方位的功能与性能深度评测演示。互动实操任务学员动手实践，对指定智能体进行功能与性能评估，巩固所学知识。常见问题排查与本章总结汇总评估过程中常见的疑难杂症及解决方案，系统回顾本章核心知识点，强化理解。评估维度与指标设计任务完成率智能体完成用户分配任务的比例，核心指标之一。工具调用准确率智能体正确识别意图并调用对应工具的比例。回复相关性回复内容与用户原始问题的匹配程度。鲁棒性面对干扰、异常输入或复杂场景时的稳定性。成本智能体运行过程中的Token消耗与资源占用。时延从用户提问到智能体给出最终响应的时间延迟。图：评估维度与指标架构演示评估工具与方案设计核心评估工具Ragas：开源评估框架，专注于LLM应用性能评估。DeepEval：开源评估框架，支持LLM应用全流程测试。全流程评估方案1.评测数据集构建：构建包含多样化测试用例的基准数据集。2.离线评估：在隔离环境中对智能体性能进行全面测试。3.在线A/B测试：在真实线上环境验证策略效果差异。评估流程可视化图示展示了从数据集构建到最终在线验证的完整闭环流程，确保评估结果的科学性与可靠性。高效的评估体系是保障LLM应用质量的关键环节实战案例：对已开发智能体进行功能/性能评估任务目标选取模块二或模块五开发的智能体（如“智能客服”），设计10个测试问题（包含边缘情况），运行评估，记录失败案例，分析日志并给出优化方案。实现思路选取智能体：确定评估对象（如智能客服）设计测试问题：覆盖常规及边缘场景运行评估：执行测试并记录结果记录失败案例：重点标记异常情况分析日志：定位技术瓶颈与逻辑缺陷给出优化方案：迭代模型与策略关键提示：在评估过程中，需重点关注智能体在边缘场景下的表现，失败案例的日志分析是优化迭代的核心依据。智能体评估代码示例（1）ragas_evaluation.pyfromragasimportevaluatefromragas.metricsimportanswer_relevance,faithfulness#定义评估数据集dataset=[{"question":"什么是AI智能体？","answer":"AI智能体是一种能够感知环境、决策思考、执行动作的自主系统。"},{"question":"智能体与传统AI工具有什么区别？","answer":"智能体是大脑+手脚，不仅会思考，还会调用工具、记忆信息和规划任务。"},]#运行评估result=evaluate(dataset,metrics=[answer_relevance,faithfulness])#打印评估结果print(result)代码功能解析这段代码使用Ragas库对智能体的回答质量进行自动化评估。核心逻辑是定义包含问题和答案的数据集，然后调用评估函数，指定使用“答案相关性”和“忠实性”两个关键指标来量化智能体的表现。智能体评估代码示例（2）evaluate_agent.pyfromdeepevalimportevaluatefromdeepeval.metricsimportAnswerRelevanceMetric#定义评估数据集dataset=[{"question":"什么是AI智能体？","answer":"AI智能体是一种自主系统。"},{"question":"智能体与传统AI区别？","answer":"智能体是大脑+手脚。"},]#运行评估result=evaluate(dataset,metrics=[AnswerRelevanceMetric()])print(result)代码逻辑解析1.导入库与指标引入DeepEval核心库及关键指标AnswerRelevanceMetric，用于评估答案相关性。2.定义数据集构建包含“问题-答案”对的列表，作为模型评估的输入数据。3.执行评估调用evaluate函数，传入数据集和指标列表，自动运行评估流程。关键提示：使用DeepEval可以自动化地对智能体的输出质量进行量化评估，不仅限于答案相关性，还支持事实性、有害性等多种维度的检测。互动环节：实操任务介绍任务目标选取模块二或模块五开发的智能体（如“智能客服”），设计10个测试问题（包含边缘情况），运行评估，记录失败案例，分析日志，并给出优化方案。任务步骤分解1.选取智能体选取模块二或模块五开发的智能体（如“智能客服”）2.设计测试问题设计10个测试问题，重点包含边缘情况测试3.运行评估使用Ragas或DeepEval工具对智能体进行自动评估4.记录失败案例详细记录评估过程中智能体回答错误或不符合预期的案例5.分析日志分析智能体运行日志，定位导致失败的根本原因6.给出优化方案基于分析结果，提出具体的优化策略和改进方案实操任务步骤详解1.选取智能体选取模块二或模块五开发的智能体（如“智能客服”）。2.设计测试问题设计10个测试问题，需包含边缘情况以确保覆盖全面。3.运行评估使用Ragas或DeepEval专业工具对智能体性能进行评估。4.记录失败案例详细记录评估过程中出现的错误回答或异常情况。5.分析日志深入分析智能体的运行日志，精准定位问题产生的根本原因。6.给出优化方案基于分析结果，制定并实施具体的优化方案，提升智能体性能。通过这六个步骤的闭环操作，确保智能体系统的稳定性与准确性持续提升。实操任务评判标准选取智能体正确选取模块二或模块五开发的智能体（如“智能客服”）。10分设计测试问题正确设计10个测试问题，需包含边缘情况测试。20分运行评估正确使用Ragas或DeepEval等工具对智能体进行评估。20分记录失败案例准确记录评估过程中出现的失败案例，便于后续分析。20分分析日志正确分析智能体运行日志，精准定位问题产生的原因。20分给出优化方案基于分析结果，提出合理且可行的智能体优化方案。10分任务总分：100分|请对照标准自查，确保覆盖所有关键环节，提升实操质量。常见问题排查Q1:评估工具安装失败？检查工具的安装命令和环境配置是否正确。Q2:评估结果不符合预期？检查测试问题的设计和评估指标的设置是否正确。Q3:日志分析困难？使用Langfuse、LangSmith等平台的Trace功能进行链路追踪。本章总结评估维度与指标设计深入掌握了评估维度的构建逻辑与关键指标的设计方法，为量化评估打下基础。评估工具与方案设计透彻理解了各类评估工具的原理及适用场景，能够独立设计完整的评估实施方案。智能体评估实操能够熟练运用评估工具对智能体的性能表现进行多维度的量化评估与结果分析。实战能力提升通过真实场景的动手实操，将理论知识转化为解决实际问题的能力，显著提升实战水平。课后任务选取智能体选取模块二或模块五开发的智能体，例如“智能客服”作为测试对象。设计测试用例设计10个测试问题，需包含常规问答及边缘情况，覆盖不同场景。运行与评估运行测试，记录失败案例，深入分析日志，找出问题根源。