AI智能体开发课件第24章

AI智能体开发新手必修课第24章：日志收集与问题定位讲师：资深AI工程师|日期：2026年3月课程简介学习目标掌握日志收集的方法。理解问题定位的原理。能够使用日志收集与问题定位工具来调试智能体。内容概览1日志收集介绍2问题定位方法3Langfuse链路追踪4LangSmith链路追踪5实战案例：对已开发智能体进行功能/性能评估核心价值：通过掌握日志与调试工具，提升智能体开发效率与稳定性。目录日志收集介绍定义、作用及收集方法详解问题定位方法快速定位问题的核心思路与技巧Langfuse链路追踪功能详解与实操指南LangSmith链路追踪深度解析与应用场景实战案例评估智能体功能与性能调试实战互动实操任务动手实践，巩固所学技能常见问题排查典型问题解决方案与技巧本章总结核心知识点回顾与总结学习目标掌握智能体调试全流程日志收集介绍定义：收集智能体运行过程中产生的各类日志信息，涵盖输入、输出、中间结果及错误信息等全链路数据。核心作用问题定位：通过分析日志快速定位运行异常与故障点。性能优化：基于日志数据洞察瓶颈，提升智能体运行效率。安全监控：实时监控日志，识别潜在安全风险与异常访问。图：日志收集标准架构流程问题定位方法问题定位是指通过分析日志信息，定位智能体运行过程中出现的问题，确保系统稳定运行。日志分析通过分析系统日志信息，快速定位问题发生的根本原因。链路追踪全链路追踪智能体调用过程，精准定位故障节点位置。性能分析监控关键性能指标，识别系统瓶颈并进行优化。图：问题定位标准流程示意图Langfuse链路追踪图示：Langfuse链路追踪核心流程示意核心功能开源的链路追踪平台，专注于追踪智能体的调用链路，精准定位问题节点，优化系统性能。使用流程01.安装平台：部署Langfuse服务端环境02.配置参数：设置API密钥及监控指标03.代码集成：将SDK集成到智能体代码中04.运行观测：启动智能体，生成链路数据05.分析优化：分析链路耗时，定位性能瓶颈LangSmith链路追踪功能概述LangSmith是一个开源的链路追踪平台，专为LLM应用设计，可全链路追踪智能体调用过程，精准定位异常节点与性能瓶颈。核心使用流程安装平台：部署LangSmith服务端或使用云端服务配置参数：设置APIKey及环境变量，开启追踪模式集成代码：在智能体代码中集成LangSmithSDK运行智能体：触发任务，自动生成全链路追踪数据分析诊断：可视化分析链路数据，定位性能瓶颈关键价值全链路可视化：清晰展示从请求到响应的每一步骤，包括LLM调用、工具调用等。异常快速定位：通过红色标记异常节点，缩短故障排查时间。性能优化：统计各节点耗时，针对性优化高延迟环节。实战案例：对已开发智能体进行功能/性能评估任务目标选取模块二或模块五开发的智能体（如“智能客服”），设计10个测试问题（含边缘情况），运行评估并分析日志，最终给出优化方案。实现思路选取智能体并确定评估维度设计覆盖核心场景及边缘情况的测试问题运行评估，记录失败案例与异常日志分析日志定位问题，输出优化方案关键提示：评估过程中需重点关注智能体在边缘场景下的表现，日志分析是定位幻觉、逻辑错误等问题的关键手段，需针对性优化提示词或知识库。智能体评估代码示例（1）langfuse_evaluation.pyimportlangfuse#初始化Langfuselangfuse.init(secret_key="YOUR_SECRET_KEY",public_key="YOUR_PUBLIC_KEY",host="",)#创建一个跟踪会话trace=langfuse.trace(name="智能体评估",input="用户问题：什么是AI智能体？",)#记录智能体的输出并结束会话trace.log(name="智能体输出",output="AI智能体是一种自主系统...").end()代码解析这段代码演示了如何使用LangfuseSDK对智能体进行评估。通过初始化客户端，创建跟踪会话，并记录关键的输入输出数据，实现对智能体行为的全程监控与分析。智能体评估代码示例（2）langsmith_evaluation.pyimportlangsmith#初始化LangSmithclient=langsmith.Client(api_key="YOUR_API_KEY",api_url="",)#创建一个跟踪会话并记录输入输出trace=client.create_trace(name="智能体评估",input="用户问题：什么是AI智能体？")client.create_span(trace_id=trace.id,name="智能体输出",output="AI智能体是自主系统...")client.update_trace(trace_id=trace.id,status="completed")代码解析这段代码演示了如何使用LangSmith客户端对智能体进行评估。关键步骤包括：初始化客户端、创建跟踪会话（Trace）记录输入、创建跨度（Span）记录智能体的输出，最后更新会话状态。这是构建可观测性AI系统的基础。互动环节：实操任务介绍任务目标选取模块二或模块五开发的智能体（如“智能客服”），设计10个测试问题（包含边缘情况），运行评估，记录失败案例，分析日志，并给出优化方案。任务步骤1.选取智能体选取模块二或模块五开发的智能体（如“智能客服”）。2.设计测试问题设计10个测试问题，重点覆盖边缘情况。3.运行评估使用Langfuse或LangSmith对智能体进行运行评估。4.记录失败案例详细记录评估过程中出现的失败案例。5.分析日志分析智能体的日志，精准定位问题原因。6.给出优化方案基于分析结果，提出具体的优化改进方案。实操任务步骤详解选取智能体选取模块二或模块五开发的智能体（如“智能客服”）。设计测试问题设计10个测试问题，覆盖常规场景并包含边缘情况。运行评估使用Langfuse或LangSmith对智能体进行自动化评估。记录失败案例详细记录评估过程中智能体回答错误或不合规的失败案例。分析日志深入分析智能体日志，定位问题根源，是逻辑错误还是数据缺失。给出优化方案根据分析结果，制定具体的优化策略，如微调提示词或补充知识库。遵循“评估-记录-分析-优化”闭环，持续提升智能体性能实操任务评判标准成功选取智能体(10分)能够正确选取模块二或模块五开发的智能体（如“智能客服”）。成功设计测试问题(20分)能够正确设计10个测试问题（包含边缘情况）。成功运行评估(20分)能够正确使用Langfuse或LangSmith对智能体进行评估。成功记录失败案例(20分)能够正确记录评估过程中的失败案例。成功分析日志(20分)能够正确分析智能体的日志，定位问题原因。成功给出优化方案(10分)能够正确根据分析结果，给出优化方案。任务总分：100分|请对照以上标准检查实操成果常见问题排查Q1:日志收集失败？检查日志收集工具的配置和参数是否正确，确保数据源路径无误。Q2:问题定位困难？使用Langfuse、LangSmith等平台的Trace功能进行全链路追踪，快速定位异常节点。Q3:日志分析困难？借助专业的日志分析工具进行结构化解析和可视化展示，提升分析效率。本章总结日志收集介绍掌握了日志收集的方法，能够有效地捕获系统运行数据。问题定位方法理解了问题定位的原理，能快速定位异常发生的根源。Langfuse链路追踪掌握了Langfuse的链路追踪功能，实现可视化监控。LangSmith链路追踪掌握了LangSmith的链路追踪功能，优化智能体执行流程。智能体评估能够使用日志收集与问题定位工具来调试智能体，提升性能。核心目标达成全面掌握了从日志收集到智能体调试的全流程技能，具备独立排查能力。课后任务选取智能体选取模块二或模块五开发的智能体（如“智能客服”）作为测试对象。设计测试问题设计10个测试问题，必须包含边缘情况，以全面评估智能体能力。运行与评估运行评估，重点记录失败案例，并深