Agent 评估与优化开发者沙龙上海站 -Agent 优化全链路 把每一次真实运行变成下一次改进的证据

AgentLoopWHYOPTIM看不清问题只能靠投诉暴露，无法回到异常Step看不清问题只能靠投诉暴露，无法回到异常Step。评不准没有统一样本、Rubric与证据，优化靠感评不准没有统一样本、Rubric与证据，优化靠感真正的竞争力，不是“偶尔答对”，而是能持续证明改不动不知道该改Prompt、Tool、Skill、模型还是守不住缺少质量、成本、安全与回滚门禁。AgentLoop01数据接入01数据接入0703数据集04数据处理0506 03数据集04数据处理0506 02观测贯穿全链路的四类指标质量AgentLoopAgentLoop用统一数据底座连接产当前产品能力、工程实践与增强方向分层呈现，避免把方法论误读成“一键自动化”。产品现有能力已验证实践增强方向产品模块产品模块数据集数据处理评估任务数据资产数据资产评估报告经验优化编排优化编排成本特征经验挖掘版本生命周期按需召回禁能力边界Dataset、Pipeline、评估、实验可分别形成闭环AgentLoop01·DATAACCESS助手类Agent助手类Agent注解埋点/网关配置基础设施框架类Agent统一轨迹契约统一轨迹契约消息角色user/assistant/toolinput/output/cache执行事实参数、结果、错误、耗时Agent、任务、场景标签近期实践提醒：如果源Agent没有上报Token，后续页面不能“推算补齐”；必须回到源响应→探针事件→Trace逐层验证。AgentLoop02·OBSERVEAICodingAICoding常见效率信号产出密度output/total：有效信息转化02·找对象主题与归因Agent·模型·工具·Skill·Cache03·看Step证据与行动消息·入参·结果·错误·Token01·看全局趋势与健康度总Token·成本·成功率·时延复用与重复AgentLoop03·DATASET核心能力与长期质量基线变更门禁与防退化后训练集黄金轨迹与专家标注核心能力与长期质量基线变更门禁与防退化后训练集黄金轨迹与专家标注低分样本与BadCase复现哪些Trace入选样本顺序防止随机漂移可追溯同一批数据回到原始Trace/Step数据集不是一次性抽样，而是客户持续优化、比较与发布的共同事实底座。数据集不是一次性抽样，而是客户持续优化、比较与发布的共同事实底座。AgentLoop04·DATAPROCESSING数据处理把原始调用链变成可评估的完整轨迹LLM/语义加工意图·主题·风险·业务标签·智能标注·经验候选只做需要语义理解的增值加工，并保留模型版本与证据。LLM/语义加工意图·主题·风险·业务标签·智能标注·经验候选只做需要语义理解的增值加工，并保留模型版本与证据。CleanedSpan→→→成本/工具/结果→CPU/规则流水线过滤·标准化·去重·脱敏·字段校验·组装投递优先保证可重放、可对账、可追溯。AgentLoop05·EVALUATE评估不仅回答“好不好”，还要回答“哪里错、为什么、谁来改”按任务复杂度选择评估方式确定性校验简单语义任务AgentJudge复杂任务按任务复杂度选择评估方式确定性校验简单语义任务AgentJudge复杂任务+Tool/Skill关键样本二次复核任务结果完成率·正确性·业务规则执行过程规划·工具选择·参数·验证成本效率Token·Step·工具输出·时延安全可靠权限·合规·风险·稳定性统一统一Rubric与可解释证据，把专家判断沉淀为可批量运行AgentLoop信号/证据根因对象行动/Owner重复读取同一文件Skill/工具策略缓存摘要·增量读取工具结果过大limit·filter·字段裁剪同一错误原样重试Planning/修复策略解释机制·最小delta长会话持续膨胀Context/使用方式压缩·任务边界·新Session简单任务用高能力模型复杂度分流·模型路由优化问题优化问题=具体对象+证据+根因状态+改法+收益口径+质量护栏+验收标准AgentLoop06·EXPERIMENT所有优化都必须经过同样本A/B与发布门禁076.6BaselineCandidate示例中质量8.7示例中质量8.7→8.7；Token−23.4%；工具输出−43.9%。单样本不外推。质量≥基线且效率改善→发布；质量下降→回滚AgentLoop07·OPTIMIZEAgentLoop用归因证据帮助客户选择更准确的优化Agent侧Skill/Tool优化工平台侧Context裁剪、压缩、分层加载与Session边界Policy/Guardrail风险拦截、熔断、灰度与回滚经验（经验（Experience）AgentLoop经验从真实轨迹中形成，也必须能被更新与停用1问·做·验·答23456更新·降权·停用有效做法与反例证据·边界·风险来源·状态·版本AgentLoopR近期实践让我们把“优化”做得更科学、更可信采集完整性源响应没有usage，后续不能凭页面采集完整性源响应没有usage，后续不能凭页面验证顺序：源事件→探针→Trace→实验可比性剔除runner失败、限流与notcomparable。Baseline与Candidate只允许一个变指标与身份守恒Trajectory、Step、对象归因必须对得先修Unknown/未分类，再生成优化客户价值：减少“误优化”，让每个结论都能回到事实、每个收益都能重复验证。AgentLoop