2026云栖大会资料-「Agent 工程化」方向-Agent 观测与优化 AgentLoop 助力企业智能体构建进化数据飞轮

助力企业智能体构建进化数据飞轮涯海阿里云高级产品专家·AgentLoop产品负责人11为什么需要AgentLoop22什么是AgentLoop33真实场景案例与业务价值上线后才是真问题持续迭代形成飞轮企业Agent竞争：从“能做”到“持续做好”上线后才是真问题持续迭代形成飞轮生产级Agent的真正分水岭企业Agent生产落地六大挑战企业Agent观测与优化平台设计原则是面向智能体生产环境的以「全栈观测→效果评估→持续优化→实验回测」为主线构建数据进化飞轮持续提升企业Agent的效果、性能、成本与安全企业Agent观测与优化平台系统架构业务方效果提升满意度AI/运维平台方成本治理支持效率算法/工程团队评估回归CXO/管理层AI生产力风险可控完成率故障定位稳定性数据资产Tool迭代组织效能规模复制运维AgentAPI安全审计持续优化评估报告数据存储与加工游戏Agent数据管线变更门禁实验记录运行沙箱CodingAgent控制台全栈观测归因分析推理轨迹采集探针完成率故障定位稳定性数据资产Tool迭代组织效能规模复制运维AgentAPI安全审计持续优化评估报告数据存储与加工游戏Agent数据管线变更门禁实验记录运行沙箱CodingAgent控制台全栈观测归因分析推理轨迹采集探针通用Agent效果评估资产管理上下文资产权限配置业务层交互层能力应用层数据资产层基础设施层客服Agent评测数据集模型服务客户实测：Agent效果与效率全面提升北极星指标覆盖度北极星指标覆盖度对话/日全栈观测评估准确率评估迭代周期标注数据数据集企业Agent数据飞轮：从一次会话到持续进化Agent数据采集：无侵入、广覆盖、高质量高代码AI框架模型ProviderAICodingAgent协议/基础设施OpenTelemetryQoderAgentScopeQwenCodeQwen-AgentAnthropic小结高代码AI框架模型ProviderAICodingAgent协议/基础设施OpenTelemetryQoderAgentScopeQwenCodeQwen-AgentAnthropic小结低代码/无代码低代码/无代码OpenAI以零代码自动插桩连接Python、Java、Go、Node四类语言生态，统一沉淀Agent运行轨迹GenAI字段规范三层对齐1社区开源标准，含step/MCPspan扩展。2采集层扩展session/turn/cost等字段。3产品侧数据契约，面向存储与消费统一对齐。GenAI字段规范三层对齐有效字段覆盖率·LoongSuiteGenAI字段规范三层对齐1社区开源标准，含step/MCPspan扩展。2采集层扩展session/turn/cost等字段。3产品侧数据契约，面向存储与消费统一对齐。OTelGenAILoongSuiteAgentLoop调用树/链路图/时序线节点详情定位LLM/Tool/RAGToken、TTFT、错误上下文回放调用树/链路图/时序线节点详情定位LLM/Tool/RAGToken、TTFT、错误上下文回放Agent全栈观测：从链路诊断到实时治理场景化监控与分析Token用量与成本趋势模型性能、工具调用、用户分析异常识别与治理优先级场景化监控与分析Token用量与成本趋势模型性能、工具调用、用户分析异常识别与治理优先级实时告警与治理应用/Agent/模型阈值规则成本、错误、延迟、缓存命中告警触发后进入故障处置实时告警与治理应用/Agent/模型阈值规则成本、错误、延迟、缓存命中告警触发后进入故障处置442规则命中低保真信号收敛3语义判定还原意图与边界高保真事件影响面与证据聚合风险概览/趋势看板证据详情/会话定位回放推理/工具调用等评估输入经验沉淀训练样本可视化分析Agent回放推理/工具调用等评估输入经验沉淀训练样本可视化分析roottaskmessages_delta去重复历史消息toolcall保留关键OTel字段rag/otherToolDefinition工具定义SystemPrompt系统提示词BizTags业务标签roottaskmessages_delta去重复历史消息toolcall保留关键OTel字段rag/otherToolDefinition工具定义SystemPrompt系统提示词BizTags业务标签一行完整轨迹多Span一行完整轨迹多Span调用树 serve评估 serve评估·训练等核心SchemaV1.7V1.7extra业务语义不改核心不改核心Schema加载技能Agent-as-a-Judge：专家级自动评估aa核心价值核心价值按业务场景分类样本按业务场景分类样本规则与能力加载上线前质量守护理由与评估过程把业务判断变成可运行规则明确评价对象、证据边界、评分档位与封顶规则编排Prompt、变量、工具与把业务判断变成可运行规则明确评价对象、证据边界、评分档位与封顶规则编排Prompt、变量、工具与Skill，形成可执行配置复用线上样本逐条验分，确认后版本化发布把专家经验沉淀为可复用、可迭代、可治理的评估资产评估器共创工作台业务专家用自然语言定义标准，系统生成可运行Evaluator复用与治理→→→→→→→逐条校准Agent归因分析：从评分到行动建议低分/失败会话稳定性不足换模型规则缺口Agent归因分析：从评分到行动建议低分/失败会话稳定性不足换模型规则缺口风险未拦截加规则参数错误拆解遗漏顺序失当指令不清偏好冲突召回不足知识过期补知识Agent实验回测：确保变更都是正向优化候选版本锁定基线先测再放量真实流量验证候选版本锁定基线先测再放量真实流量验证阈值统一判定正向优化上线BAAPI事实性评估器API事实性评估器ugc-api-reference-skill权威速查：签名/参数/返回值真实样本16项API检查正确5/错误9/无核验2评估结果人工二次复核週代APISkill新版本Skill打包测试发布游戏项目代码库上线APIBadcase数据集离线实验回测评估结果对比验证通过上线读评估理由→回轨迹看现场→回官方文档核对签名前置槽位校验·语义路由表·回读验证·诚实声明Hook对话式安装API评估器打分低分根因回写发起对话生成轨迹评估打分核心流程轨迹三级取证护栏回写LoongSuite游戏APISkills游戏客户端谁的飞轮转得快，Agent就会越聪明“当Agent具备自进化能力，企业AI的竞争壁垒将从——阿里云AgentLoop团队数据驱动·不靠感觉→→数据越多·Agent越聪明