阿里云 AgentCore 企业智能体构建与治理·广州站-把线上Trace变成可复用的经验 AgentLoop数据闭环的七个环节与两处交接_第1页
阿里云 AgentCore 企业智能体构建与治理·广州站-把线上Trace变成可复用的经验 AgentLoop数据闭环的七个环节与两处交接_第2页
阿里云 AgentCore 企业智能体构建与治理·广州站-把线上Trace变成可复用的经验 AgentLoop数据闭环的七个环节与两处交接_第3页
阿里云 AgentCore 企业智能体构建与治理·广州站-把线上Trace变成可复用的经验 AgentLoop数据闭环的七个环节与两处交接_第4页
阿里云 AgentCore 企业智能体构建与治理·广州站-把线上Trace变成可复用的经验 AgentLoop数据闭环的七个环节与两处交接_第5页
已阅读5页,还剩27页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

一阿里云一阿里云最佳实践分享变成可复用的经验AgentLoop数据闭环的七个环节与两处交接可观测接入可观测接入→数据处理→数据评估→人工标注→数据回流→经验挖掘→经验接入黄耿铿·无限极(中国)有限公司例:有没有讲免疫的课例:给老客户写段回访问题Agent上线只是起点。真正决定它第100次应Trace躺在观测系统里一阿里云可观测接入数据评估·维度:准确性/相关性/安全性/工具调用正落地切片·信号接入③先算谁一条回答=一个id优先评估→低于阈值→人工标注高分→作正样本→经验挖掘落地切片·ID注入为什么message_id进不去两条通路,各补一半落地切片·验证信息属性(31)资源(10)详情(8)事件(0)链接(0)Token消耗gen_ai.usage.input_tokensgen_aiusage.output_tokensgen_ai.usage.totaltokens√√其他信息6511b5a0-2284-4918-b709-d5d7aliyun.opentelemetry.instrumentation.otel.scope.version高亮那一行谁写进去的为什么非要它线上真实Span,不是示意图评估·判评规则判评规则原文评判规则&能力挂载归因标签(可选)归因标签(可选)评判规则-'agent_name':{{age-'history':{{history}}本轮之前最近20轮的完整步骤(含message/tool_calls/observation,已剔除source=system)-'history_turn_count':{{history_turn_count}}history覆-'has_skill':{{has_skill}}本轮是否命中技能("true"/"false")-'skill_content':{{skill_content}}命中技能的SKILL.md全文(按调用顺序)-'system_prompt':{{system_prompt}}业务系统提示词(首步message首个block)点击插入变量:{{input}}人工标注周期对齐回传周期与数据处理保持一致(天/时/分),批次编号随周期生成,禁止跨周期拼接。低于阈值→进标注队列→人工修正GOODCASE·GOODCASE·评估0.91业务方真正的处理流程与判断依据→落到知识库条目与检索策略高于阈值→作为正样本基线回传交接·经验发布一阿里云

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论