构建大规模Agent的CT系统：火山引擎Agent可观测实践

全球软件开发大会全球软件开发大会背景与挑战-Agent时代的黑盒困境破局之道-构建统一观测底座深水区探索：AgentKit0606全球软件开发大会构建大规模Agent的“CT系统”Agent正在重塑我们与软件、乃至与数字世界的交互犯错、变慢、甚至“发疯”?问题出现在哪里?犯错、变慢、甚至“发疯”?问题出现在哪里?亟需“亟需“CT系统”来看请它每一步的决策可解释可解释全球软件开发大会全球软件开发大会1复杂性剧增2黑盒状态3成本失控全球软件开发大会链路断：TracelD丢失/业务上下文断裂因果断：硬件指标与推理逻辑脱节全球软件开发大会构建统一观测基座全球软件开发大会全球软件开发大会全球软件开发大会可观测数据数据处理事件中心监控中心应用观测客户端观测Agent探测告警中心错误分析零代码无感接入+轻量配置管理+统一采集器OneAgentInfoQ极客传媒全球软件开发大会日志文件全球软件开发大会全球软件开发大会统一集成中心的核心：OneAgent性能优化实践全球软件开发大会全球软件开发大会据，避免对后端造成过大压力。发送并发度自适应调整发送并发度自适应调整·编码器性能提升30%以上：如需要内部排序。string创建，以减少小块内存分配。对象逃逸到堆上。创建和回收的临时对象。和延迟求值(lazy-evaluation),避免和函数调用开销。全球软件开发大会全球软件开发大会1.重载场景下OneAgent数据吞吐可以比OtelCollector高一倍600%200%话、Token密钥)防泄露。Debug级别的无用数据。确的业务语义。全球软件开发大会统一看板：全局视角的交互式洞察统一看板A统一看板预置行业模板沉淀Agent预置行业模板沉淀Agent与大模型领域的行业最完全兼容Grafana的JSON模型定义，支持海量存量Grafana看板的一键平滑导入与王C全球软件开发大会全球软件开发大会&=海量子产品异常输入&=海量子产品异常输入全局配置面板①降噪漏斗开箱即用的预置规则全球软件开发大会全球软件开发大会白盒化链路白盒化链路可解释归因可解释归因2慢在哪/错在哪/钱花在哪2支撑支撑闭环进化回流样本闭环进化回流样本→评测→优化→线上验证异常能被及时发现与路由全球软件开发大会全球软件开发大会深水区探索全球软件开发大会的利用率、显存消耗等基础设施指标完全关联，实现真正InfoQ极客传媒全球软件开发大会全球软件开发大会全球软件开发大会精确监控“首字返回时间(TTFT)”和“每Token生成时间(TPOT)”,帮助判断是模型“思考”慢还是“吐AAgentKit深度应用监控：什么是AgentKitAgentKit是为AIAgent构建、部署、运行提供支持的开发工具、记忆、知识、监控、评测等基础设施深度埋点和集成深度埋点和集成全球软件开发大会全球软件开发大会AgentKit调用和会话数据总览，可视化展示数据分布和趋势一tool-ca.一IIm-chat一tool-ge…Agent的执行数据分析，并通过饼图形式可视化展示分布数据AgentAgent链路剖析：白盒化的调用链分析会话详情会话详情会话iD开始时间：2025-06-0915:00:56TraceID:第3条调用链第4条调用链详细信息详细信息"validation_result":“验证结论：工具返回结果◎callim_task..8+163callImtask.8+163841InfoQ极客传媒全球软件开发大会全球软件开发大会全球软件开发大会0vikingknowledge_demo◆出×knowedbe.sborthholodse/>基本信息LM数据属性资源事件…日志分析自动刷新总错识车◎运行时监控Memory分析日志分析777工程化闭环全球软件开发大会观测数据回流观测数据回流将线上真实Trace的高价值样本(如典型失败案例、高频调用场景)自动回流到评测系统，构建离线评测离线评测在每次版本发布前，用回流数据对新旧版本进行离线对比和回归测试，用指标(如成功率、轨迹相似度)说话，确保“上线不翻车”整、检索策略优化、模型/路由策略切换),形成全球软件开发大会全球软件开发大会数据回流：连通观测与优化的桥梁集集全球软件开发大会评测体系：为Agent划定能力基准线252支持LLM支持LLM-as-a-Judge关键高风险回流数据进行人工标注对齐文转化为评测基准题库支持多源数据导入与灵模型微调提供高价值训全球软件开发大会全球软件开发大会全球软件开发大会评测体系：为评测体系：为Agent划定能力基准线▲火山引罩总豆dotaunI认填目②华北2(北京)数期明细CAgentkit←对L2个实验*汇总得分基197过道日四智磁件运行封能温今天趣几能温今天趣几InputTokens对比实验详情#77922*正确性人工校准人工校准x◎成功③9571ms四▲▲白的度对比多个实验的整体优劣，从「微观」视角比较每Ob落地为王全球软件开发大会 SLI度量先行，数据驱动的全链路可观测传统系统传统系统多次tool调用状态更新全球软件开发大会全球软件开发大会网关健康度端到端请求成功率、耗时-北极星指标消息出入队成功率3.Queue/调度层350执行成功率钱世俊钱世俊世俊9350任务创建成功率6.定时任务全球软件开发大会全球软件开发大会工具调用无法关联多个Agent个Agent的追踪信息都是孤立的，难以完全无法追踪工具调用的过程与细节。不足。信息非常稀疏，仅和会话状态等基础深度信息。由于Trace链路断裂且信息缺失，几乎无法对复杂问题进行有效的根因仅覆盖Agent自身，不具备跨端能力和扩展性。置即可使用“知道”有Agent在运行，内部工作细节和问题根源。Trace容易“断裂”,还原多Agent协作量人工拼凑。通过解析日志能够session.jsonl日分析出工具调用，志文件，进行事后但调用细节(如入拼凑和还原，信息参、耗时)丢失严存在滞后，且容易重。遗漏部分运行时细节。部分关键信息(如信息更偏点状、零通常更聚焦在盘，因此难以从日联和下钻分析需要对多Channel志中还原，对复杂投入较多人工梳理。信息和底层指标问题的分析颗粒度的覆盖相对有限。有限。需要手动安装依赖服务端日志解析功能。更适合用作基础的在复杂多Agent受到一定限制。能够串联主、子为工具调用提供独立的Span,并能与主Agent的定位到具体的入参与异常信息，精准复盘。深入OpenClaw信息完整、实时、可采集完整的模型词)、工具调用细节等运行时内存中可从业务指标下钻到Trace,再到并支持灵活扩展只需要一行命性，帮助团队“看本、指导优化。全球软件开发大会·文件日志采集(结构化诊断日志为主):典型是·宿主机指标采集(主动采集):将CPU,Mem,Load,IO·定时任务主动采集(主动采集):将系统定时任务以及Openclaw定时任务数量和运行状态周期性采集上报·原生采集的指标·日志转指标：字段提取+聚合计算+指标上报迭代与治理闭环全球软件开发大会系统定时任运行时Hook流水线处理触发SLI稳定性大盘智能告警全球软件开发大会全球软件开发大会业务价值衡量用户请求是否被成功完整地处“我的用户请求是否得到了有效回应?”反映绝大多数用户感知的端到端响应速度，比平均值更能代表真实体“我的用户是否在可接受的时间内得到了答复?”度量核心业务逻辑(Agent执行)“是Agent内部出错了，还是其他环节的问题?”(近似)关注用户是否快速收到了系统的初“