Clement-从推理到执行：构建 AI Agent 全链路无侵入可观测体系

全球软件开发大会全球软件开发大会01Agent观测新挑战03全链路追踪05总结与展望Agent响应从3秒变成120秒，问题在哪?CodingAgent→沙箱执行入口→沙箱容器→bash-I→???→返回结果(超时120s)CPU8%,内存340MB,网络正常容器日志全球软件开发大会InfoQ极客传媒全球软件开发大会全球软件开发大会InfoQ极客传媒全球软件开发大会最终exec进去逐一排查，根因其实很简单——沙箱镜像的bashrc配了大量初始化脚本，每次bash-I要跑将近91秒。L-/opt/conda/bin/python(importsite-packages)~55s~1.2s~3.5s←目录遍历触发I/O~1.2s~3.5s←目录遍历触发I/Oeval“$(pyenvinit-)”~0.1s为什么Agent需要一种全新的可观测全球软件开发大会InfoQ极客传媒全球软件开发大会LLM推理驱动指令解析确定性：相同输入→相同路径静态路径：调用链在代码中静态定义日志审计：审计调用日志即可非确定性：同Prompt→不同ToolCall动态路径：LLM实时决定调哪个工具、传什么参数决策审计：需回溯”为什么Agent认为该执行这条命令”全球软件开发大会全球软件开发大会112能看到：控制平面的"意图"——谁请求了Exec233能看到：HTTP延迟与错误率□Agent的决策逻辑(LLM)→执行行为(Tool)→运行结果(Sandbox)的完整因果链采集需要新方案。全球软件开发大会InfoQ极客传媒全球软件开发大会2344□核心问题——怎么把四层断裂的上下文串起来?□核心问题——怎么把四层断裂的上下文串起来?全球软件开发大会InfoQ极客传媒全球软件开发大会TLS加密导致LLM流量黑盒容器隔离导致运行时不可见各层数据互相独立无法串联工具调用通过Stdio/MCP走进程管道Agent自身不知道命令是否真正成功现实中Agent运行环境和类型千差万别：有穿透容器一看到沙箱内每个进程的命令、输出、退出码Stdio感知一捕获进程间管道通信(覆盖MCPstdio场景)执行反馈—Agent能查询退出码/stderr/资源消耗，自主判断和排查SDK集成的Agent、无SDK的自研Agent、平台托管Agent、CodingAgent环境有：容器沙箱、虚拟机沙箱、环境有：容器沙箱、虚拟机沙箱、MCP场景等□我们需要一个不依赖业务代码、不绑定特定框架、能穿透容器和TLS的底层采集方案，和现有的SDK/平台方案形成互补。全球软件开发大会全球软件开发大会方案方案C:Proxy代理式优势：框架无关，接入简单局限：只能看Agrnt到大模型链路，工具调用和沙箱执行完全看不见优势：语义信息最丰富：完整局限：框架绑定、需改代码、运行时层完全无感代表：百炼、Dify、Coze整局限：平台锁定，运行时层依然是黑盒stdout/stderr是什么?这些进程和上层LLM对话有什么关系?全球软件开发大会InfoQ极客传媒全球软件开发大会全球软件开发大会InfoQ极客传媒全球软件开发大会穿透容器隔离，看到沙箱内每个进程的命Agent通过API查询退出码、stderr、资源消耗，自主判断执行效果□□最佳实践：SDK做上层语义增强，eBPF做底层运行时采集。两者互补，不是替代。深度行为感知如何构建Agent执行的“全息画像”全球软件开发大会InfoQ极客传媒全球软件开发大会PerfRingBuferPerfRingBufer资产+IAM资产+IAMrl_exec_stdio全球软件开发大会全球软件开发大会采集点获取的数据迟Agent→沙箱执行tracepoint(进程)+kprobe(stdio)调用关系、延迟method、工具名、参数、结果□□四条链路、三种探针类型(tracepoint/kprobe/uprobe),覆盖Agent的全部外部交互。全球软件开发大会InfoQ极客传媒全球软件开发大会全球软件开发大会全球软件开发大会Agent→LLMAgent→SandboxAgent→ToolAgent→MCPServer复用网络探针TLS透明解密进程全生命周期网络协议识别管道VO监控uprobe扫描RET指令偏移父子关系→进程树连接五元组·目标发现流量不经网卡stdout/stderr捕获进程生命周期一三个Tracepoint112233不管Agent通过kubectlexec、execd还是CRI调用进入沙箱，tracepoint都能捕获。回到开始的问题，如果有进程树，一目了然bash-I(PID4521,exit=0,~一目录遍历I/O一目录遍历I/OInfoQInfoQ极客传媒全球软件开发大会MCPMCPstdio传输模式：Agent和Tool(子进程)通过采集链路：采集链路：②内核态detect_jsonrpc()快速识别③用户态MCPParser解析Agent调用：Agent任务：“迁移前备份数据库”s3://backups/db.sql.gz”stderr:FATAL:passwordauthenticationfailedexitcode:2←dump失败，gzip输出0字节stdout:upload:...db.sql.gz→s3:/实际：备份文件0字节，迁移后无法回滚全球软件开发大会InfoQ极客传媒全球软件开发大会解析&识别解析&识别进程请求/响应/StreamingLLMAPI识别加密前/解密后拿到原始数据模型/Token/TTFT完整A2L可观测数据加密库全球软件开发大会覆盖Python/Node/curl等大部分场景能力1:Agent进程发现全量采集全量采集sched_process_exec触发向上遍历进程树(最深8层)Bootstrap模式：启动阶段放行所有exec事件仅过滤Bootstrap模式：启动阶段放行所有exec事件仅过滤IO事件，确保不遗漏新进程能力2:内核态流量分类13种协议推断链流量自动分类为5种Agent通信类型A2A2LA2T内部通信全球软件开发大会全球软件开发大会Agent报告成功，但实际未完成→内核证据vsAgent声明实际访问超出RBAC声明范围→行为vs声明偏移检测进程树显示相同命令循环执行→fork链模式识别RSS/CPU持续增长无收敛→进程级资源追踪纯被动观测，零配置声明。从网络流量中自动盘点Agent生态的完整资产图谱。频繁调用LLM端点的工Agent调用的下游服务：传统安全工具检测传统安全工具检测syscall异常，但缺少Agent语全球软件开发大会全球软件开发大会Token统计+TTFT多Provider完成检测能力3|Session预聚合全球软件开发大会全球软件开发大会全球软件开发大会InfoQ极客传媒全球软件开发大会我们已经有五层采集能力：LLM流量、Agent资产、K8s审计、运行时事件、进程链。但现在它们是五条独立的数据流。"我知道有一个GPT-4请求"45"eBPF捕获到一个bash进程"Agent框架不注入W3Ctraceparent,LLM请求无法溯源到具体AgentCRI不透传身份信息，审计日志和eBPF事件互不相识进程链断裂进程fork后缺少trace继承机制，子进程全球软件开发大会全球软件开发大会(无traceparent)②透明代理识别源Pod③注入traceparent幂等安全性能影响小全球软件开发大会InfoQ极客传媒全球软件开发大会全球软件开发大会eBPFtracepoint统一捕获--时空关联算法-eBPF先到→缓冲等待Redis时间桶索引Audit先到→桶内等待窗口±30s◎时间±30s命令分级匹配◎时间±30s命令分级匹配关联成功→继承至整棵子进程树进程树(trace:abc-123全树继承)根节点，fork+exec派生子进程12exec(启动)exit(退出)命令行argv、可执行文件路33全球软件开发大会InfoQ极客传媒全球软件开发大会全球软件开发大会ClaudeSonnet·3400tokens·TTFT22grep-rn"defcalculate"全球软件开发大会InfoQ极客传媒全球软件开发大会原始事件经过关联和聚合后，沉淀为四大类结构化指标，覆盖Agent全生命周期。所有指标通过标准Prometheus/Metrics端点暴露，支持ServiceMonitor自动发现。·执行时长与退出码分布·沙箱执行入口检测分类·待完成/已完成/超时计数·事件处理量与处理耗时·请求量与错误率(按模型/Provider)·延迟分布(端到端+TTFT)·eBPF程序运行次数与耗时全球软件开发大会InfoQ极客传媒全球软件开发大会查询API—查询API—从把五层关联后的数据，通过一个统一的查询API暴露出来。输入一个标识符，返回完整的、跨层关联后的执行档案。评测效果对比：成功/失败分布、退出码统计、资源消耗汇总会话回放：查看一个Agent会话的全部行为。返回时间排序的完整事件流API调用示例API调用示例→执行记录(命令/退出码/时长)→Stdio内容(TTL自动过期)全球软件开发大会InfoQ极客传媒全球软件开发大会共享层(跨实例一致)共享层(跨实例一致)2min)、Exec去重计数器、跨实例共享层：Redis优先，内存本地层(实例内缓存)本地层(实例内缓存)进程生命周期追踪器(64分片锁，纯内存)、SSE流式聚合器(按连接分桶)、事件环形缓冲区/TTL去重集合2本地层：亲和性路由消除分布式协调2hash(PodUID:PID)