Agent 可观测与效果评估平台

•未查询订单就直接回复•未查询订单就直接回复客服Agent调整systemprompt造成回复质量下降。•请求成功率正常•时延、成本无明显变化•没有触发异常告警生成内容错误执行路径偏离工具调用缺失上下文错误Agent任务失败生成内容错误执行路径偏离工具调用缺失上下文错误Agent任务失败传统软件故障业务逻辑错误业务逻辑错误峰值流量峰值流量运行时异常运行时异常基础设施故障基础设施故障Evaluation-DrivenDevelopmentEvaluation-DrivenDevelopmentTest-DrivenDevelopment•从真实咨询中抽取100条用例•构建•从真实咨询中抽取100条用例•构建SOP执行评估器•SOP执行通过率作为打分指标•回归测试通过率验证•加入prompt变更回归测试•筛选转人工会话，查看Trace•对比prompt更新前后的执行路径•发现物流咨询没有查询订单人工标注评估Evaluation人工标注评估EvaluationObservabilityTraceTrace检索与可视化超长Trace，获取整个Trace查询慢超长Trace，获取整个Trace查询慢倒排索引倒排索引·文本秒级检索，延迟物化·按需加载内存存算分离存算分离·数据写入一次，对象低成本存储2单机版极简轻量安装包<400MB单机版极简轻量安装包<400MB无需Docker·25秒安装Agent生态丰富大幅增加Agent支持Hermes·OpenClaw等存储成本最高降88%无需外部依赖单进程运行存储空间(GB)65%88%88%在100+AI生态集成基础上，大幅增加Agent对接EnterpriseEnterprise✓深度优化·成本节省80%✓企业级特性ComingSoonCloud✓免维护开箱即用✓litefuse.cloud✓阿里云SelectDBOpenSource✓单机版·极致简洁轻量✓分布式版·成本节省50%上线一个月真实开发者自发注册开发者够用的免费额度”2323411元数据→Trace数据的量变让传统可观测技术的假设失Trace数据的量变让传统可观测技术的假设失成本成本↓75-88%●BM25相关性打分与排序●SQL与Lucene两种检索语法长文本字段倒排索引短语检索秒级返回PB级存储·PB级存储·百GB/s写入·秒级检索2023年起在MiniMax、阶跃星辰、字节、快手等生产验证●trace_idhash分桶，数据局部性好●文件内按trace●trace_idhash分桶，数据局部性好●文件内按trace_id排序、物理聚簇●trace_id前缀索引快速定位●范围scan一次取回整条Trace●复用面向用户实时分析的成熟机制→物理聚簇·数据局部性→前缀索引+范围scan→●写入时自动识别JSON字段名与类型●写入时自动识别JSON字段名与类型●拆成子列、列式存储，压缩率高●查询只读相关子列，读取量大降●无需耗时的JSON解析过程{{"model":"opus-4","usage":{"input_tokens":…},"tool_calls":[…],"total_cost":0.07}→子列→子列model●对象存储只存1份，告别多副本●对象存储只存1份，告别多副