从 AIOps 到 Agent Ops：故障定位 Agent的设计与实践

全球软件开发大会从AlOps到AgentOps:InfoQInfoQ极客传媒全球软件开发大会全球软件开发大会InfoQ极客传媒全球软件开发大会Dashboard、告警、人工分析异常检测、告警降噪、根因维度分析CopilotAl问答、Human+AI协同数据建设智能化数据应用智能化系统交互智能化全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会调用关系(调用关系(A→B)jobjob全球软件开发大会InfoQ极客传媒全球软件开发大会全局查看系统状态全局查看系统状态全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会InfoQ极客传媒全球软件开发大会体全球软件开发大会全球软件开发大会全球软件开发大会InfoQ极客传媒全球软件开发大会规则名称规则名称基础设施→>LinuxHost→$busigroup基础设施→>LinuxHost→$busigroup二编辑规则(LinuxHost二编辑规则(LinuxHostWithMetainfo)筛选条件卡片信息(包括路径信息，各称信息等)将从路选指梯的标签中获取，相应的信息可以通过“筛选标签”指定，并在其它地方通过安量形式引用该标签的值。锦选标签：namespace、deployment卡片信息(包括路径信息，各称信息等)将从路选指梯的标签中获取，相应的信息可以通过“筛选标签”指定，并在其它地方通过安量形式引用该标签的值。锦选标签：namespace、deployment卡片名称可命名为：Sinstance卡片添加位置可为：kB→Snamespace→$deployment→Sinstance微服务→服务概况筛选指标筛选指标锦选标签busigroup值提取×+筛选标签V下钻路径④+筛选标签◆堪强标签配置下钻路径后，可从灭火图卡片直接下钻查看相关信息，快速遍历问题分析的路◆堪强标签配置下钻路径后，可从灭火图卡片直接下钻查看相关信息，快速遍历问题分析的路可将卡片标签作为变量，填写到下钻路径，如：URL仪表盘地址，TraceService/span,日志查询过滤条件等处。以实现精准下钻。祥例：卡片标签包含：service,下钻ur地址：http/iashcat可用标签(侵量);Sbuslgroupsdent对象类型对象类型Linux机器常用指标(如果只想看当前业务组内的机器修改大..SlocalurVcomponents/dashboard/detail?_uuid_=1全球软件开发大会InfoQ极客传媒全球软件开发大会全球软件开发大会全球软件开发大会假设-验证避免误导避免误导全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会支持单次推理全球软件开发大会全球软件开发大会全球软件开发大会InfoQ极客传媒全球软件开发大会全球软件开发大会全球软件开发大会AIAI集成全球软件开发大会InfoQ极客传媒全球软件开发大会T酥酥ElasicserchClokHo事件数据源事件数据源☆自定义蠕聘添环云造控CM全球软件开发大会InfoQ极客传媒全球软件开发大会全球软件开发大会全球软件开发大会数据源分析88:6333/mMSQLRemoteColletCategRedi.RemoteColetLCRedisLocaLColletCaRedis实例本地)Linux主机含元信息)拔测(HTTPACMP/TCPUDP)匹配数据存活率、CPU内存磁盘使用率进程数量、CPU内存使用在这个空间下，分析Flashcat_Prom数据源中的数据，并创建灭火图卡片规则数据源(ID:10174)进行分析和创建卡片规则。覆盖的观测对象需要补充。00n温温兴加9加9销Mypa.anMypa.an-审审44++全球软件开发大会全球软件开发大会全球软件开发大会全球软件开发大会灭火图三订单提交首页/功城接口/电商/订单子系统指标趋势特征分析墙值线同环比V下钻路径日志检索知识库特征分析Tracing告警事件事件墙买火图仪表盘③htp.response.status_oode请轴人普进备件>网约车20>地图4响应码分布⑦延时50分位延时50分位延时平均值一当前一前一天一前一周全球软件开发大会全球软件开发大会-分析服务接口常因，分析完后直出模固日态检累常根因分析结论2.服务器础盘过载(h0ERedn)全球软件开发大会全球软件开发大会no-reply-catonotice.fla灭火图巡检报告灭火图巡检报告空间：spuced|返检船围：202604051713-1725(ci卡片总数：一、巡检概览spacespace-d空间共监控135张详情卡片，覆盖4个分层：微服务(10张)、组件(7张)、中间件(12张)、基础设施(106张)。通检期间共检测到2段异常波段：第一段持续4分钟(17:20~17:23),短暂恢复1分钟后再次出现异常(17:25)。异常高峰时有1张卡片飘红，异常集中在组件层的KAFKA.时间(ST时间(ST)11许11119请巡检当前空间的灭火图，分析系统的隐患和问题，生成巡检报告，以邮件形式发送到，核心根因：核心根因：Kafka消费组n9e-e-monitor-group存在严重消费堆积·n9e-self-monitor-group消费组：预估消费时长飘升至11,403ms,存在严重消费堆积，是触发异常的直接原因，·fe-se-monitor-group消费祖：消费时长在332~2,018ms之间波动，存在不稳定现象。·fe-se-monitor主题：生产速率在123.87~186.33之间波动较大，可能影哨消费稳定性。1.1.Kafka消费组严重堆积：n9e-selfmonitorgroup消费组预估消费时长达11,403m(约11秒),远超正常水平，消费者可能存在进程异常、性能期颈或分区分配不均的问题。2.异常间歌性反复：异常在短暂恢复后再次出现(17:23恢复→17:25再次异常),说明根本原因未解决，消费堆积可能持续恶化。3.3.fe-semonltorgroup消