2025 GOPS 全球运维大会暨研运数智化技术峰会·深圳站：可观测与大模型技术在运营商的融合实践探索

可观测与大模型技术在运营商的融合实践探索何林艳目录/CONTENTS1广东移动端到端可观测体系介绍2大模型技术的融合探索实践3未来运维演进及展望广东移动端到端可观测体系介绍广东移动运维数智化发展历程容器运维能力体系建设端到端可观测体系建设应用、实例、服务等多个层次的AIOPS运维能力提升业务可观测和大模型探索进一步扩展端到端可观测范围，同时开展大模型应用探索，打造客服政企售后助手、帮助与反馈等。开展运维产品化打造，孵化运维能力和大模型应用赋能GOGOPS全球运维大会暨研运数智化技术峰会2025·深圳站GOGOPS全球运维大会暨研运数智化技术峰会2025·深圳站背景及现状业务量大部署架构复杂业务部署架构复杂传统监控手段不适用云原生和微服务海量服务下的故障诊断存在效率瓶颈无法直接感知用户体验和业务办理情况运维重复性工作与降本增效冲突加剧容器环境监控不了啊容器环境监控不了啊！！运维人员：服务显示正常啊系统架构日趋复杂，运维复杂度和工作量日益加剧，急需解决！GOGOPS全球运维大会暨研运数智化技术峰会2025·深圳站广东移动可观测体系—全栈立体化覆盖用户体验清单用户体验差异分析用户体验总览用户操作回溯分析用户体验清单用户体验差异分析用户体验总览用户操作回溯分析用户体验看板其他用户视角可观测体系体验度、操作耗时业务实况多维分析业务总览交易清单业务详情其他业务视角交易量、失败量、时长☆业务性能可观测前端页面总览页面性能回溯前面页面台账APP卡顿分析页面异常诊断其他WEB页面(APP)可观测前端视角点击量、错误数、时长应用实例台账应用台账应用总览服务详情服务清单其他应用视角/组件可观测☆应用性能可观测应用、实例、服务/用户视角可观测体系体验度、操作耗时业务实况多维分析业务总览交易清单业务详情其他业务视角交易量、失败量、时长☆业务性能可观测前端页面总览页面性能回溯前面页面台账APP卡顿分析页面异常诊断其他WEB页面(APP)可观测前端视角点击量、错误数、时长应用实例台账应用台账应用总览服务详情服务清单其他应用视角/组件可观测☆应用性能可观测应用、实例、服务/组件视角容器容器资源清单/详情容器资源总览组件台账容器资源可观测物理资源台账物理资源总览云平台清单云平台总览云平台详情其他基础设施资源可观测资源视角云平台、物理主机☆用户体验分析运营人员}运营人员运维人员应用性能可观测-层级递进式分析•以分值形式评估应用运行状态;•指标逐步汇总下级资源的健康度、告警数据、事件数,以及服务运行状态的关键指标,如响应时长、响应状态、请求数等;1健康度评估•实时监控服务访问状况,分类统计慢服务、调用失败量等信息4应用实时监控核心功能•通过系统资源关系和实时服务调用关系,自动生成资源拓扑和服务关系拓扑;•及时发现异常节点的资源关系和服务调用关系,辅助故障处理;2自动绘制应用拓扑•对捕获的异常栈代码和线程栈源码展开分析5源码级诊断分析•对应用性能监控采集的指标数据进行分析;•性能指标包含应用响应时长、JVM指标、FullGC、线程池、连接池等多个维度;3指标汇总分析•对多个应用实例进行对比分析,用于定位异常的实例6多场景异常分析覆盖广东移动核心系统40余个监控近20000个应用实例提升排障效率40%以上业务性能可观测-关键过程可视化监控业务性能观测首先完成对业务定义，将业务操作过程与服务指纹一一对应起来，最终实现对业务关键指标的监控。业务定义方式：人工梳理业务步骤或者服务自动发现，自动发现只需定义首末操作点，中间环节通过服务调用自动发现。/url1(去掉所有参数)/url3(URL+关键参数)//url1(去掉所有参数)/url3(URL+关键参数)/url4+xpath4服务发现与配置业务操作过程配置2选择号码业务操作过程配置3选择套餐业务操作轨迹配置4录入信息业务操作轨迹配置5资格校验业务办理组合配置6提交末业务办理组合配置业务环节监控配置业务操作过程服务指纹提取业务关键指标将业务定义好后，通过业务与服务监控数据关联就可以完成对业务响应时长、办理时长、交易失败量、成功率等关键指标的观测。目前省内监控关键业务超过190+个，提升业务故障处置效率40%。用户体验可观测-前台用户行为溯源页面响应情况问题定界技术根因性能分析体验感知治理建议》 台统部 台统部纽源码定位源码定位滚动推广优先覆盖核心系统，逐步推广至其他域可观测体成效检验定期评估使用成效，问题和需求跟踪闭环可观测体系建设经验总结滚动推广优先覆盖核心系统，逐步推广至其他域可观测体成效检验定期评估使用成效，问题和需求跟踪闭环需求精准基于实际运维痛点，挖掘需求阶梯推进分阶段实施可观测与大模型的关系智能故障诊断BOMC监控告警故障自愈运维数智大模型运维巡检助手运维知识问答应急演练助手智能故障诊断BOMC监控告警故障自愈运维数智大模型运维巡检助手运维知识问答应急演练助手一线客服助手知识更新知识沉淀规则沉淀故障诊断故障卡片故障根因智能决策知识匹配自愈操作指标辨析指标分析异常检测…可观测数据应用运维数仓资源数据日志数据调用链数据告警数据指标数据拓扑数据全景端到端可观测应用性能监控浏览器监控基础设施监控容器监控Web运维数仓资源数据日志数据调用链数据告警数据指标数据拓扑数据全景端到端可观测应用性能监控浏览器监控基础设施监控容器监控Web用户业务性能监控组件监控用户监控APP监控第三方数据源集成可观测能力体系监控对象网络链路可观测监管对象监控对象网络链路可观测监管对象数据库服务器应用移动用户数据库服务器应用容器云构建从用户端到网络链路再到应用等监控对象的全流程观测能力，将采集的告警、指标、拓扑、资源、调用链等各类数据汇聚，形成运维数仓，为上层智能故障诊断和运维数智大模型应用提供基础数据来源。大模型技术与可观测的融合大模型应用意图识别分执行智能体智能体大模型融合可观测过程大模型融合可观测过程数智运维能力大模型能力规划图谱数智运维能力数据安全数据安全工作流助手智能体工作流助手智能体知识库插件数据源……底座模型GOPSGOPS全球运维大会暨研运数智化技术峰会2025·深圳站算力磐智平台-英伟达V100S磐智平台-昇腾npu-Ascend910B4GOGOPS全球运维大会暨研运数智化技术峰会2025·深圳站处置交互查询深圳CRM今天的整体情况处置交互查询深圳CRM今天的整体情况是是否否是是否否执行预案智能体统执行预案智能体统意图识别智能体API返回结果大模型总结大模型总结大模型总结大模型总结实现系统态势感知、分析及处置分步执行预案对话的方式式引导执行应急演练预案演练后生成报告应急演练执行后通过大模型总结自动生成演练报告大模型运维实践案例二：应急演练助手分步执行预案对话的方式式引导执行应急演练预案演练后生成报告应急演练执行后通过大模型总结自动生成演练报告查询演练预案查询演练预案自然语言对话方式查询应急演练预案预案查询智能体统一意图识别智能体预案查询智能体统一意图识别智能体预案执行智能体预案执行智能体预案知识库报告生成智能体预案知识库报告生成智能体大模型运维实践案例三：数据库运维专家开场白、用户建议智能体实现流程Copliot对应数据库脚本执行智能体插件/工作流Copliot对应数据库脚本执行…Knowledge知识库……聚智平台聚智平台数据库运维管理平台数据库日常巡检时间由原来1小时减少至5分钟以内，故障诊断修复效率提升83.3%，人力成本降低2/3。大模型演进过程中碰到的问题和挑战应对方案大模型应用实际效果与预期差距大不同系统数据割裂,整合困难不同对象数据标准不一,难以应用332数据治理数据供给建立规范化供给流程建立统一质量标准建立统一的CMDB定