2025 GOPS 全球运维大会暨研运数智化技术峰会·上海站：可视化到智能化在平安金融系统的运维实践

暨研运数智化技术峰会中国

·上海2025年10月17日-18日

ps-XO025GOPS承办单位：

华佑科技指导单位：

0

品

品

P第27届上

海

站Shanghai

2015-2025主办单位开放运维联盟OOPSA

Open

OPSAliancE高效运维社区GralOPSCcmmuntyBizDevops可视化到智能化在平安金融系统的运维实践姓名：杨勇

◎时间：2025/10/17ANNIVERSARY2015-2025GOPS

2025Shanghai目

录

大模型：为可视化注入智能灵魂智能化运维：重构场景，定义未来GOPS

全球运维大会暨研运数智化技术峰会2025·

上海站ANNIVERSARY2015-2025运维困境：数据之痛与系统之难可视化：打开运维的“上帝视角“◎1◎2◎3◎4GOPS2025ShanghaiANNIVERSARY2015-2025GOPS

2025

Shanghai运维困境：数据之痛与系统之难数据不全、不准、各环节数据未关联拉通，是实现自动化智能化运维的一大痛点；系统架构复杂，问题排查困难01GOPS

全球运维大会暨研运数智化技术峰会2025·上海站Shanghai

2015-2025GOPS2025

ShanghaiANNIVERSARY

2015-2025数据准确性与完整性缺失数据分散、准确性低导致系统状态模糊运行态架构图缺失缺乏实时系统架构图，业务来源与组件调用关系不清晰GOPS全球运维大会暨研运数智化技术峰会2025·上海站异常时缺乏全貌概览生产异常时无法快速定位问题根源，影响故障恢复效率诊断排查视角局限无法从业务视角进行系统级诊

断，导致问题解决效率低下GOPS

2025

ShanghaiANNIVERSARY

2015-2025变更管理风险高变更操作缺乏闭环管理和追踪，风险评估和

验证依赖人工经验资源状态监控碎片化资源利用率、负载均衡等关键指标分散，缺乏统一视图系统间调用链路不透明系统及组件间依赖关系复杂，异常链路难以串联多系统、多组件的耦合关系管理挑战系统复杂性与管理难度GOPS

全球运维大会暨研运数智化技术峰会2025·

上海站3

2GOPS

2025

ShanghaiANNIVERSARY

2015-20251GOPS

全球运维大会暨研运数智化技术峰会2025·上海站传统运维模式的局限性

Shanghai

2015-2025缺乏智能化决策支持运维数据量大、且多为非结构化数据，无法通过数据驱动实现自动化运维决策人防模式的被动性故障响应滞后，缺乏主动预防机制，故障分析和处理主要依靠人的经验技防工具的局限性告警信息冗余，缺乏智能关联分析能力，能实现自动化处理的场景较为有限人肉运维

工具运维

智能运维可视化：打开运维的“上帝

视角构建以应用为中心的可视化能力，提升架构准确性、资源及监控查询效率、问题排查效率和开发自助率，降低系统运行风险02GOPS

全球运维大会暨研运数智化技术峰会2025·

上海站Shanghai

2015-2025GOPS

2025

ShanghaiANNIVERSARY

2015-2025架构可视化0102

资源可视化监控告警可视化0304

流量可视化风险可视化0506

版本变更可视化从架构可视化、资源可视化、告警可视化、流量可视化、风险可视化、变更可视化等角度构建系统可视化，以应用为视角看清系统全貌，同时上下游关联打通，异常链路串联，业务、应用、资源、底层等异常实时关联分析系统可视化全景GOPS

全球运维大会暨研运数智化技术峰会2025·

上海站GOPS

2025

ShanghaiANNIVERSARY

2015-2025数据底座

CMDB

监控平台

架构平台

云平台

企业网关

部署平台GOPS

全球运维大会暨研运数智化技术峰会2025·上海站系统可视化用户场景资源梳理

架构查看

异常处理

版本变更

流量链路

故障定位

防火墙

风险防治关联打通监控告警与组件打通版本变更与组件打通上下游关联打通底层资源关联打通重保链路打通持续治理系统内链路治理上下游关系治理esg

数据整合治理对象数据校准治理无效资源梳理治理可视化展示架构可视化资源可视化监控可视化流量可视化版本变更可视化场景集成监控告警处理

变更管理发布管理

主动预防

服务请求系统可视化实现方案核心能力Shanghai

2015-2025可视化价值体现1

故障定位加速从单请求级故障分析到系统级整体分析可视化体系带来的运维提升2

资源优化决策基于可视化资源容量数据的

降本优化策略4

运维知识沉淀构建以运维树为角度的知识库并与组件资源实时关联5

跨团队协作通过统一视图提升沟通效率业务影响分析系统异常对业务的实时影响

评估GOPS

全球运维大会暨研运数智化技术峰会2025·

上海站ANNIVERSARY

2015-2025GOPS

2025Shanghai3公网用户办公用户防火墙、WAF公网域名ELB

、CDN内网域名ELB企业网关下游直调企业网关上游直调DB

NAS

公共资源应用服务A服务D系统可视化

架构可视化GOPS

全球运维大会暨研运数智化技术峰会2025·上海站服务C服务F服务B服务E上游系统下游系统Shanghai

2015-2025--e国K明

来距嘴ESG

酸务方数解EuShanghai2015-2025区aLAa

E

E

SG

消责方数据纳调用18二K和网DALA黑系统可视化--架构可视化1

回E旦LS2

将E18y

三来体回三FGOPS

全球运维大会暨研运数智化技术峰会2025·

上海站4件2EK魅

8平安5三和二和三二9Ka*

回

F

日可

口TX□N来部N外网域名外网IP内网域名F5134224(http数95727)1.223.-

194(http数110489)58.72jd10119vo1213461Lprdnas卷cnas

pcnas_p

Lid10119_vo01338prdpks应用名-internet-pks-prd集群类型：PROPRIETARYpks命名空间--……

pks-prd主机名物理主机名NATIPPODIP状态端口

00128089S

01280897.83.20运行中329110117965S

01179657.92.100运行中329110068334s

00683347.5.13运行中32911容量数据CPU使用率最大值CPU使用率平均值CPU使用率P95值内存使用率最大值内存使用率平均值内存使用率P95值11.144.7710.9551.5832.8051.55LE名

称：组件描述：LE别名：组件类型：开发语言：集群名称：集群软件：部署机房：实例配置：[Y-INTERNET公网入口，负载均衡、灰度公

网openrestyopenrestyJAVA---

-…*prd-cluster315954监

控openrestySZC

DMZ2C4G实例数：

3规模变化系统规模变化、实例数变化、增长趋势、高峰期时点等容量数据CPU

内存等使用率最大值、平均值、P95线99线等GOPS全球运维大会暨研运数智化技术峰会2025·上海站系统资源域名、

elb、公

网IP、cdn、集群、主机、磁盘、

nas、

数据库等系统可视化--资源可视化GOPS2025ShanghaiANNIVERSARY2015-2025OQ观澜内网底层打通底层资源异常上层应用自动飘红调用量158时调用量797

.423调用量：128耗时：2.32量：31518

用量：56223容器

容器调用量：1耗时：75。关键系统

一类系统二类系统二类系统+一类系统E

N关键系统上下游飘红BU

032上下游打通上下游系统异常自动飘红系统自动飘红内网网关异常飘红系统异常组件自动飘红系统可视化--告警可视化GOPS全

球

运

维

大

会

暨

研

运

数智

化

技

术

峰

会

2

0

2

5

·

上

海

站耗时：1.98则富组件仁组件

容器寿险证券养老险健康险一类系统田一类系统一类系统土,关键系统关键系统

,关键系统一类系统一类系统ANNIVERSARY2015-2025GOPS

2025ShanghaiWEB-NW99

耗时：2.07月平安普平安健ELIS-

ATOR天键链路容器产险入口流量200网关：灰度/双活流量300应用内流量服务A服务B服务C

服务DNAS流

量应用内流量服务A

服务B服务C

服

务DDB流量域名F5、公网IP、CDN18000网关：生产流量27000内网网关容器调用量：597耗时：492.460457耗时；35.2关键链路

关键链路调用量：78耗时：2.26量：17209耗时：21.6827662耗时：186关键链路

关键链路系统可视化--流量可视化

Shanghai

2015-202520000外

：

外

：pingan.com.cnGOPS全

球

运

维

大

会

暨

研

运

数

智

化

技

术

峰

会

2

0

2

5

·

上

海

站:1

.

6

9

月

财富组件

容器8.72SZE

(容器化率：1i.com.cn(容器化率：100%)动态htp数：14506调

WEB-NW

容器保险组件

容器内

网openresty

公容器

容器pingan.com

cn

助态.223http数：11746STATIC-SERVICE

容器

DMZ内网网关

容器网openrestyDMznrestyDMzL.46.194肉：内网网关容器3

容:风险关联·风险项与资源和集群组

件相关联，比如是域名

证书风险、集群反亲和

风险还是集群实例单点

风险，可视化展示风险所处关键节点位置，快

速实现风险隐患评估风险标记·对于有风险隐患的资源

和集群组件，以高亮颜

色标记突出，提醒开发运维人员重点关注该节

点风险隐患情况风险详情·

点击存在风险的资源和

集群组件，右侧弹框展

示该风险项详情、风险影响以及风险改进措施风险管理：4温馨提示：点击【风险名称】图标可根据名称进行数据过滤序号风险名称Y

风险资源

风险级别风险评估GOPS

全球运维大会暨研运数智化技术峰会2025·上海站集

群名

称

：

fq68mlqp-dse-0-0-0#c

2-szf-sf-

pr

#szf-sf-cap-prd-ns-1

77#deployment集群名称：

-fq68mlqp-midware-res-kong-0-0-0#cn

e-szf-sf-private-prd#szf-sf-prd-ns-077#daemonset系统可视化--风险可视化评估依据评估依据单实例单实例GOPS2025

ShanghaiANNIVERSARY

2015-2025高高12温馨提示：无数据的栏目已被折叠本系统

上游关联系统变更单变更单ID【PL白【PL布【

化

应

【

化

【

化

应5条/页云变更清单子系统版本列表变更记录服务A版本1.2服务C版本1.2服务B版本1.1服务D版本1.0服务A版本1.1服务C版本1.1服务B版本1.1服务D

版本1.0入口层灰度流量版本变更可视化新版本S1.2旧版本S1.1GOPS

全球运维大会暨研运数智化技术峰会2025·

上海站生产流量ANNIVERSARY2015-2025GOPS

2025

ShanghaiM5-GI里平N-F理平理平N-F下游关联系统DB变更单标题AMA5集6180709261807093620240078120254781201545>>>>>大模型：为可视化注入智能灵魂大模型为可视化插上腾飞的翅膀：借助大模型能力，让之前需要人工判断和处理场景更具智能化，极大的提高运维效率和降低运维风险03GOPS

全球运维大会暨研运数智化技术峰会2025·上海站Shanghai

2015-2025GOPS2025

ShanghaiANNIVERSARY

2015-20255安全合规设计模型训练使用的数据与合规安全2特征工程体系运维数据的特征提取

与分类加工1数据湖建设多源数据的统一存储

与治理4场景化构建基于数据和AI构建场

景化运维体系模型训练框架持续学习与模型迭代机制技术实现路径与演进技术演进Shanghai

2015-2025性能巡检与预测自动化巡检系统性能，智能预测潜在风险和活动资源需求变更风险评估事前变更风险评估诊断，基于历史数据与

方案评估变更风险版本变更巡检变更后对变更步骤及操作进行复核和重点

巡检，发现潜在异常风险早班巡检早班巡检智能总结和分享，突出重点关

注和高风险异常异常定位与根因分析分析日志、监控数据与调用链路，定

位故障根源智能问答为用户问题和IT问题事件提供解决方案智能化运维场景GOPS

全球运维大会暨研运数智化技术峰会2025·

上海站GOPS

2025

ShanghaiANNIVERSARY

2015-2025用户问题事件解决用户端的各类问题，如系统不会使用、使用过程中遇到的阻碍IT问题事件开发运维侧问题，如系统信息、资源信息、异常信息等闭环管理用户提问-知识库检索-智能解答-结

果修正-反哺知识库2025-09-2914:13:11YANGYONG9子系统下线以及子系统资源清理流程3

全

屏2025-09-2914:13:50YANGYONG92025-09-2914:13:11AI(AI生成仅供参考)以下是NAP1】

子系统下线及资源清理流程的详细说明：【-

API】子系统下线及资源清理流程1.删

除OPENAPI○操作文档地址：

删

除OPENAPIG2.删除OPENAPI资源组。操作文档地址：删

除OPENAP1

资源组口3.删除应用○操作文档地址：删除应用4.

删除

API。操作文档地址：

删

除APIc5.清理服务编码●

操作文档地址：清理服务编码□6.清理消费编码GOPS

全球运维大会暨研运数智化技术峰会2025·上海站智能化运维场景--智能问答2025-09-2914:13:50AI(AI生成仅供参考)以下是关于”开墙信息”的详细内容：【E

NAPI】开墙信息1.开墙信息GOPS2025

Shanghai开墙信息ANNIVERSARY

2015-20252

全

屏汇总分析

重点关注

异常诊断

处理建议Al

分析结果需要立即跟进的项目-CORE

系统-SZA环境-ELB…8.6

-

变更_copy:

一级变更，计划开始时间为2025-09-25T23.00:00+08:00,

需重点关注。J/LLMAGENT-

负载均衡域名映射更改：三级变更，计划开始时间为2025-09-22T21:00:00+08:00,

需关注。报告解读活跃告警：共有4个活跃告警，其中P,-LCP有2个告警，MP-CORE、U)-ZER和P/C-M.A各有1个告警。需重点关注PB-LCP的告警情况。变更详情：共有13个变更项目，其中1个为一级变更，12个为三级变更。需重点关注一级变更项目。异常子系统：共有4个异常子系统，分别为U-ZNER、PC-MFA、MP-CORE和P,-LCP,子系统整体情况正常，但需关注活跃告警情况。一

、巡检汇总GOPS

全球运维大会暨研运数智化技术峰会2025

·上海站智能化运维场景--早班巡检GOPS2025

ShanghaiANNIVERSARY

2015-2025系统健康评分：75/100系统健康状态：中风险摘要集群总数：7存在风险集群数量：

3风险集群摘要：集群名称

风险类型

处理方法1

检杏宣内方消托进程集群名：

pks-prd-e-clu

9

911

性能风险从CPU、内存、业务量、响应

耗时、JVM使用等角度巡视性

能风险活动预测根据历史业务量变化和容量性

能变化，预测下次活动的容量大小优化建议针对各性能风险问题，结合历史

经验给出优化建议智能化运维场景--性能巡检和预测指标：Pod

内存真实使用(working

set)占limits百分比指标：Pod

CPU使用量占limits

百

分

比max

avgGOPS

全球运维大会暨研运数智化技术峰会2025·上海站GOPS2025

ShanghaiANNIVERSARY

2015-202523变更方案复核检查对变更资源组件和变更方案、特殊变更类型和组

件进行方案复核检查变更实施验证变更实施步骤、变更操作、实施组件范围等是否符合变更流程和方案变更风险影响评估变更组件业务影响、流量大小、测试验证情况、是否灰度执行、爆炸半径大小等维度评估影响和风险变更后智能巡检变更涉及组件重点巡检、上下游关联调用巡检、

业务和性能等变化巡检，全方位预防变更风险GOPS全球运维大会暨研运数智化技术峰会2025·上海站智能化运维场景--变更风险评估及智能巡检变更事前事中事后智能分析和巡检验证13GOPS

2025

ShanghaiANNIVERSARY

2015-20252总结Ⅱ此次变更的风险评分为8.4分，属于中等风险。主要风险点在于系统等级较高，关联关键BU

数量较多，且有黑屏史

需要谨慎操作。建议

T详细规划变更时间：确保变更在非工作时间进行，减少对业务的影响。加强回滚测试：确保回漆方案的有效性.以便在出现问颗时能够讯速恢复.i分析系统整体健康状态：健康根因推断异常指标：总请求当前值：10396历史值：932差异率：+1015%可能原因：该集群在2025-09-19的总请求量相比前一天激增了1015%,可能是因为流量突增、新功能上线、或系统配置变化导致。集群名指标名当前值阈值差异率ud-jtc-app-mmc-prd-a-pks-clustel-00总请求10396932+1015%智能化运维场景--变更风险评估及智能巡检Li游口是否有强管控BU否GOPS

全球运维大会暨研运数智化技术峰会2025·上海站变更风险评估变更智能巡检

分析结果GOPS2025

Shanghai异常指标分析ANNIVERSARY

2015-2025智能化运维：重构场景，

定义未来智能化时代，组织需要转型/人员需要转型，运维流程和思维模式也需要转型，做好准备迎接新时代的到来04GOPS

全球运维大会暨研运数智化技术峰会2025·上海站GOPS

2025ShanghaiANNIVERSARY2015-2025GOPS2025

ShanghaiANNIVERSARY

2