2025 GOPS 全球运维大会暨研运数智化技术峰会·深圳站：操作系统运维新体系：健康分与自动化根因分析

球暨研运数智化技术峰会时间：2025年4月25日-26日地址：中国·深圳承办单位：承办单位：OS运维的现状与挑战OS运维的现状与挑战SysOM运维平台核心设计---健康分与自动化诊断专家工具集与持续追踪总结与展望1234指标数量与复杂性指标含义模糊告警数量与误报率噪音比超过90%,告警疲劳GOPS全球运维大会暨研运数智化技术峰会2025·深圳站GOPS2025GOPS2025周期难以捕捉，不能及时告警周期难以捕捉，不能及时告警缺现场抓不到少指标缺现场GOPS全球运维大会暨研运数智化技术峰会2025·深圳站操作系统运维复杂性案例Load高分析Load计算公式a0=上个采样周期load值a=R进程+D状态进程数量设设喷掂超9Shenzhen2015-HHGOPS全球运维大会暨研运数智化技术峰会2025·深圳站rrLL—健康分与自动化诊断前端前端系统概览系统诊断节点监控容器监控异常识别根因分析持续追踪安全安全运维与调优负载诊断通道通道GOPS全球运维大会暨研运数智化技术峰会2025·深圳站传统运维依赖指标告警，新体系直接输出问题结论。例如，监控显示IOBPS高，新体系直接告警出三要素：<进程，文件，磁盘>新体系主动发现风险，而非被动等待告警。通过健康分预测系统风险，提前干预，降低故障发生率。GOPS全球运维大会暨研运数智化技术峰会2025·深圳站度减少运维人员排查时间，提高问题处理精准度。某企业采用新体系后，运维效率提升40%,问题解决时间缩短50%。GOPS2025GOPS2025运维链路运维链路闭环能力监控全局视角降噪，整合多维度指标为健康分。监控健康分直观反映系统健康状态，降低运维复杂度告警场景化诊断工具，覆盖内存、调度、网络等场景。专家工具集提供针对性诊断，快速解决复杂问题诊断秒级抖动捕捉能力，填补传统监控盲区。持续追踪技术实时监测系统性能，精准捕捉秒级抖动所见即所得的根因分析，快速定位问题。通过自动化工具，秒级定位问题根源，提升运维响应速度GOPS2025健康分的四大维度GOPS2025健康分的四大维度效果展示延时延时用户体验下降。集群健康指标②延迟集群健康指标②延迟饱和度100100负载饱和度100100负载吞吐量异常可能引发运行。错误OOM,以及硬件等反映系统稳定性。错误率上升可能预示系统错误GOGOPS全球运维大会暨研运数智化技术峰会2025·深圳站网络重传全局回收延时直方图网络重传内存延时网络抖动线程竞争线程竞争内核长路径调度延时指标调度延时中断延时中断延时硬中断关闭延时软中断关闭延时内核态内存计数硬中断关闭延时软中断关闭延时洞)Shenzhen暂无数据内核态已使用内存分布②ShenzhenShenzhen分层综合评估指标评测方法指标加工/预处理综合评估指标评测方法健康度自顶向下包含集群、节点、pod(容器)三个层级的健康分。每个层级的健康分的影响因素包括：a.当前层级资源(指标+日志)健康度b.下一层级所有实体的健康度。检查项ShenzhenShenzhen1.可用内存低2.健康分降低健康分趋势健康分趋势0O总健康分◎●怕和度分98O负收分怕和度分3.异常事件【时段内多次出现此告繁，如不需关注，请反网络用户态发生收包延时【短时间内多次出现此告警，如不需关注，请反馈。】节点内存使用高。4.诊断结论诊断发起时间诊断发起时间2.共享内存占用过多(6.33GB),疑似存在共享内存泄露。1.请查看诊断详情部分进一步分析内存的具体占用情况；2.请查看共享内存缓存占用排序部分查看文件的路径，确认路径下的共享内存文件是否是预期的，非预期的文件删除即可释放占用的共享内存。5.诊断详情小ICachad)NarlibjdockericrtanersvajibydbsckedicontinersJ867267325151fa23ta78e135002/shm86720732515V5161hs01.1xtNarhjdocherocrtanesvanibdsckejcontainers/641743ekcote82262e6a68500:281504551364069:5Nantbjdockaniotanersvanibjdsckeycontalnrs541743ascote82702e5a695Dds8150551364D5b9:504dDca5a0d47d9107stm)64743asconlecoL1Nanbjdockanicntainesjvafjibldckerycntainars/BD72d732515ta23ca/8e延时，负载，泄漏，流量，信号，进程链报文分析延时，负载，泄漏，流量，信号，进程链报文分析分析LoadLoad高原因以及触发问题的top任务资源依赖历史负载分析泄漏的对象及分配函数现场跟踪分资源泄漏资源泄漏资源超卖版本变更环境差异硬件差异监控盲区现场缺失Sysom前端热点分析热点对比CPU&GPU热点图OnCpu热点OffCpu热点内存热点锁热点内核栈&用户态栈内核栈&用户态栈栈回溯栈回溯符号表符号GOPS全球运维大会暨研运数智化技术峰会2025·深圳站GOPS2025GOPS2025某客户反馈业务网络偶发超时，通过查看进程热点追踪，发现热点在nft_do_chainSearch..函数名自身热度总热度ettro_fork(18的，4,65secnds)_softintentry_text_start418,4.65secons1virtet.recelvet100%,4,65sensetLgro_recetve(99.netif_recelve_s地_1ist199.57,4.63secords)atDookslaw(98.49%,4.58netfilter规则过多导致网络协议栈处理速度变慢。通过nftlistruleset查看发现存在12000+条规则某业务软件版本升级后，偶现cpu冲高，问题存在随机性，一般工具很难抓到关键数据昨天●(“instanceld":"I-uf6bz5wdsfmkrfz¹kcys","userld("instanceld":"1-ufbbz5wdsfmkrtzTkcys",("instanceld":"1-ufbbz5wdsfmkrtzTkcys",自229自229单095蓄41,185自2755总：25.26%1调：1.04%自：24.22%03.767章n总5.72%1剂03%自114自44%:36%1话0.12%自357%自：6.05%总14%1请13