Linux 系统之 OOM 解析资料

在实际的业务场景中，有没有发现这样一种场景：基于VM环境上面所部署的

SpringBoot应用服务，往往在运行过程中将内存利用的足够"猥琐"，常常达

到90%甚至以上，此时，很大一部分伙伴就开始"叫"了。曰：领导，内存不

够了，赶紧扩容！！！(此刻，有大佬肯定在想：扩你妹，整天搞这些没用的~)

那个傻子是不是疯了？不知道作为所谓的“技术”人员，大家是如何面对的，如何解决？

本文将聚焦于Linux内存结构、内存分析以及OOMkiller等3个方面以及笔者多年

的实践经验总结来进行解析C

内存结构

从宏观角度而言，内存管理系统是操作系统最重要的部分之一。在内存管理的系

统调用方式，事实上，基于POSIX并没有给内存管理指定任何的系统调用。然

而，Linux却有自己的内存系统调用，主要系统调用如下：

系统调用描述

s=brk(addr)改变数据段大小

a=mmap(addr,len,protfags,fd,offset)进行映射

s=unmap(addrjen)取消映射

1、brk通过给出超过数据段之外的第一个字节地址来指定数据段的大小。如果新

的值要比原来的大，那么数据区会变得越来越大，反之会越来越小。

2、mmap和unmap系统调用会控制映射文件。mmp的第一个参数addr决

定了文件映射的地址。它必须是页面大小的倍数。如果参数是0,系统会分配地

址并返回a0第二个参数是长度，它告诉了需要映射多少字节。它也是页面大小

的倍数。prot决定了映射文件的保护位，保护位可以标记为可读、可写、可执

行或者这些的结合。第四个参数flags能够控制文件是私有的还是可读的以及

addr是必须的还是只是进行提示。第五个参数fd是要映射的文件描述符。只

有打开的文件是可以被映射的，因此如果想要进行文件映射，必须打开文件；最

后一个参数offset会指示文件从什么时候开始，并不一定每次都要从零开始。

针对Linux内存管理及实现，其实其涉及的面较广，较为复杂,从计算机早期开

始，我们在实际的业务场景中所使用的内存往往都要比系统中实际存在的内存多。

为此，内存分配策略克服了这一限制，并且其中最有名的就是引入：虚拟内存

(VirtualMemory)。通过在多个竞争的进程之间共享虚拟内存,虚拟内存得以让

系统有更多的内存，以方便维护系统资源的分配。先来张总概览图，具体如下所

示：

Linux内存，通常被认为指的是"物理内存"，然而，只有内核才可以直接访问

物理内存，进程需要访问内存，Linux内核则需要为每个进程都提供一个独立的

虚拟地址空间，访问的是虚拟内存。

通常而言，虚拟内存空间的内部被划分为内核空间和用户空间：

1、进程在用户态，只能访问用户空间内存

2、进程进入内核态才能访问内核空间内存

3、每个进程都包含内核空间，但这些内核空间都关联相同的物理内存

而针对内存映射，其主要将虚拟内存地址映射到物理内存地址，为了完成内存映

射。内核每个进程都维护了一张页表，记录虚拟地址和物理地址的映射关系，页

表实际存储在CPU的内存管理单元MMU,这样处理器就可以直接通过硬件找

出要访问的内存。

再来一张内核线形地址空间布局图，具体可参考如下"便核"示意图：

LinearAddressSpace(2心网UaBy⑹

PhysicalMemoryMap

(DependsonavailablephysicalRAWVMALLOCRESERVEalminimum

2xLAST.PKMAPx

TASK.SIZEVMALl-OC.OFFSETPAGJS1ZEPAGESIZEFiXADDRS!ZE

ProcessIIIKernelslrvctpagePagekvmalkx:PageskrnapFixedViniuilPage

AddressSpacell|ImageMap(mcm_map)GapAddressSpaceGapAddressSpaceAddressMappingGap

0PAGE.OFFSETVMALLOC：_STARIPKMAP_BASEHXADDK,S1ARTF1XADDR_TOP

VMALLOC.END

Linux内核线形地址空间布局图

针对上述结构图，简单描述如下：

1、内核直接映射空间PAGE_OFFSET-VMALLOC_START,kmalloc？D

_get_free_page()分配的是这里的页面。二者是借助Slab分配器，直接分配物

理页再转换为逻辑地址(物理地址连续)。适合分配小段内存。此区域包含了内

核镜像、物理页框表mem_map等资源。

2、内核动态映射空间VMALLOC_START-VMALLOC_END,被vmalloc用到，

可表示的空间大。

3、内核永久映射空间PKMAP_BASE~FIXADDR_START,kmap

4、内核临时映射空间FIXADDR_START'FIXADDR_TOP,kmap_atomic

内存分析

针对内存分析部分，其实可利用的手段或策略较多，基于不同段位的水平高低之

分，通常，我们可以借助Top、Free命令以及Vmstat命令进行追踪及观测内

存的动态活动变化趋势，以实时了解当前操作系统的资源水位，具体如下所示：

[administrator@3avaLang0ut0fMemory

~]%topPIDUSERPRNIVIRTRESSHRS%CPU%MEMTI

ME+COMMAND1root20012803279965556S80.080.4

0:01.03java2root200000S0.00.00

:00.00kthreadd

基于上述输出结果，简要解析如下：

1、VIRI：虚拟内存，包括了进程的代码段、数据段、共享内存、已经申请的堆内

存和已经换出的内存等，已经申请的内存，即使还未分配物理内存，也算做虚拟

内存

2、RSS:常驻内存，是进程实际使用的物理内存,不包括Swap和共享内存

3、SHR:共享内存，包括与其他进程共同使用的真实共享内存，包括加载的动态

链接库以及程序的代码段

4、%MEM:进程使用物理内存占系统内存的百分比

[administrator@3avaLangOutOfMemory

~]%freetotalusedfreesharedbuff/

cacheavailableMem:2031744981761826192878

41073761800144Swap：209714802097148

此命令行输出内容较为简单：主要打印已用、剩余、可用、共享内存以及缓存等

信息。部分参数释义如下所示：

1、Shared:共享内存，共享内存是通过Tmpfs实现的，它的大小就是Tmpfs

使用的内存大小。

2、Available:可用内存，是新进程可以使用的最大内存，包括剩余内存和还未

使用的内存。

3、Buffer/Cache:缓存包括两部分，一部分是磁盘读取文件的页缓存，用来缓存从磁

盘读取的数据，加速以后再次访问速度，另一部分是Slab分配的可回收缓存：缓冲区

是对原始磁盘的临时存储，用来缓存将要写入磁盘的数据，统一优化磁盘写入。

[administrator@JavaLangOutOfMemory

~]%vmstat11procsmemory—swap--io

-systemcpurbswpdfreebuffcachesiso

biboincsussyidwast10018153482108111872

001011110010000

基于上述输出结果，简要解析如下：

1、si：换入，每秒从磁盘读入虚拟内存的大小，若此值长时间持续大于0,表示物

理内存不够或者内存泄漏，需要定位问题。

2、so:换出，每杪从内存写入磁盘的大小，若此值长时间持续大于0,表示物理

内存不够用，需要排查内存问题。

OOMKiller

通常有这样的一种场景：若一台VM(虚拟机)上部署多个应用服务，此处，暂

以SpringBoot微服务为例，在某种特殊的时刻，例如：业务促销、压力测试或

当某一个联机负载节点或因网络抖动而挂掉时，此台VM上的服务突然在亳无征

兆的情况下，突然被"挂拽"。

与此同时，我们开始搜集相关线索，以便能够快速定位到问题原因，将"罪魁祸

首"抓捕归案。

那么，为什么会出现这种问题？它是如何产生的？OOM,全称为"OutOf

Memory",即内存溢出。OOMKiller是Linux自我保护的方式，防止内存不

足时出现严重问题。

Linux内核所采用的此种机制会时不时监控所运行中占用内存过大的进程，尤其

针对在某一种瞬间场景下占用内存较快的进程，为了防止操作系统内存耗尽而不

得不自动将此进程Kill掉。通常，系统内核检测到系统内存不足时，筛选并终止

某个进程的过程可以参考内核源代码：linux/mm/oom_kill.c,当系统内存不足的

时候，out_of_memory()被触发,然后调用select_bad_process()选择一个"

bad"进程杀掉。如何判断和选择一个"bad进程呢？Linux操作系统选择"bad"

进程是通过调用oom_badness(),挑选的算法和想法都很简单很朴实：最bad

的那个进程就是那个最占用内存的进程。

OOMKiller源码解析

OOMkiller的核心函数是out_of_memory(),执行流程如下:

1、调用check_panic_on_oom()检查是否允许执行内核恐慌，假如允许，需要

重启系统。

2、若定义了/proc/sys/vm/oom_kill_allocating_task即允许Kill掉当前正在

申请分配物理内存的进程，那么杀死当前进程。

3、调用select_bad_process,选择badnessscore最高的进程。

4、调用oom_kill_process,杀死选择的进程。

我们通过分析BadnessScore的计算函数来理解OOMKiller是如何选择需要

被Kill掉的进程，具体源代码可参考如下所示：

unsignedlongoom_badness(structtask_struct*p,structmem_cgroup*memcg,

constnodemask_t*nodemask,unsignedlongtotalpages){longpoints;

longadj;

/*假如该进程不能被kill,则分数返回0.*/if

(oom_unkillable_task(p,memcg,nodemask))return0;

p="Find_lock_task_mm(p);if(!p)return0;

/*获取该进程的oom_score_adj,这个是用户为进程设置的badnessscore

*调整值，假如这个值为-1090或者进程被标记为不可被kill,或者进程处于*

vfork()过程，badnessscore返回0.*/adj=

(long)p->signal->oom_score_adj;if(adj==OOM_SCORE_AD3_MIN||

test_bit(MMF_OOM_SKIP,&p->mm->flags)||

in_vfork(p)){