Linux虚拟内存管理基础v

Linux虚拟内存管理基础篇,2,主要内容,虚拟内存管理的基本原理和基本过程。CPU对虚拟内存管理的支持。(ULKCh.2)Linux如何管理页表。(ULKCh.2)Linux如何管理物理内存(ULKCh.8)Linux如何管理虚拟空间的内核地址空间部分(ULKCh.8)Linux如何管理虚拟空间的进程地址空间部分(ULKCh.9)Linux如何在物理内存和外出之间同步数据(ULKCh.15)Linux如何主动回收物理内存(ULKCh.17)注：无法全部讲骚瑞,3,从宏观角度.,Linux的虚拟内存管理机制为应用程序和驱动程序提供了两种服务：使每个进程都拥有自己独立的内存地址空间；对于32位Linux而言，每个任务可寻址的内存地址空间都为0 x000000000 xFFFFFFFF(232,4GB)当物理内存不够4GB时，虚拟内存管理模块会用外存空间模拟内存空间，并且该模拟过程对应用程序是透明的。,4,用户地址空间与内核地址空间,Linux将每个进程的4GB的独立地址空间又划分为用户地址空间(0 x000000000 xBFFFFFFF)和内核地址空间(0 xC00000000 xFFFFFFFF)两部分。操作系统内核代码和数据存放在内核地址空间；每个进程自己私有的代码和数据存放在用户地址空间虽然Linux的内核代码和数据被映射到了每个进程的地址空间中（所有进程看到的内容是相同的），但在实际的物理内存中，只有内核代码和数据的一份拷贝。,5,用户地址空间与内核地址空间,用户态与核心态,一般现代CPU都有几种不同的指令执行级别在高执行级别下，代码可以执行特权指令，访问任意的物理地址，这种CPU执行级别就对应着内核态用户态指相应的低级别执行状态，代码的掌控范围会受到限制，只能执行CPU指令集的一个子集举例：intelx86CPU有四种不同的执行级别0-3，Linux只使用了其中的0级和3级分别来表示内核态和用户态0 xc0000000以上的内核地址空间只能在内核态下访问，0 x000000000 xbfffffff的用户地址空间在两种状态下都可以访问应用程序可以通过Linux系统调用由用户态进入内核态,7,逻辑地址与物理地址,逻辑地址：程序在运行过程中用来访问存储器的地址。程序员在编程时，只需知道逻辑地址，不需考虑该地址与实际物理硬件上的存储单元如何对应。编译器在编译源程序时，也只需考虑逻辑地址。物理地址：表示物理存储器中一个存储单元的实际位置，地址总线上产生的就是物理地址。（总线地址）在实地址模式下，逻辑地址等于物理地址。在虚拟地址模式下，逻辑地址不等于物理地址，必须经过查表才能转换为物理地址，因此也叫虚拟地址。线性地址：2维逻辑地址变为1维地址后，叫线性地址,物理地址,查表转换,逻辑地址,进程1的页表,进程2的页表,进程3的页表,内页表,外页表,CPU负责查表(虚拟地址-物理地址)，查表失败时触发缺页异常(14号)；OS负责填充各个表的内容，并提供缺页中断的中断服务器程序。,9,X86处理器对VM的支持,MMU单元：(1)自动查表，将当期指令中的逻辑地址转化为物理地址;(2)触发缺页异常。32bitCPU支持2级页表：页目录表，页表。10+10+1264bitCPU支持4级页表：9+9+9+9+12专用寄存器CR3中存放了当前有效的页目录表的物理地址。专用寄存器CR2用于存放触发缺页异常的线性地址。转换旁视缓冲区TLB：将常用的逻辑/物理转换关系缓存到CPU。当页表被修改，或有效页表切换时需调用专用指令刷新TLB。flush_tlb_all,flush_tlb_mm,flush_tlb_range,flush_tlb_page,10,32bitIntelx86的页表,在32位CPU上，地址空间为232，一个内存页大小为212，则共有220个页，页编号范围0220-1，因此页表中的一行至少要用3个字节（存储页编号是必须的），但实际上页表中一行占4个字节。80386CPU中一个页表项的定义如下：,Present标志、Accessed标志、Dirty标志、Read/Write标志、User/Supervisor标志、如果present标志为0，分页单元就把这个线性地址存放在处理器的CR2寄存器中，并产生一个14号缺页异常,11,页表项或页目录项中的标志,Present标志：所指内容是否存在Accessded标志：所指内容被访问之后自动置1Dirty标志：所指内容被修改后自动置1Read/Write标志：所指内容的读写权限User/Supervisor标志：所指内容的访问特权要求PCD/PWT：是否运行被缓存至CachePageSize：页大小：4K，4M，2MGlobal标志：防止页从TLB中刷新出去,12,两级页表,为了节省内存，32位CPU采用了两级页表第一级为页目录，每个表项存储了第二级页表的物理地址。第二级页表的每个表项存储了一个虚拟页所对应物理页的物理地址。32位的虚拟地址被分成3个域目录(directory)最高的10位页表(Table)中间的10位页内偏移量(offset)最低的12位程序中每产生一个32位的虚拟地址，CPU的MMU首先用最高的10位查页目录获得第二级页表的物理地址，再用中间10位查第二级页表获得物理页的起始地址，最后用该起始地址加上偏移量offset（最低的12位）就得到了最终的物理地址。两次查表过程有可能会触发2次缺页中断。,2020/5/8,LinuxOSAnalysis,13/54,Intel80 x86处理器的分页,线性地址,CR3,页目录,页表,页,2020/5/8,LinuxOSAnalysis,14/54,分页举例,假设进程需要读取0 x20021406中的字节。分页单元将该地址划分为3个部分：0 x20021406=00100000000000100001010000000110b,页目录索引（0 x80=128）,页表索引（0 x21）,页内偏移（0 x406）,CR3,+,p1的页目录,p1的页表,+,Present=0,缺页异常,XxxxxxXxxxxXxxx,xxxx,15,关于虚拟内存的思考一,如何将同一块物理内存同时映射到多个进程的地址空间中？（共享内存是一种高效的进程间通信机制）如何将同一块物理内存同时映射到同一个进程地址空间的多个位置上？。多个进程同时装载同一个动态链接库时，该动态库在每个进程地址空间中的装载位置相同吗？如何做到将Linux内核代码和数据映射到每个进程的地址空间，并且随着进程切换只是改变用户地址空间的内容而内核地址空间内容保持不变？已知工作在用户态的应用程序不能访问内核空间的内存，那么如果一个应用程序申请了一块内存，如果将指向该内存的指针p传递给了一个内核态程序（例如某中断服务程序），那么内核态程序能通过指针p访问该内存吗？,16,关于虚拟内存的思考二,如果一个物理页中存储了某个进程的代码段，当该物理页因为内存紧张需要被重新分配给另外的进程时，需不需要将该物理页中的内容回写到磁盘交互文件中？如何将一个硬盘文件映射到一个进程地址空间的指定位置上？（内存映射函数mmap）对应ARM等不区分I/O地址空间和内存地址空间的CPU，如果已经知道了某外设寄存器的物理地址（通过该寄存器地址译码电路获得），如何在LinuxC程序中访问该寄存器？void*ioremap(unsignedlongphys_addr,unsignedlongsize)用于在页表中增加一个物理地址到虚拟地址映射。如何设置内存区域为“只读”存储区？如何以当前进程为模板快速克隆出另外一个新的进程？（fork函数与CopyOnWrite技术）如何实现物理内存的“延迟分配”？,17,IPC机制：共享内存,intshmget(key_tkey,size_tsize,intflag);功能：得到一个共享内存标识符或创建一个共享内存对象并返回共享内存标识符key:共享内存对象的全局标识，大于0的32位整数。通常要求此值来源于ftok返回的IPC键值。如果该内存被映射到同一进程地址空间，则令key取值为IPC_PRIVATE。size:共享内存区的字节数flag:读写的权限返回值：成功返回共享存储的id，失败返回-1,18,IPC机制：共享内存,void*shmat(intshmid,constvoid*addr,intflag);功能：连接共享内存标识符为shmid的共享内存，连接成功后把共享内存区对象映射到调用进程的地址空间，随后可像本地空间一样访问shmid：共享存储的idaddr：一般为0，表示连接到由内核选择的第一个可用地址上，否则，如果flag没有指定SHM_RND，则连接到addr所指定的地址上，如果flag为SHM_RND，则地址取整flag：SHM_RDONLY：为只读模式，其他为读写模式返回值：如果成功，返回共享存储段地址，出错返回-1intshmdt(void*addr);addr:共享存储段的地址，以前调用shmat时的返回值返回值,19,IPC机制：共享内存,intshmdt(void*addr);功能：与shmat函数相反，是用来断开与共享内存附加点的地址，禁止本进程访问此片共享内存addr:共享存储段的地址，以前调用shmat时的返回值返回值：成功：0；出错：-1,20,mmap内存映射,利用mmap函数可以将一个磁盘文件或者其它设备对象映射到虚拟内存空间。文件被映射到多个页上，所有页的大小之和大于等于文件大小。,21,mmap内存映射,void*mmap(void*start,size_tlength,intprot,intflags,intfd,off_toffset)start：要映射到的虚拟内存区域的起始地址，通常都是用NULL，NULL表示由内核来指定该内存地址length：要映射的内存区域的大小prot：期望的内存保护标志，是以下的某个值，可以通过or运算符组合到一起1.PROT_EXEC可执行；2.PROT_READ可读；3.PROT_WRITE可执flags：指定映射对象的类型，映射选项和映射页是否可以共享。MAP_SHARED/MAP_PRIVATE/MAP_LOCKED/MAP_ANONYMOUSfd：文件描述符（由open函数返回）offset：表示被映射对象（即文件）从那里开始对映，通常都是用0。该值应该为大小应为PAGE_SIZE的整数倍返回值：成功则返回被映射虚拟内存区的指针，失败返回-1。,22,mmap内存映射,intmunmap(void*start,size_tlength)取消映射关系intmsync(constvoid*start,size_tlength,intflags)将内存中的内容同步到文件,思考：mmap函数执行时会一次性将整个被映射文件读入内存吗？即用mmap函数映射一个大文件时会很耗时吗？,23,mmap的应用,快速读写大文件，简化程序逻辑。快速读写I/O设备