虚拟内存技术原理和使用方法.doc

引言 Windows的内存结构是深入理解Windows操作系统如何运作的最关键之所在，通过对内存结构的认识可清楚地了解诸如进程间数据的共享、对内存进行有效的管理等问题，从而能够在程序设计时使程序以更加有效的方式运行。Windows操作系统对内存的管理可采取多种不同的方式，其中虚拟内存的管理方式可用来管理大型的对象和结构数组。在Windows系统中，任何一个进程都被赋予其自己的虚拟地址空间，该虚拟地址空间覆盖了一个相当大的范围，对于32位进程，其地址空间为232=4,294,967,296 Byte，这使得一个指针可以使用从0x00000000到0xFFFFFFFF的4GB范围之内的任何一个值。虽然每一个32位进程可使用4GB的地址空间，但并不意味着每一个进程实际拥有4GB的物理地址空间，该地址空间仅仅是一个虚拟地址空间，此虚拟地址空间只是内存地址的一个范围。进程实际可以得到的物理内存要远小于其虚拟地址空间。进程的虚拟地址空间是为每个进程所私有的，在进程内运行的线程对内存空间的访问都被限制在调用进程之内，而不能访问属于其他进程的内存空间。这样，在不同的进程中可以使用相同地址的指针来指向属于各自调用进程的内容而不会由此引起混乱。下面分别对虚拟内存的各具体技术进行介绍。地址空间中区域的保留与释放在进程创建之初并被赋予地址空间时，其虚拟地址空间尚未分配，处于空闲状态。这时地址空间内的内存是不能使用的，必须首先通过VirtualAlloc（）函数来分配其内的各个区域，对其进行保留。VirtualAlloc（）函数原型为：LPVOID VirtualAlloc(LPVOID lpAddress, DWORD dwSize, DWORD flAllocationType,DWORD flProtect);其参数lpAddress包含一个内存地址，用于定义待分配区域的首地址。通常可将此参数设置为NULL，由系统通过搜索地址空间来决定满足条件的未保留地址空间。这时系统可从地址空间的任意位置处开始保留一个区域，而且还可以通过向参数flAllocationType设置MEM_TOP_DOWN标志来指明在尽可能高的地址上分配内存。如果不希望由系统自动完成对内存区域的分配而为lpAddress设定了内存地址（必须确保其始终位于进程的用户模式分区中，否则将会导致分配的失败），那么系统将在进行分配之前首先检查在该内存地址上是否存在足够大的未保留空间，如果存在一个足够大的空闲区域，那么系统将会保留此区域并返回此保留区域的虚拟地址，否则将导致分配的失败而返回NULL。这里需要特别指出的是，在指定lpAddress的内存地址时，必须确保是从一个分配粒度的边界处开始。一般来说，在不同的CPU平台下分配粒度各不相同，但目前所有Windows环境下的CPU如x86、32位Alpha、64位Alpha以及IA-64等均是采用64KB的分配粒度。如果保留区域的起始地址没有遵循从64KB分配粒度的边界开始之一原则，系统将自动调整该地址到最接近的64K的倍数。例如，如果指定的lpAddress为0x00781022，那么此保留区域实际是从0x00780000开始分配的。参数dwSize指定了保留区域的大小。但是系统实际保留的区域大小必须是CPU页面大小的整数倍，如果指定的dwSize并非CPU页面的整数倍，系统将自动对其进行调整，使其达到与之最接近的页面大小整数倍。与分配粒度一样，对于不同的CPU平台其页面大小也是不一样的。在x86平台下，页面大小为4KB，在32位Alpah平台下，页面大小为8KB。在使用时可以通过GetSystemInfo（）来决定当前主机的页面大小。参数flAllocationType和flProtect分别定义了分配类型和访问保护属性。由于VirtualAlloc（）可用来保留一个区域也可以用来占用物理存储器，因此通过flAllocationType来指定当前要保留的是一个区域还是要占用物理存储器是意义的。其可能使用的内存分配类型有：分配类型 类型说明MEM_COMMIT为特定的页面区域分配内存中或磁盘的页面文件中的物理存储MEM_PHYSICAL 分配物理内存（仅用于地址窗口扩展内存）MEM_RESERVE保留进程的虚拟地址空间，而不分配任何物理存储。保留页面可通过继续调用VirtualAlloc（）而被占用MEM_RESET 指明在内存中由参数lpAddress和dwSize指定的数据无效MEM_TOP_DOWN在尽可能高的地址上分配内存（Windows 98忽略此标志）MEM_WRITE_WATCH必须与MEM_RESERVE一起指定，使系统跟踪那些被写入分配区域的页面（仅针对Windows 98）分配成功完成后，即在进程的虚拟地址空间中保留了一个区域，可以对此区域中的内存进行保护权限许可范围内的访问。当不再需要访问此地址空间区域时，应释放此区域。由VirtualFree（）负责完成。其函数原型为：BOOL VirtualFree(LPVOID lpAddress,DWORD dwSize,DWORD dwFreeType);其中，参数lpAddress为指向待释放页面区域的指针。如果参数dwFreeType指定了MEM_RELEASE，则lpAddress必须为页面区域被保留时由VirtualAlloc（）所返回的基地址。参数dwSize指定了要释放的地址空间区域的大小，如果参数dwFreeType指定了MEM_RELEASE标志，则将dwSize设置为0，由系统计算在特定内存地址上的待释放区域的大小。参数dwFreeType为所执行的释放操作的类型，其可能的取值为MEM_RELEASE和MEM_DECOMMIT，其中MEM_RELEASE标志指明要释放指定的保留页面区域，MEM_DECOMMIT标志则对指定的占用页面区域进行占用的解除。如果VirtualFree（）成功执行完成，将回收全部范围的已分配页面，此后如再对这些已释放页面区域内存的访问将引发内存访问异常。释放后的页面区域可供系统继续分配使用。下面这段代码演示了由系统在进程的用户模式分区内保留一个64KB大小的区域，并将其释放的过程：/ 在地址空间中保留一个区域LPBYTE bBuffer = (LPBYTE)VirtualAlloc(NULL, 65536, MEM_RESERVE, PAGE_READWRITE);/ 释放已保留的区域VirtualFree(bBuffer, 0, MEM_RELEASE);物理存储器的提交与回收在地址空间中保留一个区域后，并不能直接对其进行使用，必须在把物理存储器提交给该区域后，才可以访问区域中的内存地址。在提交过程中，物理存储器是按页面边界和页面大小的块来进行提交的。若要为一个已保留的地址空间区域提交物理存储器，需要再次调用VirtualAlloc（）函数，所不同的是在执行物理存储器的提交过程中需要指定flAllocationType参数为MEM_COMMIT标志，使用的保护属性与保留区域时所用保护属性一致。在提交时，可以将物理存储器提交给整个保留区域，也可以进行部分提交，由VirtualAlloc（）函数的lpAddress参数和dwSize参数指明要将物理存储器提交到何处以及要提交多少物理存储器。与保留区域的释放类似，当不再需要访问保留区域中被提交的物理存储器时，提交的物理存储器应得到及时的释放。该回收过程与保留区域的释放一样也是通过VirtualFree（）函数来完成的。在调用时为VirtualFree（）的dwFreeType参数指定MEM_DECOMMIT标志，并在参数lpAddress和dwSize中传递用来标识要解除的第一个页面的内存地址和要释放的字节数。此回收过程同样也是以页面为单位来进行的，将回收设定范围所涉及到的所有页面。下面这段代码演示了对先前保留区域的提交过程，并在使用完毕后将其回收：/ 在地址空间中保留一个区域LPBYTE bBuffer = (LPBYTE)VirtualAlloc(NULL, 65536, MEM_RESERVE, PAGE_READWRITE);/ 提交物理存储器VirtualAlloc(bBuffer, 65536, MEM_COMMIT, PAGE_READWRITE);/ 回收提交的物理存储器VirtualFree(bBuffer, 65536, MEM_DECOMMIT);/ 释放已保留的区域VirtualFree(bBuffer, 0, MEM_RELEASE);由于未经提交的保留区域实际是无法使用的，因此在编程过程中允许通过一次VirtualAlloc（）调用而完成对地址空间的区域保留及对保留区域的物理存储器的提交。相应的，回收、释放过程也可由一次VirtualFree（）调用来实现。上述代码可按此方法改写为：/ 在地址空间中保留一个区域并提交物理存储器LPBYTE bBuffer = (LPBYTE)VirtualAlloc(NULL, 65536, MEM_RESERVE | MEM_COMMIT, PAGE_READWRITE);/ 释放已保留的区域并回收提交的物理存储器VirtualFree(bBuffer, 0, MEM_RELEASE | MEM_DECOMMIT); 页文件的使用在前面曾多次提到物理存储器，这里所说的物理存储器并不局限于计算机内存，还包括在磁盘空间上创建的页文件，其存储空间大小为计算机内存和页文件存储容量之和。由于通常情况下磁盘存储空间要远大于内存的存储空间，因此页文件的使用对于应用程序而言相当于透明的增加了其所能使用的内存容量。在使用时，由操作系统和CPU负责对页文件进行维护和协调。只有在应用程序需要时才临时将页文件中的数据加载到内存供应用程序访问之用，在使用完毕后再从内存交换回页文件。进程中的线程在访问位于已提交物理存储器的保留区域的内存地址时，如果此地址指向的数据当前已存在于内存，CPU将直接将进程的虚拟地址映射为物理地址，并完成对数据的访问；如果此数据是存在于页文件中的，就要试图将此数据从页文件加载到内存。在进行此处理时，首先要检查内存中是否有可供使用的空闲页面，如果有就可以直接将数据加载到内存中的空闲页面，否则就要从内存中寻找一个暂不使用的可释放的页面并将数据加载到此页面。如果被释放页面中的数据仍为有效数据（即以后还会用到），就要先将此页面从内存写入到页文件。在数据加载到内存后，仍要在CPU将虚拟地址映射为物理地址后方可实现对数据的访问。与对物理存储器中数据的访问有所不同，在运行可执行程序时并不进行程序代码和数据的从磁盘文件到页文件的复制过程，而是在确定了程序的代码及其数据的大小后，由系统直接将可执行程序的映像用作程序的保留地址空间区域。这样的处理方式大大缩短了程序的启动时间，并可减小页文件的尺寸。对内存的管理使用虚拟内存技术将能够对内存进行管理。对当前内存状态的动态信息可通过GlobalMemoryStatus（）函数来获取。GlobalMemoryStatus（）的函数原型为：VOID GlobalMemoryStatus(LPMEMORYSTATUS lpBuffer);其参数lpBuffer为一个指向内存状态结构MEMORYSTATUS的指针，而且要预先对该结构对象的数据成员进行初始化。MEMORYSTATUS结构定义如下：typedef struct _MEMORYSTATUS DWORD dwLength; / MEMORYSTATUS结构大小DWORD dwMemoryLoad; / 已使用内存所占的百分比DWORD dwTotalPhys; / 物理存储器的总字节数DWORD dwAvailPhys; / 空闲物理存储器的字节数DWORD dwTotalPageFile; / 页文件包含的最大字节数DWORD dwAvailPageFile; / 页文件可用字节数DWORD dwTotalVirtual; / 用户模式分区大小DWORD dwAvailVirtual; / 用户模式分区中空闲内存大小 MEMORYSTATUS, *LPMEMORYSTATUS; 下面这段代码通过设置一个定时器而每隔5秒更新一次当前系统对内存的使用情况：/ 设置定时器SetTimer(0, 5000, NULL);void CSample22Dlg:OnTimer(UINT nIDEvent) / 获取当前内存使用状态 MEMORYSTATUS mst;GlobalMemoryStatus(&mst);/ 已使用内存所占的百分比m_dwMemoryLoad = mst.dwMemoryLoad;/ 物理存储器的总字节数m_dwAvailPhys = mst.dwAvailPhys / 1024;/ 空闲物理存储器的字节数m_dwAvailPageFile = mst.dwAvailPageFile / 1024;/ 页文件包含的最大字节数m_dwAvailVirtual = mst.dwAvailVirtual / 1024;/ 页文件可用字节数m_dwTotalPageFile = mst.dwTotalPageFile / 1024;/ 用户模式分区大小m_dwTotalPhys = mst.dwTotalPhys / 1024;/ 用户模式分区中空闲内存大小m_dwTotalVirtual = mst.dwTotalVirtual / 1024;/ 更新显示UpdateData(FALSE);CDialog:OnTimer(nIDEvent);对内存的管理除了对当前内存的使用状态信息进行获取外，还经常需要获取有关进程的虚拟地址空间的状态信息。可由VirtualQuery（）函数来进行查询，其原型声明如下：DWORD VirtualQuery(LPCVOID lpAddress, / 内存地址PMEMORY_BASIC_INFORMATION lpBuffer, / 指向内存信息结构的指针DWORD dwLength / 内存的大小);其中lpAddress参数为要查询的虚拟内存地址，该值将被调整到最近的页边界处。当前计算机的页面大小可通过GetSystemInfo（）函数获取，该函数需要一个指向SYSTEM_INFO结构的指针作为参数，获取到的系统信息将填充在该数据结构对象中。下面这段代码通过对GetSystemInfo（）的调用而获取了当前的系统信息：/ 得到当前系统信息GetSystemInfo(&m_sin);/ 位屏蔽，指明哪个CPU是活动的m_dwActiveProcessorMask = m_sin.dwActiveProcessorMask;/ 保留的地址空间区域的分配粒度m_dwAllocationGranularity = m_sin.dwAllocationGranularity;/ 进程的可用地址空间的最小内存地址m_dwMaxApplicationAddress = (DWORD)m_sin.lpMaximumApplicationAddress;/ 进程的可用地址空间的最大内存地址m_dwMinApplicationAddress = (DWORD)m_sin.lpMinimumApplicationAddress; / 计算机中CPU的数目m_dwNumberOfProcessors = m_sin.dwNumberOfProcessors;/ 页面大小m_dwPageSize = m_sin.dwPageSize;/ 处理器类型m_dwProcessorType = m_sin.dwProcessorType;/进一步细分处理器级别m_wProcessorLevel = m_sin.wProcessorLevel;/ 系统处理器的结构m_wProcessorArchitecture = m_sin.wProcessorArchitecture;/ 更新显示UpdateData(FALSE);VirtualQuery（）的第二个参数lpBuffer为一个指向MEMORY_BASIC_INFORMATION结构的指针。VirtualQuery（）如成功执行，该结构对象中将保存查询到的虚拟地址空间状态信息。MEMORY_BASIC_INFORMATION结构的定义为：typedef struct _MEMORY_BASIC_INFORMATION PVOID BaseAddress; / 保留区域的基地址PVOID AllocationBase; / 分配的基地址DWORD AllocationProtect; / 初次保留时所设置的保护属性 DWORD RegionSize; / 区域大小DWORD State; / 状态（提交、保留或空闲）DWORD Protect; / 当前访问保