VMCkpt基于虚拟机的检查点技术研究.pptVIP

VMCkpt:基于虚拟机的检查点技术研究,提纲,课题背景及意义,1,国内外研究现状,2,核心问题及策略,3,4,课题规划,检查点概述,定义：Checkpointisadesignatedplaceinaprogramatwhichnormalprocessingisinterruptedspecificallytopreservethestatusinformationnecessarytoallowresumptionofprocessingatalatertime(Zomaya1996).检查点用途容错及灾备（FT&HA），广泛应用于DBMS，并行高性能计算（longtime）等进程或系统的休眠、迁移，系统快速启动。程序调试,课题背景,项目：973子课题四，“虚拟计算系统普适化运行环境研究”支撑系统：多平台共享的虚拟用户环境(VUE)系统现状：已经实现了用户多状态可回滚的桌面虚拟环境,课题背景（续）,全系统检查点数据组织结构,课题意义（续）,亟待解决问题,课题意义（续）,如何提高系统的可用性和运行效率？设计和优化基于虚拟机的全系统检查点：可压缩存储、对用户透明、可增量存储、可聚合、可协作。抛开系统，实现高效的VM检查点本身意义重大。对任何应用完全透明。可迁移性好。,提纲,课题意义,1,国内外研究现状,2,核心问题及策略,3,4,课题规划,4,检查点分类（续）,检查点分类（实现方式）用户层：API函数库或user-modesignalhandler进程类:Libckpt，Thckpt，Esky，Condor并行程序类：PM2，Score，CLIP，CoCheck系统层：systemcall，Kernelmodesignalhandler,KernelthreadZap,VMADump，EPCKPT，BLCR等VMM层：HypercallXen，VMware，Hyper-V文件系统级：商业DBMS，Windows系统还原，Symantec的VxFS，清华的CprFS,进程级检查点研究现状,Libckpt:TransparentCheckpointingUnderUNIX（USENIX95）TheDesignandImplementationofZap:ASystemforMigratingComputingEnvironments(OSDI02)PM2:AHighPerformanceCommunicationMiddlewareforHeterogeneousNetworkEnvironments(Supercomputing00)CLIPACheckpointingToolforMessage-PassingParallelPrograms(Supercomputing97)DejaVu:TransparentUser-LevelCheckpointing,Migration,andRecoveryforDistributedSystems(IPDPS07)Application-levelcheckpointingforsharedmemoryprogram(ASPLOS04)ImplementationandEvaluationofaScalableApplication-levelCheckpoint-RecoverySchemeforMPIPrograms(SC04)TransparentCheckpoint-RestartofMultipleProcessesonCommodityOperatingSystems(USENIX07),检查点特性比较（续）,基于虚拟机的检查点研究现状,现有基础：XenSave/Restore,LiveMigration保存VMtransientstate，不包括文件系统，可能导致内存快照和镜像文件不一致对应用不透明，内存不可增量，每次快照都造成了很大的时空overhead。现有文献：CheckpointRestartofVirtualMachinesBasedonXen(HAPCWorkshop06)VirtualMachineTimeTravelUsingContinuousDataProtectionandCheckpointing(ACMOSReview2008)Remus:HighAvailabilityviaAsynchronousVirtualMachineReplication（NSDI08）,虚拟机Xen检查点研究现状,2,基于虚拟机在线迁移的检查点技术，并提供持续的数据保护。,ACMOSReview08,3,NSDI08,HAPCworkshop06,Remus，通过虚拟机状态的异步复制和检查点技术，实现对虚拟机的透明容错，从而提高系统的高可用性。,1,基于Xen虚拟机的Save/restore技术。,美国橡树岭实验1，提出了虚拟机检查点在分布式环境中的管理框架2，分析了Xen检查点可能造成状态不一致的原因,IBM海法研究实验室项目1，引入CDP(ContinuousDataProtection)不间断的数据保护存储技术2，基于虚拟机迁移技术的内存透明检查点实现,英属哥伦比亚大学研究项目1，高可用性（ckpt/25ms）2，基于VMlivemigration,需要一台slave机3，频繁增量保存VM快照,提纲,课题意义,1,国内外研究现状,2,核心问题及策略,3,课题规划,4,4,5,核心问题及策略,检查点性能指标CheckpointsizeCheckpointingdowntimeCheckpointinglatency(totaltime)Checkpointingoverhead研究问题如何减小虚拟机检查点的大小？如何利用COW技术实现透明检查点？内存镜像数据如何增量保存？VM镜像文件如何管理（删除或合并）？如何设计多机协同检查点算法？,问题1（内存镜像优化）,VMM,VM,VM,D0,VM,用户环境数据,Intranet/Internet,使用虚拟环境,VMrestore,VM,VMsave,数据服务器,如何对内存镜像进行压缩存储,优化网络传输?,HW,虚拟机的内存空洞问题在虚拟机保存和恢复时没有考虑内存空洞的问题，VM快照大小主要取决于预配置的内存大小，未使用的内存页面也都一并写入磁盘.符合BLCR检查点规律,问题1（消除内存镜像空洞）,WWScurveforacompleterunofSPECCINT2000(512MBVM),问题1（VM内存镜像空洞）,200MB,如何设计内存镜像的压缩算法，消除内存空洞，减小保存和恢复的时空消耗？OptimizingCheckpointSizeintheC3System(IPDPS05)利用进程应用级的语义信息来self-checkpointing.可以减少内存中对象的拷贝。MemoryExclusion:OptimizingthePerformanceofCheckpointingSystems(SP&E99)OptimizingtheMigrationofVirtualComputers（OSDI02）利用ballooning机制来把页面内容内存换出到交换分区，然后把该页面清0，从而方便压缩。但该机制没有考虑页面属性，可能导致PF。Post-CopyBasedLiveVirtualMachineMigrationUsingAdaptivePre-PagingAndDynamicSelf-Ballooning（VEE09）创新点：检测出VM内存中的所有空闲页，记录到一张线性表中，不拷贝这部份数据到磁盘。,问题1（消除内存镜像空洞）,虚拟机的保存：DomU断开与设备的连接Xen探测VM内存页表中未分配（free)的页面。记录虚拟机中MFN表中页面为free的页表项地址到一张线形表中。把已使用的页表MFN转化为PFN表，dump到磁盘。保存CPU及设备状态。对已经消除了内存空洞的镜像进一步进行压缩。虚拟机的恢复：VMM根据VM配置信息创建一个虚拟机，建立页表映射关系。进行PFN-MFN表的影射，把磁盘中保存的内存页面装填到内存。恢复设备和VCPU状态。,问题1（消除内存镜像空洞）,技术难点：虚拟机空闲内存页面的快速探测算法（VMM和VM之间存在语义隔阂）研究状态：已经有一定进展，分析设计工作已经完成，已经完成了部分试验。系统正在编码和调试。目标：Cluster20094.14,问题2（VM透明检查点设计）,关键问题：虚拟机检查点的过程会中断系统服务，downtime时间主要取决于需要保存的内存镜像大小，为了不中断用户操作，应设计一种对用户透明的检查点。Libckpt:TransparentCheckpointingUnderUNIX（Usenix95）利用UNIXfork来cloneprocess，实际是利用了缓存机制。TransparentCheckpoint-RestartofMultipleProcessesonCommodityOperatingSystems(usenix07)利用copy-on-write机制来保存页面ReducingDowntimeDuetoSystemMaintenanceandUpgrades（LISA05)VirtualMachineTimeTravelUsingContinuousDataProtectionandCheckpointing(ACMOSReview2008)Remus:HighAvailabilityviaAsynchronousVirtualMachineReplication（NSDI08）,问题2（VM透明检查点设计）,Makeacheckpoint,Makeacheckpoint,State1,State2,State1,文献2，3中利用Xenmigration实现的检查点滞后于触发时间,方案一：,方案二：,问题2（VM透明检查点设计）,解决方案：在拷贝内存页面到磁盘的过程中利用COW机制及缓存技术，保证检查点过程中用户数据的初始状态一致性。停止虚拟机的运行，保存VCPU和设备状态初始化虚拟机内存页面状态虚拟机恢复执行，用COW机制拷贝所有的内存页,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,做检查点时设置页面状态为未拷贝（0）和只读,write,1,1,1,1,COW机制的实现,页面拷贝策略：Lipper-hop算法从页表的低地址开始copy页面到磁盘，然后清除页面只读和未拷贝标志。拷贝过程中VM对页面的read操作不做任何处理VM对页面的Write操作产生一个protectionviolation（PV）,拷贝线程会立即进行处理，把该页面拷贝到缓冲区，清除只读标志后，页面可写。根据程序执行的局部性原理，总是预拷贝发生PV页面的地址附近的页面,这种预拷贝策略可以减小PV次数，减少了的处理pagefault的时间消耗。,Pagefault,Pagefault,问题2（VM透明检查点设计）,研究状态：目前，分析设计工作已经基本完成。对Xen的实现的工作基础进行了分析已经开始进行系统实现目标：VEE2010orOther,问题3（可增量的内存检查点）,问题：内存镜像的数据量比较大，同一个用户多次保存运行的系统快照，如果每次都保存所有内存镜像，时空消耗非常大面向进程的检查点系统很少实现了IncrementalCheckpoint，只有Libckpt（USENIX95）有实现。,Memorytaint,Memorymap,Memorytaint,ckpt1,ckpt2,ckpt3,time,方案：实现增量的检查点，将极大的提高检查点的效率。所有页面设置为写保护状态，write会产生PF用bitmap数据结构记录从上一次检查点之后修改过的内存页面。设计页面增量保存的数据格式。进行内存检查点数据版本控制。扩展：不同用户间检查点页面数据的共享？创新点：Pre-checkpointing,即在检查点间隔期间利用CPU空闲时来预先保存修改不频繁的页面，减小检查点时刻的系统的overhead.(2009.10ACMconf),问题3（可增量的内存检查点）,问题4（文件系统检查点管理）,文件系统增量由树形结构组织，只有叶子节点为可读可写的，增量文件以指针逆向指向根节点。问题：当指针链过长的时候会增加从检查点恢复系统的时间，同时无法删除历史久远的检查点，因为存在层层依赖关系。,现有文献,Distribution-FreeCheckpointPlacementAlgorithmsBasedonMin-MaxPrinciple（IEEETRANSACTIONSONDEPENDABLEANDSECURECOMPUTING,2006）AVariationalCalculusApproachtoOptimalCheckpointPlacement（IEEETRANSACTIONSONCOMPUTERS2001）OptimalCheckpointPlacementwithEqualityConstraints（Proceedingsofthe2ndIEEEInternationalSymposiumonDependable,AutonomicandSecureComputing(DASC06),问题4（文件系统检查点管理）,解决办法：分析qcow生成的文件格式，以文件的语义信息进行内容的合并。研究问题：基于时间戳和操作序列的检查点更新策略。基于时间序列和用户行为的检查点删除策略。LNCSconference2009,12,文件1T:0,文件2T:0,文件3T:0,文件2T:1,文件3删除,文件4T:0,版本1,版本2,merge,文件1T:0,文件2T:1,文件4T:0,问题5(分布式多虚拟机协同检查点),多虚拟机的协作检查点,关键在于保证状态的一致性.对于虚拟机之间存在通讯的情况,如何避免网络包的丢失?,Domain0,Hypervisor,DBMSServer,MiddlewareServer,WEBServer,G