一种高效的虚拟机快照管理系统设计与实现开题报告

中科院软件所软件工程技术中心研究生学位论文开题报告报告题目 一种高效的虚拟机快照管理系统设计与实现 学生姓名 周蕾 学号 201205015029003 指导教师 许舒人 职称 副研究员 学位类别 工学硕士 学科专业 计算机软件与理论 研究方向 网络分布式计算与软件工程 培养单位 中国科学院软件研究所 填表日期 2014年6月15号 中国科学院大学制13填 表 说 明1. 本表内容须真实、完整、准确。2. “学位类别”名称填写：哲学博士、教育学博士、理学博士、工学博士、农学博士、医学博士、管理学博士，哲学硕士、经济学硕士、法学硕士、教育学硕士、文学硕士、理学硕士、工学硕士、农学硕士、医学硕士、管理学硕士等。3. “学科专业”名称填写： “二级学科”全称。1. 选题的背景及意义云计算作为新兴技术和商业模式的混合体，得到了学术界和工业界的狂热追捧，近年来取得了长足发展。虚拟化技术1作为云计算服务的促进因素，被广泛地应用于云计算基础设施层面，涌现出了OpenStack、Enomalism等主流的开源云计算框架，国内也出现了阿里云、盛大云等商业云系统。虚拟机作为虚拟化计算环境的一个重要组件，被广泛地用于分配和管理计算资源。随着虚拟机的大量部署，虚拟机的高可用性及容错能力的重要性日益凸显。2010年1月，Heroku在Amarzon EC2平台上的虚拟机发生故障，影响了44000个应用的正常使用2。2011年4月，Amarzon EBS发生故障，停机长达12小时，5天后故障也没有完全修复3。因此，在虚拟化计算环境中，提供某种虚拟机级别的系统保护措施是至关重要的。通常，虚拟机备份6是一种有效的虚拟机级别的系统数据保护策略。虚拟化技术能在一台物理主机上虚拟出多个具有不同操作系统的虚拟机实例。每个虚拟机实例都是一个严密隔离的软件容器，像物理主机一样运行自己的操作系统和应用程序，拥有自己的物理资源，如虚拟CPU、内存、虚拟磁盘和网络接口卡等。虚拟机备份主要就是对CPU寄存器、虚拟磁盘及内存信息等的保存。虚拟机备份通常可以分为三个层次备份：客户操作系统、虚拟机监视器（VMM）和虚拟机外部。虚拟机客户操作系统层次的备份将虚拟机看作普通的物理主机，在每个虚拟机中安装备份程序，通过网路将数据备份到其他服务器中。这种备份方式支持文件级备份，可进行增量备份，保持现有的备份系统没有变化，不需要增加额外的配置。但是由于备份程序需要同通过虚拟层去访问虚拟机数据，这种备份方式很低效。此外，每个虚拟机都需要安装备份程序，会造成主机不必要的资源消耗，同时进行多个备份可能带来主机性能瓶颈。虚拟机外部层次备份通过在云基础设施中加入第三方备份软件来实现虚拟机备份。例如，在大型服务器上通过Vmware Consolidated Backup来达到虚拟机备份的目的，同时又不影响服务器的性能。这种备份方式比较适合大型数据中心，属于集中式备份，备份程序转移到备份服务器，降低了主机开销。但是这种备份方式部署复杂，依赖于第三方软件，且不支持单个虚拟机备份。VMM层次备份中，使用同一备份程序可以对所有的虚拟机进行备份，备份程序将每个虚拟机看作一个文件，虚拟机的数据和配置信息都保存在虚拟磁盘中。这个层次的虚拟机备份主要通过对虚拟机迁移、日志记录、虚拟机快照等技术来实现。本论文的关注点就是虚拟机快照技术。SNIA（存储网络行业协会）对快照（Snapshot）的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点（拷贝开始的时间点）的映像。从根本上说，快照创建了数据在某一时间点的数据副本。虚拟机快照就是指保留了虚拟机在某一时间点的状态和数据的快照。虚拟机的状态包括虚拟机的电源状态（开机、关机、挂起等）；虚拟机的数据包括所有构成虚拟机的文件：虚拟磁盘、内存及其他设施。虚拟机快照是在本地共享存储中支持虚拟机失效恢复的技术。虚拟机快照主要实现形式有两种：重定向写ROW（Redirect On Write）和写时复制COW(Copy On Write)7。重定向写快照技术是在快照时间点之后，对磁盘块的写操作将重新定向到快照盘，而不对旧的数据修改。磁盘块上保留的是上一个快照时间点的旧数据，新数据存放在快照中。写时复制创建一个快照文件用来映射源磁盘块。快照时间点之后，对磁盘块的写操作首先将原始数据拷贝到快照，然后将新数据写入源磁盘块。大多数的虚拟机快照都是通过这种技术实现的。虚拟机快照是增量式快照，可以对虚拟机创建多个快照，快照间是一种“链式”的组织机构。例如，原始VM-Snapshot1-Snapshot2-SnapshotN，每次快照记录保存的都是上一次快照后的增量数据变化。在传统的计算模式中，用户可以控制基础设施中的资源，用户可以决定在什么时机生成快照。而在云计算环境中，虚拟机快照操作对终端用户的工作流是透明的，终端用户只是向服务提供商（Amarzon等）租用资源，虚拟机快照的管理是由服务提供商来控制的。通常，云计算环境下以周期性的快照生成策略来自动生成快照。 采用虚拟机快照技术，系统可以有多个恢复点，在系统发生故障时，可以进行及时恢复，将数据恢复成快照产生时间点的状态。同时，虚拟机快照是整个虚拟机的热拷贝，在拷贝数据和访问副本的过程中，原始数据对上层应用始终可用，对原始数据的操作也不会被打断，因此不影响系统业务的正常运行，可以很好地解决商业系统面临的备份操作时需要暂定服务的问题。此外，快照还具有较高的可用性、快速的状态恢复及降低数据丢失风险等优势。虚拟机快照技术具有巨大的优势，然而根据微软、Vmware等虚拟化厂商的研究，快照链路过长或快照文件过大都会导致严重的性能问题和占用大量的存储空间。传统的虚拟机快照管理系统中，采用周期性的快照策略来自动生成快照，简化了快照过程的人工操作，但是由于时间间隔是固定的，不能适应系统负载的动态变化。如果某一时间间隔内，应用没有对数据进行修改，那么创建快照将造成系统不必要的操作开销和资源浪费，增加快照链的长度；如果某一时间间隔内应用对数据块修改非常频繁，该时间间隔内只创建一个快照，那么会增大快照文件的大小。如果系统故障需要恢复或快照发生损坏，将会造成大量历史数据的丢失。快照链过长或快照文件过大也会影响快照合并操作的效率。此外，快照的创建过程中涉及到内存的拷贝，特别是对业务繁忙的系统或GB以上的大数据块，这需要花费一定的时间要完成快照操作，可能会有短暂的中断服务。因此，需要制定合理的快照生成时机和快照生成频率，控制快照链的长度和快照文件的大小，保证系统尽可能高的性能和数据完整性。由于虚拟机快照是增量式快照，每个快照只包含部分的磁盘状态，磁盘在某个时刻的完整状态需要通过多个连续快照的合并才能获得。删除快照的过程中也需要合并快照。删除快照时，会将创建此快照后此快照中所有的数据更改写入其前一个快照中。如果要删除所有快照，所有的数据更改都会与基础快照进行磁盘合并。快照的合并过程会涉及大量的磁盘读写操作，会极大地影响系统的性能，此影响一直持续到整个合并过程完成。然而，随着存储系统规模不断扩大或者快照频率的增高，快照的数量会越来越多，快照链也会越来越长，这将占用大量的存储空间，且影响快照合并操作的效率。且如果合并之间的时间间隔过长，快照文件变大，合并操作所需的时间也会更长。因此，在快照系统中指定合理的快照合并机制，缩短快照链长度，对系统的效率和存储空间利用率也是至关重要的。如果快照的创建频率过高，会增加快照链长度，极大地影响系统性能，但可保证少量甚至零数据丢失；如果快照的创建频率过低，会使快照文件增大，对系统性能影响较小但如果快照损坏易造成大量历史数据丢失。如果快照的保留时间过长，会占用大量的存储空间且合并快照需要花费更多的时间。因此，在快照管理系统中制定合理的快照管理策略，将有助于减少快照操作对系统性能和存储空间的影响。本本论文研究焦点就是基于虚拟机快照技术，结合按需的快照生成策略以及自适应的快照收集策略，在虚拟化计算环境中，设计和实现一个高效的虚拟机快照管理系统。2. 国内外本学科领域的发展现状信息化的推进给信息存储带来了更高的要求，作为数据保护技术的虚拟机快照技术得以蓬勃发展，在学术界和工业界都进行了广泛地研究。在云计算环境中，虚拟机快照技术常被用于云服务管理、虚拟机管理、数据保护、故障恢复，甚至于数据共享领域。广泛地，快照技术主要有以下几种不同实现主体：基于文件系统的快照，基于逻辑卷管理器（LVM）的快照，基于磁盘阵列的快照以及基于主机虚拟化的快照。1) 基于文件系统的快照很多文件系统都支持快照操作。诸如微软的Windows NTFS、Sun Solaris的ZFS以及Apple公司的Mac OS X 10.6等。文件系统内的快照被集成在文件系统中，是“免费”的，通常这些快照功能使用起来非常简单。但是每个文件系统都必须独立进行管理，当系统数量激增时，管理工作会变得非常繁重。此外，不同文件系统所提供的快照种类、快照频率、预留空间等参数也可能不一样。需要管理的服务器和文件系统越多，复杂程度就越高。2) 基于LVM的快照基于LVM的快照，提供了对任意一个Logical Volume(LV)做“快照”(snapshot)的功能，以此来获得一个分区的状态一致性备份。可以创建跨多个文件系统的LVM快照，LVM通常还包括存储多路径和存储虚拟化等功能。但是使用LVM，通常需要付出额外的成本，为每台服务器购买license(许可证)和维护费。而且，像基于文件系统的快照一样，可能还要面临多系统之间的协调问题和复杂技术实施问题。在文献 15中，为了使在逻辑卷实现的快照既能屏蔽物理存储设备的异构性，又能为各种应用提供透明的数据保护支持，提出来一种基于带外存储虚拟化系统的高性能快照方法LVHPsnap，它通过可扩展的元数据组织策略，灵活使用多种类型的快照以适应不同应用的需求；同时通过以Finesnap卷、Checkpoint卷两种类型快照卷构建混合快照链表和压缩快照索引数据实现了高性能快照，以高频度生成快照时系统能保持较高的性能和存储空间利用率。在文献16中，对LVM快照提出了一种块备份数据多版本融合方法，减少版本链的长度对历史版本检索效率的影响。该方法通过增量备份数据版本序列之间的融合产生任意时间点的全量快照备份数据，进一步根据块备份数据的分布特点，提出变长数据块版本融合算法，降低快照版本融合的计算复杂度。3) 基于磁盘阵列的快照大多数的磁盘阵列软件系统里都含有快照功能。基于磁盘阵列的快照与基于NAS（一种优化的文件系统）的快照有非常相似的优点，即所有与磁盘阵列相连的计算机系统都可以使用这种标准的通用快照功能，包括物理服务器、虚拟机、台式机和笔记本电脑等等。快照的实施、操作和管理也都很简单。基于磁盘阵列的快照也有一些缺点：license和维护费用昂贵;对非Windows平台的应用程序支持有限;磁盘阵列的数量越多，快照的管理也就越复杂。4) 基于主机虚拟化的快照随着服务器虚拟化应用的普及，基于主机虚拟化管理软件(hypervisor)的快照技术也逐渐流行起来。在主机虚拟化软件层实现快照简单直接。由于同虚拟机管理软件绑定在一起，因此可以为所有的虚拟机 (VMs) 提供统一的快照，并且还可以同微软的VSS集成，随时调用。相对而言，基于主机虚拟化的快照很容易部署、使用和管理。工业界已有对于以上的各种快照技术的实现。Vmware 提供了一种文件系统级的快照机制Ventana11，它基于网络文件系统NFS（Network File System），但是只支持文件的快照和回滚，牺牲了云平台的一般性，比如windows系统就不支持NFS引导。此外，Ventana的快照版本信息和元数据都存储在一个传统的数据库中，随着快照数目的增加，其性能将不可避免地降低。Citirx10为Xen提供了基于LVM（Logic Volume Management）的快照基础设施，这是一个传统的Unix系统的快照机制,在逻辑卷支持动态地写时复制快照，大大缩短了在备份期间服务器暂定服务的时间。但是这种快照机制对底层存储系统的实现有一定限制，存储系统必须支持LVM。此外，LVM在数据映射上是极其低效和耗费空间，这种快照实现机制在系统故障后有可能不能恢复系统到正确的状态。Citrix公司的 XenServer、微软的HyperV14、SUN的xVM Ops Center、以及VMware的ESX和vSphere4等主机虚拟化产品都支持快照功能。快照技术发明以来，人们进行了大量意义重大的改进。快照窗口不断缩小，从几秒到瞬间完成；几乎可以在任意时刻创建快照，粒度越来越细，数量不断增大；快照性能大幅提升，快照的灵活性、可扩展性、可管理性不断增强。然而，人，针对当前的各种解决方案，在综合性能、灵活性、管理性方面，快照技术仍然存在很大的改进空间。本论文的研究目的就是在给定的虚拟化平台vServer和虚拟机管理平台vCenter上，给出合理的快照管理策略，告诉虚拟机应该何时做快照，以何种频率做快照，何时删除快照，减少不必要的快照操作，删除旧快照释放存储空间，优化快照操作对系统性能和存储空间的影响，且为高价值虚拟机设置及时恢复策略，实现一个高效的虚拟机快照管理系统。3. 课题主要研究内容、预期目标本论文关注点主要有以下几点：优化由于快照链过长或者快照文件过大对系统性能和存储空间的影响，同时维护系统数据的一致性。因此，本论文主要从以下三个方面进行研究：快照的按需生成机制，快照的自适应收集机制以及数据一致性保护。3.1 课题主要研究内容1) 快照的按需生成机制前文中提到，快照的创建过程涉及到内存拷贝，以及写操作需要三次I/O。快照的创建时机和快照的创建频率是影响系统性能和系统数据完整性的两个重要因素。传统的周期性自动生成快照策略，由于时间间隔是固定的，有可能在系统业务繁忙的时候进行快照，这可能会造成系统业务有短暂的中断服务。而对于快照的创建频率，高频率的快照生成在系统恢复时可以保证较高的数据完整性，甚至于零数据丢失，但是对系统性能影响较大。低频率的快照生成对系统性能影响较小，但是低频率的快照生成在系统故障或者快照受损时会有较大的历史数据丢失。综上可知，制定合理的快照生成时机和快照生成频率对系统的性能和系统数据的完整性是至关重要的。本论文将结合各个虚拟机当前的负载状况和应用类型以及用户的偏好设置生成优化的快照生成算法，期望能够利用“固定时间间隔”或者“增量文件大小阈值”的快照生成机制指定最佳的快照生成时间间隔，减少不必要的快照操作，最优化对整个系统的性能和数据完整性的影响。2) 快照的自适应收集机制随着存储系统规模不断扩大或者快照频率的增高，快照的数量会越来越多，这将占用大量的存储空间，需要根据一定的策略来删除快照，提高存储空间的利用率。快照的删除操作涉及到快照的合并。删除快照时，会将生成此快照后此快照中所有的数据更改写入前一个快照中。如果要删除所有快照，所有的数据更改都会与基础快照进行磁盘合并。此外，虚拟机快照是增量式快照，每个快照只包含部分的磁盘状态，磁盘在某个时刻的完整状态的获取也需要通过多个连续快照的合并操作。而虚拟机快照的合并操作，涉及大量的磁盘读写操作，会极大地影响系统的性能，此影响一直持续到整个合并过程完成。如果虚拟机快照的保留时间过长或者快照合并操作间的时间间隔过大，那么此时间段内快照链会增长或者快照文件会变大，这将使合并操作花费更多的时间。因此，需要制定合理的快照合并策略，加快快照合并操作效率，提高存储空间利用率。本论文根据各个虚拟机当前的负载状况和系统业务类型的重要性以及系统对存储空间的需求度，制定自适应的快照收集策略，在尽量不影响系统性能的情况下进行快照合并操作，提高存储空间利用率。3) 数据一致性保护使用快照，数据的捕获处于无序的状态，从这个状态恢复数据可能不会成功；创建快照时虚拟机正在进行大量的I/O操作；快照创建间隔过长，数据丢失量增大；删除快照操作不成功等因素都有可能造成数据的不一致性。保护数据的一致性是最合理和最基础的要求，因此需要通过合理的快照收集机制及故障恢复机制，结合一定的快照管理策略来保证系统数据的一致性。3.2 预期目标本论文的预期目标是结合按需的快照生成机制和自适应的快照收集机制设计和实现一个高效的虚拟机快照管理系统。4. 拟采用的研究方法根据本论文的研究内容，拟采用的研究方法分以下三部分：虚拟机性能监测、应用类型划分、存储需求规划、快照管理机制实现、实验验证。系统架构图如下所示：1) 虚拟机性能监测研究虚拟机的操作系统系统级的资源监测方法和基于统计分析的资源评估方法，用虚拟化环境中性能收集工具如xenoprof等监测虚拟机负载数据和运行行为。2) 应用类型划分基于PPSA（Primary Pattern Selection Analysis)主模式选择方法提取历史数据特征和基于不同的资源消耗模式用KNN分类算法对应用进行分类为I/O密集型和非I/O密集型。3) 快照管理机制实现基于虚拟机性能监测，根据得到的评估结果，设计差分的虚拟机快照生成周期和自适应的快照收集机制，管理虚拟机快照的创建、合并、删除等操作。例如，根据应用类型，对于应用服务器可以不做或者一个月做一次，对于数据库则需要一天做一次。4) 实验验证在相同的虚拟化平台和虚拟机配置下，对比无快照功能和有快照功能两种情况下系统性能和存储空间所受到的影响；对比无上述快照管理机制和有上述快照管理机制两种情况下系统性能和存储空间所受到的影响；验证本管理机制是否有效。5. 已有科研基础与所需的科研条件1) 阅读大量云计算、虚拟化、虚拟机、快照相关文献；2) 调研了虚拟机快照管理发展现状；3) 中国科学院软件研究所软件工程技术中心已经开发和实现了Once vServer虚拟化平台，该平台为本论文的研究提供了良好的基础平台和功能接口；4) 中国科学院软件所软件工程技术中心已经开发和实现的Once vCenter虚拟机管理平台为本论文的研究提供了良好的虚拟机管理机制和展示平台。6. 研究工作计划于进度安排1) 2013年6月，确定选题，撰写开题报告；2) 2013年7月至2013年8月，继续阅读有关虚拟化、虚拟机、虚拟机快照管理等相关文献；调研主流的虚拟机快照实现机制；调研ZFS文件系统及其快照实现策略；3) 2013年9月至2014年2月，实验虚拟机快照操作对系统性能和存储空间的影响；进行系统的设计和搭建工作：主要包括性能监测、基于Once vServer虚拟化平台和Once vCenter虚拟机管理平台实现按需的虚拟机快照生成机制和自适应的虚拟机快照合并机制并实验验证；完成中期考核；4) 2014年3月至2014年6月，系统进一步的完善、毕业论文撰写以及毕业答辩。7. 参考文献1 /definition/virtualization2 C. Brooks. Heroku learns the hard way from amazon ec2 outage. SearchCloudC, January 20103Summary of the Amazon EC2 and Amazon RDS Service Disruption in the US East Region. /message/65648/4Brendan Cully, Geoffrey Lefebvre, Dutch T. Meyer, Mike Feeley, Norman C. Hutchinson, Andrew Warfield: Remus: High Availability via Asynchronous Virtual Machine Replication. (Best Paper) NSDI 2008.5Yoshiaki Tamura, Koji Sato, Seiji Kihara, and Satoshi Moriai. Kemari: Virtual Machine Synchronization for Fault Tolerance. USENIX ATC 08.6褚福勇，肖侬，蔡志平，陈彬.虚拟机备份机制研究-计算机工程与科学.Vol.31,No.9,2009.7 Xiao W，Liu Y，Yang Q，et a1Implementation and Performance Evaluation of Two Snapshot Methods on iSCSI Target StoragesC/Proc of NAsA/IEEE Conf on Mass Storage Systems and Technologies，20068 /developerworks/tivoli/library/t-snaptsm1 9 /developerworks/tivoli/library/t-snaptsm2