镜像文件废弃空间回收

镜像文件废弃空间回收技术 概要 1 课题研究目的与意义 课题研究目的与意义 研究背景镜像文件在当前虚拟机环境中是一种主要的存储形式特性 镜像文件的性能直接影响虚拟机的运行状况 封装性 隔离性 移动性 可回滚性 VMM domain0 WinXP Redhat winxp 使用WinXP镜像起虚拟机 课题研究目的与意义 问题提出目前虚拟机的镜像文件都存在一个比较严重问题 其大小只增不减 造成存储利用率低 WinXP 使用一个2GBWinXP镜像创建一个虚拟机 使用该虚拟机存入一个1G文件 此时windowsXP镜像文件大小增加 将刚才存入的1G文件删除 该镜像文件大小不变 HostOS 课题研究目的与意义 data data data 目录块 data data data i节点表 GestOS i节点 i节点 i节点 i节点 A i节点 data 存入文件A 删除文件A 节点号 data 其对应到Host的数据块映射仍然存在 Virtualdisk Physicaldisk 课题研究目的与意义 VMM VM VM VM VM VMM VM VM VM VM VMM VM VM VM VM VMM VM VM VM VM 存储容量不够 不能配置 20台虚拟机做测试 再配置10台虚拟机做测试 20台虚拟机把没用的测试数据删除了 存储容量仍然不够 不能配置 课题研究目的与意义 当前研究现状我如何解决 需解决问题 镜像文件存在大量废弃空间 当前研究现状 目前主流的镜像文件VMDK QCOW VHD虽然采用了COW技术 但仍存在废弃空间不能利用的问题 这就造成了存储空间利用率低VMDK镜像文件的确存在虚拟机文件删除后 其镜像文件大小仍然不变 RaxcoSoftwareWhitePaper DiskFragmentationinaVMwareEnvironment whitepaper UsingandAutomatingtheVirtualDiskShrinkFeature 中也提出了镜像文件只增不减的问题VHD文件也存在其大小只能增加不能减小的问题 ScriptingMicrosoftVirtualServer2005 xen 3 1tools blktap源代码 没有对镜像文件无用数据块的操作 Gestos与hostos文件操作语义隔离 当前研究现状 Vmware针对其VMDK提出virtualdiskmanage镜像文件管理工具 其中提出shrinkingvirtualdisk技术shrinking原理 先将整个镜像文件扫描一遍 再找到空洞进行填补缺陷 由于需要全盘扫描 所以造成开销很大 执行效率缓慢 且需要用户手动定期处理微软针对其VHD 采用compactingVHD文件 缺陷 需要用户手动的定期处理 且要暂停虚拟机 目前最新提出了采用Hype V来shrinkVHD文件 缺陷 需要较高的硬件配置 且要暂停虚拟机手动处理 当前研究现状 VirtualizationAwareFileSystem GettingBeyondtheLimitationsofVirtualDisks NSDI 06 一个细粒度管理镜像文件的分布式文件系统 并树形组织增量镜像 缺陷 由于不支持对无用的增量镜像删除 随着增量镜像链式增长导致磁盘性能下降 且没有提出方案解决增量镜像废弃空间的问题 导致存储空间利用率低Parallax VirtualDisksforVirtualMachines EuroSys 08 多次快速snapshot的分布式存储系统 由于增量镜像直接与块进行映射 因此加快了对于增量镜像访问缺陷 仅对于很久不用的镜像文件进行了删除 但是在对虚拟机操作过程中 并没有对镜像文件的废弃空间删除 从而存导致储空间利用率低 设计方案 基本思路 GuestOS对虚拟磁盘操作同时HostOS自动回收镜像文件废弃空间虚拟机内部文件操作自动捕获转换机制Domain0中镜像文件磁盘模拟器模拟文件操作执行机制 设计方案 体系结构图 VMM XEN Driveemulator Tapdisk FileSystem blktap Harddiskdisk Paravirtualblockrequest EmulatedBlockrequests Physicalhost FOCmodule FOEmodule qcow vdi ParavirtualVM FullyVirtualizedVM Domain0 blkfront FileSystem FOCmodule Harddiskdrive 设计方案 场景 GuestOS数据删除 data data data 目录块 data data data i节点表 GuestOS i节点 i节点 i节点 A i节点 data 节点号 deleteA data Virtualdisk Physicaldisk UseSpace FileSystem FOC FOE tapdisk HostOS FileSystem 获取A虚拟磁盘块地址 将块地址装换为数据块 执行文件数据块删除操作 i节点 关键技术 虚拟机文件系统删除事件即时截取机制虚拟机内部文件的虚拟磁盘块地址列表转换QCOW格式的解析 课题预期目标 镜像文件的废弃空间回收处理达到效果 对虚拟机中文件进行多次操作后 虚拟机内部磁盘数据容量与其对应的镜像文件所占磁盘数据容量基本保持一致 进度安排 Com