第三章存储虚拟化技术

1、版权所有 2015 华为技术有限公司存储虚拟化技术第1页版权所有 2015 华为技术有限公司前言l本节介绍FusionCompute存储虚拟化涉及的特性。学员需充分把握特性内涵以助于后续实际环境中进行功能的合理引用与优化第2页版权所有 2015 华为技术有限公司目标l学完本课程后，您将能够:l了解华为存储模型和概念l熟悉华为存储虚拟化功能特性，适用场景等第3页版权所有 2015 华为技术有限公司目录1.存储基础存储基础2.存储虚拟化特性，适用场景存储虚拟化特性，适用场景第4页版权所有 2015 华为技术有限公司华为云计算存储模型(一)l存储资源存储资源l存储资源表示物理存储设备，例如存储资源表

2、示物理存储设备，例如IPSANIPSAN、Advanced SANAdvanced SAN、NASNAS等等l存储设备存储设备l存储设备表示存储资源中的管理单元，类似存储设备表示存储资源中的管理单元，类似LUNLUN、 Advanced Advanced SANSAN存储池、存储池、NASNAS共享目录等共享目录等l一个存储资源可以有多个存储设备一个存储资源可以有多个存储设备l数据存储数据存储l数据存储表示系统中可管理、操作的存储逻辑单元数据存储表示系统中可管理、操作的存储逻辑单元l一个数据存储和一个存储设备对应一个数据存储和一个存储设备对应l数据存储承载了具体的虚拟机业务，例如创建磁盘等数据

3、存储承载了具体的虚拟机业务，例如创建磁盘等第5页版权所有 2015 华为技术有限公司华为云计算存储模型(二)存储资源存储设备存储设备存储池LUN数据存储数据存储卷卷逻辑对象逻辑对象物理实体物理实体FusionStorageSAN本地磁盘NAS共享目录第6页版权所有 2015 华为技术有限公司存储资源lFusionSphere的存储资源包括：的存储资源包括：IPSAN、FCSAN、Advanced SAN、FusionStorage和和NASlIPSAN是通过是通过iscsi链路和主机建立连接链路和主机建立连接lFCSAN是通过光纤通道和主机连接的，主机连接是通过光纤通道和主机连接的，主机连接S

4、AN设备后可以扫描存储设备设备后可以扫描存储设备（LUN）lAdvanced SAN是通过是通过SMI-S接口扫描、管理磁盘的接口扫描、管理磁盘的lFusionStorage是通过其管理结点提供的接口管理存储的是通过其管理结点提供的接口管理存储的lNAS通过通过NFS协议扫描和挂载共享目录协议扫描和挂载共享目录l主机访问存储资源：主机访问存储资源：l先需要添加存储资源，由存储工程师从存储侧配置完成先需要添加存储资源，由存储工程师从存储侧配置完成l再选定主机并关联存储资源，有虚拟化工程师在计算主机再选定主机并关联存储资源，有虚拟化工程师在计算主机/集群上完成集群上完成第7页版权所有 2015 华

5、为技术有限公司存储资源使用对比存储资源类型存储资源类型底层协议底层协议存储设备类型存储设备类型是否支持虚拟化是否支持虚拟化是否支持存储卸载是否支持存储卸载IPSANTCP/IPLUN是否FCSAN光纤LUN是否NASTCP/IP共享目录是否本地磁盘本地磁盘本地连接本地磁盘是否AdvancedSANTCP/IP存储池否是FusionStorageTCP/IP存储池是是存储卸载：指将部分存储操作（模板部署、删除清零等操作）下移到存储侧进行，这样做可以不浪存储卸载：指将部分存储操作（模板部署、删除清零等操作）下移到存储侧进行，这样做可以不浪费主机侧资源，同时也可以提升操作效率费主机侧资源，同时也可以

6、提升操作效率虚拟化：对于虚拟化：对于LUNLUN或者本地磁盘，在不支持虚拟化的场景不能支持快照，链接克隆等高级功能，但或者本地磁盘，在不支持虚拟化的场景不能支持快照，链接克隆等高级功能，但是所创建的卷具有很好的性能。虚拟化后的数据存储，支持各种高级功能，卷格式也支持多种，但是所创建的卷具有很好的性能。虚拟化后的数据存储，支持各种高级功能，卷格式也支持多种，但是性能低于非虚拟化的存储设备是性能低于非虚拟化的存储设备第8页版权所有 2015 华为技术有限公司存储设备lFusionCompute的存储设备有五种： LUN 、本地磁盘、Advanced SAN存储池、FusionStorage存储池和

7、NAS共享目录lLUN在使用前需要在存储侧或者交换机侧进行配置。该配置根据不同的厂家会不一样，具体需要参照存储或交换机配置l存储设备需要通过主机探测的方式进行扫描来发现l主机需要链接存储资源后才能扫描存储资源所包含的存储设备l每个主机都能发现各自的存储设备，也能发现共享的存储设备第9页版权所有 2015 华为技术有限公司数据存储l数据存储是在存储设备上创建的逻辑管理单元：l数据存储需要创建在指定的存储设备上，且一个存储设备只能创建一个数据存储l数据存储和主机关联，为主机提供资源，数据存储可以关联到多个主机，一个主机也可以使用多个数据存储l数据存储的使用l存储设备必须被添加为数据存储才能被使用l

8、数据存储可用于存放虚拟机磁盘、快照文件l数据存储的大小依赖于存储设备的大小第10页版权所有 2015 华为技术有限公司虚拟化的存储栈用户虚拟机用户虚拟机用户虚拟机用户虚拟机后端卷挂载驱动后端卷挂载驱动前端驱动前端驱动前端驱动前端驱动虚拟磁盘文件虚拟磁盘文件通用块层通用块层驱动层驱动层SANNAS主机内核空间本地磁盘文件系统文件系统主机用户空间用户态挂载驱动用户态挂载驱动l存储虚拟化技术可以将不同存储设备进行格式化，屏蔽存储设备的能力、接口协议等差异性，将各种存储资源转化为统一管理的数据存储资源，可以用来存储虚拟机磁盘、虚拟机配置信息、快照等信息，使得用户对存储的管理更加同质化第11页版权所有

9、2015 华为技术有限公司文件系统l文件系统作用在于提供文件操作接口，屏蔽存储设备的差异，为虚拟化卷文件提供存放空间l当前FusionCompute所使用的文件系统为：VIMS、EXT4、NFS所需存储所需存储设备设备是否创建是否创建文件系统文件系统是否支持是否支持共享共享是否支持是否支持延迟置零卷延迟置零卷VIMSLUN是是是EXT4本地磁盘是否是NFS共享目录否是否第12页版权所有 2015 华为技术有限公司VIMS(Virtual Image Manage System)lVIMSVIMSl高性能集群文件系统，是高性能集群文件系统，是Thin Thin ProvisioningProvi

10、sioning、快照、存储迁、快照、存储迁移等高级特性的技术基础移等高级特性的技术基础l兼容兼容FC SANFC SAN、IPSANIPSAN、NASNAS、本地磁盘本地磁盘l支持固定空间磁盘、动态空间支持固定空间磁盘、动态空间磁盘、差分磁盘等磁盘、差分磁盘等l应用场景应用场景l需要存储迁移、快照、链接克需要存储迁移、快照、链接克隆等高级存储特性虚拟机隆等高级存储特性虚拟机FC SAN文件系统NAS文件系统IP 网络ISCSI SANFC 交换机物理机物理机本地磁盘第13页版权所有 2015 华为技术有限公司VIMS部署方案l为为FusionCompute计算集群提供共享存储计算集群提供共享存

11、储l一个计算集群可以根据需要，有多个一个计算集群可以根据需要，有多个VIMS共享存储共享存储l添加添加VIMS共享存储，需要配置存储心跳网络共享存储，需要配置存储心跳网络Storage Area NetworkCNA1VIMS_1VMVMVMCNA2VMVMVMCNA3VMVMVMVIMS_2VIMS_1VIMS_1VIMS_2VIMS_2心跳第14页版权所有 2015 华为技术有限公司虚拟磁盘文件l虚拟磁盘文件的类型l一个虚拟磁盘对应一个VHD文件l虚拟磁盘文件的格式：固态磁盘文件，动态磁盘文件，差分磁盘文件磁盘磁盘文件文件类型类型应用场景应用场景写性能写性能(首次写首次写)写性能写性能(非

12、首次非首次)读性能读性能(未写入未写入空间空间)读性能读性能(已写入已写入空间空间)创建时间创建时间固态固态磁盘磁盘普通卷性能接近存储设备性能接近存储设备性能接近存储设备性能接近存储设备慢,需要全盘写零动态动态磁盘磁盘精简卷、普通延迟置零卷低, 需要先写零,然后再写数据性能接近存储设备直接返回性能接近存储设备快,只需写元数据差分差分磁盘磁盘非持久化卷、快照、链接克隆卷等低, 需要先写零,然后再写数据性能接近存储设备性能取决于父镜像性能接近存储设备快,只需写元数据第15页版权所有 2015 华为技术有限公司固态磁盘文件l创建时需要将磁盘文件对应的存储块空间全部进行初始化成“0”，创建速度慢，IO

13、性能最佳；用于对IOPS要求较高的场景l磁盘大小恒定，创建后使用空间和预留空间相等l未写满的时候内部空间包含大量0，数据冗余度很高l应用在系统中的普通卷0扇区 最后一个扇区数据区磁盘属性信息第16页版权所有 2015 华为技术有限公司动态磁盘文件l创建时只需写头和结束块，创建速度块，IO性能较差；应用于精简磁盘和普通延迟置零磁盘l磁盘大小会随着用户写入数据而增长，但不随着用户删除数据而缩减，只能通过磁盘空间回收来手动缩减应用在系统中的精简磁盘空间l通过工具可以和静态磁盘互相转换；例如，可以从一个精简磁盘的模板部署一个普通磁盘的虚拟机0扇区12m扇区n0n1最后一个扇区属性信息位表0数据区0位表

14、1数据区1属性信息第17页版权所有 2015 华为技术有限公司差分磁盘文件l差分磁盘的结构和动态磁盘一模一样，只是文件头中会记录它的父文件路径l差分卷不能独立存在，必须能够访问到父文件才能正常工作l差分卷也可以成为父文件l差分磁盘的特性和动态盘类似，但是很多业务有限制l差分磁盘以块为单位记录相对于父文件的修改l配合快照、非持久化磁盘、链接克隆等功能被使用，起到保护源盘不被修改，并可以跟踪虚拟机磁盘差异数据的作用0扇区12m扇区1 2K扇区n0n1最后一个扇区属性信息父文件信息位表0 数据区0 位表1 数据区1 属性信息第18页版权所有 2015 华为技术有限公司目录1.存储基础2.存储虚拟化特

15、性，适用场景第19页版权所有 2015 华为技术有限公司精简磁盘和空间回收l功能特性l支持创建精简磁盘，可以随着用户使用而自动分配空间l膨胀的精简磁盘不会随着用户删除数据而缩小，使用空间回收工具可以将用户删除的数据空间释放到数据存储l适用场景l精简磁盘可应用于局点运行初期，用户磁盘使用率低的情况。能够降低初始存储投资及维护成本。存储设备只保存有效数据，不保存预留空间，可以提高存储资源利用率l空间回收可以提高精简磁盘的使用/分配比，提高存储利用率分配但未使用未使用精简配置在主机上占用的容量 ：21TB2TB2TB2TB6TB5TB4TB分配且已使用在主机上占用的容量 ：15TB4TB6TB5TB

16、使用精简配置未分配分配已使用第20页版权所有 2015 华为技术有限公司非持久化磁盘l非持久化磁盘功能特性l虚拟机启动时，对虚拟机卷创建一个差异化文件，用户对磁盘的所有更改都被重定向保存在这个文件中l用户虚拟机关闭时，删除该差异化文件，用户在创建差异化磁盘后的所有修改都会被丢弃l用户重新启动虚拟机时，将会还原到上次开机的磁盘内容l适用场景l实现公共计算机的内容保护和快速还原l通过修改磁盘的非持久化选项，l 可以进行内容更新，重新设置还原点读写操作磁盘文件未启用写重定向读操作差分磁盘文件启用写时重定向写操作父磁盘文件AppApp第21页版权所有 2015 华为技术有限公司快照原理和应用l快照功能

17、特性l快照记录了虚拟机在某一时间点的内容和状态l通过恢复虚拟机快照使虚拟机多次快速恢复到这一时间点l快照包含磁盘内容、虚拟机配置信息、内存数据l多次快照之间保存差量数据，节约存储空间l适用场景l虚拟机用户在执行一些重大、高危操作前，例如系统补丁，升级，破坏性测试前执行快照，可以用于故障时的快速还原l用户触发的创建快照和恢复快照操作第22页版权所有 2015 华为技术有限公司存储虚拟化的快照l创建快照时会生成一个新的差分卷，虚拟机会挂载这个差分卷作为磁盘文件，虚拟机的读请求会重定向到源卷中l创建快照采用了ROW（Redirect on write）技术，快照后的写操作会进行重定向，所有的写IO都

18、被重定向到新卷中。所有旧数据均保留在只读的源卷中磁盘文件磁盘文件快照文件快照文件磁盘文件磁盘文件读写操作读写操作读操作读操作写操作写操作VMVMVMVM快照前快照前快照后快照后第23页版权所有 2015 华为技术有限公司快照链VOLVOLSNAP1SNAP1VOLVOLSNAP1SNAP1SNAP2SNAP2VOLVOL快照前快照前第一次快照第一次快照第二次快照第二次快照l磁盘做多个快照后，会产生一个快照链l虚拟机卷始终挂载在快照链的最末端VMVMVM第24页版权所有 2015 华为技术有限公司链接克隆l链接克隆功能特性l链接克隆技术是一种通过将源卷和差分卷组合映射为一个链接克隆卷，提供给虚拟

19、机使用的技术l一个链接克隆模板可以创建多个链接克隆差分卷，对应创建多个链接克隆虚拟机l新创建的差分卷占用空间很小，随着虚拟机的使用，空间会逐渐膨胀l适用场景l能够快速、批量部署虚拟机l对于类似的虚拟机，公用的数据可以放在模板中，提高存储利用率第25页版权所有 2015 华为技术有限公司链接克隆图解10101101011010110101101010110101001011010110101101111011110110100101111010110101VM1差分卷VM2差分卷VM1链接克隆卷VM2链接克隆卷第26页版权所有 2015 华为技术有限公司虚拟机虚拟磁盘文件迁移l虚拟机虚拟磁盘文件

20、迁移功能特性虚拟机虚拟磁盘文件迁移功能特性l存储虚拟化支持将虚拟机的磁盘从一存储虚拟化支持将虚拟机的磁盘从一个数据存储迁移到另一个数据存储个数据存储迁移到另一个数据存储l可以将虚拟机的所有磁盘整体迁移，可以将虚拟机的所有磁盘整体迁移，也可以单个磁盘分别迁移也可以单个磁盘分别迁移l虚拟机的快照可以一起迁移虚拟机的快照可以一起迁移l虚拟机开启或者关闭时都可以迁移虚拟机开启或者关闭时都可以迁移l适用场景适用场景l将数据存储的所有卷迁移后，可以对将数据存储的所有卷迁移后，可以对数据存储进行减容数据存储进行减容l可以调整数据存储之间的负荷可以调整数据存储之间的负荷 CNA数据存储1数据存储2VMVMVM

21、VMVMVM第27页版权所有 2015 华为技术有限公司存储热迁移原理l在目的存储上创建一个与源相同的空镜像文件l将目的存储的镜像文件设置为源镜像文件的mirror，使虚拟机的IO写也能落盘在目的存储上，保证了脏块数据的同步l通过迭代迁移的技术，将源镜像的数据迁移到目的镜像中，保证了基线数据的同步；l在基线数据同步完成后，短暂的时间内暂停虚拟机的IO请求，将虚拟机的存储文件从源镜像切换到目的镜像上，这样就完成了存储的迁移l存储热迁移同时迁移虚拟机磁盘镜像和系统内存状态存储虚拟化文件系统通用块层SCSISATANFS协议VHDVHD存储虚拟化Vol ManagerSCSIVolumeVolume

22、XVELUNSANlocaldisk存储热迁移存储热迁移+ +流控流控第28页版权所有 2015 华为技术有限公司虚拟机虚拟磁盘文件在数据存储间热迁移源存储类型（源配置模式）源存储类型（源配置模式）目的存储类型目的存储类型配置模式配置模式是否变化是否变化迁移后模式迁移后模式块存储虚拟化存储是迁移时可以选择为普通延迟置零（NAS不支持）或者精简虚拟化存储（普通卷）虚拟化存储 是迁移时可以选择为普通延迟置零（NAS不支持）或者精简虚拟化存储（延迟置零卷）虚拟化存储（非NAS） 否保持不变虚拟化存储（延迟置零卷）虚拟化存储（NAS）是精简虚拟化存储（精简卷）虚拟化存储否保持不变l虚拟磁盘热迁移不能支

23、持带快照的迁移虚拟磁盘热迁移不能支持带快照的迁移l通过界面设置，可设置通过界面设置，可设置3 3种迁移速率【另可以规划业务管理网络平面完成本迁移】种迁移速率【另可以规划业务管理网络平面完成本迁移】l适中适中 （迁移速率不高于（迁移速率不高于20M/s20M/s，用于存储，用于存储IOIO压力较大场景，缓解迁移操作对用户虚拟机的影压力较大场景，缓解迁移操作对用户虚拟机的影响）响）l快速快速 （迁移速率不高于（迁移速率不高于30M/s30M/s，用于存储，用于存储IOIO压力正常场景，在保证迁移速度的同时可以适当压力正常场景，在保证迁移速度的同时可以适当减少对用户虚拟机的影响）减少对用户虚拟机的影

24、响）l不限不限 （迁移速率不高于（迁移速率不高于1024M/s1024M/s，用于用户虚拟机业务优先级很低的场景），用于用户虚拟机业务优先级很低的场景）第29页版权所有 2015 华为技术有限公司虚拟机虚拟磁盘文件在数据存储间冷迁移源存储类型（源配置模式）源存储类型（源配置模式）目的存储类型目的存储类型配置模式是否变配置模式是否变化化迁移后模式迁移后模式是否支持带是否支持带快照迁移快照迁移虚拟化存储（普通，延迟置零，精简）虚拟化存储（非NAS）否保持不变是虚拟化存储（延迟置零）虚拟化存储（NAS）是精简是虚拟化存储（延迟置零，精简）块存储是普通否虚拟化存储（普通）块存储否普通否块存储虚拟化存储

25、否保持不变否块存储块存储否保持不变否l存储冷迁移速率控制：冷迁移速率只能通过配置文件设置第30页版权所有 2015 华为技术有限公司虚拟机虚拟磁盘文件在数据存储迁移限制l不支持迁移已挂载为“共享”类型的磁盘和链接克隆虚拟机的磁盘l虚拟机为“运行中”时，不支持非持久化磁盘、带快照虚拟机磁盘和开启iCache功能虚拟机磁盘的迁移，可将虚拟机关闭后迁移l虚拟机为“已停止”时，如果目的数据存储为块存储，不支持非持久化磁盘、带快照虚拟机磁盘的迁移第31页版权所有 2015 华为技术有限公司虚拟机磁盘扩容l虚拟机磁盘扩容功能特性l可以在不影响虚拟机磁盘现有数据的情况下，将虚拟机磁盘容量扩大。l支持系统磁盘

26、和用户磁盘的扩容，但分区合并需要操作系统支持（XP和WIN7支持用户分区扩容）或第三方工具l部分操作系统支持进行在线磁盘扩容l适用场景l初始磁盘分配空间时，可以按需分配，后续不够了可以进行扩容，提高存储设备利用率l注意点l虚拟化存储支持以磁盘扩容的方式，增加虚拟机存储空间l非虚拟化存储场景下，只能通过增加独立的磁盘来实现第32页版权所有 2015 华为技术有限公司磁盘裸设备映射FusionComputeLUNSCSISCSISAN存储设备LUNLUNLUNAppAppAppAppSCSISCSIl存储直通技术l（又称裸设备映射，RDM）为虚拟机提供了一种机制来直接访问物理存储子系统（IPSAN

27、或FCSAN）上的LUN，VM的业务能够直接访问存储设备或直接对存储设备下发控制命令l技术特点l虚拟机直接通过SCSI命令操作裸存储设备l兼容FC光纤存储和IP SAN存储l通过使用裸设备映射，可以让虚拟机识别SCSI磁盘，实现在虚拟机内部下发SCSI命令，交给主机然后透传给存储设备进行处理，最后将应答返回l适用场景l集群系统软件，降低大量使用物理服务器的成本比如Oracle RAC或MSCS 第33页版权所有 2015 华为技术有限公司虚拟机外部SAN直通l特性功能：l将物理裸设备直接映射给虚拟机l直通的虚拟机磁盘能够处理SCSI命令l适用场景：l支撑Oracle RAC群集业务在虚拟机上的

28、正常运行第34页版权所有 2015 华为技术有限公司设置虚拟机磁盘IO上限l特性功能：l支持查询虚拟机各磁盘实时的IO数据l支持设置磁盘的最大BPS（每秒读写字节数）和最大IOPS（每秒处理IO个数）l所有存储类型的虚拟机，都能设置IO上限值，该设置在pvdriver运行时生效l适用场景：l设置非重要虚拟机磁盘的IO上限，保证在这些虚拟机业务量大时，不会影响到重要的虚拟机业务业务IOBlock fronteddriverGuset OSGuest 1业务IOBlock fronteddriverGuset OSGuest 2Block backdriverTask controlBlock backdriverTask controlBlock backdriverTask control虚拟化