h3c存储知识培训专题2镜像技术基础

1、镜像技术基础培训镜像技术基础培训 目 录1、基本概念2、区别：镜像、备份、拷贝、复制、RAID13、我司存储产品镜像介绍4、镜像技术在其它厂商的应用 基本概念 为什么要用镜像 主磁盘和镜像磁盘 镜像对 物理镜像 逻辑镜像 同步镜像 异步镜像 同步镜像和异步镜像区别 镜像实现 RAID技术 镜像过程 存储虚拟化 存储虚拟化方法 虚拟磁盘技术 镜像层次模型基本概念 为什么要用镜像（一） 镜像保护是一种软件可用性功能，它保护数据避免由于故障或由于磁盘相关部件损坏而丢失。系统在两个独立的磁盘单元上保存数据的两个副本，所以数据受到保护。当磁盘相关部件发生故障时，系统可以通过使用数据的镜像副本继续运行而不

2、会中断，直到修复发生故障的部件为止。 镜像还能提供增强的读(写)性能。因为读请求服务可以从任意一个成员处提供。在许多性能度量和基准程序中，观察到镜像的时间开销大约增加15到20。而一个存储设备如果是镜像的，它可提供的读请求服务数目将增加一倍。基本概念为什么要用镜像（二）使用磁盘镜像增加I/O性能，异步读取通过增加磁盘轴数量增加性能。镜像的异步读取基本概念 主磁盘和镜像磁盘主磁盘 客户端正常读写数据的磁盘。镜像磁盘 主磁盘的副本。数据每次写入主磁盘的同时，存储控制器也会把数据写入镜像磁盘，因此镜像磁盘保留了主磁盘的完整副本。基本概念镜像对 镜像对：主磁盘和镜像磁盘均连接到同一个存储服务器，它们被

3、称为镜像对。 如果主磁盘发生故障，存储服务器自动将数据访问快速地切换到镜像磁盘，整个过程无缝地进行，对客户端没有影响。基本概念物理镜像（一）硬盘镜像最简单的形式是: 一个主机控制器带二个互为镜像的硬盘。 数据同时写入二个硬盘，二个硬盘上的数据完全相同，因此一个硬盘故障时，另一个硬盘可提供数据。 硬盘镜像简图基本概念物理镜像（二） 硬盘数据跨盘（Disk Spanning） 利用这种技术，几个硬盘看上去像是1个大硬盘；这个虚拟盘可以把数据跨盘存储在不同的物理盘上，用户不需关心哪个盘上存有他需要的数据。 硬盘数据分段（Disk Striping） 数据分散存储在几个盘上。数据的第1段放在盘0，第2

4、段放在盘1，直至达到硬盘链中的最后1个盘，然后下1个逻辑段将放在硬盘0，再下1个逻辑段放在盘1，如此循环直至完成写操作。 双控（Duplexing） 这里指的是用2个控制器来驱动个硬盘子系统。个控制器发生故障，另1个控制器马上控制硬盘操作。此外，如果编写恰当的控制器软件，可实现不同的硬盘驱动器同时工作。基本概念物理镜像（三） 容错（Fault Tolerant） 具有容错功能的机器有抗故障的能力。例如RAID 1镜像镜像系统是容错的，镜像镜像盘中的一个出故障，硬盘子系统仍能正常工作。 主机控制器（Host Adapter） 指的是使主机和外设进行数据交换的控制部件（如SCSI控制器）。 热修复

5、（Hot Fix） 指用一个硬盘热备份来替换发生的故障的硬盘。要注意故障盘并不是真正地被物理替换了。用作热备份的盘被加载上故障盘原来的数据，然后系统恢复工作。 热补（Hot Patch） 具有硬盘热备份，可随时替换故障盘的系统。基本概念物理镜像（四） 热备份（Hot Spare） 与CPU系统电连接的硬盘，它能替换下系统中的故障盘。与冷备份的区别是，冷备份盘平时与机器不相连接，硬盘故障时才换下故障盘。 平均数据丢失时间（MTBDLMean Time Between Data Loss） 发生数据丢失的事件间的平均时间。 平均无故障工作时间（MTBFMean Time Between Failu

6、re或MTIF） 设备平均无故障运行时间。 系统重建（Reconstruction or Rebuild） 一个硬盘发生故障后，从其它正确的硬盘数据和奇偶信息恢复故障盘数据的过程。 恢复时间（Reconstruction Time） 为故障盘重建数据所需要的时间。基本概念逻辑镜像在物理资源之上划分成逻辑资源，在对逻辑资源作镜像。我司的IX1000，IV5000等产品都是物理镜像和逻辑镜像的双层镜像保护下的高可靠性存储产品。基本概念同步镜像（一）概念 当客户端需要写入数据时，设备会同时把数据写入主磁盘和镜像磁盘，因此，镜像磁盘保留主磁盘的精确、完整的副本。基本概念同步镜像（二）同步镜像I/O请求

7、的操作流程流程镜像产生一对镜像I/O,并将它们发往一对磁盘。每个磁盘单独地响应这个请求，标有响应搜集的进程收到来自两个磁盘响应后再将它们发送给所接收的原有I/O。 性能 采用同步镜像时，要求主磁盘和镜像磁盘的性能相近，否则可能会影响系统性能。基本概念同步镜像（三）IX1000同步镜像客户端镜像磁盘主磁盘客户端镜像磁盘主磁盘IX1000IX1000基本概念异步镜像（一） 概述当客户端需要写入数据时，存储服务器先把数据写入Cache（专用缓存资源），而不用等待主磁盘和镜像磁盘的确认信息，然后存储服务器把Cache里的数据写入主磁盘和镜像磁盘。基本概念异步镜像（二） 数据流 镜像操作部分缺少了响应搜

8、集成分，镜像器产生的I/O，并将它们发送到镜像磁盘。异步镜像的数据流基本概念异步镜像（三）过程配置异步镜像时，必须创建一个Cache，将其与主磁盘关联。完成镜像添加后，存储设备将同步主磁盘和镜像磁盘，这个过程不会影响客户端读写操作。同步完成后，客户端的数据先写入Cache，然后这些数据在后台被写入到主磁盘及镜像磁盘。如果要提供进一步的保护，也可以对Cache进行镜像。异步镜像基本概念同步镜像与异步镜像的区别（一）缓存同步镜像无缓存异步镜像有缓存基本概念同步镜像与异步镜像的区别（二）速度同步镜像（稍慢） 数据随机写入 每一I/O事务需等待主磁盘和镜像磁盘都完成，确认信息方可释放异步镜像（快） 数

9、据顺序写入Cache，再由Cache随机写入磁盘 系统只需等待Cache确认信息基本概念同步镜像与异步镜像区别（三）使用场合同步镜像当数据一致性对商业应用非常关键时，并且数据丢失去几乎不可忍受时，适合采用同步镜像模式。异步镜像 该模式适用于对速度要求比较高的场合。基本概念同步镜像与异步镜像区别（四）写操作同步镜像 是指“写”操作会同时在主磁盘和镜像磁盘上完成。异步镜像 虽然同时将“写”命令和数据同时发送给原始磁盘和镜像磁盘，但原始磁盘的“写”操作完成后并不需要等待镜像磁盘完成“写”操作，镜像磁盘的“写”操作可以通过数据复制进程异步完成。 基本概念镜像实现（一）一般来说，镜像是在硬件架构的基础上

10、由软件实现 的，通常可在系统的三个位置上实现：卷管理器磁盘控制器主机总线适配器基本概念镜像实现（二）卷管理器： 作为服务器的软件组件，它是在文件系统和主机总线适配器驱动程序之间构架的单独一层。其主要目的是把服务器挂载的物理磁盘驱动器虚拟化，以更方便的形式提供给文件系统使用。卷管理器中实现的镜像I/O路径基本概念镜像实现（三）磁盘控制器：磁盘控制器除了完成数据块的移动、拷贝、计算等特殊功能外，还带有功能强大的通用处理器。磁盘控制器是一些较大型服务器实现数据镜像和RAID最为常用的位置。在磁盘子系统中实现的镜像I/O路径基本概念镜像实现（四）主机总线适配器：一些供应商开发了一种既可以提供传统主机总

11、线适配器的格式转换功能，又能实现多I/O总线接口以及RAID和数据镜像算法的主机总线适配器。主机控制器中磁盘实现的I/O路径基本概念RAID技术（一） 独立冗余磁盘阵列最初叫做廉价冗余磁盘阵列（Redundant Array of Inexpensive Disks），它是由多个小容量、独立的硬盘组成的阵列，而阵列综合的性能可以超过单一昂贵大容量硬盘（SLED）的性能。 由于是对多个磁盘并行操作，所以RAID磁盘子系统与单一磁盘相比它的输入输出性能得到了提高。服务器会把RAID阵列看成一个单一的存储单元，并对几个磁盘同时访问，所以提高了输入输出的速率。 基本概念RAID技术（二）RAIDRAI

12、D级别描述速度容错性能RAID 0RAID 0条带化硬盘并行输入/出无RAID 1RAID 1 镜像没有提高有(允许单个硬盘错)RAID 2RAID 2条带化加汉明码纠错没有提高有(允许单个硬盘错)RAID 3RAID 3条带化加专用，奇偶校验盘硬盘并行输入/出有(允许单个硬盘错)RAID 4RAID 4 条带化加专用，奇偶校验盘需异步硬盘硬盘并行输入/出有(允许单个硬盘错)RAID 5RAID 5条带化加奇偶校验，分布在各硬盘，硬盘并行输入/出比RAID0 稍慢有(允许单个硬盘错) 镜像是在硬件架构的基础上由软件实现的；两份（或多份）数据拷贝写入；选择其中一个磁盘（主磁盘）读出数据；具体实现

13、根据镜像分类不同有所区别（如物理镜像，逻辑镜像和同步、异步镜像）。 基本概念镜像过程磁盘镜像基本概念存储虚拟化存储虚拟化 存储虚拟化是物理存储的逻辑表示方法，是在服务器与存储之间设置的一个抽象层，服务器被绑定到逻辑抽象层上。 把物理设备和服务器所能看见的存储设备视图分开. 提供一个统一的逻辑存储空间给服务器,服务器所能看见的是一个逻辑的存储空间,而不知道实际物理存储设备的位置,路径和每个设备的具体特点.存储虚拟化的实现可以根据实现方式分三种:基于服务器或主机基于存储设备基于存储网络基本概念存储虚拟化 基于主机或服务器的存储虚拟化实现通常称为逻辑卷管理(logical volume manage

14、r);磁盘上的物理块或逻辑单元号(LUN)被映射成逻辑卷号;逻辑卷管理软件把多个不同的磁盘阵列映射成一个虚拟的逻辑块空间;当存储需求增加时,逻辑管理软件能把部分逻辑空间映射到新增的磁盘阵列,因此逻辑卷管理可以在不断运行的情况下,增加或减少物理存储设备基本概念存储虚拟化方法 存储虚拟化方法说明：采用不同RAID策略，将物理磁盘划分成若干相同大小的逻辑元，通过逻辑单元构成虚拟化后的逻辑资源。基本概念虚拟磁盘技术（一）卷的三个层次：物理磁盘虚拟磁盘逻辑卷要建立卷，首先要根据不同的RAID策略，采用一块或者多块物理磁盘组成虚拟盘，然后在虚拟磁盘之上划出需要的空间建立卷。存储虚拟化基本概念虚拟磁盘技术（

15、二） 物理磁盘 是单个的物理磁盘设备，用来进行数据的读写。 虚拟磁盘 包含多个物理磁盘，并被作为一个实体来进行数据的读写。 逻辑卷（Logical Volume） 由逻辑磁盘形成的虚拟盘，也可称为磁盘分区。基本概念虚拟磁盘技术（三） 逻辑卷(续) 一个卷可以跨多个物理磁盘，也可以由一个或者多个虚拟磁盘组成。并且可以被终端用户直接访问，就好像它是一个单独的存储设备一样，而不用考虑虚拟磁盘的类型。用户还随时可以增加卷的容量。当用户增加卷的容量时，虚拟磁盘将会赋予更多的空间给该卷。 卷镜像技术(逻辑资源镜像)管理员可以在存储服务器上为已有的生产数据卷添加镜像，镜像卷占用与源卷大小一样的空间。管理员为

16、卷创建镜像后，镜像卷会从源卷上进行数据拷贝和迁移。当源卷的数据改变时，变化也会同步地写入到镜像卷。当源卷发生故障时，镜像卷会继续工作，保持业务的连续性，反之亦然。 卷镜像是卷这一层面的概念。 卷镜像是对卷的镜像，对卷的实际大小和内容进行复制，跟虚拟磁盘无关。 卷镜像功能让用户可以创建实时的，同步的数据的物理拷贝。 用途：测试、只读共享访问、备份。基本概念虚拟磁盘技术（三） 基于策略的卷管理技术 当创建卷时，根据卷使用的方法和场合来选择合适的策略。 主要的策略有：基本策略镜像策略条带策略镜像条带策略基本概念虚拟磁盘技术（四） 策略特性当你创建卷时，这些策略设置一些特性，这些特性包括：RAID级别

17、支持的级别包括基本、RAID0、RAID1和RAID10 条带成员的数量在镜像或者条带集中可以有2到16个成员(IX5000) 条带成员大小条带的每个成员的大小 强制冗余当创建卷时，强制策略选择归属于不同磁盘控制器的磁盘，从而避免单点故障 条带大小限制设置最小和最大的条带大小。如果在RAID10虚拟磁盘上的空闲区域上的条带大小多于最大条带大小，那么它将不能用于创建指定类型的卷。 卷镜像功能让用户可以创建实时的，同步的数据的物理拷贝。 RAID是基于磁盘级别的拷贝，是整块磁盘的镜像，而且同一RAID组的磁盘必须是相同。 而卷镜像是卷一级别的，同步的数据大小只是卷的大小，而不是整块磁盘。而且卷镜像

18、可以在采用不同策略的卷之间进行。例如：可以为一个采用RAID10策略的卷加一个采用RAID0策略的镜像。基本概念虚拟磁盘技术（五）物理镜像(RAID1)和逻辑(卷)镜像的区别基本概念虚拟磁盘技术（六） 卷镜像功能在实际中有很大的用途。例如要更换磁盘或者磁盘柜时，可以将卷镜像到别的磁盘上，从而保证了部件更换操作不会中断业务的运行。 卷镜像还可以进行剥离操作：可以为卷建立一个或者多个镜像，然后将镜像剥离成新的卷。这些剥离的一个或多个拷贝可以用于测试，或者作为新的数据卷的源数据，还可以设置成只读方式供多个主机共享访问。 一个典型的应用是镜像卷来备份：先做一个镜像卷，然后剥离镜像，用镜像出来的卷作备份

19、的数据源。这样，保证了数据备份随时可以进行，而不需要影响正常的工作卷的性能卷镜像的作用基本概念镜像层次模型物理磁盘物理磁盘物理镜像层（RAID）逻辑抽象层逻辑镜像层逻辑镜像层镜像层次模型逻辑卷(LUN)虚拟磁盘(磁盘阵列) 目 录1、基本概念2、区别：镜像、备份、拷贝、复制、RAID13、我司存储产品镜像介绍4、镜像技术在其它厂商的应用首先了解衡量各种数据保护手段衡量各种数据保护手段的有效指标包括RTO、RPO。RTO（Recovery Time Object）：恢复时间目标。 是指信息系统从灾难状态恢复到可运行状态所需的时间，用来衡量容灾系统的业务恢复能力。RPO（Recovery Poin

20、t Object）：恢复点目标。是指业务系统所允许的在灾难过程中的最大数据丢失量，用来衡量容灾系统的数据冗余备份能力。区别镜像数据虽然存在两个物理设备中，但是OS和逻辑层次只识别一个逻辑的设备。两个设备中数据时刻保持同步。镜像也分为同步镜像、异步镜像。对于软故障要与快照技术结合，来保障RTO和RPO最小。区别备份 一般是指利用备份软件，把数据从磁盘备份到磁带进行离线保存。 最新的备份技术也支持磁盘到磁盘的备份，也就是把磁盘作为备份数据的存放介质，以加快数据的备份和恢复速度，即D2D。区别拷贝即COPY。无增量的捕捉机制，每次都要完全拷贝。手工进行，无法自动化配置，容易出错。某些系统文件，如在线

21、数据库文件无法拷贝。RTO大，RPO大。区别 复制（一）是指利用复制软件把数据从一个设备复制到另一个设备或者一个设备的一个磁盘复制到另一个磁盘，生成一个数据副本。这个数据副本是数据处理系统直接可以访问的，不需要进行任何的数据恢复操作，这一点是复制与D2D备份的明显区别。区别复制（二）复制可以分为同步复制和异步复制。同步、异步指的是数据同步的方式。同步方式的安全性和时效性很好，但会影响系统性能和带宽。异步方式相对于同步方式对系统性能和带宽影响较小，但安全性比同步方式稍低。对于软故障与快照技术结合，来保障RTO和RPO最小。区别RAID1 RAID1是基于物理磁盘级的镜像技术。 硬盘镜像（RAID

22、1）是容错磁盘阵列技术最传统的一种形式，在工业界中相对地最被了解，它最重要的优点是百分之百的数据冗余。RAID1综合区别镜像、备份、拷贝、复制备份恢备份恢复时间复时间 性能性能 备份备份介质介质 增量机制增量机制 备份距离备份距离 对业务系对业务系统的影响统的影响 管理管理 拷贝拷贝 长 碎小文件拷贝较慢；连续大文件拷贝较快 磁盘 不能做增量拷贝，每次都要拷贝所有文件 近 拷贝过程占用大量服务器资源 手工执行占用人力资源。 Client/Client/ServerServer传统备传统备份模份模式式 长，磁带介质故障经常导致恢复失败 慢，高端磁带库可提供较快的性能，但是价格昂贵 磁带机磁带库磁

23、盘 支持增量，文件级增量或数据库表级增量为主，支持裸设备增量备份的软件较少且价格昂贵， 近，以本地备份为主 需要配置备份服务器、客户端软件及大量的License，占用服务器资源和网络带宽 备份软件对使用者要求较高，需要掌握裸设备、文件系统、数据库等综合知识。 复制复制技术技术 短 快，以磁盘为介质结合增量技术提高复制性能 磁盘 支持增量，可精确到物理块级 远近皆可 复制过程在磁盘阵列或者存储网络层进行，不会占用应用服务器资源和应用网络带宽 设定策略后无需人工干预，复制与恢复的过程都很简单。 镜像镜像技术技术 长，每次需要完全恢复整个数据卷 快 磁盘 不支持增量 近，带宽和距离影响延迟时间和性能

24、，因此多以本地为主 对业务系统的性能影响很大 简单。 目 录1、基本概念2、区别：镜像、备份、拷贝、复制、RAID13、我司存储产品镜像介绍4、镜像技术在其它厂商的应用目前我司存储产品主要有X1000/EX1000/EX800/IV5000IX1000 物理上可以作物理级镜像，逻辑资源上支持同步镜像功能EX1000 物理上可以作物理级镜像，逻辑资源上不支持镜像功能EX800物理上可以作物理级镜像，逻辑资源上不支持镜像功能IV5000(IX5000)支持物理上的磁盘镜像和逻辑资源上的同步和异步镜像功能我司存储产品镜像功能介绍产品我司存储产品镜像功能介绍功能 我们的卷（物理卷）都是建立在一定的RA

25、ID基础(IX5000叫虚拟磁盘)之上，然后逻辑卷（SAN/NAS资源）又建立在物理卷之上。 IV5000的镜像是软件级别的RAID1，有异步镜像（开启了SafeCache）和同步镜像两种。 IX1000上面的RAID管理里面的RAID是硬件级别的RAID，可以创建RAID0/1/10/5/1n/10n/50几种策略的RAID，但是不能设置条带的大小，只能够选择成员。 IX1000的功能和IV5000差不多（少了SafeCache等几个功能），也可以创建镜像（mirror）。 IX5000目前只支持创建基本策略/RAID0/RAID1/RAID10，是硬件级别的RAID，可以设置条带大小，也可

26、以选择成员，策略非常灵活。我司存储产品镜像功能介绍 IX1000镜像介绍（一）IX1000支持逻辑资源上的同步镜像功能支持如下操作:添加镜像查看镜像状态交换镜像镜像同步提升镜像磁盘删除镜像我司存储产品镜像功能介绍 IX1000镜像介绍（二）添加镜像IX1000支持为单个或多个SAN/NAS资源添加镜像，还支持为现有的快照资源、缓存资源或者副本磁盘添加镜像。查看镜像状态在Console上选择已添加镜像的某个SAN/NAS资源的“常规”页签，可以看到其镜像配置的当前状态。交换镜像镜像交换操作即反转主磁盘和镜像磁盘的角色。对主磁盘执行维护或需要移除主磁盘时，需要执行该操作。我司存储产品镜像功能介绍

27、IX1000镜像介绍 镜像同步是同步主磁盘和镜像磁盘中的数据。 提升镜像磁盘提升镜像磁盘操作可以从“镜像对”中剥离镜像磁盘，并把它提升为一个独立的逻辑资源，供给客户端访问。当对主磁盘执行重大系统维护或升级时，就可以提升镜像磁盘供给应用服务器访问，这样就对主磁盘起到“安全网”的作用。 删除镜像用户可以通过“删除镜像”操作取消镜像并删除镜像磁盘。我司存储产品镜像功能介绍 IV5000镜像介绍 同步镜像正常情况下，数据的写入按照如下过程：应用通知应用服务器“I/O完成”服务器向IV5000发起第一个IO请求；IV5000同时向主磁盘和镜像磁盘发起IO请求；主磁盘/镜像磁盘处理IO操作，处理完成后，通知IV5000“I/O完成”；IV5000等待主磁盘和镜像磁盘的“I/O完成”确认信息，然后通知应用服务器“I/O完成”；应用服务器得到“I/O完成”确认信息，然后发起第2个I/O请求我司存储产品镜像功能介绍 IV5000镜像介绍 异步镜像正常情况下，数据的写入按照如下过程：应用服务器向IV5000发起第一个IO请求；IV5000向缓存资源发起IO请求；缓存资源处理IO操作，处理完成后，通知IV5000“I/O