磁盘阵列 虚拟带库 磁带库.doc

磁盘阵列在计算机发展的初期，“大容量”硬盘的价格还相当高，解决数据存储安全性问题的主要方法是使用磁带机等设备进行备份，这种方法虽然可以保证数据的安全，但查阅和备份工作都相当繁琐。1987年， Patterson、Gibson和Katz这三位工程师在加州大学伯克利分校发表了题为A Case of Redundant Array of Inexpensive Disks（廉价磁盘冗余阵列方案）的论文，其基本思想就是将多只容量较小的、相对廉价的硬盘驱动器进行有机组合，使其性能超过一只昂贵的大硬盘。这一设计思想很快被接受，从此RAID技术得到了广泛应用，数据存储进入了更快速、更安全、更廉价的新时代。虽然磁盘阵列技术很早的便被提出，但由于那时硬盘还不是影响整个计算机性能的瓶颈，且搭建磁盘阵列的成本较高，并且磁盘阵列技术并不成熟，所以开始时RAID方案主要针对SCSI硬盘系统，多用于服务器或者银行等对硬盘容量和性能要求较高的行业。1993年，HighPoint公司推出了第一款IDE-RAID控制芯片，能够利用相对廉价的IDE硬盘来组建RAID系统，从而大大降低了RAID的“门槛”。从此，个人用户也开始关注这项技术，因为随着计算机各个配件技术的迅猛发展，硬盘已经慢慢成为发展最为“缓慢”和最缺少安全性的设备，而用户存储在其中的数据却常常远超计算机的本身价格。在花费相对较少的情况下，RAID技术可以使个人用户也享受到成倍的磁盘速度提升和更高的数据安全性。90年代中期以后随着互联网和计算机技术的高速发展，网络用户的数据量急剧上升，虽然硬盘的容量越来越大、存取速度不断加快，但对于某些用户，如电视台的计算机播出系统、证券交易等，传统的直接硬盘存储方式已难以满足它们对海量数据存储的需要，更无法确保数据的一致性、安全性、可靠性以及数据的可管理性。因此，磁盘阵列技术和产品大量的涌现并最终走向了个人用户。定义及技术介绍磁盘阵列是指将多个类型、容量、接口，甚至品牌一致的专用硬盘或普通硬盘连成一个阵列，实现以某种快速、准确和安全的方式来读写磁盘数据，从而达到提高数据读写速度和安全性的一种手段。其最大特点是数据存取速度特别快，可提高网络数据的可用性及存储容量，并将数据有选择性地分布在多个磁盘上，从而提高整个网络系统的数据吞吐量。现在个人电脑市场上的IDE-RAID控制芯片主要出自HighPoint和Promise公司，此外还有一部分来自AMI公司。磁盘阵列所利用的技术基础是RAID技术。RAID是Redundant Array of Inexpensive Disk的缩写，意为廉价冗余磁盘阵列。它主要包含RAID 0RAID 7等数个规范，它们的侧重点各不相同，常见的规范有如下几种：RAID 0：RAID 0连续以位或字节为单位分割数据，并行读/写于多个磁盘上，因此具有很高的数据传输率，但它没有数据冗余，因此并不能算是真正的RAID结构。RAID 0只是单纯地提高性能，并没有为数据的可靠性提供保证，而且其中的一个磁盘失效将影响到所有数据。因此，RAID 0不能应用于数据安全性要求高的场合。 RAID 1：它是通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互 为备份的数据。当原始数据繁忙时，可直接从镜像拷贝中读取数据，因此RAID 1可以提高读取性能。RAID 1是磁盘阵列中单位成本最高的，但提供了很高的数据安全性和可用性。当一个磁盘失效时，系统可以自动切换到镜像磁盘上读写，而不需要重组失效的数据。 RAID 0+1: 也被称为RAID 10标准，实际是将RAID 0和RAID 1标准结合的产物，在连续地以位或字节为单位分割数据并且并行读/写多个磁盘的同时，为每一块磁盘作磁盘镜像进行冗余。它的优点是同时拥有RAID 0的超凡速度和RAID 1的数据高可靠性，但是CPU占用率同样也更高，而且磁盘的利用率比较低。 智能虚拟带库提高备份性能信息数据量的日益庞大使传统数据备份介质已经受到激烈的挑战，备份窗口的长度已不能适应企业对备份系统的要求。另一方面，技术的日益更新，磁盘的价格也在不断的走低，磁盘与磁带的价格差变得不是很明显，这些变化使利用快速磁盘作为备份介质成为可能。将磁盘做为备份介质是传统备份系统的一次革新，解决了传统备份系统的备份窗口（速度）、机械故障、共享、维护等无法满足应用需求的问题。这是因为虚拟磁带库对于其它系统来说，就像真实的、自动化的物理磁带库/机设备一样，差别仅是数据存储在磁盘上。这样，大多数数据中心都会明显的感受到备份比传统方式进行的更快。基于磁盘备份方式的分类利用磁盘来加速数据备份并避免传统备份介质的缺点，达到了真正意义上的备份系统的革新，取代了数据存储起始阶段的基于磁带备份的机制。根据备份最终目的不同以及最终备份数据的备份机制不同，可以分为如下几类基于磁盘备份的虚拟磁带库应用： 基于文件系统的虚拟磁带库备份 基于虚拟磁带库的备份 基于虚拟磁带库及自动归档的备份基于文件系统的虚拟磁带库备份基于文件系统的备份使用JBOD、磁盘阵列或NAS等存储设备上的文件系统作为主备份目标器，即在文件系统上生成一个文件以虚拟其磁带库，这种方法可以看作为D2D（磁盘到磁盘）的备份。这种模式只能简单地替代磁带作为备份介质存储备份数据，备份软件在卷一级上虚拟出磁带库，使备份服务器对其进行读写操作。由于在某些行业中，备份的数据还需要保存一定的时间期限。因此，还需有第二步操作：将备份到虚拟带库中的数据迁移到物理带库中，即D2T（磁盘到磁带）。如图1：图1优点： 直接可以备份或恢复文件，无需等待机械手或驱动器加载/卸下磁带。 备份的速度得以提高，备份软件以顺序的方式将数据写入磁盘，不会受到磁带驱动备份速率的影响。 备份到磁盘不存在磁带机所需的机械手维护、磁头清洗等操作。缺点： 将磁盘阵列或NAS作为备份解决方案前必须要考虑传统磁盘存储与备份软件的兼容问题，如VERITAS、Legato、CA等。尽管它们在适合的时候能够将数据写入到磁带中，但不能在一个卷写满后自动跨越到另外一个卷中，因为传统的文件系统最大容量为2TB。 当磁盘卷写满时，备份任务就会被停止，而且备份时磁盘不能和磁带一样提供“in Box”的压缩功能。 文件系统的方式会增加备份服务器的负载，在长期备份中存在出现大量碎片的可能，降低了备份的效率。基于虚拟磁带库的备份这种方法是将磁盘与仿真软件结合起来，将磁盘虚拟成磁带库，使备份服务器对此磁盘的操作如同操作一个磁带库一样，使磁盘代替磁带作为第一次备份操作中存储数据的设备，这就是利用磁带库仿真软件将磁盘虚拟成磁带库的另外一种应用（VTL）。备份的数据存储到虚拟带库后，如果要长时间保留备份的数据，备份软件则通过自身拷贝或克隆的方法将数据转存到物理的磁带中。（如图2）图2由于数据从VTL到磁带的过程都是通过备份软件操作的，这在一定程度上增加了备份服务器的数据传输压力。优点： 基于磁盘的备份提高了备份性能，而且不会改变原有备份环境。 虚拟带库能够跨越磁盘进行数据存储，不会受到磁盘卷大小的限制。 虚拟带库可以多次删除或写入文件到磁盘中，避免了出现碎片的情况。缺点： 需要对备份软件进行配置，或将备份软件升级到某一相应版本，以支持将备份的数据从虚拟带库中拷贝到物理带库。基于虚拟磁带库及自动归档的备份图3所示的是虚拟带库的另外一种应用。利用VTL厂商提供的功能，将数据直接从VTL设备拷贝到物理磁带中，这种方法因为数据从虚拟带库到物理带库的过程中不经过备份服务器，因此备份软件无需具有数据搬迁的功能，也不参与数据搬迁的过程。图3图中这种D2D2T（磁盘到磁盘到磁带）的虚拟磁带库应用可以有效减少备份窗口并加速数据恢复，同时也无需备份软件有数据搬迁功能。优点： 此种D2D2T的虚拟带库应用可以无缝集成到现有备份环境中，原有备份任务及策略无需改动，如同VTL就是原来连接的物理磁带库一样。VTL解决方案美国飞康软件公司的虚拟带库软件正是属于第三类应用的一款虚拟带库（VTL）软件解决方案，由该公司IPStor企业版软件作为核心，能够对备份资源进行整合管理，并增强备份操作的可靠性，加快恢复速度。VTL解决方案可将基于行业标准的高速磁盘仿真为虚拟磁带机/磁带库供给iSCSI/IP 或FC SAN架构上的备份服务器。飞康软件公司的VTL软件解决方案能够支持市场中主流的磁带机、磁带库及经过资质认证的由SONY、HP、 Legato、VERITAS等厂商提供的备份软件。它可以通过基于IP的增量复制提供集中化管理，也可按照策略在对等或由多到一的环境中，通过IP网络复制虚拟磁带匣。飞康公司新版VTL新增功能选项 全双工故障切换选项：可将两个VTL专用管理器配置成为双活机群（HA），通过其故障切换和故障回复功能消除单点故障（SPOF），提高可用性。 IBM 3494磁带库支持选项： 使VTL专用管理器可以连接到IBM 3494 磁带库并对从物理磁带中导出或导入虚拟磁带进行管理。 IBM iSeries支持选项：支持IBM iSeries 和 AS/400 系统连接到VTL专用管理器。 基于主机备份的选项：允许将被认证的备份软件直接安装到VTL专用管理器上，消除了对专用服务器的需求。 NDMP 备份支持选项：允许被认证的备份软件和基于行业标准的NAS设备，利用NDMP协议通过IP网络执行备份和恢复。三步体验降低成本的增强型备份系统为了提高系统的备份性能，降低备份窗口的长度以及用户对于备份设备如磁带库、磁带机和备份介质的大量投入，昆腾推出了基于磁盘的增强型备份系统（EBS）DX100和PX720。昆腾所提供的的DX100和PX720增强型备份系统解决方案整个项目的部署执行需要经历以下三个步骤（下文中测试数据由昆腾提供）：步骤1：性能和可靠性测试在安装DX100之后，用户首先将部分备份任务移到新的平台上，并将备份目标从旧磁带库转移到DX100。在随后执行的备份操作中，备份任务在DX100上执行的性能会比磁带明显提高。步骤1在恢复测试中，采用从10个不同的备份任务中读取数据的方式。由于采用了磁盘方式，DX100能够从存储阵列中直接提供读取路径，而磁带库因为需要先装载并定位磁带介质，而后才能以磁带的速度传输数据，因此需要较长的时间才能完成。阶段1的最后一步是测试备份的可靠性。测试人员选择在最近一次备份中执行失败的磁带，强迫DX100不仅需要备份数据，同时还要写入磁带。备份任务需要在失败发生前将数据通过磁带写至介质结尾。测试时由DX100执行备份任务，备份应用确认数据成功地被写入磁盘，并且没有错过备份窗口。作为后台操作，DX100通过VERITAS应用中的标准介质转移功能，将备份写入“已坏”的介质。磁带写操作失败后，数据被转移到另外一个磁带上完成了备份。这一测试表明，通过自动转移错过备份窗口的磁带机或介质错误的威胁，满足用户对于备份可靠性的要求。步骤2：改进架构环境在第二阶段，额外部署的DX100和PX720将与原有的存储解决方案协同工作。步骤2在这个阶段中，用户可以体会到更多的性能改善，以及由磁带中运行更少的备份所带来的介质成本降低。随着新购进磁带数量的减少，用户也减少了用于介质管理的额外开支。同时，这样的解决方案也减少了用户对于磁带库与磁带机的投入，降低了初始硬件购买量和购买ISV软件许可的成本，还包括每年硬件的维护服务成本、物理介质的成本和连接主干交换机的成本。步骤3：整合原有低容量磁带由于用户仍有大量数据需要采取磁带方式进行存储，新磁带的购买会带来大量的成本投入。在这一阶段中，用户应首先对现有存储磁带进行分析，并对每月将增长的磁带数量进行预估。随后，用户可以通过一些存储管理软件，如VERITAS NetBackup软件中的标准介质拷贝功能，将原有磁带整合成Super DLTtape介质，提高单一介质存储容量。其次，通过将DX100整合到现有存储网络中，通过大容量的磁盘备份降低对于新存储介质的需求。介质成本的节省是昆腾增强型备份系统特色之一，而且在每一个阶段执行过程中，用户都可以体会出该解决方案在操作和成本节省上的优势。EBS的优势无需改变不同于D2D解决方案，EBS无需改变任何备份策略，很容易部署到现有的SAN环境中。EBS的安装操作无须特殊的过程和技术，客户只要凭借一般的数据保护应用集成经验，就可以应用。节省成本EBS系统从三个方面节省了成本：减少了磁带库的槽位数量和磁带机的数量，减少了ISV软件许可成本（取决于磁磁带库的大小），减少了用于数据保护应用的介质。备份性能备份应用提供商花费了多年的时间优化磁带备份，以实现在同一个磁带库上运行多个数据流，通过SAN设备备份数据以及在SAN中共享设备，控制数据传输率以匹配磁带性能，并且采取了很多其它的优化技术。EBS系统直接提供了提高性能的工具，且无须改变任何备份应用，这意味着它在性能和其它基于磁盘的备份应用上均优于磁带。执行的可靠性基于磁盘的备份避免了磁带备份方式的一些风险。磁带介质所引起的错误得以消除。兼容性问题EBS与数据保护类的ISV应用软件兼容，因为EBS的操作如同磁带，而非磁盘。用户可以将EBS系统集成到诸如VERITAS SAN共享存储管理软件中，保证软件间的互操作性。NetVault+RAID虚拟带库 随着信息时代的数据爆炸增长，越来越多的企业开始关心数据的存储和备份。面对市面上各种各样的备份软件和存储设备，如何选择合适又经济的备份解决方案是各企业所面临的严峻问题。Bakbone和太科集团整合了NetVault和RAID，希望用低成本的实现方式为中大容量数据需求的用户提供最佳的存储及备份解决方案。NetVault和RAID整合形成的虚拟磁带库解决方案，尤其适合于电信、金融、保险每天有很大的数据流量，而这些数据又是需要经常访问的用户。b简单的结合/b在这个解决方案中，主要利用了RAID的大容量和NetVault的虚拟带库功能。NetVault的虚拟带库功能可以将大容量的RAID虚拟成实际的磁带库模式进行管理和操作。用户可以将数据备份到这些RAID上去，但不妨碍业务的操作，就像在本地硬盘上操作一样，从而可以有效地保护用户的数据。同时，用户还可以在业务不进行的时候，将RAID上的数据备份到真正的磁带上，使数据的安全性得到进一步的加强，同时不影响应用服务器的工作。NetVault软件可以运行在现有的大多数操作系统。img/media/ciw/img/1081/d1001t01.jpg/img虚拟带库的工作原理图首先，虚拟磁带库应用了大容量、高容错性的磁盘阵列。由于磁盘阵列是很多个硬盘的集合，所以它实际上是一个大的硬盘，对于有很大数据流量的企业来讲，RAID是一个理想的选择。同时，不同规格的RAID也使用户可以根据自己的需求选择最符合自己安全需求的产品。由于用户的业务量很大，所以就可以将这些需要实时操作的大容量的数据通过NetVault暂时先写入到RAID上进行保存，从而实现即时访问。其次，专业的存储备份管理软件。Bakbone作为一家专业的存储备份解决方案提供商，其提供的NetVault是一套真正模块化架构的备份管理软件。通过简单的图形用户界面就可以对各项工作进行操作。而且可以根据用户的需求，自动提交各项备份任务，从而减少用户的工作量，提高用户的工作效率，节约成本，并保护有用的数据信息。由于NetVault具有虚拟带库的特性，可以将磁盘直接作为备份的工具，将正在进行的业务数据进行存储，而不妨碍业务的进程，其速度能达到68MB/s，大大快于将数据直接备份到磁带设备上。而且，为了将数据能更加安全地保护起来，NetVault的虚拟带库的功能还可以将存储到磁盘上的数据直接备份到磁带设备上，这样不但不影响业务的进行，而且也可以使重要的数据得到更有效的保护。此外，可以长久保存数据的磁带库。存储在磁盘阵列上的数据，如果要进行长久的保存，可以将其上面的数据直接转移到带库的磁带上去。由于磁盘阵列的容量是有限的，而且磁盘介质的保存也不是很稳定，所以用户需要将磁盘阵列上的数据直接迁移到磁带上，这样可以节约占用系统的时间。而且，利用磁带的备份可以将数据进行更好的保护，和长时间的保存，这样数据的安全性就可以更好。b高性价比的应用/b如图所示，用户搭建虚拟带库的工作是这样完成的：将RAID所在的系统上安装NetVault备份管理软件，接着安装NetVault虚拟带库的插件。安装完虚拟带库的插件以后，就可以在RAID上根据磁盘的大小和用户的实际需求创建相应的虚拟带库。也就是将磁盘虚拟成带库的形式，设置相应的驱动器、槽位以及每个介质的容量，并且可以按照像真正的带库那样进行管理和操作。这样，用户可以将网络上需要保护的数据通过NetVault备份到RAID上，并在备份窗口将需要的数据备份到已经建立的虚拟磁带库上。如果用户还想在业务空闲的时间里将RAID上的数据备份到真正的磁带上去，就可以在备份窗口中Option选项中的Duplicate子选项中进行选择即可，此时数据可由RAID上直接导入到相连接的磁带上，当然用户也可以设置计划，在规定的时间里将数据备份到磁带上。通过简单的图形用户界面，可以由NetVault自动完成各项工作。此外，用户还可以根据自己的需求更改虚拟带库的大小和形式，使之更适合于用户的需求。在这个虚拟带库的应用中，用户可以获得下面的好处。首先，数据取用快捷方便。由于数据是存储在磁盘阵列上的，所以在对这些数据进行操作的时候，效率就会很高，就和用户在自己的硬盘上进行操作时一样，并可以保证数据的一致性、完整性。其次，在进行备份时，先将数据存储到磁盘阵列上，再将盘阵上的数据备份到磁带上去。这样做的好处是：一方面，数据可以很快速地从盘阵转移到磁带上，从而减少系统的占用。另一方面，可以制定策略在一个时间里进行备份，简化备份工作。最后，管理的统一性。由于使用专门的备份服务器，所以用户在进行网络备份时，可以对客户端上的数据存储和备份通过NetVault简单、全面、实用的图形用户界面进行集中的管理，可以在有错的情况下，很容易侦错、纠错。磁带库磁带是所有存储媒体中单位存储信息成本最低、容量最大、标准化程度最高的常用存储介质之一。它互换性好、易于保存，近年来，由于采用了具有高纠错能力的编码技术和即写即读的通道技术，大大提高了磁带存储的可靠性和读写速度。根据读写磁带的工作原理可分为螺旋扫描技术、线性记录（数据流）技术、DLT技术以及比较先进的LTO技术。 根据读写磁带的工作原理，磁带机可以分为六种规格。其中两种采用螺旋扫描读写方式的是面向工作组级的DAT（4mm）磁带机和面向部门级的8mm磁带机，另外四种则是选用数据流存储技术设计的设备，它们分别是采用单磁头读写方式、磁带宽度为1/4英寸、面向低端应用的Travan和DC系列，以及采用多磁头读写方式、磁带宽度均为1/2英寸、面向高端应用的DLT和IBM的3480/3490/3590系列等。 磁带库是基于磁带的备份系统，它能够提供同样的基本自动备份和数据恢复功能，但同时具有更先进的技术特点。它的存储容量可达到数百PB，可以实现连续备份、自动搜索磁带，也可以在驱动管理软件控制下实现智能恢复、实时监控和统计，整个数据存储备份过程完全摆脱了人工干涉。 磁带库不仅数据存储量大得多，而且在备份效率和人工占用方面拥有无可比拟的优势。在网络系统中，磁带库通过SAN（Storage Area Network，存储区域网络）系统可形成网络存储系统，为企业存储提供有力保障，很容易完成远程数据访问、数据存储备份或通过磁带镜像技术实现多磁带库备份，无疑是数据仓库、ERP等大型网络应用的良好存储设备。虚拟带库已经产生很长一段时间了，它在整个存储架构中处于某些产品之间的补充位置。但是，最近听到这样一种观点：虚拟带库将取代带库。笔者认为此观点值得商榷。虚拟带库原理虚拟带库最初的产生是在大型机领域，主要是由于传统磁带备份的某些局限性造成的：备份速度低、各种机械故障以及复杂的维护工作等。后来，此项技术被应用到开放系统领域。虚拟带库的主要应用领域是使用大型磁带库做数据保护或者归档的用户，作为磁带库的前端用以提高系统性能(备份与恢复效率同时提高)。以前的情况是“D2T(Disk to Tape)”，现在变成了“D2D2T(Disk to Disk to Tape)”，而从用户感受的角度来看，仍然是“D2T”。为何要模拟磁带?曾经有位读者提出这样一个问题：既然是高性能的磁盘数据管理与较低性能的磁带备份之间的缓冲设备，为什么不采用数据复制的方式将数据直接拷贝到中间设备中呢?也就是说，当这种磁盘备份产品出现时，为什么还要把这个中间设备模拟成磁带库的形式呢?为了弄清这个问题，我们需要详细分析一下典型存储应用过程中，数据从数据管理设备到数据保护设备的“运行”轨迹。当数据从用户的业务应用系统中产生后，首先存放在数据