存储虚拟化技术

存储虚拟化技术为了了解有关存储虚拟化的相关知识，查找并参阅了许多相关的资料。本文主要就虚拟存储化技术的概念、该技术带来的好处、相关的存储技术、虚拟存储化的目前发展状况、作为相关企业应该如何面对虚拟存储化、虚拟存储化普及所面临的几个问题，以及虚拟存储化的发展趋势作了有关的描述与解析。通过这些资料的阅读和了解，知道了什么是虚拟化和虚拟存储化，虚拟存储化在实际中有哪些作用，不同的虚拟存储技术的优缺点，目前发展状况和面临的困难以及今后的发展趋势，也知道了目前有关公司虚拟存储化技术的发展状况。一、概念：在虚拟化领域流传着一个故事：一个好的虚拟化解决方案就好像游历一个虚拟现实的主题公园。当游客想象他正在城市上空滑翔时，传感器就会把相应的真实感觉传递给游客，并同时隐藏真实的力学环境。同样，一个好的虚拟化工具可以对企业的存储设备做相同的工作，只不过过程也许会反过来一一首先建立一个框架，让数据感觉自己是存储在一个真实的物理环境里，之后操作者就可以任意改变数据存储的位置了。虚拟化技术到底是什么？其实广义上来说，就是通过映射或抽象的方式屏蔽物理设备复杂性，增加一个管理层面，激活一种资源并使之更易于透明控制。它可以有效简化基础设施的管理，增加IT资源的利用率和能力，比如服务器、网络或存储。存储虚拟化（StorageVirtualization）最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个（或多个）目标（Target）服务或功能与其它附加的功能集成，统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况：屏蔽系统的复杂性，增加或集成新的功能，仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的，而这些实体则是用来提供存储资源或/及服务的。存储虚拟化是一种贯穿于整个IT环境、用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开，从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。对于用户来说，虚拟化的存储资源就像是一个巨大的“存储池”，用户不会看到具体的磁盘、磁带，也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。从管理的角度来看，虚拟存储池是采取集中化的管理，并根据具体的需求把存储资源动态地分配给各个应用。值得特别指出的是，利用虚拟化技术，可以用磁盘阵列模拟磁带库，为应用提供速度像磁盘一样快、容量却像磁带库一样大的存储资源，这就是当今应用越来越广泛的虚拟磁带库(VTL,VirtualTapeLibrary)，在当今企业存储系统中扮演着越来越重要的角色。二、存储虚拟化的好处：将存储资源虚拟成一个“存储池”，这样做的好处是把许多零散的存储资源整合起来，从而提高整体利用率，同时降低系统管理成本。与存储虚拟化配套的资源分配功能具有资源分割和分配能力，可以依据“服务水平协议(servicelevelagreement)”的要求对整合起来的存储池进行划分，以最高的效率、最低的成本来满足各类不同应用在性能和容量等方面的需求。特别是虚拟磁带库，对于提升备份、恢复和归档等应用服务水平起到了非常显著的作用，极大地节省了企业的时间和金钱。除了时间和成本方面的好处，存储虚拟化还可以提升存储环境的整体性能和可用性水平，这主要是得益于“在单一的控制界面动态地管理和分配存储资源”。在当今的企业运行环境中，数据的增长速度非常之快，而企业管理数据能力的提高速度总是远远落在后面。通过虚拟化，许多既消耗时间又多次重复的工作，例如备份/恢复、数据归档和存储资源分配等，可以通过自动化的方式来进行，大大减少了人工作业。因此，通过将数据管理工作纳入单一的自动化管理体系，存储虚拟化可以显著地缩短数据增长速度与企业数据管理能力之间的差距。只有网络级的虚拟化，才是真正意义上的存储虚拟化。它能将存储网络上的各种品牌的存储子系统整合成一个或多个可以集中管理的存储池(存储池可跨多个存储子系统)，并在存储池中按需要建立一个或多个不同大小的虚卷，并将这些虚卷按一定的读写授权分配给存储网络上的各种应用服务器。这样就达到了充分利用存储容量、集中管理存储、降低存储成本的目的。三、相关存储技术：存储系统必须在能力和性能上直线升级，将问题推给硬件系统并不是解决办法。存储虚拟化需要全新的软件方式来平衡扩容体系架构来实现数以千兆的数据传输和存储。相关的存储技术主要有以下几点：基于主机的存储虚拟化依赖于代理或管理软件，它们安装在一个或多个主机上，实现存储虚拟化的控制和管理。由于控制软件是运行在主机上，这就会占用主机的处理时间。因此，这种方法的可扩充性较差，实际运行的性能不是很好。基于主机的方法也有可能影响到系统的稳定性和安全性，因为有可能导致不经意间越权访问到受保护的数据。这种方法要求在主机上安装适当的控制软件，因此一个主机的故障可能影响整个SAN系统中数据的完整性。软件控制的存储虚拟化还可能由于不同存储厂商软硬件的差异而带来不必要的互操作性开销，所以这种方法的灵活性也比较差。但是，因为不需要任何附加硬件，基于主机的虚拟化方法最容易实现，其设备成本最低。使用这种方法的供应商趋向于成为存储管理领域的软件厂商，而且目前已经有成熟的软件产品。这些软件可以提供便于使用的图形接口，方便地用于SAN的管理和虚拟化，在主机和小型SAN结构中有着良好的负载平衡机制。从这个意义上看，基于主机的存储虚拟化是一种性价比不错的方法。基于存储设备的存储虚拟化方法依赖于提供相关功能的存储模块。如果没有第三方的虚拟软件，基于存储的虚拟化经常只能提供一种不完全的存储虚拟化解决方案。对于包含多厂商存储设备的SAN存储系统，这种方法的运行效果并不是很好。依赖于存储供应商的功能模块将会在系统中排斥JBODS（JustaBunchofDisks，简单的硬盘组）和简单存储设备的使用，因为这些设备并没有提供存储虚拟化的功能。当然，利用这种方法意味着最终将锁定某一家单独的存储供应商。基于存储的虚拟化方法也有一些优势:在存储系统中这种方法较容易实现，容易和某个特定存储供应商的设备相协调，所以更容易管理，同时它对用户或管理人员都是透明的。但是，我们必须注意到，因为缺乏足够的软件进行支持，这就使得解决方案更难以客户化（customzing）和监控。一般而言，存储虚拟化的实现方式的另外一种分类方法是将其分为三种：交换架构虚拟化，磁盘阵列虚拟化，以及整合到应用设备内的虚拟化。对于三种不同的虚拟化方式，存储供应商都有各自的独门兵器。IBM自两年前推出SVC（SAN卷控制器）（IBMSANVolumeController对于存储虚拟化，IBMSANVolumeController（SVC）能够将多个磁盘系统的容量整合为一个单一的“容量池”。SVC可帮助节省空间和能源，并能通过合并来简化存储资产的管理，这将极大地提高现有存储器的利用率，并减少额外的存储需求。）产品后，在这一领域独占鳌头。去年，HDS（日立数据系统有限公司）紧随其后发布了TagmaStore通用存储平台（USP），这是基于磁盘阵列的解决方案。近几个月，EMC公司新发布的Invista网络存储虚拟解决方案则是基于存储交换的解决方案。那么到底是哪种技术，哪家厂商的方案是最佳的呢？哪种方案会成为存储虚拟化大赛中的最终胜者呢?现在更多的专家认为，这场竞赛没有最后的赢家，越来越多人认为这三种技术应当结合使用。如果我们把厂商和各自的虚拟化技术对号入座，那么三个虚拟化阵营都各自有一些代表厂商。虚拟化应用阵营的代表有SVC、StorAge、NetworkAppliance设备以及DataCore公司。而在磁盘阵列和光纤通道阵营里，HDS、Sun、hp以及Acopia提供了多样化的体系结构。交换机阵营则包括Invista、McData、Brocade、QLogic以及Cisco公司。然而McData，Brocade，Cisco等其他一些公司已经针对基于光纤通道虚拟化进行了一系列公司收购与合作，似乎不同类别方案之间的分界线已经变得模糊起来。其他两个阵营中的厂商中有些也正在慢慢跨越自身的领域，即使目前来说并没有真正完全的横跨界限。由于虚拟化性能、应用程序灵活性以及虚拟化引擎等诸多方面的问题，早期的存储交换虚拟化和磁盘阵列虚拟化两个阵营的提倡者广受业界的质疑。最初执行虚拟存储的厂商依赖那些基于现有组件的分布式解决方案或是基于端口的处理引擎来提供所需功能，应用设备虚拟化方案被认为是最易于配置的，但其往往有应用限制。因此一些厂商更倾向于存储交换虚拟化，认为智能SAN虚拟化处理组件是下一代虚拟存储的典范。同样，HDS针对应用虚拟化方案和网络交换虚拟化方案也作出了类似的批评。HDS认为他们的通用存储平台(USP)是把虚拟化部署在存储网络边缘的存储控制器，而不是部署在主机或是网络核心的交换机或应用设备，他们认为从性能和安全因素上说这是最佳位置。而应用设备虚拟化的坚定支持者NetApp则认为通过应用设备在存储网络上实现虚拟化是最好方案。NetApp公司发言人解释：在选择磁盘阵列方案后，存储网络能给客户提供最大的灵活性，不至于像TagmaStore通用存储平台那样把客户锁定在磁盘阵列的解决方案，既不需要那么复杂，也不需要基于主机的虚拟化解决方案中客户代码带来的成本。在存储网络之内，应用设备可以灵活放置。一个好的虚拟解决方案不要求对磁盘或存储网络基础架构进行任何改变。因此，需要和您的供应商进行讨论来决定进行哪些改变才能够测试和运行它们的虚拟解决方案。但是需要警惕的是一些解决方案要求企业购买新一代SAN交换机或新一代存储控制器，而这样做的目的仅仅是为了实现存储虚拟。四、目前状况：尽管关于虚拟化的宣传铺天盖地，企业界采用虚拟存储技术的脚步还是颇为缓慢。根据IDC对269名来自不同规模的公司的IT经理的调查，仅仅只有8%的企业正在应用任何一种形式的虚拟化。并且仅有平均23%的企业表示计划将在未来12个月里尝试实施一定程度的存储虚拟化。中端存储用户主要期望用于对数据迁移进行管理，减轻管理负担;大型企业则主要期望将虚拟存储中的数据复制、卷管理用于存储预备。不管是哪个虚拟化阵营的厂商都面临着不同的压力，并有待在真实环境中接受考验。目前而言没有任何一家已经稳固占领了市场，迄今为止，IBM似乎有最高的销售记录，但也仅仅只是接近于领导地位。根据企业策略集团公司(ESG)的建立人，高级分析师SteveDuplessie的报告，SVC已完成1500多套系统的售出。该数据还被英国一家调研公司所证实。Cisco系统公司最近收购了ToPSPin公司，于是也拥有了把服务器虚拟化、存储虚拟化和网络虚拟化连接起来的能力。Topsin的虚拟化核心技术能够给Cisco带来大笔的技术财富，如果Cisco公司在收购它之后选择全力实现虚拟性能，结果势必令人瞩目。尽管已经取得了不小的成就和地位，但在存储领域Cisco仍然是一个玩票性质的参与者。Cisco面临的挑战在于所有的数据复制，存储预备以及其他核心存储功能的知识产权都在存储供应商手中，Cisco要想占优势，除了自身产品的研发与市场以外，还需要加强和这些主流存储系统厂商的合作与沟通。在这场大赛中还有一个低调的实力派就是微软。微软在过去的两年里已默默地把自身建设成一支存储领域的强大军队，并且最近还克服了一些阻碍发展虚拟化的许可证等问题。在这场虚拟化的混战中，微软也许有些姗姗来迟，但凭借微软在软件领域的绝对地位，微软很可能会爆出一些惊人的技术，也许会把虚拟化变为服务器操作系统的一部分。eGInnovations创始人兼总裁兼首席执行官SrinivasRamanathan表示从存储虚拟化格局改变的角度来看，他认为存储虚拟化将走服务器虚拟化所走过的路。Ramanathan解释道：〃几年前，服务器虚拟化的焦点还在虚拟机管理器。现在，虚拟机管理器已经变成商品。所有的虚拟化公司都在关注管理性，以便为虚拟化客户提供成本节约和灵敏性。在我看来，几年后，存储虚拟化也将接着服务器虚拟化进入成熟期。〃尽管服务器虚拟化已经成为主流，但是Ramanathan表示存储虚拟化离主流还有一定距离。他表示：〃现在的主要焦点是证明这个技术是有效的。几年后，管理性将更加重要一如何充分利用现有的硬件，如何在不同主机上动态迁移VM（虚拟机）等。〃InfortrendTechnology副总监GalvinChang表示存储虚拟化的第一阶段是要能够整合和处理来自不同厂商的存储硬件的I/O命令。Chang表示，在存储虚拟化的下一阶段，下列这些问题将变得更加重要：向外扩展存储，分层和虚拟化存储，针对云数据中心的虚拟化存储，以及负载均衡。根据Chang的说法，在虚拟化环境中使用向上扩展存储只会增加容量和导致不必要的资源浪费；只有向外扩展架构可以提高存储性能和获取来自虚拟化的好处。Chang还表示虚拟化存储可以提供不同层次的存储管理服务，包括SSD、SAS、SATA甚至VTL（虚拟磁带库）。至于云服务要求，Chang认为虚拟化的存储可以提供不同的好处，包括可扩展性、无宕机数据管理以及更低的成本。他表示另一个关键问题将是当多个存储控制器引入一个虚拟化存储池的时候如何平衡控制器工作负荷和主机带宽。Chang指出：〃厂商们可以部署智能主机代理端或利用网络层协议来进行负载共享。"五、如何面对存储虚拟化第一、规划好企业的存储虚拟化策略一个好的存储虚拟化策略将取得事半功倍的效果，因此作为一个存储管理人员必须先制定一个好的存储虚拟化策略，比如是否考虑到需要虚拟化策略？实施虚拟化之前，企业拥有哪些存储资源，实施虚拟化之后，企业又需要哪些资源?实施虚拟化之后，企业如何来管理每天的备份、数据保护、归档已经灾难恢复任务了，这和之前的管理又有什么区别？实施虚拟化之后，企业打算拥有多少数据中心，每个数据都肩负什么功能？毫无疑问的是存储虚拟化能够带来降低存储管理复杂性、降低存储成本，但是决定何时实施存储虚拟化是一个关键因素，而且也非常困难。因为，评估企业当前和存储相关的业务就显得尤为重要。在实施虚拟化之前，存储系统可能处于一种分散、难于管理的状态，虚拟化之后，存储管理人员可以把多个存储系统整合到一个网络环境中去，而通过一个统一的方式去管理这个网络环境。许多企业的关键业务如何去面对这个新的存储环境是需要存储管理人员去认真考虑的。一些企业的信息中心主管透漏，国内企业在规划存储虚拟化策略方面的确是做的很不足。在虚拟化日趋普及的今天，还是希望有关人士能够从第一步就做好，好的开始等于成功的一半，规划好企业的存储虚拟化策略的确是能够给企业的IT架构改造带来诸多益处。第二、将企业业务数据进行合理分类规划也许你看到这点会觉得很搞笑，你会觉得：企业数据中心的数据当然都是非常重要和关键的，根据他们的关键成都来分类数据是很难的和不必要的。这种一刀切的想法无疑是幼稚的，实践显示，很多公司都在这个环节上失误。企业在实施虚拟化的时候就需要考虑什么样的数据、多少数据你可以承受它们丢失。例如，当前的存储虚拟化技术在数据库的支持方面就不够，如果你对这些结构化的数据类型不太注意的话，造成的后果可能不堪设想。因此对企业业务数据进行合理分类规划是非常重要和有必要的。合理的分类能够让你的存储虚拟化效率更高，管理也更加方便和快捷。第三、了解数据生命周期对于一个存储管理人员，另外一个很重要的事情就是需要对企业的日常业务熟悉，特别是对公司数据的生命周期需要有比较深入的了解。如果作为一个存储管理人员现在还没概念，那么就需要思考一下自己对企业日常业务和企业数据生命周期有多少了解了。如何对公司的业务数据不了解的话，那么怎么知道什么时候该去归档了、什么时候该去备份了？假设对公司业务数据了解的话，那么就知道什么时候把数据放在合适的存储类型上，以及懂得规划数据的分层次存储。作为一个存储管理人员，针对数据周期的存储优化策略是必须的。毫无疑问的是，存储虚拟化在这方面具有非常大的优势。通过存储虚拟化，存储管理人员可以讲所有不同的存储系统以及它们相关的卷就可以通过逻辑卷的方式进行统一管理了。而这就非常方便用户来实现数据从一个存储层到另一个存储层的迁移。第四、规划好存储层次以及服务级别决定一个公司存储成本的往往不是存储系统的硬件，而是存储平台和存储解决方案的选择，而对企业的存储层次和服务级别规划则决定了存储和存储解决方案的选择。因此规划好你的存储层次和服务级别对于存储虚拟化来说数据访问、数据可用性、数据安全、数据响应时间、数据保护等服务级别成为部署存储虚拟化的基础。那么如何来平衡这些不同的存储层次服务、优化它们的可用性以及增强数据可管理型了？存储虚拟化可以帮助你来降低不同存储层次服务的复杂性和提高数据的可管理性。并且这种行为是不可见的。我们来举个例子：一个企业应用需要在不同的数据中心上做灾难备份，这就举要一个高度可用的灾难恢复策略。面对这样的应用需求，我们该怎么办了？存储虚拟化能够轻松的平衡数据复制并且可以采用镜像技术让数据在相关的数据中心位置创建，这样的话，第一份主要的数据存在高性能的存储层次上，其他的备份则不一定是在这个存储服务层次上，所以存储虚拟化让企业选择不同的存储平台来满足数据使用的需求。第五、考虑安全性和兼容性也许安全性和兼容性是广大企业用户在实施存储虚拟化中最为担心的问题，实际上这种担心也是很正常的，因此我们在部署虚拟化的环境的时候就应该更加仔细的考虑安全因素。存储虚拟化允许同一个虚拟池上存储设备的简单数据迁移以及异构磁盘子系统的复制，企业关键数据的第二份拷贝就必须有和第一份数据同样的安全级别。举个很简单的例子，针对灾难回复的企业重要数据的第二份拷贝就需要和第一份数据同样严格的安全级别，需要控制它的访问级别和安全保护。在一些特殊的领域，诸如金融服务领域，存储虚拟化环境安全性的考虑都将影响存储虚拟化的使用。现在凡是在安全性要求高的行业里面，存储虚拟化的安全性都是重点考虑对象。六、虚拟存储技术普及面临的问题：据统计，存储数据量的年增长率达50%〜60%。面对新的应用，以及不断增加的存储容量，企业用户需要借用虚拟技术来降低管理的复杂性，提高效率。但是随着存储技术的发展，用户对于数据的需求增加，为什么虚拟存储技术没有完全普及呢？这还要从虚拟存储技术面临的困难说起。目前，企业用户面临的最大压力是什么？一是存储数据的成本在不断地增加；二是数据存储容量爆炸性增长；三是越来越复杂的环境使得存储的数据无法管理。周所周知，虚拟化有三种方式实现，基于服务器、基于存储以及基于网络。基于存储的虚拟化手段，目的就是面向用户的应用进行优化。存储虚拟化首先要解决的难题就是异构平台的数据管理问题。存储虚拟化可以把用户不同的存储系统融合成单一的平台，解决数据管理难题，并通过分级存储实现信息的生命周期管理，从而进一步优化应用环境。虚拟存储技术最受关注的问题是数据安全问题。因为虚拟存储把所有数据都放在了一个系统环境下，这就相当于把鸡蛋都放在一个篮子里，一旦打翻，所有鸡蛋都会损失。所以一旦数据被存放进虚拟存储环境中，就不能被轻易删除。这无疑加大了数据的风险，在安全投资上也要相应加大。虚拟存储的第二个问题在于忽视了我国庞大的中小企业需求。目前的虚拟存储技术大部分都是专注于高端用户的，这些用户存储系统庞大，不仅设备多，所采用的软件也很复杂，在这种情况下，虚拟存储技术可以带来管理，成本上的诸多优势。但是目前我国中小企业已经成为企业市场的主力军，不针对中小企业用户的需求推广虚拟存储技术，使该技术的发展变得缓慢了。阻碍存储虚拟化产品的因素还有一个就是价格，这也正是由于专注于高端市场带来的弊端。对于多数的中小企业用户面临存储空间不足，直接买大容量硬盘来解决存储上的问题，即使在存储空间上有所浪费，但相比使用虚拟化存储架构，大容量的硬盘还是比较合算，此外中小企业存储系统不复杂，管理起来也没有太大难度，这些都导致虚拟存储技术在普及上存在着一定的困难。综上所述，虚拟存储技术不仅在存储厂商是热门话题，而且在用户中对于存储虚拟化技术呼声越来越高，随着人们对于数据安全性、完整性的要求提高，存储系统已经成为IT应用中的重要环节，存储系统的复杂化，存储系统的管理也成为难点，相信在不久的将来虚拟存储技术在克服了面临的困难后，会给企业用户存储系统的效率的提高，系统安全稳定的运行，减少总体拥有成本，增加投资回报等方面有效的实现。七、未来趋势：虚拟化技术的出现，很大程度上为企业增强生产力，增高资产利用率，并有效的管理企业运营环境，而不同的虚拟化技术提供给用户不同方面的支持。正如虚拟存储不同类别之间的界限日渐模糊，存储虚拟化和服务器虚拟化之间的界限也有日益模糊的可能。除了微软通过WindowsStorageServer2003的努力之外，NetApp也为DataONTAP操作系统中V系列（之前的Filer系列）阵列中增加了虚拟化性能。虚拟化软件正在日益变得有活力且更加趋于完整，它的发展方向更像是一个全面的操作系统。业内人士已经充分认识到：通过交换机、磁盘阵列还是应用设备实现虚拟化的争辩是没有意义的，未来的虚拟化应该是通过这几种技术来实现，然后由某一种主要的虚拟层结合起来。未来的虚拟化操作系统应该是一个高度分布式的，企业级的操作系统。如果我们看得更远一些，虚拟化还有可能会演变成包含服务器、网络以及存储设备的分布式操作系统中的一种元素，而这三种虚拟化都正在受到关注。然而这三种虚拟化中的任意某一种都能惹来麻烦。比如说，服务器虚拟化，有些最初的服务器虚拟化项目就在存储地址和其他存储管理方面的高级功能上出现过问题。要想虚拟化正常运转，服务器虚拟化必须提高虚拟存储性能，否则就会变成一种障碍。同样的，网络设备或存储交换机可以采用各种智能的包检测技术来理解被迁移的数据的本质，并就如何有效传递或存储作出决定。虽然网络能够认出一个数据流实际上是个JPEG文件，但没办法区分出