1存储技术的发展及整合与虚拟化应用_杨光年.pdf.doc

总第 221期期 计算机与数字工程 Vol.36 No.32008年第 3Computer DigitalEngineering140 存储技术的发展及整合与虚拟化应用杨光年 郭荣亮 张国政(中国船舶重工集团公司第七一六研究所 连云港 222006)摘 要 介绍存储技术在当今计算机世界中的发展历史及应用情况, 分析目前主要流行的几种数据存储技术的特点、 发展趋势及整合与虚拟化应用。关键词 存储 存储技术 存储整合 存储虚拟化中图分类号 TP333.31 引言存储技术早在计算机出现之前就已存在, 在计 算机出现以后,存储的发展正以飞一般的速度向前 发展着。大量的原始数据被廉价而高效的计算机 计算产生新的数据,这些新的数据又被计算出更有 用的数据。对于用户而言 ,相比起计算机硬件的损 坏 ,数据是信息中最宝贵的资源, 一旦数据遭到破 坏或丢失,所有的计算能力都变得毫无价值。随着 信息时代的来临 ,数据呈爆炸性增长 , 如何在网络 上提供对数据的 24 7操作的可靠性和保护,给存 储工业带来新的挑战。2 存储技术的发展存储行业的核心技术目前主要集中在数据保 护、数据管理和数据访问三方面。至于数据挖掘这 种专注于数据关系的技术, 目前还没有包含其中。 对最终用户而言 , 存储系统在整个 IT系统中的地 位很特殊,存储系统的架构往往决定了整个 IT系 统的架构及功能 ,所以 ,具有关键业务的用户在搭 建自己的 IT系统时, 对存储系统部分应给予足够 的重视。不能听信厂商的一面之词, 更不能自行简 单拼凑 ,而应该求助于具有一定资质和实践经验的 存储系统专项集成公司。在规划 IT系统之初就应 该设计好存储系统架构和主要功能。以下是对存 储系统的基本架构的简单描述和分析。九十年代以前,存储产品大多作为服务器的组成部分之一, 这种形式的存储被称为 SAS(Server-AtachedStorage服务器附属存储 )或 DAS(DirectAt-tachedStorage,直接附属存储 ), 终端直接与主机相 连, DAS的特点是只能通过两个接点访问一个数 据,带宽、扩展性和性能受到限制, 如图 1所示。图 1 DAS(DirectAtachedStorage-直接连接存储)DAS(DirectAtachedStorage-直接连接存储)是指将存储设备通过 SCSI接口或光纤通道直接连接 到一台计算机上。 DAS的适用环境为 :(1)服务器 在地理分布上很分散,通过 SAN或 NAS在它们之间 进行互连非常困难时(商店或银行的分支便是一个 典型的例子);(2)存储系统必须被直接连接到应用 服务器(如 MicrosoftClusterServer或某些数据库使用 的“原始分区”)上时 ;(3)包括许多数据库应用和应 用服务器在内的应用, 它们需要直接连接到存储器 上,群件应用和一些邮件服务也包括在内。当服务器在地理上比较分散, 很难通过远程连 收稿日期:2007年 7月 5日, 修回日期:2007年 8月 23日作者简介:杨光年, 男, 高级工程师, 研究方向:软件工程、软件开发、信息化规划、计算机系统集成。 郭荣亮, 男, 高级 工程师, 研究方向:计算机网络系统集成、网络安全、数据存储。 张国政, 男, 助理工程师, 研究方向:计算机网络系统 集成、网络安全。第 36卷(2008)第 3期 计算机与数字工程 141接进行互连时, 直接连接存储是比较好的解决方 案 ,甚至可能是唯一的解决方案。利用直接连接存 储的另一个原因也可能是企业决定继续保留已有 的传输速率并不很高的网络系统。随着技术发展, 进入九十年代以后 ,人们逐渐 意识到 IT系统的数据集中和共享成为一个亟待解 决的问题。于是 ,网络化存储的概念被提出并得到 迅速发展。从架构上来分 ,今天的网络化存储系统 主要包括 NAS(NetworkAtachedStorage, 网络附加 存储)和 SAN(StorageAreaNetwork, 存储区域网 )两大类, 如图 2、图 3所示。图 2 NAS(网络附加存储)NAS和 SAN的出现响应了三种重要的发展趋 势 :网络正成为主要的信息处理模式 ;需要存储的 数据大量增加;数据作为取得竞争优势的战略性资 产其重要性在增加。NAS(NetworkAtachedStorage-网络连接存储 )即将存储设备通过标准的网络拓扑结构 (例如以 太网), 连接到一群计算机上。 NAS是部件级的存 储方法 ,它的重点在于帮助工作组和部门级机构解 决迅速增加存储容量的需求。需要共享大型 CAD 文档的工程小组就是典型的例子。SAN(存储区域网络 )通过光纤通道连接到一 群计算机上。在该网络中提供了多主机连接, 但并 非通过标准的网络拓扑。 SAN则专注于企业级存 储的特有问题。当前企业存储方案所遇到问题的 两个根源是 :数据与应用系统紧密结合所产生的结 构性限制, 以及目前小型计算机系统接口 (SCSI) 标准的限制。大多数分析都认为 SAN是未来企业 级的存储方案,这是因为 SAN便于集成, 能改善数 据可用性及网络性能 ,而且还可以减轻管理作业。SAN解决方案的优点有以下几个方面 : SAN提供了一种与现有 LAN连接的简易方法,并且通过同一物理通道支持广泛使用的 SCSI 和 IP协议。 SAN不受现今主流的、基于 SCSI存储 结构的布局限制。特别重要的是, 随着存储容量的 爆炸性增长, SAN允许企业独立地增加它们的存 储容量。SAN的结构允许任何服务器连接到任何存储 阵列 ,这样不管数据置放在那里, 服务器都可直接 存取所需的数据。因为采用了光纤接口 , SAN还 具有更高的带宽。因为 SAN解决方案是从基本功 能剥离出存储功能, 所以运行备份操作就无需考虑 它们对网络总体性能的影响。 SAN方案也使得管 理及集中控制实现简化, 特别是对于全部存储设备 都集群在一起的时候。最后一点, 光纤接口提供了 10公里的连接长度 ,这使得实现物理上分离的 、不 在机房的存储变得非常容易。图 3 SAN存储区域网SAN的性能可靠, 可扩展, 易管理;但由于采 用光纤通信价格较高 , 使应用受到了限制。随着IP技术的发展和普及 , 一种基于 IP网络 /Ethernet 的高性能但价格低廉的新方法 InternetSCSI(iSC-SI)应运而生, 并为连接 SAN提供了很多优势。3 存储整合应用IT组织结构中的整合并不是新的概念 。当计 算机房中计算机堆积起来时, IT经理便开始寻找 一个能将所有东西集中到单一机柜的方法,同时将 清理出来的空间挪作他用。存储整合就像是把即 将见底的番茄酱倒到一个瓶子中, 以简化并更有效 地使用资源。3.1 通过存储网络整合存储资源存储整合在最近几年中存在两种方式。最简 单的形式是使用存储的支持多平台服务器的结构 直接连接服务器。这可以将数量相对较少的服务 器整合到存储阵列中。存储整合通常带来使用较142杨光年等:存储技术的发展及整合与虚拟化应用 总第 221期少的存储容量并容易使用和管理。另一种存储整 合的形式是使用存储网络 ,这也是目前存储发展的 主流。网络有两种选择 , 即 SAN(StorageAreaNet-works)和 NAS(NetworkAtachedStorage)。大多数复杂环境通常同时运行基于交易和给 予文件共享的环境 , 同时要求 SAN和 NAS技术。 对此的挑战是将这两个技术无缝的整合到一个存 储架构中,这样一来 , 就可以使用同一个过程和管 理工具 ,而不管使用了那种连接技术。实现了支持 多态服务器的大型存储阵列和(SAN或 NAS)的结 构将简化管理,减少 TCO并增加 ROI。如果企业的最终目标是提高存储管理生产率, 那么存储整合是创建一个可出色管理的存储基础 设施的关键平台。通过创建一个强大存储网络 ,整 合可由以下方式提高生产率:(1)存储网络独立于各服务器 ,服务于多个服 务器。因此 ,一个存储网络子系统或几个集中管理 的存储子系统即可支持数百个混合服务器和应用。 一般来说,通过子系统制造商提供的单一设备管理 控制台 ,可配置存储, 达到数 Tb容量 , 服务于数百 服务器。(2)无需干扰正常运行即可增加或重分配存 储容量。存储容量不再孤立地分散于相互独立的 服务器中;在系统运行的同时容量即可方便地重分 配到新的服务器。同样, 随着应用需求的提高 ,存 储容量也能在不中断运行的同时按需提高。这样, 容量利用率一般能达到至少 80%。而成熟的 DAS 环境的存储利用率却很少能超过 40%。(3)整合简化了存储子系统的冗余性构建。 这一出色功能,与无需停运即可重分配和添加存储 的能力相结合, 增强系统的可用性, 能更容易地满 足日益提高的 QoS期望。3.2 实施整合项目成功的整合将使机构在营业额和利润上两方 面都得到显示本质上的和可以测算的改善。但是 这也伴随着风险。这种风险以通过对细节的关注, 通过论证过的实施过程和通过富有经验的实施队 伍来实施得以减轻。例如 :即使一台大的服务器比 两台小服务器的成本低, 并且存储的利用率较高, 但是发生故障将使两个工作都停下来。此时应注 意高可用问题。当把所有鸡蛋放在一个篮子时 ,必 然要求这个篮子是坚实的。物理上整合到较少的 服务器和存储的解决方案意味着任何故障都会被 更多的用户感受到, 会更大地影响业务。因此 ,冗 余、复制、扩充、灵活性和管理方面的计划就变得十分关键! 这种对将两个服务器迁移到一个服务器 的小型整合所要求的铺垫工作同样适用于对整合 数以千计的服务器 ,实施 SAN和 NAS解决方案和 标准软件的大型整合。无论是大型整合还是小型 整合都必须做好前期工作以确保整合成功。为保 证整合对业务的影响 ,决定是否和如何前进 , 最终 的实施必须通过六个关键阶段 :(1)发现和概略 (2)分析当前的支持业务的信息流 (3)设计整合的架构 (4)决定是否需要合作伙伴 (5)部署架构 (6)分析和论证这些关键步骤贯穿于识别现有环境中大量的 设备到最终确认新环境达到设计目标。有些服务 提供商提供咨询服务 ,帮助整合初期的部署。第一阶段:第一个步骤是发现和概略计算环境 中的信息。包括收集资产使用、性能、和物理设备 情况的信息。这包括整个业务流程的信息流的评 估和信息对业务的价值。这个过程通常会揭示系 统间的依赖关系 ,有助于确保后续计划符合公司对 数据和过程的要求。整合的初始化通常伴随着架 构在改善业务连续性和灾难恢复的部署。决定信 息对业务过程是关键的, 也就决定对业务连续性和 灾难恢复计划的可用性要求。第二阶段:基于概略 ,下一个步骤是对服务器、 应用和存储孤岛进行当前环境分析。那些资产使 用率不高 , 需要整合 ? 哪些服务器可能整合 SAN 或 NAS架构能改善环境和使用率 ? 如何管理环 境,如何改善? 有可能对业务单元就其使用的资源 和服务进行计费 ? 架构的可用性如何改善? TCO 和 ROI如何影响操作和业务如何计算和论证?第三阶段:分析阶段后,才可设计整合的架构,包 括可用性,恢复,可管理性,灵活性和可扩充性。如何 部署服务器、应用、存储和架构管理软件的整合?第四阶段:在正式部署前, 还需决定是否需要 合作伙伴。在许多当前的复杂环境中,合作伙伴和 咨询机构可能在最初的阶段就参与进来。在一些 案例中他们甚至开发了新的整合架构的设计。但 实施是另一回事 ,它要求其他的技巧。所要部署的 架构的复杂度, 整合初期介入的规模和类型 , 将决 定是否需要使用合作伙伴。许多机构在部署 SAN 或使用 NAS作为其存储整合时, 都利用了合作伙 伴的经验。存储管理和架构管理通常也要求合作 伙伴的服务。第 36卷(2008)第 3期 计算机与数字工程 143第五阶段:一旦整合设计完成 , 实施队伍确定 后 ,就可进行架构部署。整合架构的部署必须是由 一定数量的事件组成 ,而不能是无休止的过程。实 施队伍的经验和实施记录是非常关键。同经过论 证的服务提供商合作是无价的 ,他们还可以对机构 的人员培训。在整个整合初始阶段的一个关键部 分是完成对所发现的所有方面的项目管理。当部 署完成后,许多机构还使用现场管理服务来运行, 将过程用文档记录等 ,保证知识让用户掌握。第六阶段:最后, 整合架构完成部署后 ,对操作 上的改变、对财务和业务的影响的论证是必要的。 这也是机构建立持续的反馈机制的时候。因为一 直有其他整合项目的机会。4 通过虚拟化技术简化存储利用 SAN对存储进行整合无疑将给企业的数 据带来新的生命力,但自 SAN诞生以来, 一直被认 为是非常复杂、成本高昂而且难以管理的 ,因此 ,这 种技术只在必要时才被部署,而且在多数情况下必 须在第三方专家的帮助下才能完成。但是 ,随着存 储虚拟化技术的发展 ,为需要更简单、更快速、可管 理性更高的存储网络带来了前所未有的高级整合 功能。有效虚拟是简化存储环境的必要组成部分, 是将 IT资源作为独立逻辑库而是分散的物理实 体 ,在思维方式上由物理向逻辑的转变。虚拟化是 IT系统自然演进过程 。存储网络也需要进行这种 转变。正像 URL掩蔽数字 IP地址 ,电子邮件掩蔽 路由器跳转顺序发展成为最终的电子邮件服务器 一样, 虚拟化也可以掩蔽系统的复杂性。存储虚拟化提供存储资源的集中、有效管理: (1)建立统一的 SAN网络。 (2)存储硬件资源连接到一个大型的 SAN中, SAN控制器接管所有存储资源,形成一个大的存储池; (3)建立虚拟存储的映射。建立在磁盘阵列逻辑卷的基础上。 (4)建立基于虚拟存储网络的数据共享。 (5)通过一个基于存储网络的文件系统 ,不同操作系统可共享一个文件系统。4.1 存储虚拟化简介存储虚拟化技术尽管令人欢欣鼓舞, 其实也并 没有再出现什么新概念。多年来 , RAID设备一直 从物理磁盘驱动器中提取 LUN, 主机服务器上的 卷管理器则一直从 LUN提取存储卷。最近, 随着 将相同的提取概念应用到存储局域网的可能性的 出现, 很多媒体评论也都围绕存储虚拟化展开。通过实现 SAN相连磁盘存储的虚拟化,可以利 用众多独立物理设备的多种 LUN建立大型独立磁盘 容量池。在最基础的层面,存储虚拟化可以定义为在 物理存储设备和 /或低级逻辑存储设备之上,能够提 供简化的逻辑存储资源视图的提取层。这种提取可 以发生在主机或存储阵列中,也可以发生在 SAN内 部。另外,它既可以在带内执行(例如对称),使控制 和数据在同一条路径上;又可以在带外执行(例如非 对称),使控制和数据使用不同的路径。带内解决方案非常依赖作为主机网络和存储 池中间设备的硬件(虚拟化服务器)。所有事务处 理都将通过该设施 , 因而会产生对潜在性能的限 制,并使可用性复杂化。带内设施必须拥有 “恢 复”功能 , 否则, 通过一组设施执行 I/O就会产生 单故障点。另外, 由于不能总集中管理这些设施 , 因而会产生多个管理点。反之 ,虽然带外解决方案 可能会部署一些分布式硬件, 以便处理元数据 ,但 主要基于软件。数据直接从服务器传输至存储子 系统 ,因此 ,性能和可用性都不会受到影响。利用 带外或分布式体系结构 ,一般能够提供集中管理。 但是 ,无论采用哪种方法 ,都没有广为接受的标准 , 因而无法像 SCSI、FC或 iSCSI那样确定实施存储 虚拟化的方法。4.2 采用虚拟化的原因如前所述, 存储虚拟化并不是什么新名词。例 如, RAID可以看成是存储虚拟化的统一形式, 因 为它能够用一个逻辑实体代表复杂的物理驱动器。 RAID屏蔽了单个驱动器的复杂性以及存储系统 后端的几何特性, 但增强了性能和数据可恢复性。 然而 ,在目前的定义中 ,除具体物理设备外, “存储 虚拟化”一词还将应用到更多系统中。因此 , 从系 统层面上看 ,存储虚拟化将通过多个存储阵列对提 取层进行扩展, 不但能够隐藏单个物理驱动器的复 杂性 ,还能够隐藏整个物理存储子系统的复杂性。 智能虚拟化代理提供了简化存储系统管理的功能 , 进一步放大逻辑提取的好处, 并为更高一级的智能 奠定基础。例如, 由于能像一个存储池那样对待多个存储 阵列 ,因而能够自动执行 LUN管理等重复性的低 智能任务。反之 ,存储资源的自动化有利于更高层 次的策略选择和执行。基于策略的存储虚拟化可 以管理存储基础设备的使用, 以保证适当分配存储 等级。高优先级应用将获得更高级存储等级 ,二级 应用则只能获得比较低廉的存储等级。最重要但通常被忽视的一点是, IT部门的问144杨光年等:存储技术的发展及整合与虚拟化应用 总第 221期题是服务器、存储和网络资源未能充分利用 ,其根 源在于 ,迄今为止 ,多数 IT基础设施都是为某项工 作或某个用户组专门构建的,无法通过动态分配满 足要求。更糟的是,这种利用率低下的基础设施还 需要大量操作员和多个管理平台, 致使 IT部门疲 于维护老系统,而提供新应用的速度很缓慢。传统的磁盘驱动器通常都全部分配完毕, 但利 用率低下。虚拟化存储设备可解决容量闲置问题。 高性能磁盘驱动器可在不影响运行的同时添加到 机架(或拆除 ), 并从统一的容错型背板获取电力 和制冷。管理软件不但能将闲置存储动态分配给 其它用户,还能为每个应用提供不同等级的服务。基于策略的智能也是实施下一代应用感知型 存储虚拟化的先决条件。例如, 通过监控数据类 型 ,存储虚拟化能够精确调整数据的位置 ,以便更 加准确地满足特定应用的要求。视频数据将被写 到高性能磁盘的外磁道上 ,联机事务处理则能够获 得最佳快照功能。最后, 借助 SAN中的智能 , 应用还可以通过 API对虚拟化系统提出存储要求, 包括提取层功 能、自动化水平、基于策略的管理、应用感知型和应 用响应型虚拟化等,以便不断推动存储联网技术的 发展, 使之成为独一无二、易于管理的技术。另外还有一点值得关注的是,由于许多企业存 储环境存在着 iSCSI和 FCIP多种存储协议, 有人 认为将 iSCSI和 FCIP运用于传统光纤通道 (FC) SAN似乎会妨碍虚拟化的使用, 甚至会对 FC构成 威胁。其实多协议存储的采用可以真正提高 FC 和虚拟化的价值。在 iSCSI中 , 目前, 许多企业都 可以将从前由于成本的关系未能连接的客户端和 服务器连接到 FCSAN。 ISCSI还使企业能够将其数据网络分段连接到 FC设备, 这一前所未有的举 措不仅使设备更有价值 ,更适用于关键任务 , 而且 也加强 FC作为集中管理点和存储应用地点的作 用。现在, FCIP使 SAN的孤岛互联和数据远程复 制的成本更为低廉 , 适用于越来越多的企业。目 前,更加分散的数据源提供着更多的数据 , 基于交 换机或基于带外的虚拟化将在保护和增强这种新 数据源的管理方面发挥重要作用。5 结语存储技术的发展经历了 DAS、NAS、SA