（计算机应用技术专业论文）网络存储系统的研究.pdf

湖北i ：业人学硕十学位论文 摘要 随着计算机技术和网络技术的发展，网络上的信息资源呈现出爆炸性增长趋势， 越来越多的信息被数据化，如何有效地存储这些不断膨胀的数据并且能快速方便的 检索是网络存储技术面临的新挑战，电子商务，电子政务等信息化技术的推广对数据 的存储容量，速度以及安全提出了更高的要求，存储系统的出现正是为了满足企业这 种高涨的存储技术的要求而产生的。目前，国内外己经对网络存储投入了大量的研究 和开发工作，进几年以及出现了一些商业化的产品。 鉴于这种情况，作者对存储系统进行了全面的研究，并且参与了一个公司合作项 目，在现有网络的基础上，构建了一个基于i p s a n 网络存储共享系统。目前这个项目 的研究成果己经投入实际使用。 本文总结了作者的研究工作及成果，主要包括以下内容：详细介绍了存储的概念、 特点和当前应用，并对其存储方式、物理架构以及逻辑架构进行了分析，并介绍了实 现数据存储所涉及的一些技术，比如光纤通道技术、磁盘阵列技术等等。 参考存储系统的特点，对一种新型的i p s a n 网络存储共享系统进行深入的研究， 它通过u n i x 工作站、w i n d o w 工作站和磁盘阵列，充分地把大型机的高性能、高可靠 性和通用系统的灵活、易用、性结合起来，实现了基于i p 网络的不同系统之间的存 储共享。 在系统的开发过程中，为了加强系统的可用性和可靠性，提高系统的性能，提出 了一些新颖的技术解决方案。 关键字：存储区域网络，网络存储系统，网络接入存储， 湖北j ：业人学硕+ 学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h et e c h n i c a lo ft h ec o m p u t e ra n dn e t w o r k ，j t sp r e s e n t s t h a tt h ei n f o r m a t i o nr e s o u r c eo nn e t w o r ki n c r e a s et e n d e n c y m o r ea n dm o r ei n f o r m a t i o n m e l tb yd a t a i ti sac h a l l e n g et ou sa l lt h a th o wt oe f f i c i e n t l ys t o c k st h ed a t ao ft h e u n c e a s i n ge x p a n s i o n sa n dt h er e t f i e v a lt h a tc a nf a c i l i t a t ef a s t t h ei n f o r m a t i v et e c h n i c a l p o p u l a r i z a t i o n ss u c ha se - b u s i n e s sa n de - g o v e r n m e n ta r ef o rd a t am e m o r yc a p a c i t y , s p e e da sw e l la ss a f e t yh a v ep u tf o r w a r dh i g h c rr e q u i r e m e n t s t o r a g es y s t e mi sj u s tt h e n e wt e c h n o l o g yt h a tm e e t st h ed e m a n d al o to fo v e r s e ac o r p o r a t i o n sh a v eg i y e nm a n y r e s e a r c h e so i ls t o r a g es y s t e ma n ds o m ec o m m e r c i a lp r o d u c th a sb e e nd e v e l o p e d h o w e v e r , t h er e s e a r c ho nt h i sf i e l di sm o r ep o p u l a ri nc h i n a f o rt h i sr e a s o n , ir e s e a r c h e dt h es a ni nd e t a i la n dd e v e l o p e das t o r a g es y s t e m c r o s s p l a t f o r mn e t w o r ks t o r a g es h a r i n gs y s t e m n ef o l l o w i n ga r em ym a i n a c h i e v e m e n t s ： f i r s tii n t r o d u c e dt h ec o n c e p t ，c h a r a c t e r i s t i ca n da p p l i c a t i o no f n e t w o r k s t o r a g e ， a n dg a v ead e t a i l e da n a l y z eo fs o m ei m p o r t a n tt e c h n o l o g i e si nn e t w o r ks t o r a g e ，s u c ha s 丘b e rc h a n n e la n dr a ) n e nid e v e l o pap e wc r o s s p l a t f o r mn e t w o r ks t o r a g es h a r i n gs y s t e mb a s eo nt h e i p s a nt e c h n o l o g y t 1 1 ec r o s s p l a t f o r mn e t w o r ks t o r a g es h a r i n gs y s t e mc o n n e c t st h e m a i n f r a m ec o m p u t e r s ，r a i da n do p e n s y s t e mb yi p s a n ，g i v e st h ea b i l i t yo fs h a r i n g t h es t o r a g eb e t w e e nd i f f e r e n to p e r a t i n gs y s t e m s m o r e o v e r , id e v e l o p e ds o m ea d v a n c e df u n c t i o no nt h eb a s eo ft h ec r o s s p l a t f o r m n e t w o r ks t o r a g es h a r i n gs y s t e m ，s u c ha sm u l t i - v o l u m ef i l e sf u n c t i o na n du n i v e r s a l b a c k u pa n d r e s t o r es y s t e m ，a n dp u tf o r w a r ds o m en e w t e c h n o l o g i e st oa s s u r et h eh i g h r e l i a b i l i t yo ft h es y s t e m k e yw o r d s ：s t o r a g ea r e an e t w o r k ，s t o r a g ea r e an e t w o r k ，n e t w o r k a t t c h e ds t o r a g e i i 湖北i ：业人学硕十学位论文 第1 章引言 数据存储技术起源于7 0 年代的终端主机计算模式。当时数据集中存放在主机 上，因此数据存储的核心是主机上高效率的文件系统。随着8 0 年代以后客户机服 务器计算模式的普及，网络上的文件服务器和数据库服务器通常成为核心数据聚 集的地方。同时，在网络上分布的客户机也会存放一些数据。这种情况导致了数 据的分散性，推动了数据存储技术向网络数据存储发展。 随着信息技术的迅猛发展，信息数字化所带来的信息量、数据信息以爆炸式 的几何级数递增，如何高效、可靠地存储、处理这些数据，已成为关系到1 1 r 产业 界的电子商务和互联网等领域发展的关键问题。与传统总线连接存储( b u s a t t a c h e d s t o r a g e ，b a s ) 相比，网络存储( n e t w o r ks t o r a g e ) 集成了存储技术和网络技术，并采 用更优的体系结构为数据存储提供了更高的存储容量和带宽，同时它还具有高可 用性、可靠性和可扩展性等优点i ”。然而因为网络技术的使用，其体系结构具有一 定的开放性，数据使用者和存储设备分散在不同的位置。为了向用户提供准确可 靠的存储服务，必须采取必要的措施来保证网络存储系统的高可靠性。 人们致力于各种网路安全技术的研究，提出了各种保密措施。如：数据加密 技术，鉴别技术，网络入侵检测技术等。但是这些技术都是针对网络的操作系统 安全而提出的，如果网络遭受物理性的毁坏，数据将受到致命性的破坏! 如何在信息爆炸的时代，高效，可靠的处理数据和信息? 将是人们所面临的 重大问题。 本文所研究的网络存储系统恰好根本性地解决上述问题。 湖北i ：业人学硕十学位论文 第2 章绪论 随着i n t e r n e t 的出现和普及，数据存储技术发生了革命性的变化。这种变化主 要表现在三个方面： ( 1 ) 数据存储的地域空间更加广阔。i n t e r n e t 是连接着全世界的网络，它的出现 可能使在世界任何地方的用户去访问世界另一个角落的数据，这导致了数据存储的地 域空间空前扩大。同样，一个企业也可能使用i n t e r n e t 技术来构建企业内部的分布 于全球的i n t r a n e t ，这导致企业必须能够处理分布于全球范围内的数据。 ( 2 ) 数据存储量巨大。i n t e r n e t 和宽带网应用的出现和普及，使数据存储量急剧 扩大，这要求存储系统不仅应该具有巨大的存储容量，更为重要的是存储系统应该具 备灵活的可扩充能力，这样才能保证存储系统不会滞后于存储容量发展的要求。 ( 3 ) 网络存储需要更高的性能。在网络应用中，核心数据存储在关键服务器上， 大量的客户通过网络访问这些数据。如何提高核心关键数据存储系统的性能，是提高 各种网络服务质量的关键因素之一。 2 1 网络存储技术发展趋势和研究热点 i n t e r n e t 和网络技术的飞速发展极大地推动了网络存储技术的进步。目前，网 络存储技术的发展趋势和主要的研究热点如下1 2 1 ： ( 1 ) i n t e r n e t w a n 存储技术 i n t e r n e t 的发展使数据的异地存储成为可能，这也为存储系统带来了更大的分布 性。在i n t e r n e t w a n 中，数据分布的物理距离非常广阔，数据存储的平台种类繁多， 如何一致、高效地管理分布在广阔范围内和不同平台上的数据是网络存储技术当前研 究的一个热点。 ( 2 ) 高性能集群文件系统【3 】 随着数据存储量的激增，服务器的负荷越来越大，繁重的数据存储任务严重地降 低了服务器的性能。通常，为了提高网络服务的性能，可以使用处理速度更快、i o 吞吐量更大的服务器来替换原有的服务器。但是，由于价格和技术的限制，这样的升 湖北，i ：业人学硕十学位论文 级通常难以有效满足性能提升的需求。集群文件系统( c 1 u s t e rf i l es y s t e m ) 可以通 过连接大量的普通计算机作为存储节点来提供高性能的网络存储服务，逐渐成为网络 存储技术中的一个新的研究热点，其重点研究问题是高性能储存服务和标准访问接 口。 ( 3 ) 新型高性能磁盘文件系统 磁盘驱动器作为主要的存储介质，其发展经历了很多年。随着技术的发展，磁盘 驱动器出现了一些新的特性，例如：z e r ol a t e n c ya c c e s s ( 零延迟访问) 、 r e a d a h e a d ( 磁道预读) 等。这些新技术可以降低磁盘驱动器的读写延迟，提高磁盘驱 动器性能。传统的磁盘文件系统并没有针对这些磁盘新特性对数据分布、读写方式进 行优化，因而这些新的磁盘特性还难以有效地提高文件系统的性能。 因此，设计新型的高性能磁盘文件系统，充分利用磁盘驱动器的新特征，从而有 效地提高文件系统读写性能也逐渐成为当前存储技术研究的一个热点问题。 2 2 网络存储概念的发展及层次结构 网络技术的发展极大地影响了计算机的体系结构。不管是“网络就是计算机”还 是“计算机就是网络”，都反映了这种影响的存在和影响的程度【4 j a 首先是分布式系统， 然后是集群系统( c l u s t e r ) 到工作站网络( n o w ：n e t w o r k so fw o r k s t a t i o n s ) ，计算 机系统与设备的网络化己成为不可逆挡的趋势，这种趋势同样冲击了传统的存储系 统 存储模式的变革 分布式系统中，传统的数据存储与交换以服务器为中心，即s e r v e rc e n t r i c 客 户端通过文件服务器访问网络与数据资源。被访问的数据对象经过服务器的多次存储 到转发与拷贝操作，然后才送给客户端。尽管服务器并不关心数据的内容，也不对数 据对象进行任何操作，但所有的客户端请求与数据传送都需服务器的介入。当出现大 量的客户端请求时，服务器便成了新的访问瓶颈。 卡耐基梅隆大学的研究结果表明【”，这种瓶颈效应有时会导致存储系统的资源利 用率只有3 造成这种资源浪费的根本原因就是以服务器为中心的迂回访问模式。解决 这个问题的方法是以数据为中心，即d a t ac e n t r i c 。通过将数据对象的访问管理与访 问分离，消除服务器所带来的瓶颈。客户端需要访问数据对象时，直接看到该对象， 3 湖北i ：业人学硕十学位论文 并与之建立直接传输通道。 这种以数据为中心的访问方式导致了今天网络存储概念的蓬勃发展。 4 湖北j i ：业人学硕十学位论文 第3 章存储分类 随着计算机技术的发展和广泛应用，存储技术已经得到了业界和各个应用领域专 业人士的重视。数据量的迅速增长为企业的发展提出了新的问题和要求，如何确保数 据的一致性、安全性和可靠性，如何实现不同数据的集中管理，如何实现网络上的数 据集中访问，如何实现不同主机类型的数据访问和保护等等。所有这些都呼唤着新的 网络存储技术及其产品的出现。 首先介绍一下几种常见的网络存储概念： 存储分类 图3 1 存储的分类 今天的存储解决方案主要分为：直连式存储( d a s ) 、网络存储( n a s ) 、存储 区域网络( s a n ) 。 3 1 直接附加存储 d a s 英文全称是d i r e c ta t t a c h e ds t o r a g e 。中文翻译成“直接附加存储”。顾 名思义，在这种方式中【6 i ，存储设备是通过电缆( 通常是s c s i 接口电缆) 直接到服务 器的。i o ( 输入输入) 请求直接发送到存储设备。d a s ，也可称为s a s ( s e r v e r a t t a c h e d s t o r a g e ，服务器附加存储) 。它依赖于服务器，其本身是硬件的堆叠，不带有任何存 储操作系统。 在d a s 方式中，存储设备通过电缆( 通常是s c s i 接口电缆) 直接连接到服务器， 轴瞒 呲m瓣耋蓍 e 刊s h 堆 “t c 孽o * a d a 客 讹a 懈目 a 寞 钉 r 目 e x d 孽 g 跬篡 端黼篙 璃建 “驰黧 一 一 一 一 湖北：业人学硕十学位论文 服务器的i 0 请求通过电缆直接发送到存储设备。 d a s 的优点是：费用低；缺点是：存储容量扩大困难，以集中管理。 d a s 的适用环境为【7 1 ： 1 ) 服务器在地理分布上很分散，通过s a n ( 存储区域网络) 或n a s ( 网络直接存 储) 在它们之问进行互连非常困难时( 商店或银行的分支便是一个典型的例子) ； 2 ) 存储系统必须被直接连接到应用服务器( 如m i c r o s o f tc l u s t e rs e r v e r 或某 些数据库使用的“原始分区”) 上时： 3 ) 包括许多数据库应用和应用服务器在内的应用，它们需要直接连接到存储器 上，群件应用和一些邮件服务也包括在内。 典型的d a s 结构：i s l 图3 2 典型的d a s 结构 对于多个服务器或多台p c 的环境，使用d a s 方式设备的初始费用可能比较低， 可是这种连接方式下，每台p c 或服务器单独拥有自己的存储磁盘，容量的再分配困 难：对于整个环境下的存储系统管理，工作烦琐而重复，没有集中管理解决方案。所 以整体的拥有成本( t c o ) 较高。 开放系统的直连式存储( d i r e c t a t t a c h e ds t o r a g e ，简称d a s ) 已经有近四十年 的使用历史，随着用户数据的不断增长，尤其是数百g b 以上时，其在备份、恢复、 湖北i ：业人学硕十学位论文 扩展、灾备等方面的问题变得r 益困扰系统管理员。 主要问题和不足 直连式存储依赖服务器主机操作系统进行数据的i o 读写和存储维护管理【9 1 ，数 据备份和恢复要求占用服务器主机资源( 包括c p u 、系统i o 等) ，数据流需要回流主 机再到服务器连接着的磁带机( 库) ，数据备份通常占用服务器主机资源2 0 3 0 ，因 此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常 业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬 件的依赖性和影响就越大。 直连式存储与服务器主机之间的连接通道通常采用s c s i 连接，带宽为1 0 m b s 、 2 0 m b s 、4 0 m b s 、8 0 m b s 等，随着服务器c p u 的处理能力越来越强，存储硬盘空间越 来越大，阵列的硬盘数量越来越多【1 0 】，s c s i 通道将会成为i o 瓶颈；服务器主机s c s i i d 资源有限，能够建立的s c s i 通道连接有限。 无论直连式存储还是服务器主机的扩展，从一台服务器扩展为多台服务器组成的 群集( c l u s t e r ) ，或存储阵列容量的扩展，都会造成业务系统的停机，从而给企业带 来经济损失，对于银行、电信、传媒等行业7 2 4 小时服务的关键业务系统，这是不 可接受的。并且直连式存储或服务器主机的升级扩展，只能由原设备厂商提供，往往 受原设各厂商限制。 3 2 网络接入存储 网络接入存储( n e t w o r k - a t t a c h e ds t o r a g e ，简称n a s ) 1 1 l 采用网络( t c p i p 、 a t m 、f d d i ) 技术，通过网络交换机连接存储系统和服务器主机，建立专用于数 据存储的存储私网。随着口网络技术的发展，网络接入存储( n a s ) 技术发生质 的飞跃。早期8 0 年代末到9 0 年代初的1 0 m b p s 带宽，网络接入存储作为文件服务 器存储，性能受带宽影响；后来快速以太网( 1 0 0 m b p s ) 、v l a n 虚拟网、 t m n k ( e t h e m e tc h a n n e l ) 以太网通道的出现，网络接入存储的读写性能得到改善； 1 9 9 8 年千兆以太网( 1 0 0 0 m b p s ) 的出现和投入商用，为网络接入存储( n a s ) 带 来质的变化和市场广泛认可。由于网络接入存储采用t c p i p 网络进行数据交换， t c p i p 是r r 业界的标准协议，不同厂商的产品( 服务器、交换机、n a s 存储) 只要满足协议标准就能够实现互连互通，无兼容性的要求：并且2 0 0 2 年万兆以太 7 湖北：i ：业人学硕十学位论文 网( 1 0 0 0 0 m b p s ) 的出现和投入商用，存储网络带宽将大大提高n a s 存储的性能。 n a s 需求旺盛已经成为事实。 首先n a s 几乎继承了磁盘列阵的所有优点，可以将设备通过标准的网络拓扑 结构连接，摆脱了服务器和异构化构架的桎梏。 其次，在企业数据量飞速膨胀中，s a n 、大型磁带库、磁盘柜等产品虽然都 是很好的存储解决方案，但他们那高贵的身份和复杂的操作是资金和技术实力有 限的中小企业无论如何也不能接受的。n a s 正是满足这种需求的产品，在解决足 够的存储和扩展空间的同时，还提供极高的性价比。 n a s 产品包括存储器件【1 2 l ( 例如硬盘驱动器阵列、c d 或d v d 驱动器、磁带驱 动器或可移动的存储介质) 和集成在一起的简易服务器，可用于实现涉及文件存取及 管理的所有功能。简易服务器经优化设计，可以完成一系列简化的功能，例如文档存 储及服务、电子邮件、互联网缓存等等。集成在n a s 设备中的简易服务器可以将有 关存储的功能与应用服务器执行的其他功能分隔开。 这种方法从两方面改善了数据的可用性。 第一，即使相应的应用服务器不再工作了，仍然可以读出数据。 第二，简易服务器本身不会崩溃，因为它避免了引起服务器崩溃的首要原因，即 应用软件引起的问题。 n a s 产品具有几个引人注意的优点。首先，n a s 产品是真正即插即用的产品。 n a s 设备一般支持多计算机平台，用户通过网络支持协议可进入相同的文档，因而 n a s 设备无需改造即可用于混合u n i x ，w i n d o w sn t 局域网内。其次，n a s 设备的物 理位置同样是灵活的。它们可放置在工作组内，靠近数据中心的应用服务器，或者也 可放在其他地点，通过物理链路与网络连接起来。无需应用服务器的干预，n a s 设备 允许用户在网络上存取数据，这样既可减小c p u 的开销，也能显著改善网络的性能。 n a s 没有解决与文件服务器相关的一个关键性问题【1 4 l ，即备份过程中的带宽消 耗。与将备份数据流从i a n 中转移出去的存储区域网( s a n ) 不同，n a s 仍使用网 络进行备份和恢复。n a s 的一个缺点是它将存储事务由并行s c s i 连接转移到了网络 上。这就是说l a n 除了必须处理正常的最终用户传输流外，还必须处理包括备份操 作的存储磁盘请求。 n a s 是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对 不同主机和应用服务器进行访问的技术。 湖北1 i ：业人学硕十学位论文 n a s 网络拓扑图如下： 图3 3 n a s 网络拓扑图 因此，无论是从适用性还是t c 0 的角度等来说，n a s 自然成为多数企业，尤 其是大中小企业的最佳选择。 n a s 和马上要提到的s a n 的出现响应了三种重要的发展趋势【1 5 】：网络正成为 主要的信息处理模式；需要存储的数据大量增加；数据作为取得竞争优势的战略 性资产其重要性在增加。 3 3 存储区域网络 s a n ( s t o r a g ea r c an c t w o r k ) 通过光纤通道连接到一群计算机上。在该网络中提 供了多主机连接，但并非通过标准的网络拓扑。 s a n 则专注于企业级存储的特有问题。当前企业存储方案所遇到问题的两个 根源是：数据与应用系统紧密结合所产生的结构性限制，以及目前小型计算机系 统接口( s c s i ) 标准的限制。大多数分析都认为s a n 是未来企业级的存储方案， 这是因为s a n 便于集成，能改善数据可用性及网络性能，而且还可以减轻管理作 业。 s a n 解决方案的优点有以下几个方面： s a n 提供了一种与现有l a n 连接的简易方法，并且通过同一物理通道支持广 泛使用的s c s i 和i p 协议。s a n 不受现今主流的、基于s c s i 存储结构的布局限制 湖北i ：业人学硕十学位论文 1 7 1 。特别重要的是，随着存储容量的爆炸性增长，s a n 允许企业独立地增加它们 的存储容量。 s a n 的结构允许任何服务器连接到任何存储阵列，这样不管数据最放在那里， 服务器都可直接存驳所需的数据。因为采用了光纤接口，s a n 还具有更高的带宽。 因为s a n 解决方案是从基本功能剥离出存储功能，所以运行备份操作就无需 考虑它们对网络总体性能的影响。s a n 方案也使得管理及集中控制实现简化，特 别是对于全部存储设备都集群在一起的时候【1 8 j 。最后一点，光纤接口提供了1 0 公 里的连接长度，这使得实现物理上分离的、不在机房的存储变得非常容易。 s a n 主要用于存储量大的工作环境 1 9 】，如i s p 、银行等，但现在由于需求量 不大、成本高、标准尚未确定等问题影响了s a n 的市场，不过，随着这些用户业 务量的增大，s a n 也有着广泛的应用前景。 3 4 网络存储的层次结构 网络存储概念彻底缓解了多媒体存储系统i o 带宽与容量上的局限性，对于 v o d ，d l 这样的密集型应用，带宽资源不再是严重的限制因素。 网络存储是一个开放的系统，涉及到较多的硬件和软件构件，主机加控制器，主 机加总线和系统内存总线撤件构件包括：设备驱动程序，卷管理器，文件系统和数 据库，操作系统以及应用软件。 存储系统的i o 结构为7 个层次，如下图 第七层应用层产生高层i 0 请求 第六层 数据文件逻辑层 数据文件组织：目录，文件等等 第五层数据分配层内部存储结构，版本控制，空闲空间管 理等 第四层块转换层设备虚拟化，块加映射，软件r a i d 第三层设备连接层数据传输梅林，设备状态，控制命令 第二层介质访问层m a c总线的仲裁，连接管理，地址选择等 第一层物理层存储设备子系统，总线， 图3 4 存储系统的i o 结构图 湖北l ：业人学硕+ 学位论文 3 5 三者分析与比较 n a s 和s a n 最大的区别就在于n a s 有文件操作和管理系统，而s a n 却没有 这样的系统功能，其功能仅仅停留在文件管理的下一层，即数据管理。s a n 和n a s 并不是相互冲突的，是可以共存于一个系统网络中的，但n a s 通过一个公共的接 口实现空间的管理和资源共享，s a n 仅仅是为服务器存储数据提供一个专门的快 速后方通道。 d a s 、n a s 和s a n 存储模式i 2 0 j d a s ( d i r e c ta t t a c h e ds t o r a g e 一直接连接存储) 是指将存储设备通过s c s i 接 口或光纤通道直接连接到一台计算机上。 d a s 的适用环境为： 1 ) 服务器在地理分布上很分散，通过s a n 或n a s 在它们之间进行互连非常 困难时( 商店或银行的分支便是一个典型的例子) ； 2 ) 存储系统必须被直接连接到应用服务器( 如m i c r o s o f tc l u s t e rs e r v e r 或某 些数据库使用的“原始分区”) 上时； 3 ) 包括许多数据库应用和应用服务器在内的应用，它们需要直接连接到存储 器上，群件应用和一些邮件服务也包括在内。 当服务器在地理上比较分散，很难通过远程连接进行互连时【2 1 】，直接连接存 储是比较好的解决方案，甚至可能是唯一的解决方案。利用直接连接存储的另一 个原因也可能是企业决定继续保留已有的传输速率并不很高的网络系统。 n a s 和s a n 的出现响应了三种重要的发展趋势：网络正成为主要的信息处理 模式；需要存储的数据大量增加；数据作为取得竞争优势的战略性资产其重要性 在增加。 n a s ( n e t w o r k a t t a c h e d s t o r a g e - - 网络连接存储) 即将存储设备通过标准的网 络拓扑结构( 例如以太网) ，连接到一群计算机上。n a s 是部件级的存储方法，它的 重点在于帮助工作组和部门级机构解决迅速增加存储容量的需求。需要共享大型 c a d 文档的工程小组就是典型的例子。 n a s 2 2 1 产品包括存储器件( 例如硬盘驱动器阵列、c d 或d v d 驱动器、磁带 驱动器或可移动的存储介质) 和集成在一起的简易服务器，可用于实现涉及文件 存取及管理的所有功能。简易服务器经优化设计，可以完成一系列简化的功能， 例如文档存储及服务、电子邮件、互联网缓存等等。集成在n a s 设备中的简易服 湖北i ：业人学硕+ 学位论文 务器可以将有关存储的功能与应用服务器执行的其他功能分隔丌。 这种方法从两方面改善了数据的可用性【“。第一，即使相应的应用服务器不 再工作了，仍然可以读出数据。第二，简易服务器本身不会崩溃，因为它避免了 引起服务器崩溃的首要原因，即应用软件引起的问题。 s a n ( 存储区域网络) 通过光纤通道连接到一群计算机上。在该网络中提供了多 主机连接，但并非通过标准的网络拓扑。 s a n 则专注于企业级存储的特有问题。当前企业存储方案所遇到问题的两个 根源是：数据与应用系统紧密结合所产生的结构性限制，以及目前小型计算机系 统接口( s c s i ) 标准的限制。大多数分析都认为s a n 是未来企业级的存储方案， 这是因为s a n 便于集成，能改善数据可用性及网络性能，而且还可以减轻管理作 | k 。 湖北1 ：业人学硕十学位论支 第4 章独立磁盘冗余阵列 4 1r a i d 技术概述 r a i d 是廉价磁盘冗余阵列的缩写( r e d u n d a n ta r r a yo fi n d e p e n d e n td i s k s ) ，即 独立磁盘的冗余阵列【2 6 】。 r a i d 这个概念最早是由1 9 8 7 年加州伯克利大学的d a v i dp a t t e r s o n ，g a r t h g i b s o n ，r a n d y k a t z 提出的，他们的目标是展示一个r a i d 的性能可以达到或超过 当时的一个单一的，大容量的，昂贵的磁盘。 在项目开发的过程中，随着频繁的磁盘失败，通过磁盘的冗余来避免磁盘数 据的丢失已经是必须的了。 4 2 r a i d 的级别 许多r a i d 级别在技术上是可以实现的，但是不经常使用。以下完整的列出 了r a i d 级别： r a i do ： 条带或串联 r a i d l ： 镜像 r a i d0 + 1 ：条带加镜像 r a i d1 + 0 ：镜像加条带 r a i d2 ： 加重平衡编码修正( h a m m i n gc o d ec o r r e c t i o n ) r a i d3 ： 使用专用奇偶校验的条带化 r a i d4 ： 独立的读取和写入 r a i d5 ： 带有分布式奇偶校验的条带化 r a i d5 + 0 ：带有分布式奇偶校验的条带化 4 2 1 串联r a i d0 r a i d0 控制器将数据分成许多小块，然后并行地将它们写到磁盘阵列中的各 个硬盘上，并且磁盘阵列中存储空问没有冗余。数据块并行的写到阵列中的各个 硬盘上，这提高了性能，但是极大的降低了可恢复性。一个s t r i p e d 逻辑驱动器如 果阵列当中的任何一个物理硬盘损坏的话就会导致系统无法恢复。 湖北j ：业人学硕十学位论文 举例来说，你有一个双硬盘组成r a i d0 磁盘阵列，你的平均故障问隔时问 ( m r b f ) 减小为一半。r a i d0 磁盘阵列中的任何一个硬盘的故障都将毁掉整个 磁盘阵列系统，并使得逻辑硬盘上的所有数据丢失。 图4 1r a i i ) 0 原理图 推动这种技术发展的主要原因是创建一个大于物理磁盘容量的虚拟磁盘设备。 通过在逻辑上结合两个或更多物理磁盘来获得更大存储空间。串联也能使你扩展 一个虚拟磁盘通过给它串联另外的物理磁盘。这项技术不限制磁盘大小，既成员 磁盘的容量可以不同，而且不会损失磁盘空间。 通过使用r a i d0 的串联结构可以获得以下优点【2 7 1 ： 当数据遍布在多个磁盘上时，串联可以提高随机的i o 性能。 写性能也是相同的；如果是随机读取的话，也可以提高读性能。 磁盘的全部容量都可以为用户存储数据。 局限性主要包括【冽： 只使用串联将没有冗余，串联的卷可以通过镜像达到冗余。 1 4 湖北。l ：业人学硕十学位论文 串联的可靠性较低，一个磁盘数据的丢失将导致所有磁盘数据的丢失 当磁盘满，数据会通过所有成员磁盘扩展，但是，当磁盘未满时， 最后的磁盘将不被使用，降低了磁盘的利用率。 4 2 2 条带r a i d0 条带可以复合多个物理磁盘成为一个单独的虚拟磁盘，并按如下方式组织：地 址空间是分段的、i o 流在磁盘与磁盘问交换、没有数据冗余、对性能的增加有 意义 推动这种技术发展的主要原因是为了提高每秒i o ( i o p s ) 的性能。通过并行访问 设备来增强性能。在并行访问中，虚拟设备中的所有磁盘大部分时间都用来服务 i ，o 请求，所以提高了i o 的吞吐量。 阵列管理软件就是负责把整个阵列看成一个单独的虚拟磁盘。它使用多个物理 磁盘并将它们复合为一个虚拟磁盘给应用。 f o 流被划分为称为条带( s t r i p e ) 的段，从一个逻辑存储单元映射到两个或更多 的物理磁盘。条带单元是隔行扫描的所以每个片上的复合空间也是交替的。 在这种结构下，没有数据保护，实际上，执行条带化后，丢失一个磁盘上的数 据会导致所有条带磁盘的数据丢失。条带化增强了性能，但是降低了可靠性。 通过使用r a i d0 条带化结构可以获得的优势是： 对于大量的连续的i o 请求和随机的i o 请求增强了性能。条带单元的大小可 以根据顺序或随机存取而进行优化。磁盘的全部容量都可以为用户存储数据。 局限性主要包括： 没有冗余 条带化的可靠性较低，丢失一个磁盘的数据将导致所有条带磁盘的数据 丢失。 条带单元大小的策略：优化一个条带化r a i d0 结构条带单元大小的策略依赖 于卷访问的类型。 顺序访问环境 在一个顺序的环境里，当请求涉及到条带宽度范围内的所有磁盘成员时，条带 化能够提高性能。举例来说，一个条带包含4 个磁盘，一个i o 请求为1 2 8 k b y t e s ， 那么，配置条带单元的大小为3 2 k b y t e s 。 湖北j i ：业人学硕+ 学位论文 随机访问环境 在一个随机环境里，条带化可以提高性能。随机访问受控于磁盘的搜索和寻道 时间，随机的i o 要比顺序的i o 小很多，通常是从2 k b y t e s 到8 k b y t e s 。当条带 单元的大小配置为比请求配置的大小大很多的时候，性能得到优化。举例来说， 对于一个8 k b y t e s 的请求，至少配置条带单元的大小为1 6 k b y t e s 。 4 2 3 镜像一- r a | d1 r a i d1 一是不是担心你的硬盘会损坏从而导致你辛辛苦苦忘了备份的所有数 据都会丢失掉? r a i d1 能帮你解决问题。r a i d1 至少需要两块相同容量的硬盘，这两个硬盘 互为镜像，如果其中任何一个硬盘损坏了，你还有另外一个完整的备份两块 硬盘同时损坏的几率比块硬盘小的多。当然，r a i d1 不能保护你硬盘上的正常 数据不受病毒感染或者其他威胁，r a i d1 只能延长存储设备平均故障间隔时间 ( m t b f ，m e a n t i m eb e t w e e nf a i l u r e ) 。如果硬盘发生损坏，只需将被损坏的盘片换 成一片新的，而r a i d 控制卡将复原镜像阵列。 r a i d l 原理图： 图4 2r a i d l 原理图 1 6 湖北i ：业人学硕士学位论文 镜像提供了数据的最大可用性，并有以下功能：所有数据的完全冗余拷贝、 提高了读性能、透明化了磁盘失败 这项技术发展的主要原因是它能够提供高级别的可用性及可靠性。 镜像( r a z d1 ) 通过数据在独立s p i n d e s 上的多次记录来提供冗余1 2 9 j 对于应用 柬讲，镜像磁盘显示为一个虚拟磁盘。一旦一个物理磁盘失败，失败磁盘上的镜 像也就无效了，但系统继续通过未受影响的磁盘进行操作。 通过使用r a i d1 的镜像结构可以获得如下的优点： 在一个或多个磁盘上可以获得一个完全冗余的数据拷贝如果一个阵列中的 镜像连接到不同的接口板，就可以达到非常高的数据可靠性级别。 所有驱动器都可以用来读取，提高了性能。在一个多用户或多任务环境下， 当多个磁盘成员要获得满意的读效果时，镜像提高了读性能。相反，如果只 有单一的卷读取进程，则将不能提高性能。 局限性： 镜像需要使用两倍的磁盘，本质上占用了2 倍的存储空间 镜像降低了大约1 5 的写性能，这实际上小于典型的r a i d5 的写损失。( p a i d 5 的写性能最大到7 0 1 。 4 2 4 镜像一条带( r a i d0 + 1 ) 镜像一条带( r a i d0 + 1 ) 复合条带化的镜像可以提供如下功能：极大的提高了 性能、完全的数据冗余、透明化了磁盘失败。 使用复台条带和镜像的主要原因是获得r a i d0 的性能和r a i di 的可用性。 安装它需要较高的花销【3 0 】，但许多用户认为它是值得投资的。 两个磁盘可以先进行条带化，然后进行镜像。可以获得镜像的高可靠性。因 为同时使用了条带技术，它的性能要比单独使用镜像的性能要好得多。 它的一个优点就是有利于一个磁盘上分布数据的访问f 提高了i op e rs e c o n d ) ， 并增强了数据冗余。 局限性：r j k i do + 1 是高花销的镜像系统，需要2 倍的独立磁盘空间。 4 2 5 条带一一镜像( r a i d1 + 0 l 条带一镜像( p a i di + 0 1 复合镜像化的条带可以提供咀下功能：极大的提高了 性能、完全的数据冗余、透明化了磁盘失败、比p a i d0 + 1 提供了更高的磁盘失 湖北i ：业人学硕+ 学位论文 败容许。 r a i d1 + 0 拥有所有r a i d0 + 1 性能及可靠性的优点，但它允许了更高级别的 磁盘失败而不丢失数据。 r a i d1 + 0 通常在磁盘失败后拥有更快的恢复时问，因为它只需要代替单独的 条带来恢复而不是整个镜像。 r a i d1 + 0 推荐在大型卷中使用，因为，失败的恢复时间是个关键。 r a i d1 + 0 的概念根本不同于r a i d0 + 1 ，在r a i d1 + 0 的配置中，每个条带是 单独镜像的。 优点：因为每个条带是被独立的镜像，可以容许大量的磁盘失败而无需禁止 卷。这个配置的性能优于r a i d0 + 1 。 局限性：r a i d1 + 0 是高花销的镜像系统，需要2 倍的独立磁盘空间。 r a i d1 + 0 和0 + 1 模式是相似的，它们试图同时达到更好的性能和冗余，即综 合r a i d 0 和r a i d1 两种磁盘阵列之长。但是r a i d1 + 0 和0 + 1 在处理镜像和 冗余上是有区别的。r a i d1 + 0 是先分别利用两个硬盘组成r a i d1 阵列，然后再 把这两个阵列以r a i d0 模式组合在起，而r a i d0 + 1 则刚好相反。 无论是r a i d1 + 0 模式还是0 + 1 模式其得到的存储能力是一样的。不管是r a i d 1 + 0 还是0 + 1 ，其总的存储能力都是阵列中所有硬盘的存储能力之和的一半。同样 是对各自组合方式下的逻辑盘做了镜像副本，因此所有硬盘总的存储能力只有一 半是可用的。 r a i d1 + 0 和0 + 1 磁盘阵列拥有相同的存储能力，同时它们都具备充分的冗余 来预防其中一个单独的硬盘故障，但是一旦其中一个硬盘出现故障之后，两种模 式的冗余能力就变得不同了：对于r a i d0 + 1 磁盘阵列而言，如果故障硬盘所在的 r a i d0 模式的另外一个硬盘故障，当然对于这个磁盘镜像没有什么影响，不过如 果出现在另外一个r a i d0 阵列上，整个磁盘阵列就崩溃了：对于r a i d1 + 0 模式， 如果一个r a i d1 阵列中的两块硬盘都故障了，那么整个磁盘阵列都会崩溃。因此， 对于这两种模式，只要有一个硬盘故障，晟好尽快的更换。 湖北，i ：业入学硕+ 学位论文 4 2 6 分布式奇偶校验r a l d5 r a i d5 不是利用镜像而是利用分散奇偶校验冗余数据。在r a i d0 阵列中，数 据是分散在阵列中的每块硬盘上，而在r a i d 5 阵列中，奇偶校验数据也是有序排 列的。这些奇偶检验数据的索引是交叉分布在阵列中的每块硬盘上。维护这些奇 偶检验数据的索引导致r a i d5 阵列的性能慢下来，但给了它s t r i p e dr a i d0 阵列 所不具备的冗余水平。如果一个硬盘失效，r a i d5 磁盘阵列能利用其他物理驱动 器的数据、奇偶校检数据和一些简单的二元数学算法来复原。 r a i d5 磁盘阵列的存储能力取决于阵列中硬盘的个数p ”。奇偶校检数据索引 要求r a i d5 阵列中的每个物理硬盘的容量大小是一致的。r a i d5 磁盘阵列中拥 有的物理硬盘个数越多，总的存储能力越低，很明显，这是因为奇偶校检数据索 引的缘故。我们采用了四块硬盘组成了r a i d 5 磁盘阵列来做对照试验，所以这个 阵列的总容量是其中三块硬盘的容量之和。r a i d5 模式的有效容量是阵列中容量 最小的硬盘容量乘上阵列中硬盘数目减去以后的数，这里硬盘数目要减去一是因 为其中有一块硬盘用来存放校验信息。 鼬蜘d 5 原理图： 1 9 湖北业人学硕十学位论文 图4 3r a i d 5 原理图 一个r a i d5 的卷结构可以进行镜像因为：条带化结构拥有较好的读性能，可 靠性得到提