（计算机系统结构专业论文）备份系统在ip存储网络中的实现.pdf

华中科技大学硕士学位论文 摘要 【p 存储网络技术是目前存储体系的新的发展方向，它基于成熟的t c p i p 网络 技术，通过i p 网络传送数据。备份技术是维护系统安全性和可用性的最重要的手段 之一。借助i p 存储网络技术，构建基于它的网络备份系统，可以有效的满足应用和 性能的需求。 为了实现异构平台的数据共享，提供单一的管理点，获得所有存储资源的统一 逻辑视图，及更好的扩展性和可用性，就必须采用s a n 的存储虚拟化技术。目前网 络级存储虚拟化是其主流的技术。采用非对称方式的元数据服务器来实现虚拟化， 可以获得接近本地文件系统的性能。为了将广泛使用的n a s 与s a n 融合起来，构建 一个统一的i p 存储网络，可以采用“n a sh e a d ”的基于n a s 的统一存储网实现方式。 f 分析了网络备份中的下列关键技术：可以有效节省存储资源的h s m ( 分层存储 管理) 技术；用于网络数据备份和恢复的n d m p ( 网络数据管理协议) 技术；写前拷 贝、快照技术等热备份技术；基于文件系统的异步镜像s n a p m i r r o r 技术。在此基础 上给出了一个基于i p 存储网络的网络备份系统的设计。通过t c p i p 网络连接备份 客户端、备份管理器、备份目的端( 存储资源) 等结点，并将各存储资源结点置于 i p 存储网络中。备份源代理采用基于块的传输协议来传送备份数据。通过在百兆以 太网中的实际测试，其性能大大优于传统的f t p 协议。通过对存储系统模型及测试 数据的分析，考虑采用在客户端压缩备份数据，利用i p 存储网络来增加并行操作并 减少设备的共享冲突，以及采用适当的缓存机制等来提高备份系统的性能。2 少 ，7 关键词：网络存储，存储区域网户网络备份7 附网存储f 存储虚拟化，锺垂! i ! 茎多 i 华中科技大学硕士学位论文 a b s t r a c t i ps t o r a g en e t w o r ki st h ed e v e l o p m e n tt r e n do ft h es t o r a g ea r c h i t e c t u r en o w , i ti s b a s e do nm a t u r et c p i pt e c h n o l o g y , a n di tt r a n s f e r sd a t at h r o u g hi pn e t w o r k a n dt h e b a c k u pt e c h n o l o g yi s o n eo ft h em o s ti m p o r t a n tm e t h o d st om a i n t a i nt h es e c u r i t ya n d a v a i l a b i l i t yo f t h es y s t e m b a s e do ni ps t o r a g en e t w o r kt e c h n o l o g y , an e t w o r kb a c k u p s y s t e m c a nb eb u i l tt os a r i s f yt h en e e d so f a p p l i c a t i o n sa n dp e r f o r m a n c e s a n s t o r a g ev i r t u a l i z a t i o nt e c h n o l o g ym u s tb eu s e dt oi m p l e m e n tt h es h a r i n go f d a t ab e t w e e nh e t e r o g e n e o u sp l a t f o r m s ，t os u p p o r ts i n g l ep o i n to fm a n a g e m e n t ，a n dt o a p p l yb e t t e ra v a i l a b i l i t ya n ds c a l a b i l i t yo ft h es t o r a g es y s t e m n o wt h en e t w o r kl e v e l s t o r a g ev i r t u a l i z a t i o ni st h em a i ns t r e a mt e c h n o l o g y t i l i sp a p e rg i v e sai m p l e m e n t a t i o n o fa s y m m e t r i c a ln e t w o r kl e v e ls t o r a g ev i r t u a i i z a t i o nu s i n gm e t a d a t as e r v e r ，i tc a ng a i n t h en e a rp e r f o r m a n c ea st h el o c a lf i l es y s t e m t om e r g en a sa n ds a nw h i c ha r ew i d e l y u s e d ，a n db u i l dau n i f i e ds t o r a g en e t w o r k ，t h i sp a p e rg i v e sad e s i g no fu n i f i e ds t o r a g e n e t w o r kb a s e do nn a s u s i n g n a s h e a d ” w ea n a l y z et h ek e yt e c h n o l o g i e so fn e t w o r kb a c k u p ：t h eh s m t e c h n o l o g yw h i c h c a nr e d u c et h es t o r a g er e s o u r c ee f f e c t i v e l y ；t h en d m p t e c h n o l o g yw h i c hi sap r o t o c o l u s e df o rn e t w o r kd a t a b a c k u p a n dr e c o v e r y ；t h eo n l i n e b a c k u pt e c h n o l o g i e s ：t h e c o p y - o n w r i t ea n ds n a p s h o tt e c h n o l o g i e s ；a n dt h es n a p m i r r o rt e c h n o l o g yw h i c h i saf i l e s y s t e mb a s e da s y n c h r o n o u sm i r r o r i n gt e c h n o l o g y f o rr e m o t ed i s a s t e rr e c o v e r y a n d b a s e do nt h ea n a l y s e s w eg i v ead e s i g no fn e t w o r kb a c k u ps y s t e mb a s e do ni ps t o r a g e n e t w o r k i tu s e st c p i pn e t w o r kt oc o n n e c tt h eb a c k u pc l i e n t s ，t h eb a c k u pm a n a g e ra n d t h eb a c k u p t a r g e t ( s t o r a g er e s o u r c e ) n o d e s ，a n d t h er e s o u r c en o d e sa r ec o n n e c t e d t h r o u g h i ps t o r a g en e t w o r k t h eb a c k u ps o b r c ea g e n tu s e st h eb l o c kt r a n s f e rp r o t o c o lt ot r a n s f e r t h eb a c k u pd a t a f r o mt h ee x p e r i m e n t si n1 0 0 me t h e m e te n v i r o n m e n t ，w ec a ns e ei t s p e r f o r m a n c ei s f a rb e t t e rt h a nf t p o nt h ea n a l y s i sa b o u t 也es a nm o d e la n dt h e e x p e r i m e n tr e s u l t s ，w ed e s i g nt og e tb e t t e rp e r f o r m a n c eb yc o m p r e s s i n g t h ed a t ai nt h e c l i e n t s ，b yu s i n g i ps t o r a g en e t w o r kt og e tt h ep a r a l l e li 0o p e r a t i o n sa n dt od e c r e a s et h e s h a r i n gc o l l i s i o n ，a n db yu s i n g c a c h e k e y w o r d s ：n e t w o r ks t o r a g e ，s t o r a g ea r e an e t w o r k ( s a n ) ，n e t w o r kb a c k u p ，n e t w o r k a a a c h e d s t o r a g e ( n a s ) ，s t o r a g ev i r t u a i i z a t i o n ，s t o r a g e a r c h i t e c t u r e i i 华中科技大学硕士学位论文 1 1 网络存储简介 1 1 1 i t 时代的存储要求 1 绪论 二十世纪网络化革命给世界经济注入新的生机与活力的同时，也带来了网络存 储的日新月异。我们面临着如何部署存储应用的抉择。据估计，对i n t e r n e t 存储容 量的需求每三个月就要翻一番。数据量呈爆炸性增长，不同类型的计算机、操作系 统、数据库以及应用程序的数据分布在整个局域网广域网上。需要高性价比的、高 可管理性的、高可用性的系统来管理。这种管理必须是跨平台的，分布式的，系统 能随时随地的存取任何地方的数据。网络技术与存储技术的交互发展无疑是信息社 会中信息传播与信息贮存的最佳组合。于是，这样一些适合于信息时代需要的网络 存储技术应运而生，下面将介绍其中的技术主流。 l _ 1 2 现有的网络存储系统结构分析 面对不断膨胀的商业需求，现在主要有以下三种存储解决方案【l 】：直接附加存 储( d i r e c ta t t a c h e ds t o r a g e ) ；附网存储( n e t w o r k a t t a c h e ds t o r a g e ) ；存储局域 网( s t o r a g ea r e an e t w o r k s ) 。d a s 和s a n 都是数据块级的存储系统，不过d a s 与存 储设备是通过计算机总线连接，而s a n 是通过存储网络连接存储设备。n a s 提供给 用户的是文件级的数据传输。随着网络存储的技术发展，i p 存储网络作为一种新的 实现方式也逐渐走向成熟，它主要包括n a s 和i p s a n 技术。 1 1 2 1d a s ( 直接附加存储) 直接附加存储是以服务器为中心，因此也被称为附于服务器的存储方案( s e r v e r a r t a c h e ds t o r a g e ，s a s ) ，它也是一种使用多年的传统方案。它通过专用的s c s i 总线或光纤通道在服务器和存储资源( 包括磁盘驱动器，磁盘阵列，以及磁带库) 之间传输数据。一 _ - _ _ - _ _ - l _ _ - - - _ _ _ _ _ - _ _ l _ _ _ - _ _ _ - _ _ - 一一 l 华中科技大学硕士学位论文 1 1 2 2n a s ( 附网存储) 附网存储是存储设备直接与网络相连，可以建立客户到存储设备的直接数据连 接a 这种访问是通过瘦服务器，一种新型的和存储设备集成的专用服务器来完成的 吼 在这种新的存储结构中，存储系统不再通过i o 总线附属于某个特定的服务器 或客户机，而是直接通过网络接口与网络直接相连，由客户通过网络访问【3 1 。与附 属的服务器的存储系统相比，附网存储系统具有非常好的可扩展性( s c a l a b i l i t y ) ， 并且由于数据不再通过服务器内存转发( 这会引起额外延迟和阻塞) ，数据直接在客 户机和存储设备件传送( 即所谓的第三方传送) ，服务器仅起控制管理的作用，因而 具有更快的响应速度和更高的数据带宽钉。另外，对服务器的要求降低，可大大 降低服务器的成本，这样就有利于高性能存储系统在更广的范围内酱及应用。 1 1 2 3s a n ( 存储区域网) s a n 是一种利用光纤通道、i s c s i 等存储协议连接起来的可以在存储资源和服务 器之间建立直接的数据连接的高速计算机网络【6 】【7 】【8 】o 特别要指出的是，存储区域网与附网存储不同的是，它是一个网络，是从体系 结构方面去看得，而附网存储实际上是挂接在网络上的存储设备。与l a n 不同的 是s a n 针对存储进行了优化，通常使用专用的存储协议，比如光纤通道或i s c s i 【6 】， 而不是l a n 使用的诸如t c p ，i p 之类的通信协议。存储协议把多个存储设备和服务 器连接在一起形成一个存储区域网，存储设备可以共同构成一个存储池，存储设备 和服务器都可以很方便的添加到网络中去，具有较好的可扩展性【9 】。存储设备从服 务器分离出来，与服务器形成一个多对多的关系，存储设备上的数据容易被其它服 务器共享，存储设备之间的数据迁移也变得很容易。采用存储区域网，数据的备份、 恢复、迁移都是通过存储区域网本身来完成，而不需要借助于服务器和现有的 l a n w a n ，大大减少了现有服务器和网络的工作负载【1 0 i 。现在一般采用的是具有 高带宽的光纤通道，所以整个存储网络具有较高的数传率，数据访问性能较好，另 外存储设备都集中在一个网络上，便于管理，节省了管理开销。 存储区域网由于其较高的数传率，另外它具有较好的数据可用性，数据易于备 份、恢复、迁移，s a n 的关键应用是那些能有效支持所有计算基础的应用，如海量数 2 华中科技大学硕士学位论文 据的备份、存储池、数据共享、u o 寻径、数据迁移、远程存储等应用领域。 1 1 2 4i p s a n 传统的s a n 一般是基于光纤通道( f c ) 的，相对于传统的d a s ，基于光纤通道 的s a n 在效率、可配置性等方面有明显优势，但随着应用对存储的要求进一步提高， 其局限性逐渐突出【l “，主要有：( 1 ) 互操作性问题虽然光纤通道标准只有一个， 但各厂商对该标准的解释和实施不同，它严重影响了光纤通道s a n 的应用：( 2 ) 距 离局限f c p 标准中光纤通道s a n 的最长传输距离为l o k m ，这对独立的数据中心是 足够的，但对异地备份和灾难恢复等方面的应用远远不够：( 3 ) 具体实施方面的问 题在已有的计算环境下实施光纤通道s a n 需要重新安装一套全新的光纤通道网 络，对非本地光纤通道设备( 如s c s i 磁盘和s c s i 磁带库) 需要购买光纤通道s c s i 路由器及相关适配器，技术人员也要更换，这种升级比较昂贵和费时。当今数据网 中占统治地位的技术是i p 和以太网。基于这些成熟的网络技术建立存储网，是许多 技术专家和厂商的心愿。随着以太网的速度提升到l g 并向1 0 g 发展及i p 技术应用 的进一步深入，基于i p 的存储网技术逐步成熟。当前人们已经成功地在i p 网络上 实现了n a s ，在文件级传输数据。而i p 存储的应用将更加广泛，它可以在块级传送 数据。因为i p 存储运行在已经存在的网络体系结构上，典型的如非常成功的以太网， 它可以保留以太网的众多优势。 使用基于i p 存储网的主要优势：( 1 ) 由于i p 及以太网的技术和产品随处可得， 可大大降低用于建立和管理基于i p 存储网的设备和人员费用；( 2 ) 由于以太网的速 度比光纤通道的速度提升得快，基于i p 存储网的性能必然会快速提高；( 3 ) 由于 i p 技术没有距离限制，且可同时支持s a n l a n w a n ，所以基于i p 存储网可支持远距 离备份和恢复，它对企业业务的连续性和灾难恢复十分有利，对于实现网络备份是 一个非常好的平台；( 4 ) 光纤通道与i p 交换机间的互连可解决互操作性方面的问题。 与服务器直接连接的存储设备一般使用s c s i 协议，因为s c s i 提供了高性能 ( 1 6 0 m b s ) 、低延迟和低c p u 占用率。 些优点以外，还应该具有网络管理灵活、 使用网络连接存储系统时，除了要具有这 扩展性、容易使用、长距离的优势。构建 在以太网上的i p 存储完全可以满足上述要求。干兆以太网( g i g a b i t e t h e m e t ) 全双 工的数传率可以超过2 0 0 m b s 。 一 华中科技大学硕士学位论文 存储协议 ( 如s c s i ，f c p ) 传输协议 ( t c p 或其他) 网络层：i p 链路层和物理层 ( 以太周) 圈1 1i p 存储的协议层次 图1 1 表示了i p 存储的协议层次。在以太网的基础上，可以构建一个i p 存储 局域网，为存储应用提供高带宽、低延迟的服务。但是如果通过广域网( w a n ) 访 问存储系统，由于t c p i p 本身的特性，性能和延迟将不可预知，将导致有些应用不 能正常运行。因此，i p 存储的传输层可能需要对t c p 作些修改。 目前i e t f 正在评估三种i p s a n 的存储网方案，它们分别是i s c s i 、f c i p 及 i f c p 【6 】【1 2 】【1 3 】【l4 1 。 ( 1 ) i s c s i ( i n t e r n e ts c s i ) 的目标是建立完全同构的i ps a n ，让客户利用完 全相同的网络基础设施以太网和i p ，同时满足网络通信和存储骨干方面的应 用需求。 i s c s i 存储网主要由i s c s i 请求方( 如文件服务器) 和i s c s i 目标方( 如磁盘 阵列和磁带子系统) 组成。主机和存储资源同时支持千兆以太网接口和i s c s i 协议 栈，使存储设备可直接插入千兆以太网交换机和i p 路由器中，在网络中被看作普通 的i p 实体。与通常的i p 实现机制一样，存储设备也需要一个i p 地址及类似域名系 统( d n s ) 的名址查询服务，i n t e r n e t 存储名服务( i s c s i ) 就是提供该服务的协 议。i s c s i 请求方必须首先查询i s c s i 服务器，获得所需目标资源的i p 地址，然后 再与其建立t c p i p 连接1 5 1 。 i s c s i 的基础是管理主机系统与外设之间块数据输入输出( 包括磁盘、磁盘光 4 华中科技大学硕士学位论文 存储设备及打印、扫描仪等) 的s c s i 协议。传统的s c s i 连接基于串行电缆，在连 接距离和设备支持数量上有很大局限性。i s c s i 技术基于串行千兆传输层，克服了 s c s i 在距离、性能和可伸缩性等方面的局限，使块存储数据能跨越t c p i p 网络。 ( 2 ) f c i p ( f i b r ec h a n n e lo v e ri p ) 是用于远距离链接光纤通道s a n 的方案， 也称光纤通道隧道，它通过i p 网在两个距离的s a n 之间建立一个数据存储隧道，传 输光纤通道信息。f c i p 将光纤通道s a n 数据帧封装在i p 包中，通过i p 网传输到另 一个光纤通道s a n ，然后从i p 封装中取出光纤通道数据帧。 ( 3 ) i f c p 技术的基本思想是支持光纤通道终端设备，但是用i p 网络设施替代 光纤通道网络设施。i f c p 还能集成s a n 中已有的光纤通道集线器和交换机。i f c p 协议既保存光纤通道技术的长处，又充分利用i p 技术的优势，大大加快了基于i p 的存储网进入市场的速度。 目前s a n 市场中，服务器平台和存储设备都是使用光纤通道接口，i f c p 协议正 是根据市场需求，将光纤通道终端( 包括主机总线适配器、光纤通信r a i d s 、j b o d s 及磁带子系统) 集成到i p 网络中，用于数据中心和广域网环境。 i f c p 集成了f c 交换机的基本功能，同时具有通过t c p i p 网络与其它i f c p 兼 容设备相互通信的功能，并在i f c p 交换机中，运行光纤通道，以太网的网关。 对比传统f c s a n 的几个局限性：互操作性差，安装实施相对困难，有距离限制 ( 1 0 k m ) ，i p 存储有其明显的优势，有较好的兼容性和性能，易于实施，无距离限 制的问题。以上这几种i p 网络存储技术对于支持网络备份，特别是异地备份和灾难 恢复等都是非常有优势的。 1 2 备份系统简介 总是需求推动技术的发展，当一个新技术被推出时总会有其“关键的应用”领 域。随着信息量的快速增长，信息的重要性也在不断的提高，而数据作为信息的表 现形式，其完整性和安全性成为系统安全的重要内容，备份技术是维护系统安全性 和可用性的最重要的手段之一【1 6 1 ，数据备份也是s a n 的第一大应用。备份系统从传 统的基于磁带库的本地备份，到基于l a n 的备份，再到基于s a n 的备份，已经发生 华中科技大学硕士学位论文 = = = = = = = = = = = = = = = = = = = = = ；= = = = 一 了根本的变化，并影响到整个系统集成的其它方面。 i 2 1 基于传统的并行s c s i 的模型 此方式采用典型的点到点的s c s i 连接，一般使用一台磁带机或磁带库，备份 设备直接附于服务器，完全被一台服务器所独占，构成所谓的服务器附加的磁带子 系统的( s e r v e r a t t a c h e dt a p es u b s y s t e m ) 。 1 2 2 基于l a n 的模型 这是一个一台或多台文件服务器和众多客户端通过局域网共享一组或多组磁带 备份系统的模型。这种方式可实现备份的集中管理，但是在备份过程中会在局域网 上形成高数据流，增加了局域网的负担，甚至可能使局域网崩溃，这种方式对备份 时间窗口要求较苛刻。同时，这种模型对备份服务器的依赖性非常强，实际上，所 有文件服务器和客户端用户的数据必须通过备份服务器的集中控制和管理，才能进 行备份操作。倘若备份服务器出现单点故障，所有的备份工作将不能进行。 1 2 3 基于s a n 的模型 使用专门的存储网络( s a n ) 作为备份专用的数据存储网络，能够在存储i o 一方实现专用的备份功能，而无需从数据网来回传输备份数据，显著减小系统开销 以及对l a n 的带宽的占用【盯】。并可提供对网络备份的集中控制，以及远程的备份， 远程镜像，灾难恢复等功能。s a n 备份技术经过了l a n f r e e 虚拟私有备份网络，集 成介质和设备，无服务器备份三个发展阶到6 j ： 1 2 3 1l a n - f r e e 虚拟私有备份网络 这种方式以光纤通道交换机或通过集线器为核心，通过光纤通道与文件服务器、 应用服务器、工作站、磁盘阵列和磁带库连接。l a n - f r e e 的s a n 备份原理如下：当 系统需要备份时，首先，客户端数据仍然通过l a n 传输给备份服务器：多个备份服 6 华中科技大学硕士学位论文 务器通过光纤通道交换机或集线器或光纤通道s c s i 路由器与磁带库中的磁带机连 接；整个后端光纤通道s a n 环境中有一个服务器起控制作用；各备份服务器在向磁 带库写数据前，先向控制服务器请求仲裁，将此备份服务器与所需要的存储设备例 如磁带库等建立连接，并命令磁带库中的机械手将所需的磁带加载到响应的磁带机 中，备份服务器向此机中写入数据。l a n - f r e e 的s a n 模型对前端网络l a n 的占用非 常少，只利用其传输基本的控制信息( 通常仅仅为几十字节，几乎可以负约) ，而大 规模的数据传输则不再经由l a n ，而是通过后端s a n 直接写入磁带库等设备；动态 分配资源在多个服务器之间共享磁带库磁带机；解脱l a n 传输压力；备份效率高， 每一个接点均可获得1 0 0 m 带宽( 对f a b r i c 拓扑) ；易管理和维护。 1 2 3 2 集成介质和设备 l a n f r e e 备份有两个缺点：为特定备份任务选定设备；将介质分割成为不同的 集合。它没有提供对设备访问的集中控制和管理方法。而在集成介质和设备的方案 中，提供了相关的管理模块，使得任何机器能在系统范围内的策略限制下访问任何 设备。一个集成的s a n 备份系统能够压缩一个备份系统上的所有逻辑部分，包括操 作管理、数据传输、错误报告和元数据处理。在这种方式中，磁带库等备份设备通 过一个s a n 桥来连接s a n ，这个桥路由器实现了一个访问关卡，通过它来建立备份 会话。访问关卡提供和保持释放技术相同的功能，但使用更高层的安全策略，而不 仅仅是使用设备命令。除了访问关卡，系统还增加了一个全局管理功能：一个代理 连接，它在和访问关卡通信时会产生由服务器使用的安全密钥。连接代理和访问关 卡组成了一个集成s a n 中基于密钥的安全系统的两个部分。连接代理能使用密钥提 供服务器的优先级，而访问关卡能决定可以使用的最佳设备。这种方式很适合哪些 能在备份操作过程中强调赋予优先级的，并具有策略管理功能的大型系统。连接代 理不一定要位于服务器和设备之间的路径上，它只需要能和服务器和设备通信即可。 只要访问关卡能通过数据网通信，它的功能就能通过数据网提供。所有的密钥交换 机制都能在数据网上实现。这样就可以将控制路径和数据路径相分离。 1 2 3 3 无服务器备份 无服务器备份是在s a n 中的独立单元代表服务器和数据管理应用程序提供设备 到设备的操作，有时称为第三方拷贝。这个独立单元称为数据移动者a 由于使用了 华中科技大学硕士学位论文 数据移动者和第三方拷贝命令，无服务器备份可以显著的减少对服务器c p u 资源和 i o 资源的占用，获得更高的性能。 1 3 课题的目的和意义 本课题是基于国家高技术研究发展计划( 8 6 3 计划) 项目“存储虚拟化及其文件 系统的研究”( 2 0 0 1 a a i l l 0 1 1 ) 和国家自然科学基金项目“统一存储网( u s n ) 理 论、结构与实验研究”( 6 0 1 7 3 0 4 3 ) 的研究。 采用i p 存储技术构建i p 存储网络主要有n a s 和i p s a n 两种技术。n a s 实现文 件级数据传输；而i p - s a n 则实现块级的传输，主要有三种实现技术：i s c s i 、f c i p 、 i f c p ，利用这三种技术可以构建一个高性能、高可用的i p s a n ，同时具有较好的兼 容性和扩展性，并且没有距离限制的问题。基于i p 存储网络实现网络备份系统，可 以有效的将备份技术和i p 网络技术结合起来，满足应用和性能等的需求。 本文详细的分析了i p 存储网络技术，并提出了在i p 存储网络上实现网络备份 系统的设计。为了实现异构平台的数据共享，为存储资源提供统一的逻辑视图，就 要采用存储虚拟化技术，本文分析了s a n 存储虚拟化的技术的实现方法，并提出了 网络级存储虚拟化的实现设计；同时，为了将n a s 和s a n 融合起来，构建一个统一 的存储网络，本文分析了基于n a s 的统一存储网的实现。本文还分析了h s m ，n d r p ， 热备份技术等网络备份的关键技术。最后，给出了基于i p 存储网络的网络备份系统 的详细设计实现，并着重分析了其中备份源代理的设计实现。并且给出了实际的测 试结果，通过对相关的s a n 模型以及实验数据的分析，提出了进一步提高系统性能 的方案。 8 华中科技大学硕士学位论文 2 i p 存储网络及其关键技术分析 由于f cs a n 存在着互操作性不好，构建维护成本高，有距离限制等不足，基 予成熟的t c p i i p 网络技术的i p 存储网络技术逐渐成为s a n 发展的方向。随着以太 网的速度提升到l g 并向1 0 g 发展及i p 技术应用的进一步深入，基于i p 技术的存储 网技术逐步走向成熟。 2 1 n a s 技术分析 n a s ( 附网存储) 技术源于文件服务器的概念，其存储系统不再通过i 0 总线附 属于某个特定的服务器或客户机，而是通过网络接口与网络直接相连，用户通过网 络进行访问。由于数据不再通过服务器内存转发，直接在客户机和存储设备间传送， 因而具有更快的响应速度和更高的数据带宽i l 】1 2 】。n a s 还具有非常好的可扩展性。提 供文件级的数据访闯服务，一般在以太网( e t h e r n e t ) 环境中使用。 由于n a s 存储结构是直接附于网络上面不是通过i o 总线附属于服务器，因此 它具有非常好的可扩展性( s c a l a b i l i t y ) ，由于采用这种结构数据不再通过服务器 内存转发( 这会导致额外延迟和阻塞) ，数据直接在客户机和存储设备间传送( 即所 谓第三方传送) ，服务器仅起控制管理的作用，因而具有更快的响应速度和更高的数 据带宽。另外，对服务器的要求降低，可大大降低服务器成本，这样就有利于高性 能存储系统在更广的范围内普及应用【l 引。 n a s 具有以下几个基本特性：1 、网络即插即用，接入网络即可使用，减少管理 工作；2 、采用经过特殊设计的操作系统和应用系统来提供存储服务；3 、由于是优 化的硬件设备，性价比高；4 、n a s 内置多种网络协议，能适应异种操作系统平台。 能提供异构平台下的文件共享是n a s 最突出的优点之一。n a s 通过网络提供文 件服务的基础是网络文件系统。网络文件系统可以看作是网络文件协议和本地文件 系统的结合，因此，更准确地说应该称之为文件访问协议。n a s 面对的是一个复杂 的网络环境，可能包括使用各种平台和协议的主机，常见的就有m i c r o s o f t w i n d o w s ， 9 华中科技大学硕士学位论文 u n i x l i n u x ，n o v e l ln e t w a r e 等。为了支持各种客户端主机对n a s 的访问，n a s 必 须支持相应的协议。客户系统采用重定向 o 通过网络访问服务器，一个客户重定 向器能向客户提供网络文件系统的视图，并将客户端的文件系统操作传送到网络文 件系统。现在，客户重定向器一般集成到了客户端操作系统中。目前最常见的两种 网络文件系统是基于u n i x 的n f s 和基于w i n d o w s 的s m b c i f s 。基于u n i x 文件系统 的u n i x 客户机，通过n f s 进行扩展，可以透明地访问服务器上的u n i x 文件。同样， 基于d o sf a t 和n t f s 文件系统的w i n d o w s 客户机，通过使用s m b c i f s 进行扩展， 可以透明地访问服务器上的文件。n a s 技术的开发实际上是为了更容易地与客户端 集成。因此，目前这两种主要的文件系统都不是为了扩展服务器的功能，而是为了 扩展相关客户端文件系统的功能。 n a s 技术也有一些局限性：由于n a s 所提供的是文件共享，而不象d a s 或s a n 那样提供数据块共享，因此，n a s 的适用环境有一定的局限性。有些数据库系统具 有部分操作系统的功能，直接连接存储系统，也就是通常所说的工作在“原始分区” 上。n a s 就不支持这种具有大量数据库应用的环境。例如，m i c r o s o f te x c h a n g e 服 务器就是基于数据库的产品，它不使用文件协议存储和检索信息。 2 2i s c s i 协议分析 2 0 0 3 年2 月11 日，i e t f ( i n t e r n e te n g i n e e r i n gt a s kf o r c e ，互联网工程任 务组) 通过了i s c s i ( i n t e r n e ts c s i ) 标准，这项由i b m 、c i s c o 共同发起的技术 标准，经过三年2 0 个版本的不断完善，终于得到i e t f 认可。这将吸引更多的厂商 参与到相关产品的开发中，也会推动更多的用户采用i s c s i 解决方案。i s c s i 技术 最重要的贡献在于其对传统技术的继承和发展上：其一，s c s i ( s m a l l c o m p u t e r s y s t e m si n t e r f a c e ，小型计算机系统接口) 技术是被磁盘、磁带等设备广泛采用的 存储标准，从1 9 8 6 年诞生起到现在仍然保持着良好的发展势头；其二，沿用t c p i p 协议，t c p i p 在网络方面是最通用、最成熟的协议，且i p 网络的基础建设非常完 善。这两点为i s c s i 的快速发展提供了坚实的基础。 l o 华中科技大学硕士学位论文 2 2 1 i s c s i 协议分析 s c s i 协议是一种的广泛应用的工业标准。但是传统的s c s i 协议有以下缺点使之 不适合构建存储网络： l 、s c s i 是点对点的、直接相连的计算机到存储器的设备接口，不适用于主机到 存储器的存储网络通讯： 2 、s c s i 总线的长度被限制在2 5 米以内，对于u l t r as c s l 长度限制为1 2 米， 不适于构造各种网络拓扑结构： 3 、s c s l 总线上设备数限制为1 5 ，不适用于多服务器对多存储设备的网络结构。 i s c s i 协议的出现很好的解决了上述问题。它可以看作是s c s i 协议的扩展，它 的出现大大拓宽了s c s i 协议的应用范围。i s c s i 协议定义了在t c p i p 网络发送、 接收b l o c k ( 数据块) 级的存储数据的规则和方法。发送端将s c s i 命令和数据封装 到t c p i p 包中再通过网络转发，接收端收到t c p i p 包之后，将其还原为s c s i 命 令和数据并执行，完成之后将返回的s c s i 命令和数据再封装到t c p i p 包中再传送 回发送端【1 3 】。而整个过程在用户看来，使用远端的存储设备就象访问本地的s c s i 设备一样【1 5 】。由于i p 网络技术和应用的飞速发展，其重要性越来越突出，有理由 相信未来的网络将建立在t c p i p 网络的基础之上，i s c s i 的出现正是应映这一技术 趋势。它将传统的s c s i 协议和目前主流的网络协议t c p i p 协议结合起来，实现了 存储和网络的无缝融合。从应用的角度看，i s c s i 一方面通过s c s l 命令的远程传送， 实现了和远程存储设备的命令级交互；另一方面也可用于改造传统的s a n ，通过i p 网络和千兆以太网把现有的存储设备和服务器连接起来构建基于i p 而不是f c 的 s a n t l 9 1 【2 0 l ，下面对i s c s i 协议作一个简要分析： i i 华中科技大学硕士学位论文 s c s i i s c s i 同步和导向层 雨习 较低功能层 i p l i n k 图2 1i s c s i 协议栈 2 2 2i s c s i 协议栈 表2 1i s c s ip d u 的结构 字 0 1 23 节 7 6 5 4 3 2 l o7 6 5 4 3 2 1 0 7 6 5 4 3 2 l o7 6 5 4 3 21 0 o基本头部 4 8附加头部( 可选) k 头部摘要( 可选) l数据段( 可选) m数据段摘要( 可选) i s c s i 协议就是让s c s i 协议在t e p 协议之上工作的传输协议( 图2 1 ) ，是一种 s c s i 远程过程调用模型到t c p 协议的映射 1 9 1 。i p 工作在网络层，即o s i ( 开放系统 互连模型) 的第三层。i p 层分析报头中的地址和决定包跨越各子网的路由。传输层 ( 即第四层) 确保送出的包有可靠的传输。标准的t c p 协议不是为大批量数据传输 用的大字块i o 设计的。因此，通常处理大量存储数据的i p 存储，必须用第四层上 内置的传输功能予以加强。为生成适合低延时应用( 如数据镜像) 的重要服务类型- 必须改进第四层的功能。这可以通过生成类似于t c p 的新传输层加以实现，即图 2 1 中的同步和导向层，该层为存储而得到了加强，替代或加强了t c p 层，使得数 据的传输更快、更有效。 1 2 华中科技大学硕士学位论文 = ；= = = = = = = = = = = = = = = = ；= = = = = = = = = = = ： 2 2 3 发现机制( d i s c o v e r y ) 在f i b r ec h a n n e l 中，新加入的设备要先和网络交换机联系，交换机通知己向 其注册的设备及其它需要通知的设备，同时，还要向同一管理区的其他设备注册。 这种注册方式效率是比较低的。 而i s c s i 的发现机制是：通过对网络地址编码，或者询问名字服务器，或者发 送一个广播消息询问哪一个设备可以访问。在一个含有大量设备的存储网络中，- 般采用询问名字服务器而不采用发送广播消息的方式。一旦消息发送节点从名字服 务器中得到消息接受节点的i p 地址和t c p 端口号，在需要通信时就和目的节点建立 联系。因而避免f i b r ec h a n n e l 中大量通知、注煅信息在网络中传输而加重网络负 载。从这个角度而言，i s c s i 应该优于f i b r ec h a n n e l ，尤其是在规模较大的网络中。 i s c s i 协议和s c s i 结构模型2 s a m 一2 完全兼容。i s c s i 与s c s i 一样都是面向数 据块的，i s c s i 磁盘对网络另一端的主设备来说是可见的。启动设备和目标设备之 间的通讯称为会话( s e s s i o n ) ，一次会话可能包含一个或多个t c p 连接。启动设备和 目标设备之间可能有多个会话。t c p 连接使用i s c s i 协议数据单元( i s c s ip d u ) 传 送控制信息、s c s i 命令、参数和数据。i s c s i 协议数据单元见表2 1 。i s c s i 协议通 过登录建立t c p 连接，登录的作用是确认和授权。目标设备在知名端口上监听连接 请求。启动设备通过向该端口发送“l o g i n ”信号开始登录过程。经过认证目标设备 向启动设备发送“a c c e p tl o g i n ”信号。通过登录建立了会话并且赋予其会话号。 双方再通过协商确定各种参数后会话进入i s c s i 全功能相。处于i s c s i 全功能相时， 启动设备可以向目标设备内的逻辑设备发送s c s i 命令和数据，这些命令和数据通过 i s c s i 消息在已建立的i s c s i 连接上传递。一个s c s i 命令所需要的参数和数据必须 由传递该命令的同一个t c p 连接传递。 每个i s c s i 设备都有一个唯一的i s c s l 名字，一个i s c s l 名字由三部分组成：类 型定义符、名字认证机构、由该认证机构分配的名字。i s c s i 目标设备也可以通过 灵活的路径地址访问，该路径是域名i p 地址、t c p 端口、i s c s l 名字的绑定。一个 i s c s i 地址指定了一条到i s c s i 目标设备的路径。i s c s i 地址格式如下： 华中科技大学硕士学位论文 = = = = = = = = ；= = = = = = = = = = = = 2 = 一 ： i s c s i 地址主要是在发现( d i s c o v e r y ) 过程中使用。启动设备可以通过下列方 法发现目标设备： 1 在启动设备上设置目标设备的地址。 2 在启动设备上设置默认目标设备地址，启动设备可通过“s e n d t a r g e t s ，命 令从默认目标设备上获取i s c s l 名字列表。 3 发出服务定位协议( s l p ) 广播请求，等待目标设备回应。 4 查询存储设备名字服务器获取可访问的目标设备列表。 2 2 4 流量控制及传输延迟 流量控制是指发送方控制发送数据帧到网络的速率。发送方发送的速率一般是 传送路径上的交换机、路由器、或接受方可用的缓冲区大小的函数。f