（计算机系统结构专业论文）基于统一存储网的网络备份系统的研究与实现.pdf

华中科技大学硕士学位论文 摘要 基于1 p 的存储将存储和网络结合起来，是当前订三在迅速发展的存储技术。统一 存储网在物理上采用基于i p 的存储网络，利用存储虚拟化技术统一存储刚络的管 理，将n a s 和s a n 融合起来。通过实现存储系统的数据共享，减少存储系统的管 理开销，达到优化使用存储系统的目的。 在对统一存储网技术原理详细分析的基础上，深入研究了统一存储网的系统结 构和连接技术，然后对统一存储网中的关键问题存储虚拟化技术作了探讨。通过分 析存储虚拟化的原理和实现方法，提出了一个基于统一存储网的存储虚拟化的实现 方案。 网络备份系统是统一存储网的具体应用。通过分析目前网络备份系统的原理和 系统结构，对网络备份中的一些关键技术：l a n f r e e 备份与无服务器备份、快照 技术、镜像技术等进行了深入的研究。在此基础上实现了一个基于统一存储网的网 络备份系统。它包括三部分软件：基于w i n d o w s 服务器的备份服务器管理软件：基 于数据源的客户端和备份源代理软件；基于存储资源的备份目的端代理软件。在百 兆局域网环境中对网络备份系统进行性能测试，测试结果表明：网络备份系统具备 高于使用f t p 协议传输的数传率。为了进一步提高网络备份系统的性能，提出对备 份数据进行预先压缩以及增加磁盘缓冲加快数据接收的改进设想。 关键词： 统一存储网，存储虚拟化，网络备份，网络恢复 、 华中科技大学硕士学位论文 a b s t r a c t 毋一s t o r a g e t h a tb a n d t o g e t h e rs t o r a g e a n dn e t w o r ki s b e i n gd e v e l o p e dr a p i d l y u s n ( u n i f i e ds t o r a g en e t w o r k ) b a s e d o ni p - s t o r a g en e t w o r ki sm e r g e db ys a na n dn a s t h r o u g ht b em a n a g e m e n to fs t o r a g ev i r t u a l i z a t i o n i tc a no p t i m i z et h es t o r a g es y s t e mb y r e d u c i n g t h ee x p e n s eo f m a n a g e m e n ta n d s h a r i n gt h es t o r a g ed a t a b yt h o r o u g h l ya n a l y z i n g t h e p r i n c i p l e o fu s n ，w em a k ea d e e p r e s e a r c ho ft h e a r c h i t e c t u r ea n dt h ei n t e r c o n n e c t t e c h n o l o g y o fu s n t h e nw ed i s c u s s e dt h e s t o r a g e v i r t u a l i z a t i o n ，w h i c hi sac r i t i c a lt e c h n i q u eo f t h eu s n b y t h o r o u g h l ya n a l y z i n gt h ep r i n c i p l e a n dt h e i m p l e m e n t a t i o n o f s t o r a g ev i r t u a l i z a t i o n ，a n u s n b a s e ds o l u t i o no f s t o r a g e v i r t u a l i z a t i o ni ss u p p l i e d b a c k u ps y s t e mi s t h ec o n c r e t e a p p l i c a t i o n o fu s n b ya n a l y z i n gt h ep r i n c i p l ea n d s t r u c t u r eo fn e t w o r kb a c k u ps y s t e m ，s o m ec r i t i c a l t e c h n i q u e so fn e t w o r kb a c k u pa r e t h o r o u g h l yd i s c u s s e ds u c ha sl a n f r e eb a c k u p ，s e r v e r - f r e eb a c k u p ，s n a p s h o t , m i r r o rw e s u c c e s s f u l l yi m p l e m e n tau s n - h a s e dn e t w o r kb a c k u ps y s t e m , w h i c hi n c l u d e st h r e ep a r t s ： b a c k u ps e r v e rm a n a g e m e n ts o f t w a r eo nw i n d o w ss e r v e r , c l i e n ta n db a c k u ps o u r c ep r o x y s o f t w a r eo nd a t as o u r g e ，b a c k u pd e s t i n a t i o np r o x ys o f t w a r eo n s t o r a g er e s o u r c e a c c o r d i n g t ot h ea n a l y s i so ft h ep e r f o r m a n c eo fn e t w o r kb a c k u ps y s t e mb a s e d0 1 3 e x p e r i m e n t s w e c o n c l u d et h a tt h es p e e do fn e t w o r kb a c k u ps y s t e mi sh i p e rt h a nt h a to f n pi n o t l ft e s t e n v i r o n m e n t i no r d e rt oi m p r o v et h ep e r f o r m a n c eo ft h en e t w o r kb a c k u p s y s t e m , a m e t h o d t h a tt h eb a c k u pd a t aa r ec o m p r e s s e db e f o r eb e i n gt r a n s f e r r e da n dd i s kb u f f e rc a l lb ea d d e d t o i n c r e a s et h et r a n s m i s s i o nr a t ei sp r e s e n t e d k e yw o r d s ：u s n ，s t o r a g ev i r t u a l i z a t i o n ，n e t w o r kb a c k u p ，n e t w o r kr e s t o r e i i 华中科技大学硕士学位论文 1 1 网络存储技术的发展状况 1 1 1 网络时代的存储要求 1 绪论 二十世纪网络化革命给世界经济注入新的生机与活力的同时，也带来了网络数 字化信息的爆炸性增长。图灵奖获得者j i m g r a y 在其获奖演说中指出：由于互联网 的发展，未来十八个月薪产生的数据量将是有史以来数据量之和。据估计，对 i n t e r n e t 存储容量的需求每三个月就要翻一番。i n t e r n e t 上无穷无尽的信息资源需 要海量存储系统来存储。各公司显然面临如何部署存储应用的抉择。不同类型的计 算机、操作系统、数据库以及应用程序的数据分布在整个局域网广域网上，需要高 性价比的、高可管理性的、高可用性的系统来管理。这种管理必须是跨平台的，分 布式的，系统能随时随地的存取任何地方的数据。网络技术与存储技术的交互发展 无疑是信息社会中信息传播与信息贮存的最佳组合。与传统总线连接存储( b u s a t t a c h e ds t o r a g e ，b a s ) 相比，网络存储( n e t w o r ks t o r a g e ) 集成了存储技术和 网络技术，并采用更优的体系结构为数据存储提供了更高的存储容量和带宽，同时 它还具有高可用性、可靠性和可扩展性等优点。于是，这样一些适合于信息时代需 要的网络存储技术应运而生，下面将介绍其中的主流技术及其国内外研究情况。 1 1 2 现有的网络存储系统结构分析 二十世纪九十年代以前，存储产品大多作为网络服务器的组成部分之一，这种 形式的存储被称为服务器附属存储( s e r v e ra t t a c h e ds t o r a g e ，s a s ) 或直接附属 存储( d i r e c ta t t a c h e ds t o r a g e ，d a s ) 1 2 l 。进x - - 十世纪九十年代以后，随着信 息技术的发展，人们逐渐意识到i t 系统的数据集中和共享成为一个亟待解决的问 题，于是，网络化存锗的概念被提出并得到了迅速发展。从系统架构上来分，现在 华中科技大学硕士学位论文 的网络存储系统主要包括存储区域网( s t o r a g ea r e an e t w o r k s ) 和附网存储( n e t w o r k a t t a c h e ds t o r a g e ，n a s ) 两大类【3 】。d a s 和s a n 都是数据块级的存储系统，不过d a s 与存储设备是通过计算机总线连接，而s a n 是通过存储网络连接存储设备。n a s 提 供给用户的是文件级的数据传输。 i 传统存储系统与网络存储的区别 传统的客户机服务器模式采用的是分布式存储策略，它由各个服务器直接连 接和管理存储设备。存储装置位于服务器的后面，通过并行s c s i 类的总线连接进 行通信，每个服务器都要花费很多的c p u 时间去处理数据存储，网络上的文件数据 须经服务器的存储和转发，数据传输的瓶颈集中的服务器上1 4 ，5 1 。在服务器中存在着 s c s i - - - i p ( i n t e r n e tp r o t o c 0 1 ) 的协议变换，效率低下，实时性差，服务器中存 储r o 、网络i o 以及c p u 和内存容易成为系统的瓶颈；在传统的存储系统中，由 于广泛采用了具有并行s c s i 总线，存在着接口复杂、总线长度短、可扩展性差、实 时差和可用带宽窄等缺点，无法满足大范围内高速存储的要求1 5 , 6 j 。 缓解高速网络环境下的i 0 瓶颈可采用两条途径吐 ( 1 ) 分别改善存储设备和网络接口的性能； ( 2 ) 协调存储i o 和网络i o 。 改善存储设备性能主要致力于不断提高单个存储设备的存储密度和数据传输 速度p j 。但是，存储设备本身的性能改进总是远远落后于c p u 的改进，无法根本解 决i o 瓶颈的问题。因此可以通过设备按并行、可扩展等原则组成多级并行存储系 统，从系统结构的角度对存储系统的性能加以改进来解决i o 需求i s 9 】。将传统的基 于“客户机一服务器”的模式向着“客户机一服务器一网络存储”的模式迁移。网 络存储技术把网络技术集成到存储i 0 之中。融合了网络和i o 的最好特性，特别 是网络的可寻址能力、即插即用、远距离、连接性好和灵活性等特性，存储i o 的 高性能和高效率i l o 】。n a s 和s a n 的出现正是基于这种需要而提出的。 2 网络存储性能要求 由于企业信息系统日趋复杂，存储方案与服务器方案的决策常常是独立做出 的，在部署过程和方法上也是相互独立的。人们之所以开始认为应该把存储资源当 作一个专门的网络来管理，存储设备与服务器的分离是其中的重要原因之一，也正 华中科技大学硕士学位论文 是这一点导致了网络存储概念的产生。网络存储解决方案应该包含这样一些基本要 素：存储池、数据安全、扩展能力、高可用性和数据一致性】。 ( 1 ) 存储池：存储池是物理磁盘的集合，它们可以分布在不同的地理位置上， 出现在应用系统面前的是一个虚拟的单一硬盘，存储资源的管理和使用都更加简便。 把存储资源组合为存储池，位于中心的管理系统就可以对整个网络中的所有存储设 备实施集中统一的管理： ( 2 ) 数据安全：对于任何使用网络的企业来浼数据安全永远都足命运攸关的。 网络存储同样也必须拥有很高的数据安全性。对数据整体性和一致性的任何有意或 无意的破坏都是不可容忍的【1 2 i ： ( 3 ) 扩展能力：扩展能力就是不停机即可进行存储设备或服务器的增加、替换 和升级的能力。这种能力提高了应用系统的可用性，允许对系统随时进行维护： ( 4 ) 商可用性：尽管高可用性始终是一个不断变化的指标，但不论是对用户还 是对信息系统人员，它都是一个非常值得关注的重要问题。对于用户来说，可用性 缺陷可能产生很多负面的影响： ( 5 ) 数据一致性：异构计算环境在企业中是十分常见的，数据一致性意味着网 络存储应该能够对此提供强有力的支持，使所有的计算资源和存储资源，都可以方 便地集成在新的网络存储体系之中。 3 附网存储( n a s ) n a s 设备是与网上其他节点一样直接连接在网络上的，n a s 设备提供r j 一4 5 接 口和单独的i p 地址，可以将其直接挂接在主干网的交换机或其他局域网的h u b 上， 通过简单的设置就可以在网络上即插即用地使用n a s 设备【1 3 , 1 4 1 。 n a s 服务器的基本硬件结构由控制器和存储予系统两部分构成，控制器部分主 要包括处理器、内存、网络接口和磁盘接口等四个单元模块n 5 l 。 典型的n a s 系统具有的特性为：安装使用方便、商可用性、安全性、适度可伸 缩、连通性、数据共享、管理简便、整体拥有成本低。 4 存储区域网络( s a n ) s a n 是一种将磁盘阵列、磁带等存储设备与服务器等通过高速通道连接起来的 专用子网。大多数s a n 以f c 为高速连接通道，结合了f c 和l a n ( l o c a la r e an e t w o r k 、 华中科技大学硕士学位论文 的优点，绕过了传统网络的瓶颈，使数据的移动性能更好。s a n 的推出使服务器和 存储器之间的连接方式发生了根本性变革 1 6 , 1 7 。 图1 1s h n 的拓扑结构 s h n 的拓扑结构如图1 1 所示，一个典型的s a n 通常由以下几个部分组成： ( 1 ) 存储设备：包括磁盘、磁盘阵列、磁带和磁带库； ( 2 ) 服务器：任何一台服务器均可存取网络中的任何一个存储设备； ( 3 ) 连接设备：包括线缆( 铜缆和光缆) 、网桥、集线器、交换机和接口适配 器等； ( 4 ) 存储管理应用软件：涉及数据共享、网络结构、数据保管和数据备份、数 据交换、群集、数据保护和灾难恢复等。 与传统服务器和磁盘阵列之间的主从关系不同，f c - s h n 上的所有设备均处 于平等的地位。多台服务器以及多个存储器可以配置在同一个s a n 上，实现了在不 同的硬件和操作平台之间异构存储设备和数据的整合n 趴。 使用s a n 将获得的优势表现在： ( 1 ) 在高可用性和容灾方面，s a n 可提供在多个服务器和多个存储设备的环境 中两两之间的任意逻辑连接，它可以创建一个能够被多个服务器通过多条路径任意 华中科技大学硕士学位论文 访问的存储库，形成高可用性和容灾环境；在主机服务器及其连接设备之间提供f c 高性能和扩展的距离( 达到1 5 0 公里) ； ( 2 ) 在数据备份方面，通过使用s a n ，备份可以独立于原来的网络，从而能够 提高操作的性能。集中的存储备份，其性能、数据一致性和可靠性可以确保关键数 据的安全； ( 3 ) 在数据共享方面，s a n 允许分布的服务器在共享数据应用方面安全地访问 一个大的集中的存储系统，两个或多个服务器可以共享一个存储单元，这个存储单 元在物理上可以被分成多个部分，而每个部分又连接在特定的服务器上【1 9 , 2 0 ； ( 4 ) 在管理和系统增长方面，s a n 中的存储设备即使是被广泛地分布在校园网 甚至是城域网中，也可用一个单一的管理工具集中地管理起来。存储设备的扩容也 会非常容易，因为在部署新的存储设备时，地域的选择很灵活，高可用性和故障切 换环境可以确保更低的成本、更高的应用水平。 面对迅速增长的数据存储需求，大型企业和服务提供商渐渐开始选择s a n 作为 网络基础设旅。根据i d c 估计，预计2 0 0 3 年时，将有7 0 的中、大型企业导入s a n 。 1 2 网络备份技术现状 对于任何使用网络的企业来说，数据安全永远都是命运攸关的。网络存储同样 也必须拥有很高的数据安全性。而对数据的许多威胁是难以防范的，它们毁坏数据， 也毁坏访闽数据的系统。如果真发生这样的情况，唯一的解决方案就是恢复系统和 数据。虽然存在一些保护数据可用性的技术，磁盘镜像就能够使数据从另一个磁盘 或子系统中恢复。在单个磁盘失败的时候，r a i d 也能使数据保持可用性。这些技术 防止了设备的失败，但是不能防止用户的不当操作。事实上，用户可以删除、改变、 滥用数据，包括病毒活动，这才是对数据的最大的威胁。在很多情况下，恢复被纂 改的文件是十分困难的，但如果从过去的备份中恢复，则很容易。所以数据备份是 最有效的防止意外数据丢失的方案 1 2 , 2 1 】。 5 华中科技大学硕士学位论文 1 2 1 网络备份系统发展现状 不同于传统的备份系统集中于备份介质，典型的网络备份系统应该包括用于网 络备份的硬件、存储介质和软件。 1 网络备份的硬件子系统 在网络备份的硬件中，存在两种不同类型的计算机系统：备份引擎系统和数据 源系统【2 2 1 。一般情况下，备份数据是通过网络从数据源系统到备份系统。在备份系 统接收到数据后，将它写入磁带存储设备。备份引擎系统是个计算机，运行主要 的备份操作的控制软件。通常情况，所有的管理功能都集中在备份引擎系统，包括 设备操作、备份计划、介质管理、记录审计和错误处理等。数据源系统是一个拥有 需要备份数据的计算机。 网络备份的备份设备的基础是某种类型的存储介质，一般是磁带设备来执行备 份的存储功能。象磁盘驱动器可以放置在j b o d 和r a i d 子系统中一样，磁带驱动 器也能够和其他技术组合，产生能够提供各种功能的子系统，这些子系统能够简化 备份管到23 1 。常见的备份子系统有： ( 1 ) 磁带自动装载机 磁带自动装载机将单个的磁盘驱动器和磁带机械手组合在一起，在程序或手工 的控制下，实现磁带的自动选择、抓取、撤离和插入等功能。在备份数据超过两个 磁带容量的情况下，自动转载机是一个不错的解决方案。在存储容量不大的网络环 境中，自动装载机保存的磁带容量也可以够一周使用，无须增加和撤去磁带。因为 自动装载机只能够提供相对少的磁带数量，所以当用于管理大量介质时，就显示出 明显的局限性。 ( 2 ) 磁带库 磁带库是指任河磁带自动化产品，它们在物理上比自动装载机更大，也包含更 多的磁带驱动器。磁带库可以相当大，包含几千盘磁带。通常情况下，磁带库配置 包含：4 个驱动器，具有2 0 4 0 0 盘磁带。当磁带被插入后，可以使用条形码阅读 机来识别磁带，当有大量磁带插入时，条形码识别将节省大量的时间。 2 网络备份的介质或分 华中科技大学硕士学位论文 对于备份和恢复，介质提供了最基本的存储功能，通常是存储系统中最便宜的 但卸是最重要的部分 2 4 】。常见的介质有 ( 1 ) d a t ( d i g i t a la u d i ot a p e ) 技术 d a t 技术又可以称为数码音频磁带技术，最初是有h p 与s o n y 共同开发出来的。 这种技术以螺旋扫描记录( h e l i c a ls c a nr e c o r d i n g ) 为基础，将数据转化为数字 后再存储下来，早期的d a t 技术主要应用于声音的记录，后来随着这种技术的不断 完善，又被应用在数据存储领域里。在信息存储领域里，d a t 一直是被极为广泛应 用的技术。这种技术之所以大受欢迎，最重要的在于它具有很高的性能价格比。首 先在性能方面，这种技术生产出的磁带机平均无故障工作时间长达2 0 0 0 0 0 小时( 新 产品己达到3 0 0 0 0 0 小时) ：其次在可靠性方面，它所具有的即写即读功能能在数据 被写入之后马上进行检测，这不仅确保了数据的可靠性，而且还节省了大量时间。 对于网络系统，b a t 产品由于其已被证明的高兼容性、高可靠性与介质的低成本而 被最广泛的接受并使用。而且这种技术所具有的硬件数据压缩功能能够大大加快备 份速度，使压缩后的数据安全性更高。 ( 2 ) l t o ( l i n e a rt a p eo p e n ) 技术 l t o 即线性磁带开放协议。是由h p 、i b m 、s e a g a t e 这三家厂商在1 9 9 7 年l1 月 联合制定的，其结合了线性多通道、双向磁带格式的优点，基于服务系统、硬件数 据压缩、优化的磁道面和高效率纠错技术，来提高磁带的能力和性能。目前，l t o 具有两种存储格式：高速开放磁带格式和快速访问开放磁带格式。高速开放磁带格 式除了具有高可靠性的l t o 技术，还具有大容量的特点。它能够单独操作，也可以 在自动操作环境中使用。通过使用单卷轮介质，实现了高容量和高性能的优化。适 合于备份、存储和归档应用，并将为大容量数据存储设置新的基准，以满足企业用 户的需要。快速访问开放磁带格式则主要侧重于快速数据存储。它在磁盘中装载了 双轨磁带存储器以减少存取时间，提高速度。快速访问开放磁带格式能够很好地适 用于自动操作环境，可处理广泛的在线数据和恢复应用。 华中科技大学硕士学位论文 1 2 2 数据备份和恢复技术 因为各种原因，备份数据通常执行几个基本的备份操作。备份操作的选择依赖 于数据的重要性、运行备份的可用时间、以及每周或者每月的某天和其他些因素。 数据备份根据操作的数据不同，可以分为以下四类基本的操作：完全备份、增量备 份、差量备份和有选择的或即时备份【2 5 】。 1 完全备份 完全备份是拷贝整个磁盘卷或逻辑磁盘的内容。如：完整的服务器备份即由服 务器上所有卷的全量备份所组成，采用完全备份的目的是为了在服务器故障时，可 快速进行磁盘卷恢复，为保证对正常服务影响最小，完全备份一般在周末进行。 2 增量备份 增量备份即备份自从上一次备份操作以来新产生的或者更新的数据，其主要优 点是备份时间短。当使用增量备份时，恢复过程需要使用完全备份中的数据，增量 备份一般在最近次完全备份后执行，记录的是上次备份后的数据变化。 3 差量备份 差量备份是拷贝自从上次完全备份以来新产生的或更新的所有的新的数据，差 量备份的主要目的是将完全恢复所涉及的备份记录数量限制在两个，以简化恢复过 程的复杂性。 4 即时备份 是指管理员根据需要或者系统运行状况即时的备份数据。 备份提高了系统的可靠性，但在7 2 4 小时服务的网络环境中，当多个用户正 在访问服务器的数据地同时，有可能备份系统正在进行拷贝操作，若这时发生文件 或者数据库记录的更新，那么备份拷贝就有可能包含一部分更新以前的数据，一部 分是更新以后的数据，即出现数据不致性。为了确保备份数据的有效性和完整性， 备份可以分为冷备份和热备份两种： 1 冷备份 冷备份是一种备盼操作，即在执行备盼操作时，服务器不接受来自用户或者应 用对数据的更新a 这样，但备份数据正在进行的时候，并发更新的问题完全放挫绝 一一 8 华中科技大学硕士学位论文 了。；令备份能很好工作，但不能保证7 2 4 的可用性。 2 热备份 冷备份的可用性问题推动了热备份的发展。热备份是在用户和应用正在更新数 据时，系统仍然可以进行备份。对于热备份要解决两个完整性问题：首先，对于每 一个文件或者数据库实体都需要作为一个完整的、一致性的版本进行备份。其次， 对于存在关联版本的若干组文件或者数据库实体，必须一切备份，并保持它们的一 致性，目前热备份的主要技术有写前拷贝技术( c o p y - - o n - - w r i t e ) 和软件快照技 术( ：；a n p s h o t ) 2 6 1 。 1 3 本文主要研究工作 本论文基于国家高技术研究发展计划( 8 6 3 技术) 课题“存储虚拟化及其文件 系统的研究”和国家自然科学基金项目“统一存储网( u s n ) 理论、结构与实验研 究”( 6 0 1 7 3 0 4 3 ) 进行了如下的研究： 酋先，在综合现存的s a n 和n a s 等网络存储系统的体系结构和原理的基础上， 对存储虚拟化技术进行深入分析，对如何利用存储虚拟化技术融合s a n 和n a s 构建 统一的网络存储系统统一存储网进行研究。然后，对基于统一存储网的存储管 理系统进行分析和设计，在此基础上，重点对基于i p 网络的存储备份系统进行研究， 并具体设计实现一个网络备份系统。该系统是统一存储网中的一个具体应用。最后， 对该网络备份系统的性能进行测试和评估。 从章节安排上，第一章主要介绍了目前的网络存储技术和网络备份技术的国内 外状况。第二章主要对统一存储网系统进行详细分析。第三章着重研究网络备份的 关键技术。第四章主要论述了我们设计的网络备份系统的具体设计实现过程。第五 章对我们实现的网络备份系统进行了测试和性能分析。在最后一章，作者对全文进 行了总结。 9 华中科技大学硕士学位论文 2 统一存储网系统分析 为了能够满足现在飞速发展的信息存储的需要，市场需要一种简单，价格合适 的存储系统。为了满足这样的需求，存储技术有下面几种发展趋势：存储虚拟化、 基于i p 的存储网络、n a s 和s a n 的融合 2 l 2 8 1 。以上几个方面的发展将促使目前流 行的各种存储系统方案统一起来，其结果是对存储系统及其数据可以方便的进行管 理，同时降低整个存储系统的成本。基于i p 的存储网络可以统一存储网络使用的协 议，并且大大的降低现阶段使用s a n 的成本。我们提出的统一存储网在物理上采用 基于i p 的存储网络，将n a s 和s a n 融合起来，集中他们各自的优点。开发利用存 储虚拟化技术统一存储网络的管理，减少存储系统的管理开销，实现存储系统的数 据共享，达到优化使用存储系统的目的。 本章比较全面论述了统存储网技术的原理、体系结构和特点。对实现统一存 储网的关键问题：基于i p 的存储网络互联技术和存储虚拟化技术，进行了深入分析 和研究。 2 1 统一存储网原理分析 2 11 n a s 和s a n 的融合 n a s 技术是直接将存储设备挂在网上，具有良好的共享性、开放性、可扩展性， 但缺点是与l a n 共用同一物理网络，易形成拥塞而影响性能，特别在作数据备份时 性能较低，这影响了它在企业级存储中的地位【2 9 l 。 s a n 技术的存储设备是用专用网络相连的，这个网络是一个基于光纤通道协议 的网络。由于光纤通道的存储网和l a n 分开，性能就很高。在s a n 中，容量扩展、 数据迁移、数据本地备份、远程容灾数据各份都比较方便，整个s a n 成为一个统一 管理的存储池( s t o r a g ep 0 0 1 ) 3 0 i 。由于具有这些优异的性能，所以成为企业存储 0 华中科技大学硕士学位论文 的重要技术。然而，从s a n 技术近两年开始进入市场的情况看，仍然有许多问题口”。 第一是不同厂家的存储设备在s a n 中互联困难重重。各厂家自己的一套工作得很好， 一旦其中有别的厂家的设备，不是连不上，就是出错。有些厂家结成联盟，使设备 可以互联。但不同的联盟之间还是不能互联。为此，国际上成立了存储网络工业协 会( s n i a ) ，力图使尽可能多的厂家实现互联。虽然各厂家的设备都遵循光纤通道标 准，但具体的实现又有很大差别。即使各厂家都愿意将技术改变以适应互联，其工 作量也是令人难以接受的。据报道，s a n 的厂家在互联性测试方面花费的费用已大 大超过预算。不少厂家认为，与其花这么大的代价去适应互联性，还不如改进自己 产品的性能。第二个问题是用于互联的交换机和集线器等都是基于光纤通道( f c ) 协议，其价格要高出以太网互联设备好几倍。另外，在远程备份时，光纤通道要专 门布线，成本很高 3 2 , 3 3 】。 针对上述s a n 和n a s 技术的缺陷和不足，又根据国际上基于i p 的存储设备已逐 步上市和丰富的情况( n a s 设备本身就是接入i p 网的，目前s e a g a t e 公司已推出网 络硬盘子系统) ，提出一种既有n a s 和s a n 技术优点、又能克服两者缺点的统一存储 网( u s n u n i f i e ds t o r a g en e t w o r k ) 的新的存储技术。 u s n 的基本原理：利用i p 互联设备构成存储区域网( s a n ) ，又通过s a n 中的交 换通道多路接入l a n 回路，形成种广义的附网存储( n a s ) ，存储设备都是商用的 n a s 设备，或通过转换桥将s c s i 和f c 设备转换为i p 接口，接入基于i p 协议的s a n 。 用户所需的数据可不通过服务器直接从存储设备给出，提高了相应性能( 具有n a s 的优点) ，也可以送到服务器处理后转发给客户机。由于其中又包含s a n 结构，在数 据备份、数据迁移、灾难恢复方面就具有s a n 的优点。另外，由于采用的是i p 协议， 与l a n 和i n t e r n e t 的连接是无缝的，远程备份十分方便。 可见，我们提出的统一存储网- - u s n 技术，在i p 基础上实现了s a n 和n a s 两种 技术的完美结合，还具有两种技术都没有的优点。另外，采用i p 的互联设备，价格 比光纤通道低得多，在管理软件的开发实现上以及系统的使用维护上，都具有多得 多的资源和经验。 华中科技大学硕士学位论文 2 1 2 统一存储网系统结构 针对以上的研究分析，我们将吸收s a n 和n a s 的成熟技术，充分发挥各自的优 势，利用现有的软硬件资源，通过系统集成和软件开发，完善网络存储体系结构并 突破关键技术，来达到我们追求的“统一存储”的目标。 图2 1 统一存储网系统结构图 图2 1 是我们计划构建的统存储网系统结构。硬件资源包括千兆以太网交换 机、高性能应用服务器、p c 客户机，还包括光盘镜像服务器、附网磁盘阵列等附网 存储设备。另外，新增加的结点可以动态的加入这个统一存储网络。客户端的服务 请求到达应用服务器( 视频点播、文件服务器筹) 后，服务器将该请求分解，分别 送到存储网络中相关的存储设备，如果数据不需要进一步处理，n a g 设备可以将数 据通过交换机直接提供给客户，从而降低了服务器负载，缩短了响应时间。如果数 据需要应用服务器进行处理，可以直接提供给应用服务器，处理后响应用户的请求。 另外，数据备份、灾难恢复、数据迁移等工作可以在n a s 设备构成的存储局域网内 进行，可以大大节省本地局域网的带宽，克服传统n a s 结构的不足。 软件系统的总体结构将是分布式的。统存储网络中的所有接点都是嵌入了智 华中科技大学硕士学位论文 能的存储设备，每个节点都有一定的存储管理功能，包括i o 调度、c a c h e 管理、 局部数据安全、一致性管理、数据恢复、和其他节点的通讯协议、自我诊断等。集 中管理模块负责整个系统的控制和协调，并提供统一的服务界面。我们还可以在n a s 设备之间构成r a i d ，用一定的设备冗余来提供更高的数据可用性，用并行性来充分 利用网络带宽、克服i o 瓶颈，提供更高的数据存取性能。另外全局的容错和灾难 恢复机制也是要考虑的。 在前面基础之上，我们增加相应的网络安全模块，每个结点根据自身的访问控 制规则对各种请求进行控制，提供全局的权限分配机制，对关键数据进行适当的加 密。同时根据网络的流量状况提供一定的q o s 服务，保证关键应用的及时响应。 统一存储网作为一种网络存储体系结构，优点在于： 1 将基于i p 的s a n ( 而不是传统基于光纤通道的s a n ) 通过“附网高速通道” 和外部网络无缝连接，实现了一个统一的存储网络，它结合了存储区域网( s a n ) 和 附网存储( n a s ) 两种技术的优点，既有两网分离带来的性能( 不冲突) 和功能性( 数 据迁移、备份) 优势，又有直接附网的性能和互换性优势； 2 它在s a n 与l a n 之间形成“服务器通道”和“附网高速通道”，有效地避免 服务器的存储转发瓶颈，可以提高系统整体的性能； 3 全部采用i p 协议，并使用n a s 设备作为存储网的结点，使不同厂家存储设 备的互联性得到可靠保证，又实现了s a n 与l a n 及w a n 的无缝连接，有利于远程备 份。采用i p 互联设备和存储设备技术成熟，价格低，性能高，可用的资源丰富，对 开发和使用维护都具有很大的好处。 2 1 3 统一存储网的连接技术 连接技术是网络存储的一个重要部分。光纤通道协议( f c ) 是第一个在s a n 中广泛实现的网络技术。而基于i p 的连接技术也越来越成为存储网络的主流连接技 术f 3 4 j 。下面将分析几种主要的网络存储的连接技术。 1 s c s i 对于低端p c 来说显得过于昂贵的s c s i 技术在需要高性能的网络服务器和工作 i3 华中科技大学硕士学位论文 站领域却得到了广泛的应用，现在已经成为网络服务器的标准接口选择。从s c s i l 最初的5 m b s 到今天的1 6 0 m b s ，s c s i 一直提供优异的性能表现，预计到2 0 0 1 年 s c s i 将达到3 2 0 m b s 的速度【3 5 1 。 表2 1s c s i 接1 2 性能对比 最大教传率总线宽度最大总线长度 接口最大设备数 ( m b ，s )( b i t s )( | ) 并行 ( h v d ) s c s i 1582 58 f a s ts c s l1 082 58 f a s tw i d cs c s i2 01 62 51 6 2 082 58 u i t r a - s c s i 2 08n a4 4 01 62 51 6 w i d cu l t r a s c s i 4 01 6n a8 4 01 6n a4 4 082 52 u l t r a 2s c s l 4 081 28 8 01 62 52 w i d eu i t r a 2s c s i 8 01 61 21 6 串行( 铜缆光纤) s s a8 01 6 1 0 2 ，4 5 01 2 7 f c a l4 0 01 61 0 0 1 0 0 0 01 2 6 u 1 t r a l 6 0s c s i 第五代s c s i ，在完全支持以前的s c s i 设备的同时，其性能 达到u 1 t r a 2s c s i 标准( 最高8 0 m b s ) 的2 倍。u l t r a l 6 0s c s i 在每个时钟周期内 发送的是两位数据而不是一位，因而比u l t r a 2s c s i 有更高的吞吐薰。双边界时钟 是u l t r a l 6 0s c s i 提高现有的设计方案的几种先进特点之一。此外，u l t r a l 6 0s c sr 为原来的s c s i 设备提供了完全的向后兼容性。一块单一的u l t r a l 6 0s c s i 卡可以连 接老设备和新设备，包括硬盘驱动器、c d - r o i 、磁带驱动器、光盘存储以及扫描仪。 表2 1 是各种s e s i 的接口性能对比，在未来几年内，u l t r as c s i 设计将从新 技术中获益，如最高速度从1 6 0 船s 提高到3 2 0 d b s 以及6 4 0 1 d b s 、带宽密度的提 高以及改进的封装允许在一个p c i 主机适配器上连接多达6 0 个设备。s c s i 外围设 备将继续成为高性能工作站和服务器的选择。 2 光纤通道( f i b r ec h a n n e l ) 光纤通道是存储网络的领先技术之一，是一个于兆位的技术。光纤通道是在 s c s i 。2 的基础上发展而来的一种新的s c s i 协议，它不仅可以作高速i o 存储，还 1 4 华中科技大学硕士学位论文 可以用作l a n 的介质 3 6 , 3 7 。与s c s i 协议相比较，它具有以下几个特点： ( 1 ) 数传率商：s c s i 中最快的m t r a1 6 0 有1 6 0 m b s 的数传率，而光纤通道 的数传霹墨目前最高呵以达到几个g h s ； ( 2 ) 传输距离远：传统的s c s i 数据传输的极限距离是2 5 米，光纤通道连接线 既可以是铜缆电可以是光纤，其中铜缆的传输距离是3 0 米，而在多模光纤i - 幂q 用l 豆 波激光进行数据传输可以达5 0 0 米，堆模光纤_ ：利用的长波激光进行数据传输更迁 商达1 0 公里； ( 3 ) 可连接节点数多：s c s i 协议通常只能挂接7 个或l i 个节点，光纤通道n j 以挂接1 2 7 个节点； ( 4 ) 连接力法多样：传统s c s i 接口技术只能采用菊花链的连接，j 法，i 面光纤 通道可以很方便地利用h u b ，s w i t c h ，b r i d g e ，g a t e w a y 进行多种方式的连接。 3 基于i p 的网络连接技术 基于i p 的存储网络是最近才提出和发展起来的，现在还处在开发和研究阶段。 目前，基于i p 的存储网络还面临着一些重大的技术问题。最重要的一个问题就是如 何将现有的f c - - s a n 转换到基于i p 的存储网络。这个问题有两个解决方案：第 一，将t c p i p 协议应用于整个存储网络；第二，将t c p i p 作为连接相隔较远的两 个f c - - s a n 之间的桥，因为f c - - s a n 的无中继的最大传输距离只有1 0 公里，而且必 须使用价格昂贵的单模光纤，丽t c p i p 协议可以使用公众网进行远距离的连接，远 远超过1 0 公里的限制。对于这个问题目前有三种协议： ( 1 ) i s c s i 协议 是种开放协议，由i n t e r n e te n g i n e e r i n gt a s kf o r c e ( i e f t ) 和s t o r a g e n e t w o r k i n gi n d u s t r ya s s o c i a t i o n ( s n i a ) 制定【3 9 】。这种协议基本构架是在s c s i 的数据包上加上t c p i p 协议，由于 1 1 上tt c p i p 协议，i s c s i 协议可以使s c s i 数 据包在普通的i p 网络上传输。i s c s i 协议与f c 协议没有任何联系，该协议的最终 目的是取代f c 协议在s a n 中的位置。 ( 2 ) f cr p 协议 这种协议和i s c s i 协议较为相似，在f c 的数据包上加上t c p i p 协议，使得 f c 的数据包可以在i p 网络中传输。由于保留了f c 协议，f c i p 很适合用于远距离的 华中科技大学硕士学位论文 f c - s a n 之间的互联：f c s a n 的内部不用做任何特殊的配置，只用在出口处安装一 台f c l p 的路由器即可。f c i p 使用现有的w a n ，i n t e r n e t 等网络将多个“s a ni s l a n d ” 连接起来，不用单独布线，极大地降低了成本。 ( 3 ) i f c p 协议 这种协议是在s a n 的终端设备上映射i p 地址来实现在现有的f c s a n 中引入 t c p i p 协议的1 3 9 , 4 0 j 。它在f c s a n 的最终节点上安装一种类似路由器的设备，该设 备负责将其管辖的s a n 中发出的f c 数据包解析，剥离f c 协议后，在得到的纯数据 上加入t c p i p 协议，然后转发出去。这种协议可以使得f c s a n 得到i p 地址，实 现f c - - s a n 到i p 存储网络的无缝连接。 将t c p i p 协议应用于整个存储网络的改造工作量大，成本高，所以现在基本采 用第二种方案。f c 协议在距离上的限制，使得f c s a n 成为了一个个“信息孤岛”， 它们之间无法互通消息，交换数据。于是许多基于以上三种协议的s a n 的“信患孤 岛”互联解决方案被提了出来。这三种协议各有优势，现在很难预测哪一种协议会 成为最终的标准。 4 i n f i n i b a n d 技术 为了绕过p c i 总线的限制，曾经出现过两个独立的i o 标准化组织：n g i o 和 f u t u r ei o 。这两个组织合并成立了一个新的组织，并提出了名为i n f i n i b a n d 的新 的u o 标准。i n f i n i b a n d 是一种串行网络技术，它继承了目前多数开放系统服务 器使用的p c i 总线。它被设计成一种可简化和加快服务器之间的连接、以及服务器 与其他相关系统( 诸如远程存储和网络设备) 之间连接的全新输入