（计算机系统结构专业论文）网络数据管理协议的研究与设计.pdf

华中科技大学硕士学位论文 摘要 l 【随着网络技术的飞速发展，传统的存储体系结构已经不能满足海量数据在安全性、可 用性、可靠性、可扩展陛和可管理性等方面的需求。在这种背景下，附网存储( n a s ，n e t w o r k a t t a c h e ds t o r a g e ) 和存储区域网( s a n ，s t o r a g ea r e an e t w o r k ) 这两种网络存储技术应运 而生。s a n 针对块层次数据共享的企业级数据存储解决方案，而n a s 则通常提供文件层共 享的部门级数据存储功能。备份是增加数据可用性的基本方法，其核心是解决何时、采用 何种方式拷贝何种数据到何种设备上。网络存储在克服了传统备份方式的缺点的同时，还 使得远程备份等技术得以更高效地实现。厂 网络数据管理协议( n d 忡，n e t w o r kd a t am a n a g e m e n tp r o t o c a l ) 是个用于网络数据 备份与恢复的开救洼协议。遵循n d m p 标准的服务器上不再需要安装其他备份代理，就能被 n d 肝兼容的备份软件控制进行数据备份和恢复。n d 押将传统备份恢复方式中三方之间的 控制流和数据流分离并将通信接口标准化，实现了备份恢复在网络层上的完全互操作性。 通过对、d 归备份时数据处理过程的分析，指出n d m p 在备份效率方面的不足，芹提出 相应的改进方案n d 抒- r i 。另一方面，通过对n d 忡的软件体系结构的研究与分析，指 出该协议在可扩展性方面的不足之处。为此提出的n d 孵一r 2 模型引入了虚拟存储( v s ， v i r t u a ls t o r a g e ) 的概念，虚拟存储层隔离了其上层数据服务与底层各类存储设备间的真 接通信，为数据服务提供统一的存储访问接口，从而具有较好的可扩展性。 在开放源码平台中，f r e e b s d 系统具备内核稳定，网络功能强大等特点。n d m p 协议和 n d 忡一r l 方案在f r e e b s d 平台上被实现并加以测试，测试结果表明：较传统备份方式而言， n d 忡n d m p - r 备份在极大地减少了客户机资源占用量的同时提高了备份性能9 0 以上；另 一方面n d m p - r 方案比n d 忡进一步提高了文件系统间的备份性能。采用自相似特性的 h u r s t 参数估计方法对流量数据进行了拟和估计，求得了表征n d m p - r i 备份流量突发性强 度的h u r s t 系数。 关键词：网络存储，存储区域网，附网存储，网络数据管理协议，虚拟存储 。，、 一 v 华中科技大学硕士学位论文 a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n to f n e t w o r kt e c h n o l o g i e s ，t r a d i t i o n a ls t o r a g ea r c h i t e c t u r eh a sn o t b e e na b l et om e e tt h er e q u i r e m e n t so f a h u g e a m o o l to f d a t ai nt h e a s p e c t so f s e c u r i t y , a v a i l a b i l i t y , r e l i a b i l i t y , s c a l a b i l i t ya n dm a n a g e a b i l i t y t h u sn a s ( n e t w o r k a t t a c h e ds t o r a g e ) a n ds a n ( s t o r a g e a r e an e t w o r k ) a st w on e t w o r ks t o r a g et e c h n o l o g i e se m e r g ea st h et i m ed e m a n ds a n s u p p o r t s b l o c kl e v e ld a t as h a r es t o r a g eo fe n t e r p r i s e s ，w h i l en a s m a i n l yp r o v i d e sf i l e l e v e ld a t as h a r e s t o r a g ef o rd e p a r t m e n t sb a c k u pi sa nu s u a lm e t h o d t oe n h e n c ea v a i l a b i l i t yo fd a t ai tf o c u s e so n w h e n ，w h e r e , h o wa n dw h i c ht oc o p y n e t w o r ks t o r a g en o to n l yo v e r c o m e st h es h o r t c o m i n g so f t r a d i t i o n a lb a c k u p ，b u ta l s oe n a b l e s t e c h n o l o g i e ss u c h a sr e m o t e b a c k u pt ob ea c c o m p l i s h e dm o r e e f f i c i e n t l y n d m p ( n e t w o r kd a t am a n a g e m e n tp r o t o c a l ) i sa no p e np r o t o c o lu s e df o rn e t w o r kd a t a b a c k u pa n dr j e c o v e r n d m pc o m p a t i b l es e r v e r sc a nb ec o n t r o l l e db yt h en d m pc o m p 撕b l e b a c k u p s o f t w a r et op e r f o r mb a c k u pa n dr e c o v e rw i t h o u t i n s t a l l i n ga n y o t h e rb a c k u p a g e n tn d m p s p l i t sc o n t r o la n d d a t as t r e a mo f t r a d i t i o n a l b a c k u pm e t h o d , s t a n d a r d i z e s t h ei n t e r f a c e sa n de n a b l e s p a r t i c i p a n t so f n d m pb a c k u pa n dr e c o v e r t ob e t o t a l l yi n d e p e n d e n to i ln e t w o r k l e v e l b ya n a l y s i so f t h ep r o c e d u r eo fn d m p b a c k u pa n dr e c o v e r , t h ei n e f f i c i e n c yo fn d m p i s p o i n t e do u ta n da ni m p r o v e ds o l u t i o nn o m i n a t e dn d m p r 1i s s u b m i t t e d o nt h eo t h e rh a n d , t h r o u g ha n a l y s i so f t h ea r c h i t e c t u r e ，t h eu n s c a l a b i l i t yo f n d m p i ss t a t e d a c c o r d i n g l y , t h ec o n c e p t o fv s ( v i r t u a ls t o r a g e ) i si n t r o d u c e dt of o r mt h en d m p - p , 2 p r o t o t y p et h ev sl a y e rs e p a r a t e s d i r e c tc o m m u n i c a t i o n sb e t w e e nu p - l e v e ld a t as e r v i c ea n dd o w n - l e v e lp h y s i c a ls t o r a g ed e v i c e s ， a n di t p r o v i d e sa nu n i f o r ms t o r a g ei n t e r f a c et od a t as e r v i c e t h u st h ea r c h i t e c t u r eo fn d m p - r 2 e x c e l st h a to f n d m pi ns c a l a b i l i t y a m o n ga l lt h eo p e ns o u r c eo p e r a t i o ns y s t e m s ，f r e e b s di s e x c e l l e n tb e c a u s eo fi t ss t a b l e k e r n e la n dp o w e r f u ln e t w o r km o d u l en d m pa n dn d m p - r 1h a v eb e e nc o m p l e t e do nt h e p l a t f o r mo ff r e e b s d s u b s e q u e n tt e s tr e s u l ti n d i c a t e st h a t , n d m pa n dn d m p - r 1b a c k u pc a n i m p r o v eb a c k u ps p e e db ym o r e t h a n9 0 * , 4w h i l e g r e a t l yr e d u c o n s u m i n g t h er e s o u r c e s o f b a c k u p c l i e n t ，a n dn d m p - r im o d e lc a l lf i a r t h e ri m p r o v ei n t e r - f i l es y s t e mb a c k u pp e r f o r m a n c et h a n n d m ph u r s ti n d e x , w h i c hr e p s e n t sb u r s t i n e s so fn d m p r ib a c k u pt r a f f i c ，i s c o m p u t e db y a d o p t i n gs e l f - s i m i l a rh u r s ti n d e xe s t i m a t i o na p p r o a c ht oa n a l y s i se x p e r i m e n t a lt r a f f i cd a t a k e y w o r d s ：n e t w o r ks t o r a g e ，s a n ，n a s ，n d m p ，v i r t u a ls t o r a g e 华中科技大学硕士学位论文 1 1 课题背景 1绪论 1 1 1 课题来源 2 0 0 1 年1 月，华中科技大学外存储国家专业实验室与美国某公司进行国际合 作，共同开发附网存储服务器( n a s ，n e t w o r ka t t a c h e ds t o r a g e ) ，产品现已投放 市场并获得良好的市场反映。本课题来源于作者参与合作项目“n a s 系统软件开发” 中的一部分工作。 1 1 2 技术背景 九十年代以前，存储产品大多作为服务器的组成部分之一，这种形式的存储通 常被称为直接附接存储( d a s ，d i r e c t a a a c h e ds t o r a g e ) 。，； 进入九十年代以后，随着技术发展，人们逐渐意识到i t 系统的数据集中和共 事成为个亟待觯决的问题，传统的存储体系结构已经不能满足不断增长的海量数 据在安全性、可用性、可靠性和可管理性等方面的需求。于是，网络化存储的概念 被提出并得到了迅速发展。网络存储主要有两种表现形式：附网存储23 l 和存储区 域网络( s a n ，s t o r a g e a r e a n e t w o r k ) 【”。n a s 和s a n 之间的相同点之一在于系统和 存储设备之间都是通过外部网络或通道连接的。 n a s 是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以便于 对不同主机和应用服务器进行访问的技术p i 。n a s 通常在一个l a n 上占有自己的 节点，它能在不增加复杂度，管理开销，降低可靠性的基础上，使网络的存储容量 增加，具有很好的可扩展性。它将文件i o 负载从应用服务器上卸载下来且无需其 干预，这样有助于应用服务器减小c p u 开销和显著改善系统的整体i 0 性能与可靠 性。n a s 设备可用于二实现涉及文件存取及管理的所有功能，般支持多计算机平台， 用户通过刚络支持协议可调用相同的文档，因而，设备无需改造即可用于二 华中科技大学硕士学位论文 u n i w i n d o w sn t 混合型的局域网。 由于不需要服务器提供更多的硬件及服务，使服务器的可靠性和i 0 性能大大 提高，能充分利用可得到的1 0 1 0 0 m b s 网络带宽，获得较大的数据吞吐量。 s a n 是一种将磁盘阵列、磁带等存储设备与服务器连接起来的高速专用子网。 它一般基于光纤通道( f c ，f i b r ec h a n n e l ) 1 6 1 构建，光纤通道具有低延迟、高带宽及 远距离传输的特性和集通道、网络优点于一身的拓扑结构，支持同时传输s c s i 、i p 等多种不同协议，这使它能够显著提高存储设备的可用性、系统性能和数据传输的 可靠性f 7 ，8 一i 。与传统服务器和磁盘阵列之间的主从关系不同，s a n 上的所有设 备均处于平等的地位。s a n 允许服务器连接s a n 中的任何存储阵列或磁带，这样 不管数据放置在哪里，服务器都可直接存取所需的数据f 1 0 】。各种服务器和存储设 备直接连接在一起，构成一个可扩展的高性能集群环境，具有高可用、易于管理以 及容错能力强等诸多优势，特别适合于存储量大的工作环境，如海量数据的实时存 储、数据共享、数据保护、数据迁移、灾难恢复和数据仓库等领域。 数据不仅是计算机所要处理的对象，同时也是计算的目的，是提供各种服务的 基础，甚至是比计算设备更宝贵的资源1 1 2 i 。数据的安全性对用户来说是至关重要的， 如果不能保护数据安全，就不能保障业务的顺利运作，甚至会直接影响到用户的生 存。n a s 设备或者s a n 中的服务器通常采用r a i d 技术1 1 ，“l 保护数据，这虽然防止 了设备故障造成的数据丢失，但它们不能防止意外事件对数据的破坏，而这也是对 数据最常见的威胁。例如人为的操作错误、系统软件或应用软件缺陷、硬件损毁、 电脑病毒、黑客攻击、突然断电、意外宕机、自然灾害等诸多因素都有可能造成计 算机中数据的丢失，给企业造成无法估量的损失。备份正是为提高数据的安全性和 可用性而采取的重要手段之一1 1 5 l 。传统的基于d a s 的备份方式已经被基于网络的 备份方式所取代。 但是基于网络的备份也并不完美。一方面，基于n a s 的备份会导致l a n 的可 用性在备份期间大大降低，而且备份数据经过二次拷贝才备份至目的服务器，备份 效率很低。另一方面，基于s a n 的结构由于历史原因导致不同厂商硬件产品的兼容 性不高，从而造成s a n 的构建和管理的复杂性以及由此造成存储管理软件的高复杂 度，最终导致基于s a n 的网络存储方案具有相当高的总体拥有成本( t c 0 ，t o t a lc o s t 2 华中科技大学硕士学位论文 o f o w n e r s h i p ) 。 在这种背景下，网络数据管理协议( n d m v , n e t w o r k d a t am a n a g e m e n tp r o t o c 0 1 ) ”副应运而生，它定义了一套机制和协议用于扩展备份、恢复以及其他在主存储系统 与二级存储系统之间的数据传输。n d m p 的关键目标是要解决备份中的互操作性、 并行操作性及可扩展性。遵循n d m p 标准的服务器上不再需要安装其他备份代理， 就能被n d m p 兼容的存储管理软件控制进行网络数据的备份和恢复。即：在参与备 份恢复的各方均遵循n d m p 标准的前提下，数据提供方只需关注数据的获取和提 交的控制，数据接收方只需负责数据的接收及存储的控制，存储管理软件则仅仅负 责数据备份恢复的控制，而与数据提供方和接收方所操作数据的具体内容无关。 n d m p 通过将传统备份恢复方式中三方之间的控制流和数据流的通信接1 2 1 分离并 标准化，从而实现了备份恢复在网络级的完全互操作性及因此带来的可扩展性。 1 2 国内外研究情况 网络存储技术的主要目标是实现数据存储的可用性、可靠性、可管理性、高效 率以及快速恢复能力。备份数据能保证数据的安全性，能非常有效的防止数据意外 丢失，从而消除系统使用者和管理者的后顾之忧。但是企业内部电脑环境各不相同， 异构系统平台已经成为事实，企业计算环境变得更加复杂，因此不同的应用环境要 应用不同的解决方案。一个实用的备份解决方案，应该充分考虑企业的实际情况和 备份的需求。另一方面，备份技术并不仅仅指数据的简单复制，备份的核心是解决 何时、何地，采用何种方式拷贝何种数据到何种设备上，以及如何恢复等一系列问 题，备份是数据管理的一个重要组成部分。尽管备份增加了数据的可用性，但这又 不可不可避免的带来了数据管理上的复杂性。 将数据管理的复杂性简化正是存储管理软件的目标。存储管理软件直接对用户 提供存储管理服务，不论是n a s 还是s a n 都需要功能强大的存储管理软件才能实 现其数据存储功能。随着企业和部门用户数据量的急剧膨胀以及信息分类的复杂化， 对存储管理软件的要求也迅速提高。软件技术的发展已经成为网络存储领域的个 重要内容，越来越多的存储设备厂商将研发重点转移到对存储管理软件的研制上来， 大量第三方存储管理软件开发商的出现标志着这一新兴领域的广阔前景。 华中科技大学硕士学位论文 一般来说，一个完善的存储管理软件在备份功能方面具有以下特性： 1 ) 统一备份平台：备份软件应能提供一个统一的备份平台，它能够用统一的格 式备份几乎所有计算机系统的数据，这在复杂的网络环境下至关重要。如n t 和 n e t w a r e 的磁带格式就是互不兼容的，s q ls e r v e r 和o r a c l e 的备份格式也是完全不 同的，如果没有统一的备份平台，数据的管理将变得异常繁重。 2 ) 自动备份策略：所有信息系统的备份任务都由存储管理软件统一管理并根据 定义的备份策略自动发起备份作业。备份策略的定义应非常灵活，可定义每天某一 时刻、每周某天、每月某天、某一特定日期开始进行备份，也可以定义某一特定日 期不进行备份以避开业务繁忙时间。 3 ) 高性能：存储管理软件应能同时支持s a n 和n a s ，支持多磁带流的并发备 份、多客户并发备份和磁带复用技术，使数据备份时能同时使用多个磁带机并行进 行，从而大大提高备份速度。支持s a n 下的l a n f r e e 备份，在避免了备份数据对 工作网络带宽占用的同时也相应提高了自身的备份速度。 4 ) 操作简单方便：备份软件应屏蔽各种操作系统和应用程序的备份技术细节， 能够让用户远程管理、监控备份任务。这样才能解放系统管理人员，使他们能够专 注于他们更应该专注的问题。 5 ) 安全性与可靠性：备份软件在备份前可以自动对文件进行病毒扫描，能够确 保备份的数据并未遭受病毒感染，还有备份后再读出验证的功能，从而确保存储在 磁带上的数据是正确的。 6 ) 系统保护：存储管理软件应能对最关键的服务器( 如：后台数据库服务器) 进行智能系统保护。这样备份服务器会自动在对系统文件进行备份时检查系统配置 信息，并将更改后的配置信息( 例如磁盘分区、用户信息等) 传给备份服务器。当 系统灾难性故障时，可以由智能系统保护模块生成的启动光盘进行启动，并得到配 置信息，直接进行系统的恢复，可以大大提高系统恢复速度。 目前，存储领域的高端产品被美国和日本大公司所垄断，如美国的e m c 、 v e r i t a s 、c a 及日本的h i t a c h i 等。而中低端产品由于进入门槛相对较低而有较多 的各国厂商参与竞争。反观国内，有少数科研机构和企业一直致力于从事存储领域 的科研开发，如华中科技大学外存储专业实验室已研发出一些优秀的自主知识产权 4 华中科技大学硕士学位论文 的存储产品，但由于市场化力度不足，尚无法与国外存储巨头的产品相提并论。尽 管国内的企业在存储领域起步相对较晚，但已逐渐意识到网络存储的广阔市场，纷 纷采用代理国外品牌、委托生产乃至自行研发等方式切入市场，联想、宝德等公司 便是其中的优秀代表。 但是，总的说来，各个厂商的开发还处于相对封闭的状态，产业界还未有行业 标准得到普遍认同和广泛应用。 n d m p 协议则是这一领域标准化的一个尝试，它是由十几家在该领域领先的外 国软硬件厂商派出的代表所组成的n d m p 工作组从1 9 9 6 年开始制定的，现在已经 制定的版本中，第4 版是稳定版，第5 版已经提出并在不断的完善之中。n d m p 的 逐渐成熟也使一些复杂技术能够利用n d m p 来实现了，典型的例子如：基于n d m p 和快照的异步更新方式的远程容灾系统【“1 。 一些业界领先的国外厂商已经开始在各自网络存储产品的最新版本中集成 n d m p 协议模块用于备份和恢复。备份软件产品如：v e r i t a s 的n e t b a c k u p v 34 ， l e g a t o 的n e t w o r k e rv 61 ，c a 的b r i g h t s t o r e n t e r p r i s eb a c k u pv 1 00 等；n a s 产 品如：n e t a p p 的f 8 4 0 ，e m c 的c e l e r r a d a t am o v e r51 0 ，p r o c o m 的n e t f o r c el5 0 0 系列等。磁带库产品如：q u a n t u m 的a t lp 4 0 0 0 和a t l p 7 0 0 0 等。而国内厂商和研 究机构在这方面还处于相对滞后的状况， 1 3 课题的主要研究工作 针对应用在网络存储中的n d m p 协议，本课题做的研究工作主要有以下几点： 1 首先研究了网络存储的体系结构及特性，在此基础上进一步分析了基于网络 存储的备份恢复技术并讨论了网络存储的发展趋势。 2 对n d m p 协议的体系结构、服务的状态机描述和消息通信机制做了较为深 入的研究，在此基础上进一步研究了基于n d m p 的备份恢复技术。 3 通过对采用n d m p 方式备份文件系统到文件系统的处理过程进行分析，指 出了其在效率方面有待提高之处，并提出了相应的改进方案n d m p r l 。 4 根据可扩展性体系结构设计原理分析了n d m p 协议在可扩展性方面的不 足，有针对性地提出了另一种改进的n d m p 设计模型n d m 口r 2 ，并给出了该 华中科技大学硕士学位论文 模型的一种设计方案。 5 在f r e e b s d 系统平台上实现了遵循n d m p 协议的服务器端和客户端软件， 在此基础上改造服务器端实现了n d m p r 1 方案。通过对比传统备份和n d m p 备份， 对n d m p r 1 方案进行了备份性能测试和结果分析，并得出肯定的结论。 6 采用自相似分析的h u r s t 参数时域估计方法对备份流量数据进行了拟和估计， 求得了表征n d m p r 1 备份流量突发性强度的h u r s t 系数。 6 华中科技大学硕士学位论文 2 网络存储技术的研究与分析 2 1 n a s 体系结构的研究 n a s ( n e t w o r ka t t a c h e ds t o r a g e ，附网存储) 是种专用的网络数据存储服务 器，可向网络用户提供跨平台的文件级海量数据共享功能。n a s 把应用程序服务器 从繁重的i o 负载中解脱出来，加速了应用业务响应的速度，提高了网络整体性能。 n a s 设备不同于传统的通用服务器，它去掉了通用服务器原有的与数据的存 储、管理和传输无关的服务功能，仅仅提供了卷管理、文件系统、网络文件共享协 议和w e b 服务功能，用于存储服务和远程系统管理，这样降低了存储设备的成本并 提高了系统的可靠性。 n a s 设备通常具备三个特点：1 ) 附加大容量的存储；2 ) 内嵌操作系统；3 ) 专 门针对文件系统进行重新设计和优化以提供高效率的文件服务。这些特点使得n a s 具有更高的存取效率和更低的存储成本。n a s 一般都赢接接入基于t c p i p 的局域网 或广域网中，并使用特定的文件访问共享服务( 比如u n i x 系统的n f s 及w i n d o w s 系统的c i f s ) 向服务器或客户机提供基于文件的服务【1 6 i 。这种连接技术主要应用在 基于文件的共享应用环境中，比如：文件服务器、打印服务器，因而n a s 特别适合 替代一些中、小企业的文件共享服务器。 如图2l 所示，n a s 体系结构主要有硬件和软件两部分。其中，n a s 的硬件部 分由核心控制部分和存储子系统两部分构成。 核心控制部分主要包括处理器、内存、网络适配器和磁盘接口四个主要的单元 模块。整个核心控制部分通常采用己广泛应用的i n t e lx 8 6 服务器体系结构，这样兼 具高性能和低成本的优点。 其中磁盘接口一般选用i d e 1 7 ，1 8 i ( i n t e g r a t e dd r i v ee l e c t r o n i c s ，集成电子驱动 器) 、s c s i i ”2 “2 1 1 ( s m a l lc o m p u t e rs y s t e mi n t e r f a c e ，小型计算机系统接口) 或光纤通 道。这三种接 i i 当前主流的数传率分别为：1 0 0 1 6 0 2 0 0m b s ，均能较好地满足存 7 华中科技大学硕士学位论文 储数传率的要求。但其中i d e 总线并行工作能力相对较差，能附接的i d e 设备数有 限，因此i d e 总线接口一般仅应用于低端的* f 3 级n a s 设备。而光纤通道援1 ：1 由 于高性能和高成本，仅应用于少数高端n a s 产品中。 客户机服务器 图2 in a g 服务器的体系结构 为了优化数据传输，避免网络接口成为传输路径上的瓶颈，多数n a s 设备采用 了千兆以太网卡接口、多个网卡链路聚集1 2 2 ( t r u r l k i n g ) 1 乃至多台n a s 设备集群f 2 3 2 4 j 等技术，从而能充分利用c p u 计算能力和系统总线带宽，获得极高的数据吞吐率。 存储子系统中的存储设备通常使用磁盘阵列，但也有特殊的n a s 服务器同时使 用磁盘和光盘库作为存储设备设备，这样的n a s 被称为n a s 光盘镜像服务器j 2 乳。n a s 光盘镜像服务器是一种将硬盘高速缓存和n a s 技术相结合，专为光盘网络共享而设 计的n a s 设备，它将光盘库中被频繁访问的光盘上的数据缓存至磁盘中，这样使得 客户机能以磁盘的存取速度来访问光盘上的信息资源，消除了光盘驱动器的瓶颈， 改善了光盘的网络共享性能。 ：圣鎏塾查奎! 兰兰整! 堡登查塑塞【里竺垒翌2 ：堕垫查茎差墼壁：塑圭坠墨奎垫塑堕塞董： 8 华中科技大学硕士学位论文 譬；= 宣写= 皇昌薯昌= = 皇昌昌毒葛= 穹盎霉皇穹= = 皇；= = = = n a s 的软件部分的基本要求是较高的稳定性和i o 吞吐率，并能满足数据共享、 数据备份、安全配置、设备管理等要求。如图21 所示，软件部分可划分为五个模 块：操作系统、卷管理器、文件系统、网络文件共享和w e b 管理模块。 操作系统是n a s 设备的核心，通常采用3 2 位甚至是6 4 位的开放源码或 w i n d o w s 操作系统，具有多线程、多任务的高稳定性内核，这样能更好地支持对存 储器的读写，是保证系统具有高数据吞吐率的必要条件。操作系统内核针对文件服 务和数据管理进行了裁减并针对特定硬件环境进行了优化。在核心操作系统中包含 网络设备，存储设备的驱动模块，并保留一些基本网络协议栈f 如t c p i p 、s p x i p x 及a p p l e t a l k 等) 。鉴于l i n u x 、f r e e b s d 等免费的开放源码操作系统具有稳定、可 靠、高效的优秀特性和遵守g p l 或b s d 的版权协议，现在大部分的n a s 设备都是 基于此类操作系统开发的f 2 “。 卷管理器的主要功能是磁盘和分区的管理，主要包括磁盘的监测与异常处理和 逻辑卷的配置管理，一般应支持磁盘的热插拔、热替换等功能和r a i d 0 、r a i d i 、 r a i d 5 类型的逻辑卷。卷管理器实现了简化的、集中的存储管理功能，保证了数据 的完整性并增强了数据的可用性。 文件系统提供了持久性存储和管理数据的手段，它必须是3 2 位或以上并能支持 多用户，应具备日志文件系统( l o g g j n g f i l es y s t e m ) m 2 8 1 功能以使系统在崩溃或掉电 重启后能迅速恢复文件系统的一致性和完整性，进一步提高n a s 的可用性。此外， 文件系统还应具有快照( s n a p s h o t ) 功能【2 9 1 ，快照不但能恢复被用户错误修改或删除的 文件，而且能实现备份窗口为零的文件系统活备份。 网络文件共享1 3 0 j 一般支持以下一些文件传输和共享协议，如f t p 和h t t p 协议、 u n i x 系统的n f s ( n e t w o r k f i l es y s t e m ) t 孔i 、w i n d o w s 系统的c i f s ( c o m m o ni n t e r n e t f i l e s y s t e m ) 1 3 2 l 、n o v e l l 系统的n c p ( n o v e l l c o r ep r o t o c 0 1 ) 、苹果系统的 a f p ( a p p l e a t a l k f i l ep r o t o c 0 1 ) 等，因此n a s 设备具有较好的协议独立性。n a s 服务 器端仅需简单配置就能支持w i n d o w s ，u n i x ，n e t w a r e ，a p p l e 或i n t r a n e tw e b f t p 等 客户的数据访问，客户端不需为此另外安装其他的软件。此外，n a s 设备可仿真成 为相应的w i n d o w s ，u n i x 或n o v e l l 服务器，对于不同类型的客户进行访问权限、用 9 华中科技大学硕士学位论文 户认证、系统日志、警报等的配置和管理。 w e b 管理提供给系统管理员个友好的界面，使之仅通过w e b 浏览器操作就能 远程监视和管理n a s 设备的系统参数，如：网络配置、用户与组管理、卷以及文件 共享权限等。用户只要拥有适当的管理权限，就可以在网络上的任何接入点的任何 操作系统平台上时n a s 设备进行管理。该模块与“瘦”服务器、存储专用等一起构 成了n a s 设备有别于其他服务器的主要特征。 2 2 s a n 体系结构的研究 s a n ( s t o r a g ea r e an e t w o r k ，存储区域网) 是种将磁盘阵列、磁带等存储设备 与服务器通过高速通道连接起来的专用子网。s a n 通常使用被称为光纤通道( f i b e r c h a n n e l ，f c ) 技术的串行s c s ii o 协议来传输高速i o 流。这样，一方面由于绕 过了传统网络的瓶颈而极大地提高了数据的i o 性能；另一方面，将传统d a s 结构 中存储设备为某个服务器专用的模式改进为由网络上所有的服务器共享模式，实现 了数据的高度共享。基于f c 构建的s a n 继承了f c 所有的优点，将通道技术和网络 技术引入存储环境中，提供了一种新型的网络存储解决方案，能够同时满足吞吐率， 可用性、可靠性、可扩展性和可管理性等方面的要求3 3 ，3 4 l 。s a n 的推出真正实现了 存储系统的高速共享，并使服务器和存储器之间的连接方式发生了根本性变革。 一个典型的s a n 的拓朴结构如图2 2 所示： 磁盘阵列磁带库j b o d 图2 2s a n 的拓朴结构 1 0 华中科技大学硕士学位论文 s a n 通常由以下几个部分组成： ( l ) 存储设备，包括f c 磁盘或磁盘阵列、磁带机和磁带库： ( 2 ) 服务器； ( ：3 ) 连接设备，包括交换机、集线器、网桥、接口适配器和线缆( 铜缆和光缆) 等： ( 4 ) 存储管理软件，包括数据共享、网络结构、数据保管和数据备份、数据交 换、群集、数据保护和灾难恢复等功能模块。 s 州的优势集中体现在以下几个方面： ( l ) 在高可用性方面，当部署了s a n 的服务器群集后，单台服务器上所出现的 故障不再意味着数据的不可用或丢失，另一台服务器可通过s a n 存取故障服务器中 的数据。许多厂商的软件产品可以使服务器的故障得以恢复。光纤通道s a x 将能够 通过多台服务器实现对公共存储设备的平等存取，确保数据的随时可用。在服务器和 存储设备之间提供冗余的数据路径，有助于确保数据的高可用性。冗余的数据路径町 通过向每台服务器配备两个光纤通道h b a ( h o s tb u sa d a p t o r ，主机总线适配器) 得 以实现。其中个h b a 作为主数据路径附接于光纤通道集线器或交换器上，另外一个 作为辅助数据路径附接t ：第二个光纤通道集线器或交换器上。存储阵列通常拥有蔓、 辅两个光纤通道连接器。如果李光纤通道出现故障，另一个通道能够接管。弓冗余的 数据路径和服务器群集软件相结合，一台服务器或一条数据路径j ：的故障将不会中 断系统的运行，因为另台服务器或另一条数据路径随时处于备用状态。 ( 2 ) 在容灾方面，s a n 可提供在多个服务器和多个存储设备的环境中两两之 间的任意逻辑连接，它可以创建一个能够被多个服务器通过多条路径任意访问的存 储库，形成高可用的容灾环境：在主机服务器及其连接设备之间的连接依赖十，f c 的高存h 二每和远距离( 可达t 5 0 公里以上) 的特性。 ( ：；) 在可管理性方面，s a n 中的存储设备即使是被分散配置在分布式网络中， 也r ，r 喇个单的倚理丁具集中地管理起来o i 。对姒传输的管腰是= i 户选择光纤 通道产【i 的一个关键的性能指标。s a n 管理工具( 例如v ix e l 的s a x fn s i t e ) 口r 以前瞻 怍：地孤、z 旧传输过程中所m 观的问题，并自r 使系统继续l e 常运行。先进的珍断i 年 性能监视工具可帮助管理员使s a n 的无故障时间达到最大化，维扩用户对数据的止 华中科技大学硕士学位论文 常存取。把s a x 管理程序集成于更高水平的管理框架( 例如c a 的u n i c e n t e r 、h p 的 ) p e n v je w 和l _ r k l n s o f t 的f i b r e x e t ) ，可以提供对所有网络部件的企、止级管理。 ( 4 ) 在可扩展性方面，s a y 的体系结构使得服务器可以访问s a 、中的任何一个 存储设备，因此用户可以自由增加磁盘阵列、带库和服务器等设备，使得整个系统 的存储空间和处理能力得以按客户需求变化而不断扩展。而且在部署新的存储设备 时，地域的选择很灵活，高可用性和故障切换环境可以确保更低的成本、更高的应 用水平。 ( 5 ) 在备份方面，通过把服务器、存储阵列以及磁带子系统与光纤通道s a n 相 连，备份数据流可以不经过l a n ，从而使l a n 摆脱了用户网络流量的重负，这被称为 解脱局域嘲( l a x t e e ) 的备份。由于可提供2 0 0m b p s 乃至更高的带宽，所以光纤通 道能够很容易地提供对多磁带备份流的支持。另外，由于备份数据流是7 s c s i 一： 格 式的，所以写向磁带的数据块比i p 包的数据流更为有效。 此外，在网络设备的支持下，还可以利用s a n 实现无服务器( s e r v e r l e s s ) 方式 的备份。尢服务器的备份是把服务器排除在数据路径之外，并使数据能够直接从磁盘 转向磁带。这一功能是由一个第三方拷贝代理完成的。第三方拷叭代理是一种软、 硬件结合的产品，并可驻留在“光纤通道- s c s i ”路由器或光纤通道交换机中。第三 方拷贝代理能够从服务器上获得当前文件系统的一个快照，然后开始从磁盘上读取 数据块，并将它们写入磁带。旦获得当前文件系统结构的个快照，服务器将不再 动参与数据备份过程，因而可在数据备份进行的同时，自由地服务于用户的其他清 求。集中式存储备份的高性能、数据一致性和高可靠性可以确保关键数据的安全【3 “。 尽管有着以上诸多的优势，但实施和维护s a 、所需的高昂成本导致s a x 仪在 唑人型朋户年u 运行关键任务的行业用户中得到应用，具体说来，有以下三二个斟索导 致s a n 的高成本： ( 【) 光纤通道设备的互操作性差： ( 2 ) 采用光纤通道技术的系统造价非常昂贵； ( 3 ) 管理基于光纤通道技术的s a n 非常昂贵，包括管理软件、专业人员、技术 支持和升级的费用。 华中科技大学硕士学位论文 2 3 网络存储的数据备份与恢复 2 3 1 数据备份恢复的主要技术 备份是增加数据可用性的基本方法，备份不仅仅是拷贝数据，更重要的是要解 决何时、何地，采用何种方式拷贝何种数据到何种设备上，以及如何恢复等一系列 问题。在选择备份介质以及采用何种技术备份的时候要注意，备份最忌在备份过程 中因介质容量不足而更换介质，因为这会降低备份数据的可靠性。因此，存储介质 的容量在备份中具有压倒一切的重要性。另一方面，备份的目的是为了防止偶尔发 生意外事故从这个意义上来讲，对备份数据的存取速度通常不是最重要的因素1 1 2 l 。 通常来说，有全备份、增量备份、差分备份三种备份解决方案可供选择，用户 可以有针对性地完成备份工作，从而确保数据的安全。 全备份就是每次都用一盘磁带对整个系统进行完全备份，包括系统和数据。这 种备份方式的好处就是很直观，容易被人理解，而且当发生数据丢失时，只要用一 个磁带集，就可以恢复备份前的的数据。然而它也有不足之处，首先由于频繁地对 系统进行完全备份，备份数据中有大量重复数据，这造成时间上( 备份的持续时间) 和空间上( 存储介质的空间) 的浪费。 增量备份就是每次备份的数据只是相对于上一次备份后新增加的和修改过的 数据。这种备份的优点很明显，没有重复的备份数据，既节省了磁带空间，又缩短 了备份的时间。但它的缺点在于当发生灾难时，恢复数据的过程比较麻烦。 差量备份是每次备份的数据是相对于上一次全备份之后增加的和修改过的数 据。例如，管理员先在上周末进行一次系统完全备份，然后在接下来一周的每个工 作目里，管理员将当天所有与星期一不同的数据( 新的或经改动的) 进行备份。这 样，到了星期四，差量备份将包括从星期一到星期四的所有增量数据。差量备份在 避免了前面两种策略缺陷的同时，又拥有其优点。首先，它无需每天都做系统完全 备份，因此备份所需要耐间短，并节省磁盘空间。其次，它的灾难恢复很方便。系 统管理员只需要两个磁带集，即上次全备份的磁带与灾难发生前一天磁带，就可以 将系统恢复。 华中科技大学硕士学位论文 与备份相对应的是数据恢复，以上的分类方法同样适用于数据恢复。虽然备份 是恢复的前提，但恢复却不仅仅是备份的一个简单的逆过程。恢复比备份更复杂， 常常给管理员带来更多的问题。大部分备份操作都是自动执行，无须照管，而恢复 操作却不同，经常是手工作业，管理员需要选择恢复的数据实体，也可能需要选择 恢复数据存放的介质。常见的恢复操作类型有： 完全恢复、文件或数据库表的恢复、重定向恢复。 1 完全恢复过程 全盘恢复一般应用在服务器发生意外灾难导致数据全部丢失、系统崩溃或是有 计划的系统升级、系统重组等，也称为系统恢复。 2 恢复文件、表以及其他对象 通常，个别文件恢复要比全盘恢复常见得多，利用网络备份系统的恢复功能， 我们很容易恢复受损的个别文件。只需浏览备份数据库或目录，找到该文件，触发 恢复功能，软件将自动驱动存储设备，加载相应的存储媒体，然后恢复指定文件。 3 重定向恢复 重定向恢复是将备份的文件恢复到另一个不同的位置或系统上去，而不是进行 备份操作时它们当时所在的位置。重定向恢复可以是整个系统恢复也可以是个别文 件恢复。重定向恢复时需要慎重考虑，要确保系统或文件恢复后的可用性。 2 3 2 基于网络存储的备份系统 备份系统必然