（计算机系统结构专业论文）基于弹性分组环的存储扩展关键技术研究.pdf

华中科技大学硕士学位论文 摘要 随着网络技术应用的不断发展和普及，互联网上数据量正在呈爆炸式的增长， 需要越来越大的存储设备。相对于直连存储而言，网络存储技术在可靠性、扩展性 和性能等方面具有明显的优势，因此得到了广泛的应用。同时，为了防止由于人为 或自然灾害对数据造成的破坏，提高数据的可用性，往往借助于广域网技术把分布 在异地的存储连接起来，并通过广域网络将数据备份到异地存放。 在分析网络存储技术特点的基础上，对目前常见的基于口、基于s o n e t ( s y n c h r o n o u so p t i c a ln e t w o r k ，同步光纤网) 和基于w d m ( w a v e l e n g t hd i v i s i o n m u l t i p l e x i n g ，波分复用) 的三种存储扩展的工作原理和技术特点进行了分析。结果 表明，对于长距离的存储扩展应用而言，基于口、基于s o n e t 和基于w d m 的存 储扩展均不是理想的高性能价格比的解决方案，于是人们开始从新的广域网络技术 中探求适合于存储扩展的网络技术。 弹性分组环( r e s i l i e n tp a c k e tr i n g ，简称r p r ) 是一项新兴的城域网二层接入 标准。它集合以太网的高效性、经济性和s o n e t s d h 光纤环网的可靠性于其一身， 以分组网络为基础，是新一代城域网组网的发展趋势，可用以平稳地向光网络过渡， r p r 的这些技术特点非常适合长距离的存储扩展应用需求。 对r p r 的协议和网络体系结构、工作原理、队列技术、环网保护机制以及以 及带宽利用率等方面进行分析和研究，在此基础上，设计了基于r p r 的存储扩展 方案，并利用网络仿真软件o p n e t 对基于r p r 的存储扩展进行了仿真。仿真结果 表明，r p r 能为存储扩展提供基于网络流量的动态带宽分配机制以及快速的故障自 愈能力，特别适合于长距离的存储扩展应用需要。 关键词：存储区域网，扩展，弹性分组环，仿真分析 华中科技大学硕士学位论文 a b s t r a c t w i t ht h eu n c e a s i n gd e v e l o p m e n ta n da p p l i c a t i o no fn e t w o r kt e c h n o l o g y , t h ed a t ai n i n t e r a c ti si n c r e a s i n ge x p l o s i v e l ya n dn e e db i g g e ra n db i g g e rs t o r a g ee q u i p m e n t r e l a t i v e t od i r e c ta t t a c h e ds t o r a g e ，n e t w o r ks t o r a g et e c h n o l o g yh a sv i s i b l es u p e r i o r i t yi nt h ew a y o fr e f i a b i l i t y , e x p a n s i b i l i t ya n dp e r f o r m a n c ea n db r o a da p p l i c a t i o n s a tt h es a m et i m e ，t o p r e v e n td a t a sa r t i f i c i a lo rn a t u r a ld e s t r o ya n di m p r o v ed a t a su s a b i l i t yw a nt e c h n o l o g y i su s e dt oj o i nt h ed i s t r i b u t i n gs t o r a g ee v e r y w h e r ea n db a c k u pd a t ai no t h e rp l a c e s o nt h eb a s i so fa n a l y z i n go fn e t w o r ks t o r a g et e c h n o l o g y sc h a r a c t e r i s t i c s ，t h e p r i n c i p l e sa n dc h a r a c t e r i s t i c so fi p b a s e d , s o n e t - b a s e da n dw d m - b a s e ds t o r a g e e x t e n s i o na r ea n a l y z e d t h er e s u l t si n d i c a t et h r e eo ft h e s ea r e n tp e r f e c th j g hp o w e ra n d l o wp r i c ep r o j e c tt ot h ea p p l i c a t i o no fl o n gd i s t a n c es t o r a g ee x t e n s i o n s ot h ep e o p l e b e g i nt oh u n ta f t e rn e t w o r kt e c h n o l o g yt h a tf i tf o rs t o r a g ee x t e n s i o nf r o mt h en e ww a n t e c h n o l o g i e s r p ri san e w l a y e r 2a c a t e s st e c h n o l o g yf o rm a n r p r , i n t e g r a t e dt h ea d v a n t a g eo f e t h e r n e t sh i g h e f f i c i e n c ya n de c o n o m yw i t ht h es o n e t s d hf i b e rr i n gn e t w o r k s r e l i a b i l i t y , i sas h i n i n gt e c h n o l o g yf o rm a na n d 伽b eu s e de f f i c i e n t l yf o ro p t i c a l n e t w o r k t h ep r i o r i t i e so fr p ra r eh i g h l yf i tt h ea p p l i c a t i o nr e q u i r e m e n to fl o n gd i s t a n c e s t o r a g ee x t e n s i o n b a s e do nt h ea n a l y s ea n dr e s e a r c ho fr p r sp r o t o c o l ，n e t w o r ka r c h i t e c t u r e ， p r i n c i p l e , q u e u et e c h n i q u e ，r i n gn e t w o r kp r o t e c t i o ns c h e m e sa n db a n d w i d t hu t i l i z a t i o n ， t h ep r o j e c to fs t o r a g ee x t e n s i o nb a s e do nr p ri sd e s i g n e d t h e ns i m u l a t i o nm o d e lt o r p r - b a s e ds t o r a g ee x t e n s i o ni ss e tu pb yu s i n gt h en e t w o r ks i m u l a t i o ns o f t w a r eo p n e t t h es i m u l a t i o nr e s u l t ss h o wt h a tr p rc a np r o v i d en e t w o r kt r a f f i c - b a s e dd y n a m i c b a n d w i d t hd i s t r i b u t i n gs c h e m e sa n dh a sr a p i df a i l u r er e c o v e r yc a p a b i l i t yt os t o r a g e e x t e n s i o n ，e s p e c i a l l yt ot h ed e m a n d s o fl o n gd i s t a n c es t o r a g ee x t e n s i o na p p l i c a t i o n k e y w o r d s ：s t o r a g e a r e an e t w o r k ，e x t e n s i o n ，r e s i l i e n tp a c k e tr i n g , s i m u l a t i o na n a l y s i s n 独创性声明 磁0 1 7 6 4 s 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的研究成果。对本人的研究做出贡献的个人和 集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承 担。 学位论文作者签名：基麦之 日期：如形年fc ) 月加日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库迸行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于保密口， 在年解密后适用本授权书。 不保密a 。 ( 请在以上方框内打“”) 学位论文作者签名：当、毳钆 日期：2 ，硝年l 。月硼日 指导教师签名： 日期：如肄， 华中科技大学硕士学位论文 1绪论 互联网上数据通信量正在呈爆炸式的增长，采用存储扩展技术来备份重要数据 正成为政府部门和各类企业不得不面对的问题，而局域网或企业网和广域网之间起 链接作用的城域网由于技术原因却成为了一个瓶颈，阻碍了数据业务的发展。作为 一种新兴的城域骨干网技术，弹性分组环( r e s i l i e n tp a c k e tr i n g ，简称r p r ) 为光网 络的接入带来了新的变革【1 1 。 1 1 存储网络概述 自2 0 世纪后期以来，现代政府和企业网络中的信息量持续地急剧增长，信息技 术的广泛应用成为2 1 世纪生产力发展水平的重要标志 数据作为信息的基本存在形式，在现代信息系统中处于核心地位，数据作为重 要的财富受到越来越受到广泛的关注。数据的使用方式和传送结构正发生着深刻的 变革。而在数据的采集、存储、加工和运用等各个环节中，数据的存储技术是一个 支撵全局的基础性环节。 伴随网络技术的快速发展，附网存储( n e t w o r k a t t a c h e ds t o r a g e ，简称n a s ) 、 存储区域网络( s t o r a g ea r e an e t w o r k ，简称s a n ) 和i s c s i ( i n t e m e ts c s i ) 技术 应运而生【2 1 。n a s 模式建立在原有t c p i p 网络的基础上，实施过程较为简便，可 以较为迅速地增加存储容量并提升数据共享能力，为初步改造企业存储模式提供了 一条较为便捷的途径。i s c s i 是一种基于腰网络的数据块级的数据传送协议，它能 够通过口网络传输包含s c s i 命令和s c s i 数据包的数据块，从而实现远程异地访 问。s a n 则独立于传统网络之外，以高效率的光纤通道技术为存储建立专门的网络。 以s a n 为代表的存储网络具有现代数据存储所需要的高容量、高速度、高可用性、 高可扩展性、集成性、远程虚拟存储等特性，成为人们解决存储宽带、容量和存储 管理问题的首选方案之一越来越多的政府部门和企业建立了基于s a n 的数据中 一i ) j 3 - 5 1 。 因为数据的集中存放具有便于管理和使用的优点，但同时也存在重大的数据安 全隐患。无论是雷电袭击、地震、火灾、洪水等自然灾害，还是病毒感染、黑客入 侵和恐怖袭击等人为破坏都有可能导致海量数据的损坏和丢失。为此，很多企业制 华中科技大学硕士学位论文 定了灾难恢复计划，即采用存储扩展技术，在距离主数据中心一定距离的另一个地 方再建立一个备份数据中心，并将重要的数据信息复制到备份数据中心，当主中心 的数据被破坏时，再将处于备份中心的数据恢复到主数据中心，以保证业务的连续 运行。 1 2 基于r p r 的存储扩展关键技术的提出 9 1 1 事件中，美国纽约世贸中心遭受恐怖分子袭击，双子楼的倒塌给很多处于 该楼内的企业数据带来了毁灭性的破坏，而该楼顾主之一的摩根斯坦利却宣布，由 于他们利用了精心构造的远程容灾系统，已将公司在该大楼数据中心的数据备份到 几英里之外的另一个数据中心，所以大楼倒塌后，他们及时将所有的服务转移到备 份中心，事后第二天他们公司就转入了正常的工作状态。 9 1 1 事件再次激发了企业对数据安全的兴趣，2 0 0 2 年美国企业管理联盟协会对 企业r r 管理人员最关系的热点问题的调查。图1 1 是这次调查的结果。 图1 1 所示的调查结果显示，有3 3 的企业r r 管理人员对自己企业数据的灾难 恢复表现出极大的关注。 企业i t 管理所关心的热点问题 安全性 冗余 大量数据突发性 高成本 灾难恢复 可用性可靠性 其它 没有特别关心的问题 拒绝回答 毳一 1 7 殇 3 3 1 0 1 5 9 i j 1 图1 12 0 0 2 企业i t 管理所关心的热点问题调查 我国也有很多重要的信息系统，例如银行、电信、保险、证券等企业都有自己 的数据中心，存储了大量关键的金融数据，这些数据的安全不仅影响这些企业的效 益，更为严重的是还会危及到社会的稳定。即使不会发生类似9 1 1 这样的恶性事件， 2 华中科技大学硕士学位论文 断电、火灾、系统故障甚至人为操作的不当也都可能造成关键数据的丢失，采用存 储扩展技术来备份重要数据，正成为各类企业不得不面对的问题。 网络存储用于解决企业的数据存储问题，其中的主流技术是s a n 技术。存储网 络被视为第三次r r 革命浪潮f 2 l 。伴随着光以太网以及口数据业务的快速发展，这就 需要一个高速的城域网或广域网把它们连接起来。对于建一个好的m a n 来说，有两 个要求：首先，要有一个价格合理的、扩展性好的解决方案来适应不断膨胀的口流 量和光纤带宽的增长；其次，要有新的通用功能部件和技术来满足现有的需要。但 传统的城域网和广域网是为使用s o n e t ( s y n c h r o n o u so p t i c a ln e t w o r k ，同步光纤网) 电路交换的话音和视频而设计和优化的。在传统的电路交换网络上传输数据已被证 明不是有效的方法，该方法复杂而且昂贵。 口领域很早就认识到了环形网络结构的价值，并已在这方面作了大量努力，发 展了象令牌环和光纤分布数字接口( f d d i ) 这样的解决方案；但这些方案却无法满 足口流量和光纤带宽增长的需要，也无法满足在拥塞情况下维持高的带宽利用率和 转发量、保证节点间的平衡、迅速从节点或传输媒体故障中恢复、可即插即用等口 传输和业务传递发展的需要。因此，像令牌环和f d d i 这样的环形网并不适合用于城 域网。服务提供商和企业需要一种扩展性好、能够健壮地应用在城域网和广域网上、 以千兆的速度传输口信息包的技术。 因此，为优化在环形拓扑上数据包的传输，面对今天互联网上呈爆炸式增长的 数据通信量，一种全新的口承载技术r p r 技术应运而生。光以太网r p r 技术【6 】， 它使r p r 环上的设备共享环上的所有或部分的带宽，优化了在t a n 、m a n 和w a n 拓扑环上数据包的传输。该技术一方面吸收了以太网技术的优点，经济、灵活、扩 展性好；另一方面兼容s d h 的优点，如对延时和抖动性能严格保障、可靠的时钟和 快速保护功能等，适合城域网骨干层、汇聚层的组网等。也就是说，光以太网r p r 综合了以太网和s d h 的优点，它定义了一个独立的物理层弹性分组环媒介访问 控制层，该标准将帮助网络设计者设计网络时不必依赖特定厂商的设备，该标准将 给各个厂商提供互通性，从而增加竞争，降低用户的投资。它提供了一个双环结构， 在环上传送反方向的信号，并提供保护，它解决城域网中大量使用的环技术中的多 业务传输问题，而以太网解决了点到点传输的问题 7 - 9 。 r p r 技术就是要在城域网和广域网中提出一个新的媒介访问控制层，以延伸现 在广泛采用的以太网。它在终端用户服务方面和以太网协议兼容，r p r 补充终端用 户以太网业务，它提供一个有效的传输协议，使多位用户的以太网原始数据在城域 网上传输。r p r 标准提供1 1 0 l ： 华中科技大学硕士学位论文 ( 1 ) 空间重用：允许多个信息在环上同时发送。 ( 2 ) 当环或节点失效时，高速度的网络恢复( 小于5 0 m s ) 。 ( 3 ) 在单个光通道上通过统计复用有效地利用光纤带宽，为不同业务动态地分 配带宽。 ( 4 ) 提供基于分组交换的网络，对面向连接的电路交换业务进行简化和降低成 本。 r p r 是一个高效的优化协议，可以在环网上传输口数据业务，同时提供小于 5 0 m s 的保护倒换【1 1 】。r p r 将充分应用到城域网和广域网中，提供高速、可靠的园区 网和数据中心的连接。r p r 还可以运行在s d h 上，r p rm a c 和第1 层是独立的， 它可以在标准的以太网物理层和s d h 帧传输上运行。r p r 一个很大的应用就是应用 在s d h 环物理层上，另一个就是以太网物理层。r p r 实际上是对s o n e t f s d h 和以 太网的补充。s o n e t s d h 分为独特的两层：静态的时分复用层和监视映射层。r p r 用统计的分组交换代替静态的时分复用，用于控制从环或s d h 传输层上的节点上下 流量，同时提供小于5 0 m s 的恢复保护。 目前通信运营商的竞争重点已经从骨干网转向了城域网，建立经济、高效、支 持多业务的城域传送网己成为各大运营商的共同目标。r p r 作为城域光学网中的新 技术，诞生之初就受到业界的广泛关注，2 0 0 0 年1 2 月i e e e 成立了r p r 工作组( m e e 8 0 2 1 7w g ) 负责制定与之相关的标准，这是业界第一次基于分组业务优化城域网体 系结构。而r p r 作为以太网的低成本、同步数字系列的可靠性和异步传输模式 ( a s y n c h r o n o u st r a n s f e rm o d e ，简称a t m ) 的多业务及服务质量( q u a l i t yo f s e r v i c e ， 简称q o s ) 三者完美的结合体，通过使用环结构，实现带宽的共享与保护，已经逐 渐走进城域传送网领域，并成为热点之一。 1 3 国内外概况和预测 2 0 0 0 年1 2 月i e e e 成立了r p r 工作组，负责制定弹性分组环的相关标准。并于 2 0 0 2 年2 月发布p 8 0 2 1 7 d r a f t 0 1 ( 即推出r p r 标准的第一个草案) ，开始了讨论修 订。在2 0 0 4 年4 月向i e e e8 0 2 委员会提交最终版本的草案d 3 3 ，通过投票，2 0 0 4 年6 月已经成为正式标准，并且对外发布。 r p r 技术在2 0 0 1 年一经提出，就名列世界1 0 大电信热点技术之一，在2 0 0 2 年 更被评为世界1 0 大电信热点技术之首。近三年来，r p r 技术一直是设备制造商和运 营商关注的熟点技术之一。国内外众多的设备制造商，包括中兴、华为、烽火、络 4 华中科技大学硕士学位论文 明、上海贝尔、阿尔卡特等都推出了相关的产品。在中国的几大运营商中，中国网 通最先大规模采用r p r 技术组网。目前，中国网通已在上海、大连、广州、南京、 嘉兴、泉州、绍兴、湖州、绵阳、佛山、顺德等地部署了3 0 0 多个r p r 节点。此外， 中国移动在江西赣州也组建了r p r 城域网。 r p r 技术有两类实现方案：纯r p r 方案和内嵌r p r 的m s t p ( m u l t i - s e r v i c e t r a n s p o r tp l a t f o r m ) 方梨协川。纯r p r 方案更适合于数据业务，它的带宽利用率高， 但组网不够灵活，最重要的是纯r p r 设备目前难以实现与s d h 设备的无缝连接。 内嵌r p r 的m s t p 方案在帧结构与光接口上仍然采用s d h 的标准，它的效率略低 于纯r p r 方案，但它最大的优点在于对多种业务的支持，以及对s d h 设备的兼容 方面。 目前，作为一种针对资料业务优化的技术，弹性分组环主要用于升级接入环网 以延长现有s o n e t s d h 网络的生命周期i 堋。在大多数实际应用中，弹性分组环主 要用于s o n l 1 ，s d h 传送平台之上，与s o n e t s d h 边缘和核心设备集成在一起， 在接入环网中同时传送t d m 和分组数据业务。 s d h 作为t d m 通道，对分组业务的支持较差，资源利用率不高，用其组建城 域网结构较复杂，很难做到带宽共享；a t m 虽然在q o s 等方面有一定优势，但其技 术的复杂度导致了昂贵的价格和较高的信元开销，并且与网络的讲化发展不相一致； 以太网技术作为一种廉价、相对简单的技术，虽然广泛应用于局域网中，但其缺乏 有效的o o s 、网络恢复与保护以及网管机制，远远不能满足电信运营的需要。而r p r 技术则结合了s d h 与以太网技术的优势，通过使用环结构，实现带宽的共享与保护。 在城域网不同层次，r p r 技术都可以较好地得到应用。r p r 技术应用于接入层 时，业务流经过r p r 网到达广域网，带宽可以完全共享、保护通道平时也可以传输 业务、带宽利用率以及站点公平性好、配置非常简单、故障定位方便；r p r 技术应 用于接入层时，r p r 环拓扑的特点可以用来实现大汇聚比的以太网业务，基本不受 e o s 方式下系统方向的限制。此外，因r p r 的a 、b 类业务能够提供保证带宽，通 过用户组分类功能可以实现v p n ，并且有着更好的线路利用率和更低的成本。 从当前网络应用范围来看，内嵌r p r 的m s t p 适用于建设以目前t d m 业务和 数据业务并存的网络以及在兼容现有s d h 网络的前提下提供数据业务传送能力的网 络升级改造；纯r p r 设备适用于建设以提供数据分组业务为主的运营商网络。 随着r p r 标准化以及在m s t p 标准中地位的确立，相信r p r 的跨环组网能力、 组大网能力将追随m s t p 成长的足迹，会有进一步的突破。 5 华中科技大学硕士学位论文 1 4 研究的目的和意义 存储扩展具有非常广泛的应用前景，除支持远程容灾外，它还能支持下列典型 存储应用：通过远程磁带备份实现数据归档。通过远程磁盘镜像实现冗余。 连接信息孤岛，实现跨远距离的数据块级存储共享对分布式存储进行集中管理， 优化人力资源和设备投资。这些应用的显著特点是在s a n 中增加了距离因素，距离 的增加必将对s a n 的性能产生影响，如何合理选择存储扩展连接技术，既满足不用存 储应用对距离的需求，又能保持存储区域网的高速特性成为存储扩展的关键。 存储扩展需要需要一个高速的m a n 或w a n 把存储设备连接起来，目前常用的 存储扩展网络连接技术有i p 、s o n e t s d h 和w d m 等技术以太网口数据采用尽 力传送的机制，是现在广泛采用的局域网技术，具有很好的扩展性，很适应现在的 突发性数据业务，但是，服务质量没有保障，保护倒换的能力也很差。s d h 设备具 有小于5 0 m s 的倒换时间，有多种保护方式具有良好的q 0 s 但是s d h 采用的是 固定传送带宽，传送i p 数据业务的效率不高，造成很大的浪费，s d h 对数据业务的 传送不是最佳的选择，因此，传统的s d h 技术无法适应数据业务大量增长的市场需 求。另外，城域w d m 由于仅提供透明的传输通道而无法成为城域网的主流；因此， 寻求既能满足大量数据业务传输的需求，又能避免传统s d h 弱点的新型传输技术，就 成为城域网解决方案的重中之重，r p r 就是适应这种需求的最重要技术之一。 光以太网r p r 综合了以太网和s d h 的优点，它定义了一个独立的物理层一弹性 分组环媒介访问控制层，该标准将帮助网络设计者设计网络时不必依赖特定厂商的 设备，该标准将给各个厂商提供互通性，从而增加竞争，降低用户的投资。它提供 了一个双环结构，在环上传送反方向的信号，并提供保护，它解决城域网中大量使 用的环技术中的多业务传输问题，而以太网解决了点到点传输的问题。 本课题结合光网络及城域传送网领域，研究适合于f c s a n 扩展的r p r 技术， 进行系统仿真建模和性能分析。研究的意义在于通过对目前存储扩展应用中面i 临的 关键问题进行研究，为企业的远程容灾和数据恢复提供高性价比的解决方案。 1 5 课题主要研究工作 1 5 1 研究设想及方法 本文研究的重点是基于r p r 技术的存储扩展的设计与实现。其研究目的就是研 华中科技大学硕士学位论文 究基于r p r 的远程存储扩展的性能分析。研究的实际意义在于通过对目前存储扩展 应用中面临的关键问题进行研究，为企业的远程容灾和数据恢复提供高性能价比的 解决方案。 利用城域网解决方案的重中之重就是寻求既能满足大量数据业务传输的需求，又 能避免传统s d h 弱点的新型传输技术，我们提出了适应这种需求的最重要技术之一 的弹性分组环技术。光网络的r p r 技术综合了以太网和s d h 的优点，它定义了一 个独立的物理层一弹性分组环媒介访问控制层，该标准将帮助网络设计者设计网络 时不必依赖特定厂商的设备，该标准将给各个厂商提供互通性，从而增加竞争，降 低用户的投资。它提供了一个双环结构，在环上传送反方向的信号，并提供保护， 它解决城域网中大量使用的环技术中的多业务传输问题，而以太网解决了点到点传 输的问题。所以r p r 就成为构建具有容灾功能的存储扩展系统，以满足更高级别的 应用要求的首选方案。 本文计划首先从理论技术角度分析基于r p r 的存储扩展的应用背景，提出其功 能要求：然后根据需求，进行理论分析，给出其硬件平台设计，并在此基础上进行 了r p r 的网络仿真的设计与实现，并进行性能分析和模拟测试，给出实验结果和分 析结论；最后对课题的研究进行总结，指出尚需进一步完善与探讨的工作。 1 5 2 本文的主要内容及结构安排 本文分为5 章，结构安排如下： 第2 章将首先研究网络存储技术在存储系统中的地位，分析其所应满足的功能 要求，分别对几种主流网络存储技术进行了详细地介绍，并加以分析和比较；然后 介绍和分析了城域网上的存储区域网的广泛应用；在此基础上研究了在城域网上扩 展存储区域网的几种主流技术，并加以比较；最后进行小结。 第3 章将深入研究r p r 协议的体系结构，分析r p r 的网络结构、工作原理、队 列技术以及故障自愈等方面的内容；在此基础上说明r p r 在存储扩展系统结构中的 地位以及所起作用；最后进行小结。 第4 章将对r p r 的几项关键技术，根据需求，进行了基于r p r 的存储扩展的总 体架构设计；然后运用o p n e t 网络仿真软件进行实验，进行性能的模拟测试，以 验证对r p r 性能的理论分析；最后对分析结果进行总结。 第5 章将会进行全文总结和后续工作的说明。 7 华中科技大学硕士学位论文 2 网络存储及存储扩展技术分析 i n t e m e t i n t r a n e t 以及其它网络上的信息资源以爆炸式增长，通过网络传输的信息 量不断膨胀，对网络高频率的数据访问、视频会议、多媒体邮件、视频点播以及数 字电视等相关的各种应用飞速发展，这些都迫切需要大容量、高性能的存储设备 存储网络化是存储技术的发展趋势。 2 1网络存储技术的发展 在网络存储技术出现之前，企业解决数据存储问题是通过集成许多服务器，每 个服务器都有专门的存储系统与之相连的方式来实现的，这种方式被称为直连存储 ( d i r e c ta t t a c h e ds t o r a g e ，简称d a s ) 1 1 6 。直连存储是一种以服务器为中心的传统 的存储结构，它是一种总线型结构，各种存储设备通过诸如i d e 或s c s i 等i 0 总线 与服务器相连，用户在客户端通过网络，再经过服务器访问存储设备。d a s 有很多 优点：存储安全由服务器承担，用户不必担心所存信息的安全；由于有直接连接设 备到服务器的总线，所以能充分利用服务器的高性能来完成用户的f o 操作。传 统服务器在网络中的应用模型如图2 1 所示。 图2 i 传统网络服务器模型 d a s 也存在一些不足；d a s 存储方式难以满足现代存储应用大容量、高性能、 动态可扩展等要求。由于存储系统附属于服务器，受服务器总线技术的限制，d a s 的可扩展性差，一个服务器只能连接有限的存储设备。主机的带宽限制。虽然计 算机技术的发展使主机总线带宽大为增加，但是仍赶不上现代存储应用对带宽的要 求。主机的内存容量限制。由于主机的内存容量有限，当有连续的大量数据访问 请求时，主机的内存容量将很快达到饱和，而不能处理剩下的数据传输请求。文 件系统的管理开销也会增加数据访问时间。 随着网络存储技术的兴起，存储区域网络、网络连接存储和i s c s i 协议带来了 更加动态的技术概念。网络存储技术利用传统的存储设备和网络设备实现网络存储 功能，构造出能够直接被网络访问的网络存储设备，如图2 2 所示。 8 华中科技大学硕士学位论文 图2 2 网络存储设备服务器模型 网络存储( 包括n a s 、s a n 和i s c s i ) 稳步发展的主要原因是受经济动力推动， 网络存储与直连存储相比较有着明显的优势降低了企业的总体拥有成本。特别 是在数据量不断增长的情况下，采用网络存储技术更加经济有效。 企业采用网络存储的主要原因有以下四个方面。 ( 1 ) 网络存储对资源的利用率赢 当存储器直接连接到某个服务器上时，除了那个服务器之外其他设备很难共享 资源，直连存储的磁盘利用率约为4 0 5 0 ，而s a n 或n a s 可以实现在多个服 务器之间共享资源，因此可以获得8 5 9 0 的利用率，公司还可以通过s a n 或 n a s 整合其存储资源并且获得更加精确的性能。图2 3 所示是不同存储技术的磁盘 利用率。 吾名吾 曰 图2 3 不同存储技术磁盘利用率的对比 ( 2 ) 网络存储的可管理性更好 ： 随着存储容量的增长，管理网络存储所需要的人员数量远远没有直连存储所需 要的人员增加快。根据i d c 的统计：当企业的存储容量为2 4 1 字节时，采用直连存 储需要1 8 个管理人员，而采用网络存储只需要2 人，每人管理1 2 t 字节。当企业的 整个存储容量增加到1 9 0 t 字节时，采用直连存储的管理人员将从1 8 人增：j d n 3 6 人， 而网络存储的管理人员仅从2 人增加到4 人。 9 华中科技大学硕士学位论文 ( 3 ) 网络存储的管理成本比直连存储低得多 所需管理人员的数量对成本支出有着关键性的影响作用。网络存储可以由很少 的人管理更大的存储容量，因此可以大大节约管理成本。图2 4 表明了三年内购买和 管理每兆字节存储容量的企业总拥有成本，直连存储的成本为8 4 美分，而网络存储 系统的成本是每兆字节3 7 美分，仅为直连存储的一半。 图2 4 存储系统的总体拥有成本比较 ( 4 ) 存储网络的其他优点 存储网络还有很多其他优点，如： 在部署和管理方面更加灵活： 能够更有效地按比例提高存储容量，由于企业将要面对的是不断增加的数据 存储要求，所以这一优点对许多公司来说是一个重要的决策依据； 方便了数据保护技术的使用，例如s a n 可以配置为提供自动数据路径故障切 换，从而可以延长关键的企业应用的正常运转时间： 基于s a n 的备份( 也称为无服务器备份) 使得数据的备份不受服务器或者局 域网的影响。 近年来，随着企业需要保存的信息量成倍增长，企业对存储的需求也逐步升级。 从图2 5 可以看出，全球网络存储市场正在逐步扩大，市场份额从2 0 0 1 年的3 1 9 逐步上升，到2 0 0 6 年将占7 0 。 从图2 6 可以看出，全球网络存储设备中的s a n 将成为市场中的主流。 存储软件的市场也被业界看好，根据i d c 公司在2 0 0 4 年6 月初公布的报告，全 球2 0 0 4 年存储方面的软件支出呈持续上升趋势，第一季度全球存储软件市场营业收 入达1 8 5 亿美元，比去年同期上升了2 3 3 。 1 0 华中科技大学硕士学位论文 2 1 1 附网存储 图2 5 网络存储所占的市场份额 图2 6 存储网络设备的市场规模 附网存储技术按照存储网络工业协会( s n i a ) 的定义：n a s 是可以直接连到网 络上向用户提供文件级服务的存储设割1 7 1 。n a s 是一种存储设备，有其自己简化的 实时操作系统，它将硬件和软件有机地集成在一起，用以提供文件服务。目前采用 的协议是n f s ( n e t w o r kf i l es y s t e m ) 和c i f s ( c o m m o ni n t e m e tf i l es y s t e m ) ，其中， n f s 应用在u n i x 环境下，最早由s u n 开发；而c i f s 应用在n r ，w i n d o w s 环境下， 是由m i c r o s o f t 开发。n a s 结构如图2 7 所示。n a s 的结构及采用的协议使得n a s 具有以下优点：异构平台下的文件共享。不同操作系统平台下的多个客户端可以 很容易地共享n a s 中的同一个文件。充分利用现有的i _ a n 网络结构，保护现有 华中科技大学硕士学位论文 投资。容易安装，使用和管理都很方便，实现即插即用。广泛的适用性。由于 基于i p e t h e m e t 以及标准的n f s 和c i f s ，可以适应复杂的网络环境。较低的总拥 有成本。 l 胪 u 血用户 l 用户l jj i c 毽i! n f s i l n a s 存储设备 图2 7 用户访问n a s 的结构 在实际应用中，n a s 存在的不足是：在文件访问的速度方面。n a s 采用的是 f i l ei ，0 方式。这带来巨大的网络协议开销。正是因为这个原因，n a s 不适合在对访 问速度要求高的应用场合，如数据库应用、在线事务处理。在数据备份方面。需 要占用l a n 的带宽，浪费宝贵的网络资源，严重时甚至影响客户应用的顺利进行。 在资源的整合和n a s 的管理方面。n a s 只能对单个存储( 单个n a s 内部) 设备 之中的磁盘进行资源的整合，目前还无法跨越不同的n a s 设备，难以将多个n a s 设备整合成一个统一的存储池，因而难以对多个n a s 设备进行统一的集中管理，只 能进行单独管理。 2 1 2i s c s i 技术 i s c s i 是一种基于口网络的数据块级的数据传送协议【2 , 1 6 1 。i s c s i 技术是一种由 m m 公司研究开发的，是一个供硬件设备使用的可以在坤协议的上层运行的s c s i 指令集，这种指令集合可以实现在口网络上运行s c s i 协议，使其能够在诸如高速 千兆以太网上进行路由选择。i s c s i 技术可以克服光纤通道存在的成本高昂和可互操 作性缺陷问题。i s c s i 技术是一种新储存技术，该技术是将现有s c s i 接口与以太网 络技术结合。使服务器可与使用口网络的储存装置互相交换资料。此技术不但价格 较目前使用的业界技术标准光纤信道( f i b r ec h a n n e l ，简称f c ) 来的低廉，而且系 统管理人员也可以用相同的设备来管理所有的网络，并不需要以另外的设备来进行 网络的管理。i s c s l 的工作原理如图2 8 所示。 华中科技大学硕士学位论文 数据或 翠冷 卜 $ c s i 奄令 图2 8i s c s i 的工作原理 尽管许多网络存储提供商致力于将s a n 中使用的光纤通道设定为一种实用标 准，但是其架构需要高昂的建设成本，这不是一般的企业所能够承受的。与之相对， n a s 技术虽然成本低廉，但是却受到带宽消耗的限制，无法完成大容量存储的应用， 而且系统难以满足开放性的要求。i s c s i 技术的使用在以上两者之间架设了一道桥 梁。虽然i s c s i 基于口协议，却拥有s a n 大容量集中开放式存储的品质。这一技术 对于一边要面对信息爆炸，另一边却身处“数据孤岛”的众多中小企业无疑具有巨大 的吸引力。i s c s i 技术是基于口协议的技术标准，实现了s c s i 和t c p i p 协议的连 接，对于以局域网为网络环境的用户，只需要不多的投资，就可以方便、快捷地对 信息和数据进行交互式传输和管理。 2 1 3 城域网上的存储区域网 存储区域网是一种利用f c 等互连协议连接起来的可以在服务器和存储系统之 间直接传送数据的存储网络系统。s a n 是一种体系结构，它是采用独特的技术( 如 f c ) 构建的、与原有l a n 网络不同的一个专用的存储网络，存储设备和s a n 中的 应用服务器之间采用的是b l o c ki o 的方式进行数据交换。s a n 结构如图2 9 所示。 圈2 9 用户访问s a n 的结构 s a n 具有很多优点： 高性能、高速存取。目前光纤通道可提供2 g b p s 的带宽，新的1 0 g b p s 的标准 华中科技大学硕士学位论文 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = ii = 也正在制定之中。 高可用性。网络用户可以通过不止一台服务器访问存储设备，当一台服务器 出现故障时，其他服务器可以接管故障服务器的任务。 集中存储和管理。通过整合各种不同的存储设备形成一个统一的存储池，向 用户提供服务，存储容量可以很容易地扩充。 高可扩展性。服务器和存储设备相分离，两者的扩展可以独立进行。 支持大量的设备，理论上具有1 5 0 0 万个地址。 实现l , a n h b a c k u p ，数据备份不占用带宽。 支持更远的距离，另外通过光纤通道网卡、集线器、交换机等互连设备，用 户可根据需要灵活地放置服务器和存储设备。 在数据库等其他面向事务处理的应用场合，s a n 的优势更加明显。 但是，在实际应用中，s a n 也存在着一些不足： 设备的互操作性较差。目前采用最早和最多的s a n 互连技术还是f c ，对于 不同的制造商，光纤通道协议的具体实现是不同的，这在客观上造成不同厂商的产品 之间难以互相操作。 构建和维护s a n 需要有丰富经验的、并接受过专f - j 田t l 练的专业人员，这大大 增加了构建和维护费用。 在异构环境下的文件共享方面，s a n 中存储资源的共享一般指的是不同平台 下的存储空间的共享，而非数据文件的共享。 连接距离限制在1 0 k i n 左右等。 更为重要的是，目前的存储区域网采用的光纤通道的网络互连设备都非常昂贵。 这些都阻碍了s a n 技术的普及应用和推广。 2 1 4 网络存储技术的分析与比较 n a s 和s a n 的思路不同。n a s 是在r a i d 的基础上增加存储操作系统的存储 设备，它能为网络上的应用和用户提供直接连到l a n 上的文件存储；而s a n 是独 立出来的一种专门的数据存储网络，与l a n 分离，使用光纤信道协议或者口来为 服务器和工作站提供块存储。n a s 体系结构既是s a n 体系结构的竞争对手也是s a n 体系结构的补充，两者均为高度优化的c l i e n t s e r v e r 结构，提供中央数据存储和有效 的文件存取，两者均可把高速光纤通道技术用于存储，通过r a i d 阵列以及冗余硬 件和软件组件为系统提供高可用性和数据的完整性。然而，这两种体系结构的根本 1 4 华中科技大学硕士学位论文 不同之处在于他们处理网络交通的方式。i s c s i 则是界于两者之间的一种存储方式， 它可直接接入以太网，适用于数据密集型l a n 应用。三者主要区别如表2 1 所示。 掌握n a s 、s a n 和i s c s i 的原理以及他们之间的联系和区别是合理选择网络存 储技术，构造存储系统的前提。 如何选择存储体系，取决于当前网络本身的结构、被共享的网络数据类型、应 用的类型以及对n a s 、s a n 和i s c s l 的特征和能力有必要的分析。 表2 1n s 、s a n 和i s c