（计算机应用技术专业论文）基于aoe的网络区域存储性能分析.pdf

摘要 作为计算机领域研究的热点问题之一，数据存储技术的发展经历了三个阶 段：直接附加存储( d a s ) 、网络附加存储( n a s ) 和网络区域存储( s a n ) 。其中， 光纤渠道( f c ) 、i s c s i 以及a o e 是网络区域存储的三种代表产品。 从国内外研究现状来看，大多数学术论文的研究都是基于f c 协议与i s c s i 协议，对于新出现的a o e 协议，几乎鲜有文章对其性能进行理论分析与实验测 试，在一定程度上阻碍了a o e 的推广应用。a o e 协议定位于简单、高效、低成 本的网络区域存储，能解决海量数据存储处理与用户高效需求之间的矛盾，具 有重要的研究意义。本论文重点对a o e 协议进行了理论与实验的分析，主要研 究内容有： ( 1 )阐述了网络区域存储相对传统存储方式的优势，分析了a o e 相对于 i s c s i 协议在协议、平台支持程度、适用性等方面的优势与不足；对最新版本 的a o e 协议进行了分析。 ( 2 )根据a o e 协议内容，推导数据传输流程模型公式。讨论物理层参数 与网络层参数两种情况对性能的影响。 ( 3 )分析a o e 的性能瓶颈。结合建立的数据模型，从r t t 值、c p u 、磁 盘i 0 能力和m t o 值的大小等几个方面对a o e 性能的影响因素进行了分析；对 a o e 实现源代码进行了分析研究，提出了改进建议。 ( 4 )测试a o e 性能。分别在百兆与千兆网络环境下，对a o e 与i s c s i 进行性能对比测试。 ( 5 )根据测试结果，结合数据传输模型，对测试结果进行分析论证。 研究结果表明：软件实现的a o e 性能很高，在单链路测试中a o e 的吞吐率 峰值能达到理论值的9 0 ，而双链路环境中吞吐率峰值接近理论值的8 0 ；千兆 环境下，巨帧的采用能有效提高a o e 的性能。在百兆环境下，巨帧的采用对性 能提升效果不明显；相比单链路环境，多链路环境能有效提高a o e 的性能；a o e 的稳定性没有i s c s i 好，在测试中c p u 使用率波动幅度较大，而i s c s i 则相对 稳定；a o e 的性能有迸一步提升的空间。如果能在软件层面降低a o e 的c p u 使 用率代价，则其吞吐率将会进一上提升。 关键词：a o e 协议，性能分析，网络区域存储 a b s t r a c t a sah o ti s s u ei nc o m p u t e rr e s e a r c hf i e l d ，t h ed e v e l o p m e n to fd a t as t o r a g eh a s e x p e r i e n c e dt h r e es t a g e s ：d i r e c t l ya t t a c h e ds t o r a g e ( d a s ) ，n e t w o r ka t t a c h e d s t o r a g ea n ds t o r a g ea r e an e t w o r k ( s a n ) f r o mt h er e s e a r c h ，w es e et h a tm o s to ft h er e p o r t sf o c u so nf i b e rc h a n n e lo r i s c s ip r o t o c o l ，a st ot h en e wc o m i n ga o e p r o t o c o l ，t h e r ea r en e a r l yn oa n a l y s i so f i t st h e o r e t i c a l p e r f o r m a n c e a n d e x p e r i m e n tv a l i d a t i o n ， w h i c hb l o c k e di t s p o p u l a r i z a t i o na n da p p l i c a t i o n a o ea i m sa ts i m p l e 、e f f i c i e n ta n dl o wc o s ta c c e c g so f s t o r a g ea r e an e t w o r k t h i sp a p e ra n a l y z e dt h ea o ep r o t o c o lt h e o r e t i c a l l ya n d e x p e r i e n t i a l l y , o u rm a i nw o r k si n c l u d e d ： ( 1 ) e l a b o r a t e dt h ea d v a n t a g e sa n dd i s a d v a n t a g e so fs t o r a g en e t w o r ka r e a ，t h e n c o m p a r e dw i t hi s c s if o r mv a r i o u sa s p e c t s ：p r o t o c o l ，p l a t f o r ms u p p o r td e g r e ea n d a p p l i c a t b i l i t yi e i na d d i t i o nw ea n a l y s e dt h en e w s t a o ep r o t o c o ls p e c i f i c a t i o n ( 2 ) w ed e d u c e dt h ed a t at r a n s m i s s i o nf l o w b a s e do nt h ep r i n c i p l eo ff r o m s i m p l et oc o m p l e x ，w ee r e c t e dam a t h e m a t i cf o r m u l aa n da n a l y z e di tw i t hv a r i o u s c o n d i t i o n s ：s i n g l el i n kv e r u sm u l t i p u l el i n k s ，d i f f e r e n ta c ka l g o r i t h m s ，u s a g eo f j u m b of r a m e se t c ( 3 ) w ea n a l y z e dt h eb o t t l en e c ko fa o ep e r f o r m a n c e w i t ht h em a t h e m a t i c f o r m u l am o d e lw ee r e c t e d ，w ea n a l y z e dt h ea f f e c t i v ef a c t o r so fa o ep e r f o r m a n c e ， s u c ha sr t tv a l u e ，c p ua n dd i s ki oc a p e r b i l i t ya n dm t uv a l u e ( 4 ) w et e s t e da o ep e r f o r m a n c e e x p e r i m e n tw a sd e s i g n e da sn e e d e da n da o e p e r f o r m a n c ew a st e s t e du n d e r1 0 0 m e g e t h e m e ta n dg i g e t h e r n e tc i r c u m s t a n c e s w e a l s ot e s t e di s c s ip e r f o r m a n c et oc o m p a r ei tw i t ha o e ( 5 ) w ea n a l y z e dt h et e s tr e s u l t s t e s tr e s u l t sw e r ea n a l y z e db a s e do nt h et e s td a t a a n dm a t h e m a t i cf o r m u l a t h er e s e a r c hs h o w s ：s o f t w a r ei m p l a n t a t i o no fa o ei sh i g h l ye f f e c t i v e ，9 0 o f t h e o r e t i cp e r f o r m a n c ei sr e a c h e da tp e a kt h r o u g h p u ti ns i n g l e l i n ke x p e r i m e n t ，a n d 8 0 o fi tt h e o r e t i cp e r f o r m a n c ei sr e a c h e di nd o u b l e l i n ke x p e r i m e n t ；j u m b of r a m e s c a ni m p r o v ea o ep e r f o r m a n c el a r g e l yi ng i g e t h e re n v i r o n m e n t s ，w h i l ei ti sn o t h e l p f u li n1 0 m e g - e t h e re n v i r o n m e n t s ；c o m p a r e dw i t hs i n g l e l i n ke n v i r o n m e n t ， m u l t i l i n ke n v i r o n m e n tc a l lh i g h l yi m p r o v ea o ep e r f o r m a n c e ；a o ei sl e s ss t e a d y t h a ni s c s i t h ee x p e r i m e n ts h o w st h a tc p uu t i l i z a t i o nr a t ei sm o r ec h a n g e a b l et h a n i s c s i ；a o ep e r f o r m a n c ec a l lb em o r eh i g h l ye f f e c t i v e i fa o ec p uu t i l i z a t i o nr a t e c o s tc a nb er e d u c e dw i t h o u tl o s tt h et h r o u g h p u t ，t h ea o ep e r f o r m a n c ew o u l db e m o r ee f f e c t i v e k e y w o r d s ：a o ep r o t o c o l ，p e r f o r m a n c ea n a l y s i s ，s t o r a g ea r e an e t w o r k 武汉理工大学学位论文独创性声明及使用授权书 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谫 的地方外，论文中不包含其他人已 经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位 或证书而使用过的材料。与我一同t 作的同志对木研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。 研究生( 签名) ：豳口期 加f o 5 1 l 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使埘学位论文的规定，即：学校有权保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检索，可 以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大 学认可的国家有关机构或论文数据库使用或收录木学位论文，并向社会公众提供信 息服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) 鱼圈 导师( 签名) 注：此表经研究生及导师签名后，请装订在学位论文摘要前页 武汉理工大学硕士学位论文 第1 章绪论 计算机存储的发展经历过纸孔打印，软盘，磁带，磁盘等传统的单一存储 模式。随着各种数据庞大的应用，海量存储的需求迫切需要改变这种模式，而 网络存储的出现顺应了这种需要。本章主要对a o e 的提出背景、研究意义以及 国内外研究现状作了简单的阐述，并给出了本文的主要研究成果和创新之处。 1 1 研究背景与意义 信息技术( i t ) 行业是随着计算机科学技术的向前发展而产生的。人们研 究计算机技术的目的就是将各种原始数据转化为有用的信息，使之被人类所直 接认知。现代的计算机，包括各种机型( 大型机，中型机，小型机，工作站， p d a 等) ，基本上都属于冯诺依曼结构1 计算机。其基本特征在于计算机主要 由五大部分组成：输入设备( 键盘，鼠标) ，输出设备( 屏幕，打印机) ，运算 器( 微处理器组件) ，控制器( 微处理器组件) ，存储器( 内存，硬盘) 。运算器 和控制器中结合起来组成了微处理器，是计算机最为核心的部件，其次便是存 储器。世界各大微处理器生产厂商( 如i n t e l 、a m d 、a r m 、i b m ，c y r i x ) 在各 自的细分领域激烈竞争，争夺市场。而在存储领域，同样存在着激烈的竞争局 面。世界各大跨国公司，对存储器产品的研发和对未来的存储技术的探索，投 入了大量的资金和资源。然而，相对于微处理器技术，存储技术的发展相对滞 后，成为制约计算机性能的瓶颈。 随着千兆万兆以太网的出现，对于现代系统，本地磁盘i o 速度已经明显 要低于网络i o 速度。典型的7 2 0 0 转p a t a 磁盘平均读写速度为7 2 m b s ，相同 转速的s a t a 磁盘则为1 0 5 m b s ，千兆以太网的传输速度为1 2 5 m b s ，万兆以太 网传输速度为l ，2 5 0 m b s 嘲。以太网的传输速度不断提高( 1 0 m e g b i t e t h e r n e t ， l o o m e g b i t e t h e r n e t ，g e g i b i t e t h e r n e t ，1 0 g e g i b i t e t h e r n e t ) 直接促进了 网络区域存储的出现。 网络区域存储( s t o r a g ea r e an e t w o r k ：s a n ) 在商业领域起着重要的作用， 主要用来解决数据存储问题，如数据共享，数据恢复，数据备份等。s a n 最主 要的一个思想是“盒外存储”。这种思想有别于传统的直接附加存储 ( d i r e c t - a t t a c hs t o r a g e ：d a s ) 存储技术。传统的d a s 存储器直接附加于数 据服务器，作为系统的一部分而存在。而s a n 却将存储设备通过网络作为独立 武汉理工大学硕+ 学位论文 的终端节点而存在，和数据服务器一起组成一个逻辑上的系统，但是它们在物 理上是分开的。这种盒外存储的好处是使存储设备进行扩充、维护等各种数据 操作时，无需关闭暂停数据服务器。 研究表明，在企业中约有4 0 的i t 硬件支出成本，而其中的7 0 却未没得 到有效使用口1 ，与传统的d a s 技术相比较，s a n 在解决日益扩张的存储需要上， 有着无与伦比的独特优势。 目前的s a n 产品主要包括光纤渠道( f i b e rc h a n n e l ：f c ) 与i s c s i ( i n t e r n e t s c s i ) h j l 。i s c s i 的出现是为了克服f c 的高成本和部署的复杂性。由于f c 构架 需要专门的硬件设备来支撑，价格昂贵，后期维护与扩展也很困难。随着以太 网的发展，f c 的这种高成本和复杂性直接导致了i s c s i 的推广和应用。i s c s i 基于现有的t c p i p 网络，不需要专门的硬件设备即可实现。随着时间的推移， i s c s i 已经逐渐占领了一部分市场，在中小企业中获得了广泛的应用。 作为新出现的网络区域存储协议，a o e ( a t a - o v e r e t h e r n e t ) 3 基于现有成 熟的t c p i p 网络环境，不需要复杂的网络设备( 与光纤通道最大的不同点) 。 但a o e 与i s c s i 相比更简单、高效，使用成本也更低。它主要由c o r a i d 公司的 b r a n t e l yc o il e 开发，定位于简单、高性能的s a t a 存储设备网络访问，它不 依赖于以太网的网络层与传输层，这种轻负载的特点使得a o e 更简单、高效。 在企业数据存储中，效率是重要的因素。特别值得一提的是，下一代的计算机 将是以云计算h 3 为主导的计算模式，在基于云计算的应用中，a o e 在这块领域的 竞争也会非常大。因此，对基于a o e 的网络区域存储研究意义重大。 1 2 国内外研究现状和发展趋势 随着第三代计算模式云计算的到来，网络存储技术将会是业界关注的重点。 国内外企业在存储领域展开了激烈的市场竞争。本节产生讨论了网络区域存储 的国内外研究现状及发展趋势。 1 2 1 国外研究现状 美国i b m 、e m c 、h p 等企业在存储领域的研发与应用上投入了巨额资金和资 源，并在市场上取得了垄断地位。i b m 是数据存储领域的佼佼者，其数据存储 产品覆盖大中小企业各个层次的需求。i b ma l m a d e n 研究院研提出了s t o r a g e t a n k 研究原型，目的是在开放平台的异构分布环境下，提供完美的分布数据存 2 武汉理工大学硕士学位论文 储服务；美国e m c ( 易安信) 公司在基于外控制器的存储领域处于领先地位， 其研制的c l a r i i o nc x 3f c i s c s i 系列产品将f c ( 光纤渠道) 与i s c s i 两种技 术完美整合，同时兼容这两种技术，实现f c 和i s c s i 之间的互补，方便用户在 二者之间切换。而c l a r i i o na x l 5 0 和a x l 5 0 i 则主要面向中小企业和经销商， 抢占中低端市场。美国h p ( 惠普) 公司也提出了s t o r a g ew o r k s 网络存储解决 方案，其s t o r a g e w o r k s5 0 0 和1 5 0 0 组件能实现多个直接连接存储设备到整合 的网络连接存储的移植，能同时集成串行a t a ，磁盘与i s c s i 技术，从而使用户 以较低的门槛切入网络存储的应用：同时，h p 实验室还开发了基于网络区域存 储的d i f f s 分布式文件系统，以取代传统的对称式共享文件系统。 学术界也对网络存储投入了极大关注。早在1 9 2 2 年，美国国家存储实验室 就启动了h p s s ( h i g h p e r f o r m a n c e s t o r a g e s y s t e ) 项目，目的在于构建一个分 层的存储管理系统，以满足高性能密集型的计算需求。h p s s 围绕以网络为中心 的体系结构开发层次存储管理系统，方便客户端直接访问网络上的存储资源。 这种架构能充分发挥s a n 技术优势，实现低成本的大规模存储系统和高性能分 布式文件系统；o b f s ( o b j e c t b a n df il es y s t e m ) 是美国加利福尼亚大学圣克 鲁兹分校存储系统研究中心正在开展的一个研究大容量存储项目，用以实现面 向大规模计算环境的分布式存储系统。新加坡国立存储技术研究所的 b r a i n s t i r ，美国明尼苏达州大学数字技术中心的o b s s 等，也展开了类似的项 目。 1 2 2 国内研究现状 近年来，国内一些科研所、高校和存储厂商也在积极开展s a n 研究，并取 得了相应成果。 中国科学院计算机研究所在网络存储，以及基于网络存储的高性能计算机 系统方面投入了大量研究，著名的蓝鲸虚拟存储系统( v s d s ) 便是研究成果之一。 v s d s 通过虚拟化存储技术，整合f c 、千兆以太网以及i n f i n i b a n d 等基本设施， 搭建高效、安全、简化的网络存储构架。清华大学利用软件控制1 0 通道技术， 实现了基于s a n 的f c p 网络区域存储系统t h m s n s 。这个系统能适应i d e ，s c s i ， s a t a 和f c 四种类型的磁盘阵列，兼容性和可扩展展强。华中科技大学也在进 行下一代互联网信息存储组织模式与核心技术的研究，并重点对基于s a n 的 i s c s i 系统性能、安全以及跨平台应用进行了深入的研究。其基于网络的磁盘 3 武汉理工大学硕士学位论文 阵列已通过专家评审，技术紧跟国际同级水平。 针对多媒体海量用户、中小企业用户以及组织机构，华为3 c o m 公司推出了 n e o c e a ni x l 0 0 0 系列产品，能同时提供n a s 和s a n 两种数据存储服务，并支持 大容量，处理能力强，同时具备很强的容错与故障恢复能力。国内的浪潮、联 想、曙光等公司也推出了中低高端的系列产品。 1 2 3 发展趋势 总体看来，数据存储将出现三大趋势：简单，高效，低成本阳3 ： 首先，所有的存储资源在逻辑上被映射成为一个整体，用户或系统管理员 只关注存储空间等上层操作，而简化了升级，改变r a i d 阵列级别，初始化逻辑 卷及容量扩展等操作，数据存储越来越向虚拟存储化转移。其次，网络存储可以 将物理上分散的磁盘空间整合起来，形成逻辑上的大容量存储设备，再结合高 速千兆甚至万兆以太网技术，能有效提高数据资源的利用率。在企业级应用中， 存储效率的高低直接关系到用户体验的好坏。再次，采用存储虚拟化技术能降 低投资成本，增加投资回报。一方面，支持物理磁盘空间动态扩展，兼容现有 设备，保障用户现有投资。另一方向，利用现有设备，采用新的技术与创意， 能更有效的组织和利用资源，从而降低成本，增加投资回报。 s a n 的核心在于整合虚拟化技术口1 ，构建简单、高效和低成本的共享文件系 统。未来的网络数据存储必将围绕这个核心展开研究与应用。同时，网络区域 存储技术复杂( 不同网络，不同平台的互通，众多的实现协议) 。因此，今后会 有大量的工作来进行统一的标准的制定。未来的s a n 必然是智能的、分布式的、 异构的能自我管理的虚拟化存储系统。同时，简单、高效与低成本与将是用户 需要考虑的首要因素。 1 3 本文的主要研究成果 目前为止，对于s a n 问题的研究，许多研空工作都是基于f c 与i s c s i 协议。 1 0 对校园i s c s i 应用进行了分析。 1 1 和 1 2 实验分析了硬件与软件层次的 i s c s i 产品。两篇文章都可以看出，软件实现的i s c s i 性能能够达到或接近光 纤渠道，同时也发现了网络质量和节点距离对性能的巨大影响。 1 3 对i s c s i 协议的架构和基于t c p i p 网络的写请求进行了建模分析。 1 4 分析了虚拟头节 点和低成本网络，使用i s c s i 和a o e 作为对比分别进行了探讨，并且实验测试 4 武汉理工大学硕士学位论文 了i s c s i 和a o e 在千兆环境下的最大吞量率。 总的看来，大多数研究都是基于光纤渠道协议与i s c s i 协议，对于新出现 的h o e 协议，几乎鲜有理论研究与实验分析。因此，针对这个问题，本论文重 点对a o e 协议进行了理论与实验的分析。通过与i s c s i 协议进行对比，我们研 究了a o e 的一些特性，a o e 的应用场合等，为更深入的研究起好铺垫作用。本 文的主要研究成果及创新点如下： ( 1 ) 对a o e 的数据传输过程建立了数学模型 为了对a o e 进行性能分析，有必要建立合理的数学模型来进行理论论证， 并能设计相应的测试项目，以进行实证分析。因此，首先我们对a o e 协议本身 进行了分析，再根据协议内容，给出了a o e 的传输流程。根据这个流程，排除 一些次要因素，对主要的传输参数建立了这个数据传输模型。 ( 2 ) 针对建立的数学模型进行实验测试与分析 测试项目必须要有理论依据，因此我们首先推导出了a o e 的数据传输模型， 然后根据这个模型设计出实验项目。在分析阶段，我们将理论数据与实测数据 进行了对比分析，并针对实验中的异常数据进行了相应的推理论证。另外，我 们还测试了i s c s i 产品，与a o e 产品进行横向对比和深入分析。 ( 3 ) 分析了a o e 驱动代码，并指出了不足和提出了改进建议 除了协议的分析与应用层次的测试，本文还结合到协议实现，进行了代码 级的深入分析。结合a o e 的协议标准和建立的数学模型，本文对a o e 产品的核 心代码进行了研究，并提出了相关的改进建议，希望对更深入的研究工作起到 抛砖引玉的作用。 1 4 本文的组织 本文对基于a o e 的网络区域存储协议进行了性能分析。论文共分六章，章 节内容安排如下： 第一章为绪论部分，主要对a o e 的提出背景、研究意义以及国内外研究现 状作了简单的阐述，并给出了本文的主要研究成果和创新之处。 第二章首先分析了s a n 相对传统存储方式的优势，并将a o e 和i s c s i 进行 了对比分析。最后对最新版本的a o e 协议进行了系统的分析，以理清a o e 协议 的基本内容。 第三章结合a o e 协议，首先分析了a o e 的传输流程，然后针对其读写操作 5 武汉理工大学硕士学位论文 数据传输过程建立了数学模型，并对不同的物理参数与网络参数进行了分析。 第四章结合a o e 协议模型，对a o e 的性能瓶颈进行了深入的分析。同时， 还结合a o e 的实现代码进行了分析研究，提出了改进建议。 第五章结合实验，对a o e 进行了实验测试，并与i s c s i 进行了横向的测试 对比分析，验证分析结果。 本文主要对a o e 协议建立了模型，并针对建立的模型，分析了性能瓶颈。 针对性能瓶颈，提出了相应的解决办法。最后，通过实验对分析进行了验证。 6 武汉理工大学硕士学位论文 第2 章a o e 存储优势与协议分析 本章首先分析了s a n 相对传统存储方式的优势，然后将a o e 和i s c s i 进 行了对比分析，最后对最新版本的a o e 协议进行了系统的分析。 2 1 网络区域存储的优势 本节主要讨论网络区域存储相对传统存储方式的优势，从磁盘共享，磁盘 热备和存储分离三个方面进行讨论。 2 1 1 磁盘共享优势 通过共享磁盘不同的分区，或者通过安装分布式文件系统在不同的计算机 之间共享磁盘，能够实现多个计算机同时共享访问同一物理磁盘。 信息共享是计算机发展的终极目标之一。信息资源的共享使人类的生活更 加美好。磁盘共享比文件共享处于更低层的位置，用户可以将网络上的共享磁 盘挂载到本地，进行分区、格式化i 甚至是安装操作系统。 典型的磁盘共享应用是无盘系统1 1 5 l 。在无盘系统中，终端机不需要安装磁 盘，所有的终端机共享服务器提供的虚拟磁盘数据。终端机器启动时，从服务 器上读写操作系统镜像数据，从而实现系统引导和启动，数据服务器能够控制 终端并实现集中式管理：p 地址分配，修改机器名，重启客户机等。这是无盘 系统最基本特点。其优势在于降低硬件成本( 客户机节省了硬件的费用) ，简 化管理( 服务器集中进行管理) ，客户机不用担心遭受病毒、黑客的攻击等。 其不足之处在于服务器的压力很大，容易在服务器端形成性能瓶颈。 2 1 2 磁盘热备优势 网络区域存储能够实现多台计算机共享同一块磁盘设备。所谓热备系统， 是指在主服务器出现故障而不能正常提供服务时，至少会有一台从服务器提运 行，替代主服务器提供服务，不会中断用户的使用。而冷备系统则需要人工启 动后备服务器。由于网络区域存储的“盒外思想”的设计，主从服务器可以共 同访问同一块磁盘设备，当主服务器出现故障时，从服务器能接管主服务器的 工作，从而形成一个磁盘热备系统。 7 武汉理工大学硕士学位论文 如果主计算机出现故障，从计算机立即取代主计算机的工作，从而为主计 算机争取维修时间，同时不影响用户正常使用，其好处是不言而喻的，主从角 色还可以相互替代，从而达到热备的目的。前面提到，无盘系统的瓶颈在于服 务器，由于所有的终端机都从服务器上读写数据，因此，一旦服务器出现故障， 则所有的终端机都会受到影响，从而不能正常工作，而热备系统则能有效解决 这个问题。在可靠性要求很高的场合，热备系统应用非常广泛。 2 1 3 存储与计算分离优势 “盒外思想”【1 6 l 的创意是：出于物理上安全或便利的需要，将磁盘驱动器 与计算机分开。存储与计算相分离的优势在于： ( 1 )当系统添加一个高性能的磁盘时，不需要对数据服务器进行关机， 打开机箱等操作，所需要的步骤仅仅是将磁盘放到以太网上，占用一个以太网 端口，然后即可正常被数据服务器访问。 ( 2 )计算和存储的分离，使存储摆脱了计算机的束缚，从而能专注于存 储技术的发展。 ( 3 )而对磁盘的扩容，也不再受物理计算机的限制。脱离了这个限制， 磁盘的扩容能力在理论上是无上限的。 磁盘级别的共享与文件级共享也可以结合使用。文件服务器能够使用自己 的磁盘或通过共享的磁盘。文件服务器不需要直接使用磁盘驱动器，它可以使 用a o e 提供的共享磁盘驱动器，如图2 - 1 所示。 图2 - 1s a n 与n f s 的整合 8 武汉理工大学硕士学位论文 图2 - 1 中，客户端( c l i e n t ) 通过两种方式访问数据。即n a s l l 7 1 和s a n 。其中 s a n 又为n a s 提供数据服务。数据服务器( s e r v e r ) 通过s a n 为客户端( c l i e n t ) 提供数据服务，形成s a n 式的磁盘共享。而n a s 通过s a n 向客户端( c l i e n t ) 提供数据服务，形成n a s 的文件级数据共享。 2 2 基于a o e 的网络区域存储系统架构 文件共享和磁盘共享是现代存储领域存在两种主流技术。文件级别数据存 储共享服务通过文件服务器，配合分布式的文件系统如n f s 或c i f s n8 悖1 ( w i n d o w s 文件共享协议) ，即可实现远程文件的共享访问。这种方式被称作n a s ( n e t w o r k a t t a c h e ds t o r a g e ) ，其文件服务器称为n a s 网关。文件服务器维护文件名的修 改，文件的创建和对访问权限进行控制，提供透明的用户共享访问服务。 通过网络远程访问磁盘驱动器而非文件的技术，被称为存储区域网络 ( s t o r a g ea r e an e t w o r k ：s a n ) ，属于磁盘级别的数据共享，远程服务器端被称 为磁盘服务器。更严格的讲，s a n 是一个单独的网络，专门用来作磁盘访问。 a t ao v e re t h e r n e t ( a o e ) 是基于s a n 技术的一种，是磁盘共享级别的协议。 通过以太网、交换机等组件将磁盘驱动器与数据服务器连接起来，组成一个盒 外系统，典型的a o e 构架如下图2 - 2 所示。 图2 2a o e 基本构架 左边为磁盘服务器( 或称为数据服务器) ，又称i n i t i a t o r ，中间是以太网交 换机，右边是数据存储器，用于存储物理数据，又称t a r g e t s ，通过以太网与数 据服务器相连，为数据服务器提供数据服务。这三部分构成了一个典型的s a n 数据存储系统。这种“盒外存储 思想，便是以太网高速发展的产物。 因为磁盘级数据共享情况下，每个用户看到的是同一块磁盘，而对于文件 级共享的是磁盘数据上的文件，对于同一个文件，针对多个用户会产生多个拷 9 武汉理工大学硕士学位论文 贝，由此带来的结果是数据冗余和低效率，所以磁盘级的共享更简单和高效。 与传统的d a s l 2 0 l ( d i r e c t l ya t t a c h e ds t o r a g e ：直接附加存储，即磁盘在物理上 属于计算机系统的一部分) 相比，二者的相同点在于，s a n 系统是将磁盘数据 服务从计算机内部迁移到了外部，通过网络进行连接。 2 3a o e 与is c si 的比较 2 3 1 协议栈的比较 因为a o e 与i s c s i 同为s a n 的实现协议，均使用成熟的以太网络，且不 需要专门的网络设备支撑，因此，将i s c s i 与a o e 进行比较是非常有参考价值 的。 图2 3a o e 与i s c s i 协议栈 图2 3 给显示了a l o e 与i s c s i 协议栈的对比。从图中可以看出，a o e 协议 栈比i s c s i 具有更少的层次。a o e 中被“忽略了t c p i p 层1 2 ，仅保留了以太 网层次的协议。t c p 层和口层的作用主要为可靠传输和路由能力。t c p 协议是 基于连接的传输协议，能提供可靠的点对点传输，i s c s i 协议的可靠性主要由 t c p 层来保证。同时，i p 层能为i s c s i 提供路由能力，从则使i s c s i 能超越局 域网的范围，在i n t e m e t 上传输。这是i s c s i 相对于a o e 的两个最大的优势， 也是a o e 所不具有的功能。另外，值得一提的是，在口层和t c p 层之间还有 一层i p s e c 子协议，能对传输数据进行加密以实现数据的保密、安全传输。 我们知道，除了可靠性、安全性、路由能力外，数据传输最重要的一点是 传输效率。在用户看来，就是磁盘的i o t 2 2 j 响应速度。a o e 相对i s c s i 最大的 优势就是其轻负载。i s c s i 的传输，除了有效数据本身，还包括i s c s i 首部， t c p 首部以及i p 首部。而a o e 除了有效数据外，只附加了a o e 首部。其有效 数据净荷比i s c s i 要高许多。而负载越大，开销就越大。因此，在常见的i s c s i 部署中，为了提高性能，可能还会根据需要增加专门的t c p 协议处理设备，以 1 0 武汉理工大学硕士学位论文 降低c p u 负担。而a o e 抛开了t c p 层和i p 层，轻负载传输，从而有效提高了 其性能。 2 3 2 平台支持程度比较 i s c s i 比a o e 出现早，在市场上取得了很大的成功，目前已非常成熟。市 场上针对i s c s i 的产品很丰富，各种平台都提供了对i s c s i 的支持。在服务器 端w i n d o w s2 0 0 3 以后的版本，默认提供了对i s c s i 的支持，而各种u n i x 及l i n u x 系统也都对i s c s i 提供了支持。对于客户端驱动，也在各种平台下均有实现。 而a o e 则出现较晚，其服务端程序目前在w i n d o w s 平台还没有相关产品，但 在u n i x 平台和l i n u x 平台下的实现则很多。a o e 的服务器最先在f r e e b s d 2 3 1 上实现，后来被成功移植到各类l i n u x 发行版中。对于客户端驱动，w i n d o w s 下的支持也相当缺乏，目前仅有s t a r t w i n d 公司有a o e 的驱动支持。另外，开 源社区的g p x e 项目组，由于项目开发需要，也有w i n d o w s 平台下a o e 的驱动 实现。 可以看出，目前a o e 的应用，还主要集中在u n i x 和l i n u x 平台下，w i n d o w s 平台的产品开发还有待发展。 2 3 ：3 易用性、安全性和成本比较 i s c s i 协议非常复杂，其协议文档超过2 0 0 多页，内容涉及很广。因此， 理解和实现i s c s i 协议也较复杂，这种复杂，也使得实现和使用成本提高。a o e 协议则比较简单( 最新的协议文档仅有1 2 页) ，非常符合其市场定位：简单、 高性的网络区域存储服务。a o e 最大的优势就在于简单、高效和低成本。为了 获得这些优势，a o e 也牺牲了t c p 层和i p 层提供的服务。然而没有i p 层，失 去路由能力，也使得a o e 更安全了：因为不用担心敏感的数据流向外部网络。 在提供a o e 服务的计算机上，甚至可以不用分配i p 地址，而直接以m a c 地址 为计算机标识进行通信( 实际上就应该如此布部署) ，从根本上避免非法攻击， 防止信息外泄。i s c s 虽然有i p s e c 层的加密保证，但不能排除被破译的可能， 而a o e 则从协议本身保证了其内在的安全性，这也是i s c s i 不可能做到的。 武汉理工大学硕士学位论文 2 4a o e 协议分析 2 4 1a o e 首部分析 a o e 协议首部有1 0 个字节，包含了版本信息、信息类型( 请求回复) 、 错误信息、磁盘位置信息以及命令类型等信息。如图2 - 4 所示： 0l2 和 0l 2 3456 789 0 12 3456789 01 2 3456789 01 j + + + _ 卜+ + 卜+ + _ 卜忡+ 一+ + + _ 卜叫卜_ 叶一+ + + + + + + 一+ 一+ + - 卜4 - - + 一 0ie t h e m e td e s t i n a t i o n d 血 i + 叫+ 十+ 一+ 一+ + + - 4 - - 4 - - 4 - - 4 - - + + 4 - - 4 - - + - ：, 一+ _ + 叫_ 卜4 - - + - + 十+ 一4 - - + 一 4ie t h e x n e td e s t i n a t i o na d 血 l e t h e r n e ts o u z e ea d d x i 十l + 一+ _ 十+ + 一+ 卅+ 一+ + + 一+ + - 卜叫- _ _ 一+ + + + + + + + + + 卜+ + + v 8 l e t h e r n e ts o u r c ea d d r l 一 + - + - 卜+ - + - + - 卜+ - + - + - + + _ + - + _ + _ + - + _ + - + - + + + - + _ + - + - + - + - + - + - + - + _ + - “ 1 2l e t h e x n e tt y p e ( 0 x 裙a 2 ) l v e x if l a g si e r r o r 1 1 j + 卜叫+ + + + + + + + + + 一+ 一+ 一+ 一+ 一+ + _ - 卜叫卜一+ + + + + 一+ 一+ 十+ p 1 6i i l a j o xii i 眦i c o m m a n d i + + + + 件+ _ + 一+ + + + 一+ 一+ + + + 卜卜卜十+ + 一+ + 一+ + + 卜+ + o 2 0f t a gi 一 + 一+ + - + + + + _ 卜卜h + 一+ + + _ + + + _ 卜叫卜叶一+ 十+ 卜+ 卜+ + + 一+ 一+ 一 2 4i a r gi 一 + 卜+ 卜叫+ + 卜+ + _ + + _ + + + + - + 卜卜十+ 卜+ 卜+ + + 卜十+ - + 一 图2 - 4a o e 首部 前1 4 个字节为以太网首部，由目标m a c 地址，源m a c 地址和以太网帧 类型组成，a o e 注册的以太网帧类型为0 x 8 8 a 2 。 值得一提的是，首部中的m a j o r 和m i n o r 两个域。在a o e 的硬件实现中， m a j o r 对应于硬盘柜中的机架或支架号，而m i n o r 则对应于机架中的磁盘槽或 逻辑设备号。这两个域用来唯一确定一块逻辑上独立的磁盘设备。如果有多块 磁盘设备，则可用不同的m a j o r 与m i n o r 地址来进行区分，对于纯软件实现的 a o e 协议，m a j o r 和m i n o r 的作用正是如此。 每个a o e 服务器都必须核对m a j o r 和m i n o r 的地址值。在处理协议首部命令之 前，首先要验证其m a j o r 和m i n o r 的有效性，服务器能接受如下类型的m a j o r 与m i n o r 地址值： ( 1 )协议首部的m a j o r 域为服务器认可的m a j o r 值或全1 ( o x f f f f ) 。 ( 2 )协议首部的m i n o r 域为服务器认可的m i n o r 值或全l ( o x f f ) 。 1 2 武汉理工大学硕士学位论文 服务器在每个回复中必须提供其m a j o r 与m i n o r 地址值，即使相关的请求 中这两个域的值为全1 。 命令域在目前的版本中包含四种类型的命令，如表2 1 所示。 表2 1 a o e 首部命令 命令0峨入余令 命令1查询配置信息 命令2 m a c 地址列表 命令3 锁定释放列表 命令码2 4 0 2 5 5 ( 0 x f 0 0 x f f )保留将来使用 a o e 是基于非连接的网络