（计算机应用技术专业论文）智能网络磁盘（ind）接口技术研究与设计.pdf

摘要 随着计算机网络技术和信息存储技术的发展，对信息存储系统的 存储容量和速度的要求与日俱增，而存储系统的架构往往决定了整个 i t 系统的架构及功能。因此网络存储的发展经历了以服务器为中心 的存储架构到以数据为中心的存储架构的转化。 本文首先对网络附加存储的优点进行了分析，指出了这个存储架 构的不足：随着客户端存储请求的大幅增加，n a s 服务器的性能会显 著地下降，存在着成为瓶颈的隐患。而且，所有的控制流都必须经过 服务器，当服务器发生故障时，整个存储系统就陷于瘫痪，因此n a s 存在着单点故障问题。 针对n a s 服务器的瓶颈隐患和单点故障问题，我们提出了一种新 的网络存储架构：每个存储磁盘都分配一个专门设计的接口连接到网 络，接口是一个由嵌入式c p u 、i d e 硬盘接口、e t h e r n e t 接口、f l a s h 和s r a m 等组成的电路板，嵌入式c p u 运行精简的操作系统，专门负 责在网络环境下提供文件服务；我们定义附网存储磁盘为 i n d ( i n t e l l i g e n tn e t w o r kd i s k ，智能网络磁盘) ，对应的接口为i n d 接口。所有的i n d 通过分布式文件系统协议形成一个集群。 然后，本文分别详细阐述了i n d 接口的硬件设计和软件设计。i n d 接口的硬件设计包括i n d 接口的硬件设计模型、c p u 单元、以太网通 信模块和存储模块，i n d 接口的软件设计包括i n d 接口的软件设计模 型、i c l i n u x 内核和监控d a e m o n 。 最后，本文测试了负载的变化对基于智能网络磁盘的存储系统的 吞吐率和响应时间的影响。测试结果表明，负载比较均衡地分配到了 各i n d ，系统中的网络资源和存储资源得到了较充分的利用。同时对 该系统的特点进行了总结，提出了有待研究与改进的地方。 关键词网络存储，智能网络磁盘( i n d ) ，接口，嵌入式系统，负载 均衡 a b s t r a c t w i t ht h e d e v e l o p m e n t o fc o m p u t e rn e t w o r kt e c h n o l o g ya n d i n f o r m a t i o ns t o r a g et e c h n o l o g y , t h ed e m a n do fc a p a c i t ya n ds p e e do f i n f o r m a t i o ns t o r a g es y s t e mi n c r e a s e ss t e a d i l y h o w e v e r , t h ef r a m e w o r ko f i ts y s t e ml i e so nt h ef r a m e w o r ko fs t o r a g es y s t e m t h u st h ed e v e l o p m e n t o f n e t w o r ks t o r a g eh a se x p e r i e n c e dt w op e r i o d s ，f i - o ms e r v e ra st h ec e n t e r o fs t o r a g ef i 鼍r a e w o r kt od a t aa st h ec e n t e ro fs t o r a g ef i a m e w o r l f i r s t l y , t h em e r i to fn e t w o r ka t t a c h e ds t o r a g ei sa n a l y z e d , a n dt h e d e m e r i to ft h i ss t o r a g ef r a m e w o r ki sp o i n t e do u ti nt h i st h e s i s ：w i t ht h e i n c r e a s eo fc l i e n t s s t o r a g er e q u e s t s ，t h ep e r f o r m a n c eo fn a ss e r v e rw i l l d e c l i n ee v i d e n t l y , s ot h e r ei st h eh i d d e nt r o u b l eo fs e r v e rb o t t l e n e c k f u r t h e r m o r e ，a l lc o n t r o lf l o w sm u s tp a s st h r o u g has e r v e r , w h i c hw i l l r e s u l ti nt h ep a r a l y s i so ft h ew h o l es t o r a g es y s t e mw h e nt h es e r v e rg o e s w r o n g t h u st h e r e i st h ep r o b l e mo fs i n g l e - p o i n tf a i l u r e i nn a s f r r m e w o r k a i m i n ga t t h e s ep r o b l e m sa b o v e ，an e ws t o r a g ef r a m e w o r ki s p r e s e n t e d ：e a c hd i s ki sd i s t r i b u t e das p e c i a l l yd e s i g n e di n t e r f a c et ob e c o n n e c t e dw i t hn e t w o r k , a n dt h ei n t e r f a c ei sac i r c u i tb o a r dt h a ti sm a d e u po fa ne m b e d d e dc p u , ai d ed i s ki n t e r f a c e ，a ne t h e m e ti n t e r f a c e ，a f l a s hm e m o r ya n das r a m t h ee m b e d d e dc p ui sn m n i n gw i t ha r e d u c e do p e r a t i n gs y s t e m , a n di ts u p p l i e sf i l es e r v i c e su n d e rt h en e t w o r k c i r c u m s t a n c e 西en e t w o r ka t t a c h e dd i s ki sd e f i n e d 鹤咖( i n t e l l i g e n t n e t w o r kd i s k ) a n di t si n t e r f a c ei sd e f i n e da st h ei n t e r f a c eo fi n d a 1 1 i n n sc o n s t i t u t eac l u s t e rt h r o u g had i s t r i b u t e df i l es y s t e mp r o t o c 0 1 a n dt h e nt h eh a r d w a r ea n ds o f t w a r ed e s i g no ft h ei n t e r f a c eo fi n d a r ed e s c r i b e di nd e t a i li nt h i st h e s i s n eh a r d w a r ed e s i g no f t h ei n t e r f a c e o fi n di n c l u d e st h eh a r d w a r ed e s i g nm o d e lo ft h ei n t e r f a c eo fi n d ，t h e c p uu n i t , t h ee t h e r n e tc o m m u n i c a t i o nm o d u l ea n dt h es t o r a g em o d u l e t h es o f t w a r ed e s i g no f t h ei n t e r f a c eo f i n di n c l u d e st h es o f t w a r ed e s i g n m o d e lo ft h ei n t e r f a c eo fi n d ，t h et t c l i n u xk e m e la n dt h em o n i t o r i n g d a e m o n f i n a l l y , h o wt h ec h a n g eo fl o a da f f e c t st h ei ot h r o u g h p u ta n dr e q u e s t r e s p o n s et i m eo fs t o r a g es y s t e mb a s e do ni n t e l l i g e n tn e t w o r kd i s ki s t e s t e di nt h i st h e s i s t h et e s tr e s u l ti n d i c a t e st h a tt h el o a di sc o m p a r a t i v e a v e r a g e l yd i s t r i b u t e dt oe a c hi n d 9a n dt h en e t w o r ka n ds t o r a g er e s o u r c e s o ft h es y s t e ma r ec o m p a r a t i v es u f f i c i e n t l yu t i l i z e d a tt h e $ r m et i m et h e c h a r a c t e r i s t i c so ft h e s y s t e ma r es u m m a r i z e d , a n dt h et h i n g st ob e r e s e a r c h e da n di m p r o v e da r ep u tf o r w a r d k e yw o r d sn e t w o r ks t o r a g e ，i n t e l l i g e n tn e t w o r k d i s k , i n t e r f a c e ， e m b e d d e ds y s t e m ，l o a db a l a n c i n g i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的成果。尽我所知，除论文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 中南大学或其他单位的学位或证明而使用过的材料。与我共同工作的 同志对本研究所作的贡献已在论文的致谢语中作了明确的说明。 作者签名：璧啦 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文，允许学位论文被查阅；学校可以公布学位论文的全 部或部分内容，可以采用复印、缩印或其他手段保存学位论文；学校 可根据国家或湖南省有关部门规定送交学位论文。 作者签名：晔 导昴签名：日期：圭盛丝月丛日 硕士学位论文第一章绪论 1 1 课题的来源与背景 第一章绪论 本课题的来源是国家自然科学基金项目( 智能网络磁盘0 n d ) 系统结构及关 键技术研究。编号：6 0 5 7 3 1 4 5 ) 和湖南省自然科学基金项目( 可直接联网的智能网 络磁盘( i n d ) 系统结构的研究，编号：0 5 j j 3 0 1 2 0 ) n 啪e t 的迅猛发展，加上越来越多的多媒体应用，使得运行在不同系统平 台( n t 、n a w a r e 、u n i x 、l i n u x 、a p p l e ) 上的数据资料呈几何级增长据西c 预测，每6 - 9 个月企业数据量将会增长一倍。而数据容量的快速增长，直接造成 了数据管理成本的上升，i d c 统计表明，企业每增加1 美元的存储设备投入，就 会相应的增加7 美元的管理成本。另外，日益复杂的网络结构也使得数据共享更 加困难。传统的以服务器为中心的网络存储架构面对源源不断的数据流已显得力 不从心。人们希望可以找到一种新的数据存储模式，独立出存储设备，同时具有 良好的扩展性、可用性、可靠性，以满足今后数据存储的要求数据存储市场的 发展，使得以服务器为中心的网络存储架构逐渐向以数据为中心的网络存储架构 转化f l l o 同时，存储系统在硬件和软件方面都已经从主机系统中脱离出来，成为完全 独立的系射”j 。用户早已经对磁盘阵列、磁带库和第三方存储管理软件等不再 陌生。同时，在国内已经涌现出一批颇具实力的专项存储系统集成公司。很多大 型r r 系统的招标项目中，存储系统也被独立出来，单独进行招标所有这些现 象都表明，无论是在厂商、中间商还是在最终用户环节上，存储系统的独立性 都已经得到了充分的认同。 存储系统在整个r r 系统中的地位很特殊，存储系统的架构往往决定了整个 1 1 r 系统的架构及功能吲以服务器为中心的存储架构典型代表是d a s ( d i r e c t a t t a c h e ds t o r a g e ，直接附属存储) ，数据存储设备直接连接在各种服务器或客户 端扩展接口下而以数据为中心的存储架构典型代表是n a s ( n e t w o r k a t t a c h e d s t o r a g e ，网络附加存储) 和s a n ( s t o r a g e a r e a n e t w o r k ，存储区域网) ，它们成 为当今网络存储应用的主流基于将控制流和数据流分开的思想，n a s 在物理 连接上将存储器直接连到网络上，不再挂在服务器后端，服务器仅起控制管理的 作用，从而减轻服务器的工作负载使系统的整体性能得到提高t 4 , l ；但随着文件 存取请求增加到一定程度，服务器的性能会显著地下降，而且服务器的存在必然 产生单点故障问题s a n 提供高速的数据块传输、可伸缩的虚拟存储和远程备 份i o j ，但由于其昂贵的价格，只有小部分的高端应用采用s a n 硕士学位论文 第一章绪论 因此，本文提出了一种基于智能网络磁盘( i n d ) 的存储架构，每个存储磁 盘( 或存储设备) 都通过专门设计的接口挂接到网络；接口采用嵌入式c p u 处 理文件存储操作和网络通信，成本比较低。基于玳d 的存储架构既采纳了n a s 的专业文件服务器思想，又消除了n a s 存在的服务器瓶颈隐患和单点故障问题。 1 2 技术沿革 随着计算机网络的发展，大量的重要信息转变为数据，所需的存储容量也成 倍地增长。如何简单、有效、安全地管理这些重要数据成为研究的热点，新的网 络存储架构的提出为解决上述问题提供了新的方法。 1 2 1d a s ( d ir e c ta t t a c h e ds t o r a g e ，直接附属存储) 九十年代以前，存储产品大多作为服务器的组成部分之一，这种形式的存储 被称为s a s ( s e r v e r a t t a c h e ds t o r a g e 服务器附属存储) 或d a s ( d i r e c t a t t a c h e d s t o r a g e ，直接附属存储) ，如图1 - 1 所示。它完全以服务器为中心，寄生在相应 服务器或客户端上。 图卜1d s 的存储结构 当需要增加系统的存储容量时，可以给系统增加磁盘阵列。事实证明这种存 储方式不仅费用高，而且还会引起网络阻塞。在这种情况下，客户端可能无法迅 速地访问服务器上的数据。这种存储系统最明显的问题是，如果连接到某个特定 存储设备的服务器出现了故障，用户将不能访问存储在该设备上的数据l ，j 。这种 情况表明系统出现了“单点故障”。所谓单点故障是指这样一种情形：当网络上 某个设备出现故障时，整个网络都将因为该设备的故障而无法正常工作。 1 2 2n a s ( n e t w o r ka t t a c h e ds t o r a g e ，网络附加存储) n a s 是一种将分布、独立的数据整合为大型、集中化管理的数据中心，以 便于不同主机和应用服务器进行访问的技术嗍，如图l - 2 所示。n a s 被定义为一 种特殊的专用数据存储服务器，包括存储器件( 例如磁盘阵列、c d d v d 驱动器、 硕士学位论文第一章绪论 磁带驱动器或可移动的存储介质) 和内嵌系统软件，可提供跨平台文件共享功能 嘲n a s 通常在一个l a n 上占有自己的节点，无需应用服务器的干预，允许用 户在网络上存取数据嘲，在这种配置中，n a s 集中管理和处理网络上的所有数据， 将负载从应用或企业服务器上卸载下来，有效降低总成本，保护用户投资。 图卜2n s 的存储结构 下面是n a s 产品公认的一些特剧州； ( i ) 独立于操作平台：不同平台的文件可以共享，具有文件服务器的特点， 但n a s 拥有更大的存储空间和相对低廉的价格。 ( 2 ) 浏览器界面的操作管理：通过网线直接与l a n 相连，所以增加和移除 n a s 服务器操作不会中断网络的运行。 ( 3 ) 性能价格比优异：n a s 为那些访问和共享大量文件系统数据的企业环境 提供了一个高效、性能价格比优异的解决方案。数据的整合减少了管理需求和开 销，而集中化的网络文件服务器和存储环境( 包括硬件和软件) 则确保了可靠的 数据访问和数据的高可用性”。 ( 4 ) 安装、管理容易：n a s 服务器采用面向用户设计的、专门用于数据存储 的简化操作系统，内置了与网络连接所需的协议，整个系统的管理和设置较为简 单 1 2 3s a n ( s t o r a g ea r e an e t w o r k ，存储区域网) s a n 以数据存储为中心，采用可伸缩的网络拓扑结构，通过具有高传输速 率的光纤通道的直接连接方式，提供s a n 内部任意节点之间的多路可选择的数 据交换，并且将数据存储管理集中在相对独立的网络存储区域网内，实现最大限 度的数据共享和数据优化管理，以及系统的无缝扩充【1 2 1 ，如图1 3 所示： 硕士学位论文第一章绪论 图卜3s a n 的存储结构 s a n 的最大特点就是可以实现网络服务器与存储设备之间的多对多连接， 而且，这种连接是本地的高速连接“。s a n 架构的优势在于；强大的扩展性、 多种存储设备的集中和新架构支撑下的新型数据应用方式u ”。在s a n 架构中最 先引入的新技术就是l a n f r e e 的数据备份。这种备份方式与传统备份方式的最 大区别就在于，海量的备份数据不再拥挤在宝贵的网络带宽上，而是通过s a n 中的高速连接进行数据传输卅。这一技术进步大大提高了备份的效率，同时节 约了网络带宽资源，为数据库等应用进行在线备份提供了可能性。 1 3 国内外研究现状和发展趋势 国内的清华大学、华中科技大学等在网络存储领域开展了大量的研究。清华 大学在海量存储方向的研究取得了一定的成果，其研制的“高可扩展的海量存储 网络系统”在整体技术上达到了国际先进水平，其中分布式虚拟存储技术和多路 远程镜像技术具有重要创耕”jo “j 。华中科技大学在信息存储系统与技术、存储 网络与附网存储技术、集群系统与并行i ，0 等方向有优势，建有外存储系统国家 专业实验室。 i 踟的s t o r a g et a n k l l 8 j 采用s a n 作为整个文件系统的数据存储和传输路径； 选用带外( o u t - o f - b a n d ) 结构，将文件系统元数据在高速以太网上传输，由专 门的元数据服务器来处理和存储；采取积极的缓存策略，尽量在客户端缓存文件 元数据和数据，即使打开的文件被关闭，也可以在下次使用时利用已经缓存的文 件信息：由管理员将整个文件系统按照目录结构分成多个文件集( f i l e s e t ) ，每 一个文件集都是一个相对独立的整体，可以进行独立的元数据处理和文件系统备 份等；不同的文件集可以分配到不同的元数据服务器处理，形成元数据服务器机 群，提高系统的扩展性、性能和可用性等。 硕士学位论文 第一章绪论 p a n a s a s 公司的p a n f s l l m 是基于对象存储( o b j e c t b a s e ds t o r a g e ) 的l i n u x 分布式机群文件系统，由于采用了基于对象的磁盘设备，元数据服务器的很大一 部分负载都转移给了基于对象的存储设备。同时由于存储设备可以很好地理解和 应用对象( 也就是文件或者目录) ，因此可以更好地组织对象的数据布局，也能 很好地满足对象的性能要求。文件系统的数据由客户端通过网络直接和对象磁盘 交换；元数据通过元数据服务器进行管理。客户端文件系统向应用提供符合p o s i x 标准的文件接口，可以缓存数据，并且对数据进行分片存储。元数据服务器维护 整个系统的元数据一致性，维护系统缓存的一致性等。因为文件系统的很大一部 分工作已经由对象磁盘分担，元数据服务器可以服务于更多的客户端，提供更好 的性能。 网络存储的发展趋势有以下几个方向：存储效用计算与信息生命周期管理、 智能化的网络存储系统、数据网格、面向对象的网络存储技术和网络存储服务质 量等。存储效用计算就是随需随用，在每个月末管理机构将以用户所用的流量计 费，其概念与公共设施服务的概念很相似。信息生命周期管理( i l 1 ) 帮助用户 从数据的创建开始到迁移、复制、删除的过程中更有效地处理信息，解决用户面 临的新的挑战：在要求将数据保留时间延长的同时，还可以更快、更有效地获取 和检索这些数据，同时还需要管理更多的信息s a n 存储系统的复杂性使得存储 管理越来越复杂，需要研究新的、智能化的s a n 存储系统解决系统配置、优化和 管理等问题。智能化的网络存储系统包括主动的信息采集、主动信息分析和主动 调整。数据网格类似于计算网格，是有机的智能单元的组合，它们进行有效的协 调工作目前数据网格主要通过存储集群( s t o r a g ec l u s t e r ) 技术实现，每个i 0 节点不仅可以访问本节点的存储空间，还可以访问其他节点的存储空间；所有存 储节点的空间以一个虚拟磁盘的方式提供给客户端用户，该虚拟磁盘称为存储集 群磁盘。在面向对象存储中，文件系统中的用户组件部分基本保持不变，而将文 件系统中的存储组件部分下移到智能存储设备上，于是用户对于存储设备的访问 接口由传统的块接口变为对象接口。网络存储服务质量主要是通过i o 调度得以 实现，与网络q o s 的区别在于：不允许丢弃s c s i 包来进行拥塞处理；无法进行 流量整形；存储设备的性能极大地依赖于磁盘调度策略和1 0 请求的访问模式， 而且难于预测，不存在性能的线性模型。 1 4 课题的研究内容和论文的结构 本课题的研究内容包括： ( 1 ) 分析网络附加存储n a s 的优点与不足。 ( 2 ) 针对n a s 所存在的问题，设计一种基于智能网络磁盘( i n d ) 的存储架构， 硕士学位论文 第一章绪论 并对该存储架构进行分析。 ( 3 ) 研究i n d 接口的硬件设计模型和软件设计模型 ( 4 ) 总结基于智能网络磁盘的存储系统的特点和有待研究、改进的地方。 本文分为六个章节： 第一章：绪论。本章指出了课题的来源与背景、技术沿革、国内外研究现状 和发展趋势。 第二章：网络存储技术概述。首先简要介绍存储系统的相关理论，然后概述 了网络存储系统使用的协议，对三种存储架构的特点进行了比较，最后分析了 n a s 与s a n 可以融合的原因。 第三章：基于智能网络磁盘( i n d ) 的存储架构。网络附加存储存在两方面 的问题，分别是n a s 服务器的瓶颈隐患和单点故障问题，针对上述问题，本文提 出了一种基于智能网络磁盘的存储架构。在本章中具体阐述了存储架构的设计与 分析、负载均衡策略的选择和存储架构的应用。 第四章：智能网络磁盘( i n d ) 接口硬件设计。本章对i n d 接口硬件设计进 行了详细的阐述，包括以下几个方面：i n d 接口的硬件设计模型、c p u 单元、以 太网通信模块和存储模块。 第五章：智能网络磁盘( i n d ) 接口软件设计。本章首先对i n d 接口软件设 计进行了详细的阐述，包括以下几个方面：i n d 接口的软件设计模型、肛c i i n u x 内核和监控d a e m o n 。然后测试了负载的变化对基于智能网络磁盘的存储系统的 吞吐率和响应时间的影响，最后根据测试结果总结出系统的特点 第六章：总结与展望。对本文的研究成果进行了总结，并提出了有待研究和 改进的地方。 6 硕士学位论文 第二章罔络存储技术概述 2 1 存储系统 第二章网络存储技术概述 存储系统包括两部分：一部分放置在计算机系统内，一般以局域总线与c p u 连接，除主存外还包括一级或两级高速缓存，它的存储容量较小，而速度很高； 另一部分则放置在计算机系统之外，以外部设备总线连接，它包括直接存取的存 储器与后援存储器，它的存储容量很大，而速度相对较低1 2 0 。大容量存储系统， 如磁盘阵列( r a i d ) 、网络附加存储( n a s ) 、存储区域网( s a n ) ，已具有相对于 主机的独立性，并且它本身也包含了c p u 、c a c h e 和m a i nm e m o r y ，在技术上将 包括计算机的内存系统。 近几年来，存储设备特别是磁盘存储器的存储容量成百倍地增加，存取速度 也提高到了一个数量级以上存储系统将长期存在j ，这时因为：第一，任何 一种存储设备，当其接入计算机、服务器或直接接入因特网时，必须具有适配器 和控制器，并由计算机、服务器或网络中的系统软件通过设备驱动程序的操作才 能对数据进行存取；第二，某些功能，如镜像、容错、抗毁、拷贝、迁移、增速 等，只有在系统中才能有效地实现；第三，由于数据的独立性，存储设备与访问 它的计算机是分离的，计算机与存储设备将沿着各自的目标发展，两者之间的性 能差距和联结方式主要由存储系统来处理；第四，虽然驱动器的容量有了大幅增 长，但是对容量与速度的需求也日益增长，只有采取组成存储系统的形式才能提 供具有单一i o 空间的数据存储。 目前，存储系统中的通道技术、并行存取技术、网络存储技术以及智能化都 是研究的热点，其追求的目标是扩大存储容量、提高存取速度、保证数据的完整 性和可靠性、加强对数据( 文件) 的管理和组织。 随着8 0 年代以后客户机服务器计算模式的普及，网络上的文件服务器和数 据库服务器通常成为核心数据聚集的地方。同时，在网络上分布的客户机也会存 放一些数据这种情况导致了数据的分散性，推动了数据存储技术向分布式数据 存储发展j 。目前，分布式存储技术的发展趋势和主要的研究热点如下： ( 1 ) 高性能：对分布式存储系统的每一个用户，系统都应该能够提供始终如 一的高性能存储服务不考虑硬件和网络设施的因素，系统应该尽可能地克服或 缓解网络环境的动态性和不可预知性j ( 2 ) 高可靠性。分布式环境通常都有高可靠性的需求，用户将文件保存到分 布式存储系统的基本要求是数据可靠l 地驯系统应该采用有效的容错机制，使 得一些常见故障对用户透明，用户访问文件时，文件不会因为网络故障或部分节 套 硕士学位论文第二章网络存储技术概述 点不在线而不可得，使用户在动态变化的网络环境下获得高可靠的文件服务 ( 3 ) 高可扩展性；分布式存储系统要能适应节点规模和数据规模的增长，系 统的存储容量可以随着用户存储需求的增长而增长，以支持海量存储。分布式存 储系统的扩展能力目标是：系统的存储容量和系统的总吞吐率能够随着系统规模 的增大而同步增大，而文件访问性能始终较高。 ( 4 ) 透明性：如果一个分布式存储系统让用户和应用程序感觉和本地存储空 间一样，我们就说它具有透明性。分布式存储系统通过内部实现机制和用户接口 为用户提供透明的存储服务陋j ，系统的透明性可分为以下几种；位置透明性、 故障透明性、迁移透明性、复制透明性和并发透明性。在设计和实现分布式存储 系统时，完全实现以上透明性将付出巨大代价，考虑到系统的性能、需求和实现 的复杂度，往往只实现部分透明性。 ( 5 ) 自治性：分布式存储系统包含着大量的节点和存储对象，系统的管理和 存储空间的维护将是一个巨大挑战，很难想象指定专人管理这个地理分布的系 统，因此分布式存储系统必须是一个自治系统，具有自维护、自恢复的功能 z 4 l 。 2 。2 网络存储系统使用的协议 2 2 1n a s 系统使用的协议 n a s 能够支持多种协议( n f s 、c i f s 、f r p 、h t i p ) ，而且能够支持各种操 作系统弘“。通过任何一台工作站，采用i e 或n e t s c a p e 浏览器就可以对n a s 设 备进行直观方便的管理。n a s 是真正即插即用的设备p j ，并且物理位置灵活，可 放置在工作组内，也可放在混合环境中，如混合了u n i x w m d o w sn t 的局域网 环境中，而无需对网络环境进行任何的修改。n a s 设备直接通过网络接口连接 到网络上，只需简单地配置一下p 地址，就可以被网络上的用户所共享。 n a s 采用了n f s ( s u n ) 沟通u n i x 阵营和c i f s 沟通n t 与u n i x ，这也反映 了n a s 是基于操作系统的“文件级”读写操作，访问请求是根据“文件旬柄+ 偏移量”得出l 。句柄是比进程还要小的单元，通常用作进程之间通信，资源 定位等。s a n 中计算机和存储间的接口是底层的块协议，它按照协议头的“块 地址+ 偏移地址”来定位弘卅从这点说，s a n 天生具有存储异构整合的存储虚拟 化功能。下面我们介绍一下n a s 文件共享的灵魂n f s 和c i f s 。 ( 1 ) n f s ( n e t w o r kf i l es y s t e m ，网络文件系统) n f s 是u n i x 系统间实现磁盘文件共享的一种方法，支持应用程序在客户端 通过网络存取位于服务器磁盘中数据的一种文件系统协议。其实它包括许多种协 议，最简单的网络文件系统是网络逻辑磁盘，即客户端的文件系统通过网络操作 8 硕士学位论文 第二章网络存储技术概述 位于远端的逻辑磁盘l j u j ，如i b ms v d ( 共享虚拟盘) 。目前一般在u n i x 主机之 问采用s u n 开发的n f s ，它能够在所有u n i x 系统之间实现文件数据的互访，逐 渐成为主机间共享资源的一个标准。相比之下，s a n 采用的网络文件系统，作 为高层协议，需要特别的文件服务器来管理磁盘数据，客户端以逻辑文件块的方 式存取数据，文件服务器使用块映射存取真正的磁盘块，并完成磁盘格式和元数 据管理【3 1 1 ( 2 ) c i f s ( c o m m o ni n t e m e tf i l es y s t e m ，公共因特网文件系统) c i f s 是由微软开发的，用于连接 q r m d o w s 客户机和服务器经过u n i x 服 务器厂商的重新开发后，它可以用于连接w m d o w s 客户机和u n i x 服务器，执行 文件共享和打印等任务。它最早的由来是n e t b i o s ，这是微软开发的在局域网内 实现基于w i n d o w s 名称资源共享的a p i 。之后，产生了基于n e t b i o s 的n e t b e u i 协议和n b t ( n c t b i o so v e rt c p i p ) 协议。n b t 协议进一步发展为s m b ( s a t v e r m e s s a g eb l o c kp r o t o c 0 1 ) 和c i f s 协议。其中，c 职s 用于w i n d o w s 系统，而s m b 广泛用于u n i x 和l i n u x ，两者可以互通。s m b 协议还被称作l a nm a n a g e r 协议。 c i f s 可与支持s m b 的服务器通信而实现共享j 微软操作系统家族和几乎所 有u n i x 服务器都支持s m b 协议s m b b a 软件包。 2 2 2s a n 系统使用的协议 s a n 以数据存储为中心，将数据存储管理集中在相对独立的存储区域内， 可采用光纤通道、i p e t h e r n e t 、i n f m i b a n d 等互联技术来组建s a n j ( 分别组建 f c s a n 、i s c s i s a n 和i n f m i b a n d - s a n ) 。不管采用何种互联技术。s a n 的互 联网络顶层均采用s c s i 协议，以数据块( d a t ab l o c k ) 的形式进行存储访问l i “ ( 1 ) f c p ( f i b e rc h a n n e lp r o t o c o l ，光纤通道协议) 光纤通道( f i b e r c h a n n e l ) 其实是对一组标准的称呼，这组标准用以定义通 过铜缆或光缆进行串行通信从而将网络上各节点相连接所采用的机制。光纤通道 标准由美国国家标准协会( a m e r i c a n n a t i o n a ls t a n d a r d si n s t i t u t e ，a n s i ) 开发， 为服务器与存储设备之间提供高速连接l j 4 j ，如图2 - 1 所示在目前的应用中， 光纤通道能够提供高达2 g b p s 以上的速度。 光纤通道标准有5 层，每一层负责特定的一组功能。因为每一层都依赖于其 上一层或下一层来执行特定的功能，所以在某种意义上有点像o s i 模型m ( 只 不过o s i 模型是7 层) 。这些层由下至上被命名为f c - 0 到f c - 4 ，下面扼要解释 一下每一层的定义和功能： f c m 物理层：定义布线、连接器和控制数据的各种信号其功能非常类似 于o s i 的物理层 9 里堕兰望望翌l 一一 苎三皇塑竺查堕垫查堡垄 f c - l 传输协议层：负责诸如故障检测、链路维护和数据同步等工作。 f c - 2 帧和信号协议层：负责设备所收发数据包的分段和重组，另外也进行 排序和流程控制 f c - 3 一公共服务层：提供诸如单点对多点群播( m u l t i - c a s t i n g ) 、分散读写 ( s t r i p i n g ) 等服务 f c 4 一上层协议映射层：提供上层协议( 如s c s i ) 和f c 低层之间的通信 点，f c - 4 层可使非s c s i 数据在光纤通道链路上传输。 通过与分层格式相一致，适用于某一层的产品和应用能够自动与其他层的产 品和应用兼容。 带有嵌入光纤路径 i ，o 控制墨的敷务蓉带有嵌入光纤路径i 0 图2 - 1 支持多z o 控制器的光纤通道协议 ( 2 ) i s c s i 协议 i s c s i 技术提供了一个通过t c p f l p 协议传送本地s c s i 命令的方式，这样就 可以通过i p 网络来共享存储系统阵列，并且通过充分利用千兆级以太网络来扩 展s a n 的功能m j ，如图2 2 所示。2 0 0 3 ，互联网工程工作组( i n t e r l l e t e n g i n e e r i i l g t a s kf o r c e ，i e t f ) 认可了这一协议，认为它是一个可行的标准。 图2 - 2 基于i s c s i 协议的存储结构 i s c s i 最大的特点就是便宜。专家们普遍认为，采用i s c s i 技术实现的s a n ， 工， h * o w 童 “ ， _ 硕士学位论文 第二章网络存储技术概述 比采用f c ( 光纤通道) 技术实现的s a n ，具有更高的投资收益比例，一般高出 5 1 0 倍。这主要是因为i s c s i 技术基于完全成熟的以太网标准，而且与传统以 太网络可以共用管理平台和管理人员j 尽管如此，i s c s 技术的产生并不意味着f c 技术的灭亡相反，在可预见 的相当长的一段时期之内，f c 技术仍然具有相当强的发展潜力。事实上，目前 绝大多数计划支持i s c s i 技术的磁盘阵列厂商，都会提供内部采用f c 磁盘通道， 而外部采用i s c s i 主机通道的总体架构u ”。也就是说，几乎所有的磁盘阵列厂 商，在争先恐后的将i s c s i 技术引入自身产品的同时，并没有放弃f c 技术。毕 竟f c 协议仍然是目前世界上效率最高的存储设备通信协议另外一个重要的因 素是，作为存储系统的最末端，磁盘还没有提供i s c s i 接口，甚至没有将要提供 此类接口的计划。只要磁盘没有提供i s c s i 接口，i s c s i 技术就只能应用于主机 与存储设备之间的连接，而无法进入存储设备的内部。 就像i s c s i 技术不能完全代替f c 技术一样，i s c s i 技术也无法完全取代b i a s 技术。当然，再经过一段时间的技术发展，i s c s i 技术非常有希望在将来把传统 的n a s 架构和s a n 架构完全融合p 。然而就目前的技术而言，i s c s i 技术还只 是实现s a n 架构的一种技术与之相比，n a s 技术的跨平台数据共享能力仍然 没有受到任何挑战。而且就实施和维护成本来说，n a s 似乎比i s c s i 更具优势。 ( 3 ) i n f i n i b a n d 协议 i n f m i b a n d 是一种新的互连技术，它不仅可用于服务器内部的互连、服务器 之间的互连、集群系统的互连，还可用于存储系统的互连，组建基于i n f m i b a n d 的s a n i j m 。i n f m i b a n d 采用基于包交换的高速交换网络技术，可采用光纤或铜线 实现连接，单线传输速率为2 5 g b s ，可通过2 、4 或1 2 线并行来扩展通道带宽， 带宽高达2 5 g b s 、1 0 g b s 、3 0 g b s ( i x 、4 x 、1 2 x 线) 。 i n f m i b a n d 也是一种新的f o 体系结构，它将i o 系统与复杂的c p u ，存储器 分开，7 采用基于通道的高速串行链路和可扩展的光纤交换网络替代共享总线结 构，提供了高带宽、低延迟、可扩展的i o 互连，克服了传统的共享i o 总线结 构的种种弊端1 删。 i n f i n i b a n d 协议包括o s i 网络协议栈中的物理层、数据链路层、网络层和传 输层。它可以提供多种服务：有确认的面向连接的服务、有确认的面向无连接的 服务和无确认的无连接服务i n f i n i b a n d 采用嵌套字控制字协议( s o c k e t sd i r e c t p r o t o c o l ，s d p ) 和双队列程序提取技术l 4 i j ，使应用程序直接将数据从网卡送入到 应用内存佛为远程直接存储器存取或r d m a ) ，反之依然l 4 2 j 。s d p 避免了核心 内存的参入，这种方式就称为0 拷贝，它可以在进行大量数据处理时，达到该协 议所能达到的最大的吞吐量。 硕士学位论文第二章两络存储技术概述 i n f m i b a n ds a n 主要具有如下特性：可伸缩的s w i t c h e df a b r i c 互连结构；由 硬件实现的传输层互连高效、可靠；支持多个虚信道( v i l , t u a ll a n e s ) 以及具有较高 的容错性和抗毁性【4 3 l ，支持熟拔插。但i n f i n i b a n d 的结构复杂，成本高等不足 将在某种程度上影响它的推广。同时，i n f m i b a n d 必须找到随时闻不断发展自我 的能力，以提高竞争力，如与3 g i o 、l o g b p sf c 的竞争与共处。 2 3 三种存储架构互相之间的比较 2 3 1d a $ 与n a s 的比较 d a s 与n a s 互相之间的比较如表2 1 所示。 袁2 - 1d a s 与n a s 之间的比较 比较项目 d a s n a s 系统软件安装较为烦琐，初始化 安装r a i d 及调试第三方软件一般需要两 安装简便快捷，即插即用只需要l o 分钟便可顺利独立安装成功 天时间 异构网络环境不能提供跨平台文件共享功能，各 完全跨平台文件共享，支持w i n d o w s 、 n t ，u n i x ( l i n u x ) ，n e t w a r e 、a p p l e 下文件共享系统平台下文件需分别存储 m a c 等操作系统 无独立的存储操作系统。需相应服独立的优化存储操作系统，完全不受 操作系统务器或客户端支持，容易造成网络服务器干预，有效释放带宽。可提高 拥堵甚至瘫痪网络整体性能 分散式数据存储模式。网络管理员集中式数据存储模式，将不同系统平 需要耗费大量时间奔波到不同服务台下文件存储在一台n a s 设备中，方 存储数据结构 器下分别管理各自的数据，维护成便网络管理员集中管理大量的数据， 本增加降低维护成本 需要第三方软件支持；由于各系统 平台文件系统不同，增客时需对各 管理简单，基于w e b 的g u i 管理界砸 数据管理