（计算机系统结构专业论文）基于infiniband的网络存储系统结构与卷分配策略研究.pdf

硕士学位论文 摘要 面对网络化环境下数据快速增长与存储容量的急剧膨胀，存储系统的i o ( 输 入输出，i n p u t o u t p u t ) 性能成为衡量外存储系统的主要指标。由于i n f i n i b a n d ( 无 限带宽，简称i b ) 具有高带宽、低延迟的优点，被广泛应用于高性能计算节点的 互联网络，如果将该网络连接拓展到存储系统中，一方面可以显著提高存储系统 的o 性能，另一方面便于将计算节点间的网络和存储网络统一起来，给集群系 统的管理提供了极大的方便。本文基于此目的，主要研究i n f i n i b a n d 网络存储系 统结构与存储卷的分配策略。研究内容如下： 网络存储系统结构方面，基于s r p ( s c s ir d m a p r o t o c 0 1 ) 协议，将i n f i n i b a n d 体系映射到s c s i 体系，概括出i n f i n i b a n d 存储网络的i o 路径，利用通信队列对、 内核旁路技术、远程直接存取技术设计了一个基于i n f i n i b a n d 的存储系统目标模 拟器。实验表明，远程主机通过i n f i n i b a n d 网络连接访问目标器存储卷的i o 带 宽比通过光纤通道连接或千兆以太网连接的i o 带宽高得多，甚至比主机本地磁 盘访问的i o 带宽高5 倍。研究还得出了目标器i o 带宽利用率受r a i d 卡带宽 约束的结论，进一步提出了在目标器后端进行多个r a i d 卡组合，以提高后端磁 盘访问的聚合带宽。 逻辑卷授权方面，通过主机通道全球唯一标识号( g l o b a l l yu n i q u ei d e n t i f _ i e r ： g u i d ) 与逻辑卷之间的动态映射关系实现了存储系统逻辑存储资源的授权访问与 屏蔽策略。此算法作为一个授权功能模块添加在i n f i n i b a n d 目标器中。系统测试 表明：动态映射授权算法，有效确保了存储系统逻辑卷访问权限设置的安全性和 灵活性。 s a n 中的数据共享方面，给出了一个i b s a n 集中控制存储共享管理方案。 它采用元数据服务器实现s a n 存储管理功能，通过i n f i n i b a n d 扩展网络、第三方 数据传送和软件r a i d 来提高系统性能。提出了一种动态建立磁盘映射的策略以 提供物理存储设备虚拟视图给系统中的节点服务器。测试表明，共享存储管理器 保证了存储资源的同步性，支持用户对卷的在线增减，跨平台性好、接口筒单、 扩容简单。 关键词：网络存储；i n f i n i b a n d ；s a n ；存储系统目标器；共享冲突；逻辑卷授权； 传输速率 摹于i n f i n i b a n d 的网络存储系统结构与卷分配策略研究 a b s t r a c t w i t ht h er a p i dd a t ag r o w t ha n df a s t s t o r a g ec a p a c i t ye x p a n s i o ni nt h en e t w o r k e n v i r o n m e n t ，i op e r f o r m a n c eo ft h es t o r a g es y s t e mb e c o m e st h ek e yi n d i c a t o r st o e v a l u a t eas t o r a g es y s t e m s i n c ei n f i n i b a n di sh i g hb a n d w i d t h ，1 0 wl a t e n c y ，i t s w i d e l yu s e di nt h en e t w o r ko fh i g h p e r f o r m a n c ec o m p u t i n gn o d e s i ft h en e t w o r ki s e x p a n d e dt os t o r a g es y s t e m s ，o nt h eo n eh a n d ，i op e r f o r m a n c eo ft h es t o r a g es y s t e m c a nb ec o n s p i c u o u s l yi m p r o v e d ，o nt h eo t h e rh a n d ，f a c i l i t a t e l yu n i t e st h en e t w o r ko f c o m p u t i n gn o d e s a n ds t o r a g e n e t w o r k ，p r o v i d i n g ag r e a tc o n v e n i e n c ef o r t h e m a n a g e m e n t0 fc l u s t e rs y s t e m s b a s e do ni t ，t h i sp a p e rm a i n l yr e s e a r c h e sn e t w o r k s t o r a g es y s t e ma r c h t e c t u r e0 fi n f i n i b a n da n dv 0 l u m ea l l o c a t i o ns t r a t e g y t h ec o n t e n t 0 fr e s e a r c h e s ： i na s p e c to fn e t w o r ks t o r a g es y s t e ma r c h i t e c t u r e ，b a s e d0 ns c s ir d m ap r o t o c a l ， m a p si n f i n i b a n da r c h i t e c t u r et os c s ia r c h i t e c t u r e ，s u m m a r i z e st h ei op a t ho ft h e i n f i n i b a n ds t o r a g en e t w o r k u s i n gq u e u ep a i r ，c o r eb y p a s s i n gt e c h n o l o g ya n dr e m o t e d i r e c tm e m o r ya c c e s st e c h n o l o g y ，d e s i g n e sat a r g e ts i m u l a t o ro fs t o r a g es y s t e m b a s e do ni n f i n i b a n d e x p e r m e n t ss h o wt h a tt h ei ob a n d w i d t ht h r o u g hi n f i n i b a n d n e t w o r kc o n n e c t i o ni sm u c hh i g h e rt h a nt h a tt h r o u g hf i b r ec h a n n e l0 rg i g a b i t e t h e r n e t ，e v e nf i v et i m e st h ei ob a n d w i d t ho fa c c e s s i n gt h el o c a ld i s k f u r t h e r r e a c h e st h ec o n c l u s i o nt h a ti ob a n d w i d t hu t i l i z a t i o no ft a r g e ti sc o n s t r a i n e db yt h e b a n d w i d t h0 fr a i d a n dt h e np r o p o s e sc o m b i n a t i n go fr a i dc a r d sa n dc o n c u r r e n t l y a c c e s s i n gt h et a r g e tt oi n c r e a s et h ea s s e m b e db a n d w i d t ho fa c c e s s i n gb a c k e n dd i s k s i na s p e c to fl o g i c a lv o l u m ea u t h o r i z a t i o n ，r e a l i z e sl o g i cr e s o u r c ea u t h o r i z a t i o na n d m a s k i n g ，t h r o u g h i n t e r r e l a t e d m a p p i n g b e t w e e n p o r tg l o b a u yu n i q u e i d e n t i f i e r ( g u i d ) a n dl o g i c a lv o l u m e 1 e s tv e r i f i e si t sh i g hs e c u r i t ya n dn e x i b i l i t yt o a c c e s sa u t h o r i z a t i o n i n a s p e c to f d a t as h a r i n gi ns t o r a g ea r e as y s t e m ， am a n a g e m e n tp r o g r a mo f c e n t r a l i z e dc o n t r o l l i n gt h es t o r a g es h a r i n gd a t a si ni b s a ni sg a v e n i tu t i l i z e sa m e t a d a t as e n ，e rt 0r e a l i z es t o r a g es h a r i n gm a n a g e m e n t ，e x p a n d sn e t w o r kt h r o u g h i n f i n i b a n d ，i m p r o v e ss y s t e mp e r f o r m a n c et h r o u g hat h i r dp a r t yf o rt r a n s m i s s i o na n d s o f t w a r er a i d as t r a t e g yo fd y n a m i c a l l ye s t a b l i s h i n gt h ed i s km a pi sp r o s e dt o p r o v i d et h ev i r t u a l v i e wo f p h y s i c a ls t o r a g e d e v i c e sf o r t h en o d es e r v e r s t b s t s i n d i c a t et h a t s t o r a g e s h a r i n gm a n a g e m e n te n s u r e st h es y n c h r o n i z a t i o n o fs t o r a g e r e s o u r c e s ，s u p p o n e st h eo n l i n ei n c r e a s ea n dd e c r e a s eo fv o l u m e s ，c r o s s - p l a t f o r m ， 硕士学位论文 s i m p l ei n t e r f a c e ，a n de a s ye x p a n s i o n k e yw o r d s ： n e t w o r ks t o r a g e ；i n f i n i b a n d ；s a n ；s t o r a g et a r g e t ；s h a r i n gc o n f l i c t ； l u na u t h o r i z a t i o n ；t r a n s m i s s i o ns p e e d i v 硕+ 学位论文 附表索引 表2 1i n f i n i b a n d 三种速率连接1 4 表2 2i n i t i a t o r 到t a r g e t 的s r p 请求。2 5 表2 3t a r g e t 到i n i t i a t o r 的s r p 响应2 5 表2 4t a r g e t 到i n i t i a t o r 的s r p 请求2 6 表2 5i n i t i a t o r 到t a r g e t 的s r p 响应2 7 表3 1 屏蔽前后访问权限对比3 0 表3 2i n f i n i b a n d 标识表。3 2 表5 1 不同块大小下的读速率4 8 表5 2 实验配置表4 9 v 基于i n f i n i b a n d 的网络存储系统结构与卷分配策略研究 插图索引 图1 1 思科公司的v f r a m e 的统一服务器阵列5 图1 2d a s 数据存储方案6 图1 3n a s 数据存储方案7 图1 4s a n 数据存储方案8 图1 5i p s a n 存储结构图9 图1 6f c s a n 存储结构图1 0 图1 7i b s a n 通信结构图1 1 图2 1i b a 层次结构图1 4 图2 2i b 软件及其应用1 5 图2 3s c s i 体系结构映射1 6 图2 4s c s i 协议到i n f i n i b a n d 通道的映射图。1 7 图2 5i b a 存储系统i 0 路径。1 8 图2 6 内部消息处理机制2 1 图2 7r d m a 命令处理2 2 图2 8 目标器端命令数据处理2 4 图2 9 连接建立流程2 7 图3 1 授权分配前访问权限2 9 图3 2 逻辑卷授权访问关系图。3 4 图3 3 存储资源映射图3 5 图4 1 数据与命令分流的i b s a n 结构一4 0 图4 2i b s a n 数据共享功能结构图4 3 图5 1i n i t i a t o r 端本地与远程读数据吞吐量。4 9 图5 2 写吞吐率( 2 个硬盘) ：5 0 图5 3 写吞吐率( 3 个硬盘) 5 1 图5 4 写吞吐率( 5 个硬盘) 。5 1 图5 5 写吞吐率( 1 5 个硬盘) 5 2 图5 6 存储系统硬件结构5 3 v 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名： 鸯小斜 日期：卿5 月g 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编 本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 日期： 加口容年歹月，g 日 日期： 二曙啤f 月二矽日 硕士学位论文 1 1 研究背景 第1 章绪论 图灵奖获得者j i i ng r a y 提出了一个新的经验定律：网络环境下每1 8 个月产 生的数据量等于有史以来数据量之和1 1 l 。存储容量的急剧膨胀，导致在数字化和 网络互联时代、在多用户并行环境中，大规模应用系统的广泛部署对网络存储f 2 l 系统的性能和功能提出了臣大挑战【3 4 5 】，主要表现为高性能、可扩展性、可共享 性、自适应性、可管理性，以及高可靠性7 可用性。信息资源的爆炸性增长，对存 储系统在存储容量、数据可用性以及i o 性能等方面提出了越来越高的要求。存 髅产品不秀是附属于服务器的辅助设备，两成为互联网中最主要麴花费所在。 当前商性能计算系统的性能，每秒能够完成1 0 1 2 。1 0 1 4 次浮点计算。但是受技 术水平的制约，磁盘髟o 的带宽和请求延迟的减少增长缓慢，即使是最高性能的 磁盘i o 通道带宽也仅在每秒钟3 2 1 0 8 b 左右。根据a m d a h l 定理，1 m f l o p s 需要与l m b 髟。能力匹配的要求，传统i ，o 系统显然不能满足高性能计算系统的 需要。 面对数据量的大幅度增长，网络存储中集群节点之间通信网络的带宽问题成 为当前首要闯题之一，存储系统魏i o 性能也随之成为衡量外存储系统性能的主 要指标。存储区域网络【6 】的出现，一方面有效的解决了服务器到存储设备端的带 宽闯题，另一方面也使得服务器主机和存储设备之阗扶主从关系交成了对等关系， 即任何一个或多个服务器都可以同时访问存储设备中的虚拟卷。这样，多台服务 器共享存储设备也将产生多种情况的数据共享冲突。 s a n 是目前的主流存储技术l 钳，主要包括l n f i n i b a n d l 8 l 和i s c s l 【9 l 两种。 i n f i n i b a n d 将成为朱来网络存储的发展趋势，广泛用于s a n 结构的存储网络中 l l o l ，原因在于： ( 1 ) i n f i n i b a n d 体系结构经过特别设计，支持安全的信息传递模式、多并行 通道、智能l 徊控制器、高速交换机以及高可靠性、可用性和可维护性。 ( 2 ) i n f i n i b a n d 体系结构具有性能可伸缩性，和较广泛的适用性。 ( 3 ) 薹l l j f i n i b 鑫鼗d 由多家国际大公司共同发起，是一个影响广泛的业赛活动。 在高性能计算中广泛采用i n f i n i b a n d 作为集群节点之间的通信网络，不仅可 以很好的解决带宽闯题，藤且可以对存储嬲、管理嬲、计算网以及数据网进行多 网合一的管理。也就是说，可以使网络存储和服务器节点间统一为一个i n f i n i b a n d 网络，技术实现和网络维护等方丽更易于管理。i n f i n i b a n d 的一个端口可以虚拟 基于i n f i n i b a n d 的网络存储系统结构与卷分配策略研究 成为8 个虚拟的通道，而这些虚拟的通道可以分别与数据中心中的f cs a n 存储 模块、计算模块、管理模块以及通信模块进行连接，从而实现基于i n f i n i b a n d 的 统一管理。对网络进行统一管理的好处：管理者不必保留不同形式的备份；连接 服务器的同一种电缆也可以同存储系统协同工作，磁盘子系统可以在不同的子系 统之间互换；统一的、可以重新配置的网络结构能够很容易地在存储、网络通信 和i p c ( i n t e rp r o c e s sc o m m u n i c a t i o n ，进程间通信) 之间再分配带宽，而不必关 掉关键系统来更换硬件。以上特性，使得i n f i n i b a n d 在数据中心、存储应用领域 具有了更广泛的应用。 网络存储主要研究网络存储体系结构，存储数据管理，算法分析，数据存取 的复杂性理论，行为模型，数据的生命周期管理，安全性与可用性理论，系统维 护等。本文主要进行s a n 网络存储系统模型，授权访问算法，数据共享冲突三个 方面的研究。 1 2 国内外研究现状 介绍i n f i n i b a n d 互连技术的发展现状之前，先了解互连网络概念。所谓互连 ( i n t e r c o n n e c t ) 网络，即是各计算节点彼此之间、以及计算节点与管理节点之间 的数据传输信道，其间可能对应到的网络协议，包括g i g a b i t 以太网络( g b e ) 、 m v r i n e t 或i n f i n i b a n d 等不同架构，各项架构的频宽、交换速度乃至成本结构都不 尽相同，但可以肯定的，采用速度愈快的网络架构作为互连系统，执行h p c 计算 任务的效率也会愈高。 2 0 0 4 年1 月开始，i b m 、s u n 、h p 、d e l l 、曙光等公司陆续推出采用i n f i n i b a n d 技术的解决方案。2 0 0 5 年4 月，c i s c o 公司收购了i n f i n i b a n d 方案提供商t o p s p i n ； 而专业存储厂商q l o g i c 公司也陆续收购了i n f i n i b a n d 技术厂商s i l v e r s t o r m 公司 和p a t h s c a l e 公司，开始进军i n f i n i b a n d 领域。目前曙光的高性能计算机全部采用 i n f i n i b a n d 技术进行节点之间的互连，用i n f i n i b a n d 替代了m y r i n e t 。原因在于， m y r i n e t 在2 g b p s 带宽之后，在向1 0 g b p s 技术的发展上，路线图不清晰，技术实 现上也不好。与之相比，d d r2 0 g b p si n f i n i b a n d 技术已经非常成熟，在价格上也 具有竞争力，此外，其路线图非常清晰，1 2 0 g b p s 带宽等都已经计划在内。因此， i n f i n i b a n d 成为了集群互连技术的首选。 即将达到3 0 g b p s 的i n f i n i b a n d ，其所能支撑的数据交换速率，比仅仅1 g b p s 频宽吞吐量的g b e 固然要快上许多。在延迟时间方面，i n f i n i b a n d 亦以1 口3 毫秒 实力，较之以太网络的5 0 毫秒以上，亦呈现相对优势。 h p c 领域中，根据近日发布的最新全世界最快的巨型计算机5 0 0 强榜单显示， 越来越多的用户现在正选择i n f i n i b a n d 技术作为一个高带宽，低延迟的数据中心 互连方案。在这个榜单上，i n f i n i b a n d 是增长最快的技术，它在全世界最快的系 硕士学位论文 统中占据了1 2 7 个席位，而在2 0 0 6 年1 1 月只有7 8 个，6 月调查的结果仅仅只有 3 5 个。i n f i n i b a n d 近年来占有率从5 4 、7 2 、1 5 6 一路攀升，到了最近1 届， 已涨升到2 5 6 水平，成为除g b e 以外的最大互连架构。i n f i n i b a n d 作为h p c 市 场发展的主要推动性技术之一，现在已经占到h p c 互联市场总额的2 0 ，并达到 4 7 的复合年增长率。 从2 0 0 5 年i n f i n i b a n d 开始进入存储市场以来，已有越来越多的存储客户开始 使用i n f i n i b a n d 技术。目前主流的存储厂商除了e m c 之外，其余厂商都宣布了 i n f i n i b a n d 的存储解决方案。分析其中的原因，带宽、价格方面，i n f i n i b a n d 均比 f c 方案具有优势，其中i n f i n i b a n d 带宽为2 0 g b p s ，而f c 只有4g b p s ，而价格 上，一块f c 网卡就要上万元，远比i n f i n i b a n dh c a 卡贵上许多。另外，更为主 要的是：i n f i n i b a n d 一种标准开放的协议，具有更多的厂商支持。因此，i n f i n i b a n d 在s a n 存储应用里的优势非常明显。 在光纤交换机领域曾有过多年经验的v o l t a i r e 公司亚太区总经理司马聪认 为，i n f i n i b a n d 是到目前为止与c p u 、内存距离最近的网络，也是最有发展前途 的网络。将来从服务器出来的i o 都连接到i n f i n i b a n d ，再通过i n f i n i b a n d 连接其 他各种网络。也就是说，把i n f i n i b a n d 网络融合进s a n ( 存储网络) 和i p 网，并 且提供统一管理。清华大学高性能计算中心的负责人曾经表示，与采用的千兆以 太网连接高性能计算节点相比，采用i n f i n i b a n d 的连接能够提高2 0 的效率。 - s t o r e a g e 公司的存储虚拟化管理软件通过i s c s i 协议，可以将i n f i n i b a n d 主 机集群与光纤通道以及i p s a n 相连接，实现不同网络存储系统的融合。下一步， i n f i n i b a n d 体系结构可以和光纤通道协议体系结构较好地融合，解决主机服务器 系统以及存储网络的关键问题。 英特尔的i o 加速技术通过增添芯片组和网卡来管理系统内存交易。直接内 存存取( d i r e c tm e m o r ya c c e s s ，简称d m a ) 技术与支持加速技术的网卡是核心。 此外，通过优化的t c p i p 堆栈，减少处理器的计算负载。 在亚洲，教育、科研机构以及商业用户对v o l t a i r e 产品的需求呈现出明显的 增长态势。日本东京工业大学采用v o l t a i r e 解决方案，构造出日本最大的超级计 算机( 由6 5 5 台服务器组成) ，在全球t o p 5 0 0 排行榜上也名列前茅。 i b m 公司的b l a d e c e n t e r ( 刀片中心) 系统也应用了惠普计划在其最新的刀片 服务器系统当中支持4 倍速i n f i n i b a n d 技术，而戴尔也认为i n f i n i b a n d 技术是未 来刀片服务器当中的标准配置【12 1 。不论是i d c ，还是g a r n t e r ，都预测刀片服务器 在2 0 0 8 年之前会成为服务器当中的主流。i b m 还表示，i n f i n i b a n d 技术更能够适 应虚拟化应用，能够非常平滑地划分成不同速率的虚拟i o 通道提供给刀片服务 器上的各类应用。 在高性能计算领域，i n f i n i b a n d 表现不俗，而s a n 当中，i n f i n i b a n d 也有其 基于i n f i n i b a n d 的网络存储系统结构与卷分配策略研究 发力点。i n f i n i b a n d 设备可支持各类协议转换功能，并且具有对网络虚拟化的能 力，可以把f cs a n 、i s c s i 、i n f i n i b a n d 、n a s 等整合在一个网络中。v o l t a i r e 已 推出了相关的产品。一般而言，文件系统之上的i p 和文件系统下的i s c s i 是不可 以混在一个网里的，但v o l t a i r e 的交换机有很强的虚拟化功能，通过i s c s ir d m a 协议( i s e r ) ，可以将i n f i n i b a n d 主机集群跟光纤通道以及i ps a n 相连接，此外 这个搭配系统还可以提供灵活的s a n 管理升级、存储虚拟化以及数据保护功能。 此外，包括e n g e n i o 和d a t a d i r e c tn e t w o r k s 在内的许多厂商开始提供真正的 i n f i n i b a n d 存储系统，让客户直接通过i n f i n i b a n d 交换机连接，而不需要f c 到 i n f i n i b a n d 的桥接【h j 。 清华大学高性能计算技术研究所网络存储实验室是国内较早开展海量信息存 储技术研究的课题组。该研究所的研究内容主要包括：海量信息的多层存储体系 结构、海量信息的快速i o 技术【1 4 1 、存储容灾技术【1 5 1 、存储智能管理技术【1 们、存 储高可用技术、存储安全技术、分布式信息服务技术、面向互联网服务的海量信 息存储技术【1 7 】等。同时，清华大学部署的高性能计算平台采用i n f i n i c o n 公司生产 的i n f i n i o t m 3 0 0 0 系列交换机，实现了1 2 8 节点的i n f i n i b a n d1 0 g b p s 全互连。 华中科技大学正在进行网络存储系统中虚拟化存储技术【1 8 】的研究。通过虚拟 化网络磁盘阵列，将分布在网络中的空闲资源收集起来构建公共存储池，实现基 本的j b o d 4 5 以及0 级和1 级磁盘阵列。同时还在研究如何构建和管理公共存储 池以及如何定制底层通信协议。 中国科学院计算技术研究所也在进行网络存储技术研究，其研究领域主要集 中在分布式共享存储系统。 北京大学相关研究机构正在研究网络存储以及p 2 p ( p e e r t o p e e r 对等网络计 算) 的相关内容，对基于异步消息中间件和结构化的p 2 p 结构进行了深入研究，目 前已在全国各地部署了十几台服务器，面向全国提供课程点播和文件存储服务， 这个平台具备服务器的性能监测等能力。 企业方面，国产服务器厂商在进行服务器对比的时候，更多的是注重系统性 能指标，星盈科技公司所有服务器都是围绕着“高效能”这一目标开发研制的，从 超级刀片计算机g t 4 0 0 0 就可以看出。星盈的超级刀片计算机在国际上一直都被 誉为最高效的超级计算机，其虚拟存储v s t o r 采用先进的虚拟存储技术把物理 磁盘及逻辑卷分开，只需要把磁盘加入磁盘阵列里，然后就可以通过v s t o r 的 简易图形操作界面轻松的创建、删除、扩展、镜像逻辑卷，再把逻辑卷分配给指 定的客户端。用户可以根据实际需要、分配不大而不小的存储空间给指定的客户 端，不会浪费每一个存储字节。它的主要特点在于：i n f i n i b a n d 超高带宽存储通 道，传输速率达到7 0 0 m b s ，v s t o r 系列支持i n f i n i b a n d 高带宽、低延迟传输通 道。同时运算节点可以不经过协议转换直接连接v s t o r ，保持最高的传输的速度， 4 硕士学位论文 不需购买其它设备，在节约成本的同时，大大提高存储效率。 i n f i n i b a n dh c a 卡以及交换机芯片的核心供应商一m e l l a n o x 公司亚洲区技术 总监宋庆春表示：i n f i n i b a n d 的应用领域已变得越来越广。从2 0 0 5 年开始 i n f i n i b a n d 开始进入存储市场以来，已有越来越多的存储客户开始使用i n f i n i b a n d 技术。预计在2 0 0 8 2 0 0 9 年，i n f i n i b a n d 应该成为存储市场的主力。 再来看思科公司的i n f i n i b a n d 统一服务器阵列的互连网络模型，请参考图 1 1 。 用一条i n 丘n i b a n d 链路连接： 存储 网络 备、。粤l c i 虻o 用i n 细i b a n d 交换机提供集i ￥互联 用一条高带宽管线信输每台服务器 的所有网络流量 n c 塔c o e a t 出，譬【6 5 0 0 系列 用以太孵刭b | 五n m 鲁h d 阿关 提供l a n 接入 图1 1 思科公司的v f r a m e 的统一服务器阵列 利用i n f i n i b a n d 统一阵列传输i p 、s a n 和集群流量的实现过程：将i n f i n i b a n d 网络与包含i n f i n i b a n d 、以太网和光纤通道端口的i o 层相连。在每台服务器中创 建虚拟h b a 和虚拟i p 接口，以及i n f i n i b a n d 到以太网和i n f i n i b a n d 到光纤通道 网关之后，服务器可以与现有l a n 和s a n 相连。从表面上看，与统一阵列连接 的服务器就好像是直接与s a n 相连的光纤通道节点，因而使s a n 管理和冗余软 件能够透明地运行，这其中包括多路径、基于逻辑单元号( l o g i c a lu n i tn u m b e r ， 简称l u n ) 的访问控制和光纤通道分区。类似的，通过加入现有i p 子网，包括 相关的v l a n 和组播组，i n f i n i b a n d 网络可以直接运行i p 应用。 总结：从国外的研究现状来看，对存储系统服务质量的研究主要侧重于对存 储资源自动提供工具的研究、对自适应存储管理系统的研究以及对磁盘性能和调 度机制的研究。但这些工作还刚刚开始不久，在广度和深度上还无法适应日益严 峻的存储需求，而且存储系统服务质量也没形成一个有效的体系结构。在结构方 面提出了i n f i n i b a n d 连接方式，i b a 理方向研究。国内以清华t h m s n s 系统为核 心的研究主要在于光纤，i s c s i 或者i p i b 的层次上实现了具体的目标器。很多企 业不仅在高性能计算中集群节点之间越来越多的采用i n f i n i b a n d 技术作为通信网 络，在存储领域的应用也呈增长趋势。 不仅高性能计算中广泛采用i n f i n i b a n d 作为集群节点之间的通信网络，而且由 基于i n f i n i b a n d 的网络存储系统结构与卷分配策略研究 于它所具有的整合的特性使得集群节点与节点间、集群设备与存储设备间实现了 基于i n f i n i b a n d 的统一管理。也就是说，i n f i n i b a n d 网络结构应用方面，i n f i n i b a n d 正朝着统一数据中心网络，从而将应用领域从高性能计算( h p c ) 扩宽到整个数 据中心这一方向发展。因此i n f i n i b a n d 在存储系统中的应用研究也具有重要意义。 1 3 网络存储概述 1 3 1 直接依附存储( d i r e c ta t t a c h e ds t o r a g e ，d a s ) d a s 【1 9 】又称为以服务器为中心的存储体系，其核心思想是存储介质以s c s i 协议连接在服务器后面，服务器为数据存储共享的中转接点。其特征为存储设备 是通用服务器的一部分，该服务器同时提供应用程序的运行，即数据访问与操作 系统、文件系统和服务程序紧密相关。当用户数量增加或服务器正在提供服务时， 其响应速度会变慢，出现性能瓶颈，因此对于大数据量的存储使用多个d a s 系统， 存在着信息孤岛现象，与数据的不统一现象，这对于合理的管理数据是十分不利 的。因此，此方案不利于进行海量的数据存储共享。请参考图1 2 。 圆毋 服 务 器 肆 图1 2d a s 数据存储方案 1 3 2 网络附属存储( n e t w o r ka t t a c h e ds t o r a g e ，n a s ) n a s 【1 9 】的结构是以网络为中心，面向文件服务的，是以内嵌的n a s 服务器 为中心的数据存储。在这种存储系统中，应用和数据存储部分不在同一服务器上， 即有专用的应用服务器和专用的数据服务器。其中专用数据服务器不再承担应用 服务，称之为“瘦服务器”( t h i ns e r v e r ) 。数据服务器通过局域网的接口与应用 服务器连接，应用服务器将数据服务器视做网络文件系统，通过标准l a n 进行 访问。由于采用局域网上通用数据传输协议，如n f s 【2 0 1 、c i f s 【2 1 】等，因此兼容 了w i n d o w s 文件系统与u n i x 文件系统进行数据的共享存储【2 引，提供跨平台文件 共享功能。n a s 系统的关键是文件服务器，一个经过优化的专用文件服务和存储 服务的服务器是文件系统所在地和n a s 设备的控制中心。集成在存储设备内的专 硕士学位论文 用文件服务器提高了文件的i o 速度【2 3 1 ，该服务器一般可以支持多个i o 节点和 网络接口，每个i o 节点都有自己的存储设备。请参考图1 3 。 黢露 霸 服务器 图1 3n a s 数据存储方案 1 3 3 存储区域网络( s t o r a g ea r e an e t w o r k ，s a n ) s a n 【”，2 3 1 通过若干台存储服务器组成一个单独的数据网络，用于提供企业级 的数据存储服务。s a n 是一种特殊的高速网络，连接网络服务器和诸如大磁盘阵 列或备份磁带库的存储设备，s a n 置于l a n 之下，而不涉及l a n 。利用s a n ， 不仅可以提供大容量的存储数据，而且地域上可以分散，并缓解了大量数据传输 对于局域网的影响。s a n 的结构允许任何服务器连接到任何存储阵列，不管数据 置放在哪里，服务器都可直接存取所需的数据。请参考图1 4 。 s a n 是一种以光纤通道( f i b e rc h a n n e l ，f c ) 或者i n f i n i b a n d ( i b ) 实现服 务器和存储设备之间通讯的网络结构，数据处理是“块级”( b l o c kl e v e l ) 。s a n 中的服务器和存储系统各自独立，地位平等，通过高带宽( 传输速率为8 0 0 m b s ， 全双工时可达1 6 曲s ) f c i b 集线器或f c i b 交换机相连，可避免大流量数据传 输时发生阻塞和冲突。各应用工作站通过局域网访问服务器，在各存储设备之间 交换数据时可以不通过服务器，这样就大大减轻了服务器承受的压力。 s a n 具有如下优点【2 4 ，2 5 1 ： ( 1 ) 更好的适应性 分散的数据资源可以相互连接起来组成一个很大的总资源，为多台服务器适 用。这些资源之间的距离就是光纤通道的有效距离。这使得对存储设备的重复使 用变得简单有效。事实上，通过s a n 架构，我们可以很轻松地从一种应用转到 另一种应用，即使那种应用的地理位置远在几公里以外。 基于i n f i n i b a n d 的网络存储系统结构与卷分配策略研究 图1 4s a n 数据存储方案 ( 2 ) 更好的可扩展性 服务器与存储设备不再一对一地脆弱地连在一起。新的存储设备可以动态地 加入到设备池中o ( 3 ) 更好的性能 通过光纤通道技术，数据的传输速度有了很大的提高。同时，通过s a n 的架 构，备份恢复，文件迁移等都不必通过局域网传输数据，这样数据传输和应用的 性能都有了很大的提高。 ( 4 ) 更高的可用性 s a n 大大地提高了可用性。例如，在s a n 中，任意一台服务器都可以接管 其他有相同存储设备和用户的服务器的任务。如何得到我们需要的数据已经不再 是工作效率的瓶颈，通过s a n ，我们可以利用新的集群技术通过任意一台服务器 访问到需要的数据。而且，数据可以自动地复制到需要的任意地方。用户可以自 由选择复制是磁盘或者卷一级，还是数据库或者文件系统一级。对于关键作业， 一点上数据的改动可以同步地使所有的副本同时更新；对于普通数据，更新的时 间也只需要几秒钟或几分钟。在s a n 中有这样一些优秀的复制软件，这些软件的 可靠性和性能都可以满足最苛刻的要求。通过这些复制软件，在s a n 中，数据可 以全自动地备份，并维护多个灾难恢复用的数据副本。这样，s a n 使可用性达到 了一个前所未有的水平。 ( 5 ) 增强的可管理性 s a n 通过更高的可靠性和集中控制使管理变得更简单。从前的存储设备总是 藏在某台服务器的后面，而现在，存储设备可以直接被管理到。可管理性在以下 两方面得到体现：首先，自动化的监视管理工具可以识别一些错误，然后无