（计算机科学与技术专业论文）infiniband基板管理的研究与实现.pdf

r e s e a r c ha n d i m p l e m e n t a t i o no fi n f i n i b a n d b a s e b o a r dm a n a g e m e n t c a n d i d a t e ：t o n g x i n a d v i s o r ：s e y i nj i a b i n at h e s i s s u b m i t t e di np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t s f o rt h ep r o f e s s i o n a ld e g r e eo fm a s t e ro fe n g i n e e r i n g c o m p u t e rt e c hn o l o g y i n o m d u t e r1e en o l o g r a d u a t es c h o o lo fn a t i o n a lu n i v e r s i t yo fd e f e n s et e c h n o l o g y c h a n g s h a , h u n a n , p r c h i n a m a y , 2 0 1 0 9 f 、j 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意 学位论文作者签名：耋堕： 日期：州口年占月侣日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存，汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文作者签名： 作者指导教师签名： 童心 日期：2 。年占月8 日 日期： ，0 年占月，p 日 国防科学技术大学研究牛院t 程硕士学位论文 目录 摘要i a b s t r a c t 第一章绪论1 1 1 研究背景1 1 2i n f i n i b a n d 技术基础4 1 2 1i n f i n i b a n d 的体系结构5 1 2 2i n f i n i b a n d 的网络管理5 1 2 3i n f i n i b a n d 交换机7 1 3 主要研究内容和创新点9 1 4 论文的组织结构9 第二章i n f i n i b a n d 网络路由和交换原理11 2 1协议分层和数据包格式l l 2 2 子网管理及拓扑发现。1 4 2 3网络编址1 6 2 3 1 本地标识符1 6 2 3 2 全局路由标识符1 8 2 4 子网路由1 8 2 5 线性转发表和随机转发表1 9 2 6 卅、结：! l 第三章i n f i n i b a n d 网络的基板管理模型一2 2 3 1i n f i n i b a n d 基板管理的基本机制2 2 3 1 1 通用服务管理模型2 2 3 1 2 基板管理体系结构2 3 3 1 3 基板管理的通信模型2 4 3 2 板卡基板管理2 6 3 2 1 基板管理模型2 6 3 2 2 板卡管理模型2 7 3 3机架管理2 8 3 3 1主动管理机架2 8 3 3 2 被动管理机架2 9 第1 页 国防科学技术大学研究牛院工程硕士学位论文 3 4 第四章 4 1 4 2 4 3 4 4 4 5 4 6 第五章 5 1 5 2 3 3 3非管理机架3 0 d 、结3 0 i b s 2 1 6 q 交换机基板管理的设计与实现3 1 i b s 2 1 6 q 交换机简介3 1 i b s 2 1 6 q 交换机的基板管理模型3 2 4 2 1 板卡连接结构3 2 4 2 2 基板管理架构3 3 板卡硬件管理( 仍m ) 的实现3 5 4 3 1板卡硬件结构3 5 4 3 2 硬件管理电路3 7 i b s 2 1 6 q 交换机的机架管理3 7 基于基板管理的系统工作温度测试3 8 小结4 l i n f i n i b a n d 交换机故障影响度分析4 2 胖树拓扑结构4 2 5 1 1胖树结构的基本特点4 2 5 1 2m 端口，l 树模型4 3 胖树故障影响度4 4 5 2 1i n f i n i b a n d 子网中多路径传输机制一4 4 5 2 2 故障影响度定义4 7 5 2 3 朋端口3 树的故障影响度计算与分析4 8 i b s 2 1 6 q 交换机的故障影响度分析5 3 5 3 1 i b s 2 1 6 q 交换机的故障影响度5 3 5 3 2 i b s 2 1 6 q 交换机与3 2 4 口交换机故障影响度的比较5 6 5 4 小结5 7 结束语一5 8 致谢5 9 参考文献6 0 作者在学期间取得的学术成果6 3 第页 国防科学技术大学研究牛院工程硕十学位论文 表目录 表1 1 主要的网络互连技术比较2 表1 2i n f i n i b a n d 通用服务管理的分类6 表3 1m a d 字段属性说明2 3 表3 2 主要的基板管理方法2 4 表4 1i b s 2 1 6 q 交换机技术指标3 2 表5 1 柳端口刀树参数。4 4 表5 2 多l i d 的分配方案4 6 表5 3多l i d 交换机转发表配置方案一4 6 第1 i i 页 国防科学技术大学研究生院工程硕士学位论文 图 图 图 图 图1 5 图1 6 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图2 1 0 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图目录 i n f i n i b a n d 互连技术在t o p 5 0 0 中的应用数量3 2 0 0 9 年1 1 月t o p 5 0 0 中各种互连技术的应用比例3 r o a d r u n n e r 处理器互连结构4 i n f i n i b a n d 体系结构图5 i n f i n i b a n d 网络管理模型一7 交换机模型8 i n f i n i b a n d 协议分层结构l l i n f i n i b a n d 数据包格式1 2 上层协议1 3 子网管理接口模型1 4 子网管理的工作原理一1 5 l r h 格式l6 i n f i n i b a n d 中的多路径1 7 u p * d o w n * 路由算法1 9 i n f i n i b a n d 线性转发表j 2 0 i n f i n i b a n d 随机转发表2 0 通用服务管理接口模型2 2 l n f i n i b a n d 的m a d 格式2 3 i n f i n i b a n d 基板管理模型2 4 交换机基板管理通信示意图一2 5 板卡的基板管理2 6 板卡的逻辑结构一2 7 主动管理机架模型2 9 被动管理机架模型3 0 i b s 2 1 6 q 交换机3 l i b s 2 1 6 q 交换机逻辑结构3 3 i b s 2 1 6 q 交换机的基板管理一3 4 i b a s 板逻辑结构3 5 1 2 c 总线的连接结构3 6 m h m 控制网络结构3 7 i n f i n i b a n d 交换机的机架管理模型3 8 i b s 2 1 6 q 交换机内部交换板最高工作温度一3 9 第1 v 页 国防科学技术大学研究牛院工程硕七学位论文 图4 9 图4 1 0 图5 1 图5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图5 8 图5 9 图5 1 0 图5 1 l 图5 1 2 i b s 2 1 6 q 交换机各i b c s 板工作温度3 9 i b s 2 1 6 q 交换机各i b a s 板工作温度4 0 二叉树和胖树拓扑结构4 2 4 端口3 树i n f i n i b a n d 子网4 3 胖树结构l i d 分配和转发表配置实例4 5 胖树拓扑结构节点间通信路径4 7 底层有故障交换机的m 端口3 树子网4 8 中间层有故障交换机的m 端口3 树子网4 9 项层有故障交换机的m 端口3 树子网5 l 各端口的转发表表项数量。5 2 各层交换机故障时修改的表项数量5 2 各层交换机故障时的影响度5 3 使用i b s 2 1 6 q 交换机构建的拓扑结构5 4 使用3 2 4 端口交换机构建的拓扑结构5 4 第v 页 国防科学技术大学研究牛院下程硕七学位论文 摘要 作为一种互连技术，i n f i n i b a n d 技术具有高带宽、低延时等许多优势，被认为 是消除当前i o 架构性能瓶颈的一种新途径。i n f m i b a n d 子网实现了数十个到数百 个节点间的高速互连与数据传输。目前，i n f i n i b a n d 技术已在高性能计算领域得到 广泛应用，正逐渐成为高性能计算互连的首选协议。 基板管理是i n f i n i b a n d 网络管理的重要组成部分，主要功能是对i n f i n i b a n d 子 网设备硬件的监控和管理，保证子网的稳定运行。高效、完善的基板管理对提高 l n f i n i b a n d 网络的可靠性具有重要意义。 本论文的主要工作有以下三点： ( 1 ) 研究了i n f m i b a n d 的体系结构，对i n f m i b a n d 的管理机制，特别是对通 用服务管理中的基板管理进行了深入分析和探讨，详细分析i n f i n i b a n d 的基板管理 模型。 ( 2 ) 深入分析了i b s 2 1 6 q 交换机的基板管理原理，提出了一种基于1 2 c 网 络的交换机基板管理模型并加以实现，基于此基板管理对交换机的板卡温度进行 监测，以验证其有效性。 ( 3 ) 研究了i n f i n i b a n d 胖树拓扑结构子网的路由算法；并进行了故障模式的 分析；提出一种衡量子网故障影响程度的指标，基于此指标对聊端口3 树i n f i n i b a n d 子网的故障模式进行了分析；提出一种对子网影响程度较小的解决子网故障的方 案。最后基于上述方案进一步就交换机对子网的故障模式和影响程度进行了分析 和研究。 综上所述，本文对i n f m i b a n d 基板管理的机制进行了深入研究，并加以设计和 实现；同时对l n f i n i b a n d 胖树拓扑结构子网的故障模式进行了分析，对提高 i n f i n i b a n d 子网的容错性，构建基于l n f i n i b a n d 的高性能集群系统有一定的理论意 义和应用价值。 主题词：i n f i n i b a n d交换机基板管理胖树拓扑结构 影响度 第i 页 国防科学技术大学研究生院1 = 程硕士学位论文 a b s t r a c t a sa l li n t e r c o n n e c t i o nt e c h n o l o g y i n f i n i b a n di sc o n s i d e r e da san e ws o l u t i o nt o e l i m i n a t et h ep e r f o r m a n c eb o t t l e n e c ko fc u r r e n t f r a m e w o r kb e c a u s ei to w n sm a n y a d v a n t a g e so fh i g hb a n d w i d t h ，l o wd e l a y , e t c i n f i n i b a n ds u b n e ti m p l e m e n t sh i g hs p e e d i n t e r c o n n e c t i o na n dd a t at r a n s m i s s i o nf r o mt e n so fn o d e st oh u n d r e d so fn o d e s n o w ， l n f i n i b a n dt e c h n o l o g yi sw i d e l yu s e di nh i g hp e r f o r m a n c ec o m p u t i n ga n db e c o m e st h e f i r s tc h o i c ef o r t h ei n t e r c o n n e c t i o ni nh i g hp e r f o r m a n c ec o m p u t i n g b a s e b o a r dm a n a g e m e n ti so n ei m p o r t a n tc o m p o n e n ti nt h ei n f i n i b a n dn e t w o r k m a n a g e m e n tb e c a u s ei t sm a i nf u n c t i o ni st om o n i t o ra n dm a n a g et h eh a r d w a r ei nt h e i n f i n i b a n ds u b n e td e v i c e st oe n s u r es y s t e ms t a b i l i t y t h r e em a i nc o n t r i b u t i o n so ft h i st h e s i sa r ei i s t e da sf o l l o w s ： ( 1 ) s t u d yt h ei n f r a s t r u c t u r eo fi n f i n i b a n d ，a n a l y z ea n dd i s c u s si nd e p t ha b o u tt h e m a n a g e m e n tm e c h a n i s mo fi n f m i b a n d ，p a r t i c u l a r l y ，t h eb a s e b o a r dm a n a g e m e n ti n g e n e r a ls e r v i c e sm a n a g e m e n t ； ( 2 ) b a s e do nt h ea n a l y s i so ft h em a n a g e m e n tm e c h a n i s m so fi b s 2 16 qs w i t c h ，w e p r o p o s ea n di m p l e m e n tam a n a g e m e n tm o d e ii nt h e1 2 cn e t w o r ks w i t c h m o r e o v e r w e t e s tt h eb o a r dt e m p e r a t u r ei nt h es w i t c hb a s e do nt h i sm o d e l t h ee f f i c i e n c yo ft h i s s y s t e mi sa l s ov e r i f i e d ； ( 3 ) s t u d yt h er o u t i n ga l g o r i t h mu s e di nt h ei n f i n i b a n ds u b n e tw i t hf a t t r e e t o p o l o g ya n da n a l y z et h em o d e so ff a i l u r e s w ep r o p o s eam e t r i ct om e a s u r et h ei m p a c t s c a l eo ft h es u b n e tf a i l u r e b a s e do nt h i sm e t r i c ，w ea n a l y z et h ef a i l u r em o d eo fm - p o r t 3 t r e e si n f i n i b a n ds u b n e ta n dp r e s e n tas o l u t i o n , w h i c hm i n i m i z e st h eb a de f f e c to ft h e s u b n e tf a i l u r e a tl a s t , w et a k eas t e pf u r t h e ri nt h ea n a l y s i sa n ds t u d yo ft h ef a i l u r e m o d ea n di m p a c ts c a l et os u b n e tf r o ms w i t c h e s ； i naw o r d t h i st h e s i ss t u d i e si n d e p t h , d e s i g n sa n di m p l e m e n t st h em e c h a n i s m so f i n f i n i b a n db a s e b o a r dm a n a g e m e n t m e a n w h i l e ，w ea n a l y z et h ef a i l u r em o d eo ft h e l n f i n i b a n ds u b n e tw i t hf a t - t r e et o p o l o g y w eb e l i e v et h a to u rw o r kw i l lb ev e r yu s e f u l t o i m p r o v e t h ef a i l u r e t o l e r a n c ea b i l i t yo fi n f i n i b a n dn e t w o r ka n db u i l dh i g h p e r f o r m a n c ec l u s t e rs y s t e m sb a s e do ni n f i n i b a n dt e c h n o l o g y k e yw o r d s ：i n f i n i b a n d ，s w i t c h ，b a s e b o a r dm a n a g e m e n t ，f a t - t r e et o p o l o g y ， i m p a c ts c a l e 第i i 页 国防科学技术大学研究牛院t 程硕士学位论文 第一章绪论 随着集群计算( c l u s t e r ) 【1 1 、存储区域网( s a n ，s t o r a g ea r e a n e t w o r k ) 【2 1 、 数据中心( d a t a c e n t e r ) 【3 1 、内部处理器通信( i p c ，i n t e r p r o c e s s o r c o m m u n i c a t i o n ) 4 1 等领域对高带宽、高扩展性、高q o s 、高r a s ( r e l i a b i l i t ya v a i l a b i l i t ya n d s e r v i c e a b i l i t y ) 的迫切需求，并随着数据量的急剧增大【5 j ，传统集群互连采用以计 算节点为核心的网络架构性能差、结构复杂和扩展能力差等问题日益突出。因此 必须要有一套高带宽、低延时、高可靠并能满足集群无限扩展能力的开放交换网 络技术1 6 1 。基于通道交换式技术的通用i o 规范i n f i n i b 锄d ( 简称i b ) l t l l 8 1 可以 满足上述需求。l n f i n i b a n d 技术主要用于支持多处理器集群，也可用于支持远程i o 和远程存储器等。本章主要介绍了i n f i n i b a n d 的特点、发展趋势、应用及i r f f m i b a n d 的技术基础等。 1 1 研究背景 i n f i n i b a n d 是一个互连各个节点和i o 设备体系结构的工业标准【9 】。它是一个 以交换机为基础的高速互连技术，具有高带宽、低延时、保证服务质量等很多优 势。i n f i n i b a n da r c h i t e c t u r e ( 简称m a ) 是由i b t a ( i b t a ：i n f i n i b a n dt r a d e a s s o c i a t i o n ) 于1 9 9 9 年推出的开放互连标准。i b t a 于1 9 9 9 年8 月成立，协会主 要成员有：康柏、戴尔、惠普、m m 、英特尔、微软和s u n l l o l 。从历史的角度看， i n f i n i b a n d 代表了两种潮流的融合：下一代i o ( n g i o ) 和未来的i o ( f i o ) 的融 合，大部分n g i o 和f i o 潮流的成员都加入了i b t a 阵营【i i j 。 i b t a 于2 0 0 1 年l o 月提出了l n f i n i b a n d 规范的1 o 版本，目前l n f i n i b a n d 规 范的最高版本是2 0 0 8 年1 月i b t a 发布的i n f i n i b a n d 规范1 2 1 版本。i b a 规范实 际上是一本规格书，分成卷l 及卷2 两部分，卷l 部分完全在于i b a 的理论层面， 包括基础架构、运作原理、机制特性等，卷2 则是i b a 的实现层面，包括机械构 型的定义、电气的规范、实际运行时的组态管理等。卷l 用来了解i b a ，要研发 设计出i b a 产品还需读懂卷2 ，此外，规范的1 3 个附录也是完成应用设计所不可 或缺的组成部分。 i n f i n i b a n d 链路选用光纤或铜线实现连接，单线传输速率为2 5 g b p s ，通过l 、 4 、1 2 线并行来扩展通道带宽，有s d r 、d d r 、q d r 三种工作模式，根据i n f i n i b a n d 规范1 2 版本，传输速率最高可达到1 2 0 g b p s ( 1 2 xq d r ) 。i n f i n i b a n d 还具有低 延时的特点，作为高性能计算互连最重要的指标，基于通道的i n f i n i b a n d 交换机延 时小于l o o n s ，应用程序延时为l _ 3 u s 。i n f i n i b a n d 采用远程d m a ( r d m a ) 、 第1 页 程硕士学位论文 输；采用点到点的交换结构提高容 务等级的虚拟通道方式实现q o s ； 采用循环冗余检测保证信号的完整性；采用多个子网管理器的竞选机制保证高可 靠性( 不会因为某个子网管理器故障而影响整个网络的运行) 。 i n f i n i b a n d 不仅带宽高，延时低，而且是一套开放互连标准，无论性能还是价 格方面，在高性能计算( h p c ，h i 【g hp e r f o r m a n c ec o m p u t i n g ) 领域都极具优势。 目前，i n f i n i b a n d 已被广泛的应用于高性能计算系统中，正逐渐成为高性能计算互 连的首选协测1 2 j 。 与t c p i p 协议相比，i n f m i b a n d 硬件承担了原来由c p u 完成的许多i o 通信 工作，因此在处理并发多路通信任务时，不会像其他通信协议那样产生额外开 销i l2 。与目前其它几种主流网络互连技术相比，i n f i n i b a n d 的性能可达f i b e rc h a n n e l 和万兆以太网的5 倍1 1 3 j ；i n f i n i b a n d 交换机的延时是f i b e rc h a n n e l 交换机的i 1 0 ； 从价格角度看，i n f i n i b a n d 是万兆以太网的几分之一，而与f i b e rc h a n n e l 在同一数 量级上，目前主要网络互连技术的比较如表1 1 所示。 表1 1 主要的网络互连技术比较 f i b e r1 0 g 主要指标 i n f i n i b a n d c h a n n e le t h e r n e t 成本中高中 延迟中高低 带宽 4 - 1 0 g b p s1 0 g b p s4 0 - 1 2 0 g b p s 传输卸载有无有 r d m a 支持无无有 错误校验 c r cc r ci c r c 、v c r c l n f i n i b a n d 由于其特点和优势，在高性能计算领域，得到越来越广泛的应用。 近年的t o p 5 0 0 t 1 4 j 高性能计算机统计结果表明，i n f m i b a n d 技术在世界前5 0 0 名超 级计算机中所占的比重逐年增加，从2 0 0 5 年6 月的1 6 台增加到2 0 0 9 年1 1 月的 l8 l 台。 2 0 0 8 年6 月，i b m 公司研制的利用l n f i n i b a n d 技术互连处理器节点的超级计 算机系统“走鹃 ( r o a d r u n n e r ) 获得t o p 5 0 0 性能排名第一，这是应用l n f i n i b a n d 互连技术的超级计算机首次获得第一名。图1 1 列举了从2 0 0 5 年到2 0 0 9 年 l n f m i b a n d 互连技术在t o p 5 0 0 中的应用数量和比例。 第2 页 围防科学技术大学研究牛院工程硕士学位论文 2 0 0 1 5 0 嚣 丑 越 删1 0 0 裁 暖 趟 5 0 0 蔷：；2 1 ， 一7 7 歹7 8 1 5 6 ， 3 j k 黍， 0 5 60 5 1 10 6 60 6 1 10 7 60 7 i l0 8 60 8 1 10 9 60 9 1 l 时间( 年月) 图1 1 i n f i n i b a n d 互连技术在t o p 5 0 0 中的应用数量 在2 0 0 8 年1 1 月的t o p 5 0 0 排行中，使用i n f i n i b a n d 技术的就超过四分之一达 到2 8 ，在2 0 0 9 年1 1 月最新的t o p 5 0 0 排行中超过已三分之一，达到3 6 2 ( 如 图1 2 所示) 。可以看出，在高性能计算领域，i n f i n i b a n d 技术已渐渐成为服务器 网络互连主要技术【1 5 j ，虽然目前还无法打破g i g a b i te t h e m e t 的主导地位，但已远 超过其它互连技术。按照这样的发展趋势，可以预见，将来l n f i n i b a n d 技术的发展 必将有能力与g i g a b i te t h e m e t 技术抗衡。 图1 22 0 0 9 年1 1 月t o p 5 0 0 中各种互连技术的应用比例 ，3 6 2 0 第3 页 工程硕士学位论文 计算机系统连续三届蝉联高 ，t 能计算 的处理器节点就是利用i n f m i b a n d 技 术，以两层胖树结构的形式进行连接，r o a d r u n n e r 处理器互连结构如图1 3 所示。 第2 层8 台 i n f i n i b a n d 变换机 第1 层1 8 台 i n f i n i b a n d 交换机 每台交换机连接1 8 0 个 t r i b l a d e 和1 2 个i o 节点 图1 3r o a d r u n n e r 处理器互连结构 r o a d r u n n e r 处理器互连应用了胖树拓扑结构，第l 层有1 8 台v o l t a i r e4 xd d r 2 8 8 p o r ti n f i n i b a n d 交换机，每台交换机连接1 8 0 个t r i b l a d e 模块以及1 2 个i o 节 点，每个t r i b l a d e 模块由2 颗o p t e r o n 双核c p u 和4 颗p o w e r x c e l l8 i 处理器以及 i n f m i b a n d 节点组成。第2 层8 台交换机将第l 层交换机互连。这样，整个系统就 把6 4 8 0 颗o p t e r o n 双核c p u 以及1 2 9 6 0 颗p o w e r x c e l l8 i 处理器通过i n f i n i b a n d 连接成一个整体i i 6 。 i n f i n i b a n d 因为其基于交换的结构和高带宽、低延时的性能，降低了制造高性 能计算机的技术门槛。根据i b t a 公布的发展计划，l n f i n i b a n d 传输速率将在未来 3 年接近1 0 0 0 g b p s 。可以预见，在新的互连技术问世之前，未来的高性能计算机 大部分将会由i n f i n i b a n d 连接起来进行高速数据交换。 i n f i n i b a n d 除在h p c 中的广泛应用外，在其它领域也得到了长足发展。这主 要包括i n f i n i b a n d 在企业存储旧、大型网络游戏中心、电视媒体编辑及动画制作 方面的应用等。在证券业方面，人们也已经着手开发以i n f i n i b a n d 为核心的高速、 低迟延交易系统：在银行业目前已经有了一些以i n i f m i b a n d 取代f i b r ec h a n n e l 的 尝试i 儿i 。 1 2i n f i n i b a n d 技术基础 i n f i n i b a n d 是一个以交换机为基础的高速互连结构，此结构可以用基于信道的 串口替代共享总线，所有系统和设备( 一般称作节点) 可通过信道适配器连接到 第4 页 国防科学技术大学研究牛院丁程硕士学位论文 管理机制，保证子网的运行性能和可靠性。 1 2 1 i n f i n i b a n d 的体系结构 i n f i n i b a n d 子网主要由主机通道适配器( h c a ，h o s t c h a n n e la d a p t e r ) 、目标 通道适配器( t c a ，t a r g e tc h a n n e la d a p t e r ) 、交换机( s w i t c h ) 、路由器( r o u t e r ) 及i n f i n i b a n d 链路组成，i n f i n i b a n d 通过这些组件实现子网中各节点的连接【1 9 1 ， i n f i n i b a n d 体系结构如图1 4 所示。 c p u c p u 姐 魁 蜊 吲 暴 州 i o 控制器 t c a m 链路i _ 1mi i i b ，】 一 鬻陶剥交换机惮年丽 m 链路i 系统l 厂一 主存il 路由器 _ j i 一 图1 4i n f i n i b a n d 体系结构图 h c a 驻留在处理器节点，提供从系统内存到子网的通路；t c a 驻留在i o 单 元，作用是提供i o 设备与子网的连接：i n f i n i b a n d 结构通过交换机和路由器连接 主机和节点设备，i n f m i b a n d 交换机是子网内的设备，用来连接h c a 和t c a 组建 子网，i n f i n i b a n d 交换机具有分区功能，实现子网内路由：路由器用来连接其它 l n f i n i b a n d 子网和w a n s ，实现子网间的路由；i n f i n i b a n d 链路用来连接h c a 与 t c a 以及交换机和路由器，i n f i n i b a n d 不仅可选用光纤或铜线实现连接，而且还可 以在背板间选用集成电路实现单个芯片间电路的连接【2 0 l 。 1 2 2 l n f i n i b a n d 的网络管理 i n f i n i b a n d 有一套自主管理机制，分为子网管理( s u b n e tm a n a g e m e n t ) 和通用 服务管理( g e n e r a ls e r v i c e sm a n a g e m e n t ) 。子网管理主要功能是子网的拓扑发现、 地址分配、转发表配置等。通用服务管理是除子网管理之外其它服务的管理，如 子网硬件监控、子网性能管理等【2 l l ，是i n f i n i b a n d 管理机制的重要组成部分。通 用服务管理包括8 类，具体类型如表1 2 所示【2 2 1 。 第5 页 国防科学技术大学研究尘院t 程硕十学位论文 表1 2i n f i n i b a n d 通用服务管理的分类 名称 描述 主要用于存储子网的管理信息，提供获取子网配置 和操作的方法，节点将自身的服务注册在s a 中，所 子网监管 有节点通过它来发现其它的节点和服务，从而决定 ( s a , s u b n e ta d m i n i s l r a t i o n )与其它节点进行通信的路径和路径参数并建立通 道。每一个i n f i n i b a n d 都有一个s a ，一般与主s m 位于同一个节点上。 主要功能是从性能代理中收集性能信息，完成 性能管理i n f m i b a n d 组件中性能的统计和出错信息的检索，监 ( p e r f o r m a n c em a n a g e m e n t )视和管理性能监视器。性能管理代理被强制放置在 每一个i n f i n i b a n d 节点中。 基板管理主要用于监视和控制基板的属性，如电源控制和温 ( b a s e b o a r dm a n a g e m e n t ) 度报告等。并提供将信息传到子网外的机制。 设备管理用于配置和管理i o 控制器，提供t c a 连接的i o ( d e v i c em a n a g e m e n t )设备的管理。 s n m p 隧道管理 通过定义收发s n m p 信息的方法提供s n m p 功能， 负责在管理代理和使用s n m p 的管理应用程序之间 ( s n m pt u n n e l i n g ) 的通信。 厂商特定管理定义了某些由硬件供应商定义的服务，允许供应商 ( v e n d o r - s p e c i f i c ) 远程配置和管理设备。 应用特定管理 提供应用程序相关的管理。 ( a p p l i c a t i o n s p e c i f i c ) 通信管理 提供了两个端节点之间连接通道的建立、终止和迁 ( c o m m u n i c a t i o nm a n a g e m e n t ) 移机制，提供了基本的服务d 到q p 的解决方案1 。 l n f i n i b a n d 网络的管理由管理器、管理代理、以及管理接1 2 1 组成【捌。管理器、 管理代理之间通过管理接口传送管理数据包对网络进行管理。 i n f i n i b a n d 子网中，可存在多个管理器，通道适配器、交换机、路由器中都可 以驻留一个管理器，但只有一个处于工作状态，其它处于待机备用状态，若一个 主子网管理器发生故障，将通过仲裁机制选择另一个待机的备用子网管理器接替 第6 页 国防科学技术大学研究牛院工程硕+ 学位论文 故障管理器。在f 司一子网内，每一个节点都自。与管理器对应的管理代理对管理器 负责，共同实现对子网的管理。i n f i n i b a n d 网络管理模型如图1 5 所示。子网管理 和通用服务管理将在后面的章节中详细研究和分析。 图1 5i n f l n i b a n d 网络管理模型 1 2 3i n f i n i b a n d 交换机 l n f i n i b a n d 交换机放置在通道适配器之间，通过链路使数个到数百个l n f i n i b a n d 节点互连成一个单一子网，并且还支持多个交换机连接，是i n f i n i