（计算机科学与技术专业论文）infiniband网络接口的研究与实现.pdf

r e s e a r c ha n d i m p l e m e n t a t i o no f i n f i n i b a n d n e t w o r ki n t e r f a c e c a n d i d a t e ：s h e nl i a d v i s o r ：p r o f s u nz h ig a n g at h e s i s s u b m i t t e di np a r t i a lf u l f i l l m e n to f t h er e q u i r e m e n t s f o rt h ep r o f e s s i o n a ld e g r e eo fm a s t e ro fe n g i n e e r i n g i nc o m p u t e r t e c h n o l o g y 一 一一 g r a d u a t es c h o o lo fn a t i o n a lu n i v e r s i t yo fd e f e n s et e c h n o l o g y c h a n g s h a ，h u n a n ，p r c h i n a m a r c h ，2 0 1 0 独创性声明 本人声明所呈交的学位论文是本人在导师的指导下进行的研究工作及取得的 研究成果。尽我所知，除了论文中特别加以注释和致谢的地方外，论文中不包含 其他人发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本论文所做的贡献均 已在论文中作了明确的说明并表示感谢。 学位论文题目：垫鱼逝坠塑垂圈终接里鲍亟究生塞理 学位论文作者签名：；之壅四 日期：6 i 口年月，。日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等手段保存、汇编本学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文作者签名： 芝：垫 日期：川p 年6 月矿日 作者指导老师签名：二乙舛 日期：芦t 哞明矽日 国防科学技术大学研究生院工程硕士学位论文 目录 摘要i a b s t r a c t i i 第一章绪论1 1 1 课题背景1 1 2i b 网络体系结构3 1 3 课题研究的内容5 1 4 论文的组织结构“6 第二章i b 相关技术简介一7 2 1 i b 的层次结构7 2 1 1 物理层。7 2 1 2 链路层8 2 1 3 网络层8 2 1 4 传输层9 2 1 5 上层协议。9 2 2i b 的通信机制1o 2 2 1 队列模型1 1 2 2 2 队列操作类型1 2 2 2 3 传输模式13 2 3i b 的端到端通信流程1 4 2 4 本章小结1 5 第三章i b 接口适配器关键技术研究1 6 3 1 适配器的硬件模型1 6 3 2 接口虚拟化17 3 2 1 服务器虚拟化17 3 2 2i o 虚拟化一19 3 2 3 端口虚拟化2 0 3 3 虚实地址转换2 1 3 3 1 内存登记2 1 3 3 2 地址转换2 2 3 4r d m a 机制2 4 3 4 1i m m a 的工作原理2 4 第1 页 国防科学技术大学研究生院工程硕士学位论文 3 4 2i b 网络中的r d m a 实现2 5 3 5 处理卸载2 6 3 5 1 发送数据的处理优化2 7 3 5 2 接收方处理数据包2 7 3 5 3 检验和的产生和验证2 8 3 5 4 对事务完成情况报告的优化2 8 3 5 5 中断优化2 8 3 6 本章小结3 0 第四章y h h c a 高性能接口卡的设计实现3 1 4 1c o n n e c t x 简介。3 1 4 2y h h c a 的总体结构3 3 4 2 1y h h c a 的基本组成3 3 4 2 2c o n n e o x 外围的主要电路3 4 4 3y h h c a 的硬件处理流程3 7 4 3 1 数据的发送过程3 7 4 3 2 数据的接收过程3 9 4 4y h h c a 卡的参数配置4 0 4 5y h h c a 的驱动程序4 1 4 6 本章小结4 1 第五章一种新的i b 接口实现模型- - c 1 2 4 2 5 1 现有i b 接口实现模型的不足4 2 5 1 1 现有i b 接口实现模型4 2 5 1 2 延时问题4 3 5 1 3 对虚拟化的支持4 5 5 2 与c p u 紧耦合的i b 接口实现模型- - c 1 2 4 6 5 2 1c 1 2 模型4 7 5 2 2 基于c 1 2 的i o 虚拟化4 8 5 2 3v t d 技术的集成5 0 5 3c 1 2 虚拟化结构中分区交换开关的实现5 2 5 4 本章小结5 8 第六章结束语一5 9 致谢6 0 参考文献6 1 第1 i 页 国防科学技术大学研究生院工程硕士学位论文 作者在学期间取得的学术成果6 3 第1 i i 页 国防科学技术大学研究生院工程硕士学位论文 表目录 表1 1i n f i n i b a n d 技术的特点2 表1 2 通道适配器的属性列表5 表2 1 四种传输模式支持的操作类型1 3 表4 1y hh c a 卡的参数配置i n i 文件实例4 0 表5 1i b 和p c i e 所支持的数据长度4 4 表5 2q p 、v m 和主机的对应表4 8 表5 3v m 、q p 和通道的匹配表5 0 表5 4 隔离交换配置表g 实例5 4 表5 5 数据摆渡控制表t 示例( f = 16 ) 。5 4 表5 6 分区交换结构调度算法复杂度分析5 7 第1 v 页 国防科学技术大学研究生院工程硕士学位论文 图 目录 图1 1 近几年t o p 5 0 0 中i n f i n i b a n d 的发展趋势1 图1 2i n f m i b a n d 网络体系结构图。4 图1 3 通道适配器的模块化结构图4 图2 1m 的层次结构图【l 】7 图2 2 端系统的层次服务结构图l o 图2 3 体系结构刚2 】1 1 图2 4 用户队列模型1 2 图2 5 基于m 的子网内的端到端通信过程【1 1 。1 4 图3 1 接口适配器的硬件模型1 6 图3 2 服务器的虚拟化1 8 图3 3 连接单一网络适配器的虚拟服务器1 8 图3 4 与i b 接口适配器连接的虚拟服务器1 9 图3 5 基于硬件的i o 虚拟化一2 0 图3 6 虚拟链路2 1 图3 7 虚实地址转换示意图2 2 图3 8 物理地址到机器地址的转换2 3 图3 9r d m a 的工作原理2 4 图3 1o 零拷贝技术示意图2 5 图3 11r d m a 模式与发送接收模式的不同之处2 6 图3 1 2 消息的分割2 7 图3 1 3 头部信息拆分示意图2 7 图3 1 4 完成事务优化2 9 图3 1 5 中断请求优化2 9 图3 16 中断频率优化3 0 图4 1c o n n e c t x 实现的结构刚1 6 】3 2 图4 2y h h c a 的系统结构图3 3 图4 3 时钟电路3 5 图4 4q s f p 电路3 6 图4 5f l a s h 电路3 6 图4 61 8 v 电源设计3 7 图4 7y h h c a 数据的发送与接收3 9 图5 1 现有i b 接口的实现模型4 2 第v 页 国防科学技术大学研究生院工程硕士学位论文 图5 2p c ie x p r e s s 总线数据传输示意图4 3 图5 3p c ie x p r e s s 总线的延时分析图4 4 图5 44p c ie x p r e s s 的延时图4 5 图5 58p c ie x p r e s s 的延时图4 5 图5 6 现有i b 接口的虚拟化4 6 图5 7n b 集成到c p u 内部的m 接口的实现模型4 7 图5 8 基于q p 的流量分类。4 8 图5 9 基于c 1 2 模型的虚拟化结构4 9 图5 1 0 加入了v t d 技术的i b 接口实现模型5 1 图5 11 带有v t d 的技术与原有技术的对比51 图5 1 2 分区交换开关实现结构图5 3 图5 1 3 交换分区示意图实例5 3 图5 1 4 端口带宽使用情况实例图( f = 1 0 ) 5 5 图5 1 5 分区交换调度算法流程图5 6 图5 1 6 分区交换调度器的实现图5 7 第v i 页 国防科学技术大学研究生院工程硕士学位论文 摘要 1 1 1 腼b 趾d ( 以下简称i b ) 技术是一种开放标准的、目前带宽最高的高速网络 互连技术。该技术不但简化并加速了服务器之间的连接，而且支持服务器与远程 存储和网络设备的连接，具有低延时、高带宽的特点。m 已经成为目前主流的高 性能计算机互连技术。 端系统h c a 卡是m 网络体系结构的重要组成部分，实现m 网络与主机节点 之间的高速适配和互连。h c a 实现i b 协议栈中物理层、链路层、网络层和传输层 的数据处理功能，特别是接口的虚拟化与服务器的虚拟化相结合实现了低成本、 高效率的y o 虚拟化解决方案。本文对m 网络端系统的关键技术和实现机制进行 了深入地研究，主要研究内容包括： ( 1 ) 分析了i b 接口适配器的硬件实现模型，并对其中的关键技术，包括接 口的虚拟化、虚实地址转换、远程d m a ( i m a ) 、处理功能卸载和中断优化， 进行了深入地分析和讨论。 ( 2 ) 基于m e l l a i l o x 公司的c o l l i l e c t ) ( 芯片设计实现了高性能的i b 接口适配器 _ h c a 。详细介绍了y h h c a 的总体结构、数据收发处理流程、关键电路 设计、驱动程序的设计实现等。 ( 3 ) 提出了将i b 接口逻辑与c p u 及北桥集成的实现模型一c 1 2 ，该模型可以 降低接口处理延时，并且能对服务器的虚拟化提供更好的支持。针对多个虚拟机 之间数据交换问题，提出了一种新的交换结构及其调度策略。 综上所述，本文的研究工作对高性能i b 网络的部署应用，特别是高性能i b 网络接口h c a 的设计实现具有较强的指导意义。 主题词：i n 觚b a n d h c a 虚拟化关键技术延时0 1 2 第i 页 国防科学技术大学研究生院工程硕士学位论文 a b s t r a c t i n f m i b a n dt e c h n o l o g y ( i bf o rs h o r tb e l o w ) i sak i n d o fh i g h - s p e e dn e t w o r k i n t e r c o n n e e t i o nt e c h n o l o g yw i t ho p e ns t a n d a r da n dt h eh i g h e s tb a n d w i d t ha tp r e s e n t t h i st e c h n o l o g ys i m p l i f i e sa n da c c e l e r a t e st h ec o n n e c t i o no fs e r v e r s ，f u r t h e r m o r e ，i t s u p p o r t st h ec o n n e c t i o nb e t w e e ns e r v e r sa n dr e m o t es t o r a g ea n dn e t w o r k d e v i c e s i th a s af e a t u r eo fl o wd e l a ya n dh i g hb a n d w i d t h i bh a sb e e nt h em a i ni n t e r c o n n e c t i o n t e c h n o l o g yo fh i g h - p e r f o r m a n c ec o m p u t e ra tp r e s e n t h c ac a r do ft h ee n ds y s t e mi st h e s i g n i f i c a n tc o m p o n e n to fi n f m i b a n d a r c h i t e c t u r e i tr e a l i z e sh i g h s p e e dm a t c ha n di n t e r c o r m e c t i o nb e t w e e ns e r v e r sa n dh o s t n o d e s i tr e a l i z e st h ed a t ap r o c e s s i n gf u n c t i o no fp h i s c a ll a y e r ，l i n kl a y e r ，n e t w o r kl a y e r a n dt r a n s p o r tl a y e ri ni bp r o t o c a ls t a c k ，e s p e c i a l l yt h ei n c o r p o r a t i o no fi n t e r f a c ea n d s e r v e rv i r n m l i z m i o np r o v i d e sas o l u t i o np l a no ff ov i r t u a l i z a t i o n 、析t l ll o wd e l a ya n d h i g he f f i c i e n c y t h i sp a p e r s t u d i e st h e k e yt e c h n o l o g i e s a n d i m p l e m e n t a t i o n m e c h a n i s m so ft h ee n ds y s t e mo fi bn e t w o r ki nd e p t h t h em a i nc o n t e n t ss t u d i e d i n c l u d i n g ： ( 1 ) i ta n a l y s e st h ei m p l e m e n t a t i o nm o d e lo fh a r d w a r ei ni bi n t e r f a c ea d a p t e r ，a n d d i s c u s s e sa n da n a l y s e st h ek e yt e c h n o l o g i e so ft h em o d e li nd e p t h , i n c l u d i n gi n t e r f a c e v i r t u a l i z a t i o n , t h et r a n s l a t i o nb e t w e e nv i r t u a la d d r e s sa n dt r u ea d d r e s s ，r e m o t e d m a ( r d m a ) ，o f f l a o do fp r o c e s s i n gf u n c t i o na n di n e t r r u p tm o d e r a t i o n ( 2 ) b a s i n go nt h ec o n n e c t xc h i po fm e l l a n o xc o m p a n y ，i td e s i g n sa n di m p l e m e n t s t h eh i g h p e r f o r m a n c ei bi n t e r f a c ea d a p t e r m y h h c a i tp r e s e n t st h ec o l l e c t i v e s t r u c t u r eo fy h - h c a , t h ep r o c e s s i n gp r o c e d u r eo fd a t at r a n s m i s s i o n ，t h ed e s i g no fk e y c i r c u i t ，t h ed e s i g na n di m p l e m e n t a t i o no fd r i v e r s ，e t c ( 3 ) i ts u g g e s t sai m p l e m e n t a t i o nm o d e l - - c 1 2 , t h a ti n t e g r a t e si bi n t e r f a c el o g i c ， c p ua n dn o r t hb r i d g e c 1 2c a nr e d u c et h ep r o c e s s i n gd e l a yo fi n t e r f a c e ，a n ds u p p o r t s e r v e rv i r t u a l i z a f i o nb e t t e r a i m i n ga tt h ed a t ae x c h a n g eb e t w e e nm a n yv i r t u a l m a c h i n e s ，i ts u g g e s t san e ws w i t c hf r a m e w o r k 谢t hi t ss c h e d u l i n gs t r a t e g y i naw o r d , t h ea c h i e v e m e n to ft h i sp a p e rw i l lp l a ya l li m p o r t a n tr o l ei n t h e a r r a n g e m e n ta n da p p l i c a t i o no fh i g h p e r f o r m a n c ei bn e t w o r k ，a n de s p e c i a l l yi nt h e d e s i g na n di m p l e m e n t a t i o no fh i g h - p e r f o r m a n c ei bh c a k e yw o r d s ：i n f m i b a n d h c av i r t u a l i z a t i o n k e yt e c h n o l o g yd e l a y c 1 2 第i i 页 国防科学技术大学研究生院工程硕士学位论文 第一章绪论 m 技术以高带宽、低延迟的特性在服务器领域，尤其是在高性能计算领域中 占据了主流地位。但是随着互联技术的快速发展，越来越多的用户对其性能提出 了更高的要求，如何提高i n f m i b a n d 网络的传输性能成为近年来高性能计算领域研 究的热点问题。 1 1 课题背景 i n f m i b a n d 技术是一种开放标准的、高带宽的高速网络互连技术。目前，它的 发展速度非常快，并且越来越多的大厂商正在加入或者重返到它的阵营中来，包 括c i s c o 、i b m 、h p 、s u n 、n e c 、i n t e l 等。在2 0 0 9 年6 月公布的全球高性能计算 机t o p 5 0 0 强排行榜中，位于榜首的美国“走鹊 ( r o a d r u n n e r ) 超级计算机采用 的就是i b 技术，并且在前1 0 名、前2 0 名和前1 0 0 名中分别有4 台、9 台和5 9 台 超级计算机采用i b 互连技术。特别是排名第1 0 的b u l ls a 公司的集群中首次使用 了4 0 g b p s ( q d r ) 的i b 互连技术，取得了所有计算机中最高的9 1 6 的l i n p a c k 效率。下图1 1 是近几年6 月和1 1 月公布的t o p 5 0 0 中i n f m i b a n d 的发展趋势口1 1 。 1 8 1 1 5 1 t 玎 1 2 5 1 2 11 2 1 7 8 陌虿 p 7 l 吲ii 图1 1 近几年t o p 5 0 0 中i n f i n i b a n d 的发展趋势 从上图可以看出，i n f m i b a n d 的发展速度相当快，已经成为目前主流的高性能 计算机互连技术之一。因此，在高性能计算领域中研究i n f m i b a n d 技术尤为重要。 i n f m i b a n d 是一个统一的互连结构，既可以处理存储i o 和网络i o ，也能够处 理进程间通信( i p c ) 【2 7 1 。它可以将磁盘阵列、s a n s 、l a n s 、服务器和集群服务 器进行互连，也可以连接外部网络( 比如w a n 、v p n 、互联网) 。设计i n f m i b a n d 的目的主要是用于大型的或小型的企业数据中心。其设计目标主要是实现高可靠 第1 页 国防科学技术大学研究生院工程硕士学位论文 性、可用性、可扩展性和高性能。i n f i n i b a n d 可以在相对短的距离内提供高带宽、 低延迟的传输，而且在单个或多个互连网络中支持冗余的i o 通道，因此能保持数 据中心在局部故障时仍能运转。其技术特点如下表1 1 所示。 表1 1i n f m i b a n d 技术的特点 特点描述 单线传输速率为2 5 g b s ，通过1 、4 、1 2 线并行来扩展通道带宽，带宽 可高达2 5 g b s 、1 0 g b s 、3 0 g b s ( 1 x 、4 x 、1 2 x ) 。现有的采用d d r 技 高带宽 术的产品带宽达到5 g b s 、2 0 g b s 、6 0 g b s ( 1 x 、4 x 、1 2 x ) ，采用q d r 技术则将i n f i n i b a n d 的带宽扩展到1 2 0 g b s ( 1 2 x ) 【1 1 。 作为高性能计算互连的最重要的指标，基于通道的i n f m i b a n d 交换机的延 低延时 时小于l o o n s ，应用程序的延时为1 - 3 x s 2 4 1 。 而日j 扩展性采用点到点的交换结构，连接数万个终端设备实现无拥塞的m 网络。 提供了1 6 级可映射到1 6 个服务层的虚拟通道，通过对不同的虚拟通道 q o s设定优先级来实现服务质量管理。基于信用的流控制及注入速率控制机 制，实现了拥塞控制【2 5 1 。 在总线技术中采用的d m a ( d i r e c tm e m o r ya c c e s s ) 技术在i n f m i b a n d 中 则以r d m a ( r e m o t ed m a ) 的形式得到了继承，因此在i n f i n i b a n d 的服 支持r d m a 务器和存储器网络中的任意一个服务器可以通过r d m a 技术与其他服务 器中的内存或存储器高速地交换数据口5 1 。 i n f i n i b a n d 由硬件实现高效、可靠的传输层的点到点连接，支持在线路上 专用协议卸载引擎的消息传递和内存映像技术，并具有旁路o s 核心的能力，其网络适配器 卡分担了主机c p u 的大量工作负荷2 5 1 ，从而提高了系统的整体效率。 v o 子系统与主机 i o 子系统脱离了主机系统，节省了机箱的空间并具备更多的灵活性，打 破了v o 与主机系统的距离限制，在使用铜线时v o 设备可以放在距主机 系统分离 系统1 7 米远的地方，而在使用单模光纤时这一距离可达1 0 公里。 分区的概念类似s a n 中的分区概念，它将i n f i n i b a n d 子网划分为多个分 支持分区 区，提供了更好的性能和更高的安全性。 通过在主机系统和v o 设备之间建立多个物理通道来达到容错的目的，这 容错功能 是p c i 无法实现的。 i n f i n i b a n d 使用i p v 6 中的扩展地址，其传输的数据包中包含了源地址和目 i p v 6 的编址方式的地址，这些地址使得i n f i n i b a n d 交换机可以将数据包直接转发到正确的 设备。 i n f m i b a n d 使存储子网和应用服务器相分离。存储系统的管理和扩展独立于存 储系统所连接的应用程序、操作系统和计算机的体系结构。它打破了传统的存储 设备和计算机之间的连接方式，放弃了计算机系统对存储设备严格控制的结构， 使得存储设备成为网络的一个组成部分，而不再是某个特定系统的一部分，实现 了真正意义上的存储共享。 第2 页 国防科学技术大学研究生院工程硕士学位论文 i n f m i b a n d 的每一个组件都以模块方式实现。它定义了各模块几种统一的标准 尺寸、机电性能和软硬件接口，这样保证了各厂家的交叉使用和产品的历史兼容 性，使服务器结构从高密度机箱( 如机架) 向高度模块化的服务器阵列过渡。应 用模块化使主机系统规模变小，外围设备不再局限于系统内部，可以方便地进行 系统配置。 i n f i n i b a n d 支持基于软件和硬件的虚拟化技术。虚拟化技术通过对服务器和狄) 虚拟化来实现同一平台上运行多个操作系统，并且每个操作系统中都有多个应用 程序运行，提高了工作效率，提升了数据传输速率。i n f l n i b a n d 支持r d m a ，r d m a 具有低延时、低开销等优点，是i n f m i b a n d 数据的主要传输方式。因此，研究虚拟 化技术和r d m a 机制对于提高i n f i n i b a n d 的性能有很大帮助。 目前，m e l l a n o x 公司的c o n n e c t x4 0 g b s 的m 适配器是唯一面向高性能集群和 刀片的4 0 g b si b 网络解决方案，这款适配器卡的核心之处在于通过它的i n f i n i b a n d 方案可以为企业集群的建立和高性能计算、数据中心、存储应用等提供支持，具 备高带宽、低延时等特点【1 9 1 。它可实现低至1 的传输延迟以及最快的频率 每秒可处理4 千万条指令。m e l l a n o x 公司的i b 交换机i n f i n i s c a l e i v 也可以实现 低至l o o n s 的传输延迟【2 2 1 。c o n n e c t x 技术顺应了高带宽、高可靠性、高质量服务 的发展趋势，相信其在i n f i r t i b a n d 网络中有着广阔的应用前景。 1 2i b 网络体系结构 i n f m i b a n d 网络主要由i n f m i b a n d 链路( i bl i n k ) 、主机通道适配器( h c a ， h o s tc h a n n e la d a p t e r ) 、目标通道适配器( t c a ，t a r g e tc h a n n e la d a p t e r ) 、交换 机、路由器等构成。i n f i n i b a n d 网络的体系结构如下图1 2 所示【3 引。 主机节点上有一个或多个主机通道适配器，它通过一条或几条链路连接主存 控制器到交换结构。主机通道适配器是i b 网络接口的一个重要组成部分，是带有 特定保护特性的可编程d m a 器件，允许本地和远端的d m a 操作，实现了i b 网 络与主机系统之间的连接。目标通道适配器将i o 节点( 如s c s i 、f c p 、以太网 等) 连接到i b 网络体系结构中，可作为外部r a i d 子系统的前端接口。通道适配 器是可以在不中断c p u 运行的情况下处理所有i o 功能的智能设备，具有自动路 径变迁功能。i n f i n i b a n d 网络通过交换机和路由器转发数据。交换机是子网内设备， 用以组建子网，实现予网内路由，它连接h c a 和t c a ，具有分区功能和自动路径 变迁功能。路由器在子网与子网之间，用来连接交换机，实现子网间的路由。每 个主机通道适配器、目标通道适配器、交换机和路由器都有一个全球唯一的基于 i p v 6 的标识符。 第3 页 国防科学技术大学研究生院工程硕士学位论文 f c p 删卜 t c a i i b 链路 i 主机互主存控制 趣 交换机路由器 c p u i b 链路 连设备器 i i l i b 链路 i l 啦期l 删 l 系统主存 t c tt c a s c s i 以太网 图1 2i n f m i b a n d 网络体系结构图 通道适配器的模块化结构如下图1 3 所示【1 】。q p ( q u e u ep a i r ) 是队列对，是 i b 网络提供给其用户的虚拟通信接口，通道适配器对其进行了编号。s m a ( s u b n e t m a n a g e m e n ta g e n t ) 为子网管理代理，实现子网管理的功能。v l ( v i r t u a ll a n e s ) 为虚拟链路。传输模块实现重要的数据处理功能。每个端口都有自身的一组虚拟 链路和一组q p 。通道适配器提供了存储器转换和保护( m t p ，m e m o r yt r a n s l a t i o n a n dp r o t e c t i o n ) 机制，该机制将虚拟地址转换成物理地址并验证用户的访问权限。 这些概念将在后续的章节中进行详细地介绍。一个通道适配器可以有多个端口， 每个端口支持i b 通道适配器的物理、链路和网络层协议。多端口的通道适配器在 端口功能上共享传输层。 图1 3 通道适配器的模块化结构图 通道适配器的属性如下表1 2 所示。 第4 页 国防科学技术大学研究生院工程硕士学位论文 表1 2 通道适配器的属性列表 属性h c a t c a 支持多端口可选可选 根据l r h 接收和发送数据包 ( 子网内通信) 所有q p 都支持 根据g r h 接收和发送数据包 ( 子网间通信) 除q p 0 外所有q p 都支持 在任何q p 上支持不可靠数据 除了不可靠数据报外，可选择 支持的传输服务报、可靠连接和不可靠连接传 输服务 地支持其它传输服务 支持的原子操作可选择地产生请求或应答 支持为传输服务而定义的所 可通过定制操作来实现它们 支持的其他操作 有操作( 除原子操作)的功能 请求事务能产生和接收请求事务可选 支持以下的m t u 组：2 5 6 b2 5 6 ，5 1 2 b ；2 5 6 ，5 1 2 ，1 0 2 4 b m t u 2 5 6 ，5 1 2 ，1 0 2 4 ，2 0 4 8 b ：2 5 6 ，5 1 2 ，1 0 2 4 ，2 0 4 8 ，4 0 9 6 b ； 如果接收队列与共享接收队 端到端流控( 仅对可靠连接)可能产生端到端的流控 列无关，产生端到端的流控 可选择地产生和接收m 原始组播数据包；可选择地产生和接 组播 收i b 不可靠数据报服务的组播数据包 自动路径变迁可选择地产生或应答自动路径变迁请求 存储器保护存储器的登记以及访问权限 可选 源地址和目的地址指向同一 支持回环适配器的同一端口，数据包可 可选 以传递 每个通道适配器都有一个厂商指定的全球唯一标识符( g u i d ，g l o b a l l yu n i q u e i d e n t i f i e r ) ，并且通道适配器的每个端口都分配了一个本地i d ( l i d ，l o c a li d e n t i f i e r ) 或者本地i d 的一个范围。每个端口都有自己的发送和接收缓冲区，以便能够并行 地发送和接收数据。端口的缓冲区是通过虚拟链路进行链路化的，每个虚拟链路 有自己的流量控制机制。 1 3 课题研究的内容 i b 网络接口适配器是i b 网络体系结构的一个重要组成部分，具有低延时、高 带宽等特点。为此，我们研究了其关键技术与设计实现的问题，并提出了一种新 的i b 网络接口的实现方法。 本课题的主要研究内容包括： 第5 页 国防科学技术大学研究生院工程硕士学位论文 ( 1 ) 分析了i b 接口适配器的硬件实现模型，并对其中的关键技术，包括接 口的虚拟化、虚实地址转换、远程d m a ( i m a ) 、处理功能卸载和中断优化， 进行了深入地分析和讨论。 ( 2 ) 基于m e l l a n o x 公司的c o n n e c t x 芯片设计实现了高性能的i b 接口适配器 y h h c a 。详细介绍了y h h c a 的总体结构、数据收发处理流程、关键电路 设计、驱动程序的设计实现等。 ( 3 ) 提出了将m 接口逻辑与c p u 及北桥集成的实现模型一c 1 2 ，该模型可以 降低接口处理延时，并且能对服务器的虚拟化提供更好的支持。针对多个虚拟机 之间数据交换问题，提出了一种新的交换结构及其调度策略。 1 4 论文的组织结构 根据上述的研究内容，本文总共分为六章，各章的主要内容如下所示： 第一章介绍了本课题的相关背景、m 体系结构和通道适配器的一些基本知识。 第二章简单介绍了i b 网络的一些相关技术，包括i b 的层次结构、i b 的通信 机制以及i b 的端到端通信流程。 第三章详细叙述了i b 接口适配器的硬件实现模型，并阐述了其中的几个关键 技术，包括接口的虚拟化、虚实地址转换、r d m a 机制和处理卸载。 第四章详细介绍了y h h c a 的设计实现问题，介绍了y h h c a 的总体结构、 关键电路设计、硬件的处理流程、参数配置和使用的驱动程序。 第五章对与现有i n f m i b a n d 网络接口相连的p c ie x p e r s s 总线的延时和接口的 虚拟化进行了分析，提出了一种新的i b 网络接口的实现模型一c 1 2 ，对c 1 2 的i o 虚拟化机制进行了详细地设计，并提出了一种新的交换结构及其调度策略。 第六章为结束语。 最后是致谢。 第6 页 国防科学技术大学研究生院工程硕士学位论文 第二章i b 相关技术简介 i n f i n i b a n d 技术是一种基于全双工、交换式串行传输的新型i o 总线网络技术。 它简化并加速了服务器之间的连接，并能与远程存储设备和网络设备连接。它的 低延时、高带宽特点以及互操作性、可靠性和可扩展性，将满足市场对不断发展 的数据中心、服务提供商和集群的需求1 3 4 。本章主要介绍m 的层次结构、m 的通 信机制及m 的端到端通信流程。 2 1m 的层次结构 与传统的t c p i p 网络相同，i b 也是一种多层次结构l l j 。每层的协议不同于其 它层；各层之间是相互独立的。这些层在消息传送过程中负责不同的任务，下层 为上层提供服务，上层依赖于下层提供的服务。m 采用i p v 6 报头格式，其数据包 报头包括全局路由标识符( g r h ，g l o b a lr o u t i n gh e a d e r ) 、本地路由标识符( l r h ， l o c a lr o u t i n gh e a d e r ) 、基本的传输标识符( b t h ，b a s et r a n s p o r th e a d e r ) 等。i b 的层次结构如下图2 1 所示。 厂l 馘、厂i b 1 、 o p e r a t i o n sm e s s a a e so p e r d l 妇r l s _ 一一一一一一一一- 一乙一一一一一一一- l s a r l l s a r l q p ) 一 l m 掰+ s u b n