（计算机软件与理论专业论文）基于via的光纤通道交换网mpi的研究与实现.pdf

西北工业大学硕十论文摘9- 摘要 目 前，国内 航空电子综合系统的数据通信网络主要采用m i l - s t d - 1 5 5 3 b , 而国外第 四代航空电子综合系统己经采用了基于光纤互连的高性能集群系统。针对这种现状，作 者的导师中请 了肮空科学基金项 目“ 面向航空电子综合系统的光纤传输交换技术研 究” ( 0 2 f 5 3 0 3 1 ) 。作者参加了该项目的研究，负责研究光纤通道交换网 f c - n e t ( f i b r e c h a n n e l- n e t w o r k ) 的通信协议， 主要研究工作包括以h 儿个方而: 为 了 在光 纤 通 道 交换 网 中 集 成f i b r e c h a n n e l 和v i a ( v i r t u a l i n t e r f a c e a r c h i t e c t u r e ) 士 x 术，本文提出了基于对象的驱动程序设计方案，该驱动程序设计方案采用了分层结构设 计思路。本文将其集成到 v i a的实现中，缩短了 v i a系统的设备驱动开发周期，提高 了代码的重用性，增强了 v i a的扩展性。 针对高性能集群系统的低延迟、高带宽的需求，并且为了在光纤通道交换网墓础上 进一步提高 集群系统的数据通信效率， 作者设计了支持v i a ( v ir t u a l i n t e r f a c e a r c h it e c t u r e ) 技术的用户层通信协议f c - v i a通信协议。f c - v i a采用了基于 l i n u x 底半函数的核 心代理机制，一方面在通信的发送端和接收端实现了零拷贝数据通信，另一方面实现了 软件 v i 队列的管理。f c - vi a与全软件方法实现 vi a的 m- v i a相比，有效地提高一 j 数 据通信效率: f c - v i a的通信延迟为4 微秒，通信带宽为6 8 6 m b p s : 而m- v i a在千 兆以 太网中的通信延迟高达 1 9微秒，通信带宽仅为4 8 0 mb p s o 另外，为了实现光纤通道交换网在航空电子综合系统中的应用，本文对航空电 f 综 合系统广 一 泛采用的 mp ich底层通信库进行了扩展，设计了支持 f c - vi a 通信协议的 mp i - f c - v i a 并行库。从长 远来看，本论文对光纤通道交换网通信协议的研究具有深远 的意义。 关键字: 航空电 子综合系统， 通信协议， 集群，v i a ,零拷贝，m p i c h ，光纤通道 西 北 工 业 大 学 硕 士 论 文ah s t r w t abs t r a c t n o w , a v io n i c s s y s t e m o f d a ta c o m mu n i c a t io n n e t w o r k m a in l y u s e s mi l - s t d - 1 5 5 3 b . i n f o r e ig n a d v a n c e d c o u n t r i e s , t h e f o u rt h g e n e r a t i o n a v i o n i c s s y s t e m o f d a t a c o m m u n i c a t i o n n e t w o r k i s c l u s t e r s y s t e m b a s e d o n fi b r e i n t e r c o n n e c t io n .t h e a u t h o r s t e a c h e r a p p l i e d f o r a v i a t i o n s c i e n t i f ic f u n d p r o j e c t a v io n ic s s y s t e m o r i e n t e d f ib r e c h a n n e l s wi tc h e d n e t wo r k ( 0 2 f 5 3 0 3 1 ) . t h e a u t h e r t o o k p a r t i n t h a t p r o j e c t . t h e r e s e a r c h f o c u s e s a r e c o m mu n ic a t i o n p r o t o c o l o f f i b r e c h a n n e l s wit c h e d n e t wo r k ( f c -ne t ) . ma i n r e s e a r c h w o r k i n c l u d e s t h e f o l l o wi n g s e v e r a l wo r k s : i n o r d e r t o i n t e g r a t e f i b r e c h a n n e l a n d v i a t e c h n o l o g i e s i n t o f c - n e t , t h i s p a p e r h a s p u t f o r w a r d a n e w d e s i g n s c h e m e o f d r i v e r b a s e d o n o b j e c t o r i e n t e d t e c h n o l o g y . t h e 3 l a y e r s s t r u c t u r e h a s b e e n a d o p t e d i n t h is s c h e me a n d a p p l ie d t o i mp le m e n t t h e vi a c o mm u n ic a t io n p r o t o c o l , w h ic h c a n s h o r te n e d v i a d r i v e r s d e v e lo p m e n t c y c l e a n d r a i s e d t h e c o d e r e u s a b i l it y a n d s t r e n g t h e n e d t h e s c a l a b i l it y o f v i a. t h i s p a p e r h a s p u t f o r w a r d f c - v i a ( f i b r e c h a n n e l - v i rt u a l i n t e r f a c e a r c h it e c t u r e ) c o m mu n i c a t i o n p r o t o c o l , w h i c h a c c o r d s w i t h t h e u s e r - la y e r c o mmu n ic a t i o n p r o t o c o l i n d u s t r ia l s t a n d a r d o f v i a t e c h n o lo g y a n d s u p p o rt s t h e d e m a n d o f lo w la t e n c y a n d h i g h b a n d w id t h f o r t h e h i g h - p e r f o r ma n c e c l u s t e r s y s t e m, o n t h e b a s is o f f ib r e c h a n n e l s w i t c h e d n e two r k . t h e k e r n e l a g e n t m e c h a n i s m b a s e d o n l i n u x s y s t e m b o t t o m h a lf f u n c t i o n i s u s e d . o n o n e h a n d , i t i m p l e m e n t e d t h e z e r o c o p y d a t a c o mm u n ic a t i o n b e t w e e n s e n d e r a n d r e c e i v e r . o n t h e o t h e r h a n d , i t a l s o i m p l e me n t e d t h e ma n a g e me n t o f vi q u e u e s o n t h e s o f t w a r e l a y e r . f c - v i a i s c o m p a r e d w i t h m- vi a o f g i g a - b i t e t h e r n e t , i n w h i c h t h e v i a i s imp l e m e n t e d w h o le l y b y s o ft w a r e m e t h o d . i n f c - v i a c o m m u n i c a t i o n l a t e n c y i s 4 m i c r o s e c o n d s a n d c o m m u n ic a t i o n b a n d w i d t h is 6 8 6 mb p s . b u t i n m- vi a c o m mu n i c a t io n l a t e n c y i s 1 9 mi c r o s e c o n d s a n d c o mmn u n ic a t i o n b a n d wi d t h i s 4 8 0 mb p s u n d e r g ig a - b i t e t h e r n e t . 1 1 西北工业大学硕士论文 i n o r d e r t h a t f c - ne t c a n b e u s e d i n t h e a v i o n i c s s y s te m e a s i l y , mp i - f c - v i a h a s b e e n d e s ig n e d t o s u p p o rt f c - v i a c o m m u n i c a t i o n p r o t o c o l t h r o u g h a d d i n g b o t t o m la y e r c o m mu n i c a t i o n l i b r a r y i n t h e mp i c h . i n t h e l o n g r u n , t h i s p a p e r h a s f a r - r e a c h i n g me a n i n g s t o t h e r e s e a r c h o f c o m mu n i c a t io n p r o t o c o l o f f i b r e c h a n n e l s w i t c h e d n e t w o r k . ke y w o r d s : a v io n ic s , c o m m u n ic a tio n p ro to c o l, c lu s te r, v ia , z e r o c o p y , m p ic h , f c i i i 西北工业大学硕士论文第一章 绪论 第一章绪论 1 . 1 . 研究背景及研究现状 1 . 1 . 1 . 课题来源及意义 本论文的研究课题得到航空科学基金项目 “ 面向航空电子综合系统的光纤传输交换 技术研究” 0 2 f 5 3 0 3 1 ) 的资助。目前航空电子综合系统的数据通信网络土要采用 m i l - s t d - 1 5 5 3 b ， 国外第四代航空电子综合系统的数据通信网 络是一个基于光纤k连的 高性能集群系统，通信速率已 是 mi l - s t d - 1 5 5 3 b的上千倍。 新一代航空电子综合系统 的数据通信网络将是一种基 于光纤互连的高性能集群系统，它要求数据通信网络具有低 延迟、高带宽的 等特征。因 此，在我国开展面向 新一代航空电 子综合系统的高速通信网 络的研究，对国防建设具有很重要的现实意义。 近年来。随着高 性能计算机逐渐成为数 据通信领域的研究热点，己经出 现了为满足 决速数据连接需要的高速通信技术光纤通道0 1技术。 光纤通道 ( f i b r e c h a n n e l ，简称为f c )是美国a n s i ( a m e r i c a n n a t i o n a l s t a n d a r d s i n s t i t u t e ) 开发的一套标准的总称。 光纤通道的目 的是为了开发一种实际的、 高速而扩展 性好的 方法，它可以用于实现_ 1 二 作站、 主机、超级计算机、台 式计算机、 存储设 备、显 示设备以 及其它外围设备之间的数据传输。 光纤通道提供远程连接和高速带宽，它是适 用于存储局域网 b 1集群计算机和其它资料密集计算设施的 理想技术。同时由于光纤通 道技术适用范围广， 从小系统到 超大型系统，支持多种 现有的上层协议，如i p , s c s i , i p i , v i a . h i p p i , a t m.然而，随着微机、 工作站性能的不断提高，集群内部处理机 间的互联通信越来越成为 c l u s t e r 系统的瓶颈。 vi a作为下 一代 1 / o互联结构 i n f i n i b a n d中的核心技术之一，已成为用户层通信的 西北工业大学硕士论文第一章 绪论 第一章绪论 1 . 1 . 研究背景及研究现状 1 . 1 . 1 . 课题来源及意义 本论文的研究课题得到航空科学基金项目 “ 面向航空电子综合系统的光纤传输交换 技术研究” 0 2 f 5 3 0 3 1 ) 的资助。目前航空电子综合系统的数据通信网络土要采用 m i l - s t d - 1 5 5 3 b ， 国外第四代航空电子综合系统的数据通信网 络是一个基于光纤k连的 高性能集群系统，通信速率已 是 mi l - s t d - 1 5 5 3 b的上千倍。 新一代航空电子综合系统 的数据通信网络将是一种基 于光纤互连的高性能集群系统，它要求数据通信网络具有低 延迟、高带宽的 等特征。因 此，在我国开展面向 新一代航空电 子综合系统的高速通信网 络的研究，对国防建设具有很重要的现实意义。 近年来。随着高 性能计算机逐渐成为数 据通信领域的研究热点，己经出 现了为满足 决速数据连接需要的高速通信技术光纤通道0 1技术。 光纤通道 ( f i b r e c h a n n e l ，简称为f c )是美国a n s i ( a m e r i c a n n a t i o n a l s t a n d a r d s i n s t i t u t e ) 开发的一套标准的总称。 光纤通道的目 的是为了开发一种实际的、 高速而扩展 性好的 方法，它可以用于实现_ 1 二 作站、 主机、超级计算机、台 式计算机、 存储设 备、显 示设备以 及其它外围设备之间的数据传输。 光纤通道提供远程连接和高速带宽，它是适 用于存储局域网 b 1集群计算机和其它资料密集计算设施的 理想技术。同时由于光纤通 道技术适用范围广， 从小系统到 超大型系统，支持多种 现有的上层协议，如i p , s c s i , i p i , v i a . h i p p i , a t m.然而，随着微机、 工作站性能的不断提高，集群内部处理机 间的互联通信越来越成为 c l u s t e r 系统的瓶颈。 vi a作为下 一代 1 / o互联结构 i n f i n i b a n d中的核心技术之一，已成为用户层通信的 西北工业大学硕士论文第一章 绪论 _ l 业标准，可为机群计算提供高带宽、低延迟的通信支持。 本课题通过对基于v i a的 光纤通道交换网m p 洲的研究与实现。 根据光纤通道技术 的支持多种上层协议的特点，可望能为并行用户提供一种高 性能、高可用的集群计算系 统，实现光纤通道交换网 在航空电 子综合系统中的应用。本课题得到肮空科学基金的支 持，也得到国家中小企业创新基金、国家2 1 1 工程重点实验室和湖州高性能计算公司的 支持。 1 . 1 . 2 . 国内外同类技术发展情况 随着近些年来集群系统逐渐成为一种并行计算1 4 1 平台中的士流产品， 微机、 ! _ 作站 性能的不断提高，以及集群内 部处理机间的互联通信越来越成为集群系统的瓶颈光纤 通道技术具有低延迟、高带宽、 高可靠性、传输速度快、 协议无关性等特点。这就为光 纤通道技术在高性能集群系统中的应用提供了机遇。 近儿年，高速通信技术得到了迅速的发展， 目 前投入使用的光纤通信网 络己达到 l o g p s 的 传 输 速率。 目 前 ， 光纤 通 道 技 术己 得到e m c . q lo g i c 、 华 艺、 惠 普、 i b m . a d a p t e c . 富士通、 西门子、 康柏、 德尔、 和希捷等公司的支持。 例如，华艺公司 利用其i s p 2 2 0 0 a 协议芯片己 成功开发了o a p r o s a n b u s 2 2 0 0 主机适配 卜 。 该适配卡通过交 换环路( f a b r i c ) 支持f - 端口 和f l - 端口，其带宽达2 g b it ( 全双工) ，连接距离可达2 0 k m . q lo g i c 公司 开发的 i s p 2 2 0 0 a协议芯片支持 f c - i 与 f c - 2层的大部分功能，这些功能由集成在芯片 中的r i s c处理器执行固件来实现。 i s p 2 2 0 0 a协议芯片 提供了s c s i , i p . f c - a l等编 程接口。另外，国外还开发出了一些企业级光纤通道交换机，例如，8 端口的s il k wo r m 2 4 0 0 及 1 6 端口s i l k w o r m 2 8 0 0 交换机等， 这些交换机为企业提供了 商品化的存储区域 网络 ( s a n) . 现在国内对光纤通道的研究上要是集中 在对存储区域网络的应用，而光纤通道在高 性能集群中的研究与应用却是很少的。虽然说国内的光纤通道网络土要应用于存储网络 中， 但仍主要局限于对国 外现成产品的基础上加以 集成整合的应用。当然， 也有少数国 内高校也开始 自行开发 f c通信网络。 西北工业大学硕士论文第一章 绪论 _ l 业标准，可为机群计算提供高带宽、低延迟的通信支持。 本课题通过对基于v i a的 光纤通道交换网m p 洲的研究与实现。 根据光纤通道技术 的支持多种上层协议的特点，可望能为并行用户提供一种高 性能、高可用的集群计算系 统，实现光纤通道交换网 在航空电 子综合系统中的应用。本课题得到肮空科学基金的支 持，也得到国家中小企业创新基金、国家2 1 1 工程重点实验室和湖州高性能计算公司的 支持。 1 . 1 . 2 . 国内外同类技术发展情况 随着近些年来集群系统逐渐成为一种并行计算1 4 1 平台中的士流产品， 微机、 ! _ 作站 性能的不断提高，以及集群内 部处理机间的互联通信越来越成为集群系统的瓶颈光纤 通道技术具有低延迟、高带宽、 高可靠性、传输速度快、 协议无关性等特点。这就为光 纤通道技术在高性能集群系统中的应用提供了机遇。 近儿年，高速通信技术得到了迅速的发展， 目 前投入使用的光纤通信网 络己达到 l o g p s 的 传 输 速率。 目 前 ， 光纤 通 道 技 术己 得到e m c . q lo g i c 、 华 艺、 惠 普、 i b m . a d a p t e c . 富士通、 西门子、 康柏、 德尔、 和希捷等公司的支持。 例如，华艺公司 利用其i s p 2 2 0 0 a 协议芯片己 成功开发了o a p r o s a n b u s 2 2 0 0 主机适配 卜 。 该适配卡通过交 换环路( f a b r i c ) 支持f - 端口 和f l - 端口，其带宽达2 g b it ( 全双工) ，连接距离可达2 0 k m . q lo g i c 公司 开发的 i s p 2 2 0 0 a协议芯片支持 f c - i 与 f c - 2层的大部分功能，这些功能由集成在芯片 中的r i s c处理器执行固件来实现。 i s p 2 2 0 0 a协议芯片 提供了s c s i , i p . f c - a l等编 程接口。另外，国外还开发出了一些企业级光纤通道交换机，例如，8 端口的s il k wo r m 2 4 0 0 及 1 6 端口s i l k w o r m 2 8 0 0 交换机等， 这些交换机为企业提供了 商品化的存储区域 网络 ( s a n) . 现在国内对光纤通道的研究上要是集中 在对存储区域网络的应用，而光纤通道在高 性能集群中的研究与应用却是很少的。虽然说国内的光纤通道网络土要应用于存储网络 中， 但仍主要局限于对国 外现成产品的基础上加以 集成整合的应用。当然， 也有少数国 内高校也开始 自行开发 f c通信网络。 西北工业大学硕士论文 第 一 章绪 论 光纤通道规范定义的速率最高 可到4 g b p s ，目 前美国国家标准委员会 a n s i )卜 属 的x 3 t 1 1 小组对 l o g b p s 传输速度的f c规范也在紧锣密鼓的制定之中。 f c光纤通道技 术已渗透到国防、教育、 石油、化上等各个领域， 典型应用土要包括集群系统、存储 区域网、远程各份、高性能计算和航空综合化系统等。 总之，f c光纤通信的速度将会越 来越快， 其应用范围也将越来越广泛， 这种通信技术具有巨大的潜力和广阔的发展前景， 它将成为未来通信网络的发展方向。 1 . 2 . 论文的主要内容和组织结构 本文分六章来对光纤通道交换网的 通信协议的研究进行全面的 介绍。 第一章:绪论。 这一章介绍了本论文的 研究背景、 研究意义、 研究内容和目 标。最后，对木论 文的主要内容和组织结构作了简单介绍。 第二章:光纤通道交换网。 这一章首先对光纤通道交换网中采用的光纤通道技术作了简要介绍，然后又阐 述了光纤通道交换网的总体架构，以及分别简要介绍了光纤通道交换网的软硬件通 信协议。 第三章:f c - v i a网 卜 驱动程序设计。 本章设计和实现了基于 对象的驱动程序设计方案，并将该驱动程序设计方案集 成到v i a技术的实现中去。 第四章: v i a在光纤通道交换网中的实现。 本章结合 v i a技术和基于 对象的驱动程序设计方案。 设计和实现了f c - v i a通 信协议。 在f c - v i a中， 通过基于l in u x 底半函数i6 h j 的核心代理机制， 一方而在通 信的发送端和接收端实现了零拷贝数 据通信，另一方而实 现了软件v i 队列的管理口 第五章:光纤通道交换网mp i 研究与实现。 为了实现光纤通道交换网在肮空电子 综合系统中的应用，本章通过对航全电子 综 合系 统 广 泛 采用 的m p i c h i9 1p o l 底 层 通 信 库的 扩 展， 设 计 了 支 持f c - v i a 通 信 协议 西北工业大学硕士论文 第 一 章绪 论 光纤通道规范定义的速率最高 可到4 g b p s ，目 前美国国家标准委员会 a n s i )卜 属 的x 3 t 1 1 小组对 l o g b p s 传输速度的f c规范也在紧锣密鼓的制定之中。 f c光纤通道技 术已渗透到国防、教育、 石油、化上等各个领域， 典型应用土要包括集群系统、存储 区域网、远程各份、高性能计算和航空综合化系统等。 总之，f c光纤通信的速度将会越 来越快， 其应用范围也将越来越广泛， 这种通信技术具有巨大的潜力和广阔的发展前景， 它将成为未来通信网络的发展方向。 1 . 2 . 论文的主要内容和组织结构 本文分六章来对光纤通道交换网的 通信协议的研究进行全面的 介绍。 第一章:绪论。 这一章介绍了本论文的 研究背景、 研究意义、 研究内容和目 标。最后，对木论 文的主要内容和组织结构作了简单介绍。 第二章:光纤通道交换网。 这一章首先对光纤通道交换网中采用的光纤通道技术作了简要介绍，然后又阐 述了光纤通道交换网的总体架构，以及分别简要介绍了光纤通道交换网的软硬件通 信协议。 第三章:f c - v i a网 卜 驱动程序设计。 本章设计和实现了基于 对象的驱动程序设计方案，并将该驱动程序设计方案集 成到v i a技术的实现中去。 第四章: v i a在光纤通道交换网中的实现。 本章结合 v i a技术和基于 对象的驱动程序设计方案。 设计和实现了f c - v i a通 信协议。 在f c - v i a中， 通过基于l in u x 底半函数i6 h j 的核心代理机制， 一方而在通 信的发送端和接收端实现了零拷贝数 据通信，另一方而实 现了软件v i 队列的管理口 第五章:光纤通道交换网mp i 研究与实现。 为了实现光纤通道交换网在肮空电子 综合系统中的应用，本章通过对航全电子 综 合系 统 广 泛 采用 的m p i c h i9 1p o l 底 层 通 信 库的 扩 展， 设 计 了 支 持f c - v i a 通 信 协议 西北工业大学硕士论文 第一章 绪论 的 mp i - f c - v i a并行库。 第六章:总结与展望。 总结全文并对该方向今后的研究工作进行了展望。 西北工业大学硕士论文 第二章 光纤通道交换网 第二章 光纤通道交换网 新一代航空电子综合系统的数据通信网络是一种基于光纤互连的高性能集群系统， 它要求数据通信网络具有低延退、高带宽的等特征。 近年来，随着高性能计算机i i 逐渐成为数据通信业研究热点，已 经出现了 些为满 足快速数据连接需要的高速通信技术光纤通道技术。所以，在面向航空电子综合系统的 光纤通道交换网中， 采用了 光纤通道作为高速数据通信的核心技术。 2 . 1 . 光纤通道技术 为了尽量符合国际标准，有必要简单介绍一下 f c标准。 2 . 1 . 1 . 简介 光纤通道f i b r e c h a n n e l 2 ) 1-1 1 1 4 j 是由 美国国家标准委员会 ( a n s i ) 开发出米的一套 标准。其研发工作始于 1 9 8 8年，是作为对智能外设接口 ( i p 扮 加强标准的一个扩展进 行的。光纤通道是一个支持多种拓扑结构、物理互联以及协议的高 性能、全双 . 接口。 日 前运行速度为i g b p s 的设备已 经批量生产， 而且许多厂商已 经开始试验2 g b p s 的设各 了d l 2 . 1 . 2 . 光纤通道拓扑结构 光纤通道支持三种不同的拓扑技术:点对点、仲裁环路以及交换结构 如图 2 . 1 所 示) 。 使用交换式拓扑结构才是实现存储局域网、 集群计算机和其它资料密集计算设 施的 主要方式。在交换结构中，多个设各是由一台交换机或系列的交换机连接在一起的 该拓扑结构可以实 现任意两点之间的连接，而且每个连接都可以 利用全部带宽。交换结 西北工业大学硕士论文 第二章 光纤通道交换网 第二章 光纤通道交换网 新一代航空电子综合系统的数据通信网络是一种基于光纤互连的高性能集群系统， 它要求数据通信网络具有低延退、高带宽的等特征。 近年来，随着高性能计算机i i 逐渐成为数据通信业研究热点，已 经出现了 些为满 足快速数据连接需要的高速通信技术光纤通道技术。所以，在面向航空电子综合系统的 光纤通道交换网中， 采用了 光纤通道作为高速数据通信的核心技术。 2 . 1 . 光纤通道技术 为了尽量符合国际标准，有必要简单介绍一下 f c标准。 2 . 1 . 1 . 简介 光纤通道f i b r e c h a n n e l 2 ) 1-1 1 1 4 j 是由 美国国家标准委员会 ( a n s i ) 开发出米的一套 标准。其研发工作始于 1 9 8 8年，是作为对智能外设接口 ( i p 扮 加强标准的一个扩展进 行的。光纤通道是一个支持多种拓扑结构、物理互联以及协议的高 性能、全双 . 接口。 日 前运行速度为i g b p s 的设备已 经批量生产， 而且许多厂商已 经开始试验2 g b p s 的设各 了d l 2 . 1 . 2 . 光纤通道拓扑结构 光纤通道支持三种不同的拓扑技术:点对点、仲裁环路以及交换结构 如图 2 . 1 所 示) 。 使用交换式拓扑结构才是实现存储局域网、 集群计算机和其它资料密集计算设 施的 主要方式。在交换结构中，多个设各是由一台交换机或系列的交换机连接在一起的 该拓扑结构可以实 现任意两点之间的连接，而且每个连接都可以 利用全部带宽。交换结 西 北 工 业 大 学 硕 士 论 文 第二章 光纤通道交换网 构可以是非常巨大的。该结构还可以在不中断整个系统的情况下增添或去除任何设各， 同时还可以支持速度不同的各种设备。 l 叨 p po i n t t o pan t 图2 . 1 光纤通道拓扑结构 2 . 1 .3 . f c标准分层功能 f c标准是一种分层结构，每个层次 定义为一个功能级。f c通道的五层定义为: 物 理媒介、编码方式、帧协议和流控制、公共服务以及上级协议 ( u l p )接口。 整个 f c的分层体系结构如图 2 .2所示: v lp s 口 曰 口 回 n7avpinp 曰曰圈曰 p f .:p rc .1. . 1 f c 1g . t . -i t t -s o d r y r c 1 . e r 5 西 北 工 业 大 学 硕 士 论 文 第二章 光纤通道交换网 构可以是非常巨大的。该结构还可以在不中断整个系统的情况下增添或去除任何设各， 同时还可以支持速度不同的各种设备。 l 叨 p po i n t t o pan t 图2 . 1 光纤通道拓扑结构 2 . 1 .3 . f c标准分层功能 f c标准是一种分层结构，每个层次 定义为一个功能级。f c通道的五层定义为: 物 理媒介、编码方式、帧协议和流控制、公共服务以及上级协议 ( u l p )接口。 整个 f c的分层体系结构如图 2 .2所示: v lp s 口 曰 口 回 n7avpinp 曰曰圈曰 p f .:p rc .1. . 1 f c 1g . t . -i t t -s o d r y r c 1 . e r 5 西北工业大学硕士论文 第二章 光纤通道交换网 图2 . 2 f c的分层体系结构 i ) f c- 0 f c - 0 是物理层底层标准。 f c - 0 层定义了连接的物理接口特性， 包括介质和连接器( 驱 动器、接收器、发送器等 )的物理特性、电气特性和光特性、传输速率以及其它的些 连接端 口特性。f c - 0 的可选项包括: 一一传输速率:1 2 . 5 , 2 5 , 5 0 , 1 0 0 和2 0 0 m b p s( 兆字i y / 秒) ; 一一单模式光纤，多模式光纤，同轴电缆或双绞介质; 最高到1 0 k m的点到点连接长度。 2 ) f c - 1( 传输协议) f c - 1 定义了传输协议，包括串行编码和解码规则以及差错控制。f c - 1 使用8 b / 1 o b 编码，每8 b i t 字节采用1 0 b i t 编码:1 2 . 5 , 2 5 , 5 0 , 1 0 01 12 0 0 m 即s 数据率， 相应的传输 速 率分 别 为1 3 3 , 2 6 6 , 5 3 1 , 1 0 6 0 和 2 1 3 4 m b p s 。 这 样的 编 码 方 案 保 证了 有 足 够的 信 号传 输数量，以支持线性同步，以及能够传送特殊的控制字符。 3 ) f c- 2( .随协议) f c - 2 定义了节点间的数据传输方式，以及帧格式、帧序列、通信协议和服务分类。 光纤通道中数据传输的基本单元是可变的帧。 帧最大长 度为 2 1 4 8 字节， 传902 0 4 8 字，l) 的 用户数据。每一个帧包括3 6 字节的总开销，用于组帧、源和目的端口寻址、服务类型和 检错信息，每个帧可以有高达6 4 字节的附加可选总开销 ，用于用户数据的其他信息。单 个的更高层协议消息可以比一个帧的有效负载能力大，在这种情况 卜 ，一个消息被分解 成一系列帧，称之为序列。 4 ) f c - 3( 公共服务) f c - 3 层对物理和信号( f c - p h ) 层以 上的高层协议提供了 一套通用的公共通信服务口 这些附加的服务可以包括多点传送和j 一播数据传送机制，可以按照给定的地址、多路技 术的高层协议和f c - p h 响 应的多于一个的 n - p o r t ( 节点端口)组寻 址。 5 ) f c - 4 ( u l p映射) f c - 4 是光纤通道协议结构的最高层， 定义了光纤通道的应用接口， 规定了卜 层协 议 到光纤通道的映射。f c - 4 层提供了在光纤通道上使用现有的协议而不需要修改协议的方 法。 f c 竹点只需要提供高层协议要求的 极低层的传输服务。 这种集中功能要求f c - 4 提供 附加的 服务， 如数据的缓冲器、同步和优先次序。 f c - 4 映射应包括以下 通道和网络的高 西北工业大学硕士论文 第二章 光纤通道交换网 层协议:如s c s i 接口 和i p , v i a , a t m, h i p p i 等。 2 . 2光纤通道交换网的总体架构 近年来，高 速互连网络有着三个明显的发展趋势，包括通信速率千兆化、互连网络 交换化、传输介质光纤化。为此，我们设计的光纤通道交换网 f c - n e t ( f i b r e c h a n n e l- n e t w o r k) 是采用光纤通道技术，以 光纤作为互连传输介质，以f a b r i c 交换结构 实 现 互连网 络交 换 化， 实 现了 信 道 通 信 带宽 达 到1 .2 5 g b p s 的 千 兆 光 纤交 换 网。 目前， 我们现有的光纤通道交换机 ( 图2 . 3 所示) 只有1 6 个端口， 如有必要还可扩 展为6 8 个端口。 为每个端口 添加一个光收发器模块， 实现光纤传输。 f c - n e t内部是全 16为 互联的结构， 优于l t p b , 各个端口 之间均可任意连接，实现 “ 端到端” 或广播式无阻塞通信。性能 f d d i 等令牌传递网络， 更优于环型、立方体型、 蝶型等各种拓扑结构。 端口的交换机可以有 8对信道同时通信，每一条信道通信带宽 ( 线路信号速率) 1 . 2 5 g b p s ,是1 5 5 3 b的 1 0 0 0 倍。 用多个交换机可互连成更大规模的网络，图 2 . 4表示5个 4 端口交换机组成的 一 种 互联交换网的示意图，可以有3 x 4 =1 2 个端口。 实际上，1 7 个 1 6 端口 的交换机可以 有 1 5 x 1 6 = 2 4 0 个端口; 通信带宽可达到3 0 0 g b p s .多余的端口可用于余度通信，两套交换 网络可实现双余度。用户可根据需要进行设计，十分灵活。 图2 . 3 交换机或交换机网络图 2 .4采用 5个4 端g交换机组成的交换网 西北工业大学硕士论文 第二章 光纤通道交换网 层协议:如s c s i 接口 和i p , v i a , a t m, h i p p i 等。 2 . 2光纤通道交换网的总体架构 近年来，高 速互连网络有着三个明显的发展趋势，包括通信速率千兆化、互连网络 交换化、传输介质光纤化。为此，我们设计的光纤通道交换网 f c - n e t ( f i b r e c h a n n e l- n e t w o r k) 是采用光纤通道技术，以 光纤作为互连传输介质，以f a b r i c 交换结构 实 现 互连网 络交 换 化， 实 现了 信 道 通 信 带宽 达 到1 .2 5 g b p s 的 千 兆 光 纤交 换 网。 目前， 我们现有的光纤通道交换机 ( 图2 . 3 所示) 只有1 6 个端口， 如有必要还可扩 展为6 8 个端口。 为每个端口 添加一个光收发器模块， 实现光纤传输。 f c - n e t内部是全 16为 互联的结构， 优于l t p b , 各个端口 之间均可任意连接，实现 “ 端到端” 或广播式无阻塞通信。性能 f d d i 等令牌传递网络， 更优于环型、立方体型、 蝶型等各种拓扑结构。 端口的交换机可以有 8对信道同时通信，每一条信道通信带宽 ( 线路信号速率) 1 . 2 5 g b p s ,是1 5 5 3 b的 1 0 0 0 倍。 用多个交换机可互连成更大规模的网络，图 2 . 4表示5个 4 端口交换机组成的 一 种 互联交换网的示意图，可以有3 x 4 =1 2 个端口。 实际上，1 7 个 1 6 端口 的交换机可以 有 1 5 x 1 6 = 2 4 0 个端口; 通信带宽可达到3 0 0 g b p s .多余的端口可用于余度通信，两套交换 网络可实现双余度。用户可根据需要进行设计，十分灵活。 图2 . 3 交换机或交换机网络图 2 .4采用 5个4 端g交换机组成的交换网 西北工业火学硕士论文第二章 光纤通道交换网 2 . 3 . 光纤通道交换网的通信协议设计 为了 进一步的减小系统开销和达到高性能集群系统的低延迟、高带宽的要求，光 纤 通道交换网还增加了对用户层通信协议v i a ( v i rt u a l i n t e r f a c e a r c h it e c t u r e ) 的支持。根据 光纤通道技术的支持多个上层协议的特性， 在f c - 4 映射层1 1 5 支持v i a协议映射的 特点， 本论文在l i n u x 系统 f c - v i a网卡驱动程序中 提供 f c到v i a的映射。另外，口 前井 行 机、高性能集群系统中 广泛采用的 应用软件都建立在m p i 标准之上。 为此， 光纤通适交 换网也针对 mp i 进行了专门的设计。 f c - n e t高性能集群系统的通信协议采用用户层通信协议设计思路和分层结构模 型， 体系结构如图 2 .5所示。由图2 .5可见，f c - ne t的通信协议是由四个主要子系统组 成的分层结构: .网络接口ni c n i c是 f c - n e t 通信协议的底层通信层，它支持 f c标准， 提供光纤的 通信介质网 络传输，也提供对基于硬件描述符的硬件通信协议的支持。 .f c- vi a f c - vi a是f c - ne t通信协议的用户层通信协议层。 实现在基于 f c技术的 n i c层之 上。 f c - v i a通过基于l in u x 底半函数的核心代理机制， 一方面在通信的发送端和接 收端实现了零拷贝数据通信，另一方面实现了软件 v i 队列的管理。 .m pi - f c- vi a mp i - f c - v i a是 m p i 并 行库的一种实 现。它通过对mp i c h并 行库中底层通信库的 扩展，来提供 f c - v i a层在mp i - f c - v i a层中的数据通信。 .应用程序 应用程序是mp i - f c - v i a并行库的上层应用软件。由丁m p i - f c - v i a根据mp ( 标准 进行设计实现的， 所以它能够支持基于 mp i 的肮空电子综合系统、中尺度人气顶报 系统mm 5 等高性能集群计算应用系统。 从与软硬件的关联性考虑， f c - n e t 的通信协议主要由两部分组成 硬件通信协侧， 西北工业大学硕士论文 第二章 光纤通道交换网 和软件通信协议i 3 0 i . f c - n e t的通信协议在n i c子系统中实现了 硬件通信协议，该部分 主要由该项目中硬件小组负责设计。f c - ne t 的通信协议中余下子系统共同构成软们通 信协议，作者主要负责该部分的研究。 应用程 序 m p i - f c- vi a f c- vi a ni c 图2 . 5 f c - n e t的通信协议 2 . 4 . 光纤通道交换网的硬件通信协议设计 2 . 4 . 1 . 基于硬件通信描述符的n i c设计 在以太网i2 4 ,2 7 , 2 8 , 2 9 i 等网络中，通信描述符都被放置在内存中。典型的以太网数据通 信过程如图2 .6 ( a ) 所示。在图2 .6 ( a ) 中.首先主机c p u通过步骤1 将通信信息写入通信 描述符( d e s c r i p t o r 一d e s c ) 中， 而后n i c通过步骤2 从内 存中获取通信信息，步1% 3 从 内存中 取出待发送的数据， 数据经过步骤4 进入接收端目 标内存中。 从以太网的数据通信过程可见，以太网每次发送数据时， 发送端需要访问两次内存， 通信开销较大。为降 低网络的 通信开销， f c - n e t的 m a c层设计 中，将 d e s c直接放 置 在网 卡 的 寄存 器 组中 ， 构 成 硬 件 通信 描 述 符 ( h a r d w a r e d e s c r ip t o : 一 h d e s c ) o h d e s c 有发送描述符和接收描述符两种，每个 hd e s c包括地址寄存器和长度寄存器等内齐 基于h d e s c的数据通信过程如图2 .6 ( b ) 所示， 主要包括3 个操作步 骤: 步骤 ! :网卜m a c层用户通过p c i 接口 将通信信息写入n i c的发送/ 接收硬 侧通信 描述符寄存器中，通信信息包括发送数据的长 度、 数据的物理她址等信r 西北工业大学硕士论文 第二章 光纤通道交换网 和软件通信协议i 3