（通信与信息系统专业论文）clos交换机核心模块设计与实现.pdf

摘要 | i i i i l l l i l l l h ii l t lil lu l lu l y 2 0 6 8 6 7 9 随着航天技术的发展，空间通信系统日益成为核心系统，因而作为承担通信 系统重任的空间交换网络系统面临着更大的挑战，所以设计新的适合空间应用环 境的高性能交换机迫在眉睫。 以太网技术因其成熟性和灵活性己成为地面局域网主流技术，a f d x ( a v i o n i c sf u l ld u p l e xs w i t c h e de t h e m e t ) 以其高质量的服务保证和硬冗余而成为 航空领域的主流技术，因而本文结合实验室承担的科研项目一x x x 信息系统 网络交换技术研究”提出一种采用千兆交换式以太网与航空全双工交换以太网 ( a f d x ) 技术相结合的新型交换网络组网方案，并且为满足空间系统日益增加 的通信量需求以及考虑到未来的可扩展性需要，本文采用一种基于m s m ( m e m o r y s p a c e m e m o r y ) 型2 4 x 2 4 的三级c l o s ( 6 ，8 ，6 ) 网络交换结构作为 交换机的主要架构，在此基础上用一种正交链路路由算法实现该c l o s 多级交换 机。 论文首先简要介绍了两种典型的高速局域网技术( 交换式以太网技术和 a f d x 技术) ，并对交换网络结构作了简要分析比较。然后结合实验室承担的项目 课题，对所设计的交换机整体结构以及各级交换芯片作出了概要设计。接着重点 探讨了多级交换结构分组的调度路由问题并详述了一种正交链路路由算法的原理 及其具体实现，同时对输入级交换单元的关键模块作出了详细设计和具体实现。 论文最后利用f p g a 仿真工具m o d e l s i m 对正交链路选路模块以及所实现的输入 级交换单元的关键模块进行了时序仿真，通过仿真结果验证了设计方案的正确、 合理及其可行性，达到了预期的研究目标。 关键词：三级c l o s 交换结构正交链路路由输入级交换单元 a bs t r a c t w i t ht h ed e v e l o p m e n to fs p a c et e c h n o l o g y , t h es p a c ec o m m u n i c a t i o ns y s t e mh a s i n c r e a s i n g l yb e c o m ec o r es y s t e m ，t h e r e f o r et h es w i t c h i n gn e t w o r ki ns p a c ew h i c ht a k e t h er e s p o n s i b i l i t yf o rt h ec o m m u n i c a t i o ns y s t e mf a c ea g r e a t e rc h a l l e n g e ，s oi ti su r g e n t t od e s i g nan e wh i g h - p e r f o r m a n c es w i t c hw h i c hi ss u i t b l ef o rt h es p a c ea p p l i c a t i o n a r e a t h ee t h e r n e ti sw i d e l yu s e di nt e r r e s t r i a ll a n - n e t w o r k i n gf o ri t sm a t u r i t ya n d f l e x i b i l i t y , w h i l e t h ea f d xp r e v a i li na v i a t i o nf i e l df o ri t sq o sa s s u r a n c ea n d h a r d r e d u n d a n c y s o t h i s p a p e rp r e s e n t s an e ws w i t c hn e t w o r kw h i c hc o m b i n e s k i l o m e g as w i t c he n t h e r n e tw i t ha f d xb a s e do nt h el a b o r a t o r yr e s e a r c hp r o j e c t ”r e s e a r c ho nt e c h n o l o g yo fn e t w o r ks w i t c hi nx x xi n f o r m a t i o ns y s t e m ”，m o r e o v e r , i no r d e rt om e e tt h ei n c r e a s i n gd e m a n da n dt a k i n gi n t oa c c o u n tt h ef u t u r en e e d so f s c a l a b i l i t y , t h i sp a p e rr e s e a r c ha n di m p l e m e n tt h eh i g h - p e r f o r m a n c em u l t i s t a g es w i t c h b a s e do nt h es w i t c h i n gu n i t so f2 4 x 2 4t h r e e - s t a g ec l o s ( 6 ，8 ，6 ) s w i t c h i n gf a b r i ci n m s mm o d e 、i t ha no r t h o g o n a ll i n kr o u t i n ga l g o r i t h m f i r s t l yab r i e fi n t r o d u c t i o no ft w ot y p i c a lh i g h - s p e e dl a nt e c h n o l o g yw h i c ha r e e t h e m e ta n da f d xa n dab r i e fa n a l y s i sa n dc o m p a r i s o no fn e t w o r ks t r u c t u r e i sg i v e n i nt h i sp a p e r , t h e nt h eo v e r v i e wd e s i g no ft h ew h o l es t r u c t u r eo ft h eh i g h p e r f o r m a n c e s w i t c ha sw e l la st h ee a c hs t a g ec h i pi s g i v e nb a s e do nt h el a b o r a t o r yr e s e a r c h p r o j e c t ，t h i r d l yt h er o u t i n gs c h e d u l eo ft h em u l t i - s t a g es w i t c ha sw e l la st h ep r i n c p l e a n di m p l e m e n t a t i o no ft h eo r t h o g o n a ll i n kr o u t i n ga l g o r i t h mw a sk e y l yd e s c r i b e di n t h en e x t ，a n dt h ek e ym o u d l ei nt h ei n p u t - s t a g es w i t c hu n i ta r ep a r t i c u l a rd e s c r i b e da n d i m p l e m e n t e d a tt h ee n do ft h i sp a p e r , t h eo r t h o g o n a ll i n kr o u t i n gm o d u l ea sw e l la s s e v e r a lk e ym o d u l e si nt h ei n p u t s t a g es w i t c hu n i ta r et i m i n gs i m u l a t e db ym o d e l s i m a c c o r d i n gt ot h es i m u l a t i o nr e s u l t s ，t h ec o r r e c t n e s s ，r a t i o n a l i t ya n df e a s i b i l i t yo ft h i s d e s i g na r ev e r i f i e d a n dt h ed e s i r e dr e s e a r c ht a r g e ti sf i n a l l ya c h i e v e d k e y w o r d ：t h r e e - s t a g ec l o ss w i t c h i n gf a b r i co r t h o g o n a il i n kr o u t i n g i n p u t - s t a g es w i t c h i n gu n i t 第一章绪论 第一章绪论 1 1 研究背景 空间通信系统是空间与地面及空间联系的纽带和内部通信系统的神经中枢【l 】。 空间通信系统一般分为内部和外部两个分系统。外部通信系统完成空间与外部的 通信，同时还具有导航、跟踪、监控等功能。内部通信系统完成空间内部各舱之 间及舱内各种信息的传输与交换，并通过通信接口与外部通信系统相连。空间通 信系统设计的信号和数据类型繁杂，通信量大，因此内部通信系统需要有良好的 可靠性及高速的传输速率。 现在的国际空间通信系统采用了两级网络，上层为f d d i 网络，下层为 m l s t d 1 5 5 3 b 美国空军军用总线网络和美国电气电子工程师协会制定的 i e e e 8 0 2 4 网络。1 5 5 3 b 和i e e e 8 0 2 4 网络与平台设备和有效载荷设备联接，技术 成熟、可靠，能够完成目前空间通信系统的要求【2 3 j 。1 5 5 3 b 总线是二种串行时分“ 的命令响应式多路传输数据总线，其主要功能是为所有连接到总线上的电子设备 提供综合化、集中式的系统控制和一种标准化的接口。它的传输速率最高为1 m b p s ； i e e e 8 0 2 4 结合了总线局域网和令牌环网的优点，速率为1 0 m b p s ；f d d i 是使用光 纤作为传输媒介的逆向双环网，和令牌环一样都采用令牌访问控制协议，传输速 率最高为1 0 0 m b p s 。随着航天电子技术的发展，航天电子设备综合化程度越来越 高，设备之间需要交互的信息量越来越大，对内部总线通信系统提出越来越高的要 求。而目前采用的1 5 5 3 b 、i e e e 8 0 2 4 等总线技术已经无法满足这种需求，因此设 计新的适合空间应用环境的网络技术成为必须解决的问题之一。 以太网是2 0 世纪8 0 年代发展起来的一种局域网技术，应用越来越广泛，成 为地面局域网组网的主流技术，带宽由开始的1 m 、1 0 m 、1 0 0 m 逐渐过渡到现在 的千兆甚至万兆。2 0 0 8 年，国际空间通信系统的c o l u m b u s 空间舱已经使用了由 h p 公司的p r o c u r v en e t w o r k i n g 负责研制生产的p r o c u r v e2 5 2 4 以太网交换机，由 此以太网开启了空间的“大门”。 下面将先介绍两种典型的采用以太网帧格式作为载荷的局域网技术，紧接着 研究分析单级和多级交换结构的优劣势，以此为基础在后面的章节进一步深入探 讨空间通信系统的c l o s 交换网络核心单元的设计与实现。 2 c l o s 交换机核心模块研究与实现 1 2 1 交换式以太网 1 2 高速局域网技术 在计算机网络发展历程中，以太网显然是众多网络技术中最具影响力的一种 【4 】。传统以太网通常采用总线型或星行拓扑网络，并且依赖带有冲突检测的载波监 听和多路访问( c s m a c d ) 调度方式来解决信道使用中发生的冲突问题， c s m a c d 本质上是采用一种回退机制避免冲突的发生，但也恰恰由于c s m a c d 中所固有的回退机制的存在，使得网络上的数据传输不具备时间的确定性，无法 提供时间相关的服务传输的保证；再者由于局域网的用户数增加以及多媒体技术 的广泛使用，特别是大量图像视频数据需要被局域网要求有更高的数据传输速率， 传统以太网显然已经无法满足，因此交换式以太网技术应运而生。 相比较传统以太网，交换式以太网的拓扑结构发生了重大的改进，其通过交 换技术将网络进行分割，各个节点设备通过交换设备进行互联，而且节点设备和 交换设备端口间采用全双工链路，每个节点的接收和发送独立不冲突，这样使传 统的争夺式的“共享型”信道转变为分享型或独享型的信道，从而大大增强了以太网 通信的确定性。 交换式以太网虽然在一定程度上增强了以太网通信的确定性，但实时性并没 有得到保障，主要表现在： ( 1 ) 没有优先级机制：所有的数据按照同样的方式发送和接收，没有显现出 数据之间的区别，而不同的数据对实时性的要求不同，这样就导致对实时性要求 高的数据的时延不可预测； ( 2 ) 8 0 2 3 协议是非确定的； ( 3 ) 交换机地址表的学习老化机制：当到达数据的目标m a c 地址在地址表 中没有相应的地址时，或者本来有相应的地址项，但由于一段时间没有用到，基 于老化机制，该地址会被删除以节省存储空间，造成数据传输的时延更是不可预 测。 鉴于上述缺陷，交换式以太网基本无法直接应用在工业领域，更不要说航天 航空领域，但是其在普通商用网络中的广泛应用又使得其具有一定的典范意义， 因而工业领域甚至航天航空领域的一些高速局域网技术也都是基于以太网技术发 展改进的，下面就介绍一种应用于航空领域且具有很高的可靠性和确定性的一种 高速局域网技术一a f d x 技术。 1 2 2a f d x 技术 a f d x 技术全称为全双工交换式以太网【5 l ( a v i o n i c sf u l ld u p l e xs w i t c h e d 第一章绪论 3 e t h e m e tn e t w o r k - - a f d x ) ，它是由a r i n c 委员会开发的a r i n c 6 6 4 航空数据网 络标准，是继a r i n c 6 4 6 之后的又一个航空数据网络标准，该标准已作为主要的 航空总线用于a 3 8 0 飞机并且将在全新的a 3 9 0 飞机上使用。 a r i n c6 6 4 规范的第七部分定义了一个名为a f d x 的全双工的、有一定确定 性的航空系统使用的可配置数据网络，它包括以下几个主要方面： ( 1 )使用可配置：系统使用者的参数配置信息可在系统启动时载入； ( 2 )全双工：物理层使用双绞线，有独立的发送和接收信道； ( 3 )交换网络：网络拓扑为星型结构。每个交换机最多能连接2 4 个端系统 ( e n ds y s t e m ，下文简称e s ) ，交换机间可级联以形成更大的网络； ( 4 )确定性：网络通路使用虚链路( v i r t u a ll i n k ，下文简称v l ) 模拟了一 个点到点的、具有确定性的网络； ( 5 )备份网络：增加一个冗余网络提高传送的可靠性并降低传送时延； ( 6 ) 性能要求：端口工作速率为1 0 0 m b p s 。 a f d x 是对以太网局域网技术的扩展，采用了全双工交换式以太网，克服了 半双工以太网固有的冲突问题；采用虚拟链路和流量整形机制( 主要由端系统实 现) 对通信任务之间的数据流进行逻辑隔离和实时性能保证。a f d x 协议在设计 过程中采用了不少创新性的概念，包括： ( 7 )带宽保障：通过先进的排序管理和多带宽应用策略来实现对带宽的控 制，并通过引入“带宽分配间隔”( b a g ) 概念、最大帧长度等方式来进行带宽的 分配。这些保障措施被应用到a f d x 的虚拟链路方面，极大地提高了数据的完整 性和数据传输在时间上的确定性； ( 8 )服务保障：在传统的以太网交换网络中，输入的以太网帧都是输出链 路根据以太网目的地址来进行路由，而在a f d x 网络中，a f d x 系统结合了a r i n c 4 2 9 的点到多点的总线特性和异步传输模式标准( a t m ) 中的“虚拟链路”( v l ) 技术，一个数据源专门采用一条v l ，每条v l 都嵌入到一条以太网数据链路中， 然后a f d x 交换机通过查找配置文件将由一个终端系统产生的携有同一虚拟链路 i d 的帧发送到一组预先确定的终端系统。a f d x 是第一个将以太网链路的简单性 和a t m 协议的复杂性、安全性很好地综合到一起的航空电子标准； ( 9 )冗余管理：a f d x 设计基于通信链路物理上冗余的交换网络原理，一 个a f d x 系统中有a 和b 两个独立的交换网络，如下图1 1 所示：a f d x 终端系 统传输的每个数据包同时在a 和b 两个网络上进行发送，因此，正常状态下，每 个终端系统将会收到两份同样的数据包，这样即使网络内有帧传输失败或数据链 失效，a f d x 系统也可以提供安全、可靠的数据传输。 4 c l o s 交换机核心模块研究与实现 图1 1a f d x 冗余热备份连接图 通过上述分析显而易见，a f d x 通过静态配置转发表可以提供高可靠的，很 确定的数据传输，相当于提供了面向连接的通信方式，但它的劣势在于其转发表 需要预先配置，故仅能支持面向连接的通信方式。 1 3 交换网络结构分析 上文主要分析了两种高速局域网技术，本节主要探讨交换网络系统结构特性， 如下图1 2 所示为一个典型的交换系统参考模型【6 】，从图中可以看出交换系统包含 输入输出接口和交换网络，交换网络( s w i t c h i n gf a b r i c s ) 作为路由器或交换机内 部的核心部件，其交换能力在很大程度上决定着路由器或交换机的性能，如吞吐 率，交换时延及其抖动、丢失和乱序等，因而一个理想的交换网络对到达分组的 转发必须满足以下要求： 交换网络 输入接口l 输入端口 连接网络 输出端口i 输出接口 输入 制v壮 二净d世ji 一制1朴 一一 一一 一一 一一 一输出 一一 一一 一一 一一 图1 2 路由器和交换机的参考模型 ( 1 ) 及时性：交换网络进行分组转发时，必须按照网络业务的q o s 要求，将 分组按照要求转发到输出端口，转发时延要满足服务质量要求； ( 2 ) 准确性：这点包含两方面含义：一是交换网络必须能够实现从网络任意 输入端口到任意输出端口的转发能力，也就是要具备全连通性；另一方面是交换 第一章绪论 5 网络必须能在控制信息的控制下实现分组从输入端口到某个特定输出端口的转 发，即就是交换网络要具有可控转发能力： ( 3 ) 无损性：所谓无损性主要指分组转发无冲突、无丢失。由于到达网络业 务的随机性，在某一时刻到达多个输入端口的分组可能要竞争同一个输出端口， 要求交换网络具备良好的解决输出端口竞争能力( 即相应的调度或路由算法具备 该特点) ，这样才能保障分组无丢失转发； ( 4 ) 完整性：理想的交换网络对分组进行转发后，只是对分组的端口号进行 改变，而必须保持分组的信息格式不变，即不能改变信息分组的原有格局。 那么理想的交换网络有哪些类型，从图1 2 可以看出，交换网络又包括输入 ( 出) 端口和提供所有输入端口和输出端口之间的可控连通性的连接网络( 又称 交换核心) ，由于连接网络可由一个或多个交换单元组成，因而从交换网络结构的 构成来看，可将交换网络结构分为单级交换网络结构和多级交换网络结构两类。 具体表现为单级交换网络结构中仅有一个交换单元，而多级交换网络结构中则是 由多个交换单元级联而成的，下面就分别对常见的单级交换网络结构和多级交换 网络结构作以分析。 1 3 1 单级交换网络结构 ( 1 ) 共享总线结构 最初的单级交换网络结构大多采用了传统计算机体系结构，包括共享中央总 线、中央c p u 、内存及挂在共享总线上的多个网络物理接口，如图1 3 所示：这 总线或环 图1 3 共享总线结构 种结构被称之为共享总线交换结构，它采用时分背板总线进行数据交换，总线容 量为单个端口容量的n 倍以提供足够带宽( n 为交换系统的端口数目) ，其每个输入 端口以一定的优先级，如仲裁或菊花链结构，向总线发送数据。接口卡通过总线 将报文上送到c p u ，c p u 完成路由计算、查表、作出转发决定处理，然后又经总 线送到另一个物理接口发送出去。这种结构的特点是实现简单，并且各节点之间 6 c l o s 交换机核心模块研究与实现 具有相对的独立性，但其主要局限是处理速度慢，由一个c p u 完成所有的任务， 从而限制了系统的吞吐量。并且其可扩展性受背板总线速率所限，而当背板总线 可靠性不佳或某个端口上出现超长分组时，可能导致整个交换体系的崩溃。 ( 2 ) 共享缓存结构 共享缓存结构是一种曾被广泛应用于中小型甚至某些特定的大型交换结构实 现当中的又一种单级交换网络结构，如图1 4 所示，复用器( m u x ：m u l t i p l e x e r ) 对各 输入端口数据进行调度，解复用器( d e m u x ：d e m ul t i p l e x e r ) 对共享缓存中各队列进 行调度，共享缓存负责存储转发数据，控制器协调读写操作并提供各队列状态信 息。分组的交换是通过指针调用来实现的，这提高了交换容量。但这种结构的最 大局限在于其速度受限于内存的访问速度。 a 朋峨：解复用器 图1 4 共享缓存结构 ( 3 ) 单级c r o s s b a r 结构 除了上述两种单级交换结构外，单级c r o s s b a r 结构也是一种快速的交换方案 7 1 ，c r o s s b a r 交换结构可通过点到点的连接把需要通信的输入端口和输出端i ：1 连 接起来，线卡到交换单元的物理连接简化为点到点连接，使得该连接可以运行在 非常高的速率下。并且由于只要同时闭合多个交叉点，便可支持多个连接同时以 最大速度传输数据，因而极大的提高了整个系统的吞吐量。如下图1 5 所示为一个 3 x 3 c r o s s b a r 交换单元，对于一个n x m 的c r o s s b a r 交换结构中，共有n x m 个交叉 图1 53 x 3c r o s s b a r 交换结构 第一章绪论 7 点，如图1 5 中有9 个交换交叉节点，通常每个交叉点采用高速交叉开关电路来实 现，每个开关用来控制一个输入端口到一个输出端口的通道。c r o s s b a r 可以采用输 入、输出或者混合缓冲型交换结构，具有费用低、可伸缩性强和交换无阻塞等特 点，还可以根据不同的实现方式扩展到非常高的带宽。但是，实际应用中需要设 计智能化的调度器，使用特定的调度算法来合理的配置每个输入端口对c r o s s b a r 的访问，并提高其利用率。而且其网络复杂度随着端口数n 的增加以n 2 增大。因 此，高速开关电路的设计和调度算法的复杂性是c r o s s b a r 扩充交换容量的首要限 制因素。 1 3 2 多级交换网络结构 从上述分析可以看出，对于各式各样的单级交换网络结构，都有其固有的缺 陷，而且随着目前对交换网络大容量和高可扩展性的追求，已经很难单纯的通过 增加端口数量或者提升线路速率来满足大规模交换系统的要求，因此多级交换结 构应运而生。 - 多级交换网络结构是由多个单级结构交换单元级联成的多级交换阵列，在多 级交换网络结构中，只有第一级交换单元的输入端口与最后一级交换单元的输出 端口是交换结构的直接输入输出端口；而级与级之间交换单元输入输出端口是间 接的输入输出端口，显而易见在多级交换的结构构建中，级数越少，交换延迟也 就越小，但交换通路也相应减少，这导致内部碰撞阻塞的更容易产生，因此多级 交换结构的确定有一个各项性能之间的折中，其中最有代表性的是多级c l o s 网络， 。 特别是三级c l o s 结构【8 j 。所谓c l o s 是一种采用基本单级交换单元搭建大型交换网 络的最常用拓扑，当前使用的大容量交换网络拓扑多采用这种结构。n x n 的c l o s 网络基本结构如图1 6 所示，n 为输入端口和输出端口数。第一级为n x m 交换单 元，共有r 个，令r = n n ，第三级的交换单元端口为m x n ，也有r 个，中间级为r x r 的交换单元，共有m 个。这种三级c l o s 网络可记为c ( n ，n ，m ) 。显然，c l o s 网 络是多路径网络，任何一对指定的入端与出端之间有m 条通路，每一条通路通过 不同的中间级交换单元，c l o s 网络具有以下特性【9 , 1 0 ： n 图1 6n x n 的三级c l o s 网络结构示意图 n 8 c l o s 交换机核心模块研究与实现 ( 1 ) 无阻塞性：在c l o s 网络中，输入端口和输出端1 2 1 之间存在多条并行路 径，在中间级数量满足一定条件下( r n 艺 2 n 1 ) ，该结构具有内部无阻塞的特性； ( 2 ) 路径多样性：在( n ，n ，m ) c l o s 网络中，网络为每一个输入端口到每 一个输出端口提供了m 条等价链路，这样可以为网络提供很大的负载均衡能力和 容错能力； ( 3 ) 管理简化性：在c l o s 网络中，每一个交换单元都是相互独立的实体，这 就意味着c l o s 网络可将调度管理工作分级并行管理，便于降低管理的时间复杂度； ( 4 ) 高可扩展性：c l o s 网络的每级由独立的模块构成，每个模块与相邻级的 所有模块互连，每一级的模块数目可以独立扩展，也就是能够在不改变原有结构 的基础上扩展交换结构的输入输出端口。 通过上述对单级交换网络结构和多级交换网络结构的描述可以发现，就单级 交换网络结构来说，c r o s s b a r 和共享缓存结构都能够达到比较高的吞吐率。而且共 享缓存实现简单，但其可扩展性比较差，当线路接口卡数量较多时，性能将受到 一定的影响。c r o s s b a r 能够达到比较高的速率，扩展性好，但是需要设计完善的调 度算法并用高速硬件实现调度器。然而c r o s s b a r 和共享内存结构终究仍属于单级 交换结构范畴，当考虑大规模交换系统时，单级交换网络结构存在着难以克服的 弊端，这就是对于小规模系统，单级交换网络结构每端口成本还算合理，但随着 规模的扩大，其成本涨幅过快，例如在c r o s s b a r 结构中交叉点的数目c 等于输入 或输出线路数目n 的平方，当n = 1 0 0 0 时c = 1 0 6 ，这个数目对于v l s i 工艺来说不 是问题，但让每一个芯片都有1 0 0 0 或者更多的i o 引脚会极大的影响硬件功耗、 成本和可扩展性，而对于多级交换网络结构则不存在这样的问题，因为多级交换 网络结构是采用多个交换单元级联实现的，它不要求多个交换单元集成在一个芯 片中，通常需要的交换单元仅仅为4 x 4 或1 6 x 1 6 这样的交换端口规模( 注意该处 交换单元由于不是纯c r o s s b a r 结构，因而是端口规模不是线路规模) ，如要扩展 可以将多个这样的芯片通过级联方式来适应连接网络数目的增长。由此可见，单 级交换网络结构在可扩展性方面没有优势，可扩展的交换系统必须采用多级交换 网络结构。因此本文也选择三级c l o s 交换结构来搭建适用于空间通信系统的多级 交换机。 1 4 论文工作和安排 本文结合科研合作项目“x x x 信息系统网络交换技术研究”，详细阐述了“x x x 信息系统”内部网络交换单元整体设计方案，尤其是针对该方案提出一种新的多级 网络调度路由技术，并对该技术方案以及所设计的交换机核心单元进行了详细设 计和实现。文章内容安排如下： 第一章绪论 9 第一章绪论中首先介绍了空间局域网的通信系统需求、现在国际空间通信系 统采用的网络技术、本项目中涉及到的高速局域网组网技术以及常用单级交换网 络结构和典型的多级交换网络结构，并对其进行了分析和比较。 第二章结合科研项目的需求分析，详细阐述了适合空间通信系统的c l o s 交换 网络的设计方案和其各级交换单元的结构功能设计，从总体上对整个交换网络和 各级交换单元的功能，逻辑结构进行了规划和设计。 第三章首先对本项目中所提出的正交链路调度路由原理进行了阐述、设计和 实现，紧接着针对所设计的c l o s 交换机输入级交换单元中的一些核心单元，给出 了模块化设计和具体实现。 第四章以第三章中所阐述的核心模块实现方案为依据，利用m o d e l s i m 分别对 正交链路选路控制模块、输入级交换单元内部的各核心模块进行了硬件时序仿真 分析，并通过f p g a 开发板进行了板级测试，验证了设计方案的正确性。 1 0 c l o s 交换机核心模块研究与实现 第二章c l o s 交换机概要设计 第二章c l o s 交换机概要设计 2 1 空间通信系统交换机需求分析 作为交换机核心骨架的交换体系结构对一个交换网络的性能具有重要影响， 它决定了网络数据交换的方式和系统运行效率的高低，作为适用于空间通信系统 交换机中的交换体系结构承担着空间通信系统各分系统之间的数据传输枢纽，不 仅要求能实现数据传输功能，还由于其运行在复杂的空间环境中，因而要求它有 较强的空间环境适应能力，所以对交换体系结构也有如下特殊要求【1 1 , 1 2 】： ( 1 ) 抗辐射好 由于空间环境恶劣，太空粒子之间撞击、辐射、急剧变化等都会影响电子系 统正常工作，因而要求交换体系结构具有很好的抗辐射性能，以保障数据传输的 正确性，否则会影响控制过程的正常进行，从而影响空间通信系统的正常运行， 这就要求设计实现过程中都要采用航天级的芯片等器件。 ( 2 ) 通信速率高 现如今随着微电子、微机械和轻型结构材料在空间通信系统上的应用，空间 通信系统的功能不断增强，系统亦越来越复杂，各分系统之间的通信愈来愈多， 因而局域网交换体系结构要有高的通信速率。 ( 3 ) 网络容量可扩展性强 由于空间通信系统并不是一次发射成功，其是通过多次发射的飞行器对接组 合而成，随着其未来内部设备的通信数据处理能力和设备间数据的交换能力的增 强，必须要求局域网交换体系结构具备很好的容量可扩展性。 ( 4 ) 实时性好 空间控制系统对时间的快速响应要求决定了局域网交换体系结构必须有很好 的实时性；同时，空间设备的功能不断增强，为匹配空间设备及时应对复杂任务， 局域网交换体系结构必须要有一套高效的通信协议，确保数据传输的效率，从而 满足实时性的要求。 ( 5 ) 采用光纤作为传输媒质 光纤具有质量轻，功耗小，良好的抗电磁与射频干扰能力，并能够有效防止 传输过程中的分接偷听以及辐射波侦听，故可采用光纤作为传输媒质。 ( 6 ) 数据帧结构应该基于现在广泛使用的以太网帧结构。 ( 7 ) 可靠性高 由于空间环境的特殊性，设备发生故障很难进行维修更换，这就要求局域网 交换体系结构必须有很高的可靠性，比如采用冗余热备份机制的局部网交换体系 1 2 c l o s 交换机核心模块研究与实现 结构，否则网络( 节点或交换机) 发生故障，可能会导致整个系统瘫痪。这就要求采 用具有冗余热备份机制的局部网交换体系结构。 ( 8 ) 技术成熟 在满足功能要求的前提下，应尽量选择实现简单、成本低廉、体积小、质量 轻、功耗低、灵活性较好、组网技术成熟的局部网交换体系结构。 2 2c l o s 交换机交换系统设计 2 2 1 交换系统组网方案设计 上一节讲述了对于应用在空间通信系统中交换机的交换体系结构的需求，本 节着重从考虑这些需求特性入手，从总体上设计出交换体系结构。 首先一个好的网络交换体系结构不仅能保证系统的正确工作，而且能有效降 低系统的硬件资源消耗和功耗，提高系统带宽和吞吐率。针对空间航天器上的特 殊环境和特殊要求，如上一节中提到的需要对系统进行可扩展性、抗辐射、容错、 低功耗等的设计，对此本文提出一种c l o s 交换网络( 千兆交换式以太网+ 千兆 a f d x ) 的设计方案，该方案既支持千兆交换式以太网，又可以实现千兆a f d x 功 能。 本文提出这种千兆交换式以太网+ 千兆a f d x 设计方案其原因在于：以太网技 术因技术成熟而获得广泛应用，且组网灵活，但由于其不能保证业务的服务质量， 且不支持硬冗余，所以不能直接应用于空间通信系统，而a f d x 提供服务质量保证 和硬冗余，恰好可以弥补以太网的不足，但其又仅仅支持静态路由配置，缺乏组 网的灵活性，也不便直接用于空间通信系统，然而a f d x 的帧结构与以太网帧结构 又是兼容的，所以鉴于上述因素，本文将两种技术融合统一到一起来设计适合空 间通信系统的总体结构，如下图2 1 所示为本文设计的交换网络系统组成图，其中 图2 1 空间通信系统交换网络系统组成图 各节点组成点对点的全双工交换式网络，其中a 交换网络和b 交换网络实现冗余备 份功能，图中的端系统为网络的接入部件，既可以是以太网终端也可以是a f d x 的 端系统，一般的以太网终端多为单口模式( 不管网络是双平面还是单平面，端系 第二章c l o s 交换机概要设计 统只有一个口，虽然降低了可靠性，但实现简单) ，而a f d x 端系统基本都为双口 模式( 此时采用双平面冗余连接，提高网络的可靠性，如图2 1 所示) ，而且a f d x 端系统对于不同的业务分配不同的虚链路( v l ) 1 1 3 a 4 号，不同的虚链路提供不同 服务质量( q o s ) 的数据发送和接收服务。所谓保证服务质量就是说对于传输请求， 无论什么样的数据类型网络必须提供确保最大网络传输延迟的服务。并且网络传 输的延迟必须是稳定的、可计算的并且被限制在一个最大值之内。 根据上述描述，显而易见对于传输实时性要求很高的数据可通过a f d x 协议发 送，以保证数据传输的确定性和实时性，而对于一般性数据业务可以采用以太网 交换方式转发，即交换网路的地址转发表应该有两种配置方式：静态配置和自学 习。然而本文所承担的项目主要就是负责图2 1 中交换网络的设计和实现，也就是 文中所述的交换机的设计和实现，下面的章节将以该交换机的设计和实现为重点， 展开对该交换机总体交换结构和各个交换单元的详细设计和关键模块的实现。 2 2 2 交换系统结构框图设计 交换机是网络的通信中枢，完成网络的核心交换功能，其通过接收来自每个 物理接口的输入分组，并且按照目的地址将该分组转发至交换机的输出端口。本 项目中设计的交换机也不例外，其整个系统的主要模块框图如图2 2 所示。主要分 图2 2 空间通信系统交换网络交换机系统框图 为两部分，一部分是配置控制模块，主要由c p u 及周边模块( e t h e m e tp h y 、r s 2 3 2 、 d p r a m 、f l a s h 和e e p r o m ) 构成，另一部分是交换模块，其由多片f p g a 和 2 4 个p h y 芯片构成。下面简要介绍一下各芯片的作用： 1 4 c l o s 交换机核心模块研究与实现 ( 1 ) e t h e m e tp h y ：以太网物理层模块，为c p u 提供一个标准的以太网接口，主 要用于软件系统配置和调试。 ( 2 ) c p u ：初始化f p g a 中的初始参数，并在交换机工作时监视交换机状态，并 进行实时控制。 ( 3 ) r s 2 3 2 ：为c p u 提供一个标准的串行数据接口，主要用于控制交换机。 ( 4 ) f l a s h ：用于存储v x w o r k s 镜像。 ( 5 ) d p r a m ：双端口r a m ，作为f p g a 和c p u 之间的数据缓存接口。 ( 6 ) e e p r o m ：用于存储b o o tl o a d e r 。 ( 7 ) s d r a m ：作为c p u 的内存。 ( 8 ) 2 4e t h e m e tp h y s ：2 4 个1 0 0 0 m b p s 的以太网物理层模块。 ( 9 ) f p g a ：多片f p g a 实现2 4 端口交换机的交换结构。 以上是各个芯片的简要介绍，本文的重点是图2 2 所示的2 4 口交换机的设计 和实现，要想实现2 4 端口的交换机显然采用单级交换结构实现难度大而且不易扩 展，考虑到空间通信系统交换机对可扩展性的需求，结合论文第一章中关于交换 结构的论述，我们认为采用基于三级c l o s 结构的多级交换网络结构将是不二选择， 同时考虑到空间通信系统的特殊环境，交换单元选用x i l i n x 公司的太空级f p g a 芯片v i r t e x 5x c 5 v f x 7 0 t t ”】来实现，该芯片内部有4 4 8 0 0 个s l i c er e g i s t e r s 、4 4 8 0 0 个s l i c e sl u t 、5 3 2 8 k b i t s 的r a m 资源。通过在i s e 下逻辑资源的分析以及需求 的缓存容量的预估，在该片子上仅可实现4 x 6 或6 x 6 的单个交换单元设计。实现 2 4 端口的交换机，只能采用多个交换单元级联的多级交换网络结构，下文将重点 描述本项目中2 4 端口交换机的详细设计。 2 3 1 交换机总体结构设计 2 3c l o s 交换机设计方案 综合上文所述，本项目采用基于交换式以太网技术和a f d x 技术融合的多级 c l o s 交换网络结构，其结构图如图2 3 所示：该交换机为2 4 x 2 4 端口规模，由6 个 输入级交换单元模块( i m ) 、8 个中间级交换单元模块( c m ) 、6 个输出级交换单 元模块( o m ) 以及1 个正交链路选路控制模块和o m 反压信息汇总模块组成，其 中每个输入级交换单元和每个输出级交换单元分别用一个芯片实现，而正交链路 选路控制模块和o m 反压信息汇总模块以及8 个中间级交换单元模块( c m ) 共用 一个芯片实现，本项目中全局时钟信号和时隙信号均由中间芯片统一提供以保证 同步，( 所谓时隙信号指的是一个周期性的脉冲信号，设置时隙信号的原因详见论 文3 1 章节所述) 如图2 3 所示，输入级交换芯片与输入级交换单元一一对应，这 是由于每个输入级交换单元模块( i m ) 采用一片f p g a 实现4 x 8 交换结构，其中 第二章c l o s 交换机概要设计 1 5 4 个速率为1 g b p s 的输入端口连接着外部p h y 接口，8 个速率为2 g b p s 的输出端 口与8 个对应中间级交换单元模块( c m ) 单向交换，所交互信息为1 6 位数据信息和 1 位使能信息，本项目设计中考虑到流控功能，假设输入级交换单元模块i m # n 图2 3c l o s 交换机功能结构图 ( 0 - - n = 5 ) 对应的四个输入端口编号分别为4 n 、4 n + l 、4 n + 2 、4 n + 3 ( 0 - - n = 5 ) ， 那么输出级交换单元模块o m # n 对应的四个输出端口编号为4 n 、4 n + l 、4 n + 2 、4 n + 3 ( 0 - - n = 5 ) ；事实上由于外部端口为全双工的，所以输入端口和输出端口物理上 为同一端口，因而每个i m # n 有一根通往o m # n 的正向流控信号线，如图2 3 所示 ( 图中仅画出了i m # 0 和i m # 5 的正向流控信号线以作示意) ，当输入级交换单元 模块i m # n 内部缓存达到某个门限时，将通过该信号线以串行方式传输流控信息到 达对应的输出级交换单元模块o m # n 实现流控功能。除此之外每个输入级交换单 元模块( i m ) 还与正交链路选路控制模块双向交换，主要是通过正交链路选路控 制模块为每个输入级交换单元模块( i m ) 完成分组的链路选择；每个输入级交换 单元模块( i m ) 还通过一根外部信号线接收来自中间芯片的o m 反压信息，详细 过程见下文2 3 2 所述。 中间级交换芯片包含3 部分逻辑结构，其一为正交链路选路控制模块，其二 1 6 c l o s 交换机核心模块研究与实现 为o m 反压汇总信息模块，其三为8 个中间级交换单元模块( c m ) ，正交链路选 路控制模块主要完成全局分组的链路路由调度，这部分内容将在第三章重点介绍， 此处重点介绍o m 反压汇总信息模块和中间级交换单元模块( c m ) 。 o m 反压汇总信息模块主要是作为输入级交换单元和输出级交换单元的桥梁， 目的在于将6 个输出级交换单元内部的缓存状态告之所有输入级交换单元而又尽 量节省外部接口，所以在中间交换芯片内部通过该模块接收来自6 个输出级交换 单元的缓存状态信息，再在该模块内部将6 个输出级交换单元的缓存信息进行汇 总，以串行信号线的方式分别传输给每个输入级交换单元，之所以这么做的原因 见下文2 3 2 中所述。 每个中间级交换单元模块( c m ) 为6 x 6 无缓存的交叉开关型交换结构，其中 6 个输入端口和6 个输出端口分别与6 个输入级交换单元模块( i m ) 和6 个输出 级交换单元模块( o m ) 单向交互，其交互速率均为2 g b p s ，所交互信息为1 6 位 数据信息和l 位使能信息；经过在i s e 下逻辑资源仿真分析得知中间级交换单元 逻辑资源占有率极少，而且每个输入级交换单元模块( i m ) 都与正交链路选路控 制模块有信息交换，这也是为什么本项目设计中将8 个中间级交换单元模块和正 交链路选路控制模块用一片f p g a 实现，如图2 3 上所示。 输出级交换芯片与输