高性能光纤传输实时交换网技术

1、高性能光纤传输实时交换网技术方案介绍西工大计算机系1103研究室2003/4/20我国现有航空电子综合系统采用的1553B总线网已不能满足新一代飞机的要求.为此， 我们提出了 “高性能光纤实时交换网技术”的研究课题。本报告主要内容有：国内外发展情况航空科学基金项目面向航空电子综合系统的光纤交换通信网络的成功申请先锋网简介协议标准的研究千兆网卡的研制6兆光纤传输交换网方案设计7.驱动程序和MPI函数的设计附件：实时FC标准FC-RT（征求意见稿）航空科学基金申请书目的与意义21世纪的作战策略和方式为陆海空一体联合作战，要求通过卫星等通信媒体，在机群之间、 飞机和舰队之间以及各作战单元和指挥中心之

2、间建立以数据链为基础的信息网络，有了这样 一个具备保密性的一体化网络系统，实现信息共享和集成，则可随时动态的传递命令、接收 信息和精确定位以利于高效的协同作战。国内外发展情况80年代以前，美国提出了 “宝石柱V “宝石平台”计划。国内631所在“八五”期间，参 考美国的“宝石柱”、“宝石平台”计划，进行了相应的研究。90年代，随着光纤技术的出现，美国又提出了 FC和SCI标准。FC标准是为光纤传输制 定的。如令牌传递网络。在拓扑结构上分为总线型（如IEEE802.4, LTPB线性令牌传递总线） 和环型（如IEEE802.5, FDDI分布式光纤数据接口），无论令牌传输协议采取何种拓扑形式，

3、从消息传输的意义上讲，均采用了逻辑环的结构。令牌沿根据逻辑物理地址编码构成的环路 逐节点传输。环路上获得令牌的节点有权向其它节点发送消息，每个节点能够使用的网络带 宽“占用总线的时间”受到协议参数令牌持有时间的限制。615所和北航进行了 LTPB线性令 牌传递光纤网络的研究，其传输码速率是50Mbps. LTPB采用限时令牌多优先级传输协议，是 SAE （Society of Automotive Engineers）组织为90年代以后的飞机、舰船和车辆等运行 工具电子综合系统开发的局域网络标准。美国的波音777、F-15和F-22战斗机均采用了令 牌传递网络。可扩展的一致性接口 SCI于19

4、92年确定为ANSI/IEEE标准。SCI是一种宽带数据接口， 可支持底板互联、LAN互联、处理器互联、存储器互联、I/O互联。支持基于全局共享存储器 Cache 一致性、可变宽度的单向点到点电缆或光缆的通信接口协议。取代F-22上高速光纤数 据总线（HSDB）、1553B总线等旧标准，最终实现航空电子的综合（集成），以期简化电子系统 结构，提高功能和降低费用。1997年JSF公布了 2.0版“JSF”航空电子系统结构定义（JAAD），其中提出采用一个以民用标准为基础的统一的数字式航空电子系统网络。据JSF开放式系统结构综合产品小组（OSA IPT）对包括ATM、FC、千兆以太网、Myrine

5、t、SCI，SCI/RT和SE在内的9种可供选择的商 用网络，从规模可变性、开放系统支持程度、可靠性，可维护性和可支持性，性能、服务和 节点可执行性等方面分析和评审，认为可扩展的一致性接口 SCI综合指数最优，光纤通道FC 综合指数次之。可见，美国的“宝石柱”、“宝石平台”计划已经过时，我们应该跨越美国的“宝石柱”、 “宝石平台”计划，大踏步地升级换代，直接跟上国际先进水平，把航空电子系统结构建立 在先进网络的基础之上。航空电子系统结构所以有这样的发展，主要是由于微电子技术的进步。现在微电子技术 已发展到亚微米的水平，集成电路的速度和规模有了长足的进步。国外，千兆以太网，千兆收 发器件，千兆交

6、换器件已先后出现于市场.光纤传输技术也已发展成熟，有了价格合理的千兆 光收发器件.随着上述技术的进步，高速互连网络有明显的3个发展趋势：（1）通信速率千兆化 以太网的通信速率已达到千兆，万兆以太网也在研制之中。 收发器件和交换器件的通信速率已达到1-3千兆（Gbps）.（2）互连网络交换化 千兆交换器件的出现标志着互连网络已从总线网、环形网、令 牌网、进入到交换网络的新阶段。（3）传输介质光纤化 作为传输介质，光纤比电缆有显著优点，在民用领域已广泛应 用，在军用领域应用条件也已成熟。据我们所知，国内尚无基于交换机进行航空电子系统结构的研究。下面介绍一下我们要用到的美国生产的千兆新器件：（1）千

7、兆电收发器件Agilent公司的HDMP-1032/1034.发送器件的主要功能如图-1.HDMP-1032A HSOUT+TX08/16TXCLK图1发送器件它的内部有一个锁相环,可将输入时钟频率提高到10/20倍.并行输入的8/16位数 码经8B/10B编码成为10/20位数码，串行化后以10/20倍的速率（1.25Gbps）,从差 分驱动器口输出.接收器件的主要功能如图-2.HSIN+REFCLK RX08/16HDMP-1034A RXCLK图 2 接收器件它的内部也有一个锁相环，可产生频率为参考时钟RefClk的10/20倍,相位与输入信 号同步的内部时钟，用以接收1.25 Gbps

8、的输入信号；经过并行化，输出8/16位的 并行数码.同时还输出接收并行数码所需要的RXCLK时钟.MindSpeed公司的27207将发送器件和接收器件做在一片器件中，而且每片有4个 收发器，性能更为优良。千兆光收发器件Agilent公司的HFBR-5912E.主要功能如图-3.连光纤它有3个端口： 1个入口，可和HDMP-1032A直接相连;1个出口，可和HDMP-1034A 直接相连；还有1个光纤接口，可连2根光纤.1根入,1根出.发送器来的电信号转换为 光信号，由光纤发出；光纤来的光信号转换为电信号，送给接收器. 千兆电交换器件 MindSpeed 公司的 M21110 17 X 17

9、Crosspoint Switch, M21110 68X68 Crosspoint Switch , M21110 14X144 Crosspoint Switch. M21110 17X17的主要功能如图-4.其下部为17X17的交叉开关,#0#16中任意1个输入口可 以设置成与任意另外1个输出口相连.上部就是开关设置的逻辑电路.实际上,#i的 输入口和输出口都是连到#i节点机的.故可用图5表示.#先锋网简介为了便于了解本项目的研究内容，这里简单介绍一下先锋网。先锋寻径式计算机网络是 我们独创的一种新型计算机交换网，已申请国家发明专利，专利公开号：CN 1299204。可使 计算机之间通过

10、基于交叉开关的先锋寻径式交换机直接连通进行“端一端”通信。其特征在 于：用先锋寻径信令申请信道，建立信道后，消息可直接传送到目的机。交换机只须自动检 测申请和撤消信道的信令，其余的信令和数据可在接通的信道中自由通过，无需缓存，从而 简化了交换机的结构。提供了全套的先锋寻径网络通信协议。本发明可将多台交换机联成高 速群机网，具有信道灵活，通信延迟小，效率高，可靠性好，成本低等优点。根据先锋交换 机的特点，本发明没有采用目的机地址来寻径，而是采用先锋交换机的目的端口号来寻径。 例如，要与5号端口接通，以便与和5号端口相连的目的机通信，先锋寻径信令（HDR ）中 就带一个5号。当需要通信时，先向交换

11、机发送带有5号的先锋寻径信令，用于申请信道。 一旦申请成功，接通相应的交叉开关，建立信道。多个交换机级联时，可以发送多个独立的 先锋寻径依次将信道接通。建立信道后，消息可以直接传送到目的机。交换机的信道中无需 缓存来暂存消息体。先锋网以网络为中心的结构使各功能单元处于对等的地位，信息传输时 间达到同一量级，不再明显依赖于其物理位置，有利于实现分布系统。同时网络的余度通道 有利于容错和系统重构。开放性结构具有很好的随应用裁剪的能力和升级扩充能力，并能更 充分地实现系统资源共享。航空科学基金项目面向航空电子综合系统的光纤交换通信网络的成功申请我们希望把先锋网的先进技术应用到航空电子综合系统上去，就

12、申请了这个项目。去年申请 成功。返回了不少基金评审专家建议，对我们很有指导意义，给了我们很大鼓励。抄录如下:研究内容中重点对SCI通信机理进行探讨，并可作为关键技术加以突破。SCI或者FC等未必优于先锋网，未来中国航空电子系统采用何种网络协议尚需论证。建 议项目能通过适当定量分析，得到优于其它网络协议的结论。建议和航空电子系统综合专业研究所密切合作，以支持四代机航电系统综合和总体技术 的研究.在工程中信号处理和数据处理的综合可能会引入电磁兼容问题。所以航空电子结构中， 已经采用统一的航空电子数字网络，将航电诸模块中涉及射频功能的模块并入综合传感器系 统。增加人员和经费投入，以系统研究取代核心技

13、术研究，2005年完成系统原理样机研制网络适配卡100Mbps和IGbps应并行研制.航空科学基金申请书见附件。实时FC标准FC-RT的制定据说国内对航空电子综合系统的标准有FC和SCI的争论。我们认为两者虽有不同，但没 有根本矛盾。既然采用光纤传输，就得遵守FC标准。FC标准中有Fabric Topology,即交换 机拓扑。有了交换机，就很容易扩展规模，也就是易于Scalable，从而可以支持SCI标准，实 现未来航空电子系统对统一网络的性能要求。本项目研究的，以“先锋寻径交换原理”为核 心的高速光纤网具有信道灵活、通信延迟时间小等优点，既利于在低层符合FC标准，又便于 在高层符合SCI标

14、准。现在有了实现交换网所需各种千兆器件，完全有条件研制成功符合标 准的高速光纤传输交换网络，作为未来航空信息化武器装备的通信网络。关于SCI标准方面的工作，已在航空科学基金项目面向航空电子综合系统的光纤交换通 信网络申请书中介绍，请参阅。关于FC标准：考虑到美国FC标准是为适应广泛的应用范围制定的，而我们的应用对象主 要是航空电子综合系统，应强调实时性能。故制定了一个实时FC标准FC-RT(征求意见稿)， 供主管部门召集有关单位讨论时参考。请参阅附件：实时FC标准FC-RT(征求意见稿)。原FC标准中，在FC-2层规定了 5种通信协议：Primitive Sequence Protocols

15、在链路失效(Link Failure)时应用。在我们 的先锋网中有专门的信令来实现这个协议。Fabric Login Protocol我们有申请信道的“先锋信令”来实现。N-Port Login Protocol我们有相应的信令来实现。Data Transfer Protocol千兆网卡中有Flow Control功能，配合软件来实现。N-Port Logout Protocol我们有信道撤消信令来实现。千兆网卡的研制节点机之间要通信，需要通信网卡。网卡插在节点机的插槽中，再用电缆或光纤互连。我 们已开发成功了用电缆互连的网卡，其内部结构如图6.其中，发送器、接收器，上面已经介 绍。控制逻辑是

16、控制发送器、接收器的各种操作。节点机接口是按PCI总线标准设计的，用 于控制与节点机的通信。具有直接高速访问节点机内存的DMA功能，以及数据流控(FlowContro 1）功能，以保证发挥网卡IGbps的通信速率。网卡设计有自测试功能，单机可以进行 自测试。该网卡已研制成功，可以演示。这是我们首次突破千兆的通信速率，为今后研制千 兆交换机打基础。控制逻辑发送器接收器节点机接口图6千兆网卡在这个千兆网卡研制成功以后，我们发现：MindSpeed公司的M27207器件是按FC标准设 计的，有支持FC标准的功能，而且将发送器件和接收器件做在一片器件中，性能更为优良。 所以我们已经订了货，已着手采用M

17、27207,并增加光收发器，研制新的千兆网卡，如图7。图7光纤传输千兆网卡千兆光纤传输交换网方案设计根据以上的器件，我们设计了一个千兆光纤传输交换网方案，如图8.图8中，各个器件多已介绍，只有1个ALTERA FPGA器件需要介绍一下.由于各个 节点机都可能要申请信道，而交换器件M21110只有1个设置信道的输入口，所以需要一个 FPGA器件。每个节点机要申请信道，都要向FPGA申请。但是，FPGA无法接受光信号，也 无法接受超过1Gbps的高速信号，因此需要经过光收发器、电接收器，转换成较低的并行 信号，才能接受。为了避免若干节点机同时申请而产生冲突，FPGA中要有排队电路。排在 最前面的节

18、点机才能向M21110发设置信道的控制信号。这要按照M21110规定的控制协议， 必须精心设计。仅以每个端口 10条输入线，17个端口共有170条输入线。可见，这片FPGA 是规模相当大的。详细的情况还要涉及通信协议，以及各种信令、指令等。这里只能简单 介绍一下思路。由于M21110是新产品，尚未买到。一旦到货，我们将马上研制。驱动程序和MPI函数的设计驱动程序用于在底层驱动千兆网卡。我们在研制千兆网卡时，已经开发了在PC机上Linux 环境中的驱动程序，保证了千兆网卡的调试工作。设计在WINDOWS-NT或LINUX下的驱动程序 是有相当难度的。经过几代研究生的论文研究，逐步成熟，研制成功。请参阅附件：MPI函数的设计也是有相当难度的，也由研究生设计完成。余度设计方案根据现有器件提供的功能，余度设计方案可有多种。基本有3种：系统级 两套先锋网构成双余度，相当于1553B的双总线。 端口级 每两个端口当1个端口用，就是端口双余度，如图9,