（通信与信息系统专业论文）多级多平面大容量交换系统构架分析及自测试方案设计.pdf

摘要 摘要 大规模路由交换系统是通信网络中的重要设备之一，随着通信网络业务量的 增加，交换系统的转发能力和规模也在急剧增长。为了适应这种变化，交换系统 内部的构架和控制机制不得不随之迅速地变得复杂。然而，复杂的系统构架和控 制机制在使得交换系统拥有更强大交换能力的同时，也给大规模交换系统的测试 带来了巨大的挑战，并使得很多传统的测试方法无法再完成对此类系统的测试。 本文首先对现有商用大规模交换系统的构架展开研究。具体分析了d u n e s a n d 和c i s c oc r s 1 两型主流商用系统的系统构架和基本运行方式。在对商用 系统构架进行研究的基础上，本文分析了系统复杂度的增大给交换系统的测试所 带来的挑战，及现有测试方法在测试大规模交换系统时所遇到的不足。 而后，本文提出了一种针对大规模交换系统的自测试方案。该方案可以在不 引入外部设备，不对交换机内部作出过多修改的前提下，主要依靠现有交换系统 本身的特性，完成对大规模交换系统的正确性测试，并且能够对故障发生位置做 出定位。该方案在设备出厂前检测，以及设备运行过程中的调试与修复等应用中， 都具有较大价值。 最后，本文搭建了一个o p n e t 仿真平台，用以模拟实际的大规模交换系统， 并且在此平台上，对本文所提出的测试方案进行了仿真。仿真结果证明了本文提 出方案的有效性，同时为进一步分析此方案的各种特性提供了许多有价值的统计 数据。 关键词：大规模交换系统，交换网，交换结构，交换系统构架，测试方案， a b s t r a c t h i g hp e r f o r m a n c es w i t c h i n gs y s t e mi s o n eo ft h em o s te s s e n t i a le q u i p m e n t si n c o m m u n i c a 矗o nn e t 、v o r k s w i t ht h ei n c r e a s eo fs e r v i c e ss c a l e s ，t h es y s t e ms i z ea n d f o r w a r d i n gc a p a b i l i t yo fc u r r e n ts w i t c h i n gs y s t e m sa r eg r o w i n gv e r yf a s t r 0 s u p p o r t t h er i s i n gs y s t e mp e r f o r m a n c e ，s w i t c h i n gs y s t e m sh a v et oa d o p tv e r yc o m p l i c a t e di n t r a a r c h i t e c t u r e sa n dc o n t r o n l i n gm e c h a n i s m s h o w e v e r ，t h e s ec o m p l i c a t e da r c h i t e c t u r e s a n dc o n t r o n l i n gm e c h a n i s m s ，w h i c he n a b l et h es w i t c hs y s t e m s t oa c h i e v eh i g h e r p e r f o r m a n c e s ，a l s ob r i n gs i g n i f i c a n tc h a n l l e n g e st ot h es w i t c hs y s t e mt e s t i n ga n d r e n d e r m a n yt r a d i t i o n a lt e s t i n ga p p r o a c h sn o tc a p a b l ef o rl a r g es c a l es w i t c hs y s t e m sa n y m o r e t h i sp a p e ra n a l y z e st h ea r c h i t e c t u r e so fc u r r e n tc o m e r i c a ls w i t c h i n gs y s t e m s ， p a r t i c u l a r l yt h es y s t e ma r c h i t e c h t u r e sa n df u n c t i o n i n gm e c h a n i s m so fd u n es a n d a n d c i s c oc r s 1 b a s e do nt h er e s u l t so ft h e s ea n a l y s i s e s ，t h i sp a p e ra l s od o e sr e s e a r c h e s o nt h ec h a n l l e n g e sb r o u g h ta b o u tb yi n c r e a s i n gs y s t e mc o m p l e x w h i c ht h et r a d i t i o n a l s y s t e mt e s t i n gm e t h o d sm a yf a c e a d d i t i o n a l l y ，t h i sp a p e rp r o p o s e sat e s i n ga p p r o a c hf o r h i g hc a p a c i t y r o u t i n g s y s t e m m a k i n gf u l lu s eo ft h ev a r i o u sc o n t r o lm e c h a n i s m sp r o v i d e db y t h es w i t c h s y s t e mi t s e l f , t h i sa p p r o a c hi sa b l et ot e s tt h ev a l i d i t yo fs w i t c hs y s t e ma n dl o c a t et h e f 越l u r em o d u l a r sw h i l ed on o tn e e dt om a k ed r a m a t i c a lc h a n g e st ot h es y s t e m t h i s p r o p o s e da p p r o a c hi so fi m p o r t a n tv a l u ei nl e a v e - f a c t o r y t e s t i n go fs w i t c hs y s t e m s ，a s w e l la si ns w i t c hs y s t e mm a i n t e n a n c ea n df a l u r er e c o v e r y f i n a l l y ，t h i sp a p e rr u nas e r i e so fe x p e r r i m e n t so nt h ep r o p o s e dt e s t i n ga p p r o a c ho n a no p n e tb a s ep l a t f o r m ，w h i c hi sc o n s t r u c t e dt os i m u l a t ear e a lh i g hp e r f o r m a n c e m u l t i s t a g e m u l t i p l a n es w i t c hs y s t e m s t h er e s u l t s o ft h e s ee x p e i m e n t sd e m o n s t r a t e t h a tt h ep r o p o s e dt e s t i n ga p p r o a c hi se f f e c t i v ea n de f f i c i e n t i nt h em e a nt i m e t h e s e r e s u l t sa l s op r o v i d eu se n o u g hi n f o r m a t i o nf o rt h ef u r t h e ra n a l y s i so nt h i sa p p r o a c h k e y w o r d s ：l a r g e s c a l es w i t c h i n gs y s t e m s w i t c h i n gn e t w o r k s w i t c h f a b r i c a r c h i t e c t u r eo fs w i t c hs y s t e m t e s t i n ga p p r o a c h e s 缩略语表 s a n d 飞心 f e a t m t d m f i p f o p c r s l e d m s m v o q q n r d l p s w b b p m 缩略语表 s c a l a b l ea r c h i t e c t u r ef o r可扩展的网络器件体系结构 n e t w o r k i n gd e v i c e s f a b r i ca c c e s sp r o c e s s o r交换结构访问处理器 f a b r i ce l e m e n t 交换结构单元 a s y n c h r o n o u st r a n s f e rm o d e异步传输模式 t i m e - d i v i s i o nm u l t i p l e x i n g 时分复用 f a b r i ci n p u tp r o c e s s o r ， 交换结构a d 处理器 f a b r i co u t p u tp r o c e s s o r交换结构出口控制器 c a r r i e rr o u t i n gs y s t e m运营商路由系统 l i g h t - e m i t t i n gd i o d e 发光二极管 m e m o r y - s w i t c h m e m o r y 缓存交换缓存( 结构) v i r t u a lo u t p u tq u e u e虚拟输出队列 q u e u en u m b e rr d e l a yp r i o r i t y s w i t c hb i t b i tp o r tm a p v i 队列号r ( 首部字段) 延时优先级( 首部字段) 交换比特( 首部字段) 比特端口图( 首部字段) 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明 确的说明并表示谢意。 签名： 吼母厂月星日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名：主釜丝 日期：如7 年厂月廖日 第一章概述 1 1 研究背景 第一章概述 随着现有网络规模的不断扩大，网络中的核心交换结点正承受着越来越巨大 的压力，数据业务对核心交换节点交换能力的要求，已经由原来的g b i t s s 级别逐 渐提高到几十t b i t s s 甚至是百t b i t s s 级别。由于对交换机交换容量需求的骤然增 长，原有的交换系统的构架已经越来越不能满足运营商日益巨大的要求。虽然现 在有运营商采用把多个普通性能的交换系统集中部署，并使之构成一个专门交换 网络的办法来暂时提高核心交换节点的性能，但该方案所存在的协议复杂、延时 大、系统鲁棒性差等问题决定了这样的解决办法终究只是权宜之计。由多机柜组 成的，高性能的大规模交换系统才是未来高速网络核心交换节点的最终解决方案。 随着交换系统由单机柜、单级交换结构的方式向多机柜、多级多平面交换结 构方式的发展，交换系统的构架、运行方式也都随之发生了巨大的变化。同时， 为了保证交换系统能够在结构急剧复杂化和规模化的情况下仍然能够正常的工 作，多级多平面大规模交换系统内部也引入了一系列复杂的控制机制，涉及数据 路由、流量控制、信元调度、系统容错、以及不停机检修升级等多个方面。这些 原来的交换系统所不具有，或者功能相对薄弱的控制机制的引入，保证了多级多 平面的大规模交换系统能够正常运行，并且可以长时间不间断地向外部网络提供 高性能的数据交换服务。 然而，随着交换系统构架和内部机制复杂性的增加，交换系统的测试工作也 在面临着越来越巨大的挑战。随着规模的不断扩大，大规模交换系统本身已经成 为了一个各模块之间紧密相关的大型分布式系统，任何贸然对其内部结构进行改 变的行为，都将牵一发而动全身地对整个系统产生较大的影响。因此，在交换系 统内部增加测试模块的方法已经变得越来越缺乏可操作性。而如果完全靠从输入 端输入测试数据，再从输出端进行接收分析的话，又面临交换系统内部交换结构 的级数较大，链路和交换单元数量多，连接关系复杂的问题，很容易出现测试数 据所经路径不能覆盖所有内部链路和交换单元的情况。而且，现有大规模交换系 统内部均拥有较多的冗余传输资源和良好的容错机制，使得即便是部分内部模块 出现了故障，系统仍然能够正常工作，并保证任意一对输入端和输出端之间能够 电子科技大学硕士论文 保持良好的可达性。这种容错特性进一步增大了传统的各端口间可达性测试方法 所面临的挑战。 综上所述，研究一种能够对交换系统内部进行完整的正确性测试，同时不会 对交换系统本身产生较大影响的实用化测试方案，是拥有较大的学术和工程价值 的。同时，为了满足上述的要求，这样一种测试方案还应该尽量多的使用交换系 统内部已经具有的各类控制机制，并根据大规模交换系统本身的特点进行设计， 从而达到尽可能的降低测试方案复杂性和使用开销，减少对交换系统做出的改变 或影响，提高测试性能的目的。 1 2 本文的工作 1 2 1 研究目的及主要内容 本文以设计一种简单、低开销、低实现复杂性且拥有较好测试性能的大规模 交换系统测试方案为目的展开研究。为了实现这样的研究目标，本文采取了先分 析现有交换系统的构架和控制机制，同时研究已有交换系统测试方案的原理、实 现方法、优点以及缺陷，而后根据这些分析和研究的结果进行测试方案设计的基 本思路。 在后续的章节中，本文首先对现有商用大规模交换系统的构架和内部机制展 开研究。具体分析了d u n es a n d 和c i s c oc r s 1 两种具有代表性的主流商用系统 的构架和基本运作方式。在对商用系统构架进行研究的基础上，本文系统阐述了 系统复杂度的增大给交换系统的测试所带来的挑战，以及现有测试方法在测试大 规模交换系统时所遇到的挑战。 尔后，本文提出了一种针对大规模交换系统的自测试方案。该方案可以在不 引入外部设备，不对交换机内部作出过多修改的前提下，主要依靠现有交换系统 本身的特性，完成对大规模交换系统的正确性测试，并且能够对故障发生位置做 出定位。该方案在设备出厂前检测，设备运行过程中的调试与维护等应用中，都 具有较大价值。 最后，本文搭建了一个o p n e t 仿真平台，用以模拟实际的大规模交换系统， 并且在此系统中，对本文所提出的测试方案进行了测试性能的验证。这些实验的 结果不但证明了本文提出方案的有效性，同时为进一步分析此方案的各种特性提 供了许多有价值的统计数据。 第一章概述 1 2 2 本文的结构 第一章绪论部分，首先提出研究背景，然后简单介绍交换系统的发展，以及 交换系统测试技术所面临的挑战。同时，本章对本文的主要研究内容进行了定义， 给出了本文的研究思路和研究方法。 第二章研究了高性能路由器的基本架构和原理，并对主流交换系统的实际构 架和内部机制进行了介绍和分析。其中着重介绍并分析了d u n ns a n d 和c i s c o c r s 1 两种主流交换系统产品。 第三章介绍了大规模交换系统测试的相关技术背景，并分析了现有测试算法 在测试多级多平面大规模交换系统时所存在的问题。 第四章提出了一种简单、低开销、低实现复杂性且拥有较好测试性能的大规 模交换系统的自测试方案。 第五章介绍了使用o p n e t 搭建的多级多平面交换系统的仿真模型，并描述 了在此平台上进行的实验，同时对所本文提出测试方案的性能和特性进行了定量 分析。 第六章总结了全文。 电子科技大学硕士论文 第二章主流大容量多级多平面交换系统构架介绍与分析 2 1 概述 由于拥有巨大的潜在市场，国际上各主要制造商已经纷纷展开了高性能大规 模交换机的研究，并已经推出了部分相关产品。其中，最具有代表性的是d u n e 公司的s a n d 器件系列和c i s c o 公司的c r s 1 大规模交换系统。本章的后续部分 将对这两种主流产品展开分析，并在分析过程逐步归纳出大规模交换系统的基本 组成原理和所必须内部控制机制。 2 2 基于d u n es a n d t m 的交换系统构架及其对称c l o s 交换结构简介 2 2 1 综合介绍 s a n d ( s c a l a b l ea r c h i t e c t u r ef o rn e t w o r k i n gd e v i c e s ) 是一个由d u n e 交换结构 访问处理器f a p ( f a b r i ca c c e s sp r o c e s s o r ) 以及d u n e 交换结构单元f e ( f a b f i e e l e m e n t ) 两个芯片系列所组成的芯片家族。其中，芯片系列 f a p l0 2 0 4 0 10 0 t d m a t m t 2 j 1 3 】1 4 j ( 分别为10 g b i t s s ，2 0 g b i t s s ，4 0 g b i t s s ， 1 0 0 g b i t s s ，时分复用和a t m 版本) 主要用作交换系统中线路卡( l i n ec a r d ) 的 核心控制芯片，而芯片系列f e 2 0 0 6 0 0 5 1 1 6 1 ( 分别最高支持3 1 2 5 g b i t s s 和 6 2 5 g b i t s s 串行线路速率) 主要用作交换系统中交换结构平面( f a b r i cp l a n e ) 上 的交换结构单元。在构建大规模交换系统时，使用基于f a p 芯片的线路卡和基于 f e 芯片的交换结构平面，再配以外部元件，便可以构建出单机柜或多机柜、容量 各异的交换系统。 其中，使用s a n d 构建的单机柜中小容量交换系统如图2 1 所示。图中的系 统由1 6 块各配置两片f a p 芯片的线路卡和8 块各配置两片f e 芯片( 处于f e 2 工作状态下) 的交换结构平面卡所组成，最高支持1 2 5 t b i t s s 的交换容量。而使 用这样的配置方法，最高支持由6 4 片f a p 芯片和3 2 片f e 芯片组成系统，可以 达到2 5 t b i t s s 的交换容量。基于s a n d 的单机柜中小规模交换系统由于整体均 集中在一个机柜内部，因而具有成本经济、维护方便、故障概率低、易于维护等 4 势适合于对交换系统容量要求不高的各类交换结点使用 酬2 一i 口3 2 片f a p 和1 6 片f e 构成单机柜系统最高可支持i2 5 t h i r s t s 的窖蕾 而当面对主干嘲络核心交换结点对交换系统容量的巨大要求时，使用d u n e s a n d 同样能够构建出超大容量、多机柜配置的大规模多级多平面交换系统。使 用这样的配置方式，整个系统将由多个专门用作交换结构平面的交换结构机柜和 系驯专门用于和外部网络相连的网络接口机柜构成。数十个机柜使用专门的机 柜吲通信线路连接在起，从而形成了一个分靠式的多级多平面变换系统。一个 基于s a n d 的交换系统的示意图如图2 - 2 所示。 圈。jd科翦1，0， ”f譬骰雠盱凯t ，oi甜麓糊；i _=：护鬟i骰黠肝凯。 。幽 酆，辩麟。 目ifla1j，41l 秘酬黔 ： 在个多机柜系统中，每个交换结构平圊机枷的结构如臼二- 3 所不。整个机柜 田6 4 片配置为f e l3 模式的f e 芯片和3 2 片酣置为f e 2 模式的f e 吝片组成 f e 芯片的f e l3 配胃模式是专门在多机柜方式下使用的种配置模式当工作在 该模式下时，f e 芯片+ 端通过机柜间通信线路与f a p 芯片相连，一瑞与f e 2 模 式下的f e 芯片相连，并作为一个交换结构平面机柜的入口级和出口级交换结构 进行工作。在一个满配置的交换结构平面机柜中，机柜f | i | 端是1 6 块各拥有4 片 f e 芯片f 工作于f e l3 模式下) 的交换结构平面卡，机柜尾端是1 6 块各拥有2 片f e 芯片( t 作于f e 2 模式t ) 的交换结构平面卡。整个交换结构平面机柜通 过机柜间通信线路与所有的网络接口机柜相连。一个基于s a n d 的多机柜交换系 统最多可斟支持32 个这样满配置的交换结构平面机柜。 图2 - 3 基亍s a n d 的多机柜交换系统= 交换结构平面机柜的自b 置示意图 个多机柜交换系统中的每个司络接口机柜则如图：一4 昕示。暖粪机柜的前端 为网络接口卡通过各类的网络接巴与外部网络相连接；而后端则通过机柜- 口j 通 通过机柜问通信线路连接到线卡机柜 柜 f v 第二苹主流犬容量多几多平面交换系统构架分析 信线路与系统中的每个交换结构平面机柜相连接。在系统满配置的情况下一个 基于d u n es a n d 的多机柜大容量多数多平面交换系统一共可以支持2 0 4 8 个f a p 芯片，每个f a p 芯片最大可以支持1 6 0 g b i t s s 的外部接入速率，而全系统则可以 向百t b i t s s 级别的并发流量提供高质量的交换服务。 图2 4 基于s a n d 的多机柜交换系统中网络接口机柜的配置示意图 d u n e 公司将s a n d 系列产品所使用的高度模块化、高度集成化并具有很高灵 活性的设计称之为一应用于高速异步交换的双器件解决策略( t w o d e v i c e s o l u t i o n ) ”。按照这种方式构建的基于s a n d 的交换系统具有许多优秀的功能和 特| 生包括：支持输入输出的流量管理和非阻塞交换；在不降低时延、抖动和损 耗等性能的基础上支持任何流量模式：支持基于硬件的、反应时间低于1 0 m s 的、 自恢复的交换：支持对数据包的检测、隔离和修复：可升级；支持低于1 0 0 m s 的 基于d r a m 存储的片内流量管理：单个流的队列调度同时支持不同的q o s 规则， 包括a t m 等级、i p 和m p l s 区分服务、t d m ；支持4 0 b y t e s 到1 0 kb v t e s 的变长 电子科技大学硕士论文 分组；支持循环组播和空分组播两种组播方式；c p u 界面支持与其它系统器件的 带内( i n b a n d ) 通信以完成管理功能。同时，基于s a n d 芯片家族组建的交换系 统具有良好的可升级性和可扩充性，该类系统通过增加端口数和使用新的线路卡 以增加端口速率使得其吞吐量得到升级。这些特点使得s a n d 成为一种非常优秀 的可升级交换策略。 2 2 2f e 芯片介绍 f e 芯片主要用作交换系统中交换结构平面上的交换结构单元。在交换系统 中，每个这样的交换结构单元都是一个自路由的交换器件。f e 芯片的内部功能模 块结构如图2 5 所示。每个f e 芯片中集成了6 4 个全双工链路，f e 2 0 0 的每一条 链路的链路速率是3 1 2 5 g b i t s s 而f e 6 0 0 的每一条链路的链路速率时6 2 5 g b i t s s 。 作为组成交换系统中交换结构的基本单元，f e 芯片在系统中主要完成6 4 条双工 链路中信元的路由和交换工作。 一 ! 烹， o s e r d e s 集成串行解串模块( 接收) 外 部 处 理 器 接 口 一l ! - 媒质访问控制模块( 发送) 1“_“-_。_-_。一 。!：。一 。一s e r d e s 集成串行解串模块( 发送) ， 12 8 4 图2 5f e 芯片的内部功能模块结构图 为了能够灵活地实现单机柜和多机柜等不同的配置方式，f e 芯片可以被设置 8 第二章主流大容量多几多平面交换系统构架分析 为工作在f e 2 或者f e l 3 两种不同的模式下。工作于f e 2 模式下的时候，f e 芯片 两边应同时连接f a p 芯片或同时连接工作于f e l 3 模式下的f e 芯片。当使用f e 2 模式下的f e 芯片和f a p 芯片构建单机柜交换系统时( 图2 1 所示情况) ，f a p 芯 片和f e 芯片的连接方式如图2 - 6 所示。系统构建时，先需要把f a p 芯片和f e 芯 片分别编号。然后将每片f a p 芯片的每个端口与和此端口编号相同的f e 芯片相 连，连接时须连到f e 芯片上与该f a p 芯片编号相同的端口上。图2 - 6 中所绘制 的是满配置情况下( 由6 4 片f a p 芯片和3 2 片f e 芯片构成) 单机柜模式的芯片 连接示意图。 图2 - 6 单机柜交换系统方案满配置下的芯片连接示意图 而当构建多机柜结构的多级多平面大容量交换系统时，需要使用f e l 2 配置 的f e 芯片和f e 2 配置的f e 芯片共同构建交换系统中的交换结构平面机柜( 图 2 3 中所示机柜) ，其连接示意图如图2 7 右部每个表示交换结构平面的方框所示。 而每个交换结构平面机柜( 全系统最大支持3 2 个) 则通过机柜间通信线路与网络 9 电子科技大学硕士论文 接口机柜( 图2 4 中所示机柜) 相连，整个系统( 图2 2 中所示系统) 的连接示 意图则如图2 7 所示。 图2 7 多机柜交换系统方案满配置下的芯片连接示意图 27 2 3f a p 芯片介绍 l o 第二章主流大容量多几多平面交换系统构架分析 2 2 3 1f a p 的顶层结构 f a p 芯片主要用作交换系统中线路卡的核心控制芯片。d u n e 的f a p 芯片系 列包含多种不同型号的芯片。这些芯片虽然在传输速率、调度模式、网络端口的 种类和数量等方面各不相同，但都使用了相同的模块结构，并在交换系统中完成 相同的功能。 一块f a p 芯片，主要由交换结构入口处理器f i p ( f a b r i ci n p u tp r o c e s s o r ) ， 交换结构出口控制器f o p ( f a b r i co u t p u tp r o c e s s o r ) 、调度器、网络处理器接口和 交换结构接口组成，如图2 8 所示。 图2 - 8f a p 芯片顶级模块图 f a p 通过网络处理器接口与一个或几个线路卡网络接口的网络处理器n p ( n e t w o r kp r o c e s s o r s ) 相连，接收变长的数据包。一块标准的f a p 最多能支持 6 4 个物理或逻辑端口网络处理器接口对接收到的分组进行初步处理后将其传送 给交换结构入口处理器f i p 。f i p 主要完成对分组的存储、分割、管理和调度功能。 在进行调度的过程中，基于d u n es a n d 的交换系统使用一种基于请求和信令的 电子科技大学硕士论文 调度方式( 示意图如图2 - 9 所示) 。f i p 根据自己收到的待发数据分组，通过交换 结构接口经由交换结构向这些待发数据的目的端口所连接的f a p 发送请求信息， 然后再根据从这些f a p 所反馈回来的信令将待发数据经过交换结构接口进行发 送。而交换结构接口除承担向交换结构发送数据信元和请求信息的任务外，还负 责从交换结构接收以此f a p 所连接的线路卡端口为目的的数据信元和请求信息， 并完成将收到的信元传送给交换结构出口处理器f o p 进行处理的工作。 f o p 则主要负责对接收的信元进行重组，排队，调度并进行输出流量的管理。 同时，在基于d u n es a n d 的交换系统中，f o p 还要负责可达信息和调度信息的 收集与维护，这些信息将被分别送往f a p 的调度器和f i p 以作为它们进行调度的 依据。更为重要的是，基于d u n es a n d 的交换系统所使用的调度机制的核心， 即调度信令是由f o p 产生，并根据其所收到的其它f i p 发送来的请求信息进行分 发的。这些信令首先被传送给本f a p 的f i p ，然后由本f a p 的f i p 经由交换结构 送往那些发送了请求信息的f i p 所属的f a p 。而这些f a p 中的f o p 会收集这些 信令并与可达信息和其它调度信息一起传送给f i p 作为其发送数据的依据之用。 f a p l 数据 f i p ； 裂借交换结构 卜、 队列管理器 。- 令牌 f o p 转至i j f i p | r 令 ! 型 f a p 2 ! 牌 ：篡 mf 嚣 信 思 令 牌l 令牌l f f ：p 删鬻艚茵输出调度器一发生 聊f 喾 ：数据_ 。数据 图2 - 9f a p l 向f a p 2 发送数据过程中的调度信息交互示意图 1 2 第二章主流大容量多几多平面交换系统构架分析 2 2 3 2f i p 模块简介 f i p 是f a p 设备的入口部分，它从用户那里接收分组，将分组排队后送入交 换结构。f i p 主要包括输入端队列( i n g r e s sq u e u e ) ，标签处理器( l a b e lp r o c e s s o r ) ， 入口流量管理器( i n g r e s st r a f f i cm a n a g e r ) ，信元发送模块( f a b r i cc e l lt r a n s m i t t e r ) 和路由处模块。其内部逻辑图如图2 1 0 所示。 来自网络处理器接口 去往交换结构 图2 1 0f i p 的内部逻辑模块示意图 从网络处理器接口进入f i p 的入口流量最初缓存到输入端队列，接下来由标 签处理器将分组首部修改后把分组从输入端队列中取出，然后送往入口流量管理 器，分组在入口流量管理器中被存储在外部d r a m 中。入口流量管理器将会根据 存储在外部d r a m 中的分组的队列状态产生队列状态消息，然后通过交换结构将 其送到各分组目的端的f a p 。 入口流量管理器收到目的f a p 根据自己发送的队列状态消息分配的令牌后， 便按照令牌提供的调度信息从d r a m 中读取可以发送的数据。一旦数据分组被读 出后，这些分组便被分割为信元，之后，信元被送到信元发送模块。数据信元将 电子科技大学硕士论文 依照路由处理器中的路由信息( d i s t r i b u t i o nt a b l e ) 被发送到路由信息所指示的交 换结构平面，并交由此平面转发到对应的目的端f a p 。 2 2 3 3f o p 模块简介 f o p 则主要负责对接收的信元进行重组，排队，调度并进行输出流量的管理。 同时，f o p 还负责根据f i p 发送来的状态信息，通过发送控制信元对发送端的分 组发送进行调度。一个f o p 的功能模块图如图2 1 1 所示。 其中，信元接收模块的主要功能是从交换结构接收发送到本f a p 的信元。f o p 收到的信元主要包括两大类：控制信元( c o n t r o lc e l l s ) 和数据信元( d a t ac e l l s ) 。其 中，控制信元主要包括：令牌，可达性信元( r e a c h a b i l i t y ) ，流量状态信元 ( f l o w s t a t u s ) ，源路由信元( s o u r c e r o u t e d ) 和c p u 控制信元。 送住f i p 标签处 去往网络处理器管j 送往 c p 0 的 分组 送往 c p 乙刍0 售元 图2 1 1f o p 的内部逻辑模块不惹图 如图2 1 1 所示，信元接收模块将对所收到的不同信元进行不同的处理。其中， 可达性信元和令牌将被送往本f a p 中的f i p 。可达性信元中所记录的信息将被f i p 用于维护其路由控制模块中的路由信息。而令牌是由其它f a p 根据本f a p 中f i p 发送的队列状态信息反馈而来的，这些令牌将被作为本f a p 的f i p 发送数据时的 依据使用。另外，流量状态信元将被送往f a p 中的调度器，而c p u 控制信元将 被转送给c p u 。 同样在整个交换系统中起到非常重要作用的是源路由信元。普通信元的整个 1 4 第二二章主流人容量多几多平面交换系统构架分析 选路过程是由两部分构成的，首先是f i p 根据自己的掌握的可达性信息，并遵循 把流量尽量均衡地分配到各个交换结构平面的原则，将信元发送到一个交换结构 平面( 有关d u n es a n d 系统的设计思路和流量平均分配至各交换结构平面的原 则将在本文2 2 5 节中予以介绍) 。其次，是该交换结构平面根据信元的目的f a p ， 并参照自己所掌握的流量和路由信息，将信元转发到目的f a p 。而源路由信元的 则采用了一种完全不同的路由方式。源路由信元在发送之前，就已经由源端f a p 将其所需要经过的全部路径信息依次填写到了信元之中。在交换的过程中，源路 由信元将严格依据在源端f a p 所确定的路径进行转发。由于源路由信元所经过转 发路径的高度可控性，使其在交换系统的运行与控制过程中起到了不可替代的作 用。源路由控制信元在被收到后，也将转送给c p u 进行处理。 数据信元同样被分为源路由数据信元和目的路由数据信元两种。源路由的数 据信元会与源路由的控制信元一样被送往c p u 进行处理。而目的路由的信元则将 被送往输出流量管理器，并在那罩被重组为分组。 输出流量管理器的主要作用是将接收到的数据结构信元重组为分组，然后将 这些分组存储在队列中。该管理器会把以下几种类型的信元重组为分组：单播数 据信元，组播数据信元，循环信元。f o p 的3 m b 内部存储器被动态分为1 2 8 个队 列进行管理。每一个f a p 端口与两个出口队列相关联。所以每个f a p 最大可以 支持6 4 个通向外部网络的网络接口。 除普通的数据信元外，由于交换系统对t d m 业务的支持，输出流量管理器 同时会对t d m 分组进行处理。t d m 分组在内部存储器中拥有独立的队列，每个 t d m 端口都会对应一个输出队列。由于t d m 分组的大小为4 0 b ，不会被拆分， 所以也不需要进行重组。输出流量管理器将每个4 0 b 的t d m 分组去掉首部后， 转换为3 2 b 的t d m 分组，并对其进行出队操作。相对于不同数据信元，t d m 分 组拥有绝对的优先级。 2 2 4 基于d u n es a n d 所构建交换系统的逻辑展开分析 可见，在f a p 的各个模块之中，f i p 和f o p 作为交换系统中数据流的起点和 终点，发挥着较为独立且相当重要的作用。事实上，当对大规模交换系统的数据 分组调度、控制信息流动、拓扑以及流量模型、时延特性等进行分析时，通常会 把f i p 和f o p 作为两个独立的模块进行考虑。另外，为了分析的方便，同时还要 将交换系统内部的每条双工链路用两条独立的单工链路进行表示。这样，图2 - 6 电子科技大学硕士论文 中所示的单机柜交换系统方案将被表示为如图2 1 2 所示的状态。当将单机柜交换 系统的设计方案展开后，可以很容易的发现，基于d u n es a n d 的单机柜交换系 统使用的是三级c l o s 交换结构7 1 ，其中所有的通信链路均是从f i p 方通往f o p 方 的单工通信链路。 图2 1 2 基于d u n es a n d 构建的单机柜交换系统的逻辑展开示意图 图2 1 3 基于d u n es a n d 构建的多机柜交换系统的逻辑展开示意图 同样，按照相同的方式将图2 7 中所示的多机柜交换系统进行逻辑展开，将 得到如图2 1 3 所示的展开示意图。容易看出，基于d u n es a n d 的多机柜多级多 平面交换系统，实质上使用的是5 级的c l o s 交换网络。 1 6 第二章主流大容晕多几多平面交换系统构架分析 2 2 5d u n es a n d 系统的构成思路及其基本原理分析 当前流行的交换系统，一般都采用传统的m s m ( m e m o r y s w i t c h m e m o r y ) 结 构，即所谓的缓存交换结构缓存结构。基于这种结构构建的交换系统，一般拥 有如图2 1 4 所示的基本结构。这样的结构由于输入输出端都有缓存存在，使得系 统对于交换结构阻塞特型的要求较低，同时对调度算法的要求也较低就可以实现 理论上无分组丢失的正常存储转发。但是，由于两个缓存的存在，使得要设计一 个在时延特型上达到较高要求的调度算法变得非常困难。同时，由于结构和调度 过程的复杂，使得要在理论上对系统进行性能分析也变得非常复杂，以至于难于 在理论上对系统性能，尤其是时间特性和缓存使用量的上下限进行描述。这对系 统的改进和新系统的研发非常不利。 交换结构 图2 1 4 基丁缓存交换结构缓存结构设计的交换系统所拥有的基本结构 在大容量交换系统中，系统复杂性和系统中各组件的处理速度相较于传统的 交换系统大幅提高。这就对系统的调度算法设计，以及系统组建时所进行理论分 析的精度提出了很高的要求。因而，能够突破传统的m s m 结构，提出新的，在 设计难度、工作性能和分析难度上都有较大改善的新交换系统结构，是构建大规 模交换系统的必要前提。 而d u n e 的s a n d 系统，是依据c l o s 结构在无阻塞特型方面的特点，结合分 组交换的特点所设计的。众所周知，在电路交换系统中，交换结构的阻塞特性是 1 7 电子科技大学硕士论文 分析研究交换结构时所需要考虑的重要特征。而三级c l o s 结构在电路交换中的阻 塞特性【8 9 】为，若将c l o s 结构表示为所有输入输出链路和所有的内部链路均等效 的形式，并设每个输入交换结构上的入口链路数量为栉，中间级交换单元的数量 为，则c l o s 结构严格无阻塞的条件为，耋2 n 1 ，而可重排无阻塞的条件为z 耋n 。 事实上，当把c l o s 交换结构应用于分组交换系统时，有关阻塞特性的定义仍 然是存在的。若对个基于c l o s 结构的分组交换系统而言，只要对每一个输出端 口，各输入端口需交换到该输出端口的流量总和不大于这个输出端口的总速率， 交换系统内部就不会发生拥塞，则称这个交换系统是无阻塞的。而华盛顿大学的 特纳( t u r n e r ) 教授以及后续的研究者们【l o 】【1 l 】【1 2 1 又进一步证明了，如果在基于三 级c l o s 结构的交换系统中，能够在第一级到第二级的数据传输过程中实现理想的 流量均衡，则基于三级c l o s 的分组交换系统就能够以电路交换中可重排无阻塞的 条件拥有无阻塞特性。而对于5 级c l o s 交换网络而言，若能够在第一、二级之间 和第二、三级之间实现理想的流量均衡，则只要中间的三级c l o s ，和将中间三级 整体看作一级后形成的外部三级c l o s 均满足可重排无阻塞条件，5 级c l o s 交换网 络也能够具有无阻塞特性。 而d u n es a n d 系统在设计时，对上述成熟理论进行了逆向的思考，即：使 用优化算法对第一、二级交换结构( 5 级c l o s 的第一、二，第二、三级) 之间实 现接近理想的流量均衡，并且应用调度算法保证到每一个输出端口的速率总合均 不超过该输出端口的最大速率，则可以使用电路交换中c l o s 可重排无阻塞的条 件，或者稍大于此条件的z 值在分组交换系统中实现接近不发生阻塞的分组交换。 为了保证到每一个输出端口的速率总合均不超过该输出端口的最大速率， d u n e 使用了如前文所述的基于输入端状态信息反馈和输出端令牌调度的系统调 度方式。当输入端收到来自外部网络的数据后，不会立即发送，而是通过状态信 息将这一情况通知数据欲到达的输出端。而输出端将根据收到的所有的状态信息 通告来进行出口带宽的分配，而这样的分配正式由分发令牌的方式完成的。每个 令牌表示收到它的输入端可以向产生此令牌的输出端发送一定长度的数据，而输 出端则可以通过控制单位时间内分发出的令牌的总数来保证以其为目的的流量总 合不会超过自己的出口带宽。 使用了这样的设计之后，在交换系统组成上发生的最明显变化是，当系统基 于d u n es a n d 构建时，对于输出端缓存的需求将大大小于基于传统模式构建的 交换系统。因此，d u n e 把基于自己产品构建的交换系统称为无输出缓存结构，并 且多次在自己的技术