（计算机应用技术专业论文）分布式以太网交换机体系结构的研究.pdf

摘要 摘要 随着计算机网络的飞速发展，网络应用需求量不断的扩大，基于t c p i p 网络 发展起来的以太网变换机成为不可缺少的通信设备，而分却式以太网交换机更是 以其高容量、高性能、可扩展性的强大优势成为核心网、骨干网上交换路由的主 要设备。 本文主要讨论了基于t c p i p 的分布式以太网交换机的体系结构。重点介绍了 分布式以太网交换机的设备管理、转发流程、转发控制流程。设备管理把各个独 立的模块有机的组合成统一的整体，是其它模块的有效运行的保证；转发主要是 数据包在交换机中进行二层交换、i p 路由和m p l s 标签交换的过程；转发控制是 系统的核心，通过各种网络协议有效的管理数据包的转发路径。 针对网络的发展前景，本文提出了作为n g n 核，t l , 的网络处理器在分布式以太 网交换机中的应用。网络处理器与现有的a s i c 芯片有机的结合，为其在现阶段的 应用找到了生存空间，同时也更加推动了语音、视频技术的应用和发展。 关键词：网络路由以太网分布式以太网交换机网络处理器 垒堡! ! 坠生! 一一 a b s t r a c t w i t ht h eh i g h s p e e dd e v e l o p m e n to fn e t w o r ka n dt h ee n l a r g e m e n to f t h ed e m a n d o fn e t w o r k sa p p l i c a t i o n ，i ti st h ee t h e r n e ts w i t c h e rt h a td e v e l o p e df r o mt h et c p i p n e t w o r kb e c o m e st h ei n d i s p e n s a b l ec o m m u n i c a t i o nd e v i c e ，a n dd i s t r i b u t e de t h e r n e t s w i t c h e re s p e c i a l l yw o r k sa st h ec e n t r a lr o u t i n gd e v i c eo nt h ec o r en e t w o r ko rb a c k b o n e n e t w o r kf o ri t sh i g h - c a p a c i t y 、h i g h p e r f o r m a n c ea n d e x p a n s i b i l i t y t h i sa r t i c l em a i n l yt a l k sa b o u tt h ea r c h i t e c t u r eo ft h ed i s t r i b u t e de t b e r n e ts w i t c h e r b a s e do nt c p i p i te m p h a t i c a i l yi n t r o d u c e sd i s t r i b u t e ds w i t c h e r sd e v i c em a n a g e m e n t 、 f o r w a r d i n gf l o wa n df o r w a r d - c o n t r o l l i n gf l o w d e v i c em a n a g e m e n ta s s e m b l e se v e r y i n d i v i d u a lh a r d w a r em o d u l ei n t oa nu n i f o r mo n e w h i c he n s u r e st h eo t h e rs o f t w a r e m o d u l e sr u n n i n ge f f e c t i v e l y ；f o r w a r d i n gi sap r o c e s si nw h i c ht h ed a t ap a c k a g ei s s w i t c h e db ym a c 、r o u t e dt h r o u 【曲i pa d d r e s sa n df o r w a r d e db ym p l sl a b e l ；t h e c o n t r o lo ff o r w a r d i n gi st h ec o r eo ft h i s s y s t e m ，w h i c he f f e c t i v e l ym a n a g e st h e f o r w a r d i n gp a t ho f t h e d a t ap a c k a g eb ye v e r yk i n d so f n e t w o r kp r o t o c 0 1 f o rt h ef u t u r eo ft h en e t w o r kd e v e l o p m e n t ，t h i sa r t i c l ed e s c r i b e st h ea p p l i c a t i o no f t h en e t p r o c e s s o r a st h ec o r eo fn g ni nt h ed i s t r i b u t e ds w i t c h e r t h e o r g a n i c c o m b i n a t i o no ft h en e tp r o c e s s o ra n dt h ee x i s t i n ga s i cc h i p s e t sp r o v i d e sal i v i n gs p a c e f o ri t s a p p l i c a t i o na tn o w a d a y ss t a g e 。a tt h es a m et i m ep r o m o t e st h ea p p l i c a t i o na n d d e v e l o p m e n t o f t h ev o i c ea n dv i d e ot e c h n o l o g y k e y w o r d ：n e t w o r k r o u t ee t h e r n e td i s t r i b u t e de t h e r n e ts w i t c h e r n e tp r o c e s s o r 声明 y 5 8 3 4 4 2 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 本人签名：舷璺同期，r 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或 部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本人签名：醴 别磁籀 叱q 闩期一p 厂 同期劣渺华，、j 7 第一章以太网交换机应h j 概述 ! 一- 一 第一章以太网交换机应用概述 1 1 以太网的发展 互联网是历史上发展最快的一种技术，从商业化到拥有5 0 0 0 万用户只用了4 年，目前全球用户已超过1 5 亿。互联网的成功经验可以总结为五点：( 1 ) 有远见的 政府不断支持；( 2 1 有风险的企业参与和投入；( 3 1 联合协作的开放式研究；( 4 ) t g 教 育和科研的示范网为起点，把最新、最前沿的技术拿到实际应用中来检验；( 5 ) 简 单实用的技术路线。 在互联网3 0 年的历史中出现的技术很多，生存下来的只有三个：t c p i p 的网 络体系结构、路由器、以太网。在八十年代与o s i 的斗争中丁c p l p 取得了胜利， 并且在未来还看不到它会终止的迹象；路由器是采用t c p i l p 实现互联网的基础， 但有段时问交换机呼声很高，a t m 也非常风行，要取代路由器，现在回过头来看， 路由器技术发展也很快，高性能、大容量的路由器已经出现，并且在实验网上大 规模使用，还有上百家公司在研究这方面的技术。在局域网上，以太网已从1 0 、 1 0 0 m 发展到今天的1 0 0 0 m ，1 0 g 也已投入研发即将问世，可见其发展道路非常 清楚，毫无衰微迹象。 以太网技术的发展即将完成了一个数量级的飞跃，新的高速以太网技术标准 使以太网技术走出了狭小的l a n 空间，完全可以承担起w a n 、m a n 等大规模和 长距离网络的建设。同时，随着m p l s 、快速自愈s t p 技术的逐渐成熟，使以太 网技术如虎添翼，可为用户提供不同q o s 的网络业务，加上以太网技术本身所具 有的组网成本低、网络扩容简单等特点，使城域以太网技术不断地受到各大运营 商的青睐。 1 2 以太网交换机的应用 在i p 技术不断发展的今天，要构建一个成功的i p 城域网络已不再是单纯的技 术问题，网络规划者往往需要在用户需求与建设成本之间寻找平衡，以确保网络 在满足未来业务承载的同时具备足够的盈利能力。 以太网交换机以其良好的丌放性、强大的交换能力、显著的成本优势成为城 域网建设的主力，在宽带城域网络的各个层面都有丰富的应用，新一f 的运营级 以太网交换机更是在控制功能及用户隔离机制上有了很大的改善，而且不同层次 的交换机丌始具备一定的协调工作能力，使得在城域网建设中以较低的投入实现 端到端的业务保障成为可能。 2 分布式以太网交换机体系结构研究 1 ，3 分布式以太网交换机的应用 随着计算机网络的飞速发展，网络应用需求量不断的扩大，基于t c p l p 网络 发展起术的分布式以太网交换机将以其自身的强大优势成为核心网、骨干网上交 换路出的主要设备。 分布式以太刚交换机具有高容量、高性能、可扩展性等特点，分布式的结构 使得管理智能化、流量均衡化，提高了管理和转发效率。首先是全面支持网络q o s ， 随着宽带应用的不断深入，i p 城域网承载的业务已从过去以窄带i n t e r n e t 业务为主 发展到今天以v o d 点播、网络游戏、视讯业务等高带宽业务为主的业务格局。随 着n g n 3 g 等新兴业务的相继投入商用，i p 城域网需要承载的业务将越来越丰富， 从市场调研的结果看，目前受欢迎的i p 业务大多是对带宽、时延要求很高的实时 性业务，要求网络能够提供端到端的q o s 保障，这些在分布式以太网交换机上都 能够得到保证。其次在功能上，高端的以太网交换机与路由器将同趋融合，高端 的交换机将支持高速的广域网接口，并能够支持广域路由协议、m p l sv p n 、丰富 於q o s 策略等。同样面向以业务为核心的吉比特交换路由器也将融合三层交换机 舱一些功能特质，可提供二层高速转发功能，在设备形态上的融合使得网络的扁 平化成为可能，分布式以太网交换机能够平滑的实现这些功能的扩展。 1 4 本文的工作 本文在分析以太网发展的基础上，介绍了分布式以太网交换机产生的必要性， 以及在n g n 网络中的进一步应用，由此可以看出分布式以太网交换机巨大的发展 前景。 结合具体的应用和功能需求，本文深入研究了分布式以太网交换机的体系结 构，并在某些功能模块提出了自己新的见解和思路，事实证明在具体的应用中起 戥了较好的效果。这些都很好的推动了分布式以太网交换机的研究发展，以及整 个以太网的发展。概括起来，本文主要有以下几方面的工作： 1 分椎式以太网交换机的硬件架构。硬件是软件生存的必要条件，也是构建 一一个系统的主要因素，本部分虽不是我工作的重点，但也对浚模块有较深 的了解，这样才能更有效的构造整体的软件架构。 2 分布式以太网交换机的软件架构。软件架构本文工作的重点。 3 分斫j 式以太网交换机的设备管理。这数据软件结构的一部分，主要完成把 各个单独的模块管理成一个统一整体的功能。 4 分布式以太网交换机的转发流程。在网络处理器中，这一部分是通过软件 来完成。 第一章以太网交换机庸崩概述 5 ，分布式以太网交换机的转发控制流程。该模块主要完成与转发相关的软硬 件管理。 6网络处理器在分布式以太网交换机中的应用。 ! 坌查壅坠奎堕銮堡垫堡蔓茎塑竺塑 一 一 第二章分布式以太网交换机总体架构 2 1 分布式以太网交换机的硬件架构 21 1 以太网交换机的硬件结构 交换机硬件是软件系统赖以生存的必要条件，更是整个系统高效、稳定运行 的基础，所以对各硬件器件的电气特性必须要有严格的要求，才能使整个系统内 部实现无缝连接。 对于普通的盒式交换机来讲，其硬件连接图如图2 1 所示： s d t a m p c i a s i c p h yp h yp h yp h y l07l 0 0 1 tp o t t d oj tp o t 幽2 1 盒式交换机的硬仆连接幽 c p u 通常是运行r i s c 指令系统的c p u ，这样更有利于满足嵌入式系统实时、 离效冉勺特点。r o m 和f l a s h 连接在g e n e r i cb u s ( g b u s ) ，r o m 中存放的是系 统引导程序，相当于p c 机的b i o s ；f l a s h 存放的是系统的主程序。s e r i a 】p o 九 是提供给用户直接配置交换机的控制端口。s d r a m 和a s l c 连接在p c t 总线上， s d r a m 是系统的主内存：a s i c ( a p p l i c a t i o ns p e c i f i ci n t e g r a t e dc i r c u i t ) 是主交换 芯片，能够实现数据包的线速转发。 21 2 分枷式以太网交换机的硬件结构 分加式以太网交换机是一个机架式的系统，主要由机架、背板、单板几部分 构成，单板又分为主控板和业务板，其中每块业务板都能实现独立的业务转发。 删i篙 s 第二章分布式以太网交换机总体架构 与盒式交换机不同的是，分布式以太网交换机每个单板上的a s i c ：占片通过 c r o s s b a r 连接在一起，能够实现数据包在高速数据通道内的跨板线速转发：每个单 板l 的c p u 可以通过c o n t r o ls w i t c h c h i p s e t ( c s c ) 进行通信，以此柬完成主控 c p u 对整个系统的管理。分市式以太网交换机的控制通道逻辑连接图如图2 2 所 示： 【士 i l 上 f 、 l i ! 一 l 来隔离出不 同的广播域，用v i d ( v l a ni d ) 束区分不同的v l a n ，数据包转发过程中判断 属于哪个v l a n 的流程图4 4 。 v l a nt a g 包括四个字节，格式如图4 _ 3 。 对- y - e t h e r n e t l l 封装的数据包，v l a nt a g 插a , m a c 地址与e l h e m e c t y p e 之蒯。 6 u 面两个字节为0 x 8 1 0 0 标识v l a n t a g 的存在；p r i o r i t y 用于二次交换时区分包的优先 级：c f i ( c a n o n i c a lf o r m a ti n d i c a t o r ) 对于不同的封装有不同的含义，不是我们研 3 4 5 6 7 第四章分布式以太网交换机的转发流程 究的重点。 1 6 b i t3 b i t1 b j l 1 2 b i t 0 x 8 1 0 0p r io r it 、c f iv i d i 幽4 3v l a nt a g 格式 v l a n t a g 分为两类，一类是优先级t a g ，v i d = 0 ，只用p r i o r i t y 标u5 包的优先 级；另一类v i d - 0 ，用于标识数据包属于哪一个v l a n 。 当一个u n t a g g e d 数据包到达交换机，首先根据端口或协议为其分配p r i o r i t v 和v i d ；如果是p r i o r i t yt a g 数据包，则取包内的p r i o r i t y ，根据端口或协议取v i d ： 否则p r i o r i t y 和v i d 都取自数据包。 幽4 4 得到包的v i d 和p r i o r i t y 流徉 m a c 地址学习是交换机与集线器的最大区别之一，通过学习m a c 地址与端 口的对应关系，避免了单播m a c 数据包在广播域内的广播。m a c 地址学习的过 程如图4 5 所示： 1 首先，检查端口的生成树状态是否为f o r w a r d i n g 或l e a r n i n g ，女( 倮不是则 根据配置把数据包送到c p u 或丢弃。 分布式以太网交换机体系结构研究 2 其次，检查数据包源m a c 是否为单播m a c ，如果不是则根据配置把数 据包送到c p u 或丢弃。 3 然后，以源m a c 和v i d 为索引查找l 2t a b l e ，如果没有匹配的表项，则 学习该m a c 。 4 如果找到匹配的表项，则进行s t a t i o nm o v e 检查，如果发生s t a t i o nm o v e 则重新进行学习。需要特别注意的是如果检测到的发生s t a t i o nm o v e 的表 项是一个静态配置的表项，则不进行重新学习。 y “一曲州1 0 0 fo r o pd n + i 踮n 6 1 0 0 r l i t o 1 3 “| 幽4 ，5 源m a c 学习流稃 交换机进行数掘包的源m a c 学习后，就会根掘包的目的m a c 转发数据包。 具体流狸如下： 1 如果数据包是b p d u 或者目的m a c 是一些预留地址 ( 0 1 ：8 0 ：c 2 ：0 0 ：0 0 ：1 0 0 t ：8 0 ：c 2 ：0 0 ：0 0 ：2 x ) ，则根据配置可以把包丢弃或送 到c p u 。 嘉一? 主 第四章分布式以太网交换机的转发流稃 2 如果包的目的m a c 是广播m a c ，则咀v i d 索引v l a nt a b l e ，在整个 v l a n 内f 。播浚数掘包，否则以目的m a c 和v i d 为索引查找l 2t a n e 。 3 如果在l 2 t a b l e 找到匹配的表项，则判断目的m a c 为单播m a c 或多播 m a c ，对于单播的情况，向指定的端口发送数据包；对于多播，* 还要 根据设置判断是进行l 2m u l t i c a s t 还是进行i pm u l t i c a s t 。 4 如果在l 2 t a b e 没育找到匹配的表项，也要判断目的m a c 为单播m a c 或多播m a c ，对于单播的m a c ，向整个v l a n 内广播数掘包；刈丁多 播，直接丢弃数据包。 j d r o p + “ 4 2 3 三层路出处理 童 ib r o a d c a s t y | u n i c a s t 幽4 6 目的m a c 奇找转发流稃 i p 路由转发与协议栈的路山转发相似，但是从数据包的转发效率考虑，并没 有把对数据包的二层封装单独分为另一个模块，而是山c p u 直接把二层信息放在 l 3t a b l e 中。下面是数据包在交换机内进行三层转发的流程： 分布式以太网交换机体系结构研究 数据包根掘d m a c + v i d 在二层表找到匹配的表项，该表项的l 3 b i t 置位 ( m a c 通常是交换机的m a c ) ，如果数据包的e t h e m e tt y p e 20 x 0 8 0 0 ， 标识数掘包是l p 包，数掘包送到i p 路由模块。 路由模块计算i p 头的校验和，如果错误则丢弃数据包。 数据包i p 头t t l = l ，把包送到c p u 。 根据数据包的目的i p 地址查找l 3t a b l e ，l 3t a b l e 其实是主机路由表，以 及与之对应的二层封装信息和出端i _ 】。如果查找失败，则查找网段路由表， 网段路由表项可以指向l 3t a b l e 表项，用于二层封装，或者标识类型为 m p l s 路由，则数据包送到m p l s 转发模块。 查找成功，i p 头t t l 减一，重新计算校验和。 改变数据包源m a c 和目的m a c 。 检查是否需要封装v l a nt a g 。 计算l 2c r c ，发送数据包。 4 。2 4m p l s 交换处理 m p l s 是一种结合二层交换和三层路由功能的交换技术，引入了基于标签的机 制，它把路由选择和数据转发分丌，由标签来规定一个分组通过网络的路径。m p l s 网络由核心部分的l s r ( l a b l es w i t c hr o u t e r ) 和边缘部分的l e r ( l a b l e e d g e r o u t e r ) 组成。l s r 的作用可以看作是a t m 交换机与传统路由器的结合，由控制 单元和交换单元组成；l e r 的作用是分析i p 包头，用于决定相应的转发策略和l s p ：l a b l es w i t c hp a t h ) 。 m p l s 包头位于m a c 头和i p 头之间，格式如图4 7 ，l a b l e 是进行交换的标 签，共2 0 b i t ；e x p 标识包的优先级，共3 b i t ；s 标识是否为栈底标签，1 b i t ，因为 m p l s v p n 需要在数据包中打入两层标签：t t l 与i p 包头的t t l 意义相同：m p l s 交换的主要操作有下面几种： p u s h ：向数据包中打入标签。 p o p ：从数据包中弹出标签。 s w a p ：标签交换。 p h p ： 在倒数第二跳时弹出标签。 幽4 7 m p l s 头格式 第四章分布式以太网交换机的转发流群 如图4 8m p l s 交换模型图，入口l e r 接收到i p 报文，完成报文分类并分配 标签，转发标签报文进入m p l s 网络；l s r 根据报文或信元所携带的标签进行标 签交换转发：出口l s r 弹出报文中的标签并进行常规i p 路由查找转发。 ，厂一一、 哲q 誊弘讲萄 、 幽4 , 8 m p l s 交换模性 转发平面完成m p l s 交换处理分为以下三部分：当交换机作为入口l e r 时， 收到i p 数据包，进行4 2 3 节介绍的路由查找过程，匹配到类型为m p l s 的网段 路由，则数据包送到m p l s 模块，根据相应的n h l f e ( n e x t h o p l a b l ef o r w a d e n t r y ) 在数据包中打入标签，转发出去。 当交换机作为l s r 时，收到m p l s 包，直接送到m p l s 模块，根据相应的 n h l f e 交换标签，转发出去。 当交换机作为出口l e r 时，收到m p l s 包，送到m p l s 模块，根据相应的 n h l f e 交换标签，弹出标签，然后把包送到路由模块进行诈常的路由转发。 4 , 2 5 流分类处理 流分类是交换机、路由器实现a c l 、p o l i c yr o u t e 以及一些q o s 功能的基础。 流分类的实现比较简单，一般都是先根据掩码取出数据包中相应的字段，与根据 该掩码定义的规则精确匹配，对于匹配的规则则执行相应的a c t i o n ，比如丢弃包 或重新标记包的优先级。这里关于流分类就不多做介绍了。 出口处理是实现q o s 一个关键环节，其处理流程如图4 , 9 。 4 2 6 1 出口流量整形 为了保证上游的交换设备保持稳定的输出带宽，避免淹没下游的交换没备或 终端j _ j 户，在出口也要完成流量整形的功能：更近一步，为了精确整形的力度， 在出口的每个队列上也增加流量整形的功能，可以指定某个优先级队列存1 1 1 | 所 占的带宽，给管理员管理网络提供了更大的自由度。流量整形功能是通过我们通 常所说的令牌桶算法实现的，比较简单，在这里就不做详细介绍了。 2 6 分布式以太网交换机体系结构研究 4 2 6 2 出口捌塞控制 当网络椭塞，队列超过一定的门限时，如果直接丢弃数据包会有一些缺点： i 5 - 爿c ，冈为发生捌塞时，后续的数掘包都会被丢弃使网络资源的看起来有定 的独占性：第二，突然丢弃大量数据包，会使t c p 的滑动窗口减小，造成全塌同 步，降低了网络的利用率。 倒4 9 j j l 5 1 处理流栏 针对以上情况，可以增大队列缓存区的利用率，允许接受定的网络突发流 量。下面我们介绍一种基于包的颜色w r e d ( w e i g h t e dr a n d o m e a r l y d i s c a r d ) 算 法。相对于r e d 算法，w r e d 把数据包分成了三种颜色：绿、黄、红，分别表示 靛据包的丢弃优先级，从而对是否丢弃该数据包控制更为精确。 w r e d 算法中有几个重要的参数： 三个队列长度：其中红色队列为到达端口缓存队列的红色包、黄色包、绿色 包数之和：黄色队列为黄色包、绿色包数之和。绿色队列为绿色包数。 丢包概率：如图4 1 0 ，纵轴表示红色包、黄色包、绿色包的丢包概率，而不 是红色队列、黄色队列、绿色队列的丢包概率。 第四章分布式以太网交换机的转发流程 望 一。 平均队列长度。该算法中队列长度用平均值来表示，而不是实际的队列长度。 计算公式为：a v g _ q _ l e n g t h = ( 】一1 ( 2 ”) ) + a v g _ q l e n g t h + 1 ( 2 “) + c u r r e n tq u e u e l e n g t h ( n 通常等于9 ) 。 p ( d r o p ) r a i n 懈m j t hm 协u n m t hr a i n t hm x 柏s l 扯 a v e r a g e q t a e u e l e n g t h 幽41 0w r e d 平均队列艮度一丢弃概率关系幽 当缓冲队列长度不断增加时，首先肯定是红色队列长度超过其最低门限，于 是队列中的红包开始以一定的概率被丢弃，当红色队列长度超过其最高门限时， 所有的红包将被丢弃。如果缓冲队列仍旧增加，那么黄包丌始逐步的被丢弃。 该算法能够接受网络的突发流量，不易带来t c p 的全局同步，同时又降低了 网络的延迟，是一种进行拥塞避免的高效算法。 4 26 3 出口队列调度 传统的b e s t e f f o r t 网络中数据包的出口发送采用的是f i f o 调度方式，这是 根本不能满足q o s 需要的：p q ( p r i o r i t yq u e u e ) 调度方式相对- ：f i f o 调度有很大 的优势，但是它也会带来一些问题，例如，当高优先级队列不为空时，低优先级 队列永远得不到响应，有时这对于低优先级用户来说是不可忍受的。 下面我们提出一一种基于p q 和w f q 的混合调度算法，即能保证对高优先缎用 户有较高的响应速度，又4 ：会饿死低优先缎用户。 在出口处，维护着一个严格优先级调度组和两个杈重公平队列调度组。社：，- r 格优先级调度组内队列按照优先级队列调度的方式进行响应；在杈重公平队列渊 度组内，队列按照权重公平队列调度的方式进行响应。而三个凋度组之问，又是 按照严格的优先级进行调度的。 用户可以任意配置队列所属的调度组，例如，用户可以把v o l p 这种实时性较 高的服务所在队列放入优先级调度组，而把e m a i l 之类的服务所在队列放入第二 分布式以太网交换机体系结构研究 个权重公平队列调度组。这样只要有v o l p 服务，就会得到响应：其次，在第一个 权重公平队列调度组内，根据事先给队列分配的权值进行轮循响应；最后，对第 二个权重公平队列调度组内的队列进行响应。 该算法结合各调度算法的优点，实时高效，能够满足各类用户的需要，适合 予人型的交换设备使用。 第五章分布式以太网交换机的转发控制 第五章分布式以太网交换机的转发控制 5 1 分布式以太网交换机的转发控制流程 数掘的转发丰要依赖于系统维护的软件表项以及软件所没置的a s i c 转发表 项，因为二层交换不需要c p u 的干预，所以对转发控制起关键作用的是f i b 表和 a r p 表。在本论文所介绍的分和式以太网交换机中，各l i n e c a r d 维护自己本地的 a r p 表：主控单元维护f i b 表。把些模块移到接口板c p u 处理，是分布式交换 机区别于集中式机架式架构的最大创新点。 如图5 1 所示，两个连接在不同的l i n ec a r d 且处于不同网段的两台的主机要 进行通信则c p u 的控制流程如下。 幽5 i 网络连接幽 第一步：a i 冲请求。p c i 请求网关的m a c 地址：交换机收到a r p 请求，将 a r p 报文发送到本地c p u ，如图5 2 所示。 s y s t e ma r p f i b m o d u l e 图5 2 交换机转发控制流稃( i ) 第二步：a r p 响应。本地c p u 直接对a r p 请求进行响应，同时添加本板 卡a s i c ：笛片的主机路山表项，并且将学习到的a r p 信息通过c s c 递交给系统的 萎 3 0 分布式以太网交换机体系结构研究 主控c p u ，由主控c p u 把a r p 信息上报f i b 模块，作为协议栈的软转发处理使 用。 s ) s t e ma r w f i b m o d u l e 幽5 3 交换机转发控制流程( 2 ) 第三步：系统a s i c 芯片表项同步。主控c p u 通知其它l i n e c a r d 设置a s i c 芯片主机路由表项。 s y s t e ma r p f i b m o d u l e 图5 4 交换机转发控制流群( 3 ) l o c a ia r p m o d u l e s v s 化ma r p f i b m o d u l c l o c a la r p m o d u l e 图5 5 交换机转发控制流程( 4 ) 第五章分布式以太网交换机的转发控制 第四步：数据报文到主控。解析到网关m a c 地址之后，p c i 开始发送数据报 文，由于此时并没有到p c 2 的主机路由，所以数据包会被a s i c 芯片送到本板c p u ， 经本板c p u 转发给系统主控c p u 。 第五步：系统主控c p u 进行a r p 请求。数据包到达主控c p u ，系统主控c p u 根据f i b 信息，发送下一跳i p 地址的a r p 请求。 s y s t e ma r p f l 【j m o d u l e 图5 6 交换机转发控制流程( 5 ) 第六步：a r p 响应。本地c p u 接收到p c 2 的a r p 响应，一方面设置本板a s i c 芯片的主机路由表项，另一方面将a r p 信息递交给主控c p u ，由主控c p u 把a r p 信息上报f i b 模块，作为协议栈的软转发处理使用。 s y s t e ma r p f i b m o d u l e 图5 7 交换机转发控制流样( 6 ) 第七步：系统a s l c 芯片表项同步。主控c p u 接收到a r p 信息后，通知其它 l i n e c a r d 设置a s i c 芯片主机路由表项。 分布式以太网交换机体系结构研究 s y s t e ma r p f i b m o d u l e 图5 8 交换机转发控制流穰( 7 ) ；g j t 步：网段路由表项同步( 可选) 。对于下一跳为该i p 地址的非直连路由， 主控c p u 还需要通知所有l i n e c a r d 更新该网段路由表项。 s y s t e ma r p f i b m o d u l e 图5 9 交换机转发控制流程( 8 ) 第九步：直接硬件转发。通过前面的过程，所有的a s i c 芯片表项都己经设置 完毕。后面的数据报文将直接幽a s i c 芯片转发，无需软件干预。 s y s t e ma r p f i b m o d u l e 图5 1 0 交换机转发控制流程( 9 ) 第五章分布式以太网交换机的转发控制 5 2a s i c 芯片的路由管理 对于= 三层交换机而言，a s i c 芯片的路由管理是系统能够进行f 常路由转发的 关键；同时该模块与i n t e r f a c e 、f i b ( f o r w a r d i n f o r m a t i o nb a s e ) 、a r p 模块结合在一 起共同完成其功能。a s l c 芯片的路由管理模块与各模块关系如下图： 幽5 11a s i c 路由管理模块芙系幽 5 2 1i n t e r f a c e 模块触发路由下发 当给交换机的e t h e r n e t 接口、t r u n k 接口、v l a n 接口配置i p 地址并激活该 接口时，就会创建一个三层接口。接着接口模块就会通知其它与路由相关的模块。 1 首先，通知f i b 模块，在f i b 表中添加三条路由：一条是l o c a lr o u t e ，标 识三层接口的地址；一条是所配置网段的c o n n e c tr o u t e ；还有一条是所配 罱网段的广播路由。 2 其次，通知主控a s i c 路由管理模块，主控a s i c 路由管理模块再通知各 板卡a s i c 路由管理模块，由各板卡a s i c 路由管理模块在a s i c 芯片网 段路由表中添加两条路由：一条是所配置网段的网段路由；另一条是所配 置网段的广播路由，下一跳都是指向本板c p u 。 当接口被删除，或发生接口d o w n 事件是，同样会触发上面几条路由在模块 中的删除。 5 2 2 路由模块触发路由下发 路由模块是整个系统路由管理的核心模块，通过各种动态的路出协议，学习 网络中的路由，并选择可靠的、最优的路由下发到a s i c 模块的路由表中，从而实 现数据包的线速转发。路由模块的路由下发管理如5 1 2 所示： 1 系统运行动态的路由协议学到的路由或配置的静态路由下发到r i b ( r o u t e i n f o r m a t i o nb a s e ) 表。 2 r i b 模块经过计算，把可靠的、最优的路由添加到f i b 表。 兰坌塑茎坠奎旦銮垫塑堡墨笪丝堕壅一 3 f i b 模块通知主控a s i c 路由管理模块，主控a s i c 路幽管理模块再通知 各板卡a s i c 路由管理模块，由各板卡a s i c 路由管理模块在a s i c 芯片 路由表中添加相应的路由。 图5 1 2 路由模块触发路由r 发流稃 522 a r p 模块触发路出下发 a r p 模块触发路由下发的过程在5 1 的转发控制流程已经简要介绍，其大致 流程如下： 1 交换机收到a r p 请求或a r p 响应报文，就会学到自己直连网段的一条主 机路由。 2 a r p 模块会通知本板卡a s i c 路由管理模块添加该主机路由。 3 a r p 模块会通知主控板a r p 模块，出主控a r p 模块通知f i b 模块在f i b 表中添加该主机路由。 4 f i b 模块再通知其它板卡a s i c 路由管理模块添加该主机路由。 5 3c p u 收发包处理流程 分布式以太网交换机主控c p u 各协议模块需要与邻接设备进行报文交互，这 榉爿能保证各协议有效的运行，完成对整个交换机的转发管理。对于分布式以太 网交换机，通常是通过设置a s i c 芯片的流分类规则，把需要的数掘包送到接口板 的c p u 接口板c p u 完成部分包分析工作，把自己不能处理的数据包通过p d p 通道送到主控c p u ，再由主控c p u 根据报文类型进行分发。 圈5 1 3 是c p u 报文收发的总体流程。一个报文从a s i c 接收到后可能经历的 若干软件模块，有的报文到了某个软件模块后有可能被浚模块消化，不再转发。 收包流程如下： 第五章分布式以太网交换机的转发控制 | p r o t o c o ls t a c k i 。i 7 j i 一 。一。：；-cj：。一 d h c p i i pu d pf o r w a r d i i s r pm p l s i l 2 v p n v r r pi g m p l s t p i n d is t r i b u ti o n 模块 j f i n t e r f a c e 模块 j ! c p u 流控模块 a si c 驱动软件 j f a s i c 收包 幽5 1 3c p u 收发包总体流样 1 首先，a s i c 收到数据包，通过d m a 把数据包放到内存中，并中断通知 c p u 。 2 c p u 收到数据包，a s i c 驱动模块负责d m a 队列管理，同时生成并填充 包描述符，包括源端口、包的长度、以及实际的报文头等信息，然后把包 描述符交给c p u 流控模块。 3 c p u 流控模块根据当前c p u 资源的利用情况确定是丢弃数据包，还是把 数据包交给上层模块继续处理。 4 i n t e r f a c e 模块收到数据包，会根据数据包的类型判断是由接口板自己来处 理还是交给主控c p u 处理。如果需要送主控c p u ，则把包描述符、数据 包进行整合，再添加上p d p 包头，通过p d p 通道发送数据包。 5 主控d i s t r i b u t i o n 模块接收接口板i n t e r f a c e 模块发送的数掘包，进行包分 析，发送到相应的模块，i p 包则被送到协 义栈处理。 发包的整体流程是收包过程的反向，就不多作介绍了。 总体上看包处理的总体流程，协议栈的转发处理是关键，其流程如图51 4 所 3 6 分布式以太网交换机体系结构研究 = = 一 5 4 1c p u 流控的应用背景 幽5 1 4 协议栈包处理流挫 5 4 c p u 流控的方案研究 在现代i p 宽带通信网络中，高性能的交换机、路出器作为网络核心层、汇聚 层的骨干设备。需要承受较高的流量，同时又要保证较高的稳定性。由此对起控 制作用的c p u 也提出了较高的要求。对于分相式以太网交换机而言+ ，除了可以采 用高性能的c p u ，还可以合理的规划各个模块的处理，把尽可能多的任务从主控 c p u 分离出来，由业务板c p u 来完成。 系统运行中，大量的协议报文需要由各个业务板交给主控板，山主控板完成 协议处理。我们把这样的报文称为“c p u 报文”，其意义是这些报文不由转发芯 片处理，需要出c p u 作软件分析。无论业务板还是主控板，c p u 资源都是有限的， 必须被合理的分配到各个任务中。如果大量的c p u 报文处理占据了几乎全部的 c p u 资源，其他任务得不到调度就会造成系统运行不j 下常，甚至崩溃。这种情况 经常发生在网络受到攻击、网络设备发生错误或者网络状态未稳定的时候。c p u 报文流量控制的任务就是在出现上述状况时将送到c p u 报文的数目控制在c p u 可 以处理的水平，保证仍有一定的c p u 资源能被其他的任务使用。c p u 报文流量控 制对提高分布式交换路由器系统的可靠性和健壮性有非常重要的作用。 第五章分布式以太网交换机的转发控制 5 4 2c p u 流控应用的理论基础 实际上，c p u 流控采用的控制论的基本思想。如图5 1 5 所示，一个控制系统 的输入r ( t ) 是一条变化的没有任何规律的随机曲线，但经过控制系统后，其输出变 为条平稳的曲线。 十扰 图5 1 5 控制系统模型 把c p u 流控系统抽象为控制论的模型，如图5 1 6 所示。其中输入r n 为各种 类型的c p u 报文的实际数量，k n 为对各种类型的c p u 报文按照处理时问进行规 格化的系数，报文数量经过规格化后转化成能够以c p u 处理时间来衡量的输入值， 通过采用先进的控制算法的调节，系统的输出c p u 利用率变的平稳，彳i 会凶 输入的c p u 报文数量过多而造成c p u 调度资源耗尽。 r 1 r 2 r n 幽5 ，1 6 c p u 流控控制幽 概括的讲c p u 流控的实现主要分为两部分：c p u 报文流量监测和c p u 报文 控制。 5 4 。3c p u 报文流量监测 c p u 报文流量监测的功能是按照单位时间实时地统计当前系统接收的各种类 型c p u 报文的数目，并根掘预先测定的各种报文的规格化系数对接收的各种报文 进行统一量化，根据门限值判断是否需要采取报文过滤手段。在