（计算机科学与技术专业论文）集群路由器支撑验证平台的研究与实现.pdf

国防科技大学研究生院学位论文 摘要 新一代互联网络在高性能、高可扩展性、高可用性和易部署性等方面提出了 更高的要求，使得路由器结构越来越复杂。为了适应新一代互联网络的发展要求， 路由器的体系结构发生了巨大变化，由传统的单机式路由器逐渐向集群式路由器 发展。本文将研究集群路由器的体系结构及其支撑平台的关键技术。 在分析路由器体系结构的发展的基础上，本文提出了一种通用集群路由器体 系结构模型，并由此提出了两种控制模型( 集中控制和分布控制) 和两种转发模 型( 对等转发与非对等转发) 的基本结构。为了开展分布并行路由协议研究，本 文根据前面的两种控制模型设计一种对等转发体系结构的集群路由器一一 n e w r o u t e r ，通过设计和实现它的支撑验证平台，重点解决了集群路由器的两个关 键技术：单一视图和控制访问点动态迁移。本文详细介绍了n e w r o u t e r 支撑验证 平台的实现结构和技术细节，采用全局接口虚拟映射和分层编码技术，实现了集 群路由器多节点的单一视图和分层内部报文重定向；采用基于控制策略表的控制 报文重定向技术，实现了集群路由器控制访问点的动态迁移支持。 我们把基于z e b r a 的b g p 控制软件与n e w r o u t e r 支撑验证平台集成在一起， 构建出一个集中控制的软件集群路由器原型。还把一种分布并行b g p 原型系统与 n e w r o u t e r 支撑验证平台集成在一起，实现了一个分布控制的软件集群路由器原 型。最后对上述两个软件集群路由器原型进行了功能和性能测试，并与单机软件 路由器和多路由器组成的子网环境进行性能对比测试。结果表明n e w r o u t e r 支撑 验证平台对集群路由器的体系结构设计和实现具有一定的参考价值，同时 n e w r o u t e r 还可以作为集群路由器基础平台开展其它集群路由器相关技术研究。 主题词：集群路由器，软件路由器，虚拟接口映射，分布并行路由协议 第i 页 国防科技大学研究生院学位论文 a b s t r a c t n e wg e n e r a t i o ni n t e m e tr e q u i r e st h ef u t u r er o u t e r s 谢t 1 1p e r f o r m a n c e ，s c a l a b i l i t y ， a v a i l a b i l i t ya n de x p a n s i b i l i t y ，w h i c hm a k e st h er o u t e ra r c h i t e c t u r em o r ec o m p l e x i n o r d e rt oa d a p tt ot h er e q u i r e m e n t so fn e w g e n e r a t i o ni n t e m e t ，t h er o u t e ra r c h i t e c t u r eh a s c h a n g e de n o r m o u s l y ，d e v e l o p i n gf r o mt h et r a d i t i o n a ls i n g l e r o u t e rt ot h ec l u s t e r r o u t e r t h i st h e s i s w i l lr e s e a r c ho nt h ea r c h i t e c t u r eo ft h ec l u s t e rr o u t e ra n dt h ek e y t e c h n o l o g i e so fi t sp l a t f o r m o nt h eb a s i so fa n a l y z i n gt h ed e v e l o p m e n to ft h er o u t e ra r c h i t e c t u r e ，t h i st h e s i s g i v e sau n i v e r s a lc l u s t e rr o u t e ra r c h i t e c t u r em o d e l ( u c r a m ) ，a n db a s i ca r c h i t e c t u r e s o ft w oc o n t r o lm o d e l s ( c e n t r a l i z e dc o n t r o la n dd i s t r i b u t e dc o n t r 0 1 ) a n dt w of o r w a r d m o d e l s ( e q u a lf o r w a r da n du n e q u a lf o r w a r d ) i no r d e rt or e s e a r c ho nt h ed i s t r i b u t e d p a r a l l e lr o u t i n gp r o t o c o l ，t h i st h e s i sh a si n t r o d u c e da ne q u a lf o r w a r da r c h i t e c t u r ec l u s t e r r o u t e r - n e w r o u t e r ，b a s e do nt h et w oc o n t r o lm o d e l sb e f o r e t oi m p l e m e n t i t s p l a t f o r m ，w eh a v es o l v e dt w ok e yp r o b l e m so ft h ec l u s t e rr o u t e r ：s i n g l ev i e w ，d y n a m i c t r a n s f e ro ft h ec o n t r o la c c e s sp o i n t t h i st h e s i sh a si n t r o d u c e dt h ei m p l e m e n t a t i o n f r a m e w o r ka n dt e c h n o l o g yd e t a i l so fn e w r o u t e r sp l a t f o r m u s i n gt h et e c h n i q u eo f i n t e r f a c e sv i r t u a lg l o b a lm a p p i n ga n dh i e r a r c h yc o d i n g ，w ea c h i e v et h es i n g l ev i e wo f m u l t i - n o d e sa n dt h ei n n e rp a c k e t sr e d i r e c t i n g u s i n gt h ec o n t r o lp a c k e t sr e d i r e c t i n g t e c h n i q u eb a s e do nc o n t r o ls t r a t e g yt a b l e ，w ea c h i e v et h ed y n a m i ct r a n s f e ro ft h ec o n t r o l a c c e s sp o i n t w eh a v ei n t e g r a t e dn e w r o u t e r sp l a t f o r mw i t ht h eb g p r o u t i n gp r o t o c o lb a s e do n z e b r a ，i m p l e m e n t i n gap r o t o t y p es y s t e mo fc e n t r a l i z e dc o n t r o lc l u s t e rr o u t e r ，a n d i n t e g r a t e dn e w r o u t e r sp l a t f o r mw i t ht h ed i s t r i b u t e dp a r a l l e lb g pr o u t i n gp r o t o c o l ， i m p l e m e n t i n gap r o t o t y p es y s t e mo fd i s t r i b u t e dc o n t r o lc l u s t e rr o u t e r a tl a s t ，w eh a v e t e s t e dt h e s et w op r o t o t y p es y s t e mo nf u n c t i o na n dp e r f o r m a n c e ，a n dc o m p a r e dw i t h s i n g l es o f t w a r er o u t e ra n dt h es u b n e tw i t hs o m er o u t e r si np e r f o r m a n c et e s t i n g t h e r e s u l th a si n d i c a t e dt h a tn e w r o u t e r sp l a t f o r mh a ss o m er e f e r e n c ev a l u ef o rt h ed e s i g n a n di m p l e m e n t a t i o no ft h ec l u s t e rr o u t e ra r c h i t e c t u r e ，a n dc a nb eu s e da sap l a t f o r mt o c a r r yo u to t h e rt e c h n o l o g yr e s e a r c ho nc l u s t e rr o u t e r s k e yw o r d s ：c l u s t e rr o u t e r ，s o f t w a r er o u t e r ，v i r t u a li n t e r f a c e sm a p p i n g ， d i s t r i b u t e dp a r a l l e lr o u t i n gp r o t o c o l 第i i 页 国防科技大学研究生院学位论文 表目录 表4 1 控制策略表的操作函数4 3 表4 2 虚拟网络接口实现的函数表4 3 表4 3i o c t l 请求表4 4 表5 1 功能测试结果5 4 表5 2 转发性能对比测试结果5 6 表5 3c p u 利用率测试数据5 8 表5 4 内存使用率测试数据5 8 第1 l i 页 国防科技大学研究生院学位论文 图目录 图1 1 集群路由器软件系统的分布式特征5 图2 1 路由器体系结构的发展7 图2 2 集群路由器示意图9 图2 3 目前商用集群路由器平台的体系结构1 2 图3 1 通用集群路由器体系结构模型2 0 图3 2 集中控制集群路由器结构2 1 图3 3 分布控制集群路由器结构2 l 图3 4 对等转发功能集群路由器体系结构2 2 图3 6 集中控制式n e w r o u t e r 总体结构图2 4 图3 7 分布控制式n e w r o u t e r 总体结构图2 4 图3 8 交换节点结构设计图2 5 图3 9n e w r o u t e r 支撑验证平台总体结构图2 6 图3 1 0n e w r o u t e r 节点网络接口设计图2 7 图3 1 1n e w r o u t e r 的网络接口全局统一编码2 8 图3 1 2n e w r o u t e r 支撑验证平台的节点结构设计2 9 图3 1 3n e w r o u t e r 工作流程图1 3 2 图3 1 4n e w r o u t e r 工作流程图2 3 3 图3 1 5n e w r o u t e r 工作流程图3 3 4 图3 1 6n e w r o u t e r 工作流程图4 3 5 图4 1f r e e b s d7 0 协议栈结构图3 7 图4 2 发送i p 报文流程图3 8 图4 3 接收i p 报文流程图3 9 图4 4n e w r o u t e r 物理组成图。3 9 图4 5n e w r o u t e r 支撑验证平台的节点结构总体实现图4 0 图4 6 支撑验证平台的节点结构实现的模块划分图4 1 图4 7 报文重定向模块实现流程图4 5 图4 8i p 报文接收处理模块实现流程图4 7 图4 9 集成分布并行b g p 路由协议的n e w r o u t e r 4 7 图4 1 0 分布并行b g p 处理模型4 8 图5 1n e w r o u t e r 支撑验证平台的测试环境l 51 图5 2 控制访问点迁移功能测试环境图5 2 图5 3 分布控制式n e w r o u t e r 测试环境图5 2 第1 v 页 国防科技大学研究生院学位论文 图5 4n e w r o u t e r 交换节点网络接口信息5 3 图5 5 单机软件路由器路由学习测试结果图一5 5 图5 6n e w r o u t e r 路由学习测试结果图5 5 图5 7n e w r o u t e r 可扩展性对比测试图5 7 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的 研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机 构的学位或证书而使用过的材料与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意 学位论文题目：篡登整由墨玄拦验适垩垒的盈究生塞狃 学位论文作者签名：鏊亟日期：初咕年1 2 月，7 日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档， 允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书) 学位论文题目：篡叠整由墨袁撵验适圣佥的盈窀曼塞趣 学位论文作者签名： 作者指导教师签名： 券硬 多彩 日期：2 0 n 8 年i z 月，7 日 日期： 咿o6 年f 1 月i ) 日 国防科技大学研究生院学位论文 第一章绪论弟一早珀y 匕 i n t e m e t 发展初期只是一个简单的实验性网络，经过短短几十年的飞速发展， 已经演变成了一个全球性的巨大的信息网络。近年来，随着超高速光通信技术、 无线通信技术等通信技术的进步，以及网格计算、网上购物等越来越多的新型互 联网应用的推动，互联网必将在未来产生新的飞跃，向以“更大、更快、更及时、 更方便、更安全、更可管理和更有效 为标志的新一代互联网发展。 然而，通信技术的不断进步和新型网络应用的不断涌现，对在互联网中起着 重要作用的路由设备提出了更高的要求，但是目前由于路由器软件系统功能的复 杂化、路由协议需要存储和计算的路由信息数量的快速增长，传统的单机路由器 由于自身控制平面计算能力不足，存储空间受限，已经不能满足互联网发展的需 求。 1 1 1 新一代互联网发展需求 1 1 绪论 目前互联网发展现状：互联网规模不断扩大，流量不断增长，网络服务不断 增加，使得网络控制和管理变得越来越复杂；黑客攻击，木马病毒等层出不穷， 使得互联网的安全问题日益突出。 另一方面，由于传输技术的迅猛发展，互联网的传输速度越来越高，要求网 络设备处理能力不断提高；路由协议需要存储和计算的路由信息数量快速增长， 对路由设备硬件处理和存储能力的要求越来越高；新型网络协议不断涌现，要求 网络设备不断更新以支持新的网络协议；越来越多的网络服务的应用和普及，对 网络设备的安全性、可靠性与鲁棒性要求越来越高。 面对传统互联网的问题以及互联网快速发展的需求，许多国家和组织相继启 动了一系列针对新一代互联网的重大研究计划与项目，例如美国的g e n i 1j ， f i n d 2 1 ，i t u 的n g n l 3 1 ，欧盟的g e a n t 4 j ，g e a n t 2 5 1 ，n g n i 6 】和亚太的a p a n 7 】 等。与此同时，许多学者与研究机构也对新一代互联网体系结构特点及应用展开 了研究吼【9 1 。相关研列7 1 ，【8 】，【9 1 表明高可扩展性是新一代互联网体系结构的一个重 要特点，而且这种可扩展性是一种多维可扩展性，即新一代互联网要在规模、功 能、性能、安全和服务等多个维度上具有良好的可扩展特性【l 们，以更好地适应未 来互联网发展的需要。 新一代互联网的基本特征是“更大、更快、更及时、更方便、更安全、更可 管理”。“更大”是指新一代互联网将采用i p v 6 作为网络层协议，从而解决目前 第1 页 国防科技大学研究生院学位论文 互联网i p v 4 地址缺乏的问题，有利于新一代互联网舰模的不断扩大。“更快”是 指新一代互联网传输速度会更高。“更及时 是指新一代互联网能够支持组播和 面向服务质量( q o s ) 的传输控制等功能，可以更及时的为用户提供实时多媒体应 用。“更方便”是指新一代互联网能够支持更加方便高速的接入方式，例如无线 网络接入和手机上网等。“更安全 是指新一代互联网必须提供可信任的网络服 务，保证用户系统使用网络的安全和用户信息的安全等。“更可管理”是指新一 代互联网能够提供更方便灵活的管理手段，对网络运行的各个方面实施全面高效 的控制和管理，例如远程管理等。 然而新一代互联网体系结构理论研究存在着以下关键问题：互联网体系结构 的多维可扩展性问题；网络动态行为及其可控性问题；脆弱复杂系统的可信性问 题；稳定网络体系结构的服务多样性问题。这些问题己成为制约互联网发展的重 要障碍，研究和解决这些关键的理论问题，可以为新一代互联网体系结构的发展 和广泛的应用奠定理论基础。 在计算机网络中，路由器是重要的网络设备，在网络通信中主要完成路由选 择和报文转发的任务，随着网络应用的不断发展，路由器还要完成一些控制和管 理的功能，因此路由器在互联网体系结构中具有重要的地位，是影响互联网的速 度、性能、规模等指标的重要因素，对路由器的体系结构进行研究具有重要意义。 传统路由器工作在网络层，是互联网的核心设备，也是很多网络技术的载体。 在路由器技术发展中，路由器的性能与功能是它发展的两大目标，一方面，网络 带宽和规模的迅速增长，传输速度的不断提高，促使路由器在性能和容量上不断 提升；另一方面，网络应用的多样化和网络服务快速发展的需求又要求路由器具 有更多的功能，以及更强的服务提供能力。 在新一代互联网中，路由器技术面临着许多新的问题和挑战，例如网络规模 的不断扩大导致路由信息不断增加，路由协议处理对计算机处理速度和容量的要 求越来越高；新型的控制协议不断涌现，要求路由器能够支持更多的控制协议； 对路由器的可扩展性和高可用性提出了更高的要求；对路由器的路由控制和管理 功能提出了灵活性和开放性的要求。如果能够解决这些问题和挑战，必将促进路 由器的飞速发展。 1 1 2 路由器功能复杂化 目前互联网由接入层、汇聚层和核心层构成，其主要特征是“边缘复杂，核 心简单，尽力服务”。新一代互联网仍然由这三层构成，核心网络的主要功能是 高速l p 信息传输，转发传输技术以简单、高效的i p 分组交换和标签交换为基础， 为互联网提供高速的i p 传输平台。而规模、功能、性能、安全以及服务的可扩展 第2 页 国防科技大学研究生院学位论文 性等方面的要求主要是在汇聚层网络中进行实施。组成汇聚层的主要网络设备是 边缘路由器，它虽然不要求像核心路由器那样高的转发能力，但要求其体系结构 在控制平面上应该有很高的计算处理能力，在转发平面上应该是高度可配置的【l 。 路由器作为互联网络的核心设备，它的设计初衷是尽量简化【l2 】，【1 3 】网络核心的 功能，而把应用的复杂性交给端用户主机去完成。最初的路由器软件系统主要由 包转发、内存管理、路由协议、接口管理、策略管理、s n m p 网管、用户界面七 个主要的模块组成，每个模块的功能如下【i l 】： 包转发：实现i p 报文的路由转发功能，对路由器收到的每个i p 报文，使 用目的地址查找i p 转发表确定发送接口，将报文转发到下一跳地址； 内存管理：在系统初始化过程中按照数据包特征创建报文消息缓冲池，为 其它模块提供高性能、中断安全的报文消息的分配、释放和报文消息缓冲池的管 理： 路由协议：路由协议的功能是通过与其它网络设备交换网络可达信息，形 成对网络拓扑结构的描述，计算网络上不同目的地址的路径信息并通过修改报文 转发表控制路由器的报文转发行为。 接口管理：管理各种类型的网络接口，向上层软件提供对不同接口类型的 抽象描述，屏蔽下层接口的硬件细节。支持接口的加载、卸载、属性配置和下层 硬件配置之间的映射； 策略管理：用户通过在策略管理模块中定义灵活的策略表达式，可以过滤 报文内容提高网络安全性。通过定义路由协议的策略表达式，能够实现自治系统 内部的统一管理，完成协议功能本身不能实现的复杂协议行为。 s n m p 网管：通过网管协议为网管主机提供本路由器的各种实时状态信息， 方便网络管理员对路由器的维护和管理； 用户界面：通过多种方式( 包括：命令行、w e b 、图形方式等) 为用户提 供配置、查看路由器软硬件状态和运行模式的交互工具。 随着互联网对路由器报文转发能力需求的快速增长，传统的软件转发方式已 经远远不能满足目前的需求。随着路由器技术的发展，包转发功能逐渐由软件实 现转发展成硬件实现，即通过专用a s i c 硬件或者网络处理器的方式实现。由于路 由器软件系统不再对包转发进行处理，因而减轻了对路由器计算能力的要求。 然而，传统路由器的管理与控制存在以下的一些问题：管理平面、控制平面 与转发平面只是逻辑的：管理控制本身没有分层次，不好控制优先：升级与功能 扩展依赖设备生产厂商；路由器设备的软件极其复杂，对可靠性带来一定影响。 路由器软件系统的发展呈现出以下特点： 1 不同类型路由器功能的聚合；在目前互联网中，将路由器按照报文转发能 第3 页 国防科技大学研究生院学位论文 力、所在网络中的层次位置划分为不同的类型，例如：核心层路由器、汇聚层路 由器、接入层路由器等。这些不同类型的路由器在路由软件功能上存在巨大差异， 核心层路由器要求极高的报文转发能力，对路由软件的功能要求则相对简单；而 汇聚层路由器和接入层路由器不需要强大的转发能力，但在软件功能上却非常复 杂，例如：安全验证、i p s e c 、语音视频网关、区分服务等等。随着互联网的飞速 发展，这几类路由器的差异将逐渐消失，即要求核心层路由器在具有极高转发能 力的同时，又能在软件功能上做到接近或达到汇聚层路由器的软件功能，这对核 心路由器的计算能力和存储能力提出挑战。 2 安全性要求的不断提高：早期路由器是基于“网络中全部用户都是可信的 这个假设，因此，它对安全性要求很低。但是随着互联网逐渐商业化，全球化， 网络安全问题的日益突出，迫切需要提高路由器的安全性要求。例如c i s c ol o s 从 版本l o 3 到1 2 1 ，增加的与安全性相关的功能就有2 0 余项。然而，安全认证、数 字证书、数据加密解密等安全措施都是计算密集型任务，会占用路由器大量的计 算资源。 3 网络应用对软件系统的影响：随着互联网的全球化和逐步普及，各种各样 的网络应用层出不穷，它们对数据报文传输时延、传输带宽以及服务质量提出不 同要求，路由器软件系统必须支持各种各样的应用协议模块才能满足互联网发展 的需求。 4 网络管理控制对软件系统的影响：由于新一代互联网对网络管理控制提出 了灵活性和开放性的要求，这就要求在路由器软件系统中安装相应的网络控制管 理模块。 从3 ，4 点可以看出，路由器软件系统包含的应用模块的数量迅速增加，再加 上安全性的要求，这就要求路由器在保证性能不降低的情况下，提供更多的功能， 而传统单机式路由器由于计算资源和存储能力的限制，显然不能同时满足性能和 功能两方面的快速增长的需求。 不同于传统路由器的单c p u 控制平面体系结构，集群路由器的控制平面由各 个路由交换节点的c p u 集合和存储器集合构成，具有明显的分布式特征。尽管每 个交换节点只能提供有限的计算能力和存储能力，但随着集群规模的扩展，整个 集群路由器的控制平面可以具有强大的计算能力和存储能力。图1 1 【l i j 给出了路由 软件系统在集群路由器的分布式控制平面上功能分布情况的示意图。由于单个处 理器无法满足路由软件系统的计算需求，集群路由器软件系统的各个功能模块必 然不会集中在某个高性能的路由节点上，而是分布在各个路由节点的本地c p u 上 并行执行。例如：将用户界面、远程登录、s n m p 网管a g e n t 1 4 j 等控制功能驻留在 一个控制节点上，而b g p 协议模块【15 1 、o s p f 协议模士央【16 1 、r i p 1 7 1 以及i s i s 协议 第4 页 国防科技大学研究生院学位论文 模块可以分别驻留在不同的路由节点上，实现各个协议之间的性能隔绝。 1 1 3 课题背景 图1 - l 集群路由器软件系统的分布式特征 本文研究工作针对下一代网络对路由器发展需求，重点研究分布式集群路由 器的体系结构和实现技术。研究工作得到了9 7 3 “新一代互联网体系结构理论体系 “新一代互联网路由与交换 子课题和8 6 3 “构件化可重构路由器通用平台” 课题的资助和支持。 1 2 论文工作及论文结构 本文重点围绕面向新型网络需求的分布式集群路由器技术开展研究，提出了 一个通用集群路由器结构模型，并设计和实现一个分布协同控制对等并行转发的 软件集群路由器支撑验证平台原型系统，该平台可以用于进一步的集群路由器技 术研究，如分布式路由技术等。论文各章节组织如下： 第一章重点论述了新一代网络对路由器技术提出的各种新需求，分析了随着 路由器功能的复杂化，对路由器技术提出的新要求。 第二章分析了当前路由器体系结构，尤其是集群路由器结构的相关研究，对 集群路由器从控制和转发两个角度进行的分类比较，总结归纳了集群路由器的关 键技术。 第5 页 国防科技大学研究生院学位论文 第三章从集群路由器结构模型入手，提出了不川控制模型和不同转发模型的 多种集群路由器体系结构。重点针对分布协同控n 对等并行转发的集群路由器体 系结构，重点研究了集群路由器全局接口映射、内部接口的多路复用和控制端点 的动态迁移等关键技术，提出了一个软件集群路由器- n e w r o u t e r ，并给出了它 的支撑验证平台的总体实现架构和工作原理流程。 第四章针对前面总体结构设计和关键技术研究，在f r e e b s d 平台下实现了 n e w r o u t e r 的支撑验证平台。本章具体描述了各个功能模块的实现，作为分布式 b g p 路由软件的支撑平台与之进行了集成。 第五章重点对支撑验证平台的功能和性能，以及运行在之上的分布式b g p 软 件的功能和性能进行测试和分析，表明了该验证平台的正确性和支撑性。 本文主要创新点： 1 提出了一种通用集群路由器结构模型，并根据控制和转发平面的不同工作模 式，提出了两种基本转发结构和两种基本控制结构，不同转发结构和控制结 构的组合，可以衍生出多种具体的集群路由器结构框架，为研究集群路由器 的体系结构建立一个参考； 2 提出了接口全局虚拟映射方法和接口分层编码方案，方便灵活地实现了集群 路由器的统一单一视图和内部交换的多路复用； 3 提出了一种基于分布控制的动态访问点迁移方法，可以很好地支持上层网络 管理控制协议的分布处理、高可用迁移和负载均衡迁移。 第6 页 国防科技大学研究生院学位论文 第二章相关研究工作 路由设备是互联网络中的重要单元，在网络交换中起着重要的作用。新一代 互联网络要求目前和未来的高性能路由设备必须具有以下特征：高可扩展性、高 可用性和高可管理性，而目前单机式路由器广泛采用的体系结构显然难以满足未 来高性能路由器的这种要求。 2 1 路由器体系结构的发展 按照路由器转发方式的不同，路由器体系结构的发展大致经历了四个阶段【l o 】： 单机单处理器共享总线结构、单机多处理器共享总线结构、单机基于交换结构的 多处理器结构、多机互联集群结构，转发模式呈现从集中向分布并行发展的趋势。 单机单处理器共享总线体系结构如图2 1 ( a ) 所示。 ( a ) 单机单处理器共享总线结构 主控处理器 彳 jl 交换结构 一一一 l 弓i 弓 转发i 转发 i 转发 表!表i 表 转，发：转发 - - - l 转发 引擎：引擎! 引擎 能 网络i网络 智能 i 网络 智劁 k接口1 接口2 线忙 绥u n 线_ f 2 n 中央处 主存 理器 88 卜专孚赶 缘 9 9丁9 本地i本地 l 本地 1 竽储!存储i 存储 从处：从处 - a l - ! 从处 理器i理器 智 ：理器 能 i 网络 网络!网络 线 按口n 接口接口2卡2 ( b ) 单机多处理器共享总线结构 智 能 线 卡n ( c ) 单机基于交换结构的多处理器结构( d ) 多机互联集群结构 图2 1 路由器体系结构的发展 第7 页 国防科技大学研究生院学位论文 它具有以下主要特点：路由器只有一个中央处理器；网络接l 和中央处理器 之间通过共享总线连接：中央处理器既要进行路由协议的计算，也要进行报文的 转发。显然，基于这种体系结构的路由器的性能受限于共享总线的带宽和中央处 理器的性能，而且报文在被转发的过程中需要经过两次共享总线，因此，这种体 系结构的路由器的性能难以提高。 单机多处理器共享总线体系结构如图2 1 ( b ) 所示。在这种体系结构中，它 对路由器的性能提高主要体现在：引入了智能线卡单元( 由网络接口，从处理器 和本地存储组成) ，智能线卡单元完成报文的转发工作，从而把报文转发工作由 中央处理器分布到各个从处理器，解决了中央处理器集中处理报文转发的瓶颈问 题，并且报文在被转发的过程中只经过一次共享总线，减少对共享总线资源的使 用。它的主要问题是共享总线的带宽限制，共享总线的带宽限制了路由器的吞吐 量，成为路由器系统性能提升的瓶颈。 单机基于交换结构的多处理器结构体系结构如图2 1 ( c ) 所示。这种体系结 构的重大改进在以下两点：( 1 ) 引入了交换结构( 例如：c r o s s b a r 交换结构) 代 替原有的共享总线，交换结构可以提供比共享总线高得多的带宽，提高了路由器 的吞吐量。( 2 ) 智能线卡上不再采用通用处理器，而是采用专用a s i c ( 专用集 成电路) 或者n p ( 网络处理器) 作为转发引擎，提高了报文的转发和处理的能力。 路由器采用集中路由控制，即主控处理器仍然负责完成路由协议和其他控制协议 的处理，并根据路由表生成转发表，将转发表同步到各个智能线卡上供转发引擎 使用。这种体系结构的路由器的性能主要由智能线卡对报文的转发处理能力，以 及交换结构的交换容量决定。 目前高性能路由器大多采用多机互联集群的体系结构，如图2 1 ( d ) 所示， 它的特点是：由若干个路由器节点构成，包含了多个路由节点和交换节点，路由 节点和交换节点之间，交换节点和交换节点之间是通过内部某种交换结构进行信 息交换的，可以提供更高的性能、更大的规模和更好的可扩展性；同时，集群式 路由器体系结构中包含了多个具有路由计算能力的控制节点，有利于路由协议和 控制协议等任务的分布式实现，提高路由器控制平面的性能。 目前集群路由器主流体系结构的一个重要特点是，它的交换结构可以采用光 交换，可以采用了具有某种规则拓扑的交换网络，即：在多节点构成集群路由器 时，各个节点按照拓扑规则共同组成了一个完整的交换网络，每个节点用于内部 交换的功能单元成为构建交换网络的一个交换模块。 2 2 集群路由器简介 根据目前普遍采用的转发与控制分离的观点【1 9 】，路由器中的众多功能部件可 第8 页 国防科技大学研究生院学位论文 以划分为转发平面( f o r w a r d i n gp l a n e ) 和控制平面( c o n t r o l l i n gp l a n e ) 。其中，路由器 的转发平面主要包括转发硬件和低层次的软件，完成面向数据报文的查找、转发 和交换等处理；路由器的控制平面主要包括路由协议和控制协议等上层软件，完 成路由协议的计算，生成对报文的路由决策，生成转发表，以及对路由器的控制、 管理等功能。转发平面完成面向报文的数据路径处理，这是路由器的主要功能， 而控制平面则负责指导和控制转发平面的处理行为。 2 2 1 集群路由器定义 为了给集群路由器进行定义，我们先对以下几个概念进行定义： 定义2 1 交换节点：集群路由器中的功能处理单元，分为转发节点，路由节 点和路由交换节点三种。 定义2 2 转发节点：只具有报文接收，转发和内部交换功能的处理单元； 定义2 3 路由节点：只进行路由协议计算，路由选径等与路由器控制相关的 处理单元； 定义2 4 路由交换节点：同时具有转发节点和路由节点功能的处理单元。( 说 明：如果没有特别说明的话，本文中提到的交换节点是指转发节点) 。路由交换 节点又被称为控制节点。 集群路由器是指将多个可独立运行的路由交换节点( 如：常规路由器或通用 尸c 计算机等) ，通过某种互连方式组合而成的单映像路由系统【1 0 j 。 集群路由器示意图如图2 2 所示，它是由m 个交换节点组成，每个交换节点 是一台常规路由器或通用p c 计算机。路由器的各个交换节点之间是通过某种互连 结构( 高速互连网络或高速交换结构) 连接起来。 图2 2 集群路由器示意图 通过定义，我们可以看出，集群路由器不是一台路由器或计算机，它是一群 第9 页 国防科技大学研究生院学何论文 计算机组合起来，由某种控制机制米协同工作。集群路由器不仅能完成常规路由 器的一切功能，而且由于它是多台主机共同工作，它的可扩展性、可用性等都优 于常规的路由器。 根据集群路由器的定义，集群路由器的构成节点以及关键特征必须满足： 1 集群路由器在物理结构上由多个路由交换节点组成，每个交换节点包含独 立的报文转发引擎和控制平面的计算资源。例如：交换节点可以是基于分布式转 发结构的高性能路由器，也可以是一台通用p c 机。前者的报文转发引擎对应于 a s i c 芯片或者网络处理器，后者的转发引擎只是软件系统的一个模块。每个交换 节点既可以独立的执行协议计算、报文转发功能，又可以在集群软件的配置下以 协同方式进行分布式的报文转发，它的可用性强。 2 多个路由交换节点通过某种互连方式连接起来，构成高性能的集群结构。 在定义中对互连方式没有任何约束，它可以是高速交换网络，也可以是光交换设 备，甚至是具有一定拓扑结构的局域网络。由于单播和组播等转发协议的需要， 内部互连方式必须支持单播、广播、组播等灵活的网络内部传输机制。 3 组成集群路由器的路由交换节点可以是同构的，也可以是异构的。这里的 同构性、异构性包含两方面的含义：在硬件组成上，路由节点的同构性要求每个 节点具有相同的硬件配置和处理能力，异构的路由节点则可以是多种网络设备、 p c 计算机的混合。在路由软件上，路由节点的同构性指节点之间具有对称的软件 功能，每个节点在不需要其它节点协助的情况下能够独立地完成全部软件功能； 异构性指每个节点负责整个路由软件中一个或者部分模块的执行，只有全部节点 集合才能完整地代表整个路由软件系统。 4 集群路由器必须保持单映像性。单映像性【2 0 】是指从组网的角度来看，一个 集群路由器是一台路由器，而不是一个具有拓扑结构的网络。即：从集群路由器 所在网络中任意一个路由器( 不包括集群路由器自身) 的视图来看，集群路由器 应该表现为网络拓扑中的一个路由节点，而不是具有拓扑结构的子网，因此它具 有良好的可管理性。 2 2 2 已有的集群路由器系统 根据集群路由器的节点不同，可以把目前已有的集群路由器系统分为两类： 多机柜互连的商用集群路由器和基于通用p c 机的集群路由器。前者使用的交换节 点一般是转发机柜或传统单机路由器，主要应用在p o p ( p o i n t o f - p r e s e n c e ) 领域； 后者使用的交换节点是通用p c 机，可以应用于边缘路由器，也可以作为网络体系 结构以及网络软件协议等的研究、开发、实验的平台，将这样的集群路由器又称 为软件集群路由器1 2 u ( s o f t w a r e - b a s e dc l u s t e rr o u t e r ，s c r ) 。 第1 0 页 国防科技大学研究生院学位论文 在研究t 比特路由器时，网络设备厂商使用高速交换网络或高速交换结构将 单机架路由器连接起来构造成性能可扩充的高性能集群路由器【1 1j 。例如：a v i c i 公司的t s r 路由器1 2 1 1 、c i s c o 公司的c r s 路由器【2 2 】和j u n i p e r 的t 6 4 0 f 2 3 】系统，国 内的产品如华为n e t e n g i n e5 0 0 0 e t 2 4 】等。 a v i c i 公司的t s r 路由器中，每个机柜支持4 0 个路由模块插槽和最少4 个路 由控制器插槽，路由器内部互连使用的是分布式的v e l o c i t i 交换结构。v e l o c i t i 交 换结构的特点是能够支持非阻塞的t 比特级的交换能力，因而可以将众多的转发 线卡、路由器主控制卡和机柜连接成为一个集群系统。t s r 路由器最多支持1 4 个 机柜互连，即最多支持5 6 0 个路由模块。通过增加路由模块和t s r 路由器机柜， 整个系统的转发能力可以无缝地从1 5 5 m 扩展到最大5 6 t 。 j u n i p e r 的t 6 4 0 系统特点是支持两种工作模式：单机柜独立工作模式和通过 m a t r i x 技术互连的集群模式。单个t 6 4 0 机柜支持8 个每个4 0 g 转发能力的前面板 插槽，最多支持3 2 个o c 1 9 2 端口和1 2 8 个o c 4 8 端口。支持集群模式的m a t r i x 技术是一种基于光传输的背板扩展技术，每个t 6 4 0 机柜的背板支持最多六个集连 插槽，通过m a t r i x 技术可以将最多8 个t 6 4 0 机柜连接起来构成路由矩阵。服务提 供商使用m a t r i x 技术将多个路由器聚合成为一个路由器实例，支持的报文转发容 量高达1 0 t 。由于只有背板用于内部互连，保留了前端的网络端口资源，极大地延 长了设备生命周期。 c i s c o 公司的c r s 路由系统由两个重要元素构成：“线卡机柜和交换机柜”。 类似于j u n i p e r 的t 6 4 0 系统，c r s 也支持由单线卡机柜构成的独立系统和多线卡 机柜集连组成集群路由系统的两种工作模式。单个线卡机柜由前面板的1 6 个接口 模块、2 个路由处理器模块以及背板的8 个交换卡等构成，每个线卡机柜具备 1 2 t b p s 的交换容量。c r s 的交换机柜实现了3 级b e n e s 高速交换网络，可以在单 个线卡机柜内和多机柜系统中提供多达l1 5 2 个插槽之间的高速互连。在集群互连 时，c r s 路由系统可以将最多7 2 个线卡机柜通过8 个交换机柜连接起来，构成一 个单映像的集群路由器系统，整个系统的转发能力高达9 2 t b p s ，并保证每个插槽 4 0 g b p s 的通信能力。这种集群方式提供了强大的可靠性和可扩展性，服务提供商 可以随着网络流量的增加，在集群系统中不断增添新的线卡或者新的机柜，延长 路由器的设备生命周期。 华为公司的n e 5 0 0 0 e 核心路由器采用无阻塞交换结构，单机框系统接口容量 为1 2 8 t b p s