（计算机科学与技术专业论文）路由协议并行处理技术研究.pdf

国防科学技术大学研究生院学位论文摘要传统的核心路由器是构建整个i n t e r n e t 核心网络的重要设施。由于其自身硬件体系结构、路由操作系统以及协议软件结构的固有限制，组成的核心网络无法满足下一代互联网的多方面需求。集群结构的路由器在支持网络端口密度、报文转发能力、控制平面计算能力以及设备生命周期等方面具有强大的优势，存在着非常广阔的发展空间，将会成为构建下一代互联网络的基石。路由器软件系统功能的复杂化、路由协议需要存储和计算的路由信息数量的超线性增长、各种网络应用的迅速出现，使得核心路由器单处理器控制平面的计算能力很难满足未来需求。研究路由软件系统以及关键协议软件，如何充分利用集群路由器控制平面分布式的计算资源和存储资源来满足下一代互联网的需求，既具有挑战性又具有重要实际意义。i n t e r n e t 规模的迅速扩张，造成域间路由标准的b g p 协议面临性能挑战，而现有集群路由器中b g p 协议的实现仍然沿用单进程或者单线程方式，没有真正实现软件意义上的可扩展性。为了充分利用集群路由器的分布式计算资源，集群软件系统将路由协议模块分布在各个路由节点上并行执行。这些路由协议在运行过程中会与邻接路由器交换路由信息，不断地更新各个路由节点的本地报文转发表，造成节点报文转发表之间的不一致。集群路由器要求每个路由节点必须具有完全相同的报文转发表映像，因此保证各个路由节点转发表的一致性，是集群路由器软件系统的重要问题。本文的主要工作围绕着b g p 协议的并行实现技术和集群路由器报文转发表一致性维护问题展开。首先使用随机回报p e t r i 网建立了b g p 协议的性能模型，为预测不同协议配置和负载情况下b g p 协议的性能提供了理论基础；之后基于集群路由器分布式控制平面的特点，研究了b g p 协议的并行实现问题；最后针对集群路由器报文转发表一致性维护问题，研究了i p 层报文转发表在路由节点间的分布式存储及转发表一致性维护技术。本文的主要成果和创新包括以下几个方面：1 建立了b g p 协议的随机回报p e t r i 网性能模型，能够反映出不同协议配置情况和不同路由更新报文到达率对b g p 协议处理性能的影响。性能模型的建立为分析不同负载条件下和协议配置情况下，b g p 协议的行为、处理能力、对控制平面c p u 资源的消耗提供了理论基础，对研究i n t e r n e t 域间路由问题、指导b g p 路由协议模块的设计实现也具有重要意义。2 基于集群路由器分布式控制平面的特点以及目前b g p 协议存在的问题，提出了一种全新的b g p 协议并行处理模型和路由存储、计算任务的划分算法。整个模型由b g p 实体集合及c - b g p 协议两部分组成，其中b g p 实体作为模型的基本功能模块，可以驻留在集群路由器各个路由节点的控制平面上，执行路由更新计算和路由信息存储任务。划分算法以b g p 邻居会话作为基本的划分单位，将邻居会话分配到多个b g p 实体上并行执行，充分利用集群路由器的多处理器资源来加速协议运行，提高了b g p 协议的处理性国防科学技术大学研究生院学位论文能和邻居规模的可扩展性。3 提出了一种适合于大规模异构集群路由器特点的i p 转发表分布式存储及一致性维护框架一a r e f ( as ，r m m e t r i c a lr o u t e se l e c t i n gn a m e w o r k ) 路由同步框架。组成异构集群路由器的路由节点在计算能力和存储资源上可能存在巨大的差距，为此a r e f 路由同步框架将路由节点按照能力划分为主动节点和被动节点。每个主动节点保存本节点运行的路由协议加入的转发路由，对这些转发路由执行路由计算过程生成本地转发表，再在主动节点间执行路由同步过程生成全局转发表。而被动节点只需保存全局转发表的副本，因此能够满足异构集群路由器在路由节点能力上的差异性要求。4 在a r e f 路由同步框架的基础上，为了解决路由抖动造成的集群路由器内部同步开销过大的问题，提出了基于抖动优化的集群路由器转发表同步算法一a r s ( a s y m m e t r i c a lr o u t e ss y n c h r o n i z a t i o n ) 路由同步算法。算法针对每个路由前缀使用路由c a c h e 来缓存次优路由，在全局最优路由被删除时，通过快速切换到次优路由来减少路由抖动时的同步开销。模拟实验表明，a r s 路由同步算法可以有效地减少路由抖动时的同步开销，与理论最优值比较接近。保证集群路由器各个路由节点i p 转发表的单映像性是整个集群系统能够正确执行报文转发行为的关键，而路由协议的并行实现机制的研究则能够有效地降低对单个路由节点计算资源和存储资源的消耗，提高了路由软件系统的可扩展性。本文的工作对集群路由器软件系统的研究和应用将起到重要的推动作用，然而对集群路由器软件系统及路由协议并行实现机制的研究尚处于起步阶段，为使之实用化还需付出更多的努力。关键词：集群路由器，路由软件，随机回报p e t r i 网，并行处理模型国防科学技术大学研究生院学位论文a b s t r a c ti a d i t i o n a ic o r er o u t e r ，w h i c hi st h em o s ti m p o r t a n ti n f r a s t r u c t u r eo fi n t e r n e t ，c a nn o tm e e tt h em u l t i d i m e n s i o n a lr e q u i r e m e n t 8o fn e x tg e n e r a t i o ni m e r n e t ，f o rt h el i m i t a t i o n so fh a r d w a r ep l a t f o r m ，r o u t e ro p 盯眦i n gs y s t e ma n dr o u t i n gp r o t o c o li m p l e m e n 乞a t i o n c l u s t e rr o u t e rh a sm o r ea d v a n t a g e so nh i g h e rp h y s i c a lp o r t sd e n s i t i e s ，m o r es c a l a b l ef o r w a r d i n gc a p a c i t i e s ，m o r ep o w e r m lc o m p u t a t i o n a b i i i t i e sa n dl o w e rl i f e c y c l ec o s t s i tw i l ib ec h eb a s i so fn e x tg e n e r a t i o ni n t e r n e t w i t ht h ec o m p l i c a t i n go fr o u t e rs o f t w 盯ef u n c “o n s ，t h es u p e rl i n e a ri n c r e a s i n go fr o u t i n gi n f o r m a t i o nm a j n t a i n e da n dc o m p u t e db yr o u t i n gp r o t o c o l s ，t h er e c l l l i r e m e n to fc o n t r o lp l a n e sc o m p u t a t i o nr e 8 0 u r c ee x c e e d st h ea b 订i t yo fs i n g l ep r o c e s s o r i ti sa p p l i e da n dc h a l l e n g i n gt or e s e a r c hh o wr o u t e rs o f t w a r ea n dc r i t i c a lr o u t i n gp r o t o c o lm o d u l e sc a nu t i l i z ed i s t r i b u t e dc o m p u t a t i o na n d8 t o r a g er e s o u r c e so fc l u s t e rr o u t e rt om e e tt h em u l t i 一出m e n s i o nr e q u i r e m e n t so fn e x tg e n e r a t i o ni n t e r n e t t h er a p i de x p a j l s i o no fi n t e r n e tb u r d e n sb g pr o u t i n gp r o t o c o lg r e a t l y ，b u tt r a d i “o n a lb g pi m p l e m e n t a “o ni 8b a s e do ns i n g l ep r o c e s so rs i n g l et h r e a da n dc a nn o ts c a l ew i t ht h ei n c r e a s i n go fr o u t i n gn o d e so fc l u 8 t e rr o u t e r ，c l u s t e rr o u t e rd i s t r i b u t e sr o u t i n gp r o t o c 0 1m o d u l e sa m o n gr o u t i n gn o d e st oi m p r d v et h es c a l a b i l i t yo fi t sc o n t r o lp l a n e e a c hr o u t i n gp r o t 。c o lm o d u l ee x c h a n g e sr o u t i n gi n f o r m a t i o nw i t ha 枷a c e n tr o u t e r 8a 肌du p d a t e 8l o c a lr o u t i n gn o d e sf o r w a r d i n g 伯b l e t h ek e yp r o b l e mo fc l u s t e rr o u t e ri st o8 y n c h r o n i z ea n dm a i n t a i nt h es a m ef b r w a r d i n gt a b l e si m a g e sa m o n gr o u t i n gn o d e s w i t ht h ea p p l i c a t i o nb a c k g r o u n do fm a s s i v ep a r a u e lh y b r i de l u s t e rr o u t e r ，t h i sd i s s e r t a t i o nf o c u s e so np a r a l l e li n l p l e m e n t a lm e c h a n i s mo fb g pr o u t i n gp r o t o c o la n df o f w a r d i n gt a b l e ss y n c h r o n i z a t i o no fc l u s t e rr o u t e r t h em a i nc o n t r i b u t i o n 8o ft h i sd l s s e r t a t i o na r e1 i s t e d自8f o l 】o w s ：1 b g pr 。u t i n gp r o t o c o l sp e t r in e tp e r f o r m a n c em o d e li sp r o p o s e db yu s i n gs t o c h a s t i cr e w a r dp e t r in e t ( s r n ) t oa n a l y z et h ep r o c e s s i n gp a 七ho fb g pu p d a t ep a c k e t s t h ep e r f o r m a n c em o d e lc a nr e f l e c tt h ep e r f o r m a 肌c ei m p a c t so fd i f f e r e n tp r o t o c o lc o n f i g u r a t i o n sa n dd i 符e r e n tp a c k e ta r r i v i n gr a t e s a f t e rt h ee v a l u a t i o no fb g pp e r f o r h l a n c ei n o d e lu n d e rd i f f e r e n tc o 诵g u r a t i o nc o n d i t i o n s ，i ts h o w 8t h a tb g pr o u t i n gp r o t o c o li st o oc o m p l i c a t e dt os u p p o r tb g ps e s s i o n so nal a r g es c a l ea n dc a nn o tm e e tf u t u r ei n t e r n e tr e a u i r e m e n t s 2 e x t e n d st r a d i t i o n a lb g ps o f t w a t em o d e la n dp r o p o s e san e wf u u y d i s t r i b u t e d ，h i g h l y -p a r a l l e l i z e di m p l e m e n t a 土i o nm o d e lo fb g pa n dp a r t i t i o na l g o r i t h mo fp a r a l l e lb g pp r e f i x e sc o 瑚- p u t a t i o n t h em o d e li sc o m p o s e do fb g pe n t i t i e sa n dc b g pp r o t o c 0 1 b g pe n t i t yi st h eb a s i cf u n c t i o nm o d u l eo fp r e 矗xc o m p u t a t i o na n ds t o r a g ea n dc a nr e s i d eo n国防科学技术大学研究生院学位论文a n yr o u t i n gn o d eo fc h l s t e rr o u t e r c b g pp r o t o c o ld e f i n e st h eb e h a i o ro fe a c hb g pe n t i t ya n dm e s s a g ef o r m a t se x c h a n g e da m o n gb g pe n t i t i e s ，m u i t i b g pe n t i t i e sc a na c ta so n eb g pp r o c e s sw i t ht h es u p p o r t so fc b g pp r o t o c 0 1 t h ep a r t i t i o na i g o r i t h md i 8 p a t c h e sb g ps e s s i o n sa m o n gb g pe n t i t i e sa n du s e sm u l t i p r o c e s 8 0 r st oe x e c u t eb g ps e s s i o n sp a r a l l e l t h ep a r a l l e li m p l e m e n t a t i o nm o d e lo fb g pc a ne n h a n c et h ep r o c e s s i n ga b 订i t yo fb g pr o u t i n gp r o t o c o la n ds u p p o r t 8b g ps e s s i o n so nal a r g e rs c a l e 3a r e f ( a s y m m e t r i c a lr o u t e se l e c t i n gn a m e w o r k ) a s y m m e t r i c a lf o r w a r d i n gt a b l es y n c h r o n i z a t i o nf r a l n e w o r ki sp r o p o s e d a r e fs y n c h r o n i z a 主i o nf r a m e w o r kd i v i d e sr o u t i n gn o d e si n t oa c t i v en o d e sa n dp a s 8 i v en o d e s ，a n dr e q u i r e sa c t i v en 。d e st oe x e c u t er o u t es e l e c t i o np r o c e d u r ea n dg e n e r a t el o c a lf o r w a r d i n gt a b l ef l r s t ly t h e nr o u t es y n c h r o n i z a t i o np r o c e d u r ei se x e c u t e do nt h eb a s i 8o fa c t i v en o d e s l o c a lf o r w a r d i n gt a b l e st og e n e r a t eg l o b a lf o r w a r d i n gt a b l e t h ea m o u n to fs y n c h r o n i z a t i o nm e s s a g e si sd e c r e a s e di nt h i sw a 矿r e d u n d a n tr o u t e sa r es t o r e da m o n ga e t i v en o d e sd i s t r i b u t i v e l ya n de a c hp a s s i v en o d eo n l yk e e p st h ec o p yo f9 1 0 b a lf o r w a r d i n gt a b l e i tc a nm e e tt h ed i 丘b r e n tr e q u i r e m e n t so fh y b r i de l u s t e rr o u t e r sr o u “n gn o d e s 4 c o n 七i n u o u 8r o u t en a p p i n go fb a c k b o n en e 七w o r kb u r d e n ss y n c h r o n i z a t i o nm e c h a n i s mo fc l u 5 t e rr o u t e r a r ss y n c l l r o n i z a t i o na l g o r i t h mi sp r o p o s e do nt h eb a s i so fa r e fs y n c h r o n i z a t i o nf r a m e w o r ka n dc a nd e c r e a s et h es y n c h r o n i z a 七i 。nc 0 8 t sd u r i n gr o u t ef l a p p i n g t h ea r sa l g o r i t h mc a c h e ss e c o n db e s tr o u t e sf b re a c hn e t w o r kp r e f i xa n d8 w i t c h e si n t oc a c h e dr o u t e sw h e no r i g i n a ib e s tr o u t ea r ed e l e t e d t h ea l g o r i t h ms i m u l a t i o ns h o w st h a ta i ，sa l g o r i t h mc a nd e c r e a s et h es y n c h r o n i z a t i o nc 0 8 t 8o fr o u t ef l 叩p i n gg r e a 七l ya n di sv e r yc l o s et ot h em o s to p “m i z e dr e 8 u l t e n s u r i n gs a m ef o r w a r d i n gt a b l ei m a g e so fc l u s t e rr o u t e ri st h em o s tc r i t i c a lp o i n to fc l u s t e rr o u t e r sf o r w a r d i n gb e h a v i o r t h er e s e 8 r c ho np a r 柏l e lr o u t i n gp r o t o c o l i m p l e m e n 七a t i o nm e c h a n i s mc a nr e d u c et h ec o m p u t a t i o nc o s t sa n ds t o r a g ec o s t so fe a c hr o u t i n gn o d ea n di m p r o v et h es c a l a b i l i t i e so fr o u t i n gp r o t o c o l s t h i sd i b 8 e r t a t i o nw i l lp r o m o t et h ea p p l l c a t i o no ft h ec l u s t e rr o u t e rg r e a t l yh a w e v e r ，r e l e v a n tr e s e a r c h e 8i nt h i 8f i e l da r ej u s tb e g i n n i n g m a n ye 矗b r t ss t i l ln e e dt ob em a d et or e a l i z ei t sf u t u r ea p p l i c a t i o n s k e y 厂o r d s ：c l u s t e rr o u t e r ，r o u t e rs o 氏w a r e ，s t o c h a s t i cr e w a r dn e t ，p a r a l l e li m p l e m e n t a t i o nm o d e i国防科学技术大学研究生院学位论文插图索弓ll 传统的冗余多管理层次的p o p 网络结构1 2 集群路由器对p o p 网络结构的简化13 核心路由器的分布式转发体系结构14 传统路由器软件系统结构1 5 集群路由软件系统的分布式特征，1 6b g p 路由表的增长趋势1 7b g p 邻居会话数量对协议性能的影响21目前商用集群路由器平台的体系结构2 2p l u r i s 大规模并行路由器3 1b g p 协议软件体系结构3 2 单邻居会话的b g p 路由更新处理模型3 3 单邻居会话路由更新处理的简化模型3 4 支持n 个邻居会话的b g p 协议性能模型35 可求解的通用b g p 协议性能模型3 6b g p 胜能测量使用的网络拓扑3 7 不同更新报文到达率对c p u 负载情况的影响3 8 邻居会话数量对c p u 负载情况的影响3 9 邻居会话数量对p e e r l 的更新报文吞吐率的影响3 1 0 不同路由策略配置对c p u 负载情况的影响3 1 l 不同路由策略配置对p e e r l 的更新报文吞吐率的影响41 实现b g p 协议功能下载的过程示意图4 2b g p 协议的并行处理模型4 3b g p 实体的类型及功能组成44 核心路由器b g p 路由表中非冗余路由信息的比例4 5 复杂的b g p 网络拓扑关系4 6b g p 协议并行处理模型对b g p 网络的简化4 7i n t e r n e t 核心路由器的b g p 路由表路由冗余性分析4 8b g p 邻居会话在b g pa 鼬n t 间的划分算法49b g p 实体间路由同步报文数据结构4 1 0b g p 实体对路由更新报文的处理过程伪码4 1 1b g p 实体对路由同步报文的处理过程伪码000，加儿他竭均勰n跎弘骊勰勰鹞如卯弛艘弱弱盯船国防科学技术大学研究生院学位论文41 2b g pa g e n t 实体的功能示意图41 3b g pa g e n t 实体的p e t r i 网性能模型4 1 4a g e n t 实体与b g p 协议在不同邻居会话数量下更新报文吞吐率的比较4 1 5a g e n t 实体与b g p 协议在不同邻居会话数量下对c p u 占用率的比较4 1 6 相同路由策略配置下a g e n t 实体与b g p 协议对c p u 负载影响的比较5 1目前高端核心路由器的报文转发表分发结构5 2 路由协议在集群路由器各个节点上的非均匀分布5 3中央集中协议分布方式的转发表单映像维护54 基于全冗余路由备份的转发表单映像维护5 5a r e f 转发表单映像同步机制5 6 协议数量以及平均能力因子对主动节点存储开销的影响5 7 协议数量以及平均能力因子对被动节点存储开销的影响58a r e f 与广播更新方式在删除路由时的性能差异6 1a r s 同步算法示例62 协议路由更新处理过程6 3 路由同步消息处理过程6 4 单个节点路由波动时的性能差异6 5 每个节点路由抖动概率为o 5 时的性能差异661 2 8 个节点在不同抖动概率条件下的性能差异67 注入1 0 0 k 路由时的同步路由数龇船斛曲n住他葡竹阳跎阳8盯盯88昌8国防科学技术大学研究生院学位论文表格索弓1 1c i s c oi o s 软件系统功能的复杂化3 1b g p d 各个处理阶段的平均处理开销4 1 几种b g p 并行处理技术的简单比较6 1a r s 算法中使用函数的功能说明93 74 68 4独创性声明本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研兖成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文题目：整由盐遮羞盈矬墨技盔盈窒学位论文作者签名：蕴蹙塑日期：埘年7 月卵日学位论文版权使用授权书本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允许论文被查阅和借阅；可毗将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密学位论文在解密后适用本授权书。)学位论文题目：整自进送羞煎矬堡垫苤堡窒学位论文作者签名作者指导教师签名娥芗芦日期：2 。于年9 月2 9 日魄一罗矽8国防科学技术大学研究生院学位论文第一章绪论自上世纪9 0 年代以来，i n t e r h e t 经历了飞速发展的过程，已经从一个简单的实验性网络演变成为一个巨大的商业网络。它不仅成为了全球通信的基础，而且从根本上影响了整个人类社会的生活方式。起初互联网仅仅被用来作为研究工具在科研人员之间使用，基于文件共享、远程登录等简单应用模式，面向的用户群相对单一。随着商业化元素的渗透，用户群体的混杂性、网络应用以及业务模型的多样性使得现有的互联网架构已经远远不能适应未来发展需求。关于下一代互联网应该具有什么样的特点才能满足未来应用需求，学者与研究机构对此普遍关注【。8 】，提出了可信性、可控性和多维可扩展性等重要特征。传统的核心路由器作为构建整个i n t e r n e t 核心网络的重要设施，由于自身硬件体系结构、路由操作系统以及协议软件结构的固有限制，组成的核心网络在可控性、多维可扩展性( 特别是规模可扩展性，性能可扩展性) 、设备生命周期等方面无法满足这些要求。集群结构的路由器由于其自身的分布式特点，为传统路由器所面临的这些问题提供了一个好的解决方案，具有非常广阔的发展空间。因此研究路由器软件系统如何充分利用集群路由器的这种高度分布式特征来满足下一代互联网的需求，既具有挑战性，又具有重要的实际意义。1 1 课题研究背景11 ，1p o p 融台促进集群路由器的发展随着商业元素在i n t e r n e t 的快速发展中日益扮演决定因素，众多的服务提供商网络已经成为整个i n t e r n e t 的核心组成部分。为了满足用户的多种应用需求，这些服务提供商部署了大量的网络基础设施，其中p o p ( p o i n t o f - p r e s e n c e ) 接入点是构成服务提供商网络的基本单位。由p o p 互连构成的网络拓扑结构遍布服务提供商的网络覆盖区域，绝大多数拓扑结构非常复杂，包含数百甚至上千个p o p ，数千个p o p 间互连链路，具有鼹层或者多层的层次结构。每个p o p 接入点网络( 如图1 1 所示) 根据路由器功能的不同可以划分为不问的层次一核心层、聚合层、边缘层以及对等层等。这种层次的组织方式允许通过增加额外的路由器来获得p o p 传输容量的可扩展性；允许不同层次在操作、管理上的分区，降低管理成本和管理复杂性；允许按照不同层次的功能选择特定的路由器或者网络设备，如：在核心层中使用高性能的核心路由器，在接入层选择支持桢中继等接入协议的拨号服务器等。但是传统p o p 体系结构存在如下几方面的缺陷，使其无法满足下一代互联网的需要：昂贵的可靠性：p o p 网络的高可靠性是以冗余路由器和冗余线路的代价来实现的。随着互联网日益成为通讯基础设施，要求p o p 网络达到电信级的可靠性标准，致使网络投资代价和需要管理的网络单元数量成倍增长，从而增加了管理代价，也降低了投资回报率：受限的可扩展性：设备冗余性的要求以及p o p 分层造成互联链路数量的增加，使得本第l 页图l1 传统的冗余多管理层次的p o p 网络结构来能够产生投资回报的机柜插槽不得不用于p o p 内部设备间的互联，p o p 网络的可扩展性迅速达到上限；复杂的管理维护：随着需要监控和维护的独立设备数量的增加，网络的维护操作变得非常复杂；在部署新业务，特别是在需要保证新业务的基本带宽、传输时延等要求时，需要配置众多的路由器，使得保障工作非常困难；恶化的协议性能：随着p o p 包含的网络单元数量以及连接关系的迅速增加，每个路由器需要管理的邻居数量以及路由表的复杂性迅速增长。这种内部复杂性延长了协议的收敛时间，增大了由于路由器故障、链路失效、操作维护错误造成客户业务被中断的潜在可能性；虚幻的新业务能力：部署在p o p 网络不同层次的路由器之间以及新部署的路由器与已有路由器之间在业务感知能力以及业务应用能力上存在严重的差别，可能使得实时业务、安全、组播以及区分服务等无法实现。在无法有效支持区分服务的互连网络中，任何有服务质量要求的新业务都是不现实的幻想；从上：面可以看出，已经部署的p o p 网络由于包含数量众多的网络设备以及复杂的互连链路，整个网络结构非常复杂，造成扩展性、可管理性以及投资代价等多方面的问题，无法满足未来下一代互联网络在可控性、性能可扩展、功能可扩展以及设备生命周期等多方面的要求。下一代互联网络仍然使用p o p 作为整个网络基础设施的基本组成单位，因此必须对现有的p o p 结构进行简化，通过消除复杂的分层和设备冗余性来简化网络体系结构，达到建立第2 页国防科学技术大学研究生院学位论文路由器集群图12 集群路由器对p o p 网络结构的简化更加可扩展、可靠、可管理网络的目的。这时原有的核心层、聚合层以及对等层塌陷成为一个或者几个大规模、统的核心路由系统，原有的边缘接入层由多业务边界平台或者直接由核心路由系统来完成。由于核心路由系统无以伦比的能力，p o p 网络的可扩展性、可靠性、灵活性以及业务区分能力得到了根本的提高。同时对p o p 的简化可以为整个互联网络带来深远的优势，构建起更加灵活的、可用的、可扩展的下一代网络基础设施。这些面向下一代互连网络的p o p 甚至允许多个地理上分离的p o p 进一步聚合成更少的、大规模p o p ，可以进一步简化整个网络的复杂性。图12 给出了对传统p o p 网络进行简化后构成的下一代p o p 网络结构示意图，其中原有的位于核心层、聚合层的路由器以及它们之间复杂的互连链路聚合成为一个大规模的核心路由系统，为了保证与已有接入方式的兼容性，原有的边缘接入层仍然被保留并直接连接到核心路由系统上。这样在p o p 简化后能够保护在低速接入方式( 如：桢中继、d s l 等) 上的投资，而新增用户则可以通过i p m p l s 等更高性能的接入方式直接连接到核心路由系统中，满足未来的多种业务需求。从图1 2 中可以看出，整个p o p 网络的简化都是以核心路由系统为中心的，只有通过部署能够将可扩展性、可用性、业务灵活性结合在一起的新型核心路由系统，才能使服务提供商以最少的网络设备、链路和p o p 层次，建立起简单的下一代p o p 网络体系结构。面向下一代互联网络，支持p o p 简化的核心路由系统必须具有如下特征：接口可扩展性核心路由系统由于要承担原有p o p 体系结构中的核心层、聚合层、对等层甚至边缘按入层的功能，因此必须具有高度的接口可扩展性，支持数以千计的物理接口以及数十万个逻辑接口。同时支持的接口类型必须具有高度的灵活性，从a t m 网络的d s 一3 接口到s o n e t 接口、从低速的桢中继到高速千兆以太网接口。极端情况下甚至要求单个板卡具有支持不同类型的物理接口的能力，以及板卡接口可动态配置的能力。第3 页国防科学技术大学研究生院学位论文路由与协议的可扩展性核心路由系统需要支持上千个、甚至上万个物理接口，p o p 间连接密度的增加可能使其与数万个路由器保持邻按关系，因此i p 层报文转发表需要维护的下一跳信息的数量飞速增长。目前报文转发层面需要维护数百万条i p v 4 v 6 路由以及m p l s 标签交换路径构成的报文转发表，并要保证每秒数百次的转发表更新请求。巨大的转发表与数万项下一跳信息藕合在一起，对传统路由器报文转发层面的实现机制提出挑战，要求其具有高度的可扩展性。传统p o p 网络在对等层与邻接p o p 建立数千条b g p 邻居会话，p o p 简化导致对等层及构成对等层的大量路由器消失，因此必须将这些b g p 邻居会话迁移到核心路由系统的b g p 协议上。这对传统b g p 协议软件的体系结构及实现机制提出严峻挑战，核心路由系统必须在支持数以千计的b g p 邻居会话的同时，保证高效的、基于规则的复杂路由策略的实施。高可靠性随着互联网络日益成为企业和个人用户的基本通讯设施，对p o p 网络的高可靠性要求也日益增强。下一代互联网要达到9 9 9 9 9 电信级别的可靠性，因此作为p o p 核心处于重负载状态下的核心路由系统必须提供无以伦比的高可靠性，否则任何微小的故障可能会导致整个p o p 网络瘫痪，影响到客户的关键业务。核心路由系统的高可靠性包括两方面的内容：在硬件层面，目前的核心路由器体系结构虽然使用分布式转发技术，但是仍然基于单一的控制平面实体，存在单点失效问题。只有使用全分布式的转发、控制层面体系结构才能保证硬件平台的高可靠性；路由器软件系统由操作系统、驱动程序、协议栈以及上层路由协议进程等构成，软件层面必须保证任何进程的错误不会造成核心操作系统或者其它进程的崩溃。这要求每个进程使用受保护的私有内存空间，进程间通过仔细定义的a p i 进行通讯，而路由器软件的操作系统使用微内核技术，避免关键进程或者驱动程序的错误造成系统崩溃。转发能力的可扩展性i n t e r n e t 网络流量至少以每年翻一番i ”】的速度快速增长，p o p 网络在报文转发性能以及网络带宽上必须保证极强的可扩展性。传统p o p 网络通过不断购买具有更高背板交换能力的新型设备替换已有设备，来满足用户快速增长的需求，造成核心路由器的设备生命周期非常短，极大地浪费了已有投资。支持p o p 简化的核心路由系统要具有长生命周期，在不替换核心系统的情况下可以通过只增加设备节点数量来扩展转发性能。控制平面灵活性p o p 简化将核心层、聚合层、对等层中以万计的路由器聚合为核心路由系统，原有这些路由器承担的上千个b g p 邻居会话、众多的路由协议进程、数万个物理接口的设备驱动程序以及大量转发引擎的转发表计算、更新功能都由核心路由系统的控制平面处理。单处理器很难满足这种巨大计算量的要求，必须灵活地使用分布式系统的多处理器资源，能够随着系统规模的扩展获得计算能力的可扩展性。控制平面的路由协议、各种业务进程要以灵活的、可扩展的软件模块方式实现，在线状态下就能够实现软件升级或者新业务功能的部署。高度可管理性对如此大规模的系统，使用外部管理工具对各个物理接口、转发引擎的实时状态进行轮询监控，分析巨量状态数据间的相关性，会迅速造成整个网络带宽和网管平第4 页国防科学技术大学研究生院学位论文台计算能力的过载。核心路由系统必须支持基于脚本语言的管理接口以及内嵌的工具集合，在路由系统内部完成性能监控、安全事件的记录分析、流量带宽的记账以及对警告事件之间关联性的分析等工作。只有那些具有较高价值的重要数据或者对整个系统造成重要影响的事件才提供给网络管理员，可以极大地降低p o p 网络的管理代价。安全性核心路由系统的安全性除了支持传统的安全报文转发和大容量的安全信息( 包括安全策略、证书、签名等) 存储以外，还必须对新增业务模块实现访问控制、性能隔绝以及来源认证等安全功能。网络应用的迅速发展，要求核心路由系统提供客户新业务模块的快速部署能力，但是对恶意模块必须保证不能由此获得整个系统的控制权，占用系统全部计算资源和网络带宽。根据以上对下一代核心路由系统应该具有的特征的总结，我们可以看出现有路由器体系结构难以满足其要求。核心路由器体系结构的发展经历了从集中式到分布式的过程，当前的高性能核心路由器普遍基于分布式转发，交换网络互连的体系结构，如图1 3 所示。但是这种体系结构的性质还是单一而固定的，主要表现为：转发平面采用单一且容量固定的交换网络进行互连i 控制平面也由单一的控制卡集中进行路由计算和协议处理。这种具有单一特性的路由器体系结构存在可扩展性差、单点故障等问题，同时也限制了路由器的规模和性能，难以满足未来需求。为了适应下一代互联网络的需要，必须在核心路由器体系结构上寻求创新和突破。基于集群技术的路由器体系结构是解决上述问题的一个优选方案，集群路由器圜瓤野蜀国特l 接口i 模块1 器0 理器i l 目【擎l l h圜黧囝圜圈l 接口l 模块l 器0 理器l l 引擎”1：-隆蝰蝰堕国喹窿礁堕囡：喹 匿碾噩糟喹蝰盈图13 核心路由器的分布式转发体系结构电成为新一代高性能核心路由器的发展方向。下面对本文中所指的集群路由器给出具体定义：定义1 1集群路由器：指将多个可独立运行的路由交换节点( 如：常规路由器或通用p c 计算机等) ，通过某种高速互连网络连接起来构成的单映像路由系统。根据定义1 1 可知，集群路由器的构成节点以及关键特征必须满足：1 集群路由器在物理结构上由多个路由交换节点组成，每个交换节点包含独立的报文转发引擎和控制平面的计算资源。例如：交换节点可以是基于分布式转发结构的高性能第5 页藤戮鬻纛黼黪缀鬻邈国防科学技术大学研究生院学位论文路由器，也可以是一台通用p c 机。前者的报文转发引擎对应于a s i c 芯片或者网络处理器，后者的转发引擎只是软件系统的一个模块。每个交换节点既可以独立的执行协议计算、报文转发功能，又可以在集群软件的配置下以协同方式进行分布式的报文转发。2 高速互连网络将多个路由交换节点连接起来，构成高性能的集群结构。在定义中对高速互连网络的物理组成没有任何约束，它可以是高速交换网络，也可以是光交换设备，甚至是具有一定拓扑结构的局域网络。由于单播和组播等转发协议的需要，高速互连网络必须支持单播、广播、组播等灵活的网络内部传输机制。3 组成集群路由器的路由交换节点可以是同构的，也可以是异构的。这里的同构性、异构性包含两方面的含义：在硬件组成上，路由节点的同构性要求每个节点具有相同的硬件配置和处理能力，异构的路由节点则可以是多种网络设备、p c 计算机的混合。在路由软件上，路由节点的同构性指节点之间具有对称的软件功能，每个节点在不需要其它节点协助的情况下能够独立地完成全部软件功能；异构性指每个节点负责整个路由软件中一个或者部分模块的执行，只有全部节点集合才能完整地代表整个路由软件系统。4 集群路由器必须保持单映像性| 1 2 】。单映像性是指从组网的角度来看，一个集群路由器是一台路由器，而不是一个具有拓扑结构的网络。即：从集群路由器所在网络中任意一个路由器( 不包括集群路由器自身) 的视图来看，集群路由器应该表现为网络中的一个路由节点，而不是具有拓扑结构的予网。路由器硬件体系结构从集中方式发展到集群结构下的分布式并行处理方式，路由器控制平面的发展则相对比较滞后。很多集群路由器仍然使用主从控制模式，指定一个