（电路与系统专业论文）分布式网络设备的软件在线升级系统设计.pdf

杭州电子科技大学硕士学位论文 v 摘 要 随着企业在统一 ip 网络上部署应用的增多和网络信息全球化趋势的推动下，网络永续性 对企业的成功变得越来越重要，“始终运行”的网络服务系统已经不能再通过“非高峰期中 断”的方法来完成间隙的规划、维护和软件升级工作了，任何类型的网络节点中断都是无法 容忍的。 同时，随着网络业务量的增多，新兴业务的出现，对软件版本维护和升级提出了很多新 的需求，比如软件应用缺陷维护、利用软件升级来增加新的特性和功能、适应硬件系统的改 变和更新等等。另外，软件衰老速度逐步加快，网络设备的软件版本更新换代开始显得越来 越频繁。这让企业、网络供应商以及运营商都发现计划内的网络升级和维护已经是导致业务 中断的重要原因之一，所以必须消除计划内升级和维护所带来的影响来提高网络设备的可用 性。 本文以冗余路由器为例，描述了一种能在分布式网络设备上实现业务不中断软件版本在 线升级的过程，它利用不间断转发技术、主备倒换的热备份技术、热补丁技术、进程间通信 和主控硬件冗余等现有成熟技术在用户流量保证不中断转发的同时真正意义上实现了软件在 线升级和版本替换。在升级过程中涉及到升级有效性检查、版本兼容性协商，回滚定时器设 计等内容，系统可以通过快速回退的特性消除升级风险和隐患。本文设计的在线升级系统有 效地解决和减少了由于软件版本升级和维护带来的业务中断现象，消除了与软件版本升级相 关的深夜维护，它以更快的速度实施新特性、硬件和修复功能，并且进一步提高了分布式网 络设备的可用性。它的出现，对于解决目前网络设备软件版本升级存在的问题起到一定的研 究价值。 论文还研究了影响网络设备系统可用性的各种因素，并分析了相应的解决策略。最后， 利用一款分布式网络设备和 smartbits 工具对升级系统的功能、性能进行了全面测试。测试结 果表明：该升级系统能很好的适用于大型分布式网络通信设备的软件版本在线升级需求。 关键词：业务不中断升级，高可用性，网络通信设备，热补丁，兼容检测，进程间通信 杭州电子科技大学硕士学位论文 vi abstract as your business increases deployment of applications over a unified ip network and the trend of network information globalization, network resiliency becomes critical to enterprises success. the always run of network service system can no longer be used to late night approach to complete the planning, maintenance and software upgrades, and any type of network nodes interruption are unable to tolerate. at the same time, as the network business increases, the appearance of new business.for software version maintenance and upgrade put forward a lot of new demands. for example, defects in the maintenance software, software upgrades to implement new features or capabilities, and adapt to the hardware systems changing or updating and so on. in addition, the speed of software caducity begins to accelerate, and software version upgrades of the network equipment are beginning to more and more frequently. enterprises, service providers,and network operators find that a primary causes for downtime results from planned network maintenance.so we must limit the impact of planned upgrades and higher the network equipment s availability. this paper describes the design of in- service software upgrade (issu) system of redundant route processors takes advantage of nonstop forwarding with stateful switchover (nsf/sso), patching, ipc and hardware redundance to permit true in- service software upgrades or version changes while continuously forwarding user traffic. in the upgrade process, related to the content of checking the validity of software upgrades, compatibility check and rollback timer design can mitigates upgrade risk with rapid rollback feature. so the issu system have faster upgrades, minimal impact to service, eliminates late night m aintenance windows for software upgrades, allows faster implementation of new features, hardware, and fixes and higher availability. for the solution to the problems of the current network equipment software upgrades play a certain research value. this paper also examined the various impact factors of network equipment systems availability, and analyzed the corresponding solution strategies. finally, the issu upgrade systems functionality and performance was fully tested with a distributed network equipment and smartbits tool. test results show that: the upgrade system can be well- suited to in- service software upgrades of the distributed network equipment. keywords：issu, ha, network communications equipment, patching, compatibility, ipc 杭州电子科技大学硕士学位论文 iv 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明： 所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得 的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过 的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 日期： 年 月 日 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕业离校后，发表论文或 使用论文工作成果时署名单位仍然为杭州电子科技大学。学校有权保留送交论文的复印件， 允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其 它复制手段保存论文。 （保密论文在解密后遵守此规定） 论文作者签名： 日期： 年 月 日 指导教师签名： 日期： 年 月 日 杭州电子科技大学硕士学位论文 1 第1章 绪 论 1 . 1 引言 随着计算机网络技术的快速发展1，各种增值业务在互联网上开始得到了广泛的应用。 尤其是对于新兴的 ngn/3g、iptv 流媒体、大客户专线和 vpn 互联等重要的电信级业务来 说，它们对 ip 电信网络的可用性提出了很高的要求，即使是相对较小的中断，也会对用户的 服务和体验产生很大的负面影响。 按照软件工程学2的观点，软件的生命周期一般可划分为规划、需求分析、设计、代码 实现、测试以及运行维护六个阶段。其中，软件维护方面所耗费的工作量可能会占据整个软 件生命周期总工作量的 70%以上，这是由于软件产品与其他产品不同，它在生命周期中因为 需要修改原来代码的错误和缺陷、适应新的环境和添加用户需求来增加新的功能等原因而不 断发生变化，这样一来就需要不断地修改软件，所以软件版本的更新换代是不可避免的。在 网络应用方面，随着网络业务量的增多，新兴业务的出现，网络通信设备的软件版本更新和 维护显得越来越频繁，利用软件升级来增加新的特性和能力或软件维护已经是导致网络系统 中断的主要原因之一3。 据此，各大网络设备生产商纷纷寻求软件版本在线升级的方法，以原有软件在线维护的 思想为基础， 提高网络系统的高可用性为目的开始推出业务不中断升级系统 （issu， in- service software upgrade）来打造可持续运行网络4。本文结合不间断转发技术、热补丁技术以及更 加严密的兼容性检查技术对分布式网络设备的 issu 升级系统进行了设计与改进，利用本文 提出的设计方法考虑到很多潜在的设备中断原因，并且设法在问题实际发生时提供自动防故 障安全机制和回退处理，从而快速、自动地识别和隔离问题，使系统恢复正常运行，更加确 保了网络的稳定性和高可用性。 1 . 2 软件在线维护的研究和应用现状 随着网络通信技术、分布式系统体系结构开发、软件工程、容错计算和嵌入式系统等技 术的快速发展，为软件在线维护和升级提供了实现条件。为此许多国内外研究机构在各种应 用领域对软件在线维护展开了广泛深入的研究，主要是针对实时性、可用性要求高的航天领 域。目前，国外在软件动态在线维护和升级方面的研究和贡献主要包括以下几个方面5- 14： （1）obsm(on- board sotfware maintenance)平台：欧洲空间局在软件在线维护方面己经 建立了一套完整的 obsm 工作平台，它主要包括编程器，软件开发环境和验证设施，航天器 存储器映像数据库以及上行注入程序的生成器，用以支持新程序的生成和经上行信道注入到 杭州电子科技大学硕士学位论文 2 航天器数管系统中。对正在运行的飞行器程序的修改和新增模块是在原来的程序的基础上利 用“打补丁”的办法来实现的，这种方法对较小规模的软件修改和升级十分有效。 （2）在轨控制过程 obcps (on- board contorl procedures)：obcps 是欧洲空间局采用的 另一种更加安全和有效的在线维护方法。它是一个独立的在轨运行程序，在运行中能够和其 它在轨子系统进行交互，并且拥有与地面操作员相似的能力。它由地球站装载并启动，然后 自行控制软件的后续运行。obcps 与一般的在轨控制方法不同体现在它并不是通过地面发出 指令然后通过飞行器上的软件接口执行相关操作的，而是 obcps 本身包含了所有的操作代 码，当飞行器接受到在轨控制过程以后，它会通过其自身包含的代码直接进行操作，它具有 更强大的功能和灵活性。 采用 obcps 的方法可以针对某一个飞行器的子系统在线进行修改和 升级维护，实现了系统性能的进一步提升。 （3）利用非专用的系统冗余的预防性维护方法：美国国家航空和宇宙航行局在其 xz000 航天任务的计算系统中，采用了一种非专用系统冗余的预防性在线维护方法。这种方法主要 是利用处理节点的冗余备份，在非关键任务时期让任务在各处理节点上交替运行，每隔一段 时间就交替重新启动各处理节点，这样就可以在一定程度上解决硬件的电子漂移问题，同时， 将应用程序在几个处理节点上交替运行，又可以解决程序在某一处理节点上的内存泄露以及 数据冲突等问题。通过这种交替的方法，可以同时实现软件和硬件的在轨恢复，而且对系统 可用性几乎没有任何影响，能够起到软件的在线维护和升级的效果。 （4）受保护的软件升级方法：针对软件在线升级时引起的系统可用性下降问题，有研究 者提出了一种受保护的软件升级方法，有点类似于上面提到的冗余备份的方法。该方法采用 版本切换技术，在更新软件时保留了老的软件版本，它包括设置验证时期和保护操作时期两 个阶段，在这两个时期内新老版本同时运行并比照计算结果，如果一切顺利才完成新版本的 升级，否则将会继续使用老的软件版本。 国内也在各个应用领域展开了软件动态维护方法的研究。例如数字电视机顶盒软件升级 机制15- 16；通信设备上基于嵌入式系统的软件升级方法17- 19；一种利用系统驻留模块的软 件系统动态维护方法20- 21；智能仪器远程升级技术22等等。这些研究都在某些特定应用环 境中实现了一定程度上的软件动态维护，因此对于网络设备上实现软件在线升级具有非常高 的参考价值。 1 . 3 网络设备 issu 升级系统的概述 网络通信设备，比如各种类型交换机、路由器等，他们也属于嵌入式系统。和普通的 pc 机一样，这类设备的硬件以处理器为核心，包括外围存储等诸多其他设备。网络中主要存在 两种形态的通信设备，分别是集中式设备和框式分布式设备。分布式网络设备以分布式以太 网交换机为例，主要用于企业网、城域网以及校园网的核心和汇聚层，它具备大容量、高速 率、高可用性、高容错性以及实时性要求极高等特点。根据分布式结构的特点，它在硬件上 杭州电子科技大学硕士学位论文 3 拥有两块或两块以上主控板（一般以两块为主） ，它们是整个网络设备的核心，承担着整个系 统的路由处理、资源管理、状态监测、网管代理等全局功能；另外拥有多块接口板，负责具 体业务处理，如 ip 报文转发，mpls 报文交换，qos 保证等工作。 目前，我国网络设备中大多数软件仍是固化的，几乎都采用一种简单的停机版本替换的 方法，只有少量软件是可在线维护的。其过程一般包括三个步骤： （1）停止当前正在运行的 软件和硬件系统； （2）更新操作系统和硬件环境，以及替换需要修改和新增的应用软件； （3） 重新启动系统，待系统初始化完成后重新运行新的软件版本。这种简单软件升级和维护方法 对于要求不高的系统是可用的且低成本的。但它有一个非常大的缺点，就是缺乏灵活性和通 用性，并且在软件进行升级或者维护时系统不能够执行任何正常的任务，对于规模较大的网 络系统升级一次常常需要长达几个小时的业务中断，这对于实时性和可用性要求极高的分布 式网络设备来说是难以接受的，它极大地违背了网络设备的高可用性要求。 针对分布式网络设备的软硬件特点，软件在线维护技术在网络设备上得到了发展。起初， 对于实时性要求较高的网络设备在修改规模较小的情况下，可以通过增加热补丁方式来定位 网上问题、增加产品特性以及修正产品错误。但是，网络业务量开始大大增加，主控板的软 件往往需要有很大的更新，热补丁已经不能够满足软件版本代码的大规模修改，况且热补丁 技术很难涉及和修改系统的核心控制代码，如果修改不慎很可能会对系统的稳定性造成一定 的影响。随着分布式设备的出现和双主控冗余技术的成熟，网络设备的控制平面和转发平面 开始分离，本文以上节提到的欧洲空间局的 obsm 的打补丁思想、非专用的系统冗余的预防 性维护方法和受保护的软件升级方法为基础，对分布式网络设备提出一种独特的软件版本在 线升级方法。 本文提出的issu升级系统是通过命令行执行顺序进行的， 它结合主控冗余、 热备份、 ipc、 热补丁以及不间断转发等外部模块拥有加载（load） 、倒换(runswitch)、确认(accept) 和完成(commit)四个升级过程实现了整个设备软件版本的升级，同时在升级过程中增加了 三个异常回退(rollback)过程，包括手动回退和回滚定时器超时回退。当发现有任何异常， 比如升级过程中出现故障、误操作以及死循环等原因导致升级过程无法继续时，都可以以手 动回退或者等待超时的方式来终止本次升级，极大地增强了升级系统的灵活性和容错能力。 具体的设计和实现过程会在后续章节进行详细介绍，简单的 issu升级流程如图 1.1 所示。 杭州电子科技大学硕士学位论文 4 old old old old newnew old new old new new 主板 备板 接口板 loadrunswitchacceptcommit rollback old old new new new old old old new new new new new new 图1.1 issu简单升级流程 本文提出的 issu 升级系统在分布式网络设备上实现了业务不中断软件版本升级，延长 了网络的运行时间，大大提高了网络设备的可用性。并且随着分布式堆叠技术和虚拟网络设 备23的逐渐成熟，网络设备开始变得越来越复杂，功能变得越来越强大，为 issu 升级系统 的发展与应用提供了更加广阔的空间。 1 . 4 本文内容 本文的研究重点是利用 issu 升级系统来提高网络高可用性、降低系统维护成本和缩减 升级断流时间间隔，结合现有的热补丁技术、主控冗余技术着重研究和设计了 issu 升级系 统的软件版本兼容性检查系统、异常回退系统、业务不中断转发系统、issu通信模块、加载 启动模块以及接口板升级模块等。文章的内容如下： 第1章 绪论。本章简要分析了 issu 系统的研究背景及意义，研究了当前软件动态在线 的维护方法，并简要介绍了 issu系统实现的可行性和本文研究的重点。 第2章 基于 issu 系统高可用性的相关技术。本章以分析了网络设备的可用性对网络信 息时代造成影响，并以可靠性系统相关理论为基础，阐述了影响网络设备高可用性的具体因 素以及具体的容错、避错机制。提出了以 issu 升级系统的实现来打造持续运行系统、提高 网络设备的可用性的方法。并且以 issu升级系统的设计架构为依据，分别就 issu系统涉及 到高可用性技术和模块给出了具体的改进和实现方案。并对 issu 系统主控板和接口板的升 级模式各自提出了设计框架，为 issu系统的实现提供了技术支撑。 第3章 issu升级系统的设计。本章主要介绍了 issu升级系统的实现和软件开发环境、 杭州电子科技大学硕士学位论文 5 设计框架以及子模块的划分，并且详细介绍了 issu 系统各个子模块的实现细节，是本文的 核心章节。 第4章 issu升级系统的测试。本章介绍了 issu系统的测试环境、测试内容，并在测试 用例的基础上给出了具体性能的分析。 第5章 结束语。本章总结全文内容并提出设计中不足和改进思路，以及对 issu 系统未 来的发展进行了展望。 杭州电子科技大学硕士学位论文 6 第2章 基于 issu 的高可用性技术 2 . 1 网络设备高可用性的概述 高可用性 ha（high availability）是指一个产品或系统对客户持续服务的能力24- 28。一 个高可用的网络，首先肯定不能频频出现故障，只要一出现故障，即使是很短时间的中断， 都会影响业务的运营，特别是在当前实时性强和对丢包和延时敏感的业务，例如语音和视频 等业务在网络上广泛部署的情况更是如此；其次，即便系统出现了故障，也应该有能力很快 恢复，如果一个网络一年不出一次故障，但是一次故障需要中断几个小时，甚至几天才能恢 复，那么这个网络也算不上一个高可用的网络，对于运营商、电力或金融等企业生产网络来 说，几个小时的中断几乎可以说是致命的，即使对于一般的企业，由于电子化办公的普及， 几个小时的网络中断也是难以忍受的。 2.1.1 网络可用性的度量 可靠性（reliability）是指从它开始运行到某个时刻的时间间隔内正常运行的概率，提高 可靠性需要强调减少系统中断的次数，一般用( )r t度量，是指在 t=0 时，在时间区间0，t内 能系统正常运行的概率。假设单位时间内系统失效的概率为，则可靠性( )r t可以服从负指 数分布29- 31： ( )r te = （2.1） 在工程的实际应用中，从( )r t中可以抽取出一个表征系统可靠性的简单参数：平均无故 障时间(mttf)。平均无故障时间定义为从 t=0 时刻到系统失效时，系统的持续运行时间的期 望值，其表达式为： 0 ( )mttfr t dt + = （2.2） 由于实时系统具有更小的时间粒度、更高的控制精度和强大的运算能力，越来越多的高 可靠性系统已经从过去依赖人工或高可靠的模拟系统转向依靠实时系统，从而获得更加确定 的可靠性。与可靠性不同的是，高可用性网络在强调减少系统中断（故障）的次数的同时重 点强调减少从灾难中恢复的时间。事实上，故障少，故障恢复时间短两个特征基本就已经概 括了高可用性网络的特点， 所以可以通过平均修复时间 mttr(mean time to repair)和平均故 障间隔 mtbf（mean time between failures）两个指标来对可用性进行衡量32- 35。mttr事 实上描述的是网络的容错能力，它是指在网络组件出现故障或者错误时，网络从故障中恢复 过来的时长；mtbf 可以认为描述的是整个网络，包括网络中各个组件（如链路，节点）的 可靠性，用来描述网络及其组件的不间断无故障可靠运行的时长。 杭州电子科技大学硕士学位论文 7 有了 mttr 和 mtbf 这两个指标，网络可用性可以用以下的表达式进行计算： *100mtbf availibility mtbfmttr = + （2.3） 举一个简单的例子，一个网络在一年 365 天中，出现 5 次故障，故障的总时间是 2 个小 时，计算这个网络的可用性。首先，计算网络的 1 年中的可用时间，即总的时间减去故障时 间，为 365*24- 2=8758 个小时，其次，分别计算 mtbf 和 mttr：mtbf=8758/5=1751.6 小 时，mttr=1/5=0.2 小时。将它们代入表达式（2.3）可以得到 availability=99.9886%，接近 4 个 9 的水平。表 1 揭示了 n个 9 的可用性的情况下，对应到 1 年中中断服务的时间。 表 2.1 n 个 9 的可用性对应 1 年中中断服务时间 availability 中断时间 90% 36.5 天 99% 3.65 天 99.9% 8.76 小时 99.99% 52.56 分钟 99.999% 5 分钟 99.9999% 32 秒 从表中可以发现，和我们主观的想象不一样，99%的可用性其实已经是一个很差的系统 了，它在一年中有 3.65 天是网络不可用的。即使是在 4 个 9 的水平下，它的可用性也是不高 的，一年的中断时间也将近达到了 53 分钟，只有到 5 个 9 的水平，一年中断服务仅为 5 分钟， 才感觉到可用性比较高，5 个 9 的水平已经是目前很多网络建设时追求的目标。 2.1.2 提高网络可用性 可以对表达式（2.3）作一下变化，得到： 1 1 mttr availibilitymtbf = + （2.4） 从表达式（2.4）中可以直观地看出，提高 mtbf 和降低 mttr 的方法都可以提高网络 的可用性。然而，网络中各个组件的可靠性是有其极限的，出现故障是不可避免的，在这种 情况下，网络的容错能力极大的决定了网络的可用性。 网络设备的不可用因素可以分为可控因素和不可控因素。其中，不可控因素主要是指战 争、自然灾害、大范围停电、人为破坏等因素，它们是很难进行人为控制也很难预测的，只 能尽量避免。可控因素主要指设备软硬件故障、线路故障、网络拥塞、dos/ddos 攻击36、 维护升级、操作失误等。为了提高网络设备的可用性，有一个很自然的想法就是把上述可控 因素一一采取措施，比如加大测试投入、提高软件版本质量、减少线路故障发生、优化网络 设计或升级网络，避免拥塞、避免用户高峰进行网络升级、减少维护带来的网络中断等使网 络尽量不出故障，事实上就是延长了 mtbf。 杭州电子科技大学硕士学位论文 8 但是，上述延长 mtbf 的方法都有其局限性。首先软硬件版本质量提高是有极限的，因 为测试是一种消耗性的工作，必须考虑投入产出比，而产品上市的压力也会缩短测试投入时 间，所以不可能无限制的投入；其次测试不能保证发现所有问题，再严格的测试也难保会遗 留质量问题；再则，在实际网路中，总是避免不了各种人为和非技术因素造成的网络故障和 服务中断。不管由于什么原因，出现故障几乎是在所难免的，基于这个事实，开发能让网络 迅速从故障中恢复的技术非常重要。 事实上如果网络总是能在不中断业务的情况下快速恢复， 对多数用户就其用户体验来说，甚至可以认为是无故障的。从故障中快速恢复，也就是缩小 了 mttr，同样可以达到提高网络可用性的目的。 永不失效的系统是不可能实现也不可能存在的，所以用户希望系统失效的概率足够低， 以满足其应用需求，即系统的可信赖程度需要达到用户要求的水平，比如前面提到的 5 个 9 的水平。网络的高可用性技术，基本都可以归入容错技术37- 44，即在网络出现故障时， 系统能确保网络快速恢复。让网络能从故障中快速得到恢复，首先，是要尽量快速的发现故 障；其次，最好能有备份的转发或路径，一旦发现故障，就可以把业务流量快速切换到备份 路径或链路，对于备份的链路或路径，可以是已经构建好的，也可以是在故障后重新计算获 取的，如果条件不允许没有备份路径或链路，就需要想办法让故障节点能在不中断业务的情 况下尽快恢复，并尽量避免局部节点的故障对整个网络造成冲击和影响。现在，高可用性技 术已经发展得相当成熟，它主要包括：冗余技术、快速故障检测技术、环网技术、链路捆绑 技术45、热补丁技术、不间断转发技术、动态路由快速收敛技术、mpls 快速重路由46等。 另外，issu升级系统的出现，将会大大延长系统平均故障间隔 mtbf，解决了因维护升级而 导致业务中断的不可用因素的影响，它已经开始成为提高网络设备系统可用性的必备手段。 基于 issu升级系统的需要， 本文将对 ha 模块的双主控冗余技术、不间断转发技术和热 补丁技术进行详细介绍，为后续 issu模块的设计提供必要的技术支撑。 2 . 2 主控冗余技术 主控板是整个路由器或者交换机的核心部件，承担着整个系统的路由处理、资源管理、 网管代理和状态监测等全局功能。另外还集成了三级时钟、cf（compact flash）卡等功能模 块。在设备只有单主控的情况下，如果主控板故障时整个系统将处于中断状态，并且重启一 次主控板需要加载映象文件、初始化配置、重新注册接口板，然后重新创建控制平面和转发 平面的表项，整个过程一般在 5 分钟以上，这个时间对于电信网络和实时性要求很高的系统 来说是无法忍受的，特别是对于网络中处于单点故障的节点来说更是如此，因为没有备份的 路径和设备，业务在这个过程中将会完全中断。为了缩短主控板重启时间，减少业务中断带 来的损失，主控冗余技术应运而生。 杭州电子科技大学硕士学位论文 9 2.2.1 控制平面与转发平面分离 因为主控冗余只有在控制平面和转发平面分离的架构下才能发挥最大的效用，所以这里 先介绍一下控制平面和转发平面分离的概念。控制平面与转发平面分离体系结构的关键思想 就是打破控制和转发紧耦合的集成方式（也就是前面提到的集中式网络设备，由于它的自身 缺陷不适合开发业务不中断升级系统） ， 可以将路由器构架除管理平面和基础设施平面外严格 的划分为控制和转发两个层面。控制平面使用通用 cpu 负责路由的控制和计算，转发层面的 每块接口板使用专用 cpu(它具有专用的转发芯片)负责报文的转发和交互，这样一来控制平 面与转发平面各司其职，在保证路由控制和计算的高可用性的同时，提供了高性能的报文转 发。 具体地说控制平面仅负责各种协议的控制和管理，比如路由协议（包括 ospf/is- is /rip/bgp） 、标签分发协议（包括 ldp/rsvp- te/bgp）等的处理，它们分别形成路由信息表 （rib）和标签信息表（lib） ，然后加上各自必要的二层信息，形成路由转发信息表（fib） 和标签转发信息表（lfib） ，下发到转发平面，由转发平面来实现报文的快速转发。控制平 面的处理只在主控板上进行，而转发平面的处理既可以在主控板上（集中式设备） ，也可以在 接口板（分布式设备）上实现。一旦实现了控制平面和转发平面的分离，即便控制平面出现 了故障，转发平面的转发表项在短时间内依然可以认为是合理的，继续转发数据和报文而不 会导致例如环路等问题。当然，控制平面必须能快速恢复正常运行并重新和邻居建立协议会 话，待路由收敛后再对转发平面进行检查，然后对相关的表项作必要的更新，同时删除在新 的会话环境下不能正确的转发表项。 结合 ha 模块在整个网络系统中的重要地位，分布式网络设备控制平面和转发平面的分 离架构如图 2.1 所示。从图中可以看出在主控冗余的设备上，配备了两块主控板，一块实际 起作用，称为主用主控板，另一块为备用主控板，后续章节中以主控板表示主用主控板，备 用板表示备用主控板。其中，只有主控板进行控制平面的处理，并生成转发表项下发到转发 平面。备用板上的映像文件虽然也是充分启动的，配置也从主控板得到实时备份，但备用板 并不参与控制平面的处理。不过，主控板控制转发平面的各种表项例如二三层转发表项、组 播转发表项和标签转发表项等，它们会以定期批量备份或者实时增量备份的方式持续备份到 备用板上。虽然备用板上的控制平面对整个网络的状况一无所知，但转发平面却因为和主控 板进行了同步而基本能反映当时的网络转发状态， 所以随时可以替换主控板承担起转发任务， 这就是转发平面和控制平面分离带来的效果47。主控板和备用板之间连接和数据交互会在下 面的主备倒换热备份模块进行详细介绍。 杭州电子科技大学硕士学位论文 10 接口板1接口板2接口板n 以太网高速总线 注表示重要数据的传输 表示ha模块对其它模块的控制 ha模块 控 制 平 面 转 发 平 面 路由协议 （启用） 网络管理 （启用） 系统数据维护 （启用） 板间通信模块 （启用） ha模块 路由协议 （不启用） 网络管理 （不启用） 系统数据维护 （启用） 板间通信模块 （启用） 主用主控板备用主控板 tcp传输 备份文件 udp传输 心跳数据交 互 图2.1 分布式网络设备控制平面和转发平面的分离构架 2.2.2 主控冗余技术的缺陷 主控冗余技术从一定程度上提高了网络的高可用性，但因为新的主控板在主备倒换前不 参与控制平面的任何处理，在主备倒换后需要重新和邻居进行会话协商，所以即使它保存了 完整的转发表项，但只能避免部分流量不中断。比如，二层业务以及从本设备往外发送的数 据和报文可以不中断；另外，如果设备和邻居之间配置的是静态路由或者是静态 lsp 的话， 邻居也会继续往发生主备倒换的设备发送数据和报文，流量不会中断。但是，如果和邻居之 间配置的是动态路由协议或者是动态标签分发协议，和邻居之间的流量是会中断的，这是因 为控制平面在会话重置的情况下，邻居的控制平面会重新计算选择它认为最合适的路径进行 收敛。以 ospf 协议为例，新的主控板在发出的 hello 报文中如果没有原来邻居的 rid，会导 致邻居将 ospf 会话状态进行重置，并把和发生主备倒换的设备相关的 lsa删除，导致路由 重新进行计算，如果有其他可选路径的话，流量会绕开发生主备倒换的设备，如果没有可选 路径，则需要等待 ospf 重新收敛，在重新收敛之前，邻居是不会把流量发给发生主备倒换 的设备的。 杭州电子科技大学硕士学位论文 11 从以上分析中可以看出：路由器在进行主备倒换时，路由协议层面会与邻居之间发生震 荡，这种邻居关系的震荡将最终导致路由震荡的产生，使得主备倒换的路由器在一段时间内 出现路由黑洞或者导致邻居将数据业务进行旁路，进而导致业务在该时间间隔内出现中断现 象。 2.2.3 路由收敛技术 为了克服主控冗余技术的缺陷， 目前提出了很多关于提高 ospf 和 is- is 两个路由协议的 收敛速度的方法。比如利用快速 hello 报文加快故障检测速度以及 ospf 和 is- is 邻居关系的 建立速度；采用 ispf 算法来优化 spf 计算效率，目前实用的 ispf 算法，其收敛时间已经可 以控制在 100ms 以内；通过调整 spf timer 来减少 lsdb同步到 spf 计算开始之间的时间间 隔等等。 以 ispf 算法为例简单介绍一下提高路由收敛速度的方法， 在通常的 ospf、 is- is 协议中， 如果网络链路状态发生了变化，那么整个最短路径树都会重新被计算。事实上，在实际链路 状态发生变化时，以发起计算的路由器为源点的最短路径树绝大部分是不需要重新计算的， 只需要对受链路状态变化影响的那部分才需要进行重新计算。如文献48所述的 ispf 算法， 称为“基于球- 绳模型的动态 spt 算法” ，这个算法可以充分利用链路状态变化前计算出 的 spt树的信息，只需要更新 spt树中受链路变化影响的部分，其基本思想是：对需要更新 的 spt子树在计算过程中选择节点时，优选到子树根节点的距离值减少最大（或增加最小） 的节点。下面以一个例子对 ispf 算法作下简单介绍，如图 2.2 所示。 0 11 8 a 8- 2 7 7 b 4 10 45 10 2 c d e 12 2 f 0 9 2 a 2 6 7 4 7 45 10 2 c d e 9 2 f b 改进前链路变化后的最短路径树改进后链路变化后的最短路径树 图2.2 ispf算法的一个示例 上面图中，a- f 标记各个节点，圆圈中的数字表示到子树根节点 a 的路径值，箭头（包 括虚线和实线）表示有向路径，附在箭头上的数字表示该路径的路径值，实箭头表示路径被 杭州电子科技大学硕士学位论文 12 选入最短路径树，虚路径表示路径未选入最短路径树。在下面的叙述中节点括号后面的数字 是表示根到这个节点的距离，比如 b（6） ，表示根到 b 节点的距离为 6。 假设左图中 a 和 c 的路径的路径值从 8 变为 2，那么根据通常的 spf 计算过程，选择 c 后考虑节点 b（6） 、e（7） ，因为 b 到 a 的距离更小，优选 b；考虑 d（10） 、e（7） ，e 到 a 的距离更小，优选 e；然后考虑 d（重新计算为 9） 、f（9） ，距离相同，随机选择 d、f，计 算结束。如果我们作一个改变，在考虑节点时，优选到 a 的距离值减少最大的节点，那么选 择 c 后，计算过程变为：考虑节点 b、e，b 到 a 的距离从 7 变为 6，减少 1，e 到 a 的距离 从 10 变为 7，减少 3，优选 e；接着需要考虑节点 b、d、f，其中到 f 的距离变化最大，d 其次，所以后续依次选择 f、d、b。我们可以看到实用这种选择规则，计算过程要简单得多， 其中 d 节点只需要被考虑一次，而在上面的计算中 d 节点需要考虑两次。 靠路由收敛技术可以大大减少主备倒换导致的业务中断时间，但仍会产生业务的中断， 不适合选用路由收敛技术来实现 issu系统的主备倒换过程。 2 . 3 不间断转发技术 不间断转发技术 nsf（none stop forwarding）是一项重要的高可用性技术，它可以保证 路由器控制平面在出现故障时，数据转发能够不间断地正常进行，从而保护网络中各种流量 和报文转发几乎不受影响。下面以主备倒换热备份技术为基础，详细介绍不间断转发技术的 原理。 2.3.1 主备倒换热备份技术 主控冗余的一个很大的特点就是主控板和备用板之间实现热备份机制，只有拥有热备份 技术的支持，才能保证当主控板出现故障时，备用板立即接管控制平面，系统依然能够正常 运行。主备倒换热备份过程由批量备份、实时定时备份和平滑倒换三个部分组成。 （1）批量备份：当备用板插入或者是重新启动时，主控板和备用板之间的状态开始存在 比较大的差异，主控板的热备份模块开始启动批量备份过程，按照各模块的注册优先级依次 在主控板上进行回调通知，模块在回调中首先将需要同步到备用板的数据通过 ha 通道同步 到备用板模块，在备用板的回调函数中完成数据解析和数据处理，批量备份时间的长短取决 于需要备份数据量的大小，例如，主控板的配置消息大小、接口板的数量以及接口总体流量 的多少。 （2）实时定时备份：待批量备份结束后，备用板和主控板维护的数据结构和状态可以说 是保持一致的，此后主控板维护的状态和数据结构的变化应该以增量或者事件驱动的方式同 步到备用板上，热备份模块分别提供了实时备份和定时备份两种机制实现同步。实时同步一 般适用于变化不太频繁、通信量较小、数据的实时要求高的情况，比如接口插拔激发的接口 状态同步。定时同步则适用于变化比较频繁，实时性不高的情况，比如大量表项的同步，此 杭州电子科技大学硕士学位论文 13 时采用实时备份方式将会给主控板的 cpu 和主控板、备用板之间的通信造成很大的压力，采 用定时批量同步方式更加合理。因为在实时定时备份期间主备板之间的差异不会太大，所以 这个过程通常会很快。 （3）平滑倒换：ha 模块备份数据原则上是可靠的，但它不是主控板全部数据的备份， 比如接口管理的接口状态等没有进行备份，备份数据的丢失，主备倒换本身引起内部数据的 改变等，这些数据在主备倒换后需要对其进行更正。系统一旦发现主控板出现异常，立即会 启动主备倒换过程，由备用板接管主控板的工作，主控板和备用板的角色进行了一次互换。 由于在主备倒换过程中接口板会和原主控板失去联系，待主备倒换后新的主控板会通知各个 模块向接口板进行数据收集和同步，这个过程称之为数据平滑。在平滑过程中，各模块主动 与接口板进行通信，主要包括硬件状态、链路层状态、配置数据三个方面的确认和同步，以 保证整个系统维护的数据和状态是一致的，从而确保主备倒换之后系统能够正常运行。 采用热备份机制的主备倒换过程的具体实现如图 2.3 所示。 等待备板在位消息 等待备板批量请求 发送批量备份数据 发送实时备份数据 就绪状态 批量接收数据 实时接收数据 数据平滑状态 主控板备用板 备板初始化 主板初始化 备板在位消息 批量请求 收到备板在位 收到备板批量请求 所有模块批量完成 发完批量请求 批量备份结束 成为主控板 发生主备倒换 图2.3 采用热备份机制的主备倒换过程 2.3.2 不间断转发技术 为了在 issu升级系统主备倒换热备份时实现不间断转发，系统对网络设备有以下要求： 要求路由器具有分布式体系结构，即支持双主控设计且控制平面与转发平面实现分离，在发 生主备倒换时，备用板必须能成功保存 ip/mpls 转发表项。对于 ospf、is- is、bgp、ldp 杭州电子科技大学硕士学位论文 14 这些相对比较复杂的协议来说，完全备份其控制平面复杂的状态代价太大或根本就不可行。 相反，通过对目前的协议在尽量保持前向兼容的情况下进行一定程度的扩展，可以较为简单 的通过备份部分协议状态或根本不用备份协议状态，同时借助邻居设备的帮助在产生主备倒 换时实现控制平面的会话连接不发生重置，和不间断转发的目的。 上面提到的实现控制平面不重置的技术统称为路由协议的 graceful restart 扩展，简称 gr。gr 技术是为了避免在主备倒换的时候邻居关系发生震荡，一旦主控板发生重启后，重 启的路由器将尽快完成与邻居路由器的路由信息的同步，然后更新本地路由信息。在整个协 议重启过程中，网络路由和转发保持高度稳定，会话连接不发生重置，报文转发路径没有任 何改变，整个系统可以不间断地转发 ip 报文，进而实现不间断转发的目的。主备倒换过程中 不间断转发的实现如图 2.4 所示。 ldp bgp ospf is- isis- is ospf bgp ldp 主用主控板 tcp tcp 备用主控板 连接 业务板1业务板2 转发 接收报文 控制平面 数据转发平面 主备倒换前 ldp bgp ospf is- isis- is ospf bgp ldp 主用主控板 tcptcp 备用主控板 连接 业务板1业务板2 转发 接收报文 控制平面 数据转发平面 主备倒换后 所有数据备份： 静态和动态 所有数据备份： 静态和动态 图2.4 主备倒换过程中不间断转发的实现 从上图可以看出，对于支持不间断转发的分布式架构来说，控制平面与转发平面是严格 分开的，主控板上的软件版本负责处理用户的各种配置信息以及运行各自协议，例如运行 ospf/isis/bgp 等路由协议来发现路由并下发给各个接口板。而所有接口板上的软件版本根 据主控板的通知消息维护自己的转发表，并根据转发表对数据和报文进行转发。所以采用以 上这种控制平面与转发平面相分离的分布式结构和对 gr 技术的支