IP承载网白皮书(V1.46).doc

内部公开IP承载网白皮书修订记录Revision record用于说明对文档加附页或文档版本升级时对文档的改动情况。Describe changes to the document when attachment is added to the document or when the document is upgraded. 日期Date修订版本Revision version修订记录的修订版本请按1.00、1.01、1.02.进行填写 Revised release should be logged as 1.00, 1.01, 1.02修改描述 change Description描述每次修订的详细内容，例如在哪个地方有过修订，都要有明确说明。Describe detailed contents of each modification, e.g. Where was revised. 作者Author2005-05-271.00初稿完成 initial transmittal 张光华 目录1摘要12介绍23IP Qos组件33.1可预测的每跳行为43.2可预测的边缘到边缘行为53.2.1边缘-核心模型整形和管制(Shaping and Policing)标记83.2.2边缘到边缘的路由83.3接纳控制93.4IETF DiffServ架构93.4.1DSCP103.4.2包分类103.4.3管制和标记103.4.4排队管理103.4.5调度103.4.6EF和AF PHB加速转发(Expedited Forwarding)确保转发(Assured Forwarding)123.4.7功能分配(Function Distribution)124可扩展性的网络155高可用度网络设计155.1快速故障检测165.2客户站点到骨干网的可靠通讯165.3骨干网内的可靠通讯176传统IP网络解决方案206.1交换原理206.2故障容忍216.2.1快速路由收敛236.2.2双转发平面方案236.3Qos246.3.1DiffServ支持246.3.2路由和业务量工程2构建网络2网络调整256.3.3连接接纳控制266.4适用性267传统MPLS网络解决方案277.1交换原理277.2故障容忍317.2.1头部修复327.2.2本地修复MPLS FRR327.2.3双转发平面方案347.3Qos357.3.1DiffServ支持357.3.2路由和业务量工程3E-LSP模式3L-LSP模式377.3.3连接接纳控制397.4适用性398IPTN解决方案408.1交换原理408.2故障容忍458.3Qos458.3.1DiffServ支持458.3.2路由和业务量工程458.3.3连接接纳控制458.4适用性469不同网络解决方案的互通4610现有网络演进策略4611总结47 第 49 页 共 53 页IP承载网白皮书1 摘要在分组业务迅猛发展的过程中，已经开发出了许多新技术，例如，具有极小传递时延和无阻塞交换特点的大容量交换矩阵(matrix)，新的分组排队和时间调度算法，等等。一个IP承载网除了能保证服务质量(Qos)，还要满足故障容忍，可扩展性等多方面的要求。本文描叙了三种可供运营商选择的IP承载网方案。2 介绍在固定网中使用IP承载网已被证明取得了成功。现在，人们发现在移动网中使用IP同样具有巨大的吸引力。一个3GPP软交换架构被划分为接入层、传输层、控制层和业务层。如下图所示：Figure 1. HUAWEI softswitch Architecture移动网传输平面使用IP承载网具有如下优势：1 除了G.711编码方案，CN节点还可以使用其他高质量低带宽的编码方案。2 可以使用TrFO方案，避免了传统移动网里RAN和CN之间的编码变换，从而提升语音质量。3 IP承载网可扩展为承载多种媒体的统一的承载网。4 IP/MPLS产业规模大，使用IP/MPLS技术使得网络的CAPEX和OPEX均较低。现在，许多高端路由器已经可以在10G（OC-192/STM-64） 端口之间线速转发IP分组，并且具有T bps级别的吞吐量，足以担当大型IP承载网的核心节点。除了实现高速分组交换，IP承载网还需要满足服务质量(Quality Of Service)，故障容忍，可扩展性等多方面的要求。在服务质量方面，承载网应该同时满足时延、抖动、丢包率方面的要求。一般情况下，承载网的时延不应该超过40ms(包含4千公里传输时延)，丢包率不大于10-4，抖动(jitter)不大于10ms。在电路交换语音网络中，商业客户和消费者已经长期习惯了平均每年仅仅数秒的业务中断。因此，他们不太可能容忍IP网络上的服务可用度显著降级。网络和路由设计必须使得分组数据网络达到或者超过PSTN的99.999%的可用度级别。当需要网络覆盖更多的地域和互连更多的站点时，网络规模应该容易扩展；并且，如果需要，一个网络可以承载多个逻辑网络。本文介绍了三种可选的网络解决方案：1 传统IP网络解决方案2 传统MPLS网络解决方案3 IPTN解决方案在所有的需求中，如何很好地满足Qos最引人注目。这些方案使用了DiffServ组件。3 IP Qos组件 IP网络可以承载各种业务，如语音，流媒体等。每类业务都期望网络实现某种可预测的服务质量，即使是在网络中出现了瞬间拥塞的情况下(由穿越网络的其他业务流造成)，该服务质量也应该得到保证。我们需要为业务流提供一种绝对或者相对的保护，使其免受其他业务流的影响。这种需求将导致以下三个技术要求：1 每一跳的Qos(Per-hop Qos)网络中最小的可控制元素是连接两条或者更多链路的节点(路由器或交换机)。这些节点必须基于一种特定的体系结构，该结构能够在每一跳的基础上提供足够的区分排队和调度功能，并能准确地应用节点间链路的Qos特性参数。2 路由和流量工程网络为业务流选择的路径应能满足业务的Qos要求。另外，当在两个客户站点(customer site)之间存在穿越网络的多条路径，在这些路径上进行合理的业务量分配可以降低路径上的负荷和突发度。将业务流映射到现有物理网络拓扑上的任务被称为流量工程(Traffic engineering)。这种技术可以提高网络的实际服务质量，因为每个路由器都将减少分组丢失和发生抖动的可能性。很多情况下，发现和利用非经典最短路径来进行业务流转发的机制也是必要的，即路由不能仅仅考虑物理链路带宽和跳数。3 接纳控制(Admission control)即使执行了流量工程，调整后网络的容量也是有限的。如果连接不受限制地注入到网络中，那么必然使得丢包率和抖动恶化，大量的连接(甚至是所有的连接)无法得到Qos保证。在某些时刻，请求注入的业务量可能会超过网络的容量。这些考验网络的时刻通常是意义重大的节日。一个可能的措施是极其充分地供应带宽和广泛使用超级路由器，使得网络所覆盖的地域内，永远不存在注入的业务量超过网络容量的时刻。这个办法意味着网络的平均利用率很低，显得非常不经济。控制消费者的体验是商业运营中的一个关键部分，合理的商业策略是，与其违反连接的Qos承诺，不如在会话建立阶段就拒绝建立连接。接纳控制是一个经济的和强有力的保障手段。3.1 可预测的每跳行为单个会话业务流所经过的端到端路径仅仅是一个链路和路由器组成的序列，本质上，端到端的Qos是由给定路由上的每一跳(per-hop)的Qos特性所决定的。因此，我们应该首先把注意力放在路由器转发行为的动态特性上。路由器的动态特性主要由时延、包丢失率、抖动所刻画。分组在路由器/交换机中滞留的时间称为交换时延(Switching Delay)。交换时延由2部分组成：零负荷传递时延和排队时延。零负荷传递时延是指在路由器零负荷时，一个分组通过路由器的时延。对于使用高性能矩阵的路由器而言，这个时延极小。排队时延(Queuing Delay)是指路由器有一定负荷时，分组等待服务所花费的时间。如果缓存满，则有一些分组将被丢弃。时延的变化称为抖动。传统的尽力而为的路由器在处理内部瞬间拥塞时，其采用的无差别分组处理方式无法满足不同应用的Qos要求。如果某个特定的输出端口成了两个或更多输入业务流的汇聚点，尽力而为路由器将使用先进先出(FIFO, First In First Out)的排队方式，把各种应用的分组缓存在输出链路的单个队列中等待传输。这种处理方式下，时延敏感的应用的分组不可能总能幸运地被安排在队列前面，结果，常常不能被及时发送。作为一种改进，我们需要为每个可识别的业务等级(service class)(不同的业务等级具有相互独立的Qos要求)提供一个队列。为处理好瞬间拥塞，在保证业务体验的前提下，每个队列应该有自己的分组丢失策略(如启动丢失操作的触发条件，丢失几率)。当然，一种将分组分配到正确的队列中的分类机制是必须的。最后，输出链路的有限容量也必须被其所属的所有队列共享。这意味着，还需要增加一种调度机制，以便以一种可控制和可预测的方式调度个队列中的分组，仲裁各队列对链路的访问。上述需求可以被陈述为：支持Qos的网络需要路由器能够根据需要对所有的业务流进行区别分类、排队和调度(即CQS)。Figure 2. CQS Architecture某些时候，路由器中的调度器需要完成的工作不仅仅是在IP分组级别上实现各业务流之间的交织。调度器对于属于不同队列中的交错业务流所提供的平滑能力取决于输出链路分组发送的速率(即带宽)。例如，对于622Mbps OC-12/STM-4链路，一个长度为1024字节的IP分组的发送时间大约为0.0132ms。调度器可将链路带宽划分为长度为0.0132ms的时隙，当调度器从某队列中将一个1024字节的分组取出发送到链路上时，其他队列中的分组都将经历大约0.0132ms的时延。对于低速链路，这种时延会显得不可忽视。例如，一条128Kbps链路上，1024字节分组的发送时间大约为62.5ms。一种解决方案是，CQS路由器对收到的IP分组进行分段，对小的数据段而不是整个分组进行排队。这种方案使得时延和抖动敏感的IP业务流避免在长IP分组后等待较长的时间。从这个例子，我们还可以得到一个结论，增加带宽供应或采用高速链路，可以在一定程度上提升Qos。3.2 可预测的边缘到边缘行为会话业务流可能穿越多个域。例如，当一个UMTS用户和另一个UMTS用户进行语音通话时，语音流会经过主叫的UTRAN，服务于主叫的CS CN，服务于被叫的CS CN，以及被叫的UTRAN。严格说来，端到端Qos是由业务流经过的每个域所提供的边缘到边缘(edge-to-edge)的服务质量级联构成的。网络设计者必须面临一种权衡，即在网络所承载的业务分类数量与CQS体系结构(CQS architecture)产品所能处理的业务分类的数量之间取得平衡点，并且使得网络具有合理的CAPEX和OPEX。边缘-核心模型 (Edge and-Core Model)就是一个在理论上可行且在实践上取得了成功的解决方案。3.2.1 边缘-核心模型边缘-核心模型里，核心路由器通常只设定有限的少数队列，使得核心路由器获得很高的处理速度处理；边缘路由器具有更高级的CQS能力，可以实现上千个或更多业务流的分类和排队（典型情况是，每个会话业务流使用单独的队列），这种复杂的处理使得边缘路由器的吞吐量可能比核心路由器低几个数量级。限制核心路由器中的队列数导致了对边缘路由器的要求：边缘路由器需要能平滑注入网络中的业务流的突发性。在核心路由器里，大量的会话业务流被汇聚到共享的队列中。这些流之间产生不可预测的相互影响的可能性很大，除非网络在业务流到达路由器之前就提供某种级别的可预测性。解决这个问题的办法是：在会话业务流进入核心路由器之前，由边缘路由器处理每一个业务流的特性，同时对各业务流类型进行汇聚。IETF DiffServ架构和ATM网络就是两个这样的例子。我们可以发现，会话业务流的可预测性对于PSTN保证业务的Qos起了至关重要的作用。在PSTN里，交换机之间存在时间同步关系，且一个语音流内各固定大小的语音帧的间隙(即取样间隔)是固定的，这意味着，任意一个输入的语音帧何时到达是可预测的，一个输入语音流的数据帧可以在被安排好的时隙(time-slot)内被交换到输出链路。结果，交换机中不会出现瞬间拥塞，且一个话音流的各数据帧的时延是常数，即抖动为0。这种可预测性也有利于交换机实施连接接纳控制。假设语音帧的取样间隔为T，对于一个输出链路，交换机可以把T划分为n个时隙，每个时隙正好传输一个语音帧，这个输出链路将最多传输n个话音流。当交换机收到一个呼叫请求，交换机确定了其输出链路后，如果输出链路不存在空闲时隙，则拒绝此呼叫。换句话说，交换机保证这些语音流的速率之和不超过输出链路的容量。结果，PSTN中不会出现已接纳的会话流得不到服务的现象，网络中不可能出现长期拥塞。 整形和管制(Shaping and Policing)CQS体系结构关注的首要焦点是保护每一个队列中的业务流不受其他队列中业务流突发的影响。显然，在每一跳的基础上都需要将所有的Qos敏感的业务流适当地隔离到不同的队列中；对于一个队列，调度器需要保证某种最坏情况下的服务间隔(或最小带宽)。为一个业务流类型设置一个可用的最大带宽(或最小的分组服务间隔)上限，就是业务量整形(Traffic shaping)。一个整形调度器被用来提供一个最小服务间隔(从相同队列中取出2个分组之间的间隔时间)和一个最大服务间隔(保证的延迟上限或最小带宽)。到达时间小于调度器允许间隔的分组在发送之前将被缓存，以平滑原有的突发性。下图表示了一个调度器，它对队列顶部的采样频率不会超过每T秒1次；不管分组到达的间隔多么接近，分组被发送的时候，间隔不小于T。一种整形调度器设计参照了漏桶的行为，不管分组到达的速率多快，他们也只能按照固定的速率被漏出，在某些时刻，桶中将会缓存一些等待被调度的分组。Figure 3. Taffic Shaping在短时间内到达了过多分组的时候，分组会被简单地丢弃，这个过程被称为管制(policing)。管制的使用基于一种假设：大部分突发业务量是使用了能适应网络瞬间丢包行为的端到端传输协议(如TCP)的应用程序(如FTP)产生的。分组的丢弃被认为是瞬间拥塞的指示，TCP对此的反映是降低其向网络中注入分组的速率。管制功能使得网络在特定业务流类别路径上实际发生瞬间拥塞之前，制造了一种虚拟的拥塞现象。即使业务流类别没有采用适应性的端到端传输协议，管制功能也可以通过丢弃那些超过了其允许参数的分组，实现对网络其他业务流的保护。边缘-核心模型中，各个边缘路由器在每个业务流类别进入核心之前，对其进行强制性的整形和管制，使得各业务流类别(以及这些业务流类别的汇聚)在整体上具有平滑性和可预测性。Figure 4. Shaping VS. Policing 标记简单的管制显得很生硬。一种优化管制效果的方法是，当分组超过了其突发容限的时候，管制功能可以选择仅仅对分组进行标记而不是立即将其丢弃，位于分组传输路径下游的核心路由器将把这些标记的分组视为比未标记的分组具有更低的优先级。在核心路由器中分组充满队列时，队列管理算法就可以在开始丢弃未标记分组前先丢弃标记的分组。在采用标记方法时，如果核心路由器对于同一个业务流类别，采用两个队列分别对标记的分组和未标记的分组进行排队，可能会导致接收端的应用程序收到了失序的会话分组流。多数端到端协议对分组进行重新排序的处理效率不高。为避免重新排序，核心路由器应该保证同一个业务流类别中的所有分组都进入一个队列，而不管其丢弃优先级；然后，把分组是否已被标记作为丢弃算法的一个输入因子，已标记分组将具有更大的丢弃几率。3.2.2 边缘到边缘的路由传统IP路由只采用单一的度量标准来定义最短路径。这种路由方案忽略了网络的负荷状态，并不总能可靠地保证业务流的Qos。基于Qos的路由在为业务流类别选择下一跳时，需要能同时考虑包括网络的负荷状态在内的多种约束，例如链路的延迟、可用的带宽、分组丢失率。在不违反一系列约束的前提下，基于Qos的路由所选择的路径应该使用最少的跳数。这种算法已经被开发出来，称为CSPF(基于约束的最短路径优先)。诸如可用带宽之类的Qos度量标准是与网络中的实际业务量紧密相关的。在业务流到达网络的时候，如果路由器能实时地了解网络中链路的可用带宽，无疑可以使得选择的路径能可靠地保证业务流的Qos。但是，严格说来，每次会话(如语音通话)的建立和释放，都会导致一系列的链路状态(如可用带宽)发生变化，如果每次链路状态发生变化就向全网进行广播，在大型网络里会产生大量的通讯量，实际上是行不通的。一个折衷办法是，链路设置一个改变临界值，当链路状态改变量超过改变临界值时，再向全网通知。即使路由器本身采用了CQS体系结构，在实际运行过程中，其表现出的统计特性可能不符合我们的要求，例如，某业务流类别的丢包率超出预期。当热点路由器上的平均负荷增加时，随机的分组丢失的概率和抖动也将增加。这些热点限制了网络提供足够区分业务的能力。为了解决这个问题，运营商可以有两种选择：1 对路由器和链路进行升级2 执行流量工程以将业务流分配到另一个可选通路上一种流量工程操作是，管理人员手工创建一条路径，并把某些业务流分配到这个路径上。如果网络能可以一种实时的方式为业务流选择合适的路径，当然更为理想。3.3 接纳控制用户感受到的是会话的Qos，而不是每个分组的Qos。仅仅在每个分组的基础上执行接纳控制并不能保证会话的Qos。我们需要的是在每个会话流的基础上的连接接纳控制(contection admission control)。有两种可选的连接接纳控制方法：1 会话控制业务节点(如MSC server)自行进行接纳控制。2 网络进行接纳控制。第一种方法的特点是，会话控制业务节点调整和另一个会话控制业务节点之间的最大并发会话数。借助于RTCP， MGW可以监视和对等MGW之间的业务流质量，并周期性上报给MSC server。MSC server依此信息可以决定，在2个MGW之间能否建立更多的会话。第二种方法的特点是，在会话建立阶段，会话控制业务节点询问承载网络，能否满足会话连接的Qos需求。网络依据自身的状态来决定是否接纳连接。3.4 IETF DiffServ架构采用DifferServ机制提供边到边服务的一个网络称为一个DiffServ域(DS域)。包围一个DS域(DS domain)的边缘节点称为DS边界节点。业务量从DS入口边界节点进入且从DS出口边界节点流出。提供传输服务的核心路由器称为DS内部节点。DS边界节点和另一个DS域或另一个无DS能力的域连接。DS内部节点只连接到相同DS域内的其他DS内部节点或边界节点。单个应用流被称为微流(mico flow)，例如，一个通话的VoIP流就是一个微流。在一个DS域中，许多微流共享一个给定的类别代码DSCP，共享一个DSCP的分组的集合被称为一个DS行为汇聚。DifferServ的一个特点是核心路由器只关心行为汇聚而不关心微流。3.4.1 DSCPDiffServ设计了两类逐跳行为(PHB, Per-hop behavior)：EF(Expedited Forwarding), AF(Assured Forwarding)。每个PHB描绘了一种对外部可见的分组排队和调度行为。每个PHB被赋予一个值，这个值称为区分服务编码点(DifferServ Code Point，DSCP)。如EF对应于DSCP值101100。DSCP被填写到IPv4的ToS字段(有时，这个字段也被称为DiffServ字段或DSCP字段)，路由器依据DSCP选择应用于分组的每跳行为。运营商可以修改PHB和DSCP值间的对应关系。传统的BF(best-effort)行为被称为”Default PHB”。 3.4.2 包分类只采用DiffServ字段进行分组分类有一些局限性，例如，业务类(service class)的数量可能超出DiffServ字段的表达能力，即多于64。一种业务流分类方法是采用包含IP头的多个字段作为分类关键字，称为MF分类。在网络边缘，MF分类器被用作区分单个会话流(如一次通话过程中的VoIP流)。一个业务类有相关的上下文，这个上下文可以被手工配置。这个上下文包含用于瞬时处理特性(即管制、标记、排队和调度)的参数，例如使用何种队列。3.4.3 管制和标记每一个业务类对它的可允许的瞬时特性具有一些限制分组以多快的速率到达或在特定的时间间隔内分组到达的数量的限制。这些限制被称为业务量描叙(Traffic Profile)。管制和标记共享一个公共的部件一个用于确定一个分组是否超出业务量描叙的计量功能。计量(Metering)和整形的区别是，计量只是用一个分组到达模型(如令牌桶算法)来评估到达的分组是否违约，而不改变分组的瞬时特性，整形会改变分组的瞬时特性(如改变分组间的时间间隔)。业务类的上下文包含了如下参数：使用哪种计量器以及计量器的算法参数，对分组进行计量后紧接着是管制行为还是标记行为。3.4.4 排队管理不同业务类使用不同的队列，每个队列可以使用独立的分组丢弃策略。3.4.5 调度调度规定了分组从每个队列离开的瞬时特性。调度器是考虑了队列间相对优先权、分组延迟范围和带宽分配的最后的监视程序。一个调度器可为特定的业务类建立最小的带宽分配以确保分组被规则地从该类所在的队列中取出(即确保队列被规则地服务)。一个调度器也可以提供速率整形以限制该类的队列被服务的频率(设定类的最大可允许带宽)。根据调度器的设计，它可能对一些队列既强调上限带宽又强调下限带宽，或者对一些队列只强调上限或只强调下限带宽。调度算法通常在实现简单性和要求的瞬时特性之间折衷。一个简单的调度算法是绝对优先权方法。Figure 5. Priority Scheduling这种方法里，对于一个队列，只有在更高优先级的所有队列为空时，调度器才服务于此队列。如上图，队列1，队列2，队列3和队列4的优先级依次递减。只要链路能传递分组，队列1会被尽可能快地被服务。当队列1,2,3为空时，队列4才以链路速率接受服务。如果被映射到队列1的业务类在一段持续时间内以100%的输出链路速率到达，调度器在这段时间内将从不会为其他队列服务。为避免低优先级队列总是处于饥饿态，需要上游节点执行管制或速率整形，以确保映射到队列1的业务类不超过输出链路容量的一定比例。这样，队列1将在某些时刻为空，允许调度器花费一些时间服务低优先级队列。优先权调度对提供低延迟、低抖动业务类非常有用。3.4.6 EF和AF PHB 加速转发(Expedited Forwarding)一个EF PHB路径上的每一个路由器总是服务EF分组至少快于它的到达速率。网络设计上，需要满足如下三个要求：1 在DS域的入口对使用EF的单个流进行速率整形或管制，以限制EF业务量进入网络核心的速率和使流具有某种可预测性。2 每个核心路由器的配置应该能保证EF分组服务间隔超过EF业务的汇聚(aggregation)业务量预计的到达速率3 EF分组服务间隔不能受在该时刻等待调度的非EF业务量的多少的影响。这意味着，任何支持DiffServ的路由器上，EF分组可以获得比其他业务更低的时延和抖动。EF PHB适合建立低损失、低延迟和低抖动的边到边服务。EF可以用作建立虚拟专线(Virtual Leased Line)服务。我们还可以把传统语音业务配置为EF。路由器可以在每个接口的基础上配置各PHB使用的资源(如带宽)。 确保转发(Assured Forwarding)AF实际上是一个边到边服务的PHB组。AF关注于带宽和丢弃几率，不关心时延和抖动。IETF定义了四个业务类和三级丢弃优先权。使用AFxy来标识一个特定的AF PHB。x的值表示AF种类（范围:1-4），y的值决定分组的丢失优先级（范围:1-3）。每个AF种类使用不同的队列。例如，标记为AF11, AF12, AF13的分组都将进入同一个队列，但是AF13分组具有更大的丢失可能性。AF要求对队列进行主动的排队管理，在队列没有充满前就丢弃某些分组。随机早期丢弃(Random Early Detection, RED)就是一种支持主动的排队管理的典型算法。这种做法给了应用所使用的传输协议(如TCP)一种反馈，触发传输协议启动拥塞避免行为，结果，抑制了长期拥塞而同时允许短期突发。运营商可配置每个AF类使用的队列最大尺寸和队列的调度服务间隔。正如EF一样，基于AF PHB的边到边服务需要边缘路由器和核心路由器之间的配合。边缘路由器限制映射到每一AF PHB的业务类型，核心路由器确保提供给每一AF的适当资源(如带宽和队列空间)。3.4.7 功能分配(Function Distribution)下图展示了各Qos功能是如何被分配给DiffServ域中的路由器。Figure 6. Qos Function DistributionDS入口边界节点 (DS Ingress Boundary Node)对分组执行MF包分类(MF Classification)和业务量调节(traffic conditioning)功能。业务量调节包含如下处理：业务量测量(Traffic Metering)、包标记(Packet Marking)和业务流整形/丢弃(Traffic Shaping/Dropping)。入口速率整形限制了组成一个行为汇聚的微流之间的干扰和平滑了行为汇聚的突发性。基于包分类处理的结果，路由器用一个DS域内支持的DSCP标记IP分组。当作为流的出口节点，DS边界节点可能需要在把流量直接转发给对等域之前执行业务量调节功能。一个DS内部节点(DS Interior Node)在检查分组的DSCP后，选择应用于每个分组的转发行为。DS内部节点把分组的原DSCP映射到所有DS内部节点支持的PHB组(PHB groups)中的某一个PHB上，这称为行为汇聚分类(Behavior Aggregation classfication)。DS内部节点使用特定的缓冲管理和分组调度机制以支持PHB要求的分组转发处理。尽管DiffServ架构假定主要的复杂包分类和调节在DS边界节点上发生，DS内部节点也可以支持使用MF分类。原理上讲，一个DS域应该和它的上游业务量源达成协议，以使得来自上游的分组符合业务量描叙要求和已被设置为正确的DSCP。如果DS域相信上游节点输出的业务流已经符合业务量描叙要求，DS入口边界路由器没有必要执行业务量调节。例如，一个运营商在采用DiffServ架构的网络作为自己的软交换网络的承载网时，作为业务量源头的MGW就可以被认为是一个可信任的节点。受信任的MGW还可以对分组设置DSCP。IETF DifferServ架构没有定义如何实施连接接纳控制，商用网络应该弥补这个缺陷。如果缺乏连接接纳控制机制，网络核心充分地提供资源是一个可选的办法，但是这意味着网络通常未被充分使用。一个会话流在穿越分组网络时，其丢包率、时延和抖动几乎不可能为0。在设计应用协议时，端点设备进行适当的配合操作将有助于改善用户体验。对于非交互式(non-interactive)应用，如流语音或视频，抖动不会带来严重的问题，因为可以通过使用大的回放缓冲(playback buffer)来克服。对于交互式语音和视频应用，为消除抖动带来的负面影响，解决方案是在目的主机上(如MGW)针对每个会话的媒体流配置一个小的回放缓冲。4 可扩展性的网络为了有效管理大型IP网络的流量，需要把网络系统分为几个可以分别处理的较小的部分。实践证明，把网络分为几个层是一个行之有效的方法，每层规划的重点放在单个或数量有限的目标上。一种分层网络设计是定义三层：核心层，汇聚层（Aggregation Layer）和接入层。接入层把流量注入网络，并执行网络访问控制。汇聚层负责交换本区域内的业务量并把目的地为其他区域的业务量汇聚后注入核心层。核心层主要工作是高速交换流量。考虑到实际业务需求和管理复杂度要求，一些网络使用了两层结构，即被划分为接入层和核心层。下图示意了一个大型网络，网络分为三层：城域网(MAN，Metropolitan Area Network)、省骨干、国家骨干。Figure 7. A 3-tier Network5 高可用度网络设计首先，我们应在单个网元中设计大量的冗余机制。在网络路由器和交换机中应包含可热切换的备份硬件元件。除此之外，还要设计智能的软件机制，它使得节点能从故障中快速恢复，对应用体验的影响最小化。其次，提高网络可用度(Availability)的一个关键措施是在网络设计中包含冗余。即，创建一个包含了备用节点和候选链路的网络拓扑。当一个节点或者链路故障，应该存在一个快速检测到故障的机制，以触发把业务流转移到备用路径上的处理。在PSTN中，一个用户交换机通常连接到两个或更多的汇接交换机(Transit Exchanger)。当一个汇接交换机故障或者电路中继(circuit trunk)中断，正在进行的大量通话会中断。用户一般会尝试重新发起通话，如果存在其他路由可以供交换机使用，则用户的再次尝试可以成功。分组网络允许迅速地改变业务流的传输路径，这意味着，只要能足够快地切换话音业务流到一条具有相同带宽的备用路径上，语音通话不会中断。在可用度方面，分组网络有能力超越PSTN。如何设计一个能容忍任何链路和节点故障而不中断业务的低成本的网络，是一个新的挑战。我们把站点和站点之间的可靠通讯分解为两个部分：（1）站点到骨干网的可靠通讯；（2）骨干网内部的可靠通讯。5.1 快速故障检测对于典型的链路，如以太网，SDH，路由器都可以利用链路层协议快速检测到故障。例如，当和路由器端口连接的以太网线被拔出，路由器可以在10ms内检测到以太网端口处于DOWN状态。以前，路由器使用IP路由协议里的HELLO报文来判断与之邻接的路由器或基础设施是否正常。不过，路由协议的HELLO检测机制太迟钝，通常需要数十秒才能判定是否存在故障。IETF已经开发了双向转发检测(BFD)协议实现快速检测和邻居节点之间的连通性状态。BFD实际上是一个快速的HELLO协议。支持BFD的2个节点之间相互快速发送数据包，当节点没有接到预先设定数量的数据包时，它推断BFD所监视的基础设施发生故障，基础设施可以是IP网、标记交换路径(LSP)、某种类型的IP隧道或以太网(ethernet)网络。利用BFD，我们可以在20ms或更短时间内检测出两个节点间的故障。5.2 客户站点到骨干网的可靠通讯为使得主机(如MSC server, MGW)可靠地接入交换网络，可以使用两个接入路由器（AR，Access Router），并启用VRRP(Virtual Router Redundancy Protocol)。VRRP将局域网中的一组路由器组织成一个备份组，它在功能上相当于一台虚拟路由器。当当前被使用的路由器出现故障时，VRRP机制能选择备份组中的其他路由器作为活动(active)路由器来承担传输工作。这个机制对于IP主机而言是透明的。主机和每个AR之间的带宽是相同的。下图展示了一个使用了VRRP的站点，这个站点里部署了两个路由器和两个层二交换机。如果路由器同时支持层三交换，则LAN交换机可以被省略。Figure 8. A site using VRRP 5.3 骨干网内的可靠通讯为预防一条链路中断，一个简单的策略是在每两个路由器之间配置两条一样带宽的链路，并且其中一条链路是备用链路。这个策略不仅使得链路数增加一倍，而且不能很好地适应路由器故障的情况。当一个路由器故障，和这个路由器相连的数个链路都不能被继续使用，网络必须使用不含故障节点的迂回路径。因此，使网络能够发现和利用绕过了故障点的新路径是一个更好的策略。在网络无变更时，站点之间的流量会在一个确定的路径上持续传送下去。当网络发生变更(如链路故障)，如果某些流量将被重路由，导致某些路由器以及他们之间的链路会承受更大的业务流。如下图，正常情况下，AR1和AR2之间的通讯路径是AR1-CR1-CR2-AR2，AR3和AR4之间的通讯路径是AR3-CR3-CR4-AR4。当CR1和CR2之间的链路故障，AR1和AR2之间的通讯路径将变为AR1-CR1-CR3-CR4-CR2-AR2，在故障期间，CR3和CR4之间的业务量将大幅增长。如果没有采取合适的措施，则不仅AR1和AR2之间业务量的Qos降级，而且AR3和AR4之间业务量的Qos也降级了。Figure 9. Congestion induced by re-route基本的策略是，路由器使用DiffServ来支持各业务类的Qos。这个策略试图保证发生故障后高优先级业务(如语音)不受影响。然而，如果有太多的高优先级业务类被汇聚到一个路径上，例如，路由器发现需要处理的EF业务量超出了它的能力或输出链路的容量，挽救故障路径业务量的做法仍然可能使得更多业务量的服务质量恶化。为了能找到合适的新路径，我们可以采取如下几方面的措施：(1)设计先进的网络拓扑，并精心地执行流量工程。我们发现了一种合适的方案双转发平面方案。这个方案里，骨干将具有两个转发平面，分别称为A,B平面。A,B平面的拓扑相同或者相似。每个在A平面的路由器都有一个在B平面上的兄弟路由器，并且这两个路由器被直接连接。如下图，CR1和CR3是兄弟，CR2和CR4是兄弟。不同的网络解决方案将使用自己的流量工程方法以实现A平面和B平面承载不同的业务类。接入路由器同时连接到两个转发平面。在故障情况下，这两个平面可以相互支援对方。在安装时，兄弟路由器对通常被安装在相同的机房。这意味着，平面之间的链路不是长途链路。Figure 10. Dual Plane Backbone假设A平面承载语音业务，使用的业务类是EF；B平面承载数据业务，使用的业务类包含AF和BE。这个网络的故障处理可以实现如下特点：1)对于A/B平面，AR和本平面的核心网之间通讯故障时，可以利用平面间的备份机制，即业务流被注入到另一个平面。2)对于A平面，CR间链路或CR故障时，可以利用平面间的备份机制，即业务流被注入到B平面。如上图，CR1和CR2间链路发生故障后，AR1-CR1-CR2-AR2将被变更为AR1-CR1-CR3-CR4-AR2。3)对于B平面，CR间链路或CR故障时，可以利用平面内的备份机制，即在本转发平面内重新选择路径。(2)把故障路径上的业务量拆分为若干流量中继(Traffic Trunk)，然后把这些流量中继分配到不同的新路径上。流量中继的带宽比故障链路小，这使得易于找到合适的新路径。当不能为某些流量中继发现可用的新路径，则这些流量中继将被丢弃。这个办法在充分利用网络资源的前提下使得通讯中断损失最小。这个办法产生了两个技术需求：(i) 如何定义流量中继并把它作为可路由的对象。一个典型定义是，把两个站点间的一个业务类定义为一个流量中继。一个流量中继将被映射到由一系列链路和节点构成的一个物理路径上。骨干中的一条链路可能承载多个流量中继。(ii) 如何发现容量和负荷状态满足要求的新路径。在小型网络里，可以为每个可能的故障点配置备用路径。在大中型网络里，需要一种快速的自动发现合适备用路径的方案。最后，网络需要果断地把业务量转移到已发现的新路径或规划的备份路径上。6 传统IP网络解决方案6.1 交换原理IP网络由大量的路由器以及路由器之间的链路组成。路由器包含2个组件：控制功能组件和转发功能组件。控制功能组件的执行的操作是：通过静态配置或动态路由协议(如OSPF)生成一张路由表，表中每条路由条目都指明分组应通过路由器的哪个物理端口发送。路由协议的运行包含如下操作：1 每个路由器把自己连接的子网通告给其他路由器。这样，所有路由器将知道如下信息：1)网络中存在哪些子网；2)对于一个目的子网，存在哪些候选的下一跳路由器。2 路由器计算出一条到达目的子网的最优路径(即选择出合适的下一跳路由器)。由于各路由器使用相同的算法和相同的输入参数(即网络拓扑信息)，各路由器将计算出到达目的子网的相同的最优路径。计算的结果被写入路由表。路由表的部分内容被下载到转发功能组件的转发表在传统IP网络使用的内部网关协议(如OSPF)中，所有链路只具有单一的度量标准。路由协议通过计算路径上的各链路的度量值之和(称为cost)来评价候选路径。路由协议所确定的源头和目的之间的cost最小的路径被称为最短路径。转发功能组件执行的操作是：路由器接收到IP包后，依据IP包的目的地址查找转发表得到输出接口，然而从这个输出接口发送出去。分组将到达该路径的下一个路由器，或者被传送到直接相连的网络中的目的主机。一个IP子网的主机都具有相同的前缀，如同一个地区的电话都具有相同的号码前缀。这个前缀是子网标识(或称为网络地址)。IP前缀为若干个比特，而电话号码的前缀为若干个数字。例如，/24是一个前缀，前缀的长度为24bit。前缀越短，表示子网规模越大。一个路由表条目包含如下字段：子网地址，下一跳路由器的IP地址，输出接口标识和到达目的子网需花费的cost。子网地址是索引字段。转发功能组件检查IP分组的目的IP地址和路由表中的哪个子网匹配时，使用最长前缀匹配算法。例如，目的地址含有/8，也含有/16，但是/16具有比更长的特序列，最长前缀匹配算法会选择/16。Figure 11. IP Packet Forwarding6.2 故障容忍各种各样的路由协议被用来填写网络中的路由表。象BGP，OSPF和集成的IS-IS这样的协议可以给所有的路由器一个正确和一致的网络视图。使用传统的IP路由时，当链路或者路由器出现故障，由于故障信息不能被所有的路由器同时知晓，被存储在不同的路由器中的路由信息可能暂时是不一致的，这可能导致暂时(或者瞬态)的转发环路的形成。虽然IP具有的环路缓解机制会限制进入这个环路的业务流所消耗的资源数量，但是环路缓解的负面的影响是，在路由瞬态期间，一个网络不是把分组传递到他们的最终的目的地，而是可能丢弃这些分组。如下图，当R2和R4间链路故障，R2将重新计算路由表，发现到目的站点的下一跳为R3。然而，在R3未收到故障报告前，R3仍然认为到目的站点的最优下一跳是R2。这样，业务量将会在R2和R3之间反复传送。当R3收到故障报告并重新计算路由后，R3将认为到目的站点的最优下一跳是R4。Figure 12. Loop induced by failure解决问题的思路有3种：(1)加快路由收敛。网络变动导致的分组丢失的数量主要依赖于两个因素：1与这个发生故障的链路(或者路由器)邻接的路由器检测到此故障所花费的时间2 上述路由器在所有路由器之间分布这个网络变更信息的时间，以及这些路由器重新计算它们的转发表所花费的时间。这两个时间的和称为路由收敛时间。无疑，快速检测到故障有助于减少业务损失，现在已经可以实现20ms内检测到链路或者节点故障。路由器在启用快速检测时，应该处理好链路可用状态可能不稳定的情况。通过恰当地规划网络和优化路由协议，人们可以大大缩小路由收敛时间。多数情况下，对于语音会话，中断2s可能是可以容忍的。用户可能听到一小串杂音而不得不说：“喂，喂，麻烦你再说一遍。”然而不会导致用户重新拨号。而在PSTN网里，故障会导致用户必须重新拨号。华为公司的产品可以实现2s内网络路由收敛。(2)采用合适的网络拓扑和精心设置metric以消除环路。我们发现，如果R3和R4之间链路的metric被设置修改为12，那么可以消除上述环路。这时，R3认为目的站点的最优下一跳是R4而非R2。然而，保证任意链路或节点故障时不存在环路，是极为困难的。在使用双转发平面拓扑时，我们创造了一个可以帮助我们实现目标的特性IF FRR。(3)使用隧道技术本地修复(Local repair)R2可以在发现故障后，建立一条目的地为R4的隧道，这个隧道将封装目的地为Site A的分组。当R3收到目的地为R4的隧道分组，将直接转发给R4，R4再从隧道中解析出原始分组。MPLS FRR可以很好地支持这个想法。6.2.1 快速路由收敛为实现快速路由收敛，当路由器收到故障报告，应该立即把此信息传播给邻居节点。当收到故障修复报告，为确认原故障部件已稳定地处于可用态，路由器可以延迟一段时间后才传播此信息。这个延迟设计避免了链路状态不稳定导致反复触发(trigger)路由重收敛过程。对于链路状态路由协议OSPF和集成的IS-IS(Integrated IS-IS)，还可以采取如下几方面的措施：1) 合理划分区域。当网络规模扩大，链路状态数据库的大小、路由计算的时间和报文数量都会随之增长。在OSPF/IS-IS中，可以把网络划分为一个由一个主干区域(Backbone Area)和若干连接到主干区域上的其他区域。如果区域内有链路状态发生改变，则只有该