用于网络互连点的双向区分服务技术方案.doc

用于网络互连点的双向区分服务技术方案杨国良1，张光昭2（1. 中山大学信息科学与技术学院 广州 510275；2.中国电信股份有限公司广州研究院 广州 510630）摘要 在网络内部，DiffServ可以提供很好的QoS保障，但在跨运营商的情况下，只能提供出方向的保障。本文提出一种新的双向区分服务技术方案Bi-DiffServ，可以用于各运营商网络之间的互连点上，为重要流量提供时延和带宽的保障。通过仿真和现网实验证明，该方案简单、高效，能明显改善重要流量的时延、带宽等网络服务质量。关键词域间服务质量；双向区分服务；网络互连；流量1 引言Internet发展至今，已经和人们的生活密切相关，人们的工作、学习和娱乐越来越离不开网络。虽然网络规模在不断扩张，但仍然赶不上流量的增长速度，网络拥塞随处可见。如果拥塞发生在网络内部，可以采用DiffServ（differenciated service）技术为重要流量提供QoS保障。如果拥塞发生在与其他运营商网络互连点上，仍然采用DiffServ技术的话，则要求运营商之间必须相互合作，但事实上这是很难实现的，因为每个运营商对重要用户和关键应用的定义都不尽相同。虽然现有文献已经给出了不少域间QoS解决方案1，但都因为实现复杂未能被网络运营商接受。本文提出一种用于网络互连点的、简单高效的双向区分服务方案（Bi-DiffServ），该方案使运营商可以在网络互连点上为自己的重要用户和关键应用提供出方向和入方向的QoS保障，而不需要其他运营商做任何配合。2QoS指标对某一时间段内（2007年9月1日至3日）中国电信ChinaNet与其他运营商网络互连链路上所承载业务流量进行监测，发现在出境流量中，P2P下载占42.16，P2P流占23.65，普通的TCP占8.22%，普通的UPD占5.75%。在入境流量中，P2P下载占39.65，P2P流占21.23，Web占20.82，普通的TCP占8.93%，普通的UPD占5.92%。网络上绝大部分应用都是基于TCP，TCP流量占总流量的95%。TCP对时延和带宽较为敏感，至于抖动和丢包的影响基本可以通过TCP的重发机制和上层应用的平滑机制来屏蔽，因此下面重点分析影响时延和带宽的主要因素。2.1时延时延包括路由查找时间、内部交换时间、排队等待时间、串行化时间和链路上的传播时间2，其中只有排队等待时间随流量变化。在低速链路上，Internet流量具有自相似特征3，但在高速链路（如2.5 Gbit/s）上，只要不拥塞，随着流量的增加，流量的特性逐渐趋向Poisson4。据此，在OPNET仿真平台上，采用重叠分形点过程（Sup-FRP，Hurst=0.9）产生自相似流量和采用Poisson过程产生流量，分析2.5 Gbit/s和10 Gbit/s POS链路的平均排队等待时延与链路利用率（均指链路的物理带宽利用率）的关系，得到的仿真结果如图1所示。通过实验发现，不管是Poisson模型还是Sup-FRP模型，得到的结果都比较接近。两种模型下，时延随着流量的增加而增大，在链路利用率较低的情况下，时延随流量缓慢增加，当链路利用率超过93%时，时延随流量迅速增加，呈现雪崩效应。另外，观测中国电信ChinaNet骨干链路发现：当链路利用率低于93%时，时延基本没有变化；但当利用率超过93%时，时延迅速增大。可见，仿真结果与实际测量的变化规律是一致的，时延随链路利用率变化曲线的拐点都在93%左右。由此得出结论1：对于2.5 Gbit/s以上的高速POS链路，只要链路利用率低于93%，其排队等待时延很小，可以忽略。2.2带宽一个应用所分到的传输带宽与自身的流量控制机制有关。当一条链路上同时存在多条TCP连接时，带宽分配变得复杂。因此，有必要通过OPNET仿真平台研究TCP连接之间如何竞争带宽。模拟在瓶颈链路上分别出现多个用户（每个用户占用一条TCP连接），其中包括重要用户和普通用户，测量重要用户所分到的有效带宽比例，得到的仿真结果如图2所示。从图2的曲线可以看出，重要用户所获得的带宽与瓶颈链路上的TCP连接数成反比，与接入带宽无关。由此得出2个结论，一是TCP连接之间具有平分可用带宽的特性（结论2），二是TCP连接发送流量的大小基本上取决于瓶颈链路上的可用带宽（结论3）。以中国电信ChinaNet与其他运营商网络互连的链路为例，一条10 Gbit/s链路上的TCP连接数大概是400万，即使只有5%的TCP连接同时在传数据，每条TCP连接所分得的带宽才6 Kbyte/s。以这样的速度浏览Google主页要5 s，浏览Yahoo主页要50 s，效果难以令人满意。3双向区分服务技术方案由结论13可知，保障网络服务质量的最有效办法就是充裕的带宽。但是，由于网络互连链路的成本远远高于内部链路的成本，因此各运营商网络普遍存在内部带宽资源比较充裕而网间带宽资源非常紧张的状态。如果采用DiffServ技术保障重要用户和关键应用，由于DiffServ技术不能解决跨域的QoS问题，因此只能保障出方向的服务质量，入方向的服务质量同样会因拥塞而劣化。如果为重要用户建立网间专用链路，把重要用户的流量引导到专用链路上，绕开普通链路上的拥塞，但在对等互连市场环境下，运营商一般不允许其他运营商通过路由策略来控制自己网内流量的走向，即使在自己网内，通过路由策略把重要用户的流量引导到专用链路上，但入方向同样在普通链路上拥塞。可见，必须寻找一种新的网间QoS保障方案，使运营商只需在自己网络内部实施，而不需要其他运营商配合，但又可以实现双方向的网络服务质量保障。3.1方案的实现原理根据结论1，只要链路利用率低于93%，时延就可以达到理想的水平；根据结论3，只要在途中任何一点控制TCP的流量，就可以控制全程的TCP流量大小。基于以下2个假设，提出了一种双向区分服务技术方案。假设1：影响网间互访质量的带宽瓶颈在网络互连点，网络内部不存在拥塞。假设2：网络中需要保障的关键流量在总流量中占比不大。在现实网络环境中，以上假设往往就是事实。因为随着设备成本的不断下降，运营商更乐意于通过增加带宽来提升网络内部的服务质量，而不是采用繁琐的QoS策略。这对解决网络互连点的QoS问题提供了方便。双向区分服务技术方案在出方向和入方向分别采用不同的QoS策略。 出方向，优先转发关键流量，以保障关键流量在该方向的时延和带宽。在出方向，把关键流量的DSCP设为EF（expedited forwarding），并采用MDRR（modified deficit round robin）让关键流量相对普通流量优先得到转发，从而把关键流量的排队时延和丢包率都控制在非常小的范围内。 入方向，限制普通流量，以保障关键流量在该方向的时延和带宽。在入方向，由于流量来自其他网络，因此一般的排队调度机制无法使用。采用CAR（committed access rate）技术将普通流量的带宽控制在一定范围内，让普通流量的发送源降低发送速率，从而间接提高关键流量的可用带宽。为了避免拥塞，同样采用CAR技术限制关键流量的最大带宽，让所有流量的总带宽不超过链路物理带宽的93%，从而使时延达到理想值。3.2验证评估为了验证双向区分服务技术方案的可行性，在图3所示的网络环境中进行了仿真。域1/2代表两个对等互连的网络1和2。Client_VIP是网络1的重要用户，它通过1条TCP连接从网络2的SVR_VIP下载数据。Client1是网络1的普通用户，它通过多条TCP连接从网络2的SVR2下载数据，从而模拟多个普通用户。在网络1的RT1路由器上部署双向区分服务策略，网络2除了基本的FIFO以外，没有实施任何QoS策略。在RT1与RT2互连的端口做以下QoS配置：对于出方向，区分来自Client_VIP的数据包，并把这些数据包的DSCP设为EF，启用MDRR，把EF流量的最大可用带宽定义为400 kbit/s（E1的20%）；对于入方向，区分送往Client_VIP的数据包，采用CAR将非Client_VIP流量的最大可用带宽限制为1 600 kbit/s（E1的80%）。通过仿真发现，随着瓶颈链路上TCP连接的逐渐增多，Client_VIP分到的带宽越来越少，当TCP连接数小于5时，Client_VIP所分到的带宽与TCP连接数成反比，当TCP连接数大于5时，Client_VIP所分到的带宽基本上维持E1的20%的水平，并没有因为TCP连接的增加而减小，同时Client1每条TCP连接所分到的带宽等于E1的80%除以Client1的连接数。从图4所示的仿真结果来看，双向区分服务在保证重要用户的最小可用带宽方面是可行的。在时延方面，Client_VIP的时延比没有采用双向区分服务时缩短了很多；在丢包方面，Client_VIP的ICMP测试包基本上没有出现丢包。可见，双向区分服务理论上是可以在网络互连点为重要用户提供QoS保障的。为了验证双向区分服务技术方案在网络中的表现，在中国电信ChinaNet与其他运营商网络的互连点上单方面实施了双向区分服务，为两个经常反映访问中国网通网络很慢的广州用户和重庆用户提供QoS保障。实施前后的网络质量测试结果见表1。实施双向区分服务方案后，两个用户的网络质量都得到极大提高，时延从几百毫秒降到70 ms，丢包率从20%左右变为0%，下载速度从10 kbyte/s左右提升到200 kbyte/s以上。可见，双向区分服务在实际应用中同样具有非常好的效果，进一步证明该方案是可行的。4双向区分服务技术方案的优化双向区分服务技术方案可以让网络运营商在自己的网络边界方便地实施双向区分服务，为重要用户和关键应用提供QoS保障，而不需要其他运营商的配合。这把服务等级的定义局限在同一个网络管理域内，极大地提高了区分服务的扩展性。但以MDRR和CAR为基础的双向区分服务技术方案仍然存在明显的缺陷。 无法避免拥塞。出方向采用的MDRR只能保证高等级流量的时延和丢包率，在拥塞状态下，低等级流量的时延甚至达到1 000 ms。这些时延很大的数据包在应用层带来很差的主观感受，但它们仍然继续占用链路资源，进一步形成拥塞。 复用率不高。在入方向采用CAR为重要用户预留的带宽，即使没有任何流量，普通用户也不能使用，降低了复用率。而且重要用户多为商业用户，其流量高峰期一般在白天工作时段。普通用户以个人为主，其流量高峰期在晚上。如果重要用户的带宽和普通用户的带宽不能复用，是对宝贵的互连带宽资源的极大浪费。4.1Bi-DiffServ技术方案实现机制为了完善上述缺陷，双向区分服务技术方案必须放弃在出方向采用MDRR和在入方向采用CAR的不对称模式，重新优化在两个方向上的实现机制。双向区分服务技术方案的原理是在网络互连点上，通过有策略地丢包，把流量控制在一个合适的大小，既能充分利用带宽资源，又能避免发生拥塞，从而达到减小时延、合理分配带宽资源的目的。以此为理论基础，提出了一种可以同时用在出方向和入方向的、全新的双向区分服务实现机制Bi-DiffServ，如图5所示。Bi-DiffServ技术方案包括分类标准定义程序、令牌桶填充程序和数据包处理程序共3大部分。（1）分类标准定义程序定义流量的分类标准，并为每类流量分配带宽资源。 定义高等级流量。高等级流量可以细分成高等级流量1，n，而且为每个高等级流量i分配不同带宽。 定义中等级流量。中等级流量不再细分，只提供一种服务质量保障。它所预分配的带宽是中等级流量所能达到的最大可用带宽。 低等级流量不需要额外定义，也不需要分配带宽资源。其他未经定义的流量全部属于低等级流量。低等级流量也不作细分，它的最大可用带宽资源为（链路物理带宽93%）。（2）令牌桶填充程序通过时钟中断，每隔固定的时间片为每类流量补充令牌。 为高等级令牌桶i加入新的令牌，加入的数量等于（高等级流量i预分配的带宽时间片/单位时间）。高等级令牌桶的大小必须小于（链路物理带宽93%时间片/单位时间），溢出部分废弃。 为中等级令牌桶加入新的令牌，加入的数量等于（中等级流量预分配的带宽时间片/单位时间）。中等级令牌桶的大小为（链路物理带宽93%时间片/单位时间），溢出部分废弃。 为低等级令牌桶加入新的令牌，加入的数量等于（链路物理带宽93%时间片/单位时间），其令牌桶的大小也等于（链路物理带宽93%时间片/单位时间），溢出部分废弃。（3）数据包处理程序当有数据包输入，根据分类标准判定数据包的服务等级。 如果属于高等级流量i，那么检查其令牌桶。如果令牌数大于零，则根据需要设置数据包的DSCP，然后转发数据包，并把高等级令牌桶i、中等级令牌桶和低等级令牌桶中的令牌数减去该数据包的比特长度，高等级令牌桶的令牌数允许为负值，即允许预支令牌。如果令牌数不大于零，则丢弃该数据包。 如果属于中等级流量，那么检查中等级令牌桶。如果令牌数大于零，则根据需要设置数据包的DSCP，然后转发数据包，并把中等级令牌桶和低等级令牌桶中的令牌数减去该数据包的比特长度，中等级流量允许预支令牌。如果令牌数不大于零，则丢弃该数据包。 如果属于低等级流量，那么检查低等级令牌桶。如果令牌数不小于数据包的比特长度，则根据需要设置数据包的DSCP，然后转发数据包，并把低等级令牌桶中的令牌数减去该数据包的比特长度。低等级流量不允许预支令牌。如果令牌数小于数据包的比特长度，则丢弃该数据包。Bi-DiffServ技术方案提供高、中、低3种不同档次的服务保障，而且高等级服务可以进一步细分。高等级服务可以提供最好的时延、丢包率和带宽保障，并允许突发，适合于重要用户，可以为不同的重要用户预留不同的带宽。在实际网络中，每条链路为高等级流量预留的总带宽建议不超过总带宽的20%。中等级服务同样具有很好的时延保障，但丢包率高于高等级服务。中等级流量允许小量的突发，而且在具有最小带宽保障的同时，可以充分利用高等级流量闲置下来的带宽。中等级服务适用于重要应用，如Web、E-mail等。建议为中等级服务分配的最大带宽不超过总带宽的60%，这样可以避免过分挤压低等级流量的带宽，同时保证中等级流量可以达到较低的丢包率水平。而且Web、E-mail等应用在网络业务中的占比不足20%，通过Bi-DiffServ技术方案提高到60%，其服务质量已经得到非常大的改善。低等级服务也具有很好的时延保障和最小带宽保障，但丢包率高于高、中等级服务。低等级流量不允许突发，但可以充分利用高、中等级流量闲置的带宽资源。低等级服务适用于对带宽不太敏感的应用和一些未知应用。由于Bi-DiffServ技术方案是通过适当的丢包来控制流量的大小，避免拥塞的发生，因此3个等级的服务都能提供很好的时延保障。但在丢包方面则不然，在将要发生拥塞时，首先丢弃低等级流量，然后才是中等级流量，如果高等级流量不超过协定速率，将保证不丢包。在带宽复用方面，高等级流量不能占用中、低等级流量的带宽资源，即使中、低等级流量为零。中等级流量可以占用高等级流量的闲置带宽，但不能占用低等级流量的带宽，即使低等级流量为零。低等级流量可以利用高、中等级流量的闲置带宽资源。在某种极端的情况下，如低等级流量为零，即使有空闲带宽，高、中等级流量也不能利用闲置的带宽资源，这是Bi-DiffServ技术方案不足之处。但在实际应用中，通过适当安排不同流量的等级，如重要用户的流量设置为高等级，Web流量设置为中等级，P2P及其他应用流量设置为低等级，由于Web流量只占20%左右，P2P和其他未知应用的流量超过70%，而且P2P流量在一天内基本保持恒定，不存在低等级流量没有而中等级流量很大的情况，因此Bi-DiffServ技术方案的不足在实际应用环境中并不是问题。4.2验证评估为了验证Bi-DiffServ技术方案的可行性，利用OPNET平台进行了仿真。仿真环境采用图3所示的网络环境，Bi-DiffServ策略只需在RT1上修改代码就可实现。Client_VIP是网络1的重要用户，它通过1条TCP连接从网络2的SVR_VIP下载数据。SVR1是网络1的关键应用提供商，它通过3条TCP连接从网络2的Client2下载数据。Client1是网络1的普通用户，它通过6条TCP连接从网络2的SVR2下载数据。所有数据均从网络2下载到网络1是为了构造从网络2到网络1的拥塞情况，Client1、SVR1和Client_VIP拥有不同的TCP连接是为了模拟不同用户群带宽的竞争能力。在RT1与RT2互连端口的出、入方向都部署Bi-DiffServ：定义Client_VIP的出、入流量为高等级，分配的带宽为400 kbit/s（E1的20%）；定义SVR1的出入流量为中等级，分配的带宽不大于1.2 Mbit/s（E1的60%）；缺省定义其他流量为低等级。为了构造不同的流量环境，还在RT2与Client2、SVR_VIP的接入端口上通过CAR限制流向SVR1和Client_VIP的最大带宽，以模拟高、中等级流量的不同带宽需求，除此之外，RT2上不部署任何QoS策略。仿真结果见表2。随着高、中等级流量的增大，低等级流量在减小，而且总流量在稳定状态下基本保持在链路物理带宽的93%，也就是说低等级流量可以充分利用高、中等级流量闲置下来的带宽资源。当中等级带宽需求增大时，高等级流量闲置下来的带宽优先被中等级流量使用。当高、中等级流量的带宽需求达到预分配的带宽时，分配的带宽不再增加。在不同的仿真场景中，高、中、低等级流量的时延都比没有实施Bi-DiffServ技术方案前的时延小得多。为了验证Bi-DiffServ技术方案在出方向的效果，在相同的仿真环境和QoS策略下，把数据流改成从网络1流向网络2，构造出方向的拥塞，得到与入方向相同的仿真结果。这说明Bi-DiffServ技术方案不管在端口的出方向还是入方向都可以实现很好的区分服务，而且所有等级的服务都可以提供很好的时延保障。5结束语Bi-DiffServ技术方案的实现机制非常简单，不需要大量的队列资源和复杂的调度机制。采用Bi-DiffServ技术方案可以在提供区分服务的同时，轻松地实现线速转发。Bi-DiffServ技术方案比DiffServ技术方案优胜的地方不仅是可以在一个端口上同时实现出和入方向的区分服务，还可以有效避免拥塞，在所有等级的服务中都实现很