基于P4P的运营商网络流量控制浅析

1、基于p4p的运营商网络流量控制浅析张 勇1 马 钊1 马秀峰2 邓存元1 刘大可1(1.河南省工业情报标准信息中心，郑州 450003；2.郑州大学，郑州 450002）摘要点对点技术（p2p）的出现对于网络运营商高效和公平的分配其网络资源是个巨大的挑战。特别是近几年来，p2p软件的广泛应用吞噬了巨量的网络带宽，网络运营商和p2p厂商在限制和反限制方面花费大量人力物力，造成了双输的局面。本文探讨了p4p架构方法，通过其协调网络运营商和p2p应用的通信策略，可以大幅度降低网络压力同时提高传输效率，最后我们通过有关的仿真测试数据来显示这种架构的优势。关键词 p2p（对等网、点对点）；p4p；网络运

2、营商；流量控制1. 引言20世纪70年代中期，源于局域网文件共享的p2p技术就开始流行起来了，2000年用于共享mp3音乐的napster软件与美国唱片界的一场官司将p2p技术重新带回人们的视线，之后，各种基于p2p的应用风起云涌。在随后的几年间，各种类型的应用层出不穷，在文件共享、voip、iptv、game、im、协同计算等多个领域p2p技术都大放光彩。随着p2p应用的不断涌现，由于网络架构的原因，p2p应用对运营商网络提出了严峻的挑战。网络架构是运营商网络的基础，网络架构的核心问题就是保证用户有效利用网络资源，或者称网络流量控制或者简称流量控制。长期以来，网络架构一直是client/se

3、rver独统天下，它是一种典型的中央集中式架构，整个网络服务都依存中央节点（服务器）而存在，因此在流量上大体也表现为上行流量远小于下行流量。相比而言，p2p是一种完全不同的非集中架构。p2p架构中不存在服务器或是客户机的概念，网络中的每一个实体，都会被认为是一个对等点（peer），它们拥有相同的地位，任何一个实体都可以请求服务（此时相当于传统架构中的客户端）和提供服务（此时相当于传统架构中的服务器）。由于p2p的开放性、对等性和自主性，使得p2p具有资源利用率高、信息交换速度快、成本地等优点。因此，p2p从诞生以来就迅速风行，基于p2p的文件交换已经成为互联网的主流应用。据研究，互联网流量的2

4、/3是由p2p应用产生的，主要都是mp3音乐和各种视频文件的交换。德国的ipoque在2007年研究了一百多万网民将近3tb的匿名数据流量，调查地区包括澳大利亚、东欧、德国、中东和南欧地区。调查发现，目前网络带宽“消费大户”是p2p文件共享，在中东占据了49%，东欧地区占据了84%。从全球来看，晚上时段的网络带宽有95%被p2p占据。在给互联网用户带来的巨大便利的同时，p2p也给运营商带来了麻烦，其中最主要的就是吞噬网络带宽问题。p2p流量消耗了巨大的网络带宽，尤其是国际带宽，使网络基础设施不堪重负，运营商苦不堪言。网络运营商慢慢被孤立成了一个“管道提供者”，而那些虚拟运营商毫无管制的使用这些

5、管道，却不为其提供任何投入。目前，网络运营商对p2p应用的流量控制一般是借助于第三方专用设备，将这些控制设备串接入运营商网络，通过对流量的深度识别，然后对相关p2p流量进行控制。这种办法使得网络运营商花费大量人力物力来购买安装和维护这种设备。但是当网络运营商使用这些设备的时候，p2p软件厂商和程序设计人员就使用动态端口、流量加密技术来绕过这种设备，保证其应用软件的性能。双方的博弈在网络上实际上演变成了一场没有硝烟的“战争”，它必定会导致一个双输的结局。总之，无论是运营商网络还是p2p应用，两者都无法单独平衡好整个网络的效率。从这个现实矛盾出发，是否可以找到一个中间途径，双方都获利或不受到很大损

6、伤呢？p4p（proactive network provider participation for p2p）正是为了解决这个矛盾而提出的一种新架构，它具有轻量化、灵活性、开放性和低成本特点，意在加强网络运营商与p2p应用之间的通信，使得网络层和p2p应用层相协调、实现网络感知，以便降低运营商骨干网络传输压力和运营成本，并提高p2p的文件传输性能。2. p4p架构p4p架构是一个灵活的和轻量级的架构，允许网络运营商为目前的应用（包括p2p应用）提供更多的信息、指导和管理能力。2.1设计原则p4p的主要思想是在p2p应用与网络运营商之间开启显式的通信接口，p2p应用可以调用该接口得到网络信息，

7、并请求承载网分配网络资源，从而能够更有效的利用网络资源，并提升p2p应用性能。它的主要设计原则是：l 轻量化：保持原有p2p协议不变，支持管理和不支持管理的客户端之间互通不受影响；l 灵活性：支持运营商根据需求和成本，灵活调整部署方案，支持peer引导、流量代理、流量缓存等多种流量优化功能，支持自治域的分级管理，协助p2p厂商分级别、分层次管理peer的互联行为；l 私密性：p2p厂商不需要开放其私有协议细节给运营商，运营商不需要直接开放其拓扑信息给p2p厂商；l 开放性：支持普适性系统架构，可支持各种不同类型的p2p协议，应支持标准化设备在网络中的即插即用和自动发现，避免复杂配置；l 全面性

8、：支持形成覆盖全互联网的整体管理方案；l 低成本：支持较低的系统部署成本和渐进式的实施方案。2.2设计简介p4p架构由两部分组成：控制平面组成部分和数据平面组成部分。在控制平面，p4p引入网络监管服务器（itracker）作为p2p应用和承载网的通信接口。网络监管服务器的引入不仅可以划分p2p应用和承载网两者间的流量控制责任，而且有助于p4p实现渐进实施和扩展。具体的，每个网络供应者（网络运营商、大学校园网或者虚拟网络供应商等）管理着自己的网络监管服务器，一个p2p客户端通过dns查询获得本地网络监管服务器的ip地址。需要提到的是，考虑到容错性和可扩展性，p4p允许单个域有多个网络监管服务器。

9、一个网络监管服务器提供三种网络信息：网络状态/拓扑、运营商策略/向导和网络能力。在数据平面，p4p允许路由器给p2p提供详细的反馈，以便其更有效的使用网络资源。具体来说，路由器标记tcp数据包的ecn块或是利用类xcp方式明确数据流量，多宿主的网络通过95%的真实容量计算来优化传输成本和提高传输性能，当接近承载能力时，路由器标记相应的tcp数据包并且通知相应的端主机减小其流量。通过这种方式网络运营商既降低了成本又提高了网络性能，并且能为p2p流量分配更多的带宽。另外，这里的数据层部分是可选的并且支持增量部署。2.3 p4p控制层本文中，我们主要介绍p4p控制层。图1显示了p4p架构的潜在实体：

10、不同网络的网络监管服务器（itracker）、p2p系统的应用监管服务器（apptracker）和p2p客户端（peer）。p4p不决定确切的信息流，而是借助xml格式的控制信息提供一个共同的、可扩展的信息架构。图1：网络监管服务器（itracker）接口和信息流网络监管服务器（itrackers）可以提供三种形式的网络信息：网络状态/拓扑、网络运营商的策略/向导、网络能力。这三种信息分别通过三个接口提供，分别是：（1）信息接口（info）主要对外提供网络拓扑信息和状态信息，用来表示用户间链路的长度和成本。（2）策略接口（policy）主要向peer或apptracker提供网络策略和向导。比

11、如网络入向和出向流量的比例，在拥塞期应该避免使用哪些链路等等。（3）能力接口（capability）允许peer或内容提供商(通过apptracker)向其查询并请求承载网提供一定的资源和能力。例如，在网络运营商提供了高速缓存服务器（cache）的情况下，一个应用监管服务器（apptracker）可以通过请求网络监管服务器（itracker）来提高内容分发的速度。这些接口一方面保护了网络运营商的私密性，另一方面又允许网络和应用联合起来提升彼此的性能。p4p架构中不指定具体的信息格式，而只提供公共的信令架构。网络运营商可以选择实现上述3种接口的任意子集。2.4实例现在我们列举两个例子来说明网络监

12、管服务器接口（itracker）是如何起作用的。图2：p2p如何从网络监管服务器接口获得网络信息图2显示的是一个p2p应用监管服务器如何使用信息接口和策略接口来查询网络拓扑/状态和策略/向导信息。这个例子中，p2p应用跨越两个网络a和b，每个网络都配备了一个网络监管服务器，用户a和b通过信息接口和策略接口访问本地网络监管服务器，然后向应用监管服务器注册并向其发送从网络监管服务器（itracker）获得的信息，应用监管服务器综合考虑应用程序的需求和这些信息后有效调度资源，为用户提供服务。有时候为了减少向过多的用户泄露信息，也可能由网络信任的应用监管服务器直接向网络监管服务器去查询这些信息。图3：

13、p2p通过网络监管服务器访问网络能力接口图3列举了p4p应用的另外一个例子，显示怎么从能力接口请求网络能力。具体是应用监管服务器向网络监管服务器b发送请求信息为帮助其内容分发分配一个固定的、高容量服务器，网络监管服务器安排其网络上的一个服务器并把其地址返回给应用监管服务器，然后应用监管服务器把服务器信息列入用户列表，并将其返回给b网络上的用户。3. 性能评估p4p性能如何取决于接口间传递的信息类型和用来控制流量的算法，研究小组进行了在planetlab的模拟测试和真实网络环境下的测试，结果显示p4p不仅能够提升p2p应用的性能而且能够提高网络运营商的效率。由于篇幅限制，这里只介绍一部分评估结果

14、。3.1优化方法论通过考虑群组特征和现有流量水平，可以实现网内流量最小化。我们假设，一个网络中有个k群，每个群用户从相应的群应用监管服务器获取唯一的群id。网络监管服务器追踪给定群中的用户，包括同接入点（pop）的用户数和每个用户的上下行带宽。我们指定在同一接入点i的用户为pop-i用户，然后网络监管服务器基于群统计信息和网络状态信息，计算出网络最优产能，据此制定对等互联向导。具体来讲，网络监管服务器构建包括接入网节点和接入网间边缘的抽象拓扑g=(v，e)，收集网络状态信息（1）be，边缘e处的背景流量；（2）ce，边缘e的能力；（3）ie(i,j)，拓扑g中节点i到j的路由指示。网络监管服务

15、器计算uik和dik，这里uik和dik指网络中k群中所有pop-i用户的上传和下载总能力，网络监管服务器可以通过获取p2p客户端和每个种子的链路能力来计算uik和dik。网络监管服务器考虑所有用户的带宽限制以得到每个pop-i的uik=maxuik-dik和dik=maxdik-uik，uik和dik分别是用户和其他pop间剩余的上传下载能力。网络监管服务器定期性的通过双极优化方法来制定互联向导，通过平衡流量来发挥每个群的最大产能，具体如下：tijk指k群中pop-i到pop-j的流量值，我们首先解决第二层问题以便获得k群的最优产出toptk，这样能够使我们把k群第二层问题转化成一个约束条件

16、：ijitijk=toptk然后我们就能解决第一层问题，网络监管服务器制定出互联向导，这是一套pop-i和pop-j间的规范化权重wijk=tijk/jtijk，pop-i的用户依据概率wijk挑选pop-j的用户进行互联。随后，网络监管服务器为接入网指定匿名进程标识符（pids）并且把计算好的权重赋予相应的pid间互联概率值。应用监管服务器就能获得pid间概率值并用它了做出互联选择。3.2测试结果我们用模拟方法和真实网络测试来评估p4p的性能。我们建立了一个可行的仿真bittorrent系统和一个使用liveswarms（基于p2p的一种视频流应用）的p2p系统，一个做文件共享测试，一个做流

17、媒体数据测试。图4和图5显示的结果就是在p4p启用条件下的bittorrent数据，此时应用监管服务器采纳了网络监管服务器建议的向导。我们分别使用abilene实验室模拟网络和at&t公司10gbps带宽的pop网络拓扑，评估中我们通过入口链路把每一个用户连接到一个随机的pop，在两个同规模的群中分别共享一个块大小为256kb的256mb文件。与p2p相比，p4p完成时间大约缩短了45%，同时两种网络上的连接利用率大约分别提高了50%和70%。此外，p4p可以减少大约一半的高峰期下载负荷，使用户实现高速下载，同时极大的节省网络带宽。图4：完成时间（abilene和at&t网络）图5：连接利用率

18、（abilene和at&t网络）下面我们介绍p4p和liveswarms结合的测试结果。在abilene网络上用53个planetlab节点来传输一个大的视频文件，每次测试持续900秒，我们记录节点间的数据交换量，并计算每个使用骨干链路的负载。图6显示了每个alilene骨干链路的总流量。显示使用本地自适应p2p时的链路平均负载是1.1gbps，而和p4p结合后，平均负载减少至0.37gbps，p4p的引入能使负载下降66%。图6：连接流量传统的p2p方式下节点的选择和传输是随机的，也就是说这种传输方式可能占据任意一个网络节点或者出口的带宽。而p4p则是智能选取数据交换对象，更多的通过智能运算

19、选择同一路由器或者本地网络来进行数据交换，最大程度上解决大型节点和网络出口负载，同样通过智能选择数据交换对象也能大大提高数据传输能力。4. 结束语p2p应用给底层网络负载和网络流量控制带来了很大的压力和挑战，传统的流量控制技术难以有效处理采用p2p网络架构的多种应用，p2p应用和网络运营商之间的矛盾日益突出。本文介绍了一种新型的基于拓扑理论的p4p架构，来调和p2p和网络供应商之间的矛盾，使网络服务供应商在管理好底层网络的同时，有能力向p2p应用提供网络实时状态，将网络控制整合到p2p的网络采样需求中，从而可以有效降低骨干网络传输压力和运营成本，并提高改良的p2p文件传输的性能，达到双赢的效果

20、。总的来看，虽然p4p的工作目前还处于初期，但其应用前景非常广阔。作者简介：张勇（1981），男，河南省郑州市人，毕业于西安理工大学电子信息工程专业，现就职于河南省工业情报标准信息中心。参考文献1 /homes/yong/index.html.2 a.bharambe,c.herley,and v.padmanabhan. analyzing and improving a bittorrent networks performance mechanisms. in proceedings of ieee infocom 06, barcelon

21、a, spain, apr. 2006.3 p4p: reconciling conflicts between p2p and isps. /, august 2004. 4 s.guha, n.daswani, and r. jain. an experimental study of the skype peer-to-peer voip system. in proc of iptps, santa barbara, ca, feb. 2006.5 haiyong xie, yang richard yang, arvind krishn

22、amurthy, yanbin liu, avi silberschatz. p4p: portal for (p2p) applications. /homes/yong/index.html6 r. keralapura, n. taft, c.-n. chuah, and g. iannaccone. can isps take the heat from overlay networks? in proc.of hotnets-iii, san diego, ca, nov. 2004.7 haiyong xie, arvind kris

23、hnamurthy, yang richard yang, avi silberschatz. p4p: proactive provider participation for p2p.yale computer science yale/dcs/tr1377. march 1, 2007. 8 haiyong.xie, arvind.krishnamurthy,avi.silberschatz,y. richard yang. p4p: explicit communications for cooperative control between p2p and network provi

24、ders. , p4pwg whitepaper. may 25, 2007.9 a. parker. the true picture of peer-to-peer filesharing. ,july 2004.the analysis of network traffic control based on p4pzhang yong1, ma zhao1, ma xiufeng2, deng cunyuan1, liu dake1（1.henan industrial intelligence standard information center, zhengzhou 450003;2.zhengzhou unive