湖北联通互联网流量优化管理

1、 . . 23/23联通互联网流量优化管理 日期：联通互联网流量优化管理（联通网管中心 薛刚）摘要：本文从宽带网络运营的视角，通过对互联网流量成分的统计分析，指出当前网络上流量分布和网络的运行情况以与存在的主要问题，提出优化和解决方案，通过诸多方面的优化措施，较大程度地降低了网络流量结算成本，提高了通信质量和用户满意度，并且从网络运营管理的角度提出如何对流量实施必要的管理，制定适应当前网络流量特点的业务模式。关键词：P2P 互联网 流量 优化 管理概述自20世纪90年代中互联网进入中国以来，业务发展如火如荼，虽然经历了泡沫，但毕竟给人们带来了崭新的通信世界。网络应用日趋增多，上网人数不断增加，

2、各大运营商也对宽带网络与应用非常重视，投入了很大力量。但是，IP网络本身与其宽带业务的发展模式，却逐步成为制约宽带业务进一步发展的主要因素。从技术上来看，目前的IP网络还很难提供端到端的QoS保证能力和网络安全保障机制，难以提供差异化服务，从而制约了业务质量与发展能力。从运营模式上看，基于互联网的产业价值链还未形成良性循环，业务、应用脱离于网络发展，运营商难以做到对网络资源的管理与控制。由于运营商的收入主要来自接入费，因此投资的增加、用户数的增长与业务收入不成比例，ARPU值逐年下降，特别近年来P2P技术的广泛应用，使得网络增量不增收，给宽带电信运营商可持续良性发展带来了较大的压力。一、P2P

3、流量对网络基础设施的影响简单地说，P2P技术是一种用于不同PC用户之间、不经过中继设备直接交换数据或服务的技术。它打破了传统的Client/Server模式，在对等网络中，每个节点的地位都是一样的，具备客户端和服务器双重特性，可以同时作为服务使用者和服务提供者。由于P2P技术的飞速发展，互联网的存储模式将由目前的“容位于中心”模式转变为“容位于边缘”模式，改变Internet现在的以大为中心的状态，重返“非中心化”，将权力交还给用户。随着互联网技术和应用深入发展，当今P2P的应用已经是非常普遍的事情，然而P2P的广泛应用着实让我们宽带运营商感到十分为难，因为这类对带宽的需求在理论上无止境的，它

4、们会使原来运行流畅的网络变得越来越拥塞，同时还极大改变了网络上的流量模型，并且将运营成本提高30甚至更高。 总结我省165网络实际运行情况，发现P2P的流量给我们带来如下负面影响：1.1 堵塞INTERNET连接P2P应用带来的带宽瓶颈出现在165网络的主出口链路上，诚然这些P2P的用户可能会感觉快速下载的乐趣，但对于那些非P2P应用的用户来说，通信服务的体验将会下降80甚至更多。这时，其实每个用户都会受到影响，具体表现是用户局域网或者广域网中的计算机与其应用的响应速度将会变得缓慢。1.2 增加网络结算流量和成本 在P2P应用出现之前，联通互联网的流量模式并没有出现太大的改变，那时的网络当用户

5、停止使用他们的计算机的时候，网络的流量也就停止了。在使用P2P之后，网络变得不再有任何空闲。原因是P2P应用的用户通常将很多大型的文件放在下载队列中然后离开计算机或者去干其他的工作，P2P应用工作在后台的模式下，可以日以继夜地竭尽所能地获取网络能提供的最大带宽用以完成下载任务，更为甚者P2P软件还采用了多点连接的下载方式，即每位下载者在获取数据的同时，还成为其他下载者数据的来源，这样下载的人数越多，下载的速度就越快，按照这种对等的通信模型，从理论上分析，BT的下载速度只受到计算机数据通信处理速度的限制，而尽可能地消耗网络的带宽资源。BT把一份大文件切割成碎片，为每一个碎片标上特殊标识，用户无需

6、到一个固定地点（例如传统网络的中心服务器）上下载完整的文件，系统会自动寻找、随机下载具有一样标识的文件碎片，将其加以整合成为完整的文件。一个节点可以既是搜索节点又是索引节点。用户节点可以选择3个搜索节点作为它的“父”节点，如果“父”节点接受该用户节点作为它的“种子”的话，那么该用户节点就可以提交其所要共享的列表给它的“父”节点。在缺省的情况下，搜索节点可以最多维护500个“种子”节点。这种模式的关键之一是引入了索引节点，索引节点不会直接连接到有的资料上，它就像搜索引擎一样，只是搜索和所需资料相关的地址，至于用户到底连接下载了什么容则和它无关。这种模式的关键之二是引入搜索节点，搜索节点管理着所属

7、用户的文件列表。用户节点通过索引节点获得搜索节点信息，之后用户节点就与获得的搜索节点相连，每一次查询都通过该搜索节点进行。当用户发出搜索请求后，如果和用户节点直接相连的搜索节点查询结果达到100个（这里的100个搜索结果，可以由用户自己来设定）就停止；如果不足100个，就向相邻的搜索节点发出请求，如果查询结果还不够，就继续向外快速发散，直到所有的搜索节点都被搜索到为止。若所有的搜索节点都被访问过，就意味着整个网络上的节点都被搜索到了。由此可见，面对这种特殊的通信模式，我们的网络早已变得不堪重负了。经过我们较长期的运维检测，发现这些以BT、eDonkey、KaZaA、eMull等为代表的P2P应

8、用，消耗了我省165网络40以上的有效网络带宽，同时产生了40的结算流量，而普通的WEB浏览只占用了大约30的带宽，产生了20的流量。为此，我省165网络每个月结算费用高据不下，个别月份，结算的费用还超过了全省当月的经营165业务经验总收入。成为我省165网络可持续良性发展的第一大杀手。1.3 网络基础设施不堪重负P2P的广泛应用，有效带宽的消耗和额外流量的产生并不是唯一的问题。我省165网络的接入设备，例如汇聚层的路由器、以太网络交换机，网桥，DSLAM、B-RAS以与后台的认证系统等，是不可能具有无限的处理能力的。因此，当线路上用户使用量和通信状态数目急增，这些设备将不能支持更多的用户。这

9、时，我们必须将进行大量的设备追加投资，或者采用一套流量管理解决方案来缓解或者避免用于基础设施建设的大笔开销。1.4 对经营成本的负面影响P2P长时间在线的应用，对我们目前采用的单一的包月收费模式提出强有力的挑战，这种收费模式原来是建立在假设用户每天只有几个小时在线这一前提下的，而它同时也为用户提供了持续在线的可能性。然而，P2P应用改变了这种模式，它们获取带宽的方式可谓完美，使用“永远在线”的技术日以继夜地在进行贪婪的下载和上传服务。这样，宽带连接用户就可以在只付出很少的成本的情况下承载很大的流量，从而减少了服务提供商的利润，相反还增加了结算成本。二、流量分析策略实施流量分析和控制是2005年

10、联通165网络运维工作中的重点，2005年，网管中心采用多种方法和措施对165网络中的业务流量实施了全方位的、多角度的分析和控制优化调整工作，网管中心在实施的过程，取得不少的经验和成功。2.1 流量分析随着网络应用逐渐朝向宽带应用发展，用户对带宽的需求也不断上升。从长期角度分析，扩充带宽和相应网络设备已成为IP网络的最大成本，我们也开始感受到有效规划和使用带宽是降低整体成本、提高网络性能的重点。量化是优化的基础，然而随着网络结构日益复杂，只能取得端口数据的传统网管系统已经无法满足网络规划和分析的需求。决策者不仅需要端口带宽数据，还需要分析网络流量的来源、目标和应用等各种数据的比例分布和尖离峰差

11、异，才能在网络性能和带宽成本之间，取得最优化的平衡，实际运营证明有效的进行流量分析和控制就是解决以上问题的最佳方案。我省建立流量分析可逐步向前发展，从短期的实时分析、中期的流量分析到长期的流量统计，全部集成在一个单一系统，具体功能应包括网络流量监控、超量警示、趋势分析、排序分析、实时分布、报表查询、计费统计等。2.2 系统架构分析解读联通骨干网络结构，如下图网络拓朴图：出口2出口1流量分析GSR1GSR2中心机房湖北联通骨干武汉荆州等宜昌上图为示意图，网络设备可以为多个。网络流量分析仪同用户网络结构无关，网络设备通过UDP的协议向分析仪传送Netflow的流量信息，分析仪对收到的数据按照用户的

12、需求进行过滤、统计、分析等处理，最终呈现用户报表。分析系统独立运作，无需其他辅助设备。2.3 测量基本目标和方法整个测试目标分为3个部分：1、对骨干流量的检测，了解目前的骨干带宽使用状态。2、对关键应用的检测，包括www、下载、流媒体，以与病毒等，了解目前网络重要应用与常见病毒的带宽占用情况。3、对网络重要的地址段或主机的监控，便于对网络进行合理规划，包括地市、大客户、或游戏与视频点播服务器等。测试方法也为3个部分：1、流量监控：对各种流量的即时数据监控，包括速率、位元（带宽）、封包、会话的平均值与最大值的统计。2、流量分析：对各种流量的TOP N累计数据的统计，包括ip地址和应用协议的累计排

13、名统计，用于了解特定围主要流量产生于哪些IP和哪些协议。3、即时流量报表：对当前IP地址或应用的即时流量进行分析，了解当前IP和协议的排名。 我们的测试将针对以上测试目标，采用3种测试方法分别得出测试结果，全面地了解联通网络状态和使用情况。2.4 测量得到的关键数据（1）流量成分的分布情况分析用户上网业务，使用即时流量分析功能，仍以向用户提供www、下载、流媒体等业务为主，其中www服务占流量的近28%，BT下载占近32%（Tcp16881+Tcp4662）。我们可以通过流量监控的功能，实现对特定应用的流量监控，如DNS、MAIL、FTP等。我们通过多种技术手段测量165网络上的各种业务流量，

14、发现网络中除了WWW、E-MAIL、FTP传统的互联网业务流量外，还有大量的P2P的业务流量，占据总体进出省网的3040之间，这些P2P流量主要是以BT、eDonkey、Skype为代表的P2P应用软件产生，这些流量给我省的出口中继、流量成本结算带来严重的负面影响。具体分布如下：我们分别对一些网络流量或会话数较大的应用进行量监控，了解各个应用带宽使用状态，为网络优化和控制提供依据。（2）关键应用分析1、WWW应用：速率：其一日最高峰值速率为：243.96Mbps；平均速率为：148.50Mbps；当前速率为：230.98Mbps。Session数：其一日Session连机数最高峰值为：2563

15、180个；平均Session连机数为：1420544个；当前Session 连机数为：2306186个。（3）BT下载应用通过对各种BT下载与服务软件下载特征的监控我们可以了解网络BT流量占用带宽比例，流量较大的时段，通过此数据了解BT流量平均值，一旦流量异常，可以与时采取措施控制带宽，保证其他应用的正常。速率：其一日某地市最高峰值速率为：41918.88Kbps；平均速率为：25425.87Kbps；当前速率为：23827.53Kbps。Session数：其一日Session连机数最高峰值为： 428336个；平均Session连机数为：258261个；当前Session 连机数为：2588

16、32个。（4）特定应用的流量监控与分析我们通过对联通网BT流量的的监控，了解提供BT下载服务的源地址列表，并可掌握网进行BT下载最多的IP地址主机，便于我们进一步对这些源地址进行有针对性的控制。2.5流量分析总结通过较长时间的对165的流量进行了监测和分析，得出一些相当有用的流量信息，这些流量信息将有助于了解165网络应用状况。同时随着新用户数量的增长，出口带宽的使用率也会慢慢增大，是扩容还是限速，或是做分流，都需要对网络中的流量做细致的掌握，才好做出正确的决策。通过中长期流量监控与Top N排名分析，得出各种流量的增长趋势，以为网络的运维提供有力的帮助，有助于运维建立自己网络的流量基线，从而

17、对以后的网络运维，优化提供丰富的数据。同时，实时的流量分析可以帮助运维人员与时准确的发现网络的异常，找到异常流量的根源，从而保证网络的运行质量。进行流量监测，可以就网络流量方面，提供很多传统网管所不能与的数据，不仅能够完善网络运维，更能够在流量分析数据的基础上，指导业务发展，并提供决策支持。关于流量分析可以从以下几个方面总结经验：（1）重要链路的流量监控可以针对省网的重要链路，基于GSR的接口，进行流量监控，掌握不同链路的流量基线，并了解链路的负载。如省网到骨干网的链路、各地市到省网的链路（2）重要链路的流量分析可以针对省网的重要链路，基于GSR的接口，进行流量流向和流量成分的分析，掌握基于流

18、量、应用、Packet、Session的IP或者AS的TopN排名。以便进一步了解省网到骨干网、各地市到省网的链路上，流量从那里来、到哪里去、都是些什么应用的流量等详细信息，这样可以随时察觉出流量或者路由是否正常。（3）重要业务的流量监控可以针对省的重要业务，如：ADSL用户、LAN用户、拨号用户、大客户、网吧等，基于GSR的接口、IP地址区段、流量的应用等不同方式，进行流量监控，掌握不同业务的流量基线，并了解对相关链路的负载。这些数据更可以提供给业务部门为他们进一步研究市场、开拓市场提供决策支持。（4）重要业务的流量分析可以针对省的重要业务，如：ADSL用户、LAN用户、拨号用户、大客户、网

19、吧等，进行流量流向和流量成分的分析，掌握基于流量、应用、Packet、Session的IP或者AS的TopN排名。以便进一步掌握不同业务流量的流量和成分，随时发现不正常的流量流向或者异常流量。如有异常流量存在，与时定位出异常流量的来源、目的或者其应用。（5）客户服务可以针对用户投诉、用户意见，对相关链路、相关围的流量，进行流量流向、流量成分的详细分析，以便与时解决用户反映的问题。三、流量控制策略实施联通165网络出入省流量长期以来比较大，导致网间结算费用居高不下，时常还造成联通165业务收入还不够支出，为了迅速扭转这种不利的局面，2005年下半年，我们在省165网络部通过多种技术手段测量各种业

20、务流量，发现网络中除了WWW、E-MAIL、FTP传统的互联网业务流量外，还有大量的P2P的业务流量，占据总体进出省网的3040之间，这些P2P流量主要是以BT、eDonkey、Skype为代表的P2P应用软件产生，这些流量给我省的出口中继、流量成本结算带来严重的负面影响。 3.1 如何检测网络中的P2P流量为了能够将百般伪装自己的P2P流量从网络识别出来，网络应用的可视性是至关重要的。这种能力将使我们能够了解到在当前的网络中运行着哪些P2P应用、哪些P2P应用正在吞噬着网络中宝贵的资源、哪些用户占据了过多的网络资源从而造成网络拥塞。当了解这些之后，我们就可以对P2P应用进行限制或者阻止，或者

21、实施流量整形，应用队列技术调低P2P应用的优先级别，直接地或者间接地为其他非P2P用户分配有保证的网络带宽，从而利用现有的带宽资源最大限度地提高流量的效率。根据实际运维发现就目前业界所提供的技术手段中，那种利用深度数据包检测(DPI)技术，是识别P2P应用比较高效的办法。因为对P2P应用进行判断需要借助复杂的第七层识别技术，由由于大多数P2P文件共享应用都使用端口跳动技术或者强行使用一些常见的协议端口进行传输，所以想简单地通过端口对它们进行识别显然是远远不够的。因此，所有的数据包必须在应用层面上进行深度检查，即对传输协议TCP协议的载荷（payload）部分进行检查，以判断他们是否符合代表某些

22、应用的样本特征。如下图所示：特征码在很多情况下，对于某一种应用的识别需要检测它是否匹配多个代码的样本的特征，在这里还得感那些最初设计TCP/IP基础协议体系的大师们，就是在TCP/IP基础协议的架构下，针对每一类典型的应用，在TCP的部分总会产生与之相匹配的特征码，幸好这个特征码是根据特定的应用，TCP/IP协议堆栈在通行的过程自动封装的，通信程序软件开发人员对这个特征码是不能作任何更改的，并且这个特征码一旦产生，就标志着某一类新的应用产生了，并且在通信的过程中，他的特征值是不会改变的，除非在应用层针对应用实施新的变异，方能改变特征码的数值。3.2 处理P2P流量带来的效果当流量控制系统识别了

23、P2P的应用之后，就可以比较容易地对这些P2P应用实施流量整形、控制管理等工作，同时对所有出省的流量实施高度细化的实时视图。下面是对P2P做限制后的抓图：（in+out）P2P文件共享应用策略生效，流量即时下降。下降230M进、出两个方向的合计。从上图明显看出，P2P应用产生的流量几乎占据省出口A总体流量的50左右，进向流量节省了2/3，直接减少了运营成本，带来了直观上的效益。在对P2P流量实施管理策略（In=10M,Out=10M）之后，直接节省带宽230M。流量实时显示的波形图在流量控制前后，效果十分明显，图形每一种不同的颜色代表一种不同的应用，从图中还可以发现，当P2P流量得到有效压制后

24、，网络上其他的应用可用的相对带宽会变大，具体表现在其他的互连网应用的响应速度会明显的加快，带来的最终效果是，当P2P流量得到有效的控制后，其他的非P2P应用用户的满意度会明显提升。3.3 流控策略制定为了能够合理疏导我省165网络的流量和提升广大宽带用户的满意度，我们曾尝试了不同的解决方案：1、单纯增加出口带宽最显而易见也是最简单的解决办法，就是增加中继带宽。实际运营表明：增加带宽确实在短时间能缓解网络的拥塞情况，但是当P2P应用“觉察”到网络中有更多的可用带宽，网络带宽将会再度被P2P应用占据。这样以来，用于增加带宽的费用将是个“无底洞”，因为这样做只是给那些P2P应用提供了更多可获取的带宽

25、资源。企业网络也面临也面临同样的两难处境，即是否采用升级其INTERNET连接链路的办法来缓解网络的拥塞情况。若是用户不理解这种通信行为，还会增加用户的抱怨。总体说来扩容网络是带宽拥塞时运行维护网络的传统做法，但在当前网络发展的形势下，这种传统做法已不能根本解决问题，扩容后的网络资源会迅速被P2P流量占用，并且扩容带来的运营成本压力最终会使运营商严重亏损，网络质量降低，形成恶性循环。因此，在扩容网络容量的同时，必须同时考虑其它措施，才能真正解决网络带宽“永远不够用”的怪圈。2、禁止P2P 全面禁止P2P应用会使拥塞的网络恢复正常状态。但目前P2P应用已经被广大网民所喜爱，一旦全面禁止P2P应用

26、，我们将会失去这些用户，这几乎是所有宽带运营商所不愿意发生的。因为很多上网用户就是为了能够不受限制地进行文件共享才租用了运营商地线路。3、适度限制P2P流量适度控制P2P应用对网络资源的占用，可以缓解网络运营压力。有效的“变堵为疏”，制止带宽浪费控制网络互联成本，且对P2P应用不能简单禁止，否则会造成用户地投诉和纠纷，所以必须进行流量整形，限制某些应用的流量。经过我们较长时间的摸索，发现我省165网络经过流量优化后，网络可以去掉3040的可限性流量，用户无明显投诉。我们也可以考虑其它转发模式，对不同流量成分采取不同的转发策略。实施以上策略的前提是能够做到对不同应用流量的识别，目前市场上已经存在

27、多种支持流量识别与管理的产品，经过我们实际测量试用表明，现有流量管理产品尚不能解决所有问题。4、实施新的商业运营模式恢复互联网发展初期基于流量的价格体系也是一个思路。曾经有过这样的案例，按月包流量的移动互联网用户因无限制使用P2P下载软件，导致产生上万元的月使用费，和正常包月费用相差百倍。这个案例也从一个侧面说明，传统互联网应用和P2P应用对网络资源占用的巨大差别。但简单实施基于流量的计费，也会严重限制用户对网络的访问热情，阻碍互联网的正常发展。改变现有的粗放型宽带接入包月模式，实现对网络流量的精细化管理，实现QoS保证，对用户的分级管理，按服务与容收取费用，找到合理可行的计费模式，是新的商业

28、运营模式需要实现的目标。这个目标给用户接入汇聚产品提出了更高的要求，首先要保证主要应用的有效运行；其次要能控制次要流量，根据用户定制进行容过滤；再有，就是能为基于流量和使用时长的价格体系提供技术支撑，目前国部分宽带运营正在做这方面的尝试。目前已有部分设备满足以上要求，相信随着网络设备性能的飞速发展，将来网络汇聚设备对以上功能的支持将得到普与。下一代网络（NGN）架构中的一个典型特点是能够提供对多业务的感知和控制，实施不同的用户策略、业务策略、应用策略，实现对带宽和QoS的控制。我们希望P2P应用的出现和发展，会成为下一代网络快速发展、走向商用的推动力。5、联合其他渠道限制P2P流量的过度增长目前国最主要的P2P应用是利用BT、EDonkey等软件上传、下载文件，但下载的软件或影音容有相当部分存在知识产权、问题，还有部分容涉与到传播的问题。在过