IP城域网流量流向分析.doc

IP城域网流量流向分析 程小芳 （四川通信科研规划设计有限责任公司，成都 610041）摘 要：针对互联网时代运营商宽带网络所面临的挑战，本文提出了IP城域网流量流向分析方法，从网络流量监控关键技术、及关键技术优势及相关应用方向入手，结合电信城域网A现网流量，介绍了IP城域网流量分析方法、优势，及在互联网时代的应用价值。关键词：IP；FLOW；流量分析；流向分析Grapher），另外现网许多网管也提供这些功能。MRTG的功能单一，它使用SNMP协议访问网络节点攻取MIB信息（包括网络节端口流量），然后通过WEB方式输出结果。（2）端到端的IP流量：是在网络层从一个源到一个 目的IP包的统计信息。相对于网络节点端口流量而言，端 到端的IP流量包含了更为丰富的信息，通过对它的分析， 可以了解到网络中的用户都访问了哪些目的网络，是网络 分析、规划、设计和优化的重要依据。目前采用端到端 IP流量的典型工具包括SNIFFER、FLOW和流量探针等， 根据其不同的特点，分别适用于不同范围的流量采集。（3）业务层流量：该流量除了包含端到端IP流量的 信息外，还包含了第四层（TCP层）的端口信息。显而易 见，它包含了应用服务的种类信息，利用这些信息可以做 更详细的分析。SNIFFER、FLOW和流量探针等工具也实 现了这个层面的流量信息采集。（4）完整的用户业务数据流量：该流量对于安全、性 能等方面的分析非常有效。例如捕捉黑客的来访数据包可 以制止某些犯罪行为或得到重要的证据。由于捕捉完成的 用户业务数据需要超强的捕获能力和超高的硬盘存储速度 和容量，需提供长时间的完整的用户业务数据流量采集。2.2 流量流向分析的关键技术在IP网络中，不同的网络分析技术可以实现不同的分 析目标需求。日常的网络分析需求可以大至分为：网络故 障分析、网络质量分析、网络流量流向分析、网络应用分 析。网络故障分析、质量分析主要是针对网络设备及性能 的分析，通过分种分析技术保障网络的正常运行。网络流 量流向、应用分析主要是针对网络中承载的流量进行分 析，获得各种分析数据，如流量构成情况、流向情况等，1 引言随着运营商重组及全业务的经营，宽带垄断经营局面已被打破，各家运营商网络同质化趋势明显，市场竞争逐 渐趋向服务型竞争。互联网业务和各类型智能终端的快速 发展，电信城域网A宽带网络流量呈直线增长，网络中承 载的业务也越来越丰富，而流量增长并未同步带来收入增 长，基础网络建设陷入“拥塞扩容再拥塞”的局面， 为更好的了解网络中的业务，及时掌握网络流量特征，以 实现为网络建设提供依据和网络带宽配置最优化，我们启 动了流量分析及流量本地化课题研究：通过现网流量和业 务的深入分析，总结探索IP网络流量特征、用户行为习 惯，及网络流量增长趋势模型；纳入IP网络建设、规划、 维护中得以应用。本文通过对流量的深入分析，了解用户使用行为和习 惯，根据现网流量特征，提供合理的、科学的网络建设和 规划依据，以提高网络资源利用率和提升客户感知。2 网络流量分类及流量流向分析关键技术2.1 网络流量的分类网络流量按照其包含信息内容的不同可以分为四类：（1）网络节点端口流量：是网络节点设备端口流入 和流出的数据包的信息统计，包括数据包的个数、字节 数、包大小分布、丢包数等非常多的统计信息。监视节点 端 口 流 量 的 典 型 工 具 是 MRTG（ Multi Router Traffic用于日常网络分析、优化。本节将主要对流量流向分析技术进行介绍。 网络中流量流向分析是一个热点问题，通过流量流向分析，可以得到网络流量的发展趋势，发现网络中存在的 瓶颈，及时进行网络优化调整。网络流向分析主要是通过 一些数据包采集技术，如SNIFFER、FLOW、硬件探针 等，检测出网络设备中数据流的流向信息。由于网络带宽 的快速增长，SNIFFER及硬件探针技术已不能满足网络中 带宽的需求，目前骨干网中常用的分析技术为FLOW方式（如思科的NETFLOW）。NETFOLW的工作原理：NETFLOW利用标准的交换 模式处理数据流的每一个IP包数据，生成NETFLOW缓 存，随后同样的数据基于缓存信息在同一个数据流中进行 传输，不再匹配相关的访问控制等策略，NETFLOW缓存 同时包含了随后数据流的统计信息。当在一个接口上配置 NETFLOW时，这个接口就不再使用其他的交换模式。 NETFLOW收集器从路由器或都交换机等NETFLOW源设 备采集原始的数据流信息，然后发送给NETFLOW分析器 进行汇总的统计分析，生产报表结果等。而且，利用 NETFLOW交换，可以把数据输出到一个远端工作站，以 便进一步处理。NETFLOW工作原理图如图1所示。传统的对全网的路由协议的分析可以获得该采集点访问各个方向时通过链路的信息。结合这两个分析结果，可以得 到该采集点访问各个方向时所通过链路的流量情况。Top N与基线分析的形式是最基本流分析的方式。通 过这种方式可以将注意力放到那些超过阀值的流记录。经 过运用FLOW监测一段时间的网络流量，建立起一个基于 时间的正常流量模型。该模型对监测网络的各个时间段内 的各种协议流量建立一个动态流量基线。当某一时段，某 一协议流量与当前基线不符时，可以判断网络流量中出现 异常。3 流量流向分析应用实践3.1 城域网A流量分析方法通过对本城域网A现有监控手段的分析和长时间数据 提取、分析，城域网A流量流向采用NETFLOW进行长时 间监控网络流量，建立了一个基于时间的正常流量模 型；宽带用户流量特征采用AAA系统进行长期数据采集 和深入研究，建立了一个基于宽带用户行为特征的流量 测算模型。本节主要介绍采用AAA系统实现的各类用户流量特征 分析的应用实例。本次用户流量特征分析方法主要包括： 现网数据采集、数据分析、流量测算模型建立、效果验证 评估等。3.2 城域网A流量测算3.2.1 用户流量测算模型城域网A中，主要包括公众宽带用户流量、专线用户 流量、IPTV用户流量，通过AAA系统实现这三类业务基 本用户类型的采集分析。公众宽带用户流量和专线用户流量主要以WEB、 P2P视频、P2P下载、及时通信、游戏流量为主；承载于 BRAS设备。IPTV流量分为直播流量和点播流量；承载于 SR设备。通过城域网A用户分类，城域网A流流量模型如图2所示。 公众宽带用户流量测算模型 公众用户承载于BRAS上，BRAS上行链路公众宽带入流量为：V公众=N公众iW公众iOL公众i =不同速率模板 CR上行链路公众宽带入流量为： V公众=N公众iW公众iOL公众；i =不同速率模板 或： V公众=N公众iWCR公众iOL公众；结果输出Netflow源设备统计查询图1 NetFlow工作原理示意图一个NETFLOW流定义为在一个源IP地址和目的IP地址间传输的单向数据包流。通过7个字段（field）识别一 个流：源IP地址、目的IP地址、源端口、目的端口、协议 类型、服务类型及路由器的输入（input）接口。当收到一 个数据包，路由器将查询这7个字段以决定，如果数据包 属于已有的流，相应流增加统计，否则创建一个新的流。 基于FLOW的网络流量分析，目前可以实现流量流向 矩阵、TopN与基线的分析方法。流量流向矩阵是根据物 理拓扑模式描述正常“网络活动的模型”；通过分析模型 中的所有流量构成，可以计算出当时网络中各链路的流 量、流向情况。通过这种方法，可以在网络优化前就得到 优化后的流量情况。如通过监测网络中接入层的入流量， 可以获得这些流量访问的流向及相应的流量大小。而根据Netflow分析器Netflow收集器不同速率公众用户数(N公众i)公众宽带用户流量(V公众)(BRAS)不同速率忙时平均带宽(W )公众在线集中比(OL公众)出城域网比例不同速率专线用户数(N专线i)专线用户流量(V专线) (BRAS/SR)城域网流量(CR)出口流量专线、公众不同速率忙时平均带宽(W )专线i在线集中比(OL专线)IPTV用户数(NIPTVi)IPTV用户流量(VIPTV)IPTV至区域中心流量节目频道数(P )i节目码率(BWi)点播用户在线比(OLunicast)标清频道使用率( )i点播命中率()至POP点流量节点数量(M)图2 城域网A流量模型图公众宽带用户流量测算模型参数详细说明见表1所示。 IPTV用户流量测算模型IPTV用户除少数地市承载于二平面SR上，大部分地 市承载于BRAS上，所有BRAS/SR上行链路入流量为：VIPTV= BWi Pi MB/S+ NIPTVi BWi OLunicas i（1-）i =SD，HD 所有BRAS/SR至POP量为： VIPTV=BWiPiMPOP+NIPTViBWiOLunicastii =SD，HD图3 宽带用户流量曲线图IPTV用户流量测算模型参数详细说明见表2所示。 专线用户流量测算模型专 线 用 户 承 载 于 BRAS和 SR上 ，表1公众宽带用户流量测算模型参数说明BRAS/SR上联口下行流量为：V专线=Vi CR上联口下行流量为： V专线=Vi 为用户流量出城域网比例Vi为单个专线用户忙时峰值流量，网 管实现全省专线用户流量进行采集。3.2.2 模型验证通过AAA系统实现监测城域网A宽带 用户，并提取每类型用户峰值代入模型 中 进 行 测 算 。 从 AAA系 统 现 网 流 量 曲 线，城域网A流量峰值出现在20点30至22点，所以本次取值主要是提供这个时间 段上网宽带用户流量，宽带用户流量曲 线如图3所示。公众i表2IPTV用户流量测算模型参数说明iunicasti流量(Mbps)参数描述获取方式NIPTViIPTV用户数通过资源管理系统获得Bw标清或高清节目的码率由节目源提供Ol标清或高清节目频道数量由节目源提供点播用户并发化通过IPTV平台采集获得Pi用户标清频道使用率标清用户为1,高清用户为高清节目源与 标清节目源的比值POP点点播命中率通过IPTV平台采集获得M城域网内BRAS/SR、POP点数量通过网管、IPTV平台采集获得参数描述获取方式NBRAS上不同速率公众用户数通过资源管理系统获得W公众i不同速率公众用户数忙时平均使用带宽可通过AAA，DPI系统采集数据计算获得OL公众公众用户在线集中比可通过网管和资源管理系统采集数据计算用户流量出城域网比例可通过网管采集链路流量计算获得2012-03-24日 2012-03-26日 2012-03-28日2012-03-30日 时刻total保留协议组1保留协议组2P2P文件下载协议组P2P流媒体协议组UNKNOW股票交易软件即时通讯VoIP协议/应用远程操作管理协议网络游戏电信数据业务异常流量常用协议曲线图上行150,000125,000100,00075,00050,00025,0000 抽样1台BRAS一周采样数据分析见表3所列。注：此台BRAS上仅承载了公众宽带用户；所以无法对 IPTV业务进行验证。 利用抽样BRAS的采样数据，计算城域网A 4月出口 流量如表4所示。根据AAA对单台宽带用户采样数据，计算获取的城域 网A流量现状，与网管采集数据基本吻合，误差在5%以 内。说明该测试方式是可行的，其中数据取值需在相应系 统进行长期跟踪、优化。目前流量流向分析方式种类较少，我们在流量流向分 析方面也只是进行了初步尝试工，并在本文中做了简要介 绍。随着流量流向需求的紧迫及技术的发展，相信将会有 更多的方法涌现，使流量流向能在网络建设、规划及维护 中发挥更大的作用。随着网络技术的迅速发展，业务种类的增加，各类分析需求也会不断扩大，将会对网络分析提出新的要求。只 有对分析方法不断创新，通过各种有效手段，才能充分挖 掘网络的潜力、利用网络资源，为网络建设优化提供依 据，从而提高企业竞争力。参考文献1 White Paper NetFlow Services and Applications:/warp/public/ cc/pd/iosw/ioft/netflct/tech/napps_wp.htm.2 杜鑫,杨英杰,常德显.基于特征分布分析的 网络流量监测系统.计算机工程,2009.3 谢喜秋,梁洁,彭巍.网络流量采集工具的分 析和比较.计算机工程, 2001.4 结束语表3 BRAS一周采样数据表流量/Gbps表4 域域网A 4月出口流量统计网比例用户类型用户 占比忙时平均使用 带宽/Kbps宽带用户 总数在线 集中比城域网内 流量/Gbps（计算）城域网内 流量/Gbps（网管）CR至C 流量/Gbps（网管）CR至IDC 核心流量/Gbps（网管）出城域（计算）4月4M以下40%252183281073%368.6353.3221.297.290%4M（含）-8M52%2758M（含）以上8%394日期用户类型用户占比（市场）忙时平均使用 带宽/Kbps（计算）放号用户数（资源）在线总用户数（AAA）在线集中比（计算）BRAS出口 流量/Gbps（计算）BRAS出口（网管）4月17日4M以下40%254710155120172%14.114.34M（含）-8M52%2808M（含）以上8%3544月18日4M以下40%247710154927169%13.613.84M（含）-8M52%2798M（含）以上8%4074月19日4M以下40%25071