（信息与通信工程专业论文）基于互联网的网络流量建模与预测研究.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：麓篮 日期：2 也篝鞠 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：盔垄 导师签名： 6 摘要 摘要 在宽带互联网数据分析领域，研究网络流量的分析、建模和预测方法具有非 常重要的意义。随着网络技术的快速发展，网络承载越来越多的应用服务，网络 的行为日益复杂，与之相应的对信息网络的管理也提出了更高的要求。因此，对 网络流量的分析和建模预测是网络性能分析的基础。 本文针对国内某电信运营商的网络状况，针对网络流量特性和网络流量建模 预测进行了研究。首先针对网络流量特性分析，采用了n e t f l o w 采集技术和f t p 采集技术，通过数据挖掘的方法，进行网络数据的测量和特性分析。基于网络数 据分析，重点研究大型核心骨干网的网络流量建模和预测，其中，基于统计分析 的网络建模是流量模型领域内的关键技术，在基于统计分析建模预测过程中，自 回归滑动平均模型和非平稳时间序列模型都是经常使用的建模预测方法。本文结 合最佳预测理论，基于观测时序采用非线性曲线回归方法建立模型，再利用该模 型在最小预测误差的方差估计下进行预测计算。除此之外，本文针对网络流量数 据自相似性和长相关性的特点，基于傅里叶模型、高斯模型和混合模型给出了较 理想的网络流量预测方法。 通过某互联网运营商的实际流量数据进行仿真实验，分别对季节性模型预 测、a r m a 模型预测、a n f i s 模型预测、傅里叶模型的最佳预测和高斯模型的 最佳预测进行比较和验证，证明模型的预测精度与传统方法相比有明显的提高， 并验证了算法的有效性。 关键词流量采集；流量建模；流量预测；n e t f l o w ；s u m p i i a b s t r a c t a b s t r a c t i nt h ea r e ao fn e t w o r kt r a f f i ca n a l y s i s ，d a t aa n a l y s i s ，m o d e l i n ga n dp r e d i c t i o na r e v e r yi m p o r t a n ti nt h es t u d yo fn e t w o r kt r a m c w i t hh i g h s p e e dd e v e l o p m e n to f n e t w o r kt e c h n o l o g y , i n t e r n e tn o to n l yc o n t a i n sm o r ec o m p l i c a t e dn e t w o r kb e h a v i o r a n dt h eh i g h e rd e m a n di nt h en e t w o r ki n f o r m a t i o nm a n a g e m e n t ，b u ta l s oc a r r i e sm o r e a n dm o r ea p p l i c a t i o n ss e r v i c e s t h e r e f o r e ，t h en e t w o r kt r a f f i ca n a l y s i s ，m o d e l i n ga n d p r e d i c t i o na r et h ef u n d a m e n t a li s s u e si nt h en e t w o r kd e v e l o p m e n t n e p a p e rs t u d i e st h en e t w o r kt r a f f i ca n a l y s i s ，m o d e l i n ga n dp r e d i c t i o nf o ro n e o ft h ei n t e m e to p e r a t o r s i nt h en e t w o r kt r a f f i ca n a l y s i s ，n e t f l o wt e c h n o l o g ya n df t p t e c h n o l o g ya r eu s e dt oc o l l e c tn e t w o r kd a t a , a n dt h e nm e a s u r ea n da n a l y z et h ed a t a u s i n gd a t am i u i n gm e t h o d s b a s e do nd a t aa n a l y s i s ，t h en e x ts t e pi st om o d e la n d p r e d i c tt h en e t w o r kt r a f f i co fl a r g ec o r eb a c k b o n en e t w o r k t h ek e yt e c h n o l o g yi nt h e n e t w o r kt r a f f i cm o d e l i n gi st h es t a t i s t i ca n a l y s i sm o d e l a u t o r e g r e s s i v em o v i n g a v e r a g em o d e la n dn o n s t a t i o n a r yt i m es e r i e sm o d e l sa r ef r e q u e n t l yu s e di ns t a t i s t i c a n a l y s i sm o d e l i i l gf o r e c a s t i n gm e t h o d s t m sp a p e ru s e st h en o n l i n e a rc u r v ep r e d i c t i o n m e t h o dw i t ht h eb e s tp r e d i c t i o no ft h et h e o r y 砀en o n l i n e a rc u r v ep r e d i c t i o nm e t h o d i st ob u i l dam o d e lb a s e do nt i m es e r i e st h a tc a nb eo b s e r v e d a n dt h e nu s et h em o d e l t of o r e c a s tc a l c u l a t i o nw i t ht h es m a l l e s te r r o ro fp r e d i c t i o nu n d e rt h ev a r i a n c e e s t i m a t i o n n e t w o r kt r a f f i cp r e d i c t i o nm e t h o db a s e do nf o u r i e rm o d e l ，g a u s s i a n m o d e la n dm i x e dl i n e a rm o d e la r ep r o p o s e da n dt h i sm e t h o dd e p e n d so nt h e c h a r a c t e r i s t i e so fs e l f - s i m i l a r i t ya n dl o n g r a n g ed e p e n d e n c e i ta l s og i v e st h ep r e d i c t a b l ef u n c t i o no ft h i sm o d e lt os i m u l m i o n ，a n dv e r i t i e st h e e r i e c t i v e n e s so ft h ea l g o r i t h mb yt h ea c t u a lf l o wd a t af r o ma ni n t e r n e to p e r a t o r a c c o r d i n gt oc o m p a r i s o na n dv e r i f i c a t i o no fs e a s o n a lp r e d i c t i o n a r m am o d e l p r e d i c t i o n , a n f i sm o d e lp r e d i c t i o n f o u r i e rm o d e lp r e d i c t i o na n dg a u s s i a nm o d e l p r e d i c t i o n , t h ep r e d i c t i o na c c u r a c yi ss i g n i f i c a n t l yi m p r o v e d i na d d i t i o n ，t h em e t h o d i se f t i c i e n ti ni m p r o v i n gt h es p e e d k e yw o r d s ：f l o wc o l l e c t i o n ；t r a f f i cm o d e l i n g ；n e t w o r kt r a f f i cp r e d i c t i o n ；n e t f l o w ；s u m p i i v 1 1 课题研究背景及意义1 1 2 网络流量分析现状2 1 3 网络流量建模预测的研究现状3 1 4 本文主要研究内容及章节安排4 第2 章网络框架。7 2 1 网络整体宏观描述及层次结构划分7 2 2 模块介绍9 2 3 用户介绍10 2 3 1 蓝讯用户介绍1 0 2 3 2a d s l 用户介绍1 l 2 4 本章小结1 2 第3 章网络流量数据的采集测量与分析1 3 3 1 网络流量数据的采集1 3 3 1 1n e t f l o w 数据采集l5 3 1 2s u m p 数据采集。1 7 3 1 3 两种采集方式的分析与比较1 9 3 2 网络流量数据的预处理2 0 3 2 1n e t f l o w 数据的预处理2 0 3 2 。2s n m p 数据的预处理一2 0 3 3 网络数据流量的测量2 2 3 4 网络数据流量的特性分析2 3 3 5 本章小结2 4 第4 章网络流量的建模研究2 5 4 1 网络流量的建模原理2 6 4 2 基于统计分析的网络流量建模方法2 7 4 2 1 自回归滑动平均模型2 7 4 2 2 非平稳时间序列模型2 9 4 3 基于a n f i s 模型的建模3 2 4 3 1a n f i s 模型3 2 4 3 2a n f i s 设计函数3 4 4 4 本章小结3 6 第5 章网络流量模型预测3 7 北京t 业大学硕i ：学位论文 5 1 网络流量模型预测的原理3 7 5 2 网络流量模型预测的传统方法3 7 5 3 网络流量模型预测要解决的问题3 8 5 4 预测方法和预测模式3 9 5 4 1 季节性模型预测4 0 5 4 2 自回归模型预测。4 0 5 4 3a n f i s 模型预测4 4 5 4 4 非线性模型预测。4 5 5 4 5 傅里叶模型预测4 6 5 4 6 高斯模型预测4 8 5 5 本章小结4 8 第6 章网络流量模型仿真4 9 6 1 季节性模型的仿真4 9 6 1 1 日预测4 9 6 1 2 周预测5 0 6 2 基于自回归模型的仿真5 2 6 2 1 以小时为单位进行网络预测。5 2 6 2 2 以月为单位进行网络预测5 4 6 3 基于a n f i s 模型的仿真5 5 6 3 1 以小时为单位进行流量预测5 6 6 3 2 对突发状况进行流量预测5 6 6 4 基于非线性曲线回归模型的仿真5 8 6 4 1 以小时为单位的流量预测5 9 6 4 2 以日为单位的流量预测6 0 6 4 3 以月为单位的流量预测。6 0 6 5 基于傅里叶最佳模型的仿真6 4 6 5 1 以小时为单位的流量建模预测6 4 6 5 2 以日为单位的流量建模预测6 6 6 6 基于高斯最佳模型的仿真6 7 6 6 1 以小时为单位的流量建模预测6 7 6 6 2 以日为单位的流量建模预测6 8 6 7 网络流量模型的比较6 9 6 8 本章小结7 2 第7 章结论与展望7 3 参考文献。7 5 攻读硕士学位期间所发表的学术论文7 9 致谢8 1 第l 章绪论 第1 章绪论 1 1 课题研究背景及意义 美国国防部研究的触冲a n e t 计划奠定了计算机网络技术的基础，同时也是构 筑当今因特网的先驱。计算机通信网【l 】是指地理上分散的各自独立运作的计算 机，通过通信基础设施互连，在通信协议的控制下实现信息的传输、交换、资源 ( 硬件、软件和数据) 共享和协同工作( c s c w ) 等的系统。随着信息时代的来 临，数字化信息革命的浪潮正在大刀阔斧地改变着人类的工作方式和生活方式， 数字化革命呼唤出新的技术，互联网就是其发展产物之一。网络科技的迅速发展， 使互联网渗透到各个行业各个领域。 但是随着网络用户数量的攀升和网络应用形式的多样化，使得网络行为日益 复杂，网络上承载的业务和应用也日益丰富，对信息网络管理【2 j 的要求也日益增 高，比如一些新兴的网络业务对网络服务的时延、带宽和网络行为的监测提出了 更高的性能要求。因此，加强网络管理建设，不断地进行网络建设，扩大网络已 有规模是运营商们急需解决的问题。 针对上述问题，网络运营商提出了建立完整并行之有效的数据流量采集、分 析、监控与预警系统的解决手段。对网络参数的系统采集、分析和预测，已经成 为网络系统运行、管理、维护和规划的重要基石。新一代网络管理的核心包括： 网络业务管理及其支持的q o s 【3 】【4 】【熨，优化网络配置和流量工程，有效提高网络 运行速度和利用率。网络流量建模预测是业务管理的关键问题，传统的网络流量 建模预测方法已经不能完全满足流量数据的建模预测要求。因此，网络流量建模 预测的精确性、实时性直接关系到业务管理的效率和性能。 基于上述研究背景对网络业务流量进行研究，并从网络流量特性分析和网络 流量建模预测两个方面出发，其整个网络流量特性分析与建模预测过程如图1 一l 。 首先是对采集的实际观测值进行预处理，然后进行数据的特性分析，同时建立相 应的模型，再进行预处理的逆过程，得到实际的预测流量。 图1 1 网络流量特性分析与建模预测过程 北京t 业大学硕十学位论文 1 2 网络流量分析现状 由于网络技术的发展，网络流量【6 】的探索研究得到了极大地提高。网络流量 分析【7 1 是指捕捉网络中流动的数据包，并通过查看包内部数据以及进行相关的协 议、流量分析、统计等来发现网络运行过程中出现的问题，它是网络和系统管理 人员进行网络故障和性能诊断的有效工具。由于互联网处在不间断的运行当中， 对流量特性的分析是研究新一代网络设计、通信协议和流量控制的基础，同时也 是发现网络异常、故障、安全攻击的重要手段和有效方法，这些都为网络流量特 性的分析与研究提供了新的契机。 由于互联网用户数量多、数据流量巨大，使得网络体系的物理特征、流量特 征、网络负载、路由特征、网络性能、故障特征、用户行为特征和网络行为的变 化复杂。这些运行机制和行为特性的不稳定将会带来带宽拥塞、网络不稳定、异 常流量、网络攻击、木马入侵、p 2 p 下载等很多问题，同时也给网络流量特性分 析带来很大困难。从运营商的现有业务分析出发，进行内外部竞争环境的研究， 利用现有的网络业务流量数据的变化特性找到网络业务间的相互规律，进行预测 研究流量的变化趋势，研究员可以根据网络流量的发展规律来解决网络问题，提 升运营管理能力和提升客户服务质量，进一步提高网络性能和优化网络配置。因 此，对网络流量特性的分析是现代网络研究中要解决的主要问题之一。 1 9 9 2 年，美国就着手i n t e m e t 特征的研究【8 j ，比如n i m i ( n a t i o n a li n t e m e t m e a s u r e m e n ti n f r a s t r u c t u r e ) 体系结构，见图1 2 ，它是第一个执行大规模端到端 i n t e m e t 行为测量的软件，为了测量全球的i n t e m e t 采取主动测量技术，图1 2 中 表示的是一个完整的网络测量基础框架，也是一个总体的可扩展的网络测量基础 框架。 卅 。 、 ( n p d ) 、 一l 、 ( d a c) 图1 - 2n i m i 体系结构 同时，国内外各个国家都在积极开展对网络业务流量特性 9 1 的分析研究。例 如：n i p m a s ( n e t w o r ki pm e a s u r e m e n ta n da n a l y s i ss y s t e m ) 系统、t m a s ( t r a f f i c 2 第l 荦绪论 m e 舢e m e ma n da n a l y s i ss y s t e m ) 系统、p m a ( p a s s i v em e 踟e m e ma n da n a l y s i s ) 项目和a m p ( a c t i v em e 踟e m e n tp r o j e c o 项目和c a i d a ( c o o p e r a t i v ea s s o c i a t i o n f o ri n t e r n e td a t aa n a l y s i s ) 组织等都对目前网络业务流量的特性进行了深入的研 究，也为本文的研究奠定了一定的基础。 网络流量的特性分析不但能认识网络各种网络行为，还可以延伸到网络流量 的应用方面。由于网络结构的复杂化，网络设备以及网络承载业务的多样化，使 得网络出现各种故障或性能问题的可能性大大增加，通过网络流量的特性分析， 可以实时监测网络状况，可以对网络应用状况进行监测与分析。网络监测是指在 通过连续的监测能够及时发现网络中的异常现象，当网络出现故障或拥塞时发出 自动告警，提醒采取必要的措施并保证网络的正常运行，并能在网络即将出现瓶 颈前给出分析和预测。网络监测能够及时了解网络上各种协议的使用情况( 如 w w w , p o p 3 ，l i p ，r t s p 等协议) ，以及网络应用的使用情况等等，研究者可以据此研究 新的协议与应用，网络提供者也可以据此更好的规划网络。这对提高网络的可用 性和可靠性有很大的研究意义，并对保证网络的服务质量有很大的帮助。 1 3 网络流量建模预测的研究现状 为了保证和提高现有网络服务质量，推动互联网络和信息基础结构的健康发 展、满足目前日益膨胀的互联网通信量的要求，必须要对当前的高速宽带网络进 行有效管理。伴随着各种各样的网络需求和呈指数规律增长的网络规模，其网络 机制和行为特征日趋复杂，给网络规划、网络管理带来了巨大的挑战。但是研究 发现，这些网络行为和网络特征可以通过它所承载的网络流量的特性反映出一定 的规律现象，因此如何在网络流量分析的基础上建立有效的网络流量模型是当前 网络研究的热点问题之一。 根据网络流量的动态特性，可以分析网络的工作机理，这是一项非常有现实 意义的研究。目前在全球范围内都已经开始了网络业务流量测量、分析与建模的 研究工作，并引起世界各国的高度重视。研究员可以通过对网络运行规律及特性 的分析，基于流量特性的精确建模，进行预测仿真，从而找到刻画网络性能的重 要内容，不但能理解网络的各种动态行为，及时控制网络流量的涉及，更能预测 网络流量的趋势，能应用于拥塞控制、服务质量等方面。对流量的分析与建模预 测是网络管理和性能分析的基础，网络流量模型在计算机网络的设计、规划、性 能分析等方面起着重要的作用。通过分析和研究网络上所运载的流量的特性，可 提供一条有效的解决方案用于探索网络内部运行机制的奥秘。本文不仅具有重要 的理论和学术研究价值，而且具有广阔的实际应用前景。 网络流量预测的基础是有精确刻画能力的模型。至今为止，除了网络流量数 3 北京t 业人学硕十学位论文 据，还有其他来源于土壤、石油、水利、股票等等不同的数据，同样可以通过数 据丰富的动态特性进行建模预测，方法可自行研究选择。随着对流量特性【l o j 的逐 步认识，流量分析模型也在不断完善之中。前期在网络比较简单的情况下，常使 用泊松( p 1 5 5 刀) 模型【l l j 和马尔可夫业务模型等来建模。互联网技术的飞速发 展，使得基于传统的流量特征不再适合于当前网络流量的分析。后来网络流量的 自相似性和相关性的发现，引发了对流量到达过程新模型的大量研究，并出现了 大量的新的建模预测方法，主要包括回归模型、时间序列模型、分形模型、季节 预测、灰色预测法、神经网络、数据瀑布、模糊理论、均值法、中间值法、统计 学习理论方法等。在有线网络中，通信网络中的流量模型可以分为稳定的和不稳 定的两种。稳定的流量模型又分为两类：短相关模型和长相关模型。短相关模型 包括马尔可夫过程和自回归模型( a r ) ，自回归滑动平均模型( a r m a ) ，以及自回 归求和滑动平均模型( a r i m a ) 等。基于分形理论的长相关流量模型包括 f a r i m a ，分形布朗运动模型( f b m ) 和小波模型( w a v e l e t ) 等。目前国内外有 大量的关于网络流量建模预测的研究成果，并采用不同的算法对网络流量进行建 模并预测。 网络流量建模是建立一种网络流量模型，其基本原则是：以流量的重要特性 为出发点，设计符合统计规律的流量模型以刻画实际流量的突出特性，并且具备 数学上的研究价值。从理论角度来看，网络业务流的数学模型提供了对流量特性 简明的、抽象化的描述，其价值在于能够提取出网络流量的一些重要特性，并给 出一个明确的量化表示。虽然研究人员提出了不同的网络模型，希望能更好的解 释网络性能和网络规律，但目前的网络流量模型都存在自己的优劣势，并不能完 全符合实际要求。有的方法过于简单，不能很好解释复杂的网络行为；有的方法 过于复杂，在计算时间上存在不现实的缺点；有的方法虽然符合实际要求，但是 它只能符合某一部分网络流量的建模需求。 对一个精准的网络模型应包括如下特点： ( 1 ) 能够准确地用数学模式表示网络流量相关的统计特性，化抽象为具体； ( 2 ) 能够进行有效的计算，并能得到高效的结果，打到量化的过程； ( 3 ) 能够应用于网络设计的过程之中，优化网络配置。 基于以上特点，为了加强网络的管理和建设，还需要不断地进行努力研究， 建立一个更符合实际网络特性、更高效的网络流量模型。 1 4 本文主要研究内容及章节安排 为了分析目前真实的互联网运行机制和行为特性，本章首先对课题研究背景 及意义进行了描述，接着从网络流量特性分析和网络流量建模预测两个方面出 4 第l 币绪论 发，分别介绍这两个方面的研究现状，给出了目前的研究项目和应用技术方法。 本文的主要研究内容：基于网络流量的特性分析，根据观测时序建立模型， 再利用此模型进行网络流量的预测，基于非线性曲线回归模型的基础之上，在最 小预测误差的方差估计准则下，进行最佳预测。本文把傅里叶模型、高斯模型应 用于网络流量的预测中，并对此方法进行了验证。本文的研究旨在摸索出某运营 商网络的流量及流向分布规律，完成对网络流量数据的统计分析，进行建模预测， 合理预测流量行为趋势，为今后网络建设和维护提供数据支持，并为将来的网络 分析方法提供参考和借鉴。 目前，本文所完成的主要工作有以下几方面： ( 1 ) 通过查阅国内外相关文献资料，对常用的网络流量测量方法和预测方 法进行研究； ( 2 ) 采集网络数据，进行网络流量特性分析； ( 3 ) 实现了现有的网络流量建模预测的方法研究。包括基于统计分析的网 络流量建模方法包括自回归滑动平均模型a r m a 、非平稳时间序列模型( a r i m a 模型和季节性模型) 、基于a n f i s 的网络流量建模方法等。 ( 4 ) 基于非线性曲线回归模型的基础之上，在最小预测误差的方差估计准 则下，进行最佳预测。把傅里叶模型、高斯模型和混合模型【1 2 】应用于现实环 境网络流量的预测中，并对算法进行相应的改进。 本文的章节安排如下： 第1 章，绪论； 对课题的研究背景及意义进行了相关介绍，总体阐述了网络流量特性分析和 网络流量建模预测的研究现状，简单描述了国内外的研究方法，提出了流量特性 分析和网络流量建模预测中亟待解决的问题，并介绍了本课题的主要研究内容和 论文的章节安排。 第2 章，网络框架； 从宏观的角度上描述了网络的整体框架和各个层次结构，同时也简单的介绍 了网络模块、蓝讯用户和a d s l 用户。 第3 章，网络流量数据的采集测量与分析； 对网络流量数据的进行采集、测量和分析研究。简述了网络流量数据测量的 相关技术理论，重点介绍了s u m p 采集技术和n e t f l o w 采集技术，并在此基础 上进行了数据流量的预处理，在数据分析平台及环境下，对真实网络数据流量进 行了特性分析和统计分析。 第4 章，网络流量的建模研究； 介绍了网络流量建模的理论和方法。分别对其中基于统计分析的网络模型和 a n f i s 模型进行重点介绍。在统计分析的流量建模预测方面，详细介绍了自回 5 6 第2 章网络框架 曼曼舅曼皇曼鼍窒景笪曼曼曼曼曼曼i i 一一一一 _ 曼曼曼皇曼曼曼曼曼曼曼曼曼曼曼曼曼鼍曼! 曼曼曼曼 第2 章网络框架 2 1 网络整体宏观描述及层次结构划分 本章介绍网络的框架，主要涉及北京本地m 互联网的网络框架，见图2 1 。 北京本地i p 互联网是以北京为落地点，覆盖北京市区、郊区等地区，用于北京 本地用户接入、流量汇聚和多种业务的承载网络。它是中国北方规模最大的网络， 层次复杂策略严谨流量巨大，是唯一一个未经集团接入设备而直接上联集团核心 的省份。它具有以下几个特点： ( 1 ) 由多个厂家设备组成，各有所长，各司其职； ( 2 ) 国内最重要的i d c 节点之一； ( 3 ) 承载用户量大，共2 0 0 多万a d 用户、上千条专线。 i ：f 办公接扁授客庭 二 囹 i ；匦圊 ： 圈 图2 - 1 北京本地i p 互联网的网络框架 此网络框架的主要层次结构，由顶至下主要分为超级核心层、区域核心层、 汇聚层和接入层。各层之间的按照所属级别以及各层所承载的业务类型划分如图 2 2 。 对北京某电信运营商互联网【1 4 】各层次说明如下： ， ( 1 ) 超级核心层 超级核心层作为北京本地网出口层面，是本地口互联网上层设备，负责 连接连接集团骨干网络，主要功能是进行城域网内部或进出城域网流量的高速i p 转发，所以，要求超级核心层设备应该具有非常高的承载量。 超级核心层有4 个节点，由8 台设备组成。每个超级核心层与集团的骨干设 备对应相连，其中继共3 2 条1 0 g 电路，共3 2 0 g 带宽。每个节点由2 台超级核 心设备组成。 7 提供流量控制和用户管理功能。 汇聚层主要由汇聚路由器和业务路由器组成，两种路由器功能定位及业务实 现方式均有不同。汇聚路由器的主要是用来收敛业务量，负责汇聚大客户专线业 务、a d s l 上网业务等，并转发到区域核心层；业务路由器的主要是用来接入业 务控制，作为流媒体、宽世界、n g n 、p t v 、v p n 等多种宽带增值业务及大客 户业务的接入点。同时，业务路由器具有独立的业务通道特性，同时也加强了汇 聚层作为业务边缘点的控制能力。 ( 4 ) b r a s 用户接入层 宽带接入服务器( b r a s ) 是一种新型接入网关，位于m 互联网的边缘层，主要 面向宽带网络应用。这种网关不仅可以完成用户带宽的i p a t m 网的数据接入， 而且还能实现商业楼宇及小区住户的宽带上网、基于i p s e c 的i p v p n 服务、构 建企业内部i n t e m e t 等网络应用。它主要由d s l a m 设备组成。 8 第2 币嗍络根聚 b r a s 主要有网络承载和控制实现这两种功能。 网络承载主要负责终结用户的p p p o e 连接和汇聚用户的流量的工作。 控制实现是要与认证系统、计费系统和客户管理系统及服务策略控制系统相 配合实现用户接入的认证、计费和管理功能。 2 2 模块介绍 本节的模块介绍主要是以流量模块为基础，可分为分公司和i d c 两个大模 块。在进行统计网络中各层次的流量变化趋势的过程中，发现统计对象大多集中 于整个互联网的核心区域，和用户有一定的距离，所以在进行网络分析的过程中， 需要把大量的分散的用户按一定标准集合起来，这就是我们说的模块，通过分区 得到不同的模块，于是就可以对各个模块进行数据流量的特性分析，发现其变化 规律。 针对于分公司而言，依据各用户所在的不同地理位置，划分为十个区局分公 司，分别是：二区、三区、四区、五区、七区、八区、东部区、东北区、西北区 和西南区。而i d c 广泛分布于北京市的各个主要地区，北京市目前总共建立了 2 2 个i d c 。 ( 1 ) 分公司模块 图2 3 表示各区局分公司的用户与b r a s 层间的拓扑结构，b r a s 负责将各区 局分公司的流量会聚后上传到汇聚层。 ( 2 ) i d c 模块 图2 - 4 表示各i d c 区局和节点的连接拓扑结构。 西北区东北区 二区 k 一西区 厂i 八区 ，b r a s 、 尔n - 0 巴 、 、 1 八1 五区 i 一 三区 西南区七区 图2 3 各区局分公司的用户与b r a s 层间的拓扑结构 9 蓝讯( c h i n a c a c h e ) 【l 5 j 【i6 j 成立于1 9 9 8 年，经过多年努力和发展，已成长为 一家产品丰富、技术力量雄厚、服务能力强的专业c d n 服务提供商，也是国内 首家最大的c d n 服务提供商，占国内c d n 市场的7 5 以上。蓝讯有坚实的客 户基础，强大的研发后台和完善的服务体系以及经验丰富的管理团队，并有在国 内市场成功的运营经验，所以它能向客户提供全方位网络内容快速分布解决方 案。作为首获信产部许可的c d n 服务提供商，蓝讯在全国各大城市拥有超过7 0 个节点，可服务的互联网用户超过全国互联网总数的9 5 ，很好的实现了用户访 问量的负载均衡，优化了网络的性能，基本上覆盖中国电信、中国网通、中国移 动、中国教育科研网和中国铁通等各大运营商。 目前蓝讯正在为越来越多的客户提供数据服务。蓝讯的服务从最初的只提供 基础的网页下载服务到创建了内容传输综合分布平台，蓝讯正在通过全方位的服 务不断满足用户的需要。 蓝讯的产品和解决方案是面向f - j p 网站、面向w e b2 0 、面向政府网站、面 向电子商务、面向企业和面向个人的。 1 0 第2 帚网络框架 蓝讯拥有一支经验丰富的专业客服队伍和高度集成的监控系统，开通7 * 2 4 小时的客户服务热线，为客户提供故障排除、投诉受理、技术咨询和问题解答等 服务。 作为领先的c d n 提供商，蓝讯和中国电信、中国网通、中国移动、中国教 育科研网和中国铁通等电信运营商建立了良好的合作关系。此外，公司还和国外 领先的c d n 运营商建立和战略合作关系。蓝讯还将继续和这些运营商合作，互 惠互利 下面从接入位置和带宽配置对蓝讯进行简单的介绍： ( 1 ) 接入位置： 蓝讯公司接入位置目前在i d c 6 有4 条线、i d c l 有1 条线。 ( 2 ) 带宽配置： 蓝讯的带宽配置：机房1 ：2 g 端口捆绑p o r t - c h a n n e l l 0 限速4 0 0 m ；2 g 端 口捆绑p o r t c h a n n e l l 0 限速4 0 0 m ；机房2 - 1 g 端口限速1 0 0 m 。 蓝讯与其他各区局用户及i d c 间的流量关系。图2 5 是蓝讯与其他各区局 用户和i d c 节点之间交互的拓扑结构。 图2 5 蓝讯与其他各区局用户和i d c 节点之间交互的拓扑结构 2 3 2a d s l 用户介绍 a d s l 1 7 1 1 8 1 的中文名称是非对称数字用户环路”，是( a s y m m e t r i cd i 百t a l s u b s c r i b e rl i n e ) 的缩写。它是一种在电话铜缆上进行较高速率数据传输的方法， 北京t 业人学硕f j 学位论文 是d s l 的一种形式。它以普通电话线路做为传输介质，在普通双绞铜线上实现 下行高达8 m b i t s 和上行高达6 4 0 k b i t s 的传输速度，我们只要在普通线路两端加 装a d s l 设备，可使用a d s l 提供的高带宽服务，通过一条电话线，便可以比 普通m o d e m 快一百倍速度，实现了真正意义上的宽带接入。 传统的电话系统使用的是铜线的低频部分( 4 k h z 以下频段) ，而a d s l 采用 d m t ( 离散多音频) 技术，此技术是一种专线连接技术，可根据线路的情况调 整在每个信道上所调制的比特数，以便更充分地利用线路，子信道的信噪比越大， 在该信道上调制的比特数就越多。a d s l 调制解调器可以一直与网络保持连接状 态，省去了拨号上网的麻烦。 a d s l 还可以同时进行数据和语音通信。通过分割的方式将原先电话线路 o h z 到1 1 m h z 频段划分成2 5 6 个频宽为4 3 k h z 的子频带。其中，4 k h z 以下频 段仍用于传送p o t s ( 传统电话业务) ，2 0 k h z 到1 3 8 k h z 的频段用来传送上行信 号，1 3 8 k h z 到1 1 m h z 的频段用来传送下行信号。因此，a d s l 是用户最常使用 的上网方式。图2 6 是用户上网比例图，该比例统计的数据来源于通信世界网。 2 4 本章小结 a d s l 有线宽带 口小区宽带 口专线上网( d d n ) 一拨号上网 圜无线上网 手机上网 口其他 图2 - 6 用户上网比例图( 数据来源于通信世界网) 本章从宏观的角度上描述了网络的整体框架和各个层次结构，还分别对模块 和用户作了的介绍，分别介绍了分公司的模块和i d c 模块的框架，并对蓝讯用 户和a d s l 用户进行了简单阐述。本章通过这些网络的框架，采集各个部分的网 络流量，对这部分流量进行网络的特性分析和建模预测。 1 2 第3 章网络流量数据的采集测最与分析 第3 章网络流量数据的采集测量与分析 网络管理的一项最基本的工作就是网络流量的采集测量0 9 与分析。为了分析 和研究网络流量所体现的各种特性，首先需要获得大量有效、可靠的真实网络流 量数据，因此要对网络流量数据进行采集。这个采集工作贯穿于网络管理的每个 环节之中，为网络性能分析提供最基本的数据支持。通过这些有历史的客观数据 记录才能保证对网络行为特性准确理解和认识，保证网络运行的可靠性。然后， 通过科学地统计和分析这些由业务流量构成的量化时间序列，可以获得网络业务 的各种有效特性，从而可以帮助提出高效的网络建设方案。因此本章将要介绍网 络流量的采集和网络性能测量，在这两个基础之上来分析网络的可靠性，掌握整 个网络运行情况。网络流量数据的采集、测量与分析是网络流量建模预测的基石。 网络流量分析就是对网络流量进行处理的过程，它包括网络流量的采集、存 储、统计、分析、绘制报表等。图3 一l 是网络数据流量采集测量与分析过程图。 图3 - 1 数据采集与分析过程图 ( 1 ) 采集数据：由数据采集存储阶段获得的t x t 格式的数据文本文件； ( 2 ) 存储数据：将数据文件导入到分析软件s p s s 中以及对数据的前期过 滤、筛选、聚合等操作； ( 3 ) 统计分析数据：对预处理过后的数据进行统计分析； ( 4 ) 绘制报表：绘制数据统计结果图表。 下面文章的几个小节都是以这个过程进行阐述。 3 1 网络流量数据的采集 网络流量采集是分析网络性能的首要工作，采集网络真实流量数据可以判断 网络运行状况，进而建立能全面、准确、有效地刻画网络流量过程的业务模型， 便于规划网络、防止网络拥塞、控制流量超载，确保服务质量等作用。 网络流量简称网流( n e t s 仃e a n l n e t f l o w ) 【2 0 1 ，是指在一个指定时间范围内，通 过网络或网络端口的数据的大小。目前，采集真实网络流量的途径主要有以下几 种： ( 1 ) 专业采集软件 目前，在国内外主要使用的流量采集工具有很多，比如c i s c o 的n e t f l o w c o n t r o l l e r ，m r t g 2 1 ( t h em u l t i r o u t e rt r a f f i cg r a p h e r ) , n e t w o r ka s s o c i a t e 公司的 1 3 北京t 业大学硕七学位论文 s n i f f e rp o r 比l b l e l 2 2 】，e e y ed i g i t a ls e c u r i t y 的i r i sn e t w o r kt r a f f i ca n a l y z e r ，a g i l e n t 的n e t m e t f i x 及其p r o b e s 等。通过这些采集软件获得流量数据。 ( 2 ) 免费数据流量包 网络上有一些免费供所有人下载使用的流量数据。 ( 3 ) 个人或组织开发的抓包和分析工具 由个人或一些组织开发一些简单的网络工具来获取流量数据。 有了上述的采集途径，为了满足一定的测量精度，希望能在网络中进行实时 测量，一方面需要控制流量文件的大小，另一方面要降低测量过程对系统造成的 压力，就期望有一个优良的采集技术。目前有以下四种采集技术： ( 1 ) p o i s s o n 采集方法 2 3 j 2 4 1 p o i s s o n 采集方法的统计分布函数f ( t ) 服从