网络流量模型及分析(最终思路)[共83页]

1、1 我们的工作我们的工作 网络流量相关概念 网络流量的采集 网络流量模型网络流量模型 实例分析 1234 2 l网络流量网络流量 概念 分类 测量 l网络流量的特网络流量的特点点 自相似性 长相关性 周期性、突发性、混沌性 网络流量相关概念网络流量相关概念 3 网络流量网络流量-概念概念 l网络流量就是网络上传输的数据量数据量 单位单位时间时间内通过网络设备或者传输介质的信息量信息量 报文数 数据包数 字节数 4 网络网络流量流量-分类分类 关注数据包（packet）的特征及其到达过程 Packet-level 的流量分类的流量分类 由源IP地址、源端口、目的IP地址、目的端口、应用协议组 成

2、的五元组 Flow-level的的 流量分类流量分类 由源IP地址、目的IP地址、应用协议组成的三元组 Stream- level的流量的流量 分类分类 上述三种分类方法，流量的粒度由小到大递增。 广广 泛泛 使使 用用 参考文献：Internet流量模型分析与评述_张宾，杨家海，吴建平 5 网络流量网络流量-测量测量 主动主动 向目标链路或目向目标链路或目 标节点发送探测标节点发送探测 包包 测量延迟、带宽、测量延迟、带宽、 丢包率丢包率 被动被动 接入网络的测量接入网络的测量 探针探针 监测、记录网络监测、记录网络 上的数据情况上的数据情况 6 理想的网络测量理想的网络测量 不会泄露用户不

3、会泄露用户 的隐私的隐私 7 网络测量的意义网络测量的意义 l Internet流量工程和网络行为学的研究的依据 l开发高性能网络设备和设计网络协议的理论基础 l开展Qos敏感应用提供Qos保证的前提条件 l诊断网络的运行状况，进行更好的管理 l保障网络安全，防范网络攻击 l运营商针对网络流量进行业务上的收费 8 网络流量的网络流量的特点特点 l自相似性自相似性 l长相关性长相关性 l周期性 l突发性 l混沌性 采集自台湾地区的台中教育大学网络主节点服务器采集自台湾地区的台中教育大学网络主节点服务器Incming artides 共计共计71天的每小时网络流量数据图天的每小时网络流量数据图 9

4、 自相似性自相似性 l局部结构与总体结构相比具有某种程度的一致性 l种类 确定自相似性 随机自相似性（网络流量）随机自相似性（网络流量） l赫斯特指数（赫斯特指数（Hurst） 确定自相似性示例确定自相似性示例 10 自相似性自相似性-从分布的角度从分布的角度定义定义 参考文献：基于时间相关的网络流量建模与预测研究_高波 11 自相似性自相似性-赫斯特指数（赫斯特指数（Hurst） l表征自相似特性的一个重要参数 l当0H0.5时，表示负相关，即不具备自相似性 高低值交替的趋势持续一段时间（粗糙曲线） l当H=0.5时，随机过程呈现为某种“随机游走”状态，即 不同时间的状态转换是互不相关的 l

5、当0.5H0，k0，则 Pareto 分布概率密度函 数 f(x)是如下描述的分段函数 44 l结论：当多个独立同分布的 ON/OFF 数据源流量叠加时， 如果 ON 状态或者 OFF 状态的持续时间服从重尾分布， 那么叠加流量将具有自相似性39 帕累托分布（帕累托分布（Pareto） 45 重尾分布的重尾分布的ON/OFF模型模型 可以解释产生自相似的部分原因，有助于深入地了解自相似的 本质 优点优点 各个源端必须是独立同分布的,且输出速率为常数 与实际网络业务不符，适用范围受限 缺点缺点 46 lC，即Convergence，表示趋同性 l网络趋同性说明：以往的 ON/OFF 模型中对于

6、各个 ON/OFF 源之间独立同分布独立同分布的假设变得 不切实际，导致 ON/OFF 模型生成流量的合成 流量的自相关函数并不满足实际网络流量的长相 关特性 C-ON/OFF模型 47 1、根据 Internet 中广泛存在的趋同性改进现有 的 ON/OFF 模型，使各源之间具有一定的相关性， 讨论各源之间相关性与合成流量长相关性的关系 2、建立基于 ON/OFF 模型的具有趋同性的新网络 流量模型。 3、使用归一化子协方差函数和Hurst参数验证 实验步骤实验步骤 48 l假设 ON/OFF 模型中有 N 个 ON/OFF 源，每 个 ON/OFF 源产生的流量分别是 X1(m)、 X2(

7、m)、XN(m)，其中 m 为整数离散时间， m 0。这 N 个源生成流量的合成流量 X(m)为： l设 n 为时间间隔，n 为大于等于零的整数，那么， X(m)的自相关函数为： 理论验证理论验证 49 lN 个独立同分布 ON/OFF 源的合成流量的自协 方差函数与每个源流量自协方差函数的关系： 其中c(n)是合成流量的自协方差函数，ci(n)是每个 源流量的自协方差 一系列数学推导一系列数学推导 50 lV. Paxson 等人34指出，ON 周期或 OFF 周期 的持续时间具有轻尾分布的 ON/OFF 模型在独 立同分布条件下产生的合成流量是短相关流量 l结论1：当 ON/OFF 结构模

8、型满足独立同分布、 ON 周期或 OFF 周期持续时间呈轻尾分布时，源 产生的流量具有短相关性质 结论结论1 51 l各个源产生流量的自协方差函数与互协方差函数 l说明：由于各个源之间不独立，因此第二项必不 为零 l结论2：单个流量之间的互协方差是否可加将直接 决定聚合流量自协方差函数是否可加，即各源生 成流量之间的互相关性的强弱决定了合成流量自 协方差的可加性 当当On或者或者Off持续周期不独立持续周期不独立 52 1.当 ON/OFF 结构模型满足独立同分布、ON 周 期或 OFF 周期持续时间呈轻尾分布时，源产生 的流量具有短相关性质 2.只要满足独立同重尾分布这个条件，无论单个流 量

9、还是合成流量都是长相关流量 3.如果各源之间不独立，具有一定相关性，那么， 对于重尾分布来说，合成流量必然长相关 理论论证之结论理论论证之结论 53 l归一化自协方差函数，又称自相关系数 lHurst参数估值 两种验证方法两种验证方法 54 实验条件控制实验条件控制 轻尾分布重尾分布 数据源独立 独立，轻尾独立，重尾 数据源不独立 不独立，轻尾不独立，重尾 55 l第一组：ON/OFF 模型各源的 ON、OFF 状态周 期均呈轻尾分布，且各源之间相互独立。 l第二组：ON/OFF 模型各源的 ON、OFF 状态周 期均呈轻尾分布（指数分布），但各源之间不独 立，具有一定相关性 l第三组：ON/

10、OFF 模型各源的 ON、OFF 状态周 期均呈重尾分布（选取 Pareto 分布作为重尾分布 的代表），且各源之间相互独立 l第四组：ON/OFF 模型各源的 ON、OFF 状态周 期均呈重尾分布（Pareto 分布），各源之间不独 立，具有一定相关性 实验条件设置实验条件设置 56 归一自协方差验证结论归一自协方差验证结论 57 Hurst参数估值验证结论参数估值验证结论 58 构造新模型构造新模型C-On/off 59 l条件设置 1） 固定 n，观察 C-ON/OFF 模型生成流量的归 一化自协方差随 N 值的变化情况； 2） 固定 N，观察 C-ON/OFF 模型生成流量的 归一化自

11、协方差随 n 值的变化情况。 使用使用C-on/off模型测试模型测试 60 实验结果（实验结果（n固定）固定） 61 实验结果（实验结果（N固定）固定） 62 Hurst验证新模型验证新模型 63 Hurst验证新模型验证新模型 64 l首先通过理论分析证明了如下结论：在经典 ON/OFF 模型的基础上加入各 ON/OFF 源之间 的相关性，可以在 ON 周期和OFF 周期持续时间 分布为轻尾分布的条件下产生长相关性质的流量 l然后对上述结论进行了仿真验证，仿真结果表明： 在 ON/OFF 模型各源之间增加相关性之后，即 使 ON/OFF 模型的 ON 周期和 OFF 周期持续时 间呈轻尾分

12、布，合成流量依然具有长相关性；若 ON 周期和 OFF 周期持续时间呈重尾分布，那么 各源之间的相关性将加剧合成流量的自相似程度， 表现为 Hurst 参数值的增加 C-on/off结论结论 65 流量模型的发展历程流量模型的发展历程 传统模型 （短相关） 自相似模型 （长相关） 流量模型的 新发展 泊松模型 马尔科夫模型 回归模型 重尾分布的ON/OFF模型 M/G/排队模型 FBM/FGN模型 基于神经网络的模型 多分形模型 66 l2004 年,Karagiannis 等人通过分析Tier 1 ISP 的骨干链 路流量发现,目前高带宽高带宽和高聚合高聚合的链路流量在极小极小 尺度下近似泊

13、松过程尺度下近似泊松过程,从而引发了人们对网络流量 特征及建模的新思索和争论 l之所以这样划分,并不表示近时期的流量模型不具有自相 似的特征,主要是为了更清晰地了解近些年网络流量模型 的发展情况 流量建模新发展流量建模新发展 67 近年其他模型的发展近年其他模型的发展 l流量预测模型 基于神经网络的模型 混沌理论模型 模糊理论模型 混合模型 l多分形模型 68 展望流量模型的发展展望流量模型的发展 l目前的网络模型基本都基于流量时间序列的自相似特性， 未来是否还会有别的特性发现？ l目前的流量均基于时间特性，是否将来会考虑空间特性？ l网络流量的小尺度行为的研究 l新的物理模型的发展 l模型的

14、简单和精确性发展 69 （1）节点1 ：为整个校区的网络出口处，是整个校区的流量总和，具有最高汇聚度 （2）节点2： 为汇聚层中一个子网络结构的总流量，该子网络节点的总流量是3 个子网络中流 量最小的 （3）节点3： 为汇聚层中一个子网络结构的总流量，该子网络节点的流量是3 个子网络中流量 最大的 （4）节点4 ：为最下层路由器连接的交换机的流量总和 实例分析：校园网实例分析：校园网7 70 采用被动测量技术，并对 采集的报文抽样统计。运 用Solarwinds软件对校园 网流量信息进行抽样测量。 根据每30min的时间间隔 来完成对校园网流量数据 信息的采集。 校园网流量测量校园网流量测量

15、参考文献：校园网络流量分析与预测研究_张昕 71 基于基于BP神经网络的流量预测神经网络的流量预测 BP 神经网络算法的训练步骤如下： （1）样本分类。把样本分为训练样本和测试样本， 训练样本用于训练网络， 测试样本用于测试网络预测性能。 （2）网络初始化。随机初始化 BP 神经网络的权 值和阈值，设置网络学习速 率 。 （3）预测输出。把训练样本输入网络，计算网络 预测输出并计算网络预测输 出和期望输出的误差e。 （4）权值修正。根据误差e修正网络权值和阈值， 从而使网络预测值逼近期 望值。 （5）判断算法是否结束，如没有结束，返回步骤 3，继续运行。 sigmoid 72 基于基于BP神经

16、网络的流量预测神经网络的流量预测 学习速率 取 0.1 73 基于基于BP神经网络的流量预测神经网络的流量预测 在网络训练达到 50 次 时训练的均方误差为 0.108142，在训练达 到 500 次时均方误差 为 0.106294，实际上， 当训练达到 220 次时 均方误差基本没 有变化，说明此时训 练次数的增加并不能 改善网络流量的预测 性能。 74 基于小波神经网络的流量预测模型基于小波神经网络的流量预测模型 l 将小波分析和神经网络直接结合， 把神经网络隐含层的传输函数用小 波函数代替，大多数前向多层神经 网络都是基于 Sigmoid函数的基函 数网络，用这种网络作函数逼近时， 由于

17、 Sigmoid 函数自身的局限性使 得其是一种次优网络。 l 把神经网络隐含层的传输函数用小 波函数代替，这样的结合从本质上 改变了预测模型的结构，在不影响 预测精度的前提下，缩短了模型的 训练时间，提高了训练的速度,克服 了神经网络容易陷入局部次优的缺 点，且算法易实现、易应用和易推 广。 Morlet 母小波基函数： 75 基于小波神经网络的流量预测模型基于小波神经网络的流量预测模型 76 基于小波神经网络的流量预测模型基于小波神经网络的流量预测模型 77 基于小波神经网络的流量预测模型基于小波神经网络的流量预测模型 本节实验采用松散型小波神经网络模型进行流量预 测。首先运用小波对采集的

18、数据流量序列进行小波 分解，此处选择 haar 小波对流量进行 3 层小波分 解 78 基于小波神经网络的流量预测模型基于小波神经网络的流量预测模型 在本实验中采用的 小波神经网络结构 为 4-9-1。网络权 值的初值是在参数 初始化时随机得到。 本实验对小波神经 网络反复进行 500 次训练 79 校园网网络流量分析校园网网络流量分析 流量分析步骤： 1.选择一种方法采集流量 2.选择一种或多种流量分析模型 3.对采集到的流量的预处理 划分训练集、测试集 对元数据做必须的映射处理 分解元数据，分面处理 4.训练模型，分析并预测 80 参考文献（参考文献（1） 1.基于时间相关的网络流量建模与预测基于时间相关的网络流量建模与预测研究研究高波高波 2.Internet 流量模型分析与评述张宾, 杨家海, 吴建平 3.自相似网络流量模型研究王晖，季振洲，朱素霞 4.网络流量模型与流量预测技术研究张久坤 5.校园网络流量分析与预测研究张昕 6.网络流量分析关键技术研究任春梅 7.校园网络流量自相似性分析与研究张浩 81 参考文献