（计算机软件与理论专业论文）基于rtt的网络性能异常检测方法研究.pdf

基于r n 的网络性能异常检测方法研究 摘要 随着i n t e m e t 技术和网络业务的飞速发展，计算机网络越来越普及，应用非 常广泛，计算机网络逐步影响着人们的生活和工作方式，用户对网络业务性能的 要求越来越高，网络性能的优劣越来越受到人们的关注。网络管理的重要性日益 增加，网络性能异常检测技术作为网络管理的重要一环，能够发现网络性能隐患， 确保网络业务的可用性和高性能。 本文采用网络环路延时( r t t ) 作为性能指标，对i p 端到端网络进行了性能 异常检测技术研究。主要工作包括： 1 提出了一种基于趋势分析的网络异常检测方法，根据r t t 分布的特性，采 用最小二乘法和移动数据窗对历史r t t 数据进行趋势分析，得到r t t 的难常趋势 模型，在进行网络监控过程中，将实时r t t 数据分解为正常趋势模型分量和随机 变化分量，降低周期性的正常趋势模型数据对异常检测的影响，对随机变化分量 采用滑动窗口平均的方法进行性能异常检测，使得检测方法对异常数据更加敏感， 检测率更高。 2 分析了周勰采样的不足之处，应用于r t t 采集的周期采样方法虽然简单， 但是忽略了数据变化地特点，使得采集的数据不能完全体现r t t 变化显著区的特 征。提出了一种基于链路稳定废的洎松采样方法，由链路稳定度确定泊松采样的 期望时间间隔，然后确定采样的实际时间间隔。采用泊松采样使得采样过程更加 随机，更能体现r t t 的变化特征。并且针对这种采样方式，用方差和均值判断异 常，及早发现性能异常，给出告警，使得网络管理员能够及早采取措旋，预防性 能进一步恶化。 关键词：网络性能异常：异常检测技术；网络管理；趋势分析：自适应采样 i i 硕上学位论文 a b s t r a c t w i t ht h er a p i dg r o w t ho fi n t e m e tt e c h n o l o g ya n dn e t w o r ks e r v i c e ，t h ec o m p u t e r n e t w o r ki sm o r ea n dm o r ep o p u l a ra n di sw i d e l yu s e d t h ec o m p u t e rn e t w o r kh a s e f f e c to np e o p l e sl i f ea n dw o r k i n g ，a n dt h ec o n s u m e r sd e m a n dt h e h i g h e r p e r f o r m a n c eo fn e t w o r ks e r v i c e t h ep e r f o r m a n c eo fn e t w o r ka t t r a c t sc o n s u m e r s a t t e n t i o n t h es i g n i f i c a n c eo fn e t w o r km a n a g e m e n ti si n c r e a s e dr e c e n t l y , o n ek e yr o l e o fw h i c hi sp e r f o r m a n c ea n o m a l yd e t e c t i o nt e c h n o l o g y t h i st e c h n o l o g ye a r ld e t e c tt h e p r o b l e mo fn e t w o r kp e r f o r m a n c ea n di tc a l le n s u r eu s a b i l i t ya n dh i g hp e r f o r m a n c eo f n e t w o r ks e r v i c e t h i st h e s i su s e st h er o u n dt r i pt i m e ( r t t ) a sp e r f o r m a n c ep a r a m e t e rt o i n v e s t i g a t et h ep e r f o r m a n c ea n o m a l yd e t e c t i o nt e c h n o l o g yo ni pe n d t o - e n dn e t w o r k t h em a i nc o n t e n t sa l e ： f i r s t l y , t h i st h e s i sp u t sf o r w a r dad e t e c t i o nm e t h o df o rn e t w o r kp e r f o r m a n c e a n o m a l yb a s e do nt r e n da n a l y s i s w eu s et h el e a s ts q u a r em e t h o da n dt h es l i p p i n gd a t a w i n d o wt o a n a l y z et h eh i s t o r i c a lr t td a t ab a s e do nt h ec h a r a c t e ro ft h ei 盯t d i s t r i b u t i o n a n do b t a i nt h en o r m a lt r e n dm o d e lo fr t t i nt h ep r o c e s so ft h en e t w o r k m o n i t o r i n g w ed e c o m p o t m dt h er e a l - t i m er t td a t a i n t on o r m a lt r e n dm o d e l c o m p o n e n ta n dr a n d o mc o m p o n e n tt od e c r e a s et h ei n f l u e n c eo fp e r i o d i c a l l yn o r m a l t r e n dm o d e ld a t ao na n o m a l yd e t e c t i o n u s i n gt h em e t h o do fa v e r a g i n gt h es l i p p i n g w i n d o w sf o rr a n d o mc o m p o n e n tt op e r f o r ma n o m a l yd e t e c t i o n ，i tm a k e sd e t e c t i o n m e t h o ds e n s i t i v i t yt ot h ea n o m a l yd a t aa n dt h ee f f i c i e n c yo fa n o m a l yd e t e c t i o ni s h i g h e r s e c o n d l y , t h i st h e s i sa n a l y z e st h ed e f i c i e n c yo ft h ep e r i o d i c a l l ys a m p l i n g t h o u g h t h em e t h o do fp e r i o d i c a l l ys a m p l i n ga p p l i e di nt h er t tc o l l e c t i o ni s s i m p l e i t n e g l e c t st h ed a t ac h a n g ea n dc o l l e c t i o nd a t ac a l ln o ts h o wt h ec h a r a c t e ro fr t td a t a i r r e g u l a rc h a n g i n ga r e ac o m p l e t e l y s ot h i st h e s i sp u t sf o r w a r dap o i s s o ns a m p l i n g m e t h o db a s e do nl i n ks t a b i l i z a t i o n ，g e t st h ee x p e c t a t i o ns a m p l i n gi n t e r v a lo fp o i s s o n s a m p l i n gf r o mt h ep a r a m e t e ro fl i n ks t a b i l i z a t i o n ，a n dt h e nc a l c u l a t e sa c t u a ls a m p l i n g i n t e r v a l u s i n gt h ep o i s s o ns a m p l i n g ，t h es a m p l i n gp r o c e s si sm o r er a n d o m ，a n d i tc a n s h o wr t tv a r i a t i o nc h a r a c t e rw e l l b yu s i n gs a m p l e dd a t aa r r a yv a r i a n c ea n d e x p e c t a t i o nt oe s t i m a t et h ea b n o r m i t y , w ec a nf i n dt h ep e r f o r m a n c ep r o b l e ma ss o o n a sp o s s i b l e t h en e t w o r ka d m i n i s t r a t o r sc a nt a k ea c t i o nq u i c k l yt op r e v e n tt h en e t w o r k i i i 皋于r t l l 的网络性能异常检测方法研究 p e r f o r m a n c eb e c o m ew o r s e k e yw o r d s ：n e t w o r kp e r f o r m a n c ea n o m a l y ；a n o m a l yd e t e c t i o nt e c h n o l o g y ；n e t w o r k m a n a g e m e n t ；t r e n da n a l y s i s ；s e l f - a d a p t i v es a m p l e i v 硕七学位论文 插图索引 图2 1 网络管理功能4 图2 2 网络异常检测系统的一般结构7 图2 3p l a t e a u 异常检测方法示意图1 5 图3 1 两周r t t 序列图。2 0 图3 2 一周七天( 周日至周六) 详细r t t 序列图2 l 图3 3 四周r t t 原始数据序列图2 5 图3 4 一周趋势模型图2 6 图3 5 第一周( 2 1 3 0 6 - - 2 1 7 0 6 ) b t a 方法和p l a t e a u 方法检测结果比较2 6 图3 6 第二周( 2 2 0 0 6 2 2 4 0 6 ) b t a 方法和p l a t e a u 方法检测结果比较2 7 图3 7 第三周( 2 2 7 0 6 3 3 0 6 ) b t a 方法和p l a t e a u 方法检测结果比较2 7 图3 8 仿真网络拓扑图2 9 图3 9 采集四周模拟实验r t t 数据2 9 图3 1 0 模拟实验数据正常趋势模型3 0 图3 1 1 对模拟数据b t a 方法和p l a t e a u 方法检测结果比较3 0 图4 1 周期采样一天r t t 序列图3 9 图4 2 自适应间隔采样一天r t t 序列图3 9 图4 3b t a 方法和p l a t e a u 方法检测结果4 0 图4 4 自适应采样间隔异常检测结果4 0 v n 基十r t t 的l 旬9 络性能异常检测方法研究 附表索引 表3 1b t a 方法与p l a t e a u 方法告警点信息2 8 表3 2 网络故障设置说明表3 0 表3 3b t a 方法和p l a t e a u 方法检测结果比较3 l 表4 1 期望采样间隔变化表3 6 表4 2 三种方法产生告警时间点4 0 i i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：夏冀杠 日期：加髟年岁月多z ，日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打4 ) 作者签名：球 导师签名 日期：耐年歹月2 日 日期：吐吨年r 月- 日 硕士学位论文 第1 章绪论 1 1 论文研究背景和意义 随着i n t e r n e t 技术和网络业务的飞速发展，计算机网络越来越普及，应用非 常广泛，电子商务、远程教育、网上炒股、i p 电话、虚拟专网等i n t e r n e t 上的各种 应用正逐步影响着人们的生活和工作方式。另一方面，随着网络规模不断扩大， 各种网络新技术层出不穷，网络设备越来越多样化，不断增加的网络用户和应用， 导致网络负担过重，网络设备超负荷运转，这就导致：网络出现问题的机会增大； 找出问题根源的难度更大；出现的问题将会进一步传播，从而导致网络性能下降。 过去，网络业务的价格、网络业务能否实现是用户普遍关心的问题；如今，用户 关注的焦点则更加集中于网络业务、网络服务实现的可靠性及性能。随着网络性 能的优劣越来越受到人们的关注，对网络性能的研究有助于提高网络的利用效率 和优化当前网络的性能，保证网络有效、可靠、安全、经济地提供服务，并为将 来设计出具有更高服务质量的网络提供参考。 目前网络故障的发现和诊断还没有非常有效的方法，一般的，也是比较保守 的做法是当网络某种性能参数出现异常时，就发出报警通知，预示着可能出现某 种故障。当网络性能出现异常时，如何尽快发现并且及时地检测到这种异常现象， 成为相当重要又急需解决的问题，网络性能异常检测作为网络管理中不可缺少的 个重要组成部分，越来越受到重视。 另外，随着网络应用和规模的不断增加，网络管理工作越来越繁重，实施网 络管理的复杂性和难度也越来越大，网络管理系统记录的性能数据是海量的。对 于大规模网络，收集的数据可能多达几个g b ，从这么大量的数据中进行分析性 能问题，如果网络管理人员仍采用对性能数据进行逐一分析、逐一检测的方法， 必然会导致检测过程复杂化，大大降低网络管理人员的工作效率。网络管理迫切 需要提供自动告警的性能异常检测技术，发现网络中性能异常状况的发生，及时 预测到将要发生的性能问题，采取预防措施。 1 2 本文主要工作 本文分析了现有的一些网络性能异常检测方法的优缺点，选择网络环路延时 作为性能指标进行网络性能异常检测方法的研究。通过分析r t t 分布的特点，建 立了一个r t t 分布的正常趋势模型，并且根据这个趋势模型提出了一种异常检测 方法；分析比较了几种采样方法，提出了一种自适应采样间隔的异常检测方法， 基于r t t 的网络性能异常检测方法研究 具体工作如下： 1 分析r t t 分布的特点，采用最小二乘法和滑动窗口相结合的方法对r t t 数据 进行趋势分析，建立r t t 分布的正常趋势模型； 2 基于正常趋势模型，将实时r t t 数据分解为正常趋势模型分量和随机变化分 量，去除周期性的正常趋势模型数据对异常检测的影响，对随机变化分量采用 滑动窗口平均的方法进行性能异常检钡4 ； 3 分析了周期采样的不足之处，提出了一种基于链路稳定度的自适应采样间隔 的泊松采样方法，对r t t 进行采集，并且应用这种采样方法进行性能异常检测。 1 3 本文组织结构 全文共分4 章，各部分的内容组织如下： 第1 章概述了本文的研究目的、意义和内容，介绍了本文所做的研究工作。 第2 章详细介绍了相关的背景知识及研究现状，概要介绍了四大类性能异常检测 方法，详细介绍了几种针对r t t 的异常检测方法，并且对优缺点进行了分 析。 第3 章分析了r t t 分布的特点，提出一种基于趋势分析的性能异常检测方法，并 且通过实验分析了方法的有效性。 第4 章分析了周期采样存在的不足，提出了一种基于链路稳定度考量的自适应采 样方法，对r t t 进行采样，并且进行异常检测，及时发现网络性能异常。 2 硕士学位论文 第2 章i p 网络性能异常检测技术相关研究 随着因特网技术的迅速发展和在各行各业中的广泛应用，人们的生活越来越 依赖于计算机网络，计算机互联网络正常、高效、安全、可靠地运行是确保未来 社会高效运作的基本前提。而i t 行业的蓬勃发展，新技术、新应用的迅速扩展， 网络通信量的急剧增加，可能会导致网络流量的饱和、网络性能的急剧下降，网 络管理的重要性越来越突出。网络性能异常检测作为网络管理中的重要一环，通 过对网络性能指标数据进行有效的分析，尽量在网络性能降低到不可接受的程度 之前及时发现性能异常问题，保证网络性能的稳定性，越来越受到关注和重视。 2 1 网络管理功能概述 在o s i 系统管理标准中，将开放系统的管理功能划分为5 个功能领域，它们 是：配置管理、性能管理、故障管理、安全管理和计费管理“3 。这5 个功能领域 覆盖了网络管理所需要的主要功能，为网络管理系统功能分析、设计和实现提供 了基本概念。网络管理功能领域概念的提出，有利于搞清楚领域之间及各项具体 功能之间的关系，便于管理功能的研究、设计和实现。下面对这5 个功能领域进 行简单介绍： 】。配置管理 配甓管理是最基本的网络管理功能，它负责监测和控制网络的配置状态。具 体地说，就是在网络建立、扩充、改造以及业务的开展过程中，对网络的拓扑结 构、资源配置、使用状态等配置信息进行定义、监测和修改。配置管理主要提供 资源清单管理、资源提供、业务提供、网络拓扑结构服务等功能。 2 性能管理 性能管理保证有效运营网络和提供约定的服务质量。在保证各种业务的服务 质量( q o s ) 的同时，尽量提高网络资源利用率。性能管理包括性能监测功能、 性能分析功能和性能管理控制功能。性能管理中获得的性能检测和分析结果是网 络规划和资源提供的重要根据，因为这些结果能够反映当前或即将发生的资源不 足。在发现网络性能严重恶化时，性能管理要与故障管理互通。 3 故障管理 故障管理的作用是迅速发现和纠正网络故障，动态维护网络的有效性。故障 管理的主要功能有告警监测、故障定位、测试、业务恢复以及修复等，同时还要 维护故障日志。在网络的监测和测试中，故障管理参考配置管理的资源清单来识 别网络元素。如果维护状态发生变化，或者故障设备被替换，以及通过网络重组 别网络元素。如果维护状态发生变化，或者故障设备被替换。以及通过网络重组 基于r t t 的网络性能异常检测方法研究 迂回故障时，要对配置m i b 中的有关数据进行修改。在故障影响了有质量保证承 诺的业务时，故障管理要与计费管理互通，以赔偿用户的损失。 4 安全管理 安全管理的作用是提供信息的保密、认证和完整性保护机制，使网络中的服 务、数据和系统免受侵扰和破坏。安全管理主要包含风险分析功能，安全服务功 能，告警、曰志与报告功能和网络管理系统保护功能。安全管理与其他管理功能 有着密切的关系。安全管理要调用配置管理中的系统服务对网络中的安全设施进 行控制和维护。网络发现安全方蘧的故障时，要向故障管理通报安全故障事件以 便进行故障诊断和恢复。安全管理功能还要接收计费管理发来的与访问权限有关 的计费数据访问事件通报。 5 计费管理 计费管理的作用是正确地计算和收取用户使用网络服务的费用，进行网络资 源利用率的统计和网络的成本效益核算。计费管理主要提供费率管理和帐单管理 功能。一般情况下，收费过程的启动条件是配置管理中的业务提供。 图2 1 对5 个管理功能领域之间以及与客户和网络之间的关系进行了描述。 计 图2 1 网络管理功能 2 2 网络性能异常检测技术简介 作为网络性能管理中重要组成部分网络性能异常检测功能在网络管理中 具有重要作用。网络服务质量的降低，往往是由于设备的偶然性或间歇性问题造 成的，而这类问题又难以按故障检测的方法检测出来。因此需要设计性能异常检 测功能，用连续采集性能数据的方法对网络服务质量进行监测，并尽量做到在网 络性能降低到不可接受的程度之前及时发现问题。 4 硕士学位论文 性能异常检测与故障管理中的告警监测有很大关系，二者都是对设备和传输 媒介中的问题进行检测。但告警监测是对故障事件进行检测，而性能异常检测是 对单位时间内性能低于设定阀值的异常事件的数量进行检测，即能异常检测感兴 趣的是统计数据，而不是各个故障事件的特性数据。 2 2 1i p 网络性能异常的定义 通常人们所说的网络出现问题，就意味着网络不正常，也就是说网络性能与 它被期望的不一样“1 ，或者说超出期望的范围，原因可能是网络故障引起，自然 或社会现象造成，或者恶意的攻击。 网络出现故障的原因有许多，但对于用户而言，都表现为网络性能的显著下 降或异常。一些研究把网络故障分为两种：“硬故障”和“软故障”。“。“硬故 障”指的是网络出现严重问题，使得网络无法传输数据，“硬故障”的类型多种 多样，硬件、软件和数据的问题都可能引发网络故障。例如，施工作业切断电缆、 网络主要设备( 例如路由器、网关) 故障、系统改造或重新设定时的错误、程序 缺陷、数据库错误、自然灾害等都是引发网络故障的原因。“软故障”指的是性 能下降、性能恶化，产生的原因也有许多，例如，对网络的不恰当使用、瞬间拥 塞导致传输延迟、主机硬件故障、协议失效、恶意用户的攻击等等。“软故障” 出现时，网络还可运行，但是网络性能下降恶化，进步加剧就可能导致“硬故 障”。因此，及时检测出网络中的性能问题，在网络性能降低到不可接受的程度 之前及时发现问题，采取相应补救措施，可以预防“硬故障”的发生，最大可能 地保证网络性能的持续性和稳定性。 本文中网络性能“异常”指性能下降、性能恶化，即“软故障”。在实际网 络管理中，网络“硬故障”易于检测，因为即使网络管理员没有立即得到通知， 网络用户也可以发现网络不能使用，感觉网络“硬故障”的发生。而网络“软故 障”相对来讲则是难以识别的。一个主要原因是识别手段即异常检测算法不够成 熟、不够完善；另一主要原因在于，对性能异常的定义不够明确。性能异常虽指 性能下降、性能恶化，但要将其进行精确量化则比较困难。一方面，性能下降程 度范围非常广，可以说从性能偏离正常水平开始下降，到网络业务完全不可用， 出现故障之前，都可称为性能异常；另一方面，由于网络本身就是在不断的变化， 其性能也在经常地发生变化，不同网络的情况也各不相同，并且网络协议允许一 定程度的错误存在使得情况更加复杂化，网络性能正常水平难以确定。另外，由 于i p 网络具有突发性，会出现性能瞬间极度下降，又在极短时间内恢复正常的情 况，这种单个或少量出现的异常样本，应排除在性能异常范围之外。 文献【3 ，5 对性能异常定义为：网络性能下降超过一定程度，并且这种情形统 计持续了一定时间长度，则认为性能出现了一次异常情况。这个定义包括了性能 5 基于r 竹的网络性能异常检测方法研究 下降程度和持续时间长短两个要素，完整反映了网络性能异常的特点。其中，在 确定下降范围和时间长度等量化参数时，是从网络管理人员的角度来定义的，网 络管理员根据自己的网络管理经验和实际网络性能状况设置参数。 2 2 2 网络性能异常检测方法概述 在网络监测或管理系统中，网络中的异常最初是采用“阈值检测”方法发现 的，包括静态的阈值方法和自适应的阈值方法。它需要网络管理人员根据网络管 理经验，分析被监控网络的性能特点，确定某些网络性能指标的阈值，当一个或 多个阈值被超过时，即网络的相关参数超出正常范围或期望时，就发出警报给网 络管理中心。闽值检测的关键是如何确定合适的阈值，如果阈值太小，使得网络 正常的性能变化也被视为告警，产生过多的假警报，阈值太大，对网络性能变化 迟钝，则容易忽略真正的问题；其次是应用统计的方法，通过对网络性能数据进 行统计分析来判断异常，它能发现阈值方法难以发现的问题；第三是采用小波方 法的异常检测，由于小波方法具有“数学上的显微镜”的功能，用小波方法对网 络性能参数进行变换，可以发现一些比较微妙的异常现象；第四是面向网络安全 方面的异常检测。 1 阈值检测 静态阈值异常检测算法是晟基本的网络异常检测方法，也是i p 网络性能异常 检测中应用最早的算法。这种算法简单直观，基本思想是：由用户主观设置一定 值，作为特定的网络性能管理对象静态闽值。在一般的网络管理系统中采用，例 如当以太网的利用率超过5 0 就告警，而不论在哪个时段，都使用这个阀值，显 然这样的做法忽略了网络性能随时间变化的特点，需要改进，但是这种办法简单。 自适应的阈值方法是静态的阙值法的一种改进，如御公司的网络性能管理工 具n e t m e t r i x 中就是采用这种方法。r o ya 以及f r a n ke “。”采用自适应的阈值方法 检测以太网利用率和数据包数的异常，他们通过这种方法发现了网络中硬件故障， 广播风暴，以及插入的模拟故障等。l a w r e n c e h o ”1 等人则提出了一个网络异常检 测系统的一般结构，如图2 2 所示，共分为4 个模块：采样模块，规则产生模块， 异常检测模块，图形用户接口模块。采样模块从网络连续采集性能数据作为分析 对象；规则产生模块根据历史数据生成动态阈值提供给异常检测模块：异常检测 模块利用动态阅值对实时采集地网络性能数据利用异常检测方法检测网络性能异 常，提供告警以及其他必要的信息：图形用户接口模块利用图形的方式将异常检 测结果直观地显示给网络管理员和用户，以便采取相应补救措旌，预防“故障”的 发生。 2 统计方法 首先是g l r ( g e n e r a l i z e d l i k e l i h o o dr a t i o ) 测试方法，它是一种常用于信号处 6 硕士学位论文 理，时间序列分析，自动控制和工业质量控制中检测异常变化的方法。它在时间 序列中取出相邻的个数相同的两段数据( 称为滑动窗口) ，前一个叫参考窗，另 一个叫测试窗，为了测试第二个窗口中的数据是否发生异常变化，分别对两个窗 圈2 2 网络异常检测系统的一般结构 口的数据拟合a r 模型，计算它们相应的残差序列的协方差估计，然后计算一个用 来判断是否异常的统计量，当该统计量大于某个预先设定的阈值时就判定为异常。 m a r i n at h o t t a n 和c h u a n y ij i 嘲就是用g l r 检测方法对m i b 变量进行异常检测，它考 虑两个相邻的时间窗r ( o 和s c t ) 以及这两个合并组成的窗口c ( f ) ，每个窗口都用 自回归模型( a r ) 拟合，计算各窗口序列残差的联合似然比( j o i n tl i k e l i h o o dr a t i o ) ， 然后与预先设定的闽值r 相比较，当联合似然比超过闽值丁时，两个窗口五( r ) 和 s ( f ) 的边界就被认为是异常点，这种方法可以检测网络中的服务器性能异常。a m y w a r d 等”1 ，在几个假定条件下，由r 时刻的观测值置，在t 时刻的估计的平均观测 值工，和标准差盯，计算下列统计量 z ：些( 2 1 ) q 当z ， c 2 时就判定为异常，这里的c 。c ：为预先设定的正常数。 3 基于小波变换的检弱 小波分析是2 0 世纪8 0 年代后期从傅立叶分析的基础上发展起来的一种时一频 分析方法，l l , f o u r i e r 分析有着本质性的进步“”。它提供了一种自适应的时域和频 域同时局部化的方法，小波变换的含义是：把某一被称为基本小波的函数w ( 0 作 位移s 后，再在不同尺度a 下与待分析信号x ( t ) 作内积： l + 鼍 ，一r w t x ( 口，f ) = 亡i x ( ，) 妒( 二_ 上) 西， 口 0( 2 2 ) 7 基于r t t 的网络性能异常检测方法研究 小波变换有具有多分辨率的特点，适当地选择基本小波，可以使小波变换在 时频两域都具有表征信号局部特征的能力，把待分析信号中分解成低频和高频部 分( 即近似或整体的趋势和细节信息) ，而信号中的异常变化往往是信号中的高频 信号发生变化而产生的，对高频部分的分析便可能发现信号中的异常变化。小波 技术现已广泛用于信号检测、图像处理、模式识别、故障诊断与定位等许多相关 技术的研究中，。 v a l a r c o n 与b a r r i a 应用非降采样的离散小波变换( u n d e c i m a t e dd i s c r e t e w a v e l e tt r a n s f o r m ) 对拨号i p 网的服务性能参数呼叫建立时间( 即c o n n e c tt i m e 和 l o g _ t i m e ) 、连接和数据传输( 即域名服务器的l o o k u p j i m e ，w e b l a t e n c y 以及 d a t at i m e ) 进行异常点的检测“。 4 面向网络安全的异常检测 面向网络安全的异常检测可分为两类：统计偏差检测( s t a t i s t i c a ld e v i m i o n d e t e c t i o n ) 和模式匹配检测( p a t t e r n m a t c h i n g d e t e c t i o n ) “。这里的统计方法与上述 的统计方法的不同之处在于：上述方法是检测网络性能参数的异常，而此处则是 检测如用户、小组、工作站、服务器、文件和网络适配器等网络配置有关参数的 异常。 统计偏差检测是指用统计的方法，用历史数据建立基线。例如，监测网络中 某个用户在一定时间内访问某些文件的数量或次数，如果这些数量或次数超过了 预期给定的某个值，就发出异常警报。也就是说，假定用户和网络的行为是可预 测的，符合一定的模式，在一定的时间内不会有重大的偏离，否则预示着可能存 在攻击“。模式匹配检测是对网络行为或状态与过去存储的被攻击模式相比较。 那些已知的攻击类型以及相应的瞰络配置被模型化为数据模式，数据模式可以由 一个事件或一系列的事件、事件的限值、或用含有a n d 、o r 和n o t 的表达式构 成。当网络中被监测到匹配某种模式时，就判断为存在相应的攻击。 2 3 针对r t t 的网络性能异常检测方法 i n t e r n e t 由无数大小不一的i p 网络通过网络链路互联而成，网络中任何两个 端点之间都可能进行网络或者高层的业务通信行为。端到端( e n d t o e n d ) q 络连接 的性能好坏不仅能从某种程度上反映网络设备的运行状况，并且直接影响甚至决 定着网络所承载的业务性能和用户感受。因此，对网络端到端连接进行性能管理 具有重要意义。端到端性能管理的目标是为用户提供一条稳定可用的具有一定服 务保障的连接。其范围已超出了流量工程和容量规划等传统问题，包括故障发现， 路由选择与配置管理，流量分析等广泛的内容n ”。 对于i p 网络端到端连接，存在多种性能评价指标，包括网络延时、网络丢包 率、网络时延抖动、长期利用率、路由可达性、瓶颈带宽和其它性能参数等。对 8 硕士学位论文 于用户而言，路径的延时特性和路径有效带宽决定了即时可见的服务水平，即是 否能启动一次新的连接，是否能在局部节点获得一定的资源保证，并达到可接受 的响应时间。对i s p 而言则更关心网络路径的长期利用率、路由可达性、瓶颈带 宽和其它性能参数，这些参数一般较为稳定。其中路径连通率、路径丢失率、传 输能力和路径稳定性反映了端到端路径的总体性能，而路由变化和路径的拥塞状 况则影响人们对网络延时的测量。 近年来v o i p ，v o d 等实时应用在网络应用中大行其道，实时应用需要网络 提供服务质量保证或区分服务，因而网络路径的延时特性和传输速率越来越受到 人们的重视。网络延时和有效带宽直接反映了路径的当前性能和对端主机提供的 服务水平，但它们都受网络拓扑，转发节点，路由算法以及背景流量等多重因素 的影响，随时间而随机变化。跟踪这些路径特征参数的动态变化可以获得网络资 源的使用状况和性能趋势，从而获得网络管理的依据“”1 。 网络延时作为直观反映网络性能好坏的技术指标，受到i e t f 标准化组织和 几乎所有的网络性能研究机构的重视，纷纷以其作为对网络性能进行全面分析、 深入研究的首要指标。 网络延时表示通信两端的数据包经过网络路径上诸如路由器、交换机、链路、 主机等组件的处理时延之和。网络延时由下箍部分组成：数据包沿物理链路传输 所需时间( t r a n s p o r tt i m e ) ，数据包经路由器时排队及转发所需时间( q u e u i n ga n d t r a n s m i s s i o nt i m e ) ，服务器处理数据包并产生响应包所需时间( s e r v e rr e s p o n s e t i m e ) ，它随着网络状态变化而变化。网络延时小，说明网络连接性能好，网络路 径上的所有组件处于正常运行状态。网络延时大，且持续相当一段时间，则暗示 该网络路径所经过的某些组件发生了异常行为，导致该连接性能变差，承载的高 层业务性能也可能受到影响。因此，通过对网络延时进行全天候、实时的测量和 分析，可以及时了解网络的运行情况。 网络延时有两种定义方式，单向延时( o n e w a yd e l a y ) 和环路延时( r o u n d t r i p d e l a y ) ： 网络单向延时测量假定源主机和目的主机时钟同步，若源主机发送i p 包的线 路时间为l 目的主机接受到该包的线路时间为r + 以，则网络单向延时为d t 。测 量网络单向延时对测试系统的要求较高，不仅要在目的主机上安装特定的测试软 件，还需要在源主机和目的主机之间进行严格的时钟同步，解决这个问题一般采 用g p s ，这样大大增加了测试系统的耗费，测试系统安装和实现的复杂程度较大， 这些特定要求限制了除网络所有者以外的终端用户、性能研究机构等对这种性能 指标的测量。 网络环路延时( r t t ) 指源主机发送数据包给目的主机，到源主机接收到目的 主机的应答信息所需时间。它包括网络延时和目的主机处理延时两部分。其中目 9 基于r t t 的网络性能异常检测方法研究 的主机处理时延越小，给网络环路延时引入的误差就越小。实际应用中通常认为 目的主机的处理时延相对网络环路延时可以忽略不计。网络延时由确定时间和可 变时间两部分组成，确定时间指数据包在网络节点中的传输时延( t r a n s m i s s i o n d e l a y ) 和在数据链路中的传播时延( p r o p a g a t i o nd e l a y ) ”“。这是数据包经过网络所需 的最短时间，是固定不变的。可变时间是指数据包在网络节点中的排队延时及其 他的处理延时，主要是受到处理速度、缓冲区大小、选路算法等配置的影响。在 这些配置不变的情况下，数据包的时延就取决于网络负载大小。网络负载情况、 拥塞状况，导致网络的性能变化，反映为网络环路延时的变动。网络环路延时测 量在实际应用中具有易于配置使用、无需进行源、目的主机之间的时钟同步、应 用范围广等特点。因此，网络环路延时对分析评价网络性能、指导通信协议的参 数配置等方面具有重要意义。 2 3 1 对网络延时进行研究的相关研究机构和组织 网络延时作为直观反映网络性能好坏的技术指标，受到i e t f 标准化组织和 几乎所有的网络性能研究机构的重视，纷纷以其作为对网络性能进行全面分析、 深入研究的首要指标。下面介绍几个具有代表性的研究机构和组织。 1 i p p m ( i pp e r f o r m a n c em e t r i c s 、 为了从不同角度研究网络行为，需要定义不同的测度。i e t f “”的i p p m i 作组 现已经定义了一整套测度用来度量i p 数据传送的质曩、性能和可靠性等o “。i p p m 的目标就是为服务商和用户提供一个准确的、普遍的网络性能的理解。i p p m 还 提供准确测量这些测度的技术，并且鼓励开发测量的工具。r f c 2 3 3 0 定义了一个 完整的i p p m 框架。 2 n l a n r ( n a t i o n a ll a b o r a t o r yf o ra p p l i e dn e t w o r kr e s e a r c h ) ” 它是一个分布式的组织，其旨在支持美国高性能连接团体( h p cc o m m u n i t y ) 。 h p c 由两个国家科学基金似s f ) 支持，提供高性能研究网络，目前有v b n s 和 a b i l e n e 网络。m o a t 团队( t h em e a s u r e m e n ta n do p e r a t i o na n a l y s i st e a m ) 的目标是建 立一个网络分析框架( n e t w o r ka n a l y s i si n f r a s t r u c t u r e ，n a i ) ，通过采集原始数据、 图形化来分析结果。它的测量包括基于包头的分析、基于s n m p 的采集、基于b g p 路由数据的采集。目前的课题有被动测量课题( o c x m o n ) 和主动测量课题( a m p ) 。 n l a n r j e 动测量课题( a m p ) 在v b n s 二实行端到端的监测。目前有遍布美国 的1 0 0 多个a m p 监测点。从这1 0 0 多个站点采集的数据被加工处理。有三种类型的 监测：r t , t ，l o s s 和t o p o l o g y 。这些监测数据被持续地从监测点采集，每一个a m p 监测点发送一个i c m p 包到其他站点，并且记录响应时间。另外，每1 0 分钟用 t r a c e r o u t e 记录到其他站点的路由，同时任两点间的吞吐量也被计算。采集到的所 有数据被送到圣地亚哥超级计算中心加工处理，并显示在w e b 上。被动测量课题 1 0 硕士学位论文 ( p m a ) 旨在为高级网络( 如v b n s ，a b i l e n e ) 提供协作性的服务支持，目前已经在1 1 个o c 3 a t m 、两个o c l 2 a t m 、一个f d d i 上展开。采集到的数据使用c a i d a 的 c o r a l r e e f 软件分析，然后统一送到中央机器。 3 i e p m ( i n t e m e te n d t o e n dp e r f o r m a n c em o n i t o r i n g ) 斯坦福大学的i e p mg r o u p 发起于1 9 9 5 年。e s n e t ( t h ee n e r g ys c i e n c e sn e t w o r k ) 是一个高速核物理网络用来为上千的科学家提供服务，高能核物理对于广域网提 出了挑战。i e p m 是用来监测网络连接和端到端性能的一个项目，p i n g e r 是i e p m 的一个监测软件，它采用标准的p i n g 程序来采集统计数据。每3 0 分钟一系列的主 机用十一个1 0 0 字节的数据相互p i n g 。每个p i n g e r 站点的操作是独立的，没有中心 管理机制，p i n g e r 的主机只提供数据，需要使用者对得到的数据进行加工处理。 2 3 2 基于r t t 的异常检测方法分析 根据国内外的相关研究以及一些机构的网络管理工具，针对r t t 的异常检测 方法主要有以下几种：动态门限异常检测算法o ”，p l a t e a u 异常检测方法”1 ， m s a n d f o r d 等利用k s 检验和神经网络相结合的方法对网络路径时延异常进行分 类方法n m 等等。 i 动态门限异常检测算法 动态门限异常检测方法的基本思想是假设在一定长度时间区间内，网络性能 符合正态分布，通过计算分布的均值求出网络正常情况下的性能基线，作为性能 数据的趋势和正常模型基线。而利用正态分布的标准方差来确定性能变化的容许 范围( t o l e r a n c ee n v e l o p e ) ，也就是计算围绕性能基线的包络，在容许范围内，认