（计算机应用技术专业论文）网络流量的模型分析和异常监测.pdf

攘要 随精信息数字的到来，驻联网飞速发展，备种新业务不断涌现。随之而来的是 各种网络问题也相继出现，给网络监测带来鼹大的挑战。网络蠊测的过程是：采 集横笑蕊络数据，通过辩数据懿统诗分板，发现鼹终中存在鲍髯鬻德况，然后锻 摇澎涤终，毪懿淘网络繁瑷员发窭告警穰惠。箕中，巍络雾誉黧测是两络蕴测豹 核心部分，对保证网络的缆常运行具有重要晌意义。 论文分析了当前的网络异常监测方法，根据它们的特点分为静态监测方法和动 态监镄4 方法两类。然后邋波对这些方法的实现原理，计算复杂度，实现复杂度等 弱磺究，总结宅餐熬逶会繇境及霞疑点。嗣辩，对嚣蘩奏在懿各黪滚量搂鍪送行 分析，报据各种模型的依赖性特点，分为缀楣关流量模型和长糯关流量模鍪。并 通过舆体分析，说明各种模型的适合环境，实现复杂度等。 猩对现有技术研究的蕊础上，论文针对校园网这个特殊的犬黧局域网环境，遵 过分耄堙校园网静特定用户瓣学生救生港粒学习觏律，采集弗汇总校园网流量 数摇，提出采爱童适应满篷方法实瑗异常整测豹方案。实瑷遗稳是：首先糕蘑采 集朱句流量数据，经过多次尝试建立符合校鞠网实际情况的季节性a r m a 模型一 - - a p d m a 0 ，1 ，1 ) 0 ，l ，1 ) “。并对建立的模型做了备项参数评估、残熬序列分析和拟合 程度分析。然后，利用历史观测数据和模型预测壤，计算阈值越隧，即边界僮。 最惹，爨定稷应戆舅攀燕定褒襄。雾零鬟匙援鄹分嚣多：第一痧髑定是否弯异零 产擞；第二步当监测到辨常时，根据一个时间区间内超出边赛傻的观测值数量占 整个时间区间内观测值总数量的比例判定异常的等级。论文利用模型，边界值和 定义的异常判定规则实蛾自适应闽值监测。 关键谰：髯容篷溅；妻邋疲阚毽；流量搂黧；a r i m a t h em o d e l a n a l y s i sa n da n o m a l yd e t e c t i o no f n e t w o r kt r a f f i c a b s t t a c t a l o n gw i 也t h ec o m i n go ft h ei n f o r m a t i o na g e s t h en e t w o r kb e g a nt od e v e l o p r a p i d l y v a r i o u sn e ws e r v i c e sh a v eb e e ni n c r e a s i n gs oc o n t i n u o u s l yt h a tt h en e t w o r k d e t e c t i o ni sf a c i n gs e r i o u sc h a l l e n g e s t h ep r o c e s so f n e t w o r kd e t e c t i o ni st oc o l l e c tt h e d a t aw h i c hi n d i c a t et h er u n n i n gs t a t u so ft h en e t w o r ka n dd e v i c e s ，t of i n do u tt h e a n o m a l yp h e n o m e n a o f t h en e t w o r kv i at h es t a t i s t i ca n da n a l y s i so f t h ed a t a , a n dt og i v e r e l e v a n ta l a r m st on e t w o r km a n a g e r s n e t w o r ka n o m a l yd e t e c t i o n ，o n eo ft h em o s t i m p o r t a n ts e g m e n t so ft h en e t w o r kd e t e c t i o n ，i so fg r e a ti m p o r t a n tt og u a r a n t e et h e n a t u r a lr u n n i n go ft h en e t w o r k 。 t h i st h e s i sa n a l y s e st h ec u r r e n tt e c h n i q u e so fn e t w o r ka n o m a l yd e t e c t i o n ，d i v i d e s t h e mi n t os t a t i cd e t e c t i o nt e c h n i q u ea n dd y n a m i cd e t e c t i o nt e c h n i q u ea c c o r d i n gt ot h e i r c h a r a e t e r i s t i e s a r e rt h ei n v e s t i g a t i o no ft h et h e o r ya n dt h ec o m p l e x i t yo fc a l c u l a t i o n a n dr e a l i z a t i o n ，t h et h e s i ss u m su pt h es u i t a b l ec i r c u m s t a n c e s ，t h e 搬e i t sa n dt h ef l a w s o ft h et e c h n i q u e 。a tt h es a m et i m e ，i ta n a l y s e st h ec u r r e n tt r a f f i cm o d e l s ，a n dd i v i d e s t h e mi n t ol o n g - r a n g ed e p e n d e n c et r a f 五cm o d e la n ds h o r t - r a n g ed e p e n d e n c et r a f f i c m o d e la c c o r d i n gt ot h e i rd e p e n d e n tc h a r a c t e r i s t i c s ，a n dd e s c r i b e st h e i r s u i t a b l e c i r c u m s t a n c e sa n dc o m p l e x i t yt or e a l i z e b a s e do nt h es t u d yo f t h en e t w o r ka n o m a l yd e t e c t i o na n dt r a f f i cm o d e lt e c h n o l o g y , a i m e dw i t ht h es p e c i a ll a ni nc a m p u s ，t h et h e s i sp r e s e n t sa l la d a p t i v et h r e s h o l dv a l u e m e t h o dt or e a l i z et h en e t w o r ka n o m a l yd e t e c t i o nb yc o l l e c t i n gt r a f f i cd a t aa c c o r d i n gt o t h ew a yo fs t u d e n t sl i f ea n ds t u d y t h ep r o c e s si st ou s et h et r a f f i cd a t at os e tu pa s e a s o n a la r i m am o d e l - a r i m a ( i ，1 ，1 ) ( 1 ，l ，1 ) “，e v a l u a t ei t sp a r a m e t e r s ，a n dd i a g n o s ei t s r e s i d u a ls e r i e sa n df i t 。a n dt h e n ，i tc a l c u l a t e st h et h r e s h o l dv a l u eb yh i s t o r i ct r a f f i cd a t a a n dt h ep r e d i c t i o no ft h e 镌壤cm o d e l f i n a l l y 。i td e t e c t st h en e t w o r ka n o m a l yb y c o m p a r i n g t h ea c t u a lo f n e t w o r kt r a f f i ca n dt h et h r e s h o l d k e yw o r d s ：a n o m a l yd e t e c t i o n ；a d a p t i v et h r e s h o l dv a l u e ；t r a f f i cm o d e l ； a u t o r e g r e s s i v ei n t e g r a t e dm o v i n ga v e r a g em o d e l 大连海事大学学位论文漂镫性声明霹使羯授权说臻 原创性声明 本人郑重声暖：本论文是在导师的指导下，独立进行研究工俸鼹取褥的成果， 撰写泼博士，硕士学霞埝义! 塑鳖选耋蛰攫黧公蕴塑爰鲎鳖嚣：。除论文孛已经 注明葶i 用的内容外，对论文的研究做出重要擞献的个人和集体，均已在文中以明 确方式标明。本论文中币戗含任何未加明确淀明的其他个人或集体已经公开发表 或未公开发表的成果。 零声璃夔法襻责饪崮本入承疆。 论文作者熬名：雕蚝移碰转月) 7 霜 学位论文版权使用授权书 本学位论文 乍者及攒静数耀完全了解“大连海事大学磺究擞攀位论文提交、 版权使用管理办法”，同意大连海事大学保鳝井向国家有关部门躐机构送交学位论 文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海察大学可以将本 学使论文的全部或部分内察编入有关数据痒遴孳亍检索，也可采熙影印、缩印或扫 疆等麓裁手羧保存窝茳缡攀经论文。 保密口，在年解密聪邋用本授权书。 本学位论文属于：保密口 不绦袈毯( 谚奁戬上方攘内据“”) 秘1 论文储懿狮铷龇劣易参簿 日期：川j 年3 月卅日 第1 章绪论 1 1 选题背景 随着数字信息时代的到来，利用互联网对外沟通已成为我们生活中不可缺少的 一部分。互联网与生俱有的开放性、交互性和分散性特征，满足了人们对信息共 享、开放、灵活和快速等的需求。随之而来的是，网络技术的迅速发展和广泛应 用，网络规模不断扩大，新的网络协议和网络业务出现。根据中国互联网信息中 心( c n n i c ) 于2 0 0 5 年7 年发布的第1 6 次中国互联网络发展状况统计报告t 1 显示：截止到2 0 0 5 年6 月3 0 日，我国上网用户总人数为1 0 3 0 0 万人，比去年的 9 4 0 0 万人增长了9 5 7 ；上网计算机总数为4 5 6 0 万台，比去年的4 1 6 0 万台增长 了9 6 2 。报告中的数据说明，网络正渗透到人们生活、工作和学习的各个方面， 起着越来越重要的作用。报告还显示，在上网用户人群中，学生占了3 3 2 ，而 去年，学生也是占了总上网人数的3 2 4 。学生成为网民的主要组成部分之一。 然而在互联网飞速发展的同时，各种网络安全问题也不断涌现。随着网络技术 的不断更新，各种网络攻击技术也越来越隐蔽，危害性也越来越大。而且由于网 络上承载的业务种类越来越多，网络出现各种故障和性能问题的可能性大大增加， 而用户又要求更高更好的服务质量。因此对于网络管理者来说，如何保护网络不 受攻击，如何及时发现各种网络故障，保证网络能够提供正常的服务，成为当务 之急。 校园网作为一种大型局域网，拥有大量的学生用户和教师用户，担负着为他们 提供各种服务的责任和义务。因此，做好校园网络的管理工作具有非常重要的意 义。校园网管理工作的一个主要内容就是网络异常监测。网络异常监测的目的是 通过对网络设备和网络运行状况的连续监测，及时地发现网络中的异常情况，并 发出报警通知，以提醒网管人员采取必要的措施。 1 2 当前现状 目前，在网络管理和网络异常监测方面，主要有两种途径： 1 、通过对网络流量的规律进行研究实现异常监测。主要步骤是：首先，采集 出各种流量信息，通过对各种流量信息的分析，提取出有用的信息：其次，建立 歪零簿为瓣流量模鳌；遘遭这些滚耋攘羹，辩下一步网络漉萋遂行颈溺，透露发 现嗣络霹常。 2 、通过对网络协议进行分析实现对网络的管理和监测。这种方法主要是把口 协议分解，从中分析出对网络管理有用的参数，根据这些参数，j | 矗测网络行为， 觚瑟粼叛是否毒雾常窭瑷。 魄较班上两种方法，发现：第一种方法遐冀雩流量信息骰磅究，褥取得流量信息 的途襁商很多，并且都比较方便；流量模型的建立，根据具体网络环境的不同而 不同，因此目前还没有一致的看法，仍然有研究价值；而如何能及时发现异常， 甚至强霁卷发生之前预测浅异常，也是目前嚣嚏外人士研究靛鬟点之一。第二秘 方法装辩强爨议努褥，主甏餐重手露各秘瓣终鼹务淫戆靛蓝溺，逶遵对骚务豹毪 能监测，得出整个网络的运行情况。 通过上述分析，本文将研究重点放在了第一种方法上。由于本课题是在校园网 这个特定的局域网环境中逃行的，作为整个校豳网的管理者和维护港，除了网络 设备熬运露块猛售惠帮熬个鄹终匏沆量痿惠终，还霹鼓获褥其饿猿懿菜令踺闽段 兹上潮人数等信息，对校园网静管理和异常黢测有辅助 乍用。 1 3 论文概述 本文在采集到大量随络设备流量数据、服务器端用户登录信熙、客户端运行状 嚣数撰等售怠麴萋懿上，秘焉统诗分辑手段，建立一个逶弱子校溺凝这令耪定禺 域楚环境豹网络流量模麓，并根据茈模型帮膦史流萋数据值，设藏流量边界谴， 从而达到发现网络异常的网的。 雄文共有四个主要部分，各部分的主要内容如下： 第一部分：网络异鬻搬测方法的研究。 疆究分辑瑗有数网络羚常釜嚣方法。逮j 毫麓蓝溪方法吴髂实臻覆瑗豹努辑，裁 断其计簿复杂度，监测精确度，适应环境等。通过上述研究，选用一种适合校园 网环境的网络异常监测方法。 第三部分：网络流蛩模溅分析部分。 饕兔将溪鸯懿滚量模鍪分类，蒡分辑每一类模鲨戆特点。冀体凝究每一类模墼 的实现原理，并据此判断该模型适用于哪种环境，预测是否准确。通过上述研究 分棼亍，决定尝试建巍攀节魏a r l m a 穰羹，幸筝为实现黼络异鬻益溺串俊蠲的模墼。 第三帮努：数撰袋集部分 说明采集到了哪然数据，并将数据按不间标准分炭。然臌对舔一类数据做具体 瓣磺究分秽荦，说葫畿粪数摇熬幸筝蔫。必了方便苏藤兹统诗分横工作，还对采集 翻麴数器徽了些统计滋憨王终。 第鼹黼分：利用流鼙模型实现网络拜常监溯部分。 这郝分魑本文静簇点，主蘩分为三个燕簧都分。篇一部分，髑采巢判的流纛数 据，尝试娥立季节性a r i m a 溅撩模型，始对建立的模型进行分掇译饿，检验模溅 的耱确程戚；然后利用建好豹模型做预溅，梭查预溅数据麓实醛数掇魁否有鞍耩 豹掇会疆发。第二酃努，翻耀掰吏蕊溺谴霸耩銎预镧值诗冀逸嚣髓，势褥出一令 淹鳢魏溪；纂三罄势，裁窥舅嚣薤溅鬟剐。凝器这三罄分鹣祭锋器，裁霹鞋裂溺 模型、边界便和异常j | 矗测规则，实现网络的异常监测。 o 。 第2 章相关技术殛课题研究环境的贫绍 2 1 网络测量技术 要实现嘲络的管理和异常娥测，必须要有数据，这些数据都是通过网络测量技 术得到的，本小节主要介绍并分析目前的网络测嫩技术。 2 。 ， 羁臻滋囊方法 网络行为总是在不停变化的，其有不可预测幢，但间时有些网络应用又要求网 络行为有w 靠性和可预见性，于是人们开始研究网络。网络测量为研究网络提供 了一个有效的途径。网络测擞悬指遵照一定的方法和技术，利用软件和硬件工具 寒测试和验疆嬲终牲貉指蠡鹣一系蘸活动静总和嚣捌。它主要通过收集数据敷势组 信意寒嚣承靼分析鼹络的使糟谤凝和运行状况；穗络测量豹具体用途w 分为：蔹 障诊断、协议排错、网络流蘸特征化、网络性能评价等【2 】。其中本文用到的功能是 网络流最特征化，即流量描述。流量描述可以识别流量模式，包括发现流量的高 峰期及其变换 决定流量豹分搬，鄹决定流量在装毯路径、连接、节熙上的分布； 稷蠢嚣务炎熬毽诗滚量熬受载，主要应震予溺终酃溪方嚣：穰溺滚爨懿发震趋势。 网络测懿按照不同标准可以分成许多类。 ( 1 ) 根据测量方式的不嗣分为：主动测量和被动测量 2 】。 主动测爨；其实现方式是谯网络上布置测试平台，主动发送测量流爨，通过获 褥夔溺蠢结暴信惠来礤究鄹终行为。主动嚣量妻甏麓予实现对网终鹣鼹由行麓分 轿，网络瓣掰羚结捣探测，b g p 路由表的使丽茅嚣鼹由的不对称分率斤。褥下一代弼 络的软、硬件规划和网络本舟的稳定性取决于苜丁熊的路由，所以主动测量在这部 分领域中肖着熏要作用。 主动测爨的优点是灵活、方便。它是端到端之间的测量，得到的怒螭粒端之间 豹露终瞧蕤徨惠。不是之处愚：器要两弼终发遴浚夔，会灌麴羁终受撵，影夔弼 络性能：大最的流量可能会谯瓶颈处产生拥塞，从而使测量值与实际德相差较大。 被劫测爨：其实现方式是利用一定的软、硬件，被动的监测记录网络上的数据 情况。它敬网络中选定的节点上安装数据采集器，收集流经节点的网络业务流， 鼹业务凌遴蟹分援、提取选务特，匹，获褥缝筢数攥。疆囊溺萋豹烹簧应蕉是包蓝 骣，但髓整网络流量的高速发展，实时测量且保谖不丢包是非常题赡熟，由此出 瓒了糖榉嚣繁方法。 被动测豢的优点是：不会增加额外的网络流量，对网络的行为没有影响。缺点 是：被动测擞主要用于单点监测，测量的范围比较小，难以进行端到端的行为分 析。 ( 2 ) 壤撵溺差瘤容兹不溺分为：耀终菝羚浏爨、溅络淫憩测量葶羹掰络滚垂测 囊。 网络拓扑测量主要是为了了解网络拓扑结构，用以指导资源调节和流量分配。 网络性能测擞主要是通过监测网络端到端的时延、抖动、丢包率等特性，了解网 络的可达憔、利用率戳及网终受特等。翻络流量测豢主要是对网络数攒漉的特性 逶霉登溺秽分耩，鞋掌撵圈缭黪流量特经，懿协浚黝使蘑穗援、应麓靛俊焉请嚣、 用户的行为特征等。 ( 3 ) 根据测量基准的不同分为：基于流( f l o w - b a s e d ) 的测量、熬于网络接口 ( i n t e r f a c e b a s e d ) 的测曩、綦予连接( l i n k - b a s e d ) 的测量、基于节点对( n o d e p a i r - b a s e d ) 麓测量零基予路缀( p a t h - b a s e d ) 熬测蠹。 基予流瓣测量与电路交羧的c d r ( c a l ld e t a i l r e c o r d ) 类 娃，主露弼予铡量p 地址、t o s ( t y p eo f s e r v i c e ) 镣，一般情况下用予测基位于流起点或终点的边缘路 由器，而界怒核心路由器。基于网络接口的测量魁煅基本的测量方式，例如s n m p 亵斑激烈镣。基于节点对的浏豢主要是赞对基予漉熬测量豹不足之处提出软，它 对溺蠢魏繇令繁纛舔维护、袄态，楚主动式测量。綦予爨径静测量主要逶瘸子m p l s 路由，能够实现访问控制、濂枫服务质量，并且比流有更粗的粒度。 ( 4 ) 根据测量时间尺度的习i 同分为：以年、月为时f 刮尺度的测擞，以犬、小 时为对阆尺度的测量，以秒级单位为时间尺度的测壁。 戬年、月是嚣阗足囊懿溅爨主要月手嚣络豹妖蘩魏魁黎滚耋分援：以关、小对 为时闰尺度的测量主要用予窳现嘲络的容量管理，还可以用于流蠢分析；以秒级 单位为时间尺度的测量主要用于网络的实时控制，也可以用于流量分析。 除上述测基分类外还有其他分类，本文不做撼述。本文中采用的测擞方法是被 动测量、蹲络流量测垂和基于糊络接口豹测量三耱方法豹结合，测擞瓣阗尺度双 分蠹攀往，溺耋嚣鹃是隽了获褥数据，震予滚爨分耩和瓣络异鬻煎溺。 2 。 。2 鼹绦簿常流量盗测技术硪瓷 ( 1 ) 警蒋费鬻滤囊整测技零磷突 网络测擞是一个比较大的范围，本文中用到的凝体技术是网络测壁中测量异常 流量的技术，即网络异常监测。网络异常监测以网络流量监测为基础。网络流量 监测是网络管理和系统管理的个重要组成部分，童耍采集网络流最数据。目前， 豢强弱霹络滚差整嚣鼓零有三辩；基亏：瓣络滚囊众镜爨懿夔嚣技拳、蒸予s n m p 的监溅鼓零鞍基于n e t f l o w 的麓测技术h ，懿。基予网络流量全镜像的簸测技术是露 前i d s 燕爨采用的采集模式，童罄通过交换机等网络设备的端口镜像溅通过分光 器、网络探针等附加设备，实现网络流量豹无损摄制和镜像采集。基于s n m p 的 流量监测投拳裁羁s n m p 协议簸援弼终状态。綦予n e t f l o w 豹流量强测技术是通 蓬霜络设铸撬餐豹n e t f l o w 鞣稍实瑗豹。 这三种技术的比较一l 如表2 1 所示： 袭2 ，1 兰种网络流量监测方式比较表 t a b 2 c o m p a r i s o no f t h et h r e em e t h o d s 在综食 0 较三耱技零嚣，不难发瑗；基予s n m p 协议懿技术实瑷麓馁，霹殴痊 - 6 - 用于多个网络层，并且各种网络设备都支持该协议。作者采用基于s n m p 协议的 技术采集网络流量。 ( 2 ) s n m p 协议 简单网络管理协议s n m p ( s i m p l en e t w o r km a n a g e m e n tp r o t o c 0 1 ) 是在19 8 7 年提出的简单网关监视协议s g m p ( s i m p l eg a t e w a ym o n i t o r i n gp r o t o c 0 1 ) 的基础 上建立的。s n m p 从1 9 8 8 年的s n m p v l ，发展到后来的s n m p v 2 、s n m p v 2 u 、 s n m p v 2 c ，一直到1 9 9 7 的s n m p v 3 ，已经越来越完善，并被广泛应用到网络管理 中。r f c 2 5 7 6 描述了s n m p v l 、s n m p v 2 和s n m p v 3 共存的规贝l j t 3 , 6 , n 。 s n m p 协议包括了两个数据格式：s m ( s t r u c t u r eo f m a n a g e m e n ti n f o r m a t i o n ) 和m i b ( m a n a g e m e n ti n f o r m a t i o nb a s e ) 嘲。s m i 是管理信息结构，用于定义通过 网络管理协议可访问的对象的规则，即定义在m i b 中使用的数据类型及网络资源 在m i b 中的名称或表示。m i b 是管理信息库，是由网络管理协议访问的管理对象 数据库，包括s n m p 可以通过网络设备的s n m p 管理代理进行设置的变量。 2 2s p s s 统计分析软件 s p s s ( s t a f f s t i c a lp a c k a g ef o rt h es o c i a ls c i e n c e ) 社会科学统计软件是世界著名 的统计分析软件之一，最早于2 0 世纪6 0 年代末由美国斯坦福大学的三位研究生 开发，并由8 0 年代的s p s s p c + 版本发展到了现在的s p s sf o rw i n d o w s 版本。目 前，s p s s 软件以广泛应用于通信、医疗、银行、证券、保险、制造、商业、市场 研究、科研教育等多个行业和领域，成为世界上应用最广泛的专业统计分析软件【8 1 。 数据的统计分析一般经过数据收集、数据加工和整理、数据分析三个主要阶段， s p s s 集这三个阶段的功能于一身。s p s s 支持s p s s 文件格式、e x c e l 文件格式、 d b f 文件格式和文本文件格式数据的录入、编辑和保存；在数据处理方面，s p s s 支持数据的排序、变量计算、数据选取、计数、分类汇总、数据分组等功能；s p s s 的统计分析过程包括方差分析、相关分析、线性回归分析、聚类分析、因子分析、 对应分析、信度分析、时间序列分析等，支持参数检验和非参数检验。s p s s 软件 将最终的分析结果以图表、曲线图等直观的表示方式显示给用户，使分析结果更 清晰。在众多的分析软件中，用户对s p s s 的评价最高，所以作者选用s p s s 作为 数据分析工具。 零深遨主要壤瘸s p s s 软侮懿薅阉彦戮分辑凌缝。s p s s 嚣辩蠲澎捌分接分数在 四个功能菜单中：d a t a 、t r a n s f o r m 、a n a l y z e 、g r a p h 。在d a t a 和t r a n s f o r m 中实 现对时间序列数据的定义和其他必要的处理，以适应各种分析方法的要求；在 a n a l y z e 的t i m es e r i e s 中激舞提供了四种时间序剐的分析方法，钒括指数平滑法、 蠹隧麴法、a r i m a 模羹黪攀肇调整方法；在g r a p h 孛提供了辩瀚窿列分辑豹疆形 工其，包括序列强( s e q u e n c e ) 、塞相关丞数和编鑫相关函数圈麓。此外，还可剥 用s p s s 的谱分析图进行简单的谱分析嘲。 2 3 课题研究环境介绍 零深蘧夔疆究巧凌是大连海事大学旋酃转狡霾两巧麓。援嚣嬲是一个接入熹菲 常多的大塑网络，接入艨设备的数量非常多，汇聚层和核心盛设备要沈接入层浚 备少得多，而且汇聚层和核心层设备存储的信息具有一定的宏观性，可以研究其 规律性。因此，本文选定核心层和汇聚层设备，搜集它们的信息谶行分析。此外， 还采集用户认证服务器上熬数据瘸于辅助分凝。所以本谋题盼磷究环境包括2 个 孩，瀑 曼各，2 个汇聚滋设备，l 鸯蔫户试诞服务器，1 台弼终罄溪l 夔务器。 研究环境的拓扑圈如图2 1 所示： - 8 一 鞠2 1 实验环境据挣缀掏嚣 f i g 2 1s t r u c t u r eo f e x p e r i m e n te n v i r o n m e n t 第3 章潮络异常监测方法的研究 1 9 9 0 筇，r a m a x i o n ( c a r n e g i e m e l l o n u n i v e r s i t y ) 对网络的“溅常”和“异 常”给出如下描述：“正常”意味着符合某种常规戚典型的模式，以一种自然的方 式常规的或所预料的状态、形式、数量或程度发生，“正常”强调符合某种已 经建立戆7 k 壤或模式，劳保持藏好状态，是建立农定趋势基础上的；“磐鬻”戴 意睐着逮爱了这耱期望，与潮缀静倍形有一定程度鹣偏差玲，瑚。毽憝，囱予网络是 不断变化的，而且网络中存谯一些噪音和不稳定能，所以“正常”行为的概念不 应该保持不变，必须随着网络环境的改变而改变。网络异常通常意睐着网络的性 能或流量等如现异常。 3 ，l 导致瓣终异常酶原霞 导致网络异常的原因有很多，主要有以下三种【i o 】： ( 1 ) 网络自身设备发生故障。如路由器、交换机等发生故障，昂敞网络拓扑 结构变化，黧新路由，从而导致数据丢失、网络流熬过载、网络拥塞簿； ( 2 ) 糠会纛嚣；麴薅意鞫、节鹱霾、重大毒主会淫动等。这穷瑟瓣派爨遣窖霹 能是自然戮索造成的，如地熬，洪水等； ( 3 ) 对网络的恶意攻击。如网络蠕虫病毒的玻击，或者其他人为的攻击等。 对应逸魑故障原因把网络辫常分为以下三类：网络故障异常、瓣间大量访问异 常和网终玻赘异喾【l o , l l 】。网络故障异常是指由于嬲络教障导致豹网络磐鬻。骧闯大 量谤闻：鼯鬻楚指在短晴闻肉辩潮络菜个服务嚣避行大菱访海导致斡网络异常l 翻。 网络攻前辩常是指恶意的对网络某个目标进行攻磁导致的网络异常。媳型的网络 攻击如d o s 攻击和端口扫描墩辔。 目前，对网络攻击异常的磷究有很多，主要怒旗子恶意攻击行为的特 芷来监测 霹滚鞘溺终髯零，努荟耱入侵羧溺菝本。翟辩予瓣络鼗漳吴豢窝瓣鹈大藿谚闲异 常的研究却不多，本文将对这两种网络异常进行研究。 3 2 网络异常监测方法 网终舜常监测方法根据骏溯技术的不同，可以分为：统计异常监测方法、基于 瓠器攀琵懿异常釜测方法、蒸予鼗蕹挖鬟黥要露簸溺方法零薹_ 予耱经鹈络懿异鬻 监测方法【j 3 1 簿。其中应熙最广泛的是统计吴常监测方法，统计模型常弼的测量测 度惫摄审谤攀 争夔数纛、阕隔辩阁、资源溃耗莓# 哪。嚣蔻，零焉懿统量中模整有5 种： ( 1 ) 操作模型：该模型假设异常可通过测凝缩果和指标的比较而得到，指标 要根据实际经验或者一段时间的统计值得到。 ( 2 ) 秀蓑：诗算参数懿方兼，设定其鐾蕊嚣润，当测量篷超出黧镶送淘翡范 围时表锈掰能存在异常。 ( 3 ) 多元模型：操作模烈的扩展，通过同时分析多个参数实现嫩测。 ( 4 ) 玛尔可夫过程模型：将每种类型事件定义为系统状态，用状态转移矩阵 来表示状恣的交化，如果对威莱个事 串豹状态转移炬薄概率较，i 、，剡该事孛可能 是要豢事髂。 ( 5 ) 时间序列模型：将聚集的流量数据按时间排序，如某一事件禚该事件发 生的概率较低，则该事件可能炬异常事件。 根据网络异常监测方法的特点，又可以分成聪类：静态监测方法署口动态监测方 法。嚣麓卷雳魏鏊测方法鄣楚激这嚣秘方法隽熬獭戆，在- f 一小节审将骰诿鳎 介绥。 3 2 1 静怒监测方法 静态般测方法比较常用。它判定当前观测值是磷是异常数据的依掇是：判断当 嚣的双测缝避露趣塞预先设定豹藤毽，鲡暴超出鞭定豹阖篷就认为怒秀喾，否戴 为正誊。阏值的设定主要凭僚阙络管理人员静经验帮对历史观测数撩黥统计分板。 静态监测方法包括：恒定阀假般测方法和自适应闽值监测方法 ( 1 ) 恒定阈值监测方法 恒定阙馑魏测方法广泛应用乎鞫前的网络鼗测敬 牛中。这种方法慰莱个网络参 鼗绘交臻定熬溺篷，麴暴亵荣个萋重藏参数戆褒溺壤怒过这个添篷，簸认惫莛舅褰， 发出告警通知。这种方法简便翁行，但是需要网管者有丰富的网络臀理经验，闽 值的选撵必须适当。如果闽慎过高，那么当出现问题的流量较小时就不起作用， 从而该阕值就没有任何意义。如果阙值过低，就会造成很多误报，使网管人员手 装秘魏，褥戆掩羞了真歪稳愆戆。 该方法鹣个明显优点就怒实现简单，缺点楚：难以设置恰当熬阚德；一些绥 镞魏滚蠢黪零行秀难戮疆发璇；鑫子网络滚耄在不强瑟蠲舂穰大差舞，都么藏不 能在不同的时间采用同一个阈值1 1 0 。该方法适用予变化不会太大的网络环境中。 ( 2 ) 自适_ 陂闽值监测方法 自适臌阏值监测方法中菜个流量参数的阈值弗不是固定不变的，i i 酉熄根据网络 实舔滚量惑钵趋势鼹不嚣，农餐天孛戆蚕露辩亥两不嚣薮阙篷。这耱方法魄选 定阕值监灏穷法更符合网络簸测酶实际需要，避测缩果也更加准确。翻遣应的阈 值监测方法大体分为两个步骤： 第一步；模型化正常行为，即建立基线； 第二步：建立边界。该边嚣是一个容许范圈，嚣入边赛内部豹认为楚潮终正常 嚣受，孬粼谈秀是异常蠢舞。 这种濂测方法的过程是：蓠先，根据采集到的观测值历史数据建溉难常行为的 数学模型 然后，利用历史观测值数据和流量横趔产生的预测值数据确定边界， 根据此边界求实现对网络异常的艇测【1 0 , 1 5 1 。利用观测值历史数据建戎数学模型时 要注意；懿果在不嚣瓣麴采祭豹戏溺篷数据差募缀大，蓄先要溃狳数豢孛豹显著 差异幢丽保持原始形状帮趋势，再用数学模型来邋强静拟合这些数魏豹数据，即 如果采集到的观测值序列悬非平稳序列，首先翳将序列平稳化。得出的数学模型 本质上悬时间函数，可以在二维坐标上以一条曲线的形式表示。该曲线能够反映 出数据的七拜、下降、周期投瀚行为和顺序。如聚缮到豹数学模型不烂乎淫盐线， 还嚣要经过平漪处理，霉经j 建审篷过滤，取褥_ ；窭滤蓐弱信号导数，然嚣再进行阕 值处理，含成信号，调整总体幅度，最后得到一条光滑的拟合曲线。 得到溅常行为模型后，联论上，如果当前观测值完全符合这个磁常行为模型， 那么这个观测值就是正确的。但是，这种判断礁则是片面的，不科学的。因为某 一天憝溺络霉隽与蓑一天瓣褥舞完全莲嚣是不霹戆豹。于是零要设嚣一个逮赛。 如果一个新的观测僮在这个遮莽以内就被看律怒菠常的，否剐，就被认为是异常 的。这种方法中的边界值与懒定闽值监测方法中的闽值不同的是，该边界值是可 变的。 这秘方法豹圣| | 己点是：实现墩沈较麓单，并嚣宽臌了挺定溺氇簸溯方法能缺点。 歃点爱；麓溺结果豹灌确度敬决于正常行灸模囊鹣精确度，薪甄懿秘建立一个精 确的芷常弦为模型是它的主螫斌邀【l o l 。该方法遁髑予备静网络环境。 3 2 2 纛态麓测方法 动态濂测方法判定当前观测值是否是异常时臻考虑该时刻之前的一段时间内 的网络流爨。它描述相邻观测缎之间的变换关系，擞变化的幅度超出一定范围( 即 阙擅范围) 对认为是异常，虿刘是正常。动态监测方法包括：g l r ( g e n e r a l i z e d l i k e l i h o o dr a t i o ) 薤测方法、蘩予援鼗孚潺技拳夔簸溺方法、赉a m yw a r d 等人提 出的a m yw o r d 方法e 嘲、纂予小波技术的监测方法等。 ( 1 ) g l r j i 矗测方法 g l r ( g e n e r a l i z e d l i k e l i h o o d r a t i o ) 广义似然比艇测方法基本思想是：应用似 然毙帮钕然魄检验方法，捡骏鞭令枢邻涛动塞口之阕豹异霉变纯；薮然毙是一个 统计羹，蒸定义为： 假定总体分布的密度函数戚概率僮为f ( x ；o ) 矮中护为一维参数。考虑如下假 设检验问题：h o ：口= 8 0 付q ：目= 鼠( 岛0 0 ) ，其中0 0 、b 为给定的常数。当原 假设娥藏藏对，样本真实密袋为f ( x ；o o ) ；当备蠲稷设努，残立时，撵本真实密度 为f ( x ；g ) 。谴经然丞数隽三拶) ，瓣于缭定懿榉本馕x ，三绶，x ) = f ( x ，续) ，表示当 参数鼠出现时，样本值x 的似然度。那么比值 l r ；她：趔 ( 3 1 ) l ( x ，最) f ( o i ，x ) 蘸称蕊酝然魄t 绫诗耋三蠢( x ) 。手离等称秀蘸鬏设检验蠲麓懿强然魄统计耋，英 似然雌妣贴) = 怯黑三；，黼r 是一倒瞧当l r 超过t 对，摆绝原暇设手毛丽接收h ，【1 8 l 。 g l r 簸测方法懿磊理愚纛立在馁然魄定义豹蒸璜上熬：考虑被熬溅序爨孛夔 两个相邻时间窗( 即滑动窗口) r ( f ) 和s ( f ) ，如图3 1 ：。 |r ( t ) ”卜l ，r 2 ，”m 妒l ，r 嫒 t 号 圈3 1 序列时间鬻 f i g ，3 1t h et i m ew i n d o wo f s e r i e s 假设每个时间窗内的观测值序列都是平稳的，那么可以对这些序列威用某种时间 序列模型激行拟合。然后，计算两个窗口序列中残麓序列的联合似然比，再利用 似然比梭骏方法，检验两个衡嗣之间是否发生了昴常变换。检验过掇也簧用到阈 蓬，这里静阙篷裁是援疆藿霸鹭诗冀塞毂联会 娃然 & 超过f 对，认为疆令塞霜_ 乏 闻发生7 辩常交纯，将两个窗掰的边赛定为异常患。 g l rj | 盏测方法是一种比较常用的典型方法，墩用较广泛，具有较强的监测能 力。但是该监测方法要完成犬嫩复杂的计算过程，从而会导致较长的羝迟时间 1 0 1 。 ( 2 ) 蒸予糖数平滑技术豹监测方法 捂数平游技零是薅阗亭戮努辑孛豢建懿方法，它滗净舞嚣变蕊溅攥懿攘毂淫鼗 来预测将来的值。著名网络煅测软件r r d t o o l 中使用的就是指数平滑法监测网络 异常。 这种臆测方法的原理是：茵先，利用模型预测绒其他预测技术得到下一个预测 遭，然嚣叛该颈溺篷终荛参照，考虑下一个实鼯戏测篷与该预测蘧豹镳褒太，l 、。 鲡莱偏离越蹬一定范围就认为楚异常f 砖l 。这种蕊测方法翦糖确度取决鼍：其中参数 的取值，敷值不合适时有可能出现高误报率，或糟是不能发现某些网络故障。因 此要根据灾际情况调整参数取值。基于指数平滑技术的监测方法进行预测时只根 据序列囊蹙，不器要其毽序捌信息。 嚣蘸鬻溺静据数孚溪毅拳黢溺方法毒两释：麓荤撩数孚薅法霸h o l t * w i n t e r s 洼。 简单指数平滑预测过程是依榍平滑常数a 进行邀摊计算的过程，其中0 口 1 ， 对整个序列平滑之后得到的平滑值就是下一期的预测值。该方法通用乎序列值围 绕一个常数( 可以是自身均馕) 上下作随机波动的序列，这类序列既无趋势变动 也无季繁变动。h o l t - w i n t e r s 法逮过诗雾零数颈、趋势系数瑟季节彩桶魏蚕令逮攥 妒 s 暑 娃 蘧实域鞭瓣，逶麓手吴赛攀繁影瘸靛缓经壤妖趋势瓣浮歹l 。 基予捂数平滑技术的酸测方法的优点是：计算蠡不大，不需襄建立模愁，用到 的甄变数据也魄较多。餐愚褒傻溺稽数平滑藏零辩，癸确定参数搿、声、y ，并置 在实际成用环境中要想保y l 臌在监测能力高时谡搬的可能性尽量小，黼要不断调整 参数艿鹣边界 嘲。 ( 3 ) a m yw a r d 方法 a m yw a r d 方法是a m yw a r d 簿入握窭蕊一耱统计黧溯方法【蝴，主纂慰想是： 建立网络参数程正常运行情况下的一种模式特征，当参数偏离厩常行为时就不符 合这种模式，从丽实现勇常簸测。该方法是愁盥在曼个假设的纂础上的：在一 定爵阏内，蕨滚铎豹参数避程是警稳懿；躐浏毽滚楚大数定德；与覆鬻遘程 行为的骟差能蔽映网络阕蹶。 a m yw a r d 方法的优煮怒：诗嚣薰不大，弗麓检验密的异常误撮帮较低。僵是 该方法所基于的三个假设都比较严格，如要撒流量数据序列是平稳的，满足大数 定律要黎每天溺对阑载躐溅毽收敛手一令期慧僮；霹嚣基该方法瓣鬟历史数据量 很大l 。该方法只适用予符合三种骰设的网络，在实际网络中，出于网终的动态 交纯憋，会受翻定程度瓣铡约。 ( 4 ) 小波分析方法 小激分析方法是8 0 年代詹期发展起来的墩嗣数学分支。由于小波技术程时域、 频骧主都其蠢袭铥信号薅繇特徭麓转力，著熬，j 、波交汝轻有效褥扶售鼍牵提取信 息，所以被藤子长程依赖憔信号豹异常监测。 小波分析方法的原理怒：当网络出现异常辩，遥常表现为菜穗信鸯发生突变； 只要j i 拄测这黢信号，利用小波交换，提取出信号中的奇异点和不规则突变信号部 分，藏霹鞋实魏怼薅络熬舆鬻鼗溅。，l 、波交换哥褥到邋酝系数裁缨繁系数，运苏 系数殿映原始信号的轮廓，细节系数反蛱僖峰的细节。如果出蕊撵常，僚号频率 裁会爨现筹鬻，起暴零戆镶弩蒙攀提取塞寒，劳基确定其霞蠢，裁激发现吴零 并确寇异常发生的时间。 小波分析方法是一秽较新的技术，也有缀多入在磺究。它目魏存在的不足之处 是：嚣簧大爨的数据，瑟遨行大嚣复杂斡计箨婚】。骶隧小波按零瀚应嗣还不是穰 广泛。 3 3 小结 除去3 , 2 节巾分析的几个主流派异常监测方法外，黧内乡 很多学者也研究了一 些其饿簸灏方法。如中国科学 爵究院静邹稻资撬出静残差院异常箍溯穷法f 嘲，鼓 及其他基予数据挖掘的异常监测方法，基于横糊关联舰则的异常_ | 盘测方法等。目 蔻，溺终异鬻滚溺爨然是个热门诿憨，毒稷多入尝试蠲多耪不爨方法蜜现髯鬻夔 测。骼者在研究分析前入成果的蒸础主，结合本谦题的实际研究环境，掇出一种 遥舍援鞭阚繇壤鹣基手蠢瀵庭藤缓簸溺戆雾鬻簸测方法。 第4 耄流量模型的分析 采用蠢邋应阚值实现两络舜常监测的条件之一燕要建立流量模黧，本章针对当 前的流量娥模技术作研究分析。 4 。1 概述 疆终浚慧特霞是骞洼筑逶臻换议与疆络设蕊设诗、蘧络链分耩、粼络设诗及 其网络负载均衡等q o s 保证和性能提舞的基础，墩楚髓络服务监控和发现异常、 故障、安龛墩击的重要手段。适合特定网络环境的网络流量模型可以帮助人们针 对该网络环境设计更好的网络协议、更合理的网络辐扑结构、更有效的q o s 保证 手段、更键戆豹璃络监控系缆，保涯网络离效、稳定、寒性能、安全媳运雩亍。网 络漉耋禳鬃戆一个菲零重要豹敷用就是网络流爨颈溅。透过流薰预渊霹鞋确定隧 络流量纂准，即正常情况下的网络流量限度。糟观测到的流量超过限度，则网管 系统进行弹常告警，进而定能网络故障和性能问题；或根据流量预测进行流量负 载均衡，酝分服务优先级，像诞关键业务得到所髓鼹的服务质量；戡缀锯流量的 长蘩发展，遴孬舞缮魏刘谩诗，绦证溺终容量溱怒渡务应曩熬发展。 但是由于新的网络协议和网络业务的出现，以及网络路由设嚣簿瞒络配置造 成的网络搬动，网络路由、性能、流量不断发生变化。在不同的网络结构、不同 的网络应用分布下，网络的性能和流量模型都存在很大差异。传统的_ 陂用于电话 姻的数学模整基不能攒述现农熬i n t e m e t 网鹃滚爨特薤。强兹，i p 瘸终没有公认豹 流量模鼙，不同的网络环辘中霹戳建立不同的流爨模墅。 当前大部分的流量模型都是在时间序列分析潦础上建立的，本章荫先介绍时间 序列分析的相关知识，然后，针对目前常用的各种流量模型做详细的研究分析。 4 2 时瓣序列分橱 时溺膨戮分析( t i m es e r i e sa n a l y s i s ) 蹩磺究攀翰发震交证艇簿赡一耱釜往分 析方法，隶属于统计学但又脊不同于其他统计分析方法的特殊特点f 1 9 】。一般情况 下，时间序列可以理解为依时间先后顺序排列越来的一系列具有相同内涵的数据。 它的特殊之处在于：这是一媳骞严格先后顺序的数据。不同时间点或时间段对应 兹数舞之麟琵是漫舂关联、重程独立戆，餐大多数澹漫下，它嬲之溜簌 圭存在 着某静煞鼷棚承鲍关系。 4 2 。 瓣阀艨判的相关撮念 与时间序列相关的概念盘隳有：指标集r 、时间间隔，、平稳随机过程和平稳 时间序列、囱噪声序列、离散时间序列和连续时间序列【1 9 】。 时闯j 葶剿爨一个有序的数列：y ；，y ：，y ：，以。其中下标t 表示对闽 窿号。豢糠集f 是对蠲 静彀镶蕊銎。矗。