已阅读5页,还剩66页未读, 继续免费阅读
(计算机软件与理论专业论文)基于数据挖掘的网络示警系统的研究与设计.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
基于数据挖掘的网络示警系统的研究与设计 摘要 中文摘要 故障诊断与定位是现代网络管理的核心,当网络发生故障时,需要及时找到 网络发生故障的位置和故障原因,以便快速地排除故障,恢复网络功能。在现代 网络中,由于网络告警分为不同的级别,并且不同q o s 要求业务对告警处理的程 度也不同。告警相关性分析在网络的故障管理中占据了重要的地位,数据挖掘为 告警相关性分析获取提供了新途径。 本文重点研究了数据挖掘在网络告警中的应用,主要是应用了加权关联规则 的数据挖掘方法,包括告警预处理过程、加权关联规则的数据算法、规则的后处 理、网络告警的数据挖掘系统的仿真验证。首先采用了用时间窗口及滑动步长思 想解决告警时间同步问题,是将同一时间窗口内的告警看作了一个整体的告警事 务,提取告警中反映网络故障的告警字段组成告警的事务项,并采用告警压缩的 方法删除了冗余告警,从而实现了专家系统来进行告警的预处理。 在已有加权关联规则挖掘算法的基础上,针对网络的告警信息量大、告警具 有突发性的特点,提出一种基于频繁模式树的加权关联规则挖掘算法一w f p t a 算 法。算法的优点是不需要重复多次地遍历数据库,无需递归进行条件频繁模式树 的构建。算法的性能测试结果表明:该算法在运行的效率及占用内存空间上与 m i n w a l ( o ) 算法相比都有了很大的改善。 最后,本文在冗余规则、结构化规则涵盖集的基础上,提出一种定量化规则 后处理算法。算法能够有效的删除在一定条件下的有冗余、信息重复的规则。 基于数据挖掘的网络告警挖掘系统的仿真验证表明,该系统能够有效快速地 挖掘出反映一定网络故障的告警关联规则,并形式简洁、信息完备的告警规则呈 现给用户,对网络告警相关性分析及网络故障的诊断定位有一定的意义和实用价 值 关键词:网络管理,数据挖掘,加权关联,频繁模式树 基于数据挖掘的同络示警系统的研究与设计 a b s tr a c t f a u l td i a g n o s i sa n dl o c a l i z a t i o ni st h ev i t a lc o r eo ft h en e t w o r k m a n a g e m e n t w h e nt h ef a u l t st a k ep l a c ei nt h en e t w o r k s ,i ti sn e c e s s a r y t of i n dt h el o c a t i o n sa n dt h ec a u s a t i o n so ft h ef a u l t si nt i m ei no r d e r t og e tr i do ft h ef a u l t sa n dr e c o v e rt h en e t w o r k s f u n c t i o nr a p i d l y i n m o d e r nn e t w o r k s ,s o m eo ft h ea l a r m sa t t r i b u t e sh a sd i f f e r e n tl e v e l s , a n ds e r v i c e sw i t hd i f f e r e n tq o sr e q u e s t sn e e dd i f f e r e n tt r e a t m e n to f a l a r m s t h ea l a r mc o r r e l a t i o na n a l y s i s ,a ni m p o r t a n ta p p r o a c ho ff a u i t d i a g n o s i s ,p l a y sac r u c i a lr o l ei nn e t w o r kf a u l tm a n a g e m e n t d a t am i n i n g p r o v i d e san e wa p p r o a c ho ft h ek n o w l e d g eu p d a t ed u r i n gt h ea l a r m c o r r e l a t i o na n a l y z i n g w i t ht h eb a c k g r o u n do f t h ep r o j e c t t h ea l a r mc o r r e l a t i o n c o m m u n i c a t i o nn e t w o r k sb a s e do nd a t am i n i n g ,t h i st h e s i sf o c u s e do nm i n i n g w e i g h t e da l a r ma s s o c i a t i o nr u l e si nn e t w o r k s ,i n c l u d i n gt h ea l a r m s p r e t r e a t m e n t ,m i n i n gw e i g h t e d a s s o c i a t i o n r u l e s ,t h e r u l e s p o s t t r e a t m e n ta n dt h es i m u l a t i o na n dv a l i d a t i o no ft h es y s t e mo fm i n i n g w e i g h t e da l a r ma s s o c i a t i o nr u l e si nn e t w o r k s t h ea l a r m sp r e t r e a t m e n t w a sc a r r i e do u tb ye x p e r ts y s t e mt h ep r o b l e mo fa l a r m ss y n c h r o n i z a t i o n w a ss e t t l e db ys e t t i n gt i m ew i n d o wa n ds l i pl e n g t h t h ea l a r m si nt h es 鲫e t i m ew i n d o w sw e r er e g a r d e da saa l a r mt r a n s a c t i o n t h ea t t r i b u t e so ft h e a l a r mt h a tr e f l e c tt h ef a u l t sw e r ep i c k e do u tt of o r mai t e mo faa l a r m t r a n s a c t i o n t h er e d u n d a n ta l a r m sw e r eg o tr i do fb ya l a r mc o m p r e s s i n g t h ea n a l y t i ch i e r a r c h yp r o c e s sw a sa p p l i e dt od e c i d i n gt h ew e i g h to ft h e a l a mt h es i m u l a t i o nr e s u l ti n d i c a t e st h a tt h ew e i g h td e c i d e db yt h i s m e t h o dc a nr e f l e c tt h eu s e r s c o n c e n t r a ti o no nd i f f e r e n ta l a r m sa n dt h e d y n a m i cc h a n g eo ft h en e t w o r k s b a s e do nt h ee x i s t e n ta l g o r i t h m so fm i n i n g w e i g h t e da s s o c i a t i o nr u l e , a i m e da tt h en e t w o r k s c h a r a c t e r st h a ta r eh a v i n ga m o u n to fa l a r m st h a t c a nb u r s to u tr a n d o m l y ,ap a t t e r nt r e eb a s e da l g o r i t h m - w f p t ao fm i n i n g w e i g h t e da l a r ma s s o c i a t i o nr u l e sw a sc o n s t r u c t e d t h eb i ga d v a n t a g eo f t h ew f p t aa l g o r i t h l ni si ti su n n e c e s s a r yt ot r a v e r s et h ed a t a b a s e r e p e a t e d l ya n dt oc o n s t r u c tt h ec o n d i t i o n a lp a t t e r nt r e er e c u r s i v e l y t h e 基于致据挖掘的网络示警系统的研究与设计 a b s t r a c l p e r f o r m a n c et e s to ft h ea l g o r i t h mi n d i c a t e st h a tc o m p a r e dw i t hm i n w a l ( o ) , t h i sa l g o r i t h mi si m p r o v e di nb o t ht h ee x e c u t i v et i m ea n dt h eu s e dm e m o r y b a s e do nt h ec o n c e p to fr e d u n d a n tr u l e sa n ds t r u c t u r a lr u l ec o v e r , aq u a n t i f i c a t i o n a la l g o r i t h mo fr u l ep o s t t r e a t m e n tw a sc o n s t r u c t e d , w h i c hc a nd e l e t et h ew h o l er e d u n d a n ta n dr e p e a t e dr u l ee f f e c t i v e l yb yt h e m i n i m u mc o n f i d e n c ei n c r e m e n tt h r e s h o l dp r o v i d e db yt h eu s e r t h es i m u l a t i o na n dv a l i d a t i o no ft h es y s t e mo fm i n i n gw e i g h t e da l a r m a s s o c i a t i o nr u l e si nn e t w o r k si n d i c a t e st h a ti tc a nf i n do u te f f e c t i v e a l a r mr u l e sw h i c hr e f l e c tt h ef a u l t si nn e t w o r k sr a p i d l y i ti sa l s o v a l i d a t e dt h a tt h es y s t e mw h i c hp r o v i d e st h eu s e rt h ec o m p a c ta l a r mr u l e s w i t hc o m p l e t ei n f o r m a t i o ni sv a l u a b l ea n du s e f u lt ot h ea l a r mc o r r e l a t i o n a n a l y s i sa n df a u l td i a g n o s i sa n dl o c a l i z a t i o ni nn e t w o r k s k e y w o r d s :n e t w o r km a n a g e m e n t ,d a t am i n i n g ,a n a l y t i ch i e r a r c h yp r o c e s s ,f r e q u e n t p a t t e r nt r e e i ) ( , 基于数据挖掘的同络示警系统的研究与设计图目录 图目录 图2 1 告警管理功能结构图8 图2 - 2 基于因果关系模型的告警相关性分析1 0 图2 - 3 数据挖掘的基本流程和主要步骤1 3 图3 - lf p - t r e e 构建过程示倒2 6 图3 2 具有9 个网络结点的网络拓扑图3 5 图3 - 3 运行时间随加权支持度变化的情况3 6 图3 - 4 算法时闻可伸缩性比较( 最小加权支持度0 2 5 ) 3 6 图3 - 5 算法空间可伸缩性比较( 最小加权支持度0 2 5 ) 3 7 图4 - i 基于数据挖掘的告警相关性分析系统总体结构3 8 图4 2 加权关联规则挖掘系统结构3 9 图4 3 专家系统的基本结构4 0 图4 - 4 告警预处理专家系统功能结构图4 2 图4 - 5 窗口宽度为5 ,滑动步长为2 的告警滑动时间窗口例子4 3 图4 6 分类规则存储结构4 8 图5 一l 告警关联规则挖掘系统界面图5 4 图5 - 2 网络告警模拟产生流程5 5 图5 3 模拟告警信息5 6 图5 4 告警事务数据库5 6 图5 5 层次分析法确定告警权值5 7 图5 - 6 告警加权频繁项集和关联规则5 7 图5 7 经规则后处理得到的加权关联规则5 8 基于数据挖掘韵喇络示警系统的研究与设计表目录 表目录 表2 - l 几个告警实例6 表3 一l 告警事务数据库1 8 表3 2 告警事务项权值表。1 8 表3 - 3 算法中的符号含义2 0 表4 - i 一个时问窗口内的告警数据4 5 表4 2 一个告警事务4 5 表5 - 1 告警信息表结构5 1 基于数据挖掘的网络示警系统的研究与设计 主要教学符号 d , 0 互 主要数学符号表 事务数据库,由多个事务构成 事务数据库中所有项的集合 ,中的元素称为项 一个事务 j 的支持计数即在数据库中出现的次数 j 的支持度即在数据库中出现的概率 最小支持度 最小置信度 时间窗口大小 时间窗口起始时间 时间窗口中i l = 时间 滑动步长 判断矩阵中垦相对于q 的重要程度 项目自身的重要程度 判断矩阵的最大特征根 偏差一致性指标 一致性比例 平均随机一致性指标 告警项集权值集合 v 删 i : t 蔷: 州 一 峨 眦 矿 乞 。 妣 k “ 纰 肚 w 基于数据挖掘的同络示警系统的研究与设计主要数学符号 叶 w s u p p o r t c o u n t 伍) 告警项的权值 加权支持计数 加权支持度 最小加权支持度 矿项集r 的p 支持期望 矿项集j ,的所有卜支持期望的最小值 两条规则的置信度差值 结构化嫂则涵盖集 最小置信度增量阙值 v 1 靴 甜 a k 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 了特别加以标注和致谢的地方外,不包含其他人或其它机构已经发表或撰写过的 研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作了明确的声明 并表示了谢意。 作者签名:三犯日期:2 受江。 论文使用授权声明 本人完全了解复旦大学有关保留、使用学位论文的规定,即:学校有权保留 送交论文的复印件,允许论文被查阅和借阅;学校可以公布论文的全部或部分内 容,可以采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵守此 规定。 作者签名:导师签名: 日期: 基于数据挖掘的网络示警系统的研究与设计第一章绪论 1 1 研究背景和意义 第一章绪论 近2 0 年来,网络技术的发展速度是惊人的,发展特点是网络规模不断扩大、 功能复杂性不断增加、异构型的网络逐渐融合,这种趋势给网络管理带来了前所 未有的挑战。在网络的运营管理和维护中,当网络出现故障时,常常要求必须在 最短的时间内,正确地判断出网络故障所在的位置、故障的类型和引起故障的原 因,以便及时对故障进行修复。告警出现的突然性和不可预测性很强,致使准确、 及时地分离和定位告警产生的根源很重要也非常困难。 在实际的网络中。一个故障的产生往往会引发起多个告警事件。而且,随着 网络的复杂性和应用水平的不断提高,告警的种类和数量会越来越多。为了找出 告警中有价值的信息,以便准确的进行网络故障定位和诊断,需要对大量的告警 信息进行相关性分析,即通过屏蔽不必要的或者不相关的告警,减少告警干扰, 快速进行网络的故障诊断和定位。这些工作过去通常是凭借管理人员长期积累的 经验和相关知识来解决的,但由于构成网络的网元设备、网络业务、甚至网络结 构都处在不断地变化中,告警发生的模式以及告警之间的关联性也会相应地变 化,这就给网络管理人员建立告警相关性模型带来了极大的难度。在这种情况下, 利用数据挖掘技术可以有效地解决这个问题。 数据挖掘是从大量的、不完全的、有噪声的、随机的数据中提取隐含在其中 的、人们事先不知道的但又是有用信息和知识的过程。网络管理理应是数据挖掘 的一个非常重要的应用领域。数据挖掘可以对网络中产生的大量动态数据进行分 析和研究,挖掘出其中隐含的知识并应用于网络管理中。在对大量告警信息进行 告警相关性分析时,不管网络结构、设备怎样发生变化,从告警序列中挖掘到的 知识都可以较为准确地反映当前网络的故障情况。根据这些从告警序列中挖掘到 的知识,为网络告警信息的分析提供一个可行的解决方案。结合网络管理员、网 络专家的经验,将分析结果应用到告警相关性分析系统中,以实现网络的故障识 别和预测重大网络故障。 本文对网络告警相关性分析中的加权关联规则挖掘进行了深入的研究。目前 在告警相关性分析的研究中,大部分都是将告警信息之间看作是平等的。但实际 上不同网络使用者所关心的网络性能不同,重点关注的告警属性也有所不同。因 此,对告警各个属性根据网络使用者关心的不同赋以不同的权值,挖掘出来的规 第1 页共6 3 页 基于数据挖掘的网络示警系统的研究与设计第一章绪论 则更能体现网络的特性,更快速准确的找到故障所在。加权关联规则挖掘应用到 网络告警相关性分析系统中,是数据挖掘的一个新应用领域。所以,本文的研究 不仅具有一定的科学前瞻性和挑战性,还具有十分重要的实际应用价值。 1 2 国内外研究现状和发展趋势 故障诊断与定位是网络管理的核心,当网络发生故障时,要求及时找到网络 发生故障的位置和故障原因,以便快速的排除网络故障,恢复网络功能。告警相 关性分析是网络故障诊断的重要手段之一。由于网络故障管理的重要性,告警相 关性分析技术一直是网络管理领域的研究热点。国内外各研究机构和高等院校都 投入了大量的人力和物力开展研究,并取得了一系列的具有应用价值的成果 嘲州州5 儿町7 埘嘲町1 ,许多成果己转化成产品如文献 1 2 中提到的h p 公司的 e v e n tc o r r e l a t i o ns e r v i c e s ,i 阴公司的n e t f a c t 等等。告警相关性分析的作 用在于消除告警冗余,进一步找到故障根源以便进行故障的快速定位和排除。告 警相关性分析采用的方法很多,主要分为三类:基于规则的、基于案例的和基于 模型的。 数据挖掘为告警相关性分析提供了新的途径,从告警数据库中可以挖掘出蕴 含在大量告警中的关联规则,利用这些规则对原始告警信息进行告警过滤和相关 性分析。h e i k k im a n n i l a 等人开发的t a s a 系统嘲0 1 是近年来告警相关性分析研 究中取得的一系列成果的代表,在该系统中提出了告警频繁情节的核心算法 w i n p e i 算法“”。关联规则挖掘的核心是快速、高效的挖掘算法,这些算法中最 具代表性的是r a g r a w a l 等人提出的a p r i o r i 算法“”和j i a w e ih a n 等人提出的 f p - g r o w t h 算法“”以及在这两类算法基础上的改进算法“叭啪”。 对加权关联规则挖掘算法的研究国内外已有了很多成果“”胁1 。加权关联规 则挖掘算法总结起来主要分为两类:一类以a p r i o r i 算法思想为基础洲乜1 ;一类 以f p - g r o w t h 算法思想为基础。对前一类算法的研究国内外都做了大量的工 作,具有代表性的是香港中文大学的c h c a i 等人提出的m i n w a l ( o ) 算法。“。这 类算法的一个共同缺点就是需要多次的扫描数据库,严重的影响了算法的挖掘速 度。对后一类算法的研究成果尽管还很少,但是这类算法的缺点是当条件模式树 “”( c o n d i t i o n a lp a t t e r nt r e e ) 的深度很深或者是最小支持度计数很小时,递归 的产生条件模式树将耗费很大的内存资源,阻碍了算法挖掘速度的提高。 国内外许多电信行业公司在自己的电信商业智能解决方案中,都提到了把数 据挖掘技术应用于其中,并把数据挖掘应用到网络故障管理。利用数据挖掘来发 现告警数据中隐藏和蕴含的知识,是网络告警相关性分析的新方法,也是数据挖 第2 页共6 3 页 基于数据挖掘的网络示警系统的研究与设计 第一章绪论 掘的新应用。目前,国内总体尚处于理论探讨、应用试验阶段,还没有完全成熟 商用的产品成规模地投入使用。 1 3 本文主要内容 本文对网络告警相关性分析系统中告警加权关联规则的挖掘进行了研究,通 过对告警信息进行加权关联规则挖掘,提取蕴含在告警信息中的规则,利用这些 规则对告警进行过滤、压缩等相关性分析处理,达到准备定位故障根源的目的。 本文的研究内容包括以下几个方面; ( 1 ) 研究设计了告警加权关联规则挖掘算法。针对网络告警数量大、告警具 有突发性等特点,提出了一种高效的基于频繁模式树的告警加权关联规 则挖掘算法。 ( 2 ) 研究设计了告警预处理专家系统。预处理专家系统主要解决告警信息不 完整、信息冗余、时间不同步等问题。告警数据库经过专家系统的预处 理转换成适合进行关联规则挖掘的告警事务数据库( 又叫告警交易数据 库) 。 ( 3 ) 研究了告警加权关联规则的后处理方法,并对网络告警关联规则挖掘系 统进行了仿真验证。 1 4 本文章节安排 本文首先介绍了网络管理、数据挖掘和关联规则挖掘在网络管理中的应用。 接着研究设计了网络告警关联规则挖掘系统,包括告警预处理专家系统的研究设 计、告警加权关联规则挖掘算法的研究和规则后处理算法的研究。最后对网络告 警关联规则挖掘系统进行了仿真验证。全文分为六章,具体安排如下: 第一章,概述了网络告警加权关联规则挖掘的研究背景和意义,指出了国内 外的研究现状和发展趋势。 第二章,介绍了网络管理和告警相关性分析,指出了数据挖掘技术尤其是关 联规则挖掘技术在网络管理应用中的必要性和可行性。 第三章,研究了加权关联规则挖掘算法并进行了改进,通过加权关联规则挖 掘算法性能测试验证了其在性能上的提高。 第四章,设计了网络告警关联规则挖掘系统。研究内容包括:告警预处理专 第3 页共6 3 页 基于数据挖掘的网络示警系统的研究与设计第一章绪论 家系统的研究与设计、告警加权机制的研究、告警的研究与改进以及关联规则后 处理的研究。 第五章,实现网络告警关联规则挖掘系统的测试、仿真和验证。 第六章,对全文的工作进行了总结,并对本研究课题未来的发展趋势和方向 做进一步展望。 第4 页共6 3 页 基于数据挖掘的嗣络示警系统的研究与设计第二章同络告警相关性分析与数据挖掘 第二章网络告警相关性分析与数据挖掘 2 1 概述 网络管理是指对网络的运行状态进行监测和控制,使其能够有效、可靠、安 全、经济地提供服务。网络管理包含两个任务,一是对网络的运行状态进行监测, 二是对网络的运行状态进行控制。网络管理具体说就是网络的监测和控制,目的 是使网络中的各种资源得到更加高效的利用,当网络出现故障时,能及时做出报 告和处理,并协调、保持网络的高效运行等。根据i s o 的定义网络管理主要有以 下五大功能:故障管理、配置管理、性能管理、计费管理、安全管理。 2 1 1 网络管理的重要性 网络管理在网络的同常运营、维护中起着举足轻重的作用,随着网络技术的 高速发展,网络管理的重要性越来越突出。第一,网络设备的复杂化时网络管理 变得复杂。网络设备复杂有两个含义,一是功能复杂,二是生产厂商多,产品规 格不统一。这种复杂性使得网络管理无法用传统的手工方式完成,必须采用先进 有效的手段。第二,网络的经济效益越来越依赖网络的有效管理。没有一个有力 的网络管理系统作为支撑,就难以在网络运营中有效地疏通业务量,提高接通率, 避免诸如拥塞、故障等问题。使网络经营者在经济上受到损失,给用户带来麻烦。 第三,先进可靠的网络管理也是用户所要求的。人们对网络的依赖越来越强,普 通人通过网络打电话、发传真、发e - m a i l ,企业通过网络发布产品信息,获取 商业情报,甚至组建企业专用网。在这种情况下,用户不能容忍网络的故障,同 时也要求网络有很高的安全性。使得通话内容不被泄漏、数据不被破坏、专用网 不被入侵、电子商务能够安全可靠地进行。 故障管理作为网络管理的基本功能之一,是网络日常维护的基础,在网络的 正常运行中扮演着重要的角色。当网络发生故障时,会引发一系列告警,但并不 是所有的告警都表明故障的根源,需要对网络中的告警进行相关性分析,确定产 生故障的根本原因。因此,告警管理是故障管理的重要部分。 2 1 2 告警管理 在网络管理领域,故障( f a u l t ) 是使被管理网络及部件不能提供正常服务的 硬件或软件上的紊乱。告警( m a r m ) 是由厂商定义的采用约定的格式,从网络设 备上的代理出发,被网络管理员观察到的故障的外在表现形式。故障是产生告警 第5 页共6 3 页 基于数据挖掘的网络示警系统的研究与设计第二章网络告警相关性分析与数据挖掘 事件的原因。告警是在特定事件发生时被管对象发出的通报构成的一种事件报 告,用于传递告警信息。告警是一个系统发出的短消息,表示其发出了某些事情 或异常。告警只是表示可能有故障发生,但并不一定有故障发生。资源的被管对 象可以发出告警事件作为对系统当前发生异常的响应。 告警事件包含被管对象状态异常的信息,按照i t u t 的x 7 3 3 标准的建议, 一个告警消息通常包含以下信息:设备名称、设备类型、设备地址、端口类型、 告警级别、告警类型、告警状态、告警时间等,如表2 - 1 是几个告警的实例。不 幸的是,告警通常并不明显包含网络中故障和问题根源的确切位置信息,当网络 中出现故障时,会引发一系列告警,但并不是所有告警都表明故障原因,这就需 要通过分析网络产生的所有告警来判断故障的根本原因。需要注意的是,告警仅 仅是反应网络状况发生改变的征兆,这就是说,通常是故障产生了告警,一个故 障可能是另一个故障的根源,但一个告警绝对不会产生出其他告警。 表2 - 1 几个告警实例 设备名称设备类型 设备地址 端口类型 告警级别告警类型告警状态告警时间 2 0 0 3 0 6 0 1 o z j y 7 9 i s m 4 r d it p 2 8c e p t lw a r n i n gp f c r 蹦 p r c 唧j c e d 0 0 1 0 2 8 0 f i m m2 0 0 3 0 6 0 1 o z l l x 8 4 i s m 4 r d ir p l 1 5c e 町1c r i t i c _ lc o 姗 d0 0 1 0 3 0 c o n f i m 皿2 0 0 3 0 6 0 1 o z j r 7 0 i s m 4 r d it p 2 8c e p t l m a j o r e v r i m d0 0 4 0 5 5 2 0 0 3 0 6 0 1 q z l x 8 4 i s 姒r d it p l 1 5c e p l lm i n o rp f c r e mc l e a r e d 0 0 4 0 5 7 告警管理以通知和告警的形式反映并记录系统中的软硬件故障及重要事件 的发生情况,同时提供对告警通知管理定制的手段,如过滤、确认、清除和查询 等,此外告警管理还提供基本的对设备进行操作的入机命令,如复位、倒换等。 告警管理的核心功能是保证系统中发生的故障和重要事件以告警和通知的形式 及时准确地显示给用户,以便定位和解决故障。告警和通知消息中都带有告警码, 告警码时根据可能地故障预先定义的代表特定告警的整数值。 当告警源探测到某故障发生时构造一条包含特定告警码的告警消息发送到 告警管理前台,再经过告警服务器广播给告警客户端。同样当告警源探测到故障 条件消失时,会构造一条包含相应告警码的清除消息发送到后台。这是告警从产 生到上报再到清除的典型过程和处理。告警管理功能结构如图2 - 1 所示。出于告 警管理和定制的需要,告警再告警服务器要经过一系列的处理,所依据的准则被 第6 页共6 3 页 基于数据挖掘的网络示警系统的研究与设计第二章网络告警相关性分析与数据挖掘 称之为告警规则,归纳为告警过滤、确认、抑制、归并等规则。告警客户端提供 规则定制、修改、删除的用户界面,告警规则保存在服务器数据库且在运行时加 载。手工清除或自然清除的告警称为历史告警,历史告警被保存在数据库中。告 警管理具有以下几个重要的功能: 告警和通知查看:告警客户端允许以不同形式和信息详细程度呈现系统 中存在的告警和通知信息;声音提醒功能可以提示整个系统中存在的最 高级别的告警;通过拓扑树和拓扑图节点的不同图标及图标颜色判断该 节点( 包括子节点) 的最高级别的告警;查看拓扑树或者拓扑图上节点的 提示信息,则可以了解该节点的每一级剐的告警计数和未确认告警计 数;还可以查看每一个节点当前告警和通知的详细信息。这种逐层深入 的信息查看方式符合用户获取信息的习惯。 规则定制:当告警服务器收到告警和通知消息的时候,可以根据事先定 制的规则来决定对该消息的处理方式,例如告警过滤规则可以使满足条 件的告警不发送到客户端或当告警恢复的时候,不存到数据库中。客户 端的规则定制功能可以方便地查看、修改、删除服务器上的规则,也可 以创建新的规则提交到服务器。所有规则只对规则创建之后新产生地告 警和通知消息才起作用。 查询统计功能:目前提供地查询功能包括:历史告警数据查询、历史通 知数据查询、活动告警数据查询、派工单数据查询、历史告警数据统计 查询等。 知识库管理:知识库分为告警码、原因码和通知码三个部分,可以分别 查看告警码对应的告警级别、网元类型、网元告警码、告警类型、告警 内容、系统解决建议、用户解决建议;查看原因码对应的原因码内容; 查看通知码对应的通知内容。 第7 页共6 3 页 基于数据挖掘的网络示警系统的研究与设计第二章网络告警相关性分析与数据挖掘 历史通知查询 2 2 告警相关性分析 修改 删除 信毕看翥是驾: 峭玛蛸 图2 - 1 告警管理功能结构图 告警相关性分析是用于管理大量事件消息的首选技术。通过过滤掉不必要的 或者不相关的告警,可以减少呈现给网管操作人员的信息,同样,通过相关性分 析,能够增加信息的语义内容,从而有助于判断内部问题或者事件根源。如果能 够实现告警相关性分析,则提高潜在收益,因为故障可以被更快地诊断和定位, 从而可以更快地恢复业务。 告警相关性分析是指对告警进行合并和转化,将多个告警合并成一条具有更 多信息量的告警,这样可以通过发送一条告警来替代多条告警。对于告警相关性 的知识,从原则上讲可以从设备涉及人员或者由丰富操作经验的工程师获得,但 这个过程相当繁琐,而且单从工程师那里获取告警相关性知识,已无法满足网络 维护的需要,因此迫切需要新的方法分析网络中的告警相关性,辅助网络管理员 查明产生故障的原因。因此,告警相关性分析是目前网络管理领域的一个热点问 题。 2 2 1 告警相关性分析定义 告警相关性分析可以被定义为:针对多个告警的分析解释,从而提高了一个 数量缩减后的告警集合的语义信息内容。告警相关性分析是指对告警进行合并和 转化,将多个告警合并成一条具有更多信息量的告警,确定能反应故障根本原因 的告警,从而准确定位故障。告警相关性可以用于对产生多个告警进行解释。对 告警相关性分析的形式化定义是:告警事件a 与告警事件集合相关h ,a :,啄 。 表示为a 一- a l ,吒,a k 。告警相关性分析可以用于网络故障定位和告警过滤 第8 页共6 3 页 基于数据挖掘的网络示警系统的研究与设计第二章网络告警相关性分析与数据挖掘 故障处理过程可以分为三个阶段:告警相关性( a l a r mc o r r e l a t i o n ) 、故障 定位( f a u l ti d e n t i f i c a t i o n ) 和故障验 正( f a u l tv e r i f i c a t i o n ) 。前两个阶段通 常认为是故障定位的处理过程,通过对告警相关性进行分析,提出各种对故障情 况的假设。最后一个阶段是验证各种故障假设是否正确。 告警过滤是用来把非故障性告警过滤掉,保留主要的、根本性原因告警。在 网络管理领域,告警相关性分析有助于故障的实时诊断和故障定位。在通信网络 中,通过对被认为是一个共有的故障和状况造成的告警消息的相关性分析,可以 减少操作人员所能看到的信息量。同时。剩下来的更加通用的消息将帮助操作维 护人员指出问题的根源。显然,信息太少和信息太多将同样是灾难性的,因此两 者之间的平衡将是重要的。理想情况下,一个具有告警相关性分析功能的故障管 理系统可以在没有专家帮助的情况下,判断问题根源,并采取相应的措施和自动 发出维护请求。告警相关性分析也可以用于协助网络规划和配曼。 2 2 2 告警相关性的类型 告警相关性类型具体如下: 【a ,爿,爿 一哇 告警压缩( c o m p r e s s io n ) :将发生的多个告警压缩到一个告警中。 【彳,p ( 4 ) 圣圩】一量 告警过滤( f i l t e r i n g ) :如果告警彳的尸( 力值不属于合法值集合肛则过滤 掉告警瓜 b c 】一m 告警抑制( s u p p r e s s i o n ) :在前提f 告警( 例如高优先级告警) 发生的情况下, 抑制告警爿( 例如低优先级的告警) 。 b x 彳】一b 告警计数( c o u n t ) :对重复达到同样的告警进行统计和设定门限值。例如, 用一个告警口代替仃次出现告警a 。 a c b = o b 告警泛化( g e n e r a l i z a t i o n ) :用告警的超类代替该告警。 _ ,ad b 一b 告警特化( s p e c i a l i z a t i o n ) :用告警的特定子集代替告警。 第9 页共6 3 页 基于数据挖掘的网络示警系统的研究与设计第二章网络告警相关性分析与数据挖掘 【a t b 一c 告警时序关系( t e m p o r a lr e l a t i o nt ) :相关的告警依赖于告警发生对问顺 序,告警彳,告警口顺序发生时,则会发生告警 2 2 3 告警相关性分析方法 目前已经出现了许多告警相关性分析技术,本节将简要介绍各种主要的告警 相关性分析方法“”。 ( 1 ) 基于因果关系的相关性分析 基于因果关系的相关性分析( c a s u a lm o d e la p p r o a c h ) 是一个监视和分析通 信系统的简单和通用的方法,并得到了一些比较典型的应用。这个方法的结构如 图2 - 2 所示。 图2 2 基于因果关系模型的告警相关性分析 ( 2 ) 基于编码相关性分析 基于编码相关性分析( c o d e b o o ka p p r o a c h ) 是基于因果关系模型的相关性分 析方法的变种,它通过对事件知识模型的预处理,减少了实时告警相关性分析的 复杂性。 ( 3 ) 基于模型推理的相关性分析 基于模型的系统( m b s :m o d e l b a s e ds y s t e m ) 是一个基于知识的系统,从对 其结构和功能行为的显式表示来对系统进行推理。基于模型的系统已被广泛的推 广应用到通信网络的实时故障管理。 ( 4 ) 基于事例推理的相关性分析 在基于事例的系统中,知识的单位是事例( c a s e ) 而不是规则。很多过去发生 的事例被存储、检索,并用来解决新问题。由解决新问题的经验构成新的事例, 系统将新的事例加入到数据库中,为将来使用。 ( 5 ) 基于规则的相关性分析 第1 0 页共6 3 页 基于数据挖掘的同络示警系统的研究与设计第二章嘲络告警相关性分折与数据挖掘 基于规则的相关性分析( r u l e b a s e da p p r o a c h ) 方法的特定知识领域包含在 一组规则中,而与特定情况相关的知识构成了事实。每个基于规则的系统都有一 个控制策略,决定应用规则的次序。 ( 6 ) 模糊逻辑 由于通信网络结构十分复杂,几乎不可能建立这些网络的精确模型,所以需 要用模糊逻辑( f u z z yl o g i c ) 方法来处理一些具体问题。通过模糊逻辑描述出不 精确的网络模型,用于分析不完全的告警相关性。 ( 7 ) 贝叶斯网络 贝叶斯网络( b a y sn e t w o r k ) 提出处理不确定性的新方法。通过这些方法,即 使在信息不完全和不精确的情况下,也可以进行推理。通过贝叶斯网络来分析通 信网络中的告警相关性,可以克服告警事件的不确定性。 ( 8 ) 神经网络 神经网络( n e u r a ln e t w o r k s ) 在医疗诊断,多传感器目标跟踪、图像、数据 压缩中已有成功的应用,同样可以用神经网络处理告警相关性分析。神经网络在 训练不同的告警模式时具有足够的灵活性。且利用神经网络进行告警相关性分 析,具有良好的自学习能力,而且在输入数据包含噪音时,也能较好地识别出相 关模式。 ( 9 ) 数据挖掘 数据挖掘是在大量的数据中发现新颖的模式,它是基于过去事例的泛化的一 种归纳学习。数据挖掘在通信领域中的典型应用是基于历史告警数据,发现告警 相关性规则。根据发现的规则来分析和预测网络元件可能出现的故障,减轻了网 管人员的工作强度,提高了工作效率。因此基于数据挖掘的告警相关性分析系统 能够很快地调整适应一些变化快的通信网络,解决通信网络中出现的新问题。 本文将主要讨论基于数据挖掘的网络告警相关性分析系统中的加权关联规 则挖掘,利用从告警数据中挖掘出来的加权关联规则对历史告警信息进行相关性 分析,从而达到网络故障诊断定位和重大故障预测的目的。 2 3 数据挖掘概念与技术 2 3 1 什么是数据挖掘 数据挖掘是从大量数据中挖掘出隐含的、先前未知的、人们感兴趣的知识。 第1 l 页共6 3 页 基于致据挖掘的网络示警系统的研究与设计 第二章网络告警相羞丝坌堑里塾塑丝塑 挖掘出的知识表示为概念、规则、规律、模式等形式。简单地说,数据挖掘是一 个从大型数据库或数据仓库中存储的大量的、不完整的、有噪声的数据中发现潜 在的、有价值、感兴趣的知识的过程。数据挖掘所发现的知识都是相对的、是具 有特定前提和约束条件的。它必须面向特定的应用领域,同时发现的知识还要易 于被用户所理解。 数据挖掘所发现的知识可分为以下几种恤1 :( 1 ) 广义知识;指类别特征的概 括性描述知识。( 2 ) 关联知识:反映一个事件和其它事件之间依赖或关联的知识。 ( 3 ) 分类知识:反映同类事物共同性质的特征型知识和不同事物之间的差异型特 征知识。“) 预测型知识:根据时间序列型资料,由历史的和当前的数据去推测 未来的数据,也可以认为是以时间为关键属性的关联知识。( 5 ) 偏差型知识:它 是对差异和极端特例的描述,揭示事物偏离常规的异常现象,如标准类外的特例, 数据聚类外的离群值等。 2 3 2 数据挖掘常用技术 数据挖掘的关键在于从训练数据中发现事实,以测试数据作为检验和修j 下理 论的依据,把知识应用到数据中。数据挖掘利用了分类、关联规则、序列分析等 方法,常用的方法有以下几种“”:人工神经网络、决策树、遗传算法、邻居算法、 模糊逻辑,关联规则挖掘。 关联规则挖掘问题描述的是数据库中一组数据项之问某种潜在关联关系的 规则。通过分析在一次交易或活动中会同时出现的事项,得出一组事项同时出现 或顺序出现的可能性。具体方法是计算训练集中各种对象组合出现的概率,当概 率超过一定的阈值时,可以认为该事项组合代表了会同时出现的事项集合。 采用上述技术的某些专门的分析工具已经发展了大约十年的历史,不过这些 工具所面对的数据量通常较小。而现在这些技术已经被直接集成到许多大型的工 业标准的数据仓库和联机分析系统中去了。 2 3 3 数据挖掘的步骤 数据挖掘的基本流程和主要步
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 七年级科学《生物的结构与生殖》单元整体教学设计
- 高二英语北师大版选择性必修一 Unit 1 Relationships Lesson 1 Teachers 教学设计
- 初中九年级数学与函数有关的定点交点最值问题专项复习教学设计
- 高中美术鉴赏第一课美术鉴赏及其意义教学设计
- 小学四年级道德与法治教学设计:蛇年话年俗 传承年味浓
- 九年级物理二轮复习教学设计:简单机械核心模型与实战突破
- 小学二年级道德与法治《传统游戏我会玩》活动化教学设计
- 高三生物二轮复习坐标图类情境分析专题教学设计
- 小学二年级美术《虾和蟹》教学设计
- 七年级英语一般将来时假期计划语法教学设计
- 黑龙江省龙东十校联盟2027届高三上学期11月期中质量测试语文试卷(含答案)
- GB/T 7251.3-2026低压成套开关设备和控制设备第3部分:由一般人员操作的配电板(DBO)
- 欧盟电池护照EU2023-1542数据架构全解:唯一标识访问权限与数据更新合规指南
- 钢筋弯曲机使用安全要求培训
- 2026年秋季开学时间管理课:做时间的主人课件
- 考研政治马克思主义基本原理核心知识点系统梳理框架
- ISO 14001-2026《环境管理体系 要求和使用指南》变化与应对行动说明表(雷泽佳编制-2026A0)
- (物理)2027版高中《基础自测小纸条》必修2(默写+背诵版)
- 2026年河北省中考英语试卷(含答案)
- 低压电缆头制作安装施工方案及技术措施
- 2026年中国东航行测笔试题库
评论
0/150
提交评论