（计算机软件与理论专业论文）基于关联规则的数据控制在电信告警管理中的应用.pdf

摘要 摘要 在电信网络告警管理中，告警关联系统是很重要的部分，它是用于分析告警数 据的专家系统。然而电信网络本身的复杂性导致获取必要的知识来为某个特定网络 构建一个告警关联系统十分困难，数据挖掘为告警信息中知识获取提供了新的途 径。本文以中兴通讯公司的电信网络管理平台项目为背景，参照国外电信网络告警 分析系统的应用模型和基于关联规则的数据挖掘算法，重点研究了构建电信网络告 警关联系统要用到的数据挖掘技术。 本文参照已有的关联数据挖掘算法，分析并建立了对告警数据库进行挖掘的数 据挖掘系统，详细阐述了告警数据中的数据挖掘过程，包括数据收集与预处理、关 联规则发现、规则后处理和应用三个阶段，并对于实现过程的相关问题给出解决方 法。本文在分析基于关联规则的理论基础上，通过对两种关联规则算法a p r i o r i 算法 和f p g r o w t h 算法的分析对比，从效率和实现的角度出发，提出了利用f p g r o w t h 算法对告警数据进行挖掘。f p g r o w t h 算法直观并且容易实现，它只需要两次扫描数 据库，极大地减小了i o 操作次数，提高了处理效率。 本文针对电信数据的特点和挖掘过程的三个阶段，指出了系统实现的关键技 术。在数据收集和预处理的过程中，数据转换是相当重要的部分，由于其中最关键 部分是将连续数据转换成离散数据，本文采取了一种基于求拐点对数量属性进行划 分的方法做此工作。f p g r o w t h 算法对内存消耗很高，不加任何处理地对大量的电信 数据进行数据挖掘是不能实现的，为此对f p g r o w t h 算法进行了扩展，通过划分投 影数据库的方法使得数据挖掘来减小算法对内存的要求。 通过对算法的分析和系统的实现结果分析，用f p g r o w t h 关联规则算法对电信 告警数据挖掘是完全可行和有意义的。 关键词：电信告警，关联规则，f p g r o w t h 算法 a b s t r a c t a b s t r a c t a l a r mc o r r e l a t i o ns y s t e mi sa l le x p e r t i s es y s t e mt oa n a l y z ea l a r md a t a ，w h i c hi sa n i m p o r t a n tp a r to ft e l e c o m m u n i c a t i o nn e t w o r km a n a g e m e n to fa l a r m h o w e v e r , i ti sd i f f i c u l t t oa c q u i r en e c e s s a r yk n o w l e d g et ob u i l da na l a r mc o r r e l a t i o ns y s t e mo fs p e c i f i cn e t w o r k b e c a u s eo fi t sc o m p l e x i t y d a t am i n i n gi san e wm e a n st of i n dt h ek n o w l e d g eo fa l a r m i n f o r m a t i o n i nt h i sp a p e r , w er e s e a r c ho nd a t am i n i n gt e c h n o l o g yw h i c hi sa p p l i e dt oa l a r m c o r r e l a t i o ns y s t e mb a s e do nat e l e c o m m u n i c a t i o nn e t w o r km a n a g e m e n tp l a t f o r mp r o j e c to f z t e c o r p o r a t i o n r e f e r r i n gt os o m ec a l c u l a t i n gm o d e l so fa l a r mc o r r e l a t i o ns y s t e ma n da l g o r i t h m so f a s s o c i a t i o nr u l e sm i n i n g ，w ea n a l y z ea n db u i l dd a t am i n i n gs y s t e mf o rm i n i n ga l a r m d a t a b a s eo ft e l e c o m m u n i c a t i o nn e t w o r k t h e r ea r et h r e es t e p si nm i n i n gp r o c e s s ，i n c l u d i n g d a t ac o l l e c t i o na n dp r e t r e a t m e n t ，a s s o c i a t i o nr u l e s d i s c o v e r ya n d a s s o c i a t i o nr u l e s a p p l i c a t i o n w ea l s op u tf o r w a r dt h es o l u t i o no fr e l a t e di s s u e si ni m p l e m e n tp r o c e s s f p g r o w t ha l g o r i t h mi si n t u i t i o n i s ta n de a s yf o ri to n l yn e e d st os c a r ld a t a b a s et w i c ew h i c h d e c r e a s e st h ei oo p e r a t i o nw i t hh i g he f f i c i e n c y t h ep a p e rd i s p l a y st h ek e yt e c h n o l o g yt oi m p l e m e n td a t am i n i n gs y s t e mo nt r a i to f t e l e c o m m u n i c a t i o na l a r md a t aa n dt h et h r e es t e p so fm i n i n gp r o c e s s d a t a 仃扭s f 色ri sa l l i m p o r t a n tp a r to fd a t ac o l l e c t i o na n dp r e t r e a t m e n t ，w h o s ec r u c i a lp a r ti s t ot r a n s f e r c o n t i n u o u sd a t at od i s t r i b u t ed a t a ，s ow eu s ea ni n f l e x i o np a r t i t i o nm e t h o dt oi m p l e m e n ti t w ea l s oe x t e n df p g r o w t ha l g o r i t h mt oa v o i dl a r g em e m o r yr e q u i r e m e n tb ym e a n so f s p l i t t i n ga l a r md a t a b a s et om u l t i - d a t a b a s e sw i t hd e a l td a t at or e a l i z ed a t em i n i n g i ti sf e a s i b l ea n ds i g n i f i c a n tt h a tw eu s ef p g r o w t ha l g o r i t h mt oi m p l e m e n td a t a m i n i n gs y s t e mo nt e l e c o m m u n i c a t i o na l a r md a t at h r o u g ht h ea n a l y s i so fa l g o r i t h ma n d s y s t e mr e s u l t k e y w o r d s ：t e l e c o m m u n i c a t i o na l a r m , d a t am i n i n g ，f p g r o w t ha l g o r i t h m i i 独创性声明 本人声明所呈交的学位论文是本人在爵师指导下进行的研究工 作及取彳舄的研究成暴。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同态对本研究所做的任何贞献均已在论文中俸了明 确的说明并表示谢意。 签名：毯垃日期：如。6 年p 月72 日 关于论文使用授权的说明 零学经论文作者宠全了解魄子科技大攀有关僳瞽、使雳学位论文 的规定，有权保留并向国家有兼部门或机构送交论文的复印件和磁 盘，允许论文被查爨秘借阕。本人授权电子辩技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学饺论文。 ( 保密的学位论文在解密黯应遵守此规定) 签名：鍪垫导师签名：篡丝 日期：) p 。6 年p 月fl 日 第一章绪论 1 1 研究背景和意义 第一章绪论 现代电信网络在运行过程中，各个子部件和软件模块每天可产生大量的告警， 每一种告警信息都体现了某种异常情况的发生。电信网管系统的操作维护中心接收 这些告警并将这些告警信息存放到告警数据库，呈现给操作员，操作员根据这些信 息和自己的经验采取相应的措施。由于收集的告警数据具有高噪音、零散的特性， 因而要想充分利用这些有价值的信息十分困难。电信网络本身非常庞大，有各种不 同的部件构成，产生的告警类型极为丰富，不同的网络之间存在较大差异。电信网 络还会频繁地发生改变，比如功能部件的增添、修改、替换等。告警出现的突然性 很强，致使及时响应非常重要也很困难。 随着电信网络的规模越来越大，结构越来越复杂，告警的类型越来越多，在电 信告警数据库中保存了大量的历史告警数据，在这些数据中蕴含着一些有价值的信 息。目前主要采用告警关联系统对网络产生的告警流进行处理，它是用于分析告警 数据的专家系统，其主要作用是过滤某些冗余告警，进行故障识别以及严重故障预 测。然而针对某个特定的电信网络构建对应的告警关联系统并对告警流进行处理是 十分困难的。告警数据量很大，告警类型多种多样，网络及其部件更新频繁，导致 告警信息不断发生变化，进而导致告警序列特征的变化，网络操作员很难应对新的 情况。告警信息的出现经常是爆发式的，网络操作员必须在有限的时间内作出反 应，这些情况都加大了分析告警信息的难度。构建告警关联系统所需要的知识可以 由网络设计者或者有经验的网络操作员提供，但是这种方式十分低效，而这些知识 正隐藏在告警数据的背后。通过数据挖掘可以有效地发现这些隐藏知识，将其添加 到告警关联系统的知识库中，来保证告警关联系统准确，有效地运行。 本课题针对电信网络管理的需求，将数据挖掘应用于电信网络的告警数据分 析，采用新的数据挖掘技术分析告警信息，从大量原始告警信息中获得网络告警的 模式知识，为电信告警信息的分析提供个可行的解决方案。结合网络管理员以及 电予科技大学颡学位论文 网络专家的经验，将分析结聚应用到告警关联系统当中，以实现故障识别和预见一 揍严重的网络故障，同时有拨知识还能用于网络的性能监测，这些拣掘出来的知识 程教薄管理中较其份篷。嚣戴，本课题其露实蠲徐焦帮毽论意义。 1 2 国内外研究现状和发展趋势 由子电信告警关联系统豹重要性，电信告警关联翁理技术被戮外学者广为研 究。电信告警关联系统是用于分析告警数据的专家系统，其主要作用是过滤某些冗 余告警，进行故障识别和诊断以及对严重故障进行预测。这些关联系统的特点是把 数跨鳃关联霸潦椽藏翔谖露，谖鬟或者诊叛藏瘁是逶邀挺告警戆褥餐整怠与翔谖疼 中的关联信息避行模式匹配。告警关联系统主要分为三类：基于规则的、基于案例 的和基于模型的。 数据挖撼为电信告警关联管理提供了虢的途径，从告警数据库中可鼓挖掘爨不 两类型的翔谖鼷鍪菰关联揽噩翦。对翔识横黧静挖掘主簧集中在神经潮络模型，风险 模型，贝叶斯倍度网模型上；对关联规则的挖掘主要巢中在发现关联规则和频繁情 节上。发现关联舰则的核心弊法是a g r a w a l 等人提出的a p r i o r i 算法、频繁情节的核 心葵法是h e i k k im a n n i i a 等久瓷逡翳w i n e p i 算法。 中兴通讯、华为技术等电信行业公司在自己的电缩商业智能解决方案中，都提 到了把数据挖掘技术集成到撼中，并把数据挖掘技术用于电信故障管理。利用数据 摭辗来发现告饕数据中隐藏和蕴含的知识，是电信数噫和告警管瑕中新的分析方 法，氇是数据挖掘薪韵应瓣，器蕾国内惑俸满薤予理论探讨、应瑁试验阶段，述没 有完全成熟商用的产品成规横地投入使用。 。3 ，本文主要工作 本文论述了数据挖掘税电信网络故障管理中的应用，通过对告锵数据挖掘，提 取隐藏和潜在的告警关联规则。 本深题豹烹要磅究内容穗螽：鼹邀髂表警数据遗褥分辑，菠爨关联鬟赠送行数 据挖掘。通过对电信告警数据的分析，比较不同关联黪法的优点和不足，建立数据 挖掘模型，并在电信网络管理系统的构架上，实现数据挖掘的功能。同时，针对系 2 第一章绪论 统的具体实现，找出系统实现的关键技术和难点，研究对其优化的方法。最后，对 系统进行测试，由测试结果得出研究结论，并对未来的工作进行展望。 1 。4 本文章节安排 本文首先介绍了电信网络告警管理，再分析了电信告警数据特征。接下来介绍 了数据挖掘理论，分析了基于关联规则的数据挖掘方法，通过对挖掘算法a p r i o r i 和 f p g r o w t h 的分析，确立了数据挖掘模型和方法。最后重点介绍了电信告警数据挖掘 的设计和整个系统实现，优化和测试。 第一章概述了电信告警数据挖掘的研究背景和意义，指出了国内外的研究现状 和发展趋势，并且概述了本文的主要工作和章节的安排。 第二章主要介绍了数据挖掘在告警管理中应用的目的和可行性，先介绍电信网 络告警管理，接下来讲述告警关联系统和告警关联分析方法，再介绍数据挖掘理 论，最后在分析告警数据特征后提出了告警数据挖掘的基本模型。 第三章是本篇论文的重点，首先对本课题的相关的关联规则数据挖掘进行理论 介绍，其中，包括关联规则挖掘步骤、关联规则算法实现、然后通过对算法a p r i o r i 和f p g r o w m 的阐述分析，确定采用f p g r o w t h 算法进行电信告警数据挖掘。最 后，分析了系统实现的关键技术和技术难点，并采用相应的措施进行优化。 第四章重点讲述了电信告警数据挖掘的实现，首先对重要的的数据结构进行描 述，然后介绍了主控工作流程、并对主要的挖掘过程和实现细节进行描述，最后描 述了测试环境并分析了测试结果。 第五章对项目作了总结，并对将来的工作做了展望。 毫子翳接夫学矮士学毽论文 第二章告警管理与数掇挖掘 2 1 电信网络告警管理 告警管溪是敖障管疆豹重要部分，两鼓障管理粼是网络管瀵系统蕊基本罄淫功 能之一。告餐管理以通知和告警的形式反映并记录系统中的软硬件故障及重袋事件 的发生情况，同时提供对告警通知管理定制的手段，如过滤、确认、清除和旋询 等，戴强卷餐管理还提供蒺本的对设餐逐行操终匏人瓤会令，如复使、链换等。 2 1 1 基本概念 告警：每个告警可以抽象为一个四元组( c ，a ，p ，t ) ， c 是发出告警的网络 部释，a 蹙告警类型，p 是告警可藐鹣箕谴矮洼，f 剿是告警发溅时闯j 。其中，包 含告警消息的各种信息熬别很大。一般告警关注一必逻辑概念，如虚拟路径，一些 告警关注物理设备，如电源供应。一魑告警报告一然连接失败，如接受信号篆失， 还毒一些鸯赣仅援援告逛罐率，不对鼓薅募因骰任麓鼹器。 告警消词：告警谓弼用来描述一个告警的一次发生，一般描述其告警类麒、告 警时间和告警程度。如给出一个告警谓词：告警类烈为“连接必败”，告警时间是 “2 0 0 4 0 1 2 51 9 ：4 5 ：3 7 ”，镑警严重程度为“紧急告警，级别4 ”。 2 1 2 电依告警管理功黼 告警管理的核心功能是保证系统中发生的鼓障和重要事 牛以终警帮逮知的形式 及时准确魏照示给用户，戳便定位和解决敖障粒】。寄警帮通知消爨中都带有告罄码， 告警码是根据可能的故障预先定义的代表特定告警的艇数值。 当告警源探测到某故障发生时构造一条包含特定告警码的告警消息发送到告警 管莲懿台，褥经过告警黢务器广撵绘密警客户端。瓣嚣当告警潦深涎虽藏霉祭俦滂 失时，会构造一条包含榴应告警码的清除消息发送到到后台。这是告警执产生到上 4 釜三至宣篓箜垄兰墼童塑篓 报再到清除的典型过程和处理。整个告鬻管理的内部逻辑结构图如图2 - 1 所示： 鲍 图2 1 告警管理的内部逻辑结丰句翻 出子告警管理帮是鸯霭的需要，告警在藏务器要经遵一系裂静楚理，辑依捺静准 则我们称之为告警规则，归纳为告警过滤、确认、抑制、归并、邮件前转、短信前 转、延迟等规则。告警密户端提供规则制定、修改、删除的用户界面，告警规则保 存在骚务嚣数据疼显在运行翦热鼗。手工瀵除或叁然瀵狳懿告警稼之为历史蛰警， 历史告警被保存在数据露巾。 告警管理的功能模块包括【3j ： 电子科技大学硕士学位论文 告警和通知查看：告警客户端允许以不同形式和信息详细程度呈现系统中存在 的告警和通知信息：声音提醒功能可以提示整个系统中存在的最高级别的告警；通 过拓扑树和拓扑图节点的不同图标及图标颜色判断该节点( 包括子节点) 的最高级 别的告警：查看拓扑树或者拓扑图上节点的提示信息，则可以了解该节点的每一级 别的告警计数和未确认告警计数；还可以查看每一个节点当前告警和通知的详细信 息。这种逐层深入的信息查看方式符合用户获取信息的习惯：先了解大概，再深入 了解信息的细节。 规则定制：当服务器收到告警和通知消息的时候，可以根据事先定制的规则来 决定对该消息的处理方式，例如告警过滤规则可以使满足条件的告警不发送到客户 端或者当告警恢复的时候，不存到数据库中。客户端的规则定制功能可以方便地查 看、修改、删除服务器上的规则，也可以创建新的规则提交到服务器。所有规则只 对规则创建之后新产生地告警和通知消息才起作用。目前支持的规则有：告警过滤 规则、告警计数规则、e m a i l 前转规则、告警确认规则、告警抑制规则、短信前转规 则、告警级别重定义规则、告警归并规则、通知过滤规则，告警延迟规则。 查询统计功能，目前提供的查询功能有以下几种： 1 ) 历史告警数据查询：可以根据发生告警信息的对象、告警级别、告警码、告 警产生的时间范围等条件查询出符合条件的历史告警信息。 2 1 历史通知数据查询：可以根据发生通知信息的对象、通知码、通知产生的时 间范围等查询出符合条件的历史通知信息。 3 ) 活动告警数据查询：实际上是当前告警信息查看功能的扩展，当前告警信息 查看以告警对象为查询条件查询所有属于该对象及其子对象的告警信息，而 活动告警数据查询则可以查询某个对象的指定级别指定告警码的告警详细信 息。查询结果是当前活动告警信息的一个子集。 4 ) 派工单数据查询：可以以告警对象和告警指派人为查询条件查询指定时间范 围的告警的指派信息。 5 ) 历史告警数据统计查询：在历史告警数据查询的基础上，提供了三种统计功 能，可以分别按照告警码、告警原因码、告警对象统计，统计出指定时间范 围内的告警码、原因码、告警对象对应的告警计数。 知识库管理：知识库分为告警码、原因码和通知码三个部分，可以分别查看告 第二章告警管理与数据挖掘 警码对应的告警级别、网元类型、网元告警码、告警类型、告警内容、系统解决建 议、用户解决建议：查看原因码对应的原因码内容；查看通知码对应的通知内容。 用户解决建议可以修改。 2 1 3 告警关联系统 在电信网络运行过程中，会产生一系列告警，这些告警有的可以置之不理，而 有的如果不及时采取措施则会带来不可挽回的损失。由于告警产生的随机性很大， 究竟哪些告警可以不予理睬，哪些告警必须迅速处理往往很难判断，一般需要由人 工根据经验进行处理，效率不高。告警关联是一种对网管中心接收到的告警流进行 处理的关键技术，经过它的处理之后，告警流对于操作员来说变得更加简单、有 效。 网络管理系统需要在接收到网络产生的告警之后对告警进行关联，关联告警意 味着对告警中包含的零散信息进行整合，并从整体上对告警作出解释。在告警管理 中有些告警处理软件采用了告警关联技术，称为告警关联系统，其主要作用是自动 过滤掉冗余的告警，识别故障以及建议一些预见性的措施。因此在故障管理中极具 价值e 4 。 通信设备的各个部分是相互协作来实现各项功能的。设备某一部分出现问题影 响到功能的实现时，设备中其它相关部分也不能很好地完成预定的功能，这些相关 部分就会各自发出很多不同的告警。这些告警实际上是表达了相同或相近的信息， 因此可以合并成一条，便于维护人员快速定位故障，这就是告警关联技术。所谓告 警关联，是指对相关告警进行合并和转化，将多个告警合并成一条具有更多信息量 的告警，这样，可以通过发送一条告警来代替多条告警。 另一方面，通信网中存在大量的重复告警。通信设备一般对未消失的告警周期 性向外发送。尽管由于通信设备的不断智能化，网络的高层可以对下层来的告警进 行分析，对重复的告警进行一些过滤，但重复告警还是太多。有必要对重复的告警 进行告警过滤。所谓告警过滤，是指在分层网络中的每一层都对下层节点发来的告 警进行过滤，一个节点只发送从子节点收到的部分告警。 告警关联系统作为一个网络管理系统的子部分与其它网络管理比较，根据其特 点分析，其意义在于从面向全部网络、网络设备层次上保证网管信息的全面、有效 电子科技大学硕士学位论文 和完整，进一步提供合理有效监控、维护、服务手段，解决现行管理问题，并提供 一定程度决策分析支持等，比如：掌握全网鲍网元事件，对事件通知信息的相关性 避李亍全瑟综合分辑，尧骚簸僖怠、无焉蓿患的凄瑷，可遥过专家系绫，g 入事终分 析规则定制功能，以积累系统故障分析处城能力；通过工作流管理，跟踪网络性能变 化，控制故障处理、网络维护和系统维护工作流程和操作，并提供一定的工作流稳 定测能力，鞋麓合网络维护髂涮交纯莠积累系统维护经骏，对全丽瓷澡、鼓障、嚣 能等运行状态储息进行统计分析等。总的来说告警相关处理系统的功能框架与专她 网管系统类似，只是处在全网的层次上运行，在此基础上提供一定的服务和管理支 持手段。针对网络运营者两畜，告警关联系统建设意义在于进一步降低成本、提离 缀囊帮毫效骚务。筑运营蘩瓣实际需求泉麓，毪稍需要一个综合纯、智麓纯、黢务 化的告警处理系统。综合化就是将原来按照专业来管理的系统，转为按照全网采镣 理的系统。智能化使网管人崩能更容易、简单地对网络进行管理。圈前的运行维护 入员都必须是专烂设备鲍专家，毽应用餐髓佬的网管系统最，人员只要具备一般的 电信设备常识即可胜任工佟。服务纯的管理就是从对设备、网络的篱理，转为对大 客户的业务进行端到端的管理。 告警关联系统采用的典型操作有： 1 ) 骜棱：觚告警滚孛秘除捧包含冗余信悫戆告警。 2 1 过滤：当出现高优先级的告警时过滤低优先级的告警。 3 ) 替代：用一些新的信息或告警替代菜一系列告警。 一般来说，囊警关联系绞的辕入是一个按时闻封 廖好酶告警廖列，在绘定时阙 窝日或称为关联密日范围沟，关联模式籀述了能在告警穿掰串识剐髓一静清形。魏 型情况下，一个关联模式魁当前活动告警的一个描述，比如最近五分钟内的告警出 现情况。如果在绘定关联窗阴内有一些告警与关联模式相匹配，就称这些告警是该 关联摸式熬一次窭瑷。每个关联模式都对庄一个关联撩佟，当该荚联模式在一令 必联窗口内出现时，对应的关联操作就会被执行。对予每次关联，都有一个关联周 期，由关联操作所生成的新的告警只有在该关联周期内才是有效的。告警关联的炎 激一般分为巴 l a ，a ，a l 婶a 压缩：褥阕一告警静多次出瑰减少为苹个告警。 l a ，p ( a ) 拦h i 号垂过滤：如果告警a 的属性值不在有效的属性慎范围h 之内， 第二章告鹫管理与数据挖掘 受g 将箕联狳。 l a ，c i 龄国隐藏：在c 的上下文环境中( 例如c 中表示的怒高优先级的告警) 禁止告警a ( 例如低优先级告警) 的出现。 i a l 潞b 记鼗：统计著限制同一侮警鳃重复出现，例如将卷警a 斡n 次出瑷用 告警b 静一次出现来替代。 l a ，a c b | 等b 一般化：将一个告警用它的上一级告警类型来代替。 a ，a o b l b 特殊化：将一个告警用它的下级夏详细的告蛰类型来代替。 l a ，t 嚣| 薄c 癌薅关蓉t ( 兹或蜃) ；菝照a 秘b 遮裂豹宠蜃灏痔对告警瀵行关 联。 目前在很多电信网管中都采用了告警关联系统作为网管智能化的一部分。绘定关 联模式和关联操作，一个鹰警序列s ，一个告警关联过程为：连续观察接收到的告警 流s ，考惑s 上熬最蜃一个关联窗口内的告警，魏浆桀令关联模式与该密墨蠹黥赘警 出现，则执行与该关联模式相应的关联操作。例如，设某个关联模式包含两个告警 a 网络节点x 发出的严黧程度为1 的联结告警和b 网络节点x 简故障率，假设告警 a 移b 戮豢定豹噘痔爨瑷在关联塞口中，我爨已经妇遘懿果这掰令告警撩继瓣瑗， 则告警发生节点x 将蹬溉故障，关联操作可能是褥逡两个告警合并成一个具礴更高 优先权的告警c 网络节点，并将告警c 显示给网络管理员，以及过滤掉原先的告警 a 和b ，如下图2 2 所示： 襁罄融 图2 - 2 眷警合并示意图 电子科技大学硕士学位论文 2 1 4 告警关联分析方法 告警关联分析经历了从完全手工、使用辅助工具到智能分析系统这几个阶段。 手工告警关联分析技术通常方法简陋且操作不方便，耗时多。辅助工具一般多为网 络协议分析仪。网络协议分析仪将客户所想到的网络监测和故障诊断功能集成在一 个手持式的仪器中。它可以完成电缆测试、网络流量测试、网络设备搜寻、协议分 析等工作。 随着专家系统的研究的深入，告警关联分析也采用了这一先进的技术，从此告 警关联分析朝着智能化方向发展。专家系统的工作原理是将领域专家的知识和经验 用形式化的语言描述出来，再在收集诊断对象的各种运行时的信息的基础上，利用 推理机来进行告警关联分析。 目前，在使用专家系统进行告警关联分析系统中，对告警相关性分析的主要方 法有基于范例的推理方法、基于规则的分析方法、模糊逻辑方法、贝叶斯网络方 法、编码方法、人工神经网络方法、数据挖掘方法【2 ”。 1 ) 基于范例的推理方法 在基于范例的系统中，很多过去发生的范例被存储、检索，并用来解决新问 题。当一个新问题被成功解决时，其经验又构成新的范例，系统将新的范例加入到 数据库中，以供将来使用。基于事例的方法是一种解决问题的策略，在这种系统 中，知识的基本单元是范例而不是规则。它与专家系统的不同之处在于，它是基于 过去的经验和事例来解决问题而不是运用该问题领域中的一般化知识，这样系统可 以通过自己的方法来获取知识而不必从通信专家那获取知识。这种系统可以根据出 现的错误来自动改正将来的行为，而且基于范例推理可以通过调整过去的范例，来 构建新的方法，用来处理出现的新情况，但它的缺点是它总是与某一个特定应用领 域紧密相关，而不存在一个通用的事例方法。它对于网络变化处理反应不敏感，处 理过程较复杂而且费时，这对于要求实时性高的告警是一个问题。 2 ) 基于规则的分析方法 基于规则的分析方法将特定领域知识用一组规则集表示，而与特定情况相关的 知识构成了事实。每个基于规则的系统都有一个控制策略，决定如何应用规则。算 法比较符合人的思维，便于人们的理解。但用于表示领域知识的规则数目往往很 大，在实际应用中，几乎无法确定所总结出的规则是否足够用来分析网络故障。规 1 0 第二章告警管理与数据挖掘 则数量与网络规模是成指数级增长，当规则数目达到一定量时，不仅规则库的维护 变得非常困难，而且过多的告警规则会影响分析故障的效率和可靠性。基于规则的 系统还有一个问题是其规则的获取主要从专家那里获得，系统无自学习的能力，所 以这种基于规则的系统只适合用于配置和机构很少发生变化的网络，很难适于经常 发生变化的网络。任何网络配置和结构的变化都会使许多告警相关性规则发生改 变，因此如何确认哪些告警相关性规则是无效的是一个非常困难的过程，通过人工 来维护大量的告警相关性规则也非常困难，基于此基于规则的方法很难适应大规模 的网络通信模型。 3 1 模糊逻辑方法 通信网络结构十分复杂，而且网络配置经常发生变化，几乎不可能建立这些网 络的精确模型；其次，由通信专家提供的知识并不一定是不精确的，很难直接用于 网络管理。再次，在故障和告警之间的因果关系通常是不完全的，比如由于路由故 障导致一些告警时间发生丢失。模糊逻辑中最根本的概念是模糊集合。模糊集合中 描述一个元素属于某个集合，不是用t r u e 或f a l s e ，而是o ，1 1 区间的一个值。利 用模糊逻辑，可以用来处理一些告警具体问题以及建立不精确网络模型，采用模糊 推理来确定相关性规则。 4 ) 贝叶斯网络方法 贝叶斯网络是一个有向无环图，每一个节点代表一个随机变量，通过前序节点 代表变量值所有可能组合，可计算出该节点上的相关条件概率。图中的边代表相互 连接的节点之间存在因果关系。主观概率代表专家根据所知道的信息，算出对己知 事件的信念程度。贝叶斯网络提出处理不确定问题的新方法，通过这些方法，即使 在信息不完全和不精确的情况下也可以进行推理。通信网络中发生的告警事件，可 能会发生丢失，如通信线路出现问题，所以收集到的具有相关性告警事件是不确定 的。所以通过贝叶斯网络来分析通信网络中告警相关性，可以克服告警事件的不确 定性。己知贝叶斯网络和证据集合，可以计算出每一个节点条件概率，但这是一个 n p 完全性的问题。虽然通过恰当的启发式算法，可以在可接受的时间内算出几千个 节点，但贝叶斯网络边界的计算效率仍是一个有待解决的难题。 5 1 编码方法 编码的方法将具有相关性关系的告警集合分成两个有限集合p 和s ，其中p 表示 电子科技丈学硕士学位论文 问题集合，是引起故障的原因，s 是由于问题出现而引起一系列现象。对集合p 和s 要求p n s = 垂，潞题气和s 。( 气p ，s 。s ) 的编码如下：p c o d e m = ( b l ，b 2 + ， b r a ) ，b i e 0 ，1 ，m 表示p 袋合中元素酌缭数。s c o d e m c o l ，b 2 ，嘲，巧芒1 0 ， 1 1 ，1 1 表示p 熊合中元素的维数。向量p m = ( b l ，b 2 ，b m ) 包括对相应现象问题 p m 的因果效应度量。在向量p m 中，如果b i = 0 ，则现象s i 从来不会在问题p m 的绐 鬃滋理。蛰莱b i = l ，则现象s i 慧是体鸯鲻遂p m 熬结莱爨褒。基于编码戆方法逮道 辩事件知识模勰的预处理，降低了进行稻芙性分析的复杂性。根据w 鼹察到的告警 集合对故障进行编码，称为编码手册。在能区分故障的前提下，编码手册尽可能鬻 小，这可以减小监控对象，掇商效率。在性能和健壮性方面基于编码验方法都是不 镶的选择，毽麓它对丽络对象豹模墅褐建要塞疆离，酝菝对予复杂魏缀毫静阏络一 般不采用该办法。 6 1 人工神缀网络方法 人工j 孛经娜络在医疗诊凝、多传感器嚣标跟踪、黟像、数据蕊镶己毒残臻瓣 掰。在入工秤疑弼络中，张经元被分成了死层，每一联输出是下一层的输入。这 个模型有单独一个输入和单独一个输出，有一个或更多的隐含层。网络中所有连接 都是向前的方向，没有反馈。如果给定前馈网络足够多的神经元，它可以逼近任何 个丞数，霞摇布尔基数秘分类器，兹镶瓣络霹淡鼠徐入颓辕塞中游习一羧就戆戆 识，因此它具肖学习功能。遮使神经网络在训练不同的告警模式对嶷有足够的灵活 性。另一种处理告警相关性的神经网络方法是利用神经网络去处理a 线性动态系统 瓣行为，此对襻经网络基予辩过去系统栽察窝系统当裁静状态寒预测系统的行为。 旗予神经网络的方法具育瞧好的自学习麓力，丽且对输入的数据熬有较鲟的容镄 蚀，但神经网络需要过多的训练，在电信网络告警中很难找到好的训练数据。 7 1 数据挖掘方法 数据挖羯怒通过分褥，获大量静螽史数搽孛发蠛套耱各器的模戏，它是墓予漤 去事例的泛化的一种归纳学习。将数据挖掘中的关联规则发现技术厢于分析历史告 警数据，可发现告警相关性规则。根据发现的规则，求分析和预测网络元件可能出 琉躲故障，可减轻了网络警壤员静工作强度，提高了工作效率。数搬控握可以遥涟 分析己有豹警告信怠豹正确憝理方法班及臀告之闻静蒋居关系的记添，得虱警告之 间的关联规则，这些有价值的信息可用于网络故障的定位检测和严蘸故障的预测等 1 2 第二章告警管理与数据挖掘 等任务中。根据当前的警告信息，就可以得到其后续发生各种情况的可能性，对危 险事件可以起到预防的作用，从而使通信网络得以安全运转。数据挖掘方法的优点 是不需要知道网络拓扑结构关系，当网络拓扑结构发生变化时，可以通过告警的历 史记录进行分析，自动发现新的告警相关性规则，因此基于数据挖掘告警相关性系 统能够可以很快调整适应一些变化快的通信网络，解决通信网络中出现的新问题。 通过以上告警相关性研究方法，我们可以看到基于数据挖掘的方法在电信网络 变化时有较好的适应性。 2 2 数据挖掘介绍 数据库技术的进步使得数据的收集和存储变得越来越容易，但数据规模的爆炸 性增长，远远超出了人们的处理和理解能力。使用传统的方法己经不能从数据中发 现其所隐含的知识。数据挖掘就是从大量的数据中发现和提取有用知识的过程，数 据挖掘能够发现未知的知识，区别于那些先提出假设再进行验证的数据处理方法。 数据挖掘正在目益得到各界的重视并广泛应用于各个领域。 2 2 1 数据挖掘概述 数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识，这些知识是隐含 的、事先未知的、潜在有用的信息，提取的知识表示为概念、规则、规律、模式等 形式。由于数据挖掘是一门受到来自各种不同领域的研究者关注的交叉性学科，因 此导致了许多不同的术语名称。除了数据挖掘外，主要还有如下若干种称法：“知识 抽取”、“信息发现”、“智能数据分析”、“探索式数据分析”、“信息获取”、“数据考 古”、“数据库中的知识发现”等等。其中，最常用的术语是“知识发现”和“数据 挖掘” 1 8 】。相对来讲，数据挖掘主要流行于统计界、数据分析、数据库和管理信息 系统界，而知识发现则主要流行于人工智能和机器学习界。 简单地说，数据挖掘就是从大型数据库或数据仓库中储存的大量的、不完整 的、有噪声的数据中发现潜在的、有价值的、有趣知识的过程。提取的知识一般可 以表示为概念、规则、规律、模式等形式。数据挖掘所研究的知识发现，不是要求 发现放之四海而皆准的真理，也不是要去发现全新的科学定律。实际上，它所发现 电子科技大学硕士学位论文 的知识都是相对的，都是有特定前提和约束条件的。它必须面向特定的应用领域， 同时发现的知识还要易于被用户所理解。 数据挖掘所能发现的知识有如下几种【2 6 】：广义型知识，反映同类事物共同性质 的知识。特征型知识，反映事物各方面的特征知识。差异型知识，反映不同事物之 间属性差别的知识。关联型知识，反映事物之间依赖或关联的知识。预测型知识， 根据历史的和当前的数据推测未来数据。偏离型知识，揭示事物偏离常规的异常现 象。所有这些知识都可以在不同的概念层次上被发现，随着概念树的提升，从微观 再到宏观，以满足不同用户、不同层次决策的需要。 2 2 2 数据挖掘分类 从不同的角度看，数据挖掘技术有几种分类方法：根据发现知识的种类进行分 类，根据挖掘的数据库的种类进行分类和根据采用的技术分类【1 8 。 1 ) 根据发现知识的种类分类。 这种分类方法有：总结( s u m m a r i z a t i o n ) 挖掘、特征( c h a r a c t e r i z a t i o n ) 挖掘、关联 ( a s s o c i a t i o n ) 挖掘、分类( c l a s s i f i c a t i o n ) 挖掘、聚类( c l u s t e r i n g ) 挖掘、趋势( t r e n d ) 分 析、偏差( d e v i a t i 0 1 1 ) 分析、模式( p a t t e r n a n a l y s i s ) 分析等。如果以挖掘知识的抽象层次 划分，又有原始层次( p r i m i t i v el e v e l ) 的数据挖掘、高层次( h i g hl e v e l ) 的数据挖掘和 多层次( m u l t i p l el e v e l ) 的数据挖掘。 2 1 根据挖掘数据库的类型分类。 数据挖掘基于的数据库有：关系事务型( r e l a t i o n a lt r a n s a c t i o n a l ) 、面向对象型 ( o b j e c t o r i e n t e d ) 、主动型( a c t i v e ) 、空间型( s p a t i a l ) 、文本型( ( t e x t ) 、多媒体( m u f t i m e d i a ) 、异质( h e t e m g e n e r o u s ) 数据库等等。 3 1 根据采用的技术，最常用的数据挖掘技术有： a ) 人工神经网络，它从结构上模仿生物神经网络，是一种通过训练来学习的 非线性预测模刑。可以完成分类、聚类、特征挖掘等多种数据挖掘任务。 b ) 决策树，它用树型结构来表示决策集合。这些决策集合通过对数据集的分 类产生规则。典型的决策树方法有分类回归树。 c ) 遗传算法，它是一种新的优化技术，基于生物进化的概念设计了一系列的 过程来达到优化的目的。这些过程有基因组合、交叉、变异和自然选择。 1 4 第二章告警管理与数据挖掘 为了应用遗传算法，需要把数据挖掘任务表达为一种搜索问题而发挥遗传 算法的优化搜索能力。 d 1 最邻近技术，这种技术通过k 个与之最相近的历史记录的组合来辨认新的 纪录。也称k 最邻近方法。这种技术可以用作聚类、偏差分析等数据挖掘 任务。 e 1 规则归纳，通过统计方法归纳、提取有价值的i f - t h e n 规则。规则归纳的技 术在数据挖掘中被广泛使用，例如关联规则挖掘。 0 可视化，采用直观的图形方式将信息模式、数据的关联或趋势呈现给决策 者，决策者可以通过可视化技术交互式的分析数据关系。 2 。2 3 数据挖掘步骤 数据挖掘是指一个完整的过程，该过程从大型数据库或数据仓库中挖掘先前未 知的、有效的、可实用的信息，并使用这些信息做出决策或丰富知识。数据挖掘由 以下过程或步骤组成j ： 1 ) 数据准备，这个阶段又可进一步分成4 个子阶段：数据清理、数据集成、数据 选择和预分析、数据变换。数据清理就是消除噪声或不一致数据。数据集成将多文 件或多数据库运行环境中的数据进行合并处理，建立统一的数据视图。数据选择就 是从数据库中检索与分析任务相关的数据；预分析的目的是辨别出需要分析的数据 集合，缩小处理范围，提高数据挖掘的质量。数据变换就是把数据变换或统一成适 合挖掘的形式，如通过汇总或聚集操作。 2 1 挖掘，这个阶段进行实际的挖掘操作，使用智能方法提取数据模式。包括：决 定如何产生假设；选择合适的工具；挖掘知识的操作；证实发现的知识等。 3 1 知识表述，使用可视化和知识表示技术，根据最终用户的决策目的对提取的 信息进行分析，把最有价值的信息区分出来，并且通过决策支持工具提交给决策 者。 4 1 评价，如果分析人员对结果不满意，可以重复上述三个过程，直至满意为 i e 。 电子科技大学硕士学位论文 2 3 告警数据挖掘 在存储了海量告警数据背景下，导致某一故障发生时的特征属性值及属性之间 的关系可能会有某种规律存在，这与数据挖掘技术中的规则相吻合。数据挖掘技术 中的关联规则反映一个事件和其它事件之间依赖或关联的知识，如果两项或多项属 性之间存在关联，那么其中一项的属性值就可以依据其它属性值进行预测，为a = ，b 的形式。 利用数据挖掘方法，找到这样的规则，根据规则将很容易地将未知故障数据归 类。告警数据蕴涵了许多与电信网络有关的有用信息主要是告警数据属性间存在关 联关系和告警在时间上存在偏序关系 6 】。数据挖掘这是告警关联分析中很有效的一 种方法，使用数据挖掘隐藏的告警数据属性间的关联模式和告警序列模式。 2 3 1 告警数据特征 电信系统中的每个设备每天发生成千上万的告警。这些告警信息包含的内容各 不相同，有些告警关心逻辑概念上的问题，如虚拟路径，有些告警关心物理设备， 如电源供应，有些告警报告明显的错误，如信号丢失，还有一些告警仅报告一个高 错误率，而不指明原因 2 4 】。 我们将告警a 的出现看作一个四元组( c ，a ，p ，t ) ，其中c 是发出告警的网 络部件，a 是告警类型，p 是告警可能的其他属性，t 是告警a 的发生时间。时间是 由发送者记录的，告警的发送者可以是网络元素，也可以是管理对象。告警信息包 含了与问题有关的所有信息。当然，告警必须在其对应的发送者的背景下被解释。 通过对电信告警数据的分析，我们知道电信告警数据有如下特点：告警数据量 大，告警数据格式不统一，告警类型繁多。除了这些特性之外，电信告警数据中还 有一些其它特点： 1 ) 告警数据属性间存在关联关系 告警数据中包含许多属性，如告警设备、告警类型、告警时间、告警级别等。 这些告警属性间存在一些联系，如设备在特定时间段上的异常表现、设备经常产生 的告警等。这些特点体现的是告警属性间的关联关系。 2 ) 告警在时间上存在偏序关系 第二章告警管理与数据挖掘 告警在时间上的偏序关系不仅表现在设备间，在同一设备内有时也存在这种告 警发生的规