（通信与信息系统专业论文）网络告警动态加权关联规则挖掘算法的研究和实现.pdf

中文摘要 中文摘要 在通信网管理中，故障管理是一个重要且难度很大的任务，而故障管理的关 键和难点是故障诊断，它依赖于故障诊断的相关知识，尤其是告警信息与故障的 关联知识。这些知识可来源于对网络产生的大量告警信息的分析，因而故障诊断 是告警信息分析的目的，而对告警进行分析是实现故障诊断的必经途径。目前在 电信故障管理中对告警流的处理主要是采用告警关联系统，它是用于分析告警数 据的专家系统。然而通信网本身的复杂性以及动态变化的特点导致获取必要的知 识来为某个特定网络构建一个告警关联系统是十分困难的。本文以国家自然科学 基金项目基于数据挖掘的通信网告警相关性分析为背景，重点研究了网络告 警加权关联规则挖掘，包括告警预处理、关联规则增量挖掘、频繁告警序列的加 权处理、规则的搜索算法以及网络告警关联规则挖掘系统的仿真验证。 本文提出了告警预处理系统包括告警信息的整理与提取、告警时间同步处理 和告警清洗的功能。告警信息的整理与提取将告警中有用的、能够反映故障特征 的告警属性字段提取出来并整理成形式简单、利于进行数据挖掘的告警事务项。 引入了时间窗口和滑动步长的概念来进行告警时间同步处理，一个时间窗口内的 告警看作是告警事务数据库中的一个告警事务。通过告警压缩的方法可以清除同 一告警事务内的冗余告警信息。最后提出了告警数据的清洗对挖掘过程产生的积 极意义。 告警关联规则挖掘以及增量更新是该系统的核心。本文在现有的关联规则挖 掘算法的基础上，针对网络告警具有告警信息量大、告警具有时间流动的动态特 性等特点提出了一种基于枚举树的告警关联规则挖掘算法，提高了数据增量更新 的挖掘效率，为网络故障的及时处理提供了一条有效的解决途径。更重要的是， 该算法采取逐一枚举频繁项的思想为接下来的各种加权提取算法提供了发挥的空 间。 告警频繁项的加权处理是要将数据挖掘中的频繁项概念结合到网络告警相关 性分析的具体实践中。文章重点阐述了拓扑加权算法，该算法结合网络告警设备 的拓扑特征，使得加权的告警序列更具可读性。最后提到如何将加权算法集成到 枚举树算法中。 在规则后处理算法的讨论中，文章创新性的提出了一种基于规则前件的搜索 i 中文摘要 算法，递归的使用树形结构查找出以固定的加权频繁告警项作为日百件的所有告警 关联规则，为全面分析告警关联提供有力工具。 本文在实现了网络告警关联规则挖掘系统后，通过模拟产生网络告警数据对 系统进行了仿真验证并对结果对比分析。仿真结果充分证明了该系统对于告警关 联分析的实用性。 关键词：网络故障管理，数据挖掘，关联规则动态更新，告警序列拓扑加权，规 则搜索算法 i i a b s t r a c t a b s t r a c t i nt h ea r e ao fc o m m u n i c a t i o nn e t w o r km a n a g e m e n t ，f a u l tm a n a g e m e n ti sa n i m p o r t a n ta n dc h a l l e n g i n gt a s k t h es t i c k i n gp o i n ti n f a u l tm a n a g e m e n ti sf a u l t d e t e c t i o n ，w h i c hr e l i e so nt h ek n o w l e d g ea b o u tf a u l t s ，e s p e c i a l l y , a b o u tt h er e l a t i o n b e t w e e na l a r m sa n df a u l t s t h i sn e c e s s a r yk n o w l e d g ec a nb e a c q u i r e dt h r o u g h a n a l y z i n ga n di n t e r p r e t i n gt h ea l a r n li n f o r m a t i o n s of a u l tl o c a t i o ni st h ea i ma n da l a r m i n f o r m a t i o n a n a l y z i n g i st h e a p p r o a c h c u r r e n t l yt h em a i nm e a s u r ef o rf a u l t m a n a g e m e n ti su s i n ga l a r mc o r r e l a t i o ns y s t e m ，w h i c hi sa ne x p e r t i s es y s t e m b u tt h e c o m p l e x i t ya n dd y n a m i c so ft h ec o m m u n i c a t i o nn e t w o r kl e a d st oa c q u i r i n gn e c e s s a r y k n o w l e d g et oc o n s t r u c tac o r r e l a t i o ns y s t e mf o ras p e c i a ln e ti sv e r yd i 伍c u l t w i t ht h e b a c k g r o u n do ft h ep r o j e c t ，t h ea l a r l t lc o r r e l a t i o ni nc o m m u n i c a t i o nn e t w o r k sb a s e do n d a t am i n i n g ，t h a ti ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a ，t h i s t h e s i sf o c u s e do nm i n i n ga l a r ma s s o c i a t i o nr u l e si nn e t w o r k s i n c l u d i n gt h ea l a r m s p r e p r o c e s s ，i n c r e m e n t a lm i n i n ga s s o c i a t i o nr u l e s ，t h el a r g e i t e m s e tp o s t w e i 曲e d ， s e a r c h i n ga l g o r i t h no fr u l e sa n dt h es i m u l a t i o na n dv a l i d a t i o no ft h es y s t e mo fm i n i n g w e i g h t e da l a r ma s s o c i a t i o nr u l e si nn e t w o r k s t h ea l a r m sp r e p r o c e s si sc a r r i e do u tb yt h r e ek i n d so ff u n c t i o n s t h ep r o b l e mo f a l a r i n ss y n c h r o n i z a t i o nw a ss e r l e db ys e t t i n gt i m ew i n d o wa n ds l i d el e n g t h t h e a l a r m si nt h es a m et i m ew i n d o w sw e r er e g a r d e da sa na l a r mt r a n s a c t i o n t h ea t t r i b u t e s o ft h ea l a l t nt h a tr e f l e c tt h ef a u l t sw e r ep i c k e do u tt of o r ma ni t e mo fa na l a r m t r a n s a c t i o n t h er e d u n d a n ta l a r m sw e r eg o t t e nr i do fb ya l a r mc o m p r e s s i n g i nt h ee n d ， t h e s i sp r o p o s e sw h a td a t a c l e a nm a k ec o n t r b u t i o nt od a t am i n i n gp r o c e d u r e a l a r mc o r r e l a t i o nm i n i n ga n di t si n c r e m e n t a lm i n i n gi sc o r er e s e a r c ho ft h e s i s b a s e do nr e a d y - m a d em i n i n ga l g o r i t h mp r o p o s e sa ne m u m e r a t et r e es t r u c t u r et oh a n d l e m a s s i v ea n dd y n a m i ca l a r n ld a t aw h i c hi m p r o v ed a t am i n i n ge f j i e n c ya n dc o u l db e u s e f u lt o1 a c a t en e t w o r kf a u l to nt i m e t h em o s ti m p o r t a n tt h i n gi st h a ts u c ha n a l g o r i t h mb r i n g sw e i g h t e dp r o c e d u r et o 朋1r e i ni np o s t p r o c e s s t h ew e i g h t e d _ p r o c e s sa i ma ts o r t i n go u tl a r g ei t e m s e ta c c o r d i n gt o s p e c i f i c n e t w o r ke n v i r o n m e n t e x i s t i n gs e q u e n t i a ld a t am i n i n gt e c h n i q u e sa d d r e s st h et a s ko f i d e n t i f y i n gp o s s i b l ec o r r e l a t i o n si ns e q u e n c e so fa l a r m s t h eo u t p u ts e q u e n c es e t s h o w e v e r ，m a yc o n t a i ns e q u e n c e sw h i c ha r en o tp l a u s i b l ef r o mt h ep o i n to fv i e wo f n e t w o r kt o p o l o g yc o n s t r a i n t s t m sp a p e rp r e s e n t sat o p o l o g y - w e i g h t e da p p r o a c hw h i c h e x p l o i t sn e t w o r kt o p o l o g yi n f o r m a t i o nt om i n ea l a r m sa n dh o wt oi n t e g r a t es u c h m e a s u r e m e n ti n t om i n i n ga l g o r i t h m a sa ne f f f e c t v et o o l ，a l a r mc o r r e l a t i o nr u l es e a r c h i n ga l g o r i t h mp r o v i d ea n a p r o a c ht od i s c o v e ra s s o c i a t i o n t h ea l g o r i t h mt a k e sa d v a n t a g eo fg r a p h i ct h e o r yt o s e a r c ha l lt h er u l e sb a s e do nf i x e dp r e c o n d i t i o n i i i a b s t r a c t t h es i m u l a t i o na n dv a l i d a t i o no ft h es y s t e mo fm i n i n gw e i g h t e da l a r ma s s o c i a t i o n r u l e si nn e t w o r k si n d i c a t e st h a ti tc a l lf i n do u te f f e c t i v ea l a r mr u l e sw h i c hr e f l e c tt h e f a u l t si nn e t w o r k sr a p i d l y i ti sa l s ov a l i d a t e dt h a tt h es y s t e mw h i c hp r o v i d e st h eu s e r t h ec o m p a c ta l a r mr u l e sw i t hc o m p l e t ei n f o r m a t i o ni sv a l u a b l ea n du s e f u lt ot h ea l a r m c o r r e l a t i o na n a l y s i sa n df a u l td i a g n o s i sa n dl o c a l i z a t i o ni nn e t w o r k s k e y w o r d s ：n e t w o r kf a u l tm a n a g e m e n t ，d a t am i n i n g ，i n c r e m e n t a lm i n i n ga s s o c i a t i o n r u l e s ，t o p o l o g y - w e i g h t e d ，r u l es e a r c h i n g i v 图目录 图目录 图2 1 故障处理流程9 图2 2 数据挖掘在通信网中的应用18 图2 3 数据挖掘应用模型2 0 图3 1 告警相关性分析系统的整体部署2 1 图3 2 增量更新关联规则挖掘系统模型2 2 图3 3 预处理模块的设计2 5 图3 - 4 告警时间窗口2 6 图3 5 告警交易2 8 图3 - 6 告警交易窗口更新3 0 图3 7 告警权值的层次结构3 2 图3 8 判断矩阵3 3 图3 - 9e t r e e 示例数据结构3 7 图3 1 0 结点数据结构3 7 图3 1 1 噪声门限为2 时，生成各k 项生成时间4 2 图3 1 2 枚举树更新后的一、二层节点4 3 图3 1 3e t r e e 增量更新示例4 5 图3 1 4 加权频繁项提取过程4 6 图3 1 5 一个简化的网络构架4 8 图3 1 6 频繁项关联图5 2 图3 1 7 扩展树结构5 5 图4 1 简单网络拓扑结构5 7 图4 2 告警表的实例5 8 图4 3 预处理对数据的影响5 9 图4 4 告警交易实例6 0 图4 5e t r e e 与a p r i o r i 的比较6 0 图4 6e t r e e 更新算法的效率6 0 图4 7 预处理对挖掘算法的影响6 1 图4 8 窗口大小6 0 秒对应两种门限的挖掘结果6 2 图4 9 窗口大小6 0 秒对应两种门限的挖掘结果6 3 图4 1 0 类型2 与类型3 规则数对比6 4 图4 1 1 特定模式下类型2 与类型3 规则数对比6 5 图4 1 2 网络告警关联规则挖掘系统的图形化界面6 6 图4 1 3t w 值的设定6 7 图4 1 4 单项告警权值的确定6 7 图4 1 5 告警清洗过程6 7 图4 1 6 实例演示功能6 8 v i i 表目录 表目录 表2 1 几个告警实例8 表3 1 告警表格式2 3 表3 2 几个告警实例2 4 表3 3 关联规则实例2 9 表3 41 9 标度的含义3 3 表3 5 平均随机一致性指标r 上3 4 表3 - 6 更新处理过程4 3 表3 7 告警关联表4 8 表3 8t w 算法4 9 表3 - 9 长告警序列t w 生成算法5 0 表4 1 告警数据表结构5 8 v i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其它人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 主勉五 日期：年月 e l 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名： 主包：导师签名： 日期： 2 年月日 第一章绪论 1 1研究背景和意义 第一章绪论 近些年来随着网络通信的普及以及i t 技术的不断发展和成熟，现代电信网络 呈现出高速化、数字化、综合化、标准化的特点。首先，网络传输的速率越来越 高，容量越来越大，能满足日益增长的高速数据传输、高速文件传输、可视电话、 会议电视、宽带可视图文、高清晰度电视及多媒体功能终端等新型交互式业务发 展的需要。其次，不论原始信号是话音、文字、数据还是图形、图像都先在终端 上转换成数字信号，然后，通过数字信道送入网络，由网络将这些数字信号传递 到通信另一方的终端设备。再次，除了传送电话等传统业务外，还能够传送各种 宽带业务( 例如可视电话、会议电视、高速数据传输) 、检索型宽带业务( 例如图像 检索、数据检索) 、闭路分配型宽带业务( 例如图像分配) 、广播型分配宽带业务( 例 如广播图像、高清晰度电视等) 。最后，不同的业务和终端可经过同一接口入网。 借助于这个多功能接口，所有业务可采用同一个编号计划。因此，管理具有上述 几方面特点的现代通信网，其难度是可想而知的。网络管理的重要性就不言而喻 了，而网络告警作为网络管理对象最重要的标识便成为网络管理的核心内容。在 网络的运营管理和维护中，当网络出现故障时，常常要求必须在最短的时问内， 正确地判断出网络故障所在的位置、故障的类型和引起故障的原因，以便及时对 故障进行修复。现代网络本身非常庞大，由各种不同的部件构成，产生的告警类 型极为丰富，不同的网络之间存在较大的差异。此外，网络还会频繁地发生改变， 比如功能部件的增添、修改、替换等。告警出现的突然性和不可预测性很强，致 使准确、及时地分离和定位产生告警的根源非常困难。 网络告警相关性分析便应运而生。目前主要采用告警关联系统对网络产生的 告警信息进行相关性处理，它是用于分析告警数据的专家系统，其主要作用就是 通过对来自一个或多个告警源的告警信息进行过滤、压缩、泛化、分类和规则模 式的匹配来进行网络的故障预测和定位。这些工作过去通常是凭借管理人员长期 积累的经验和相关知识来解决的，但由于构成网络的网元设备、网络业务、甚至 网络结构都处在不断地变化中，告警发生的模式以及告警之间的关联性也会相应 地变化，这就给网络管理人员建立告警相关性模型带来了极大的难度。 电子科技人学硕十学位论文 数据挖掘技术凭借计算机强大的运算能力缓解了这一矛盾，现在该技术币逐 步运用于网络管理这一领域之中。数据挖掘是从大量的、不完全的、有噪声的、 随机的数据中提取隐含在其中的、人们事先不知道的但又是有用的信息和知识的 过程。数据挖掘的方法有很多，如关联规则、专家系统、神经网络、贝叶斯网络 等等，其中基于关联规则的告警相关性分析是目前研究的热点。关联规则相关性 分析可以对网络中产生的大量动态告警数据进行分析和研究，挖掘出其中隐含的 知识并应用于网络故障管理中。在对大量告警数据进行告警相关性分析时，不管 网络结构、设备怎样发生变化，从告警序列中挖掘到的知识都可以较为准确地反 映当前网络的故障情况。根据这些从告警序列中挖掘到的知识，为网络告警数据 的分析提供一个可行的解决方案。结合网络管理员、网络专家的经验，将分析结 果应用到告警相关性分析系统中，以实现网络故障的识别和重大网络故障的预测。 本课题对网络告警相关性分析中的动态关联规则挖掘算法进行了深入的研 究，针对网络告警时态的不断变化以及网络拓扑结构的独特性，提出了适应于现 代通信网的告警关联规则动态更新算法和对应于具体网络结构的规则生成算法。 因此，对本课题的研究意义在于能反映告警关联规则的时效性，加之针对网络结 构独特性采取不同的规则提取策略，更能生成准确的告警关联规则。这对网络故 障定位和故障预测提供了全面的、科学的手段。动态关联规则挖掘应用到网络告 警相关性分析系统中，是数据挖掘的一个新应用领域。所以，本课题的研究不仅 具有一定的科学前瞻性和挑战性，还具有十分重要的实际应用价值。 1 2课题来源 本课题来源于国家自然科学基金项目基于数据挖掘的通信网告警相关性分 析+ 。正如上文所介绍的，随着网络的不断发展，其规模越来越大，网络的复杂 性也随之增加。因此网络管理是现代网络运营和维护的重要方面，而对网络故障 的管理又是网络管理的核心部分。人工进行故障管理的方式已经在日益复杂的网 络中体现出了明显的不足，计算机用于网络管理在实际中已经得到了很好的应用。 故障诊断专家系统就是计算机应用于网络故障管理的很好的一个例子。但是，专 家系统的不足在于它的效率和性能完全依赖于专家的经验和知识，不能进行知识 的实时更新和自学习功能，在知识获取方面是一个很大的瓶颈。数据挖掘是目前 的一个新型学科，也是众多学者研究的热点。根据网络告警数据量大、告警相关 基金编号：6 0 5 7 2 0 9 1 2 第章绪论 性分析的规则实际隐含在众多的告警数据中等特点，我们提出了基于数据挖掘的 告警相关性分析方法，研究设计了告警关联规则挖掘系统并对系统进行了仿真验 证。本课题是一个理论与应用相结合的课题。 1 3国内外研究现状和发展趋势 故障诊断与定位是网络管理的核心，当网络发生故障时，要求及时找到网络 发生故障的位置和故障原因，以便快速的排除故障，恢复网络的功能。告警相关 性分析是网络故障诊断的重要手段之一。由于网络故障管理的重要性，告警相关 性分析技术一直是网络管理领域的研究热点。国内外各大公司、研究机构和高等 院校都投入了大量的人力和物力开展研究，并取得了一系列具有应用价值的研究 成果【1 。】，许多成果已经转化成产品，如文献 1 2 中提到的惠普公司的e v e n t c o r r e l a t i o ns e r v i c e s ，i b m 公司的n e t f a c t 等等。告警相关性分析的作用在于消除 告警冗余，进一步找到故障根源以便进行故障的快速定位和排除。告警相关性分 析采用的方法很多，如基于规则的告警相关性分析、基于案例的告警相关性分析 等等。 数据挖掘为告警相关性分析提供了新的途径，从告警数据库中可以挖掘出蕴 含在大量告警中的关联规则，利用这些规则对原始告警数据进行告警过滤和相关 性分析，达到故障诊断和定位的目的。h e i k k im a n n i l a 等人开发的t a s a 系统【2 】【3 】 是近年来告警相关性分析研究中取得的一系列成果的代表，在该系统中提出了告 警频繁情节的核心算法w i n p e i 算法【1 3 】。关联规则挖掘的核心是快速、高效的挖 掘算法，这些算法中最具代表性的是r a g r a w a l 等人提出的a p r i o r i 算法【1 4 】和j i a w e i h a n 等人提出的f p g r o w t h 算法以及在这两类算法基础上的改进算法【1 6 】【1 刀【18 1 。 然而，这些都是针对静态的告警数据提出的关联规则挖掘算法，不符合网络动态 变化的特征，并且对通信网的特点考虑较少。本文着眼于通信网告警数据动态变 化的特点基于网络的具体结构对告警关联规则算法进行深入的研究，最后加以改 进。 目前已有的关联规则挖掘算法绝大多数都是对静态的数据库挖掘，对增量更 新的动态数据库的适应力较差。在该领域内，关联规则增量更新算法的成果寥寥 无几，其中基于a p r i o r i 算法衍进的f u p 1 9 1 、f u p 2 t 2 0 1 是为数不多比较成功的例子。 然而他们与a p r i o r i 算法一样都有一个共同的特点就是需要多次扫描数据库，效率 不高，对系统资源消耗过高。另一方面，在对告警数据库的关联规则挖掘算法的 3 电子科技人学硕十学何论文 研究中，所有算法不一例外的采取对单一告警加权的方式，如基于m i n w a l ( o ) 算法【2 l 】的加权关联规则算法，缺乏对告警序列的整体关联程度的考虑。针对上述 两方面的缺憾，本文均进行了细致入微的研究。 国内外许多电信行业公司在自己的电信商业智能解决方案中，都提到了把数 据挖掘技术应用于其中，并把数据挖掘应用到网络故障管理。利用数据挖掘来发 现告警数据中隐藏和蕴含的知识，是网络告警相关性分析的新方法，也是数据挖 掘的新应用。目自仃，国内总体尚处于理论探讨、应用试验阶段，还没有完全成熟 商用的产品成规模地投入使用。对于告警数据库的动态挖掘的研究才刚刚起步。 1 4本文主要工作及创新点 本文对网络告警相关性分析系统中的动态关联规则挖掘算法进行了深入的研 究。通过对网络告警数据库的预处理，清洗、压缩无用数据、冗余数据，在核心 模块中采用关联规则增量更新算法及时对关联规则更新，最后针对具体网络的特 征优化告警关联规则，并且提出一种基于图论的关联规则搜索算法。该系统的运 用对有效定位故障源和预测网络故障提供了有用的工具。本文研究的主要方向如 下： ( 1 ) 在告警的预处理过程中，通过对网络告警的压缩和清洗，提炼出对产生告 警关联规则有益的信息，同时解决了网络告警数据库中数据冗余、数据错 误和数据不同步的问题。最终，预处理过程将告警数据转化成关联规则挖 掘算法能使用的数据形式，即告警交易数据库( 告警序列数据库) 。 ( 2 ) 对关联规则增量更新算法的研究。在网络告警数据库中采用增量更新的关 。 联规则挖掘算法结合了告警数据动态变化的特性，提高了数据挖掘的效 率。 ( 3 ) 对于生成告警关联规则的研究。结合网络拓扑特性提出一种有效的规则提 取算法大大提高告警序列的网络相关度；基于图论的关联规则搜索算法显 着缩减了规则搜索的时间和增强了规则的有效性。 ( 4 ) 对系统进行了全面实施，由测试结果得出研究结论，并对未来的工作进行 展望。 4 第一章绪论 1 5论文章节安排 本文首先介绍了网络故障管理、数据挖掘和关联规则挖掘在网络管理中的应 用。接着研究设计了网络告警关联规则挖掘系统，包括告警数据库预处理的研究 设计、告警关联规则增量更新挖掘算法的研究和关联规则优化处理算法的研究。 最后对网络告警关联规则挖掘系统进行了实施验证。全文分为五章，具体安排如 下： 第一章，概述了网络告警加权关联规则挖掘的研究背景和意义，指出了国内 外的研究现状和发展趋势。 第二章，介绍了网络故障管理和告警相关性分析的基本概念和理论，指出了 数据挖掘技术尤其是关联规则挖掘技术在网络故障管理应用中的必要性和可行 性。 第三章，研究和设计了网络告警关联规则挖掘系统。研究内容包括：告警数 据库预处理过程的研究与设计、告警关联规则增量更新挖掘算法的研究以及关联 规则优化算法的研究。 第四章，对本文研究设计的网络告警关联规则挖掘系统的测试、仿真和验证。 第五章，对全文的工作进行了总结，并对本研究课题未来的发展趋势和方向 做进一步展望。 5 电子科技人学硕+ 学位论文 第二章网络告警相关性分析与数据挖掘 2 1通信网故障管理机制 2 1 1概述 故障管理是网络管理中最基本的内容之一。故障管理的目的在于确保网络系 统的高稳定性。在网络出现故障时，故障管理系统必须及时发现故障部位。故障 管理的日常工作包含对所有节点动作状态的监控、故障记录的追踪与检查，以及 平常对网络系统的测试。 故障管理功能以监视网络设备和网络链路的工作状况为基础，包括对网络设 备状态和报警数据的采集、存储，可以实现报警信息通知、故障定位、信息过滤、 报警显示、报警统计等功能。故障管理可以统一不同网络设备的告警格式，并将 其显示在图形界面上，通过对告警信息进行相关性处理，确定告警发生地的管理 归属等；除此之外，故障管理还可根据用户需要保存所有告警信息，同时可产生 各种故障统计、分析报告。 现代通信网络的可靠性是实现网络系统功能的基础。当网络中某个组成部分 失效时，网络管理员必须迅速查找到故障并能及时给予排除。通常网络故障产生 的原因都比较复杂，特别是故障的产生是由多个网络共同引起时。因此，要求网 络管理员必须具备较高的技术水平及业务素质，同时还应该积累了丰富的实践经 验。故障排除后必须认真分析网络故障产生的原因。分析故障原因是防止类似故 障的再次发生的基本环节，相当重要。网络故障管理包括故障检测、隔离和纠正 三个方面，主要包括以下内容： ( 一)网络维护及错误日志检查。 ( 1 ) 网络故障报告使用多种网络故障监控方式监控网络的整体运行情况。 ( 2 ) 对于网络中的重要机器、设备进行运行状态的重点监视。 ( 3 ) 检查网络设备的错误日志，分析错误原因。 ( - - )网络故障报告。 ( 1 ) 通过各种途径报告网络故障，报告方式包括使用颜色、声音、日志、 触发机制等。 6 第二章网络告警相关性分析与数据挖掘 ( 2 ) 网络故障自动告警，具有自动通知的手段，包括寻呼机、手机、电子 邮件等方法。 ( 3 ) 根据网络故障的危害程度将报警指示分级管理，系统根据故障级别做 出不同反应。 ( 三)接收错误检测报告并做出响应。 ( 1 ) 分析设备故障情况，制定排错方案。 ( 2 ) 启用备用线路或设备，进行故障隔离。 ( 四)跟踪、辨认故障。 ( 1 ) 进行故障追踪定位。 ( 2 ) 确认故障类型及性质。 ( 五)执行诊断测试。使用各种故障诊断工具，分析故障性质。 ( 六)错误纠正。根据故障分析结果，制定并实施解决方案。 ( 七)故障分析预测。根据网络系统故障的类型及发作频度，分析故障产生 的原因，预测将来网络故障的发作趋势。 ( 八)历史告警查询统计。建立故障报警数据库，通过对历史故障告警资料 的统计分析，寻找网络故障发生的规律，建立故障预防体系。 对网络故障的检测，是依据对网络组成部件状态的检测。不严重的简单故障 通常被记录在错误日志中，并不作特别处理。而严重一些的故障则需要通知网络 管理员，即所谓的“故障报警”。一般情况下，网络管理员应根据有关信息对告警进 行处理、排除故障。当故障比较复杂时，网络管理员应执行一些诊断测试来辨别 故障原因。 2 1 2 告警数据管理 一个通信网络可以看成是由相互连接的部件组成交换机、传输设备、动力设 备等。每个部件又包含一些子部件。分析的层次不同，部件的数量也不相同。一 个本地通信网包含上万个部件。在通信网的运行过程中，网络中的每一个部件和 软件模块都可能产生告警，这些告警描述了某些异常情况的发生。一个网络所发 出的告警数量是相当可观的，甚至在一个小的局部通信网络中，也可能存在成千 上万个不同类型的告警。 在网络管理领域，故障被定义为产生功能异常的原因，是产生告警事件的原 因。告警是在特定事件发生时被管对象发出的通报构成的一种事件报告，用于传 递告警信息。它是生产厂商定义好的，并且是通过网络中的设备产生的，是一个 一7 电子科技人学硕十学位论文 系统发出的消息，表示其发生了某种事情或异常，最终被网络管理人员观察到。 理想的告警信息应包含有关故障设备名称、故障症状、发生部位、发生时间、发 生原因等信息。但绝大部分告警都只有有关经历故障的设备名称、故障症状、发 生时间等数据域，而没有提供识别故障必须的故障发生的详细地点和发生原因等 数据域。如表2 1 是几个告警的实例。需要特别提醒大家的是，告警通常并不明显 包含网络中故障和问题根源的确切位置信息，当网络中出现故障时，会引发一系 列告警，但并不是所有告警都表明故障原因，这就需要通过分析网络产生的所有 告警来判断故障的根本原因。需要注意的是，告警仅仅是反应网络状况发生改变 的征兆，这就是说，通常是故障产生了告警，一个故障可能是另一个故障的根源， 但一个告警绝对不会产生出其它告警。 表2 1 几个告警实例 按照i t u 的标准，告警分为五级紧急告警、主要告警、次要告警、警告告警、 不确定告警。不同级别的告警处理方式是不一样的，故障的一般处理模式是： 首先网管监控系统收到各设备告警信息，在写入数据库的同时，向前台监控 机发消息，驱动前台监控机实时响铃和发光闪烁。 其次，监控中心值班人员在声光的提示下，对相关告警内容进行分析，包括 告警发生的时间、告警发生的紧急程度、告警发生的位置等。其中告警信息分为 需要分析处理和不需要分析处理两大类。不需要分析处理的告警可不作任何处理， 因此可以不显示、发声。需要分析处理的信息包括需要立即处理的信息和不需要 立即处理的信息。不需要立即处理的信息需要进行观察记录，以便找到变化规律 统一解决需要立即处理的信息都和故障有关。 再次，对于需要立即处理的信息分析是否直接给出故障源，对未给出故障源 r 第二章网络告警相关性分析与数据挖掘 的信息进行分析推出故障源，将故障定位之后需立即派单给相应的维护组，通知 维护组人员进行维护，维护人员提交维修报告给监控中心审核，监控中心根据处 理结果决定是否续派继续派给维护组维护、转派派给别的部门处理、还是销障归 档。故障处理流程如图2 1 所示： s t a r t 一一，一、 ：监控系统告警 n 西盘 图2 1 故障处理流程 9 电子科技人学硕十学位论文 2 2网络告警相关性分析与方法 2 2 1告警相关性分析的意义 在通信网络运行过程中，每天都会产生大量告警，由于各网管系统生产厂商 的不同，各厂商对告警格式和信息也不尽相同。而且，一种告警也许会引起其它 设备的告警，因此，告警的数量庞大且相互间的关系非常复杂，不可能完全靠人 工的判断来处理。如果能够建立告警相关性分析模型，并且通过使用适当的挖掘 工具来发现告警相关规则，就可以有效地压缩挖掘结果，提高规则的准确率，辅 助故障定位和告警过滤，以减轻网络管理员的工作强度，提高工作效率。 告警事件只能够表明可能有故障发生，并非一定有故障发生。资源的被管理 对象可以发出告警事件作为对系统当前发生异常的响应。告警事件包含了被管理 对象状态异常的信息。当网络中出现故障时，会引发一系列告警，但并不是所有 告警都表明故障原因，所以需要对网络中发生的告警事件进行相关性分析，才能 确定产生故障的根本原因。因此，告警相关性分析就是指对告警进行合并和转化， 并将多条告警记录合并成一条具有更多信息量的告警，形成能准确反应故障根本 原因的告警，并且可以准确定位故障。此外，告警相关性还可用于对产生多个告 警进行解释，这就为最初定义的告警事件增加了新含义。 2 2 2 告警相关性的定义 告警相关性分析是指对告警进行合并和转化，将多个告警合并成一条具有更 多信息量，能反应故障根本原因的告警，从而准确定位故障。告警相关性可以用 于对产生多个告警进行解释。 对告警相关性分析的形式化定义是：告警事件口与告警事件集合相关 q ，吃，) ，表示为口j ，5 2 ，) 。告警相关性分析可以用于网络故障定 位和告警过滤。 故障处理过程可以分为三个阶段：告警相关性( a l a r mc o r r e l a t i o n ) 分析、故障定 位( f a u l ti d e n t i f i c a t i o n ) 和故障验证( f a u l tv e r i f i c a t i o n ) 。前两个阶段通常认为是故障定 位的处理过程，通过对告警相关性进行分析，提出各种对故障情况的假设。最后 一个阶段是验证各种故障假设是否正确。 告警过滤是用来把非故障性告警过滤掉，保留主要的、根本性原因告警。在 网络故障管理领域，告警相关性分析有助于故障的实时诊断和故障定位。在现代 网络中，通过对一个共有的故障和状况造成的告警消息的相关性分析，可以减少 】0 第二章网络告警相关性分析与数据挖掘 操作人员所能看到的信息量。同时，剩下来的更加通用的消息将帮助操作维护人 员指出问题的根源。显然，信息太少和信息太多将同样是灾难性的，因此两者之 间的平衡将是重要的。理想情况下，一个具有告警相关性分析功能的故障管理系 统可以在没有专家帮助的情况下，判断问题根源，并采取相应的措施和自动发出 维护请求。告警相关性分析也可以用于协助网络规划和配置。 2 2 3告警相关性的类型 告警相关性类型一般分为 2 2 】： 1 )告警压缩：将发生的多个告警压缩到一个告警中。 a ，八，a 】ja 2 )告警过滤：如果告警a 的p ( a ) 值不属于合法值集合h ，则过滤掉告警a 。 a ，p ( a ) 正h 3 )告警抑制：在前提c 告警( 例如高优先级告警) 发生的前提下，抑制告警 a ( 例如低优先级的告警) 。： a ，c j 4 )告警记数：对重复到达同样的告警进行统计和设定门限值。例如，用一个 告警b 代替n 次出现告警a 。 【1 1 a 】jb 5 )告警泛化：用告警的超类代替该告警。 a ，acb b 6 )告警特化：用告警的特定子集告警代替该告警。 a ，a2 2 ) b b 7 )告警时序关系：( t e m p o r a lr e l a t i o nt ( b e f o r e a f t e r ) ) ： atb 】jc 相关的告警依赖于告警发生的时间顺序，告警a ，告警b 顺序发生时，就会 发生告警c 。 2 2 4 告警相关性分析的方法 目前，告警相关性分析的主要方法有基于范例的推理方法、基于规则的分析 方法、模糊逻辑方法、贝叶斯网络方法、编码方法、人工神经网络方法、数据挖 掘方法【2 3 】。 ( 1 )基于范例的推理方法 电子科技人学硕士学位论文 在基于范例推理的系统中，过去发生的一些典型范例被存储，用来帮助解决 新问题。当一个新问题被成功解决时，系统将它作为新的范例加入到范例库中， 以供将来使用。基于范例的方法是一种解决问题的策略，这种系统与专家系统的 不同之处在于其知识的基本单元是范例而不是规则。它是基于过去的经验和事例 来解决问题而不是运用该问题领域中的一般化知识，这样系统可以从自己解决问 题的经验中自动获取知识而不必从通信专家那获取知识。这种系统可以根据过去 出现的错误来自动改进自身，而且还可以通过调整过去的范例，来构建新的方法， 用来处理出现的新情况，但它的缺点是它总是与某一个特定应用领域紧密相关，