（信号与信息处理专业论文）基于知识发现的告警相关性分析关键问题研究.pdf

北京i | | | f i u 人学博i 学位论立： 基于知识发现的告警相关性分析关键问题研究 摘要 现代电信网络的特点是大规模、复杂、异构，这就要求必须对网 络进行有效地管理以维持其高可靠性和高可用性。告警相关性分析作 为网络故障管理中的重要内容，可以辅助网管人员删除冗余告警、定 位故障以及预测故障的发生。传统的相关性分析方法由于过多地依赖 专家知识而难以适应网络复杂、多变的情况，采用知识发现的方法则 可以弥补这方面的不足。本文将知识发现技术应用到告警相关性分析 中，研究了情景规则的增量式挖掘、告警预测模式挖掘以及挖掘的实 时性等关键问题，取得了一定的成果。主要工作包括： 第一，研究了情景规则的增量式挖掘问题。情景规则是一种重要 的告警相关性知识，目前的情景规则挖掘方法大多是基于w i n e p i 的算法框架。然而，在挖掘参数改变导致的重复挖掘情况下，w i n e p i 算法的效率很低。本文针对一个重要的参数时间窗改变而导致的 重复挖掘，提出了一种增量式情景规则挖掘算法1 弋e r ，利用原时 间窗下的挖掘结果构造约束条件，使之对新时间窗下的候选情景集进 行削减，实验结果表明孙m e r 在重复挖掘的情况下具有比w i n e p i 更高的挖掘效率； 第二，针对告警数据增加而导致的重复挖掘，本文提出了另一种 增量式情景规则挖掘算法i e r m a ，通过利用原告警序列的挖掘结果 构造约束条件，使之对新的告警序列下的候选情景集进行削减，在 i e r m a 上我们也取得了比w i n e p i 更好的实验结果； 第三，预测模式是另一种重要的告警相关性知识，可用于预测故 障的发生。传统方法大多是把预测模式挖掘作为机器学习的问题来研 究，基于待预测告警( 称为t a r g e t ) 构造学习样本。然而由于t a 曜e t 代表了故障，通常发生次数比较稀少，采用传统方法难以在少量t a r 鼬t 样本上获得好的学习效果。本文根据s v m 在小样本条件下训练推广 北京| | l l j l u 人学博i 。学位论史 能力强的优点，提出了基于s v m 的告警预测模式挖掘方法a p p m s v m ，抉得了比现有方法殳高的对t a f g e t 预测的准确率； 第四，针财a p p m s v m 小t a r g e t 样本稀少的问题，又尝试j ，根 据已有的t a r g e t 样本构造虚样本以便进步引入先验知识，实验证明 适量加入虚样本能够进一+ 步提高对a 唱e t 预测的准确率： 第五，为j ，弥补a p p m s v m 训练速度慢的彳i 足，本文应j = jj ，一 种新的s v m 方法p s v m 对其加以改进。首先提出了一种p s v m 的改进方法p s v m u p ，通过加入非平衡惩罚参数使其能够适应训练 样本中t a r g e t 样本的稀有性：在此基础上进一步提出适于在线挖掘的 基于p s v m 的告警预测模式挖掘方法a p p m p s v m 。实验证明 p s v m u p 能够更有效处理t a r g e t 样本稀少的情况，而a p p m p s v m 在线性核函数条件下具有比a p p m s v m 更快的训练速度。 第六，采用非线性p s v m 的a p p m p s v m 由于包含矾胁的g r a m 矩阵k 的乘积和求逆，计算复杂度仍然过高。对此本文提出了一种非 线性p s v m 的快速训练方法，通过n y s t r 6 m 估计把k 分解成低阶矩阵 乘积，使计算复杂度从o 3 ) 降低到。惭2 ) ( 女口埘) ，实验结果也证 明了这种方法的有效性。 关键词：告警相关性知识发现序列模式挖掘支持向量机 增量式挖掘情景规则预测模式 l j 北京邮j u 人学博i “ 似| 文 摘嵝 ar e s e a r c h0 n k e yp r o b l e m si na l a r m c o r r e l a t i o na n a l y s i sb a s e do nk n o w l e d g e d i s c o v e r y a b s t r a c t m o d e mt e l e c o m m u n i c a t i o nn e t w o f k sa r ec h a r a c t e r i z e dw i t hl a f g e s c a l e ，c o m p l e x i y ，a n dh e t e r o g e n e i t y ，t h a cr e q u i f e sw eh a v et om a n a g e t e l e c o m m u n i c a t i o nn e l w o r i 【se f f e c t i v e l yt om a i n t a i nt h e i rh i g hr e l i a b i l i t v a n d h i g h u s a _ b i l i t y a s a n i m p o n a n tp r o b l e m i i ln e t w o r kf a u l t m a n a g e m e n t ，a l a r mc o r r e l a t i o na n a l y s i sc a nh e l pn e t w o r ka d m i n i s t r a t o f s t od e l e t er e d u n d a n ta l a n s ，l o c a t ef a u l t sa n dp r e d i c tf a u l t sb e f o r em e v h a p p e n h o w e v e f ，t r a d i t i o n a la l a r mc o f f e l a t i o na n a l y s i sm e t h o d sc a n h a r d l yw o r kw e l lw h e nn e t w o r k sa r cc o m p l e xa n dc h a n g e f l l l ，w h i l et h e k n o w i e d g ed i s c o v e r ym e i h o dc a no v e r c o m et h es h o r t a g eo ft f a d i t i o n a l m e t h o d s i nt h i st h e s i s ，w ea p p l yk n o w l e d g ed i s c o v e f y t e c h n o l o g yt o a l a 硼c o r r e l a t i o na n a l y s i sa n ds t u d ys e v e m lk e yp r o b l e m s i n c l u d i n g i n c r c m e n t a le p i s o d er u l e sm i n i n g ，a l a 姗p r e d i c t i o np a t t e m sm i n i n ga n d t h er e a l l i m eo f a l a r mp r e d i c t i o np a l t e m sm i n i n g ，a n dt h ew o r kw h i c hh a s b e e nf i n i s h e da r ea sf o l l o w s ： 1 w er e s e a r c ht h ei n c r e m e n t a ie p i s o d er u l e sm i n i n g a sak i n do f i m p o r t a n ta l a 哪c o e l a t i o nl 【i l o w l e d g e ，e p i s o d em l e sc a nb e u s e dt o d e l e t er e d u n d a n ta l a 硼sa n dt oa n a l v z et h er o o ta l a 咖d e n o t e st h ef a u l t a tp f e s e n tm o s to ft h ee p i s o d em l e sm i n i n gm e t h o d sa r eb a s e do nt h e f r a m e w o r ko fw i n e p i a l 窘o r i l h m h o w e v e r ，w i n e p ia l g o r i t h mi s i n e f f i c i e n u n d e rm ec o n d i t i o n so fr e p e a t e dm i i l i n gc a u s e db yc h a n 譬e d m i n i n gp a r a m e t e r s i nl h i st h e s i sw ep r o p o s eai n c r e m e n t a le p i s o d e 八l l e s m i n i n ga l g o r i t h mt w i e rf o r t h er e p e a t e dm i n i n gc a u s e db yc h a n g e d t l f n ew i n d o w ，a ni m p o n a n tp a f a m e t e r b yu s i n gt h em i n i n gr e s u l tu n d e r l i l 北柬l | i | j f 也人。博i 学位论文 摘爱 p r e v i o u st i m ew i n d o ww ec o n s l m c ic o n s t r a i n t c o n d i t i o n sw h i c hc a n r e d u c et h es i z eo fc a n d i d a t ee p i s o d es e tu n d e rn e wt i m ew i n d o w t h e e x p e r i m e n t a l r e s u l ts h o w sf h a tt w i e rw o r k sm o f ee f f i c i e n t l yt h a n w i n e p iu n d e r t h ec o n d i t i o n so fr e p c a t e dm i n i n g 2 i nt h et h e s i sa n o t h e ri n c r e m e n t a le p i s o d er u l e sm i n i n ga l g o r i t h m i e r m ai sp r e s e n t e df o rc h er e p e a t e dm i n i n gc a u s e db yi n c r e a s eo fa l a r m s b yu s i n gt h em i n i n gr e s u l to np r e v i o u sa l a r ms e q u e n c ew ec o n s t m c t s e v e r a lc o n s t r a i n to o n d i i o n sw h i c hc a nr e d u c et h es i z eo fc a n d i d a t e e p i s o d es e to nn e wa l a r ms e q u e n c e b a s e do ni e r m a w ea l s oo b t a i n b e t t e re x p e r i m e n t a lr e s u l tt h a nw i n e p i 3 p r e d i c t i o np a t t e r n sa r ea n o t h e rk i n do fi m p o na l a r mc o r r e i a t i o n k n o w l e d g ea n dc a nb eu s e dt op r e d i c tf a u l f sb e f o r et h e yh a p p e n m o s t t r a d i t i o n a lm e t h o d sl o o kt h ep m b l e mo fm i n i n gp r e d i c t i o np a t t e r n sa sa m a c h i n el e a m i n gp r o b l e ma n dc o n s t n i c tl e a m i n gs a m p l e sa c c o r d i n gt o t h o s ea l a 姗sn e e dt op r e d i c t ( w ec a l lt h i sk i n do fa l a 珊st a 唱e t ) h o w e v e r ， u s u a l l yt a r g e th a p p e nr a r e l yb e c a u s ei tr e p r e s e n t st h ef a u l t ，s o i ti s d i f ! f i c l l l tt oo b t a i ng o o dl e a m i n ge f f e c tb a s e do nf e wt a 喀e ts a m p l e su s i n g t r a d i t i o n a lm e t h o d s i nt h i st h e s i s ，a c c o r d i n gt ot h ea d v a n t a g eo fs v m t h a tt h e g e n e r a l i z i n ga b i l i t yo fs v mi s s t i l lg o o du n d e rs m a l l - s 妇 s a m p l e s ，w ep r o p o s eaa l a 姗p r c d i c t i o np a t t c m sm i n i n gm e t h o db a s e d o ns v m ( a p p m - s v m ) a n da c h i e v eh i g h e rp r e d i c t i o np r e c i s i o nf b rt a r g e t t h a np r e s e n tm e t h o d s 4 t od e a lw i t ht h e p r o b l e m t h a tt a r g e ts a m p l e sa r er a r ei n a p p m - s v m ，w ea t t e m p tt oc o n s t 九l c tv i r t u a ls a m p l e sb a s e do ne x i s t i n g t a r g e ts a m p l e st oi n n 。o d u c ep r i o rk n o w l e d g ef u n h e r i ti sp r o v e di nl h e e x p e f i m e n tt h a ta p p r o p r i a t ev i r c u a ls a m p l e sc a ni m p r o v et h ep r e d i c t i o n p r e c i s i o nf o rt a r g e t 5 i no r d e rt oo v e r c o m et h es h o r f a g eo fa p p m s v mt h a t i t st r a i n i n g s p e e di ss l o w ，w ei n t r o d u c ean e ws v mm e t h o dc a l l e dp s v mt oi m p m v e i t f i r s f l yw ep r o p o s ea ni m p r o v e dm e t h o d p s v m u pf o rp s v m b y a d d i n gu n b a l a n c e dp e n a l t yp a r a m e t e r st op s v m ，p s v m u pi m p r o v e s p s v mt oe n a b l ei tt oa d a p tt h er a r e n e s so fl a r j ；e l s a m p l e si nt r a i n i n g s a m p l e s ，b a s e do nw h i c hw ef u r t h e fp r e s e n taa l a 咖p r e d i c l i o np a t i e m s m i n i n gm e t h o db a s e do np s v m ( a p p m p s v m ) w 1 i c hi sp m p e r l ow o r k 北京| | | | f f u 人学竹i j 学f 1 7 _ 硷殳摘要 o n 1 i n e t h ee x p e “i i 】i e n t a lr e s u l ti n d i c a l e sl h a tp s v m - u pd e a l sw i t ht h e r a r c n e s so ft a 唱e ts a m p l e sm o r ee f f i c i e n l l yc h a np s v ma n df h et 阳i n i 玎g s o e e do fa p p m p s v mi sf a s t e rc h a nt h a o fa p p m s v mu n d e rt h e c o n d i t i o no fl i n e a rk e r n e lf u n c t i o n 6 t h ec o m p u l a i i o n a lc o n l p l e x i t yo fa p p m p s v mu s i n gn o n l i n e a r p s v mi ss t 川v e n rh i 曲d u et ot h ep m d u c ta n di n v e r s i o no fm - b v m g r a mm a t r i xk i bs o l v et h ep i d b l e mw ep r o p o s eaf a s tt r a i n i n gn l e t h o d f o rn o n l i n e a rp s v m b yu t i l i z i n gn y s t r 6 ma p p m x i m a t i o nc h em a t r i xki s d e c o m p o s e di n t ot h ep r o d u c to fl o wr a n km a r i x e s ，w h i c hr e d u c e st h e c o m p u t a t i o n a lc o m p l e x i t y f t o m d ( m 3 ) t o d ( k m 2 )( k m ) 7 n l e e x p e r i m e n t a lr e s u l tp r o v e st h ev a l i d i t yo f h i sm e t h o d k e yw o r d s ：a l a r m s e q u e n t i a lp a t t e r nm i n i n g m i n i n ge p i s o d er u l e s c o r f e l a t i o n k n o w l e d g e s u p p o nv e c t o rm a c h i n e p r e d i c t i o np a t t e m s v d i s c o v e r v i n c r e m e n t a l 创新性声明 本人声明所旱交的论文是本人在导师指导f 进行的研究t 作及取得的研究 成果。尽我所知，除了文中特别加以标往和致谢叶i 所罗列的内窬以外，论文中4 ； 包含其他人已经发表或撰写过的研究成果，也刁i 包含为获得北京邮电大学或其他 教疗机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的浣明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名鱼鳘 1 期坦叠纽! 笾 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公靠学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。 本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 爹爹 ；午牟 f = _ i 1 期：2 1 型差! 宙2 芝旦 同期：罐一：哆 北京l l | | j i u 人学博l j 学位论史 1 1 论文的研究背景 第一章绪论 随着通信和信息技术的匕速发展，电信i 删络提供给人们的服务也| 1 渐丰富， 除了普通的通信业务、资源共享业务外，还有网络教育、网络银行、电子钱包、 电子商务和电子政务等集网络和信息技术为一体的新一代网络业务。这一切使得 电信网络不再仅仅是一个通信的媒介，而是一个为人们提供综合服务的分布式信 息处理平台。萨是山f 电信网络变得如此重要，人们必然要求对其进行有效的网 络管理以维持其高可靠性和高可用性，从而确保一些重要业务不问断地运行。 然而电信网络大规模、复杂、异构的特点决定了故障管理始终是电信网络管 理中的一个难题。一个电信网络往往包含由多个厂商生产的成千上力_ 的设备和系 统，这些设备和系统又通过多种媒质互连而成，彼此之间普遍存在着复杂的关联 关系。因此即使是单一的故障也可能引发巨量的告警，众多的告警既增加了网管 系统的丌销，也掩盖了表示故障的根源告警，非常不利于网管人员排查故障。这 时就需要一种技术，通过对告警进行合并和转化，将多个告警合并成一条具有更 多信息量的告警来代替多条告警。以协助网管人员分析故障信息、快速故障定位。 这种技术就称之为告警相关性分析。 1 1 1 告警相关性分析的定义 在对告警相关性分析定义之前，首先介绍两个重要概念故障和告警。故 障是指组成被管网络的硬件设备或软件系统所发生的功能异常，而告警则是特定 事件发生时被管对象发出的通报( n o t j f i c a t i o n ) 构成的一种事件报告，用于传递 告警信息。一条告警的出现只是表明可能有故障发生，并不表示一定有故障发生 ”j ，因为一些普通的事件通报如系统配置改变、性能异常等也是以告警的形式上 报的；而故障的发生则可能导致相关的设备和系统出现异常，从而引发一系列相 关告警。因此我们只能说，通常是故障产生了告警，一个故障可能是另一个故障 的根源，但一个告警不会产生出其它告警i 舶。 j 匕柬邮l u 人学竹i j 学位论_ j ：【： 第一章绪论 在 = “故障所引发的一系列丰h 关告警t h 裎然不是所有告警都表明故障原因， 这就需要对这些告警进行相关性分析束确定代表故障的根源告警。关于告警相关 性分析，文献【3 】曾经给。个般性的定义： 定义1 1 告警相关性分析被定义为对多个告警的。种解释，通过这种解释使告警的数 量得以精简，而包含的语义信息内容卸更加丰富。 文献【4 】则对告警相关性分析的概念进一步做出了阐述，并给出了关于告警 相关性的形式化定义： 定义1 2 告警相关性分析是指对告警进行合并雨1 转化，将多个告警合并成一条具有更 多信息量的告警，确定能反映故障根本原因的告警，准确定位故障。 其形式化定义为：告警事件口与告警事件集合 口，a ：，仉 相关，表示为 a 一 a 。，a ：，吼 。 从定义1 1 和定义l 一2 可以看出，告警相关性分析主要被看作是故障定位的重 要辅助手段，即首先对故障引发的大量告警进行相关性分析，滤除冗余告警，找 出代表故障的根源告警，然后进一步做出故障定位。事实上，告警相关性分析不 仅可以辅助故障定位，而且能预测故障的发生。由于网络设备之白j 以及组成设备 的各个模块之间普遍存在着关联性，很多网络故障( 如病毒导致的节点瘫痪、网 络拥塞导致的节点阻塞) 都具有一定的传播特性，反映到告警中就使得相关设备 的某些代表故障的告警之间也存在着很强的相关性。如果应用告警相关性分析能 够找出这类相关关系，一旦发现相关条件被满足就发出故障预警，及时做出保护 措施，则可以避免故障的进一步扩散和重大故障的发生。由此，本文在定义1 1 和定义1 2 的基础上进一步总结告警相关性分析的定义： 定义1 3 告警相关性分析是指对告警进行合并和转化，将多个告警合并成一条具有更 多信息量的告警，从而确定反映故障的根源告警、定位故障或者对当日# 告警可能 预示的故障做出预测。 其形式化定义为：告警事件口与告警事件集合 口，：，吼 相关，表示为 2 垫堕! ! ! ! ! ! ! 叁堂鲨! ：堂丝笙兰 一竺二羔i 鱼 a 一 q ，a ：，a 。1 或 q ，口：，吼 一a 。前者表示根据 q ，a ：，吼) 确定反映当 i 讨故障的根源告警；后轷表示根壬l j ! ： a 。，a ：，嘶) 预测可能发生的故障，而口则表 示代袭该故障的重大告警。 1 1 2 告警相关性的类型 j a k o b s o n 在【5 】中列出了常用的告警相关性类型，具体如下： 1 告警压缩( c o m p f c s s i o n ) ：将发生的多个告警压缩到一个告警中- 形式为： 【爿，爿，一】= 爿； 2 告警过滤( f i l t e r i n g ) ：如果告警爿的p ( 爿) 值不属于合法值集合h ，则过滤 掉告警4 ，形式为：，p 似) 岳l 一日j ； 3 告警抑制( s u p p r c s s i o n ) ：在告警c ( 如高优先级告警) 发生的情况下，抑 制告警爿( 如低优先级告警) ，形式为：【爿，c 】一c ： 4 告警计数( c o u n t ) ：对重复到达的告警进行统计和设定门限值。如，用一 个告警丑代替出现h 次的告警爿，形式为：【n 月1 一曰； 5 告警泛化( g e n e r a l i z a t j o n ) ：用告警的超类代替该告警，形式为：似_ c 明j b ； 6 告警特化( s p e c i a i i z a t i o n ) ：用告警的特定子集代替该条告警形式为： 陋4 明= 曰5 7 告警时序关系( t e m p o r a lr c l a t i o n ) ：相关的告警依赖于告警发生时间顺序， 若告警一、告警口相继发生，则告警c 发生，形式为：阳船】一c 。 1 1 1 3 告警相关性分析的难点 电信网络大规模、复杂、异构的特点决定了告警相关性分析也存在不少难点， 具体表现在1 6 l ： 复杂的依靠性：在告警相关性分析之前，要建立被管网络的模型。然而 被管网络的大规模和高度复杂性使得对其建立精确的模型存在很大的难度，但模 型过于简单又会使相关性分析产生完全错误的结果； 北京邮l u 人学博i 。学位论殳 ；i j 一一茚持沦 数据的不完整性：我们通常假设可以获得全部的告警数据，然而某蝗特 殊情况下一些告警是不可能获得的，如设备瘫痪、i 殳备断电时不可能收到束自该 设备的告警； 故障的扩散：某一设备发生的故障j 能扩敞到棚关设备h 造成多个敞 障的同时发生； 网络的动态发展和变化：电信网络是一个不断发展变化的网络，配置参 数的变化或网络拓扑的改动都可能使某些相关性知识发生变化。 1 1 4 告警相关性分析的方法 1 、基于规则的相关性分析 基于规则( r u l e b a s e d ) 的相关性分析【7 】把告警相关性知识总结为一组相关 性规则集，规则的形式为i fc o n d i l i o nt h e na c t i o n 。对于网络中实时产生的告警， 系统通过将其与现有的规则进行比较对故障的原因作出判断。基于规则的相关性 分析系统一般山三部分组成：工作存储区、相关性规则库、推理引擎。工作存储 区存放关于被管网络的拓扑结构信息以及一些实时的状态信息( 主要是告警) ， 形成对被管网络的实时监控；相关性规则库存放已知的所有告警相关性规则；推 理引擎是系统的核心部分，完成对输入的告警信息进行相关性分析。 基于规则的方法的优点是直观，便于人们理解。但这种方法的问题在于，当 规则数目达到一定程度时，规则库的维护将变得十分困难；出于相关性规则主要 来自专业的网管人员，系统本身没有自学习的能力，所以规则的获取是基于规则 的相关性分析系统的主要瓶颈，而且基于规则的系统无法处理一些由于网络拓扑 或配置变化而出现的新情况；另外，缺乏记忆性也是这种方法的一个主要限制， 出于没有充分利用过去的经验以及缺乏记忆，即使出现同样的情况，系统也要从 成千上万的规则中去查找，严重影响了系统的工作效率。 惠普公司丌发的告警相关性分析产品e c s ( e v e n tc o r r e l a t i o ns e r v i c e ) 【8 】就是 一个基于规则的系统，包括输入、输出、过滤、延迟、技术、组合、更改等。 e c s 基于构件来实现告警相关性分析和告警过滤，通过各模块的组合完成不同的 功能，适应不同网络的实际情况。 4 北京i | | | j l 也人学阱l 学位| 仑史 m 一帝绪论 2 、基f 事例的相关性分析 丛于j 例的推理1 9 i ( c a s e b a s e dr e a s o n i n g ) 通过自强利用过去的经验和方法 米解决、“h ：i ；现的题。l c w i s 红 i ( ) f | r 将睡一缸例的推理应川j i 网络故障管p u ， 提出了丛r 事例的相荚性分析。在j 。r 打例的排理系统一 t ，矢l m l 的n 位小阿是胤 则， n j 楚事例。过去解决问题的经验都是以事例的形式存放在事例库r 1 1 ，逍到新 的问题就从事例库中寻找相同或干h 似的事例，用该事例的解决方法来解决新的问 题，而解决新问题的经验又作为新的事例被添加到数据库中。 基于事例的推理的一个显著特点是系统具有自学习的能力i l “，而不必通过 专业网管人员获取相关性知识。另外一个特点是它可以根据出现的错误来对将柬 的行为自动作出纠正，而且可以通过调整过去的事例柬构建新的方法，对新出现 的情况做出处理。然而其缺点在于系统应用总是局限于具体领域，缺乏通用性， 另外剥事例的分析和处理也是一个复杂费时的过程，导致系统效率不高。 k w i s 曾设计实现了一个基于事例推理的故障追踪系统c r i r r e r 【1 2 l 。在 c r l l 瞪r 中，每一次故障的发生都会在系统内部形成一个t r o u b l et i c k e t ，该故障 的解决方法与其t m u b l et i d 【c t 一起被存放到系统事例库中。对于新的故障，系统 在生成其t m u b l et i c k e t 后，就会从事例库中寻找相似的t m u b l et i c k e t ，将其解决 方法作为当前故障的解决方法。 3 、基于因果模型的相关性分析 因果模型法( c a s u a lm o d e la p p m a c h ) 是一种简单通用的告警相关性分析方 法，其结构如图1 1 1 3 1 所示。系统山事实库( f a c tr e p o s i t o r y ) 、告警知识模型( a l a 肌 k n o w l e d g em o d e l ) 、相关器( c o r r e l a t o r ) 和网络监视器( n e t w o r km o n i t o r ) 组 成。事实库包含了关于出现故障的网络或系统中的对象以及它们之间的关系的一 些动念信息；告警知识模型则从事实库中抽象出各个对象之问可能的因果关系， 并用树、图、因果规则或有限状态机的形式描述这些因果关系。相关器利用告警 知识模型对网络监视器采集的当前告警信息进行相关性分析，从而对故障的位置 和起因做出判断。 北京l 町乜人。# f i 卜# f 节论文 图卜1 基于因果模型的告警相关性分析“1 4 、基于代码本的相关性分析 i g e r 等在f 1 3 】中提出了基于代码本( c o d e b o o k b a s e d ) 的相关性分析方法， 这种方法从某种程度上可以看作是因果模型法的一个变种。其基本思想是：对于 每一种故障所触发的告警，可以将其看作该故障的特征，因此将其编码成浚故障 的特征向量。特征向量的每一维元素表示对应于该故障下某类告警( 或症状) 是 否出现，用0 或1 表示。所有故障的特征向量一起构成了代码本，其实就是一个 故障症状矩阵。建立代码本后，相关性分析本质上就是一个解码的过程，对 于当前的故障，系统也建立其特征向量，然后与代码本上的各个特征向量进行比 较，计算当前特征向量与己知故障的特征向量之间的汉明距离，选择距离最小的 特征向量对应的故障作为当前的故障。 基于代码本的相关性分析方法通过对告警知识模型的预处理减少了实时告 警相关性分析的复杂性，因而具有更高的效率。而且，对故障的确定是基于最小 距离而不是严格的特征匹配，这也在一定程度上提高了对告警信息丢失和被破坏 的容忍程度，增强了系统的鲁棒性。 s y 毫m i n i 等丌发了一个基于代码本的告警相关性分析系统i n c h a r g e ，取 得了比i m p a c 小“j 更高的关联效率。 5 、基于模型的相关性分析 基于模型( m o d e l b a s e d ) 的相关性分析通过建立网络模型柬对网络的行为 进行推理。网络模型主要包括网络结构信息( 如网元类型、网络拓扑、包含的约 束等) 和网络行为信息( 如告警相关性分析的动态过程) 。基于模型的相关性分 筇一章纬论 析系统对新的故障具有一定的分析能力，但当处理超出其知识范畴的问题时，系 统的性能将显著f 降。此外，模型的复杂性也是这种方法的一个问题，建立一个 精确的蚓络模，诅往往i ”r 过下复杂而难r 实施，1 过0 ：简单的模型则可能得 l 错 误的结果。因此，埘网络的建模应浚尽可能采用模块化的思想，对网络的不州层 血单独建模，瓶每个模块的内部则撤据实际问题需要确定相关功能、结构、组成 及凶果关系的语义表达的精确程度。 g t e 实验室丌发的i m p a ( 一1 5 l 就是一个典型的基于模型的系统，被g t e 用于 固定和移动通信网络的告警相关性分析。p e t e rf m h l i c h 等在【1 6 】中也设计实现了 一个针对g s m 网络的故障诊断系统d r u m l l ，通过一个抽象模拟模型来预测告 警存网络中的传播并将预测的结果与实际的告警模式相比较，束确定代表故障的 根源告警。 6 、基于神经网络的相关性分析 神经网络( n e u m in e 咐o r i 【s ) 是由许多神经元相互连接而构成的系统，能够 实现并行计算，克服了一般串行计算所带来的瓶颈阀题。对于一些复杂的问题， 在没有算法或者算法非常慢的情况下，神经网络通常是一个好的选择。 利用神经网络进行相关性分析，首先要经历一个训练的过程，即把每一种网 络故障和对应于该故障的网络告警信息分别作为神经网络的输出和输入，通过训 练不断调整神经元之问连接的权值。经过充分训练后，神经网络即可根据当前的 告警信息判断出可能的故障情况。 r o b e r td g a r d n e r 等1 1 7 l 提出了用神经网络方法进行告警相关性分析的框架并 对该框架进行了验证。苏利敏等【1 8 l 对基于b p 网络的告警相关性分析进行了研究， 通过m a t i a b 仿真实验证明该方法在处理不确定性信息和抑制噪声方面较代码本 方法有所改善。王新苗等1 1 9 j 提出了一种基于改进遗传神经网络模型的告警相关 性分析方法，在网络学习和训练效率上取得了比传统b p 算法更好的效果。 e m m a n u e lm a r i l l v 等i 驯则采用了另外一种思路，他们通过神经网络把告警信息转 化成信号的形式，然后用信号处理的方法提取相关的故障诊断信息。 神经网络具有很好的自学习能力，而且能够处理告警信息中包含噪声的情 况。但其缺点是在实际应用之前必须经过大量的训练，以便存储所有关于故障的 北京i | i l ；l 也人学n i1 0 他睑艾 _ ；爷绪论 模式，否则就会影响学习的性能，然而在电信网篱理领域这一点是不容易做到的。 7 、箍一j 二知谚 发现的相关性分析 传统的干h 关性分析方法主要通过专q k m 管人员获得告警相关性知t ，然后冉 加入到系统中。对于小型网络，这种做法可以满足实际需要。然而，随着网络规 模越束越大，结构越来越复杂，单纯依靠网管人员获得告警相关性知识已经越来 越不实际。因此，越来越多的人们丌始研究通过知识发现的方法分析告警数据， 挖掘告警相关性规则。 知识发现( k j l o w l e d g ed i s c o v e f y ，也称数据挖掘) 能够从数据中发现新颖的 模式，是基于过去事例泛化的一种归纳学习，可以解决分类、聚类、时间序列分 析、关联规则挖掘等问题。为了减少对网管人员和专家的依赖，通过挖掘历史告 警数据柬获得相关性知识已成为目前网络管理领域的一个研究热点。h e i k k i m 蛐n i l a 等较早地进行了这方面的尝试，在【2 l 】中提出了w 烈e p l 算法，能够从 时序数据中提取出形如“如果a 事件发生，那么6 0 秒内b 事件发生的可能性为 ”的告警相关性规则，称之为“情景规则”，并将该算法应用于t a s a 系统 l 翻，辅助网管人员分析告警的相关性；g a r ymw c i s s 等1 2 3 j 研究了如何从通信告 警数据库中发现可预测小概率时间时序模式，提出了t i m e w e a v e r 算法，并把该 算法应用到a n s w e r 故障预测系统l 驯中；r d g a r d n e r 和d a h 甜l c 2 5 慵数据挖 掘的方法用于分析模拟s d h 网络的告警记录，并提出了一种基于数据挖掘的告 警相关系统框架；q z h e n g 等 2 6 j 基于w i n e p i 算法提出了一种告警情景规则挖掘 的改进算法，可以在一定程度上抵抗告警数据中噪声的影响，并在g s m 网络告 警数据进行了实验：北京邮电大学的张英海等剐根据交换机告警数据，描述了 情景规则挖掘算法，并提出了精确度更高的二次挖掘方法，提供了一种对挖掘知 识的处理手段：涂志云等1 2 8 l 详细分析了告警序列数据的情景规则挖掘算法，并 在南昌本地网f 1 5 0 交换机的告警数据库中予以实现，同时对实际挖掘结果进行 分析和整理，从中推导出实用的情景规则。端义锋【，9 1 等根据用户的意图将挖掘 过程分成了特定设备告警序列挖掘，避免了对无关数据的访问，提高了挖掘的效 率。 北京i i | 5 l u 人学f 雌i 学位论史 筘尊绪论 8 、其它方法 除上述方法外，告警十h 关性分析还有丛一j ：蚍叶斯网络1 3 0 。引、基r 模糊逻辑、 坫j ：钉限状态机1 3 4 i 、罐n p e i r 网【强弘l 等多利一订法，具体i 叮以参考相关文献。 1 1 5 知识发现方法的优势 通过对现有的相关性分析方法进行比较n 不难看出知识发现方法的优势： 基于规则的方法优点是简单、直观，但是山于相关性规则主要通过网管专家 获得，因而存在知识获取的瓶颈。这个问题在网络规模小、配置和结构很少发生 变化的情况下并不明显，但存网络规模很大、经常发生变化的情况下就非常突出， 冈为在这样的网络环境下，网管专家很难总结出关于网络故障的全部相关性规 则，并且也很难保证这些规则能及时跟上网络的变化。另外，如果相关性规则的 数量多到一定程度，不仅难于维护，而且会影响相关性分析的效率和可靠性。因 此基于规则的方法很难适应大规模的通信网络模型。 基于事例的方法其特点是基于过去的经验和事例而不是一般化的知识来解 决问题，具有一定的自学习能力。但这种方法的缺点在于它总是与某个特定应用 领域紧密相关，而不存在个通用的事例方法。另外它对网络的变化反应不敏感， 处理过程比较复杂，这对于要求实时性高的告警处理是一个问题。 基于代码本的方法对告警知识模型进行了预处理，降低了相关性分析的复杂 性，因而具有更高的处理效率。并且它对故障的确定是基于最小距离而不是严格 的规则匹配，所以也可以容忍告警数据中含有一定的噪声。但是基于模型的方法、 基于因果模型的方法和基于代码本的方法三者的共同特点是需要预先建立关于 网络的模型( 网络的拓扑结构、因果规则或代码本) 以便对于网络的行为进行预 测。尽管一个精确的网络模型能够使相关性分析