（通信与信息系统专业论文）网络告警关联规则挖掘系统的研究与设计.pdf

中文摘要 中文摘要 故障诊断与定位是网络管理的核心，当网络发生故障时，要求及时找到网络 发生故障的位置和原因，以便快速的排除故障，恢复网络的功能。告警相关性分 析在网络故障管理中占据着重要的地位，是故障诊断的重要手段之一。数据挖掘 为告警相关性分析中知识获取提供了新的途径。在现代网络中，告警的某些属性 分为不同的级别，而且，不同q o s 要求的业务对告警处理的程度也有所不同。本 文以国家自然科学基金项目基于数据挖掘的通信网告警相关性分析为背景， 重点研究了网络告警加权关联规则挖掘，包括告警预处理、加权关联规则挖掘、 规则的后处理以及网络告警关联规则挖掘系统的仿真验证。 本文采用专家系统来完成告警的预处理。用时间窗口和滑动步长的思想解决 了告警时间同步问题，将同一时间窗口内的告警看作一个告警事务，提取告警中 反映网络故障的告警属性字段组成告警事务项，并用告警压缩的方法删除同一告 警事务中的冗余告警信息。专家系统运用层次分析法来确定告警的权值，仿真结 果表明运用该方法确定的告警权值能反映用户对不同告警的关注程度和网络的动 态变化。 本文针对网络告警信息量大、告警具有突发性等特点，对已有的加权关联规 则挖掘算法做了相应的改进，提出了一种基于频繁模式树的网络告警加权关联规 则挖掘算法- - w f p t a 算法。算法的优点是无需重复多次的遍历数据库，无需递归 的进行条件频繁模式树的构建。算法的性能测试结果表明：该算法在运行效率和 占用内存空间上与m i n w a l ( o ) 算法相比都有很大的改善。 最后，本文基于冗余规则和结构化规则涵盖集的概念，提出了一种定量化的 关联规则后处理算法。算法能够有效地删除用户给定的最小置信度增量阙值空间 集内所有冗余的、信息重复的规则。 网络告警关联规则挖掘系统的仿真验证表明，该系统能够快速有效地挖掘出 反映网络故障的告警关联规则，将形式简洁、信息完整的告警规则呈现给用户， 对网络告警相关性分析和故障的诊断定位有一定的意义和实用价值。 关键词：网络故障管理，数据挖掘，加权关联规则，层次分析法，频繁模式树 a b s t r a c t a b s t r a c t f a u l td i a g n o s i sa n dl o c a l i z a t i o ni st h ev i t a lc o r eo f t h en e t w o r km a n a g e m e n t w h e n t h ef a u l t st a k ep l a c ei nt h en e t w o r k s ，i ti sn e c e s s a r yt of i n dt h el o c a t i o n sa n dt h e c a u s a t i o n so ft h ef a u l t si nt i m ei no r d e rt og e tr i do f t h ef a u l t sa n dr e , c o v e rt h en e t w o r k s f u n c t i o nr a p i d l y 叻ea l a r mc o r r e l a t i o na n a l y s i s a l li m p o r t a n ta p p r o a c ho ff a u l t d i a g n o s i s ，p l a y sac r u c i a lr o l ei nn e t w o r kf a u l tm a n a g e m e n t d a t am i n i n gp r o v i d e sa n e wa p p r o a c ho ft h ek n o w l e d g eu p d a t i n gd u r i n gt h ea l a r mc o r r e l a t i o na n a l y z i n g i n m o d e r nn e t w o r k s ，s o n i co ft h ea l a r m sa t t r i b u t e sh a sd i f f e r e n tl e v e l s ，a n ds e r v i c e sw i t l l d i f f e r e n tq o sr e q u 髂t sn e e dd i f f e r e n tt r e a t m e n to fa l a r m s w i t ht h eb a c k g r o u n do ft h e p r o j e c t ，t h ea l a r mc o r r e l a t i o ni nc o m m u n i c a t i o nn e t w o r k sb a s e do nd a t am i n i n g , t h a ti s s u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a , t h i st h e s i sf o c i l s e do n m i n m gw e i g h t e da l a r ma s s o c i a t i o nr u l e si nn e t w o r k s ，i n c l u d i n gt h ea l a r m sp r e t r e a t m e u t , m i n i n gw e i g h t e da s s o c i a t i o nr u l e s ，t h er u l e s p o s t - t r e a t m e n ta n dt h es i m u l a t i o na n d v a l i d a t i o no f t h es y s t e mo f m i n i n gw e i g h t e da l a r ma s s o c i a t i o nr u l e si nn e t w o r k s n l ca l a r m sp r e t r e a t m e n tw a sc a r r i e do u tb ye x p e r ts y s t e m n l ep r o b l e mo f a l a r m s s y n c l l r o m z a t i o nw a ss e t t l e db ys e t t i n gt i m ew i n d o wa n ds l i pl e n 醇h n ea l a r m si nt h e s a m et i m ew i n d o w sw e r er e g a r d e da sa na l a r mt r a n s a c t i o n t h ea t t r i b u t e so ft h ea l a r m m a tr e f l e c tt h ef a u l t sw e r ep i c k e do u tt of o r ma ni t e mo fa na l a r mt r a n s a c t i o n t h e r e d u n d a n ta l a r m sw e r eg o tr i do f b ya l a r mc o m p r e s s i n g n ma n a l y t i ch i e r a r c h yp r o c e s s w a sa p p l i e dt od e c i d i n gt h ew e i g h to f t h ea l a r m 1 1 1 es i m u l a t i o nr e s u l ti n d i c a t e st h a tt h e w e i g h td e c i d e db yt h i sm e t h o dc a nr e f l e c tt h en s e r s c o n c e n t r a t i o n0 nd i f f e r e n ta l a r m s a n dt h ed y n a m i cc h a n g eo f t h en e t w o r k s b a s e do nt h ee x i s t e n ta l g o r i t h m so f m i n i n gw c i g h t e da s s o c i a t i o nr u l e s ，a i m e da tt h e n e t w o r k s c h a r a c t e r st h a ta r eh a v i n ga m o u n to fa l a r m st h a tc a nb u r s to u tr a n d o m l y , a p a t t e r nt r e eb a s e da l g o r i t h m - w f p t ao fm i n i n gw e i g h t e da l a r ma s s o c i a t i o nr u l e sw a s c o n s t r u c t e d t h eb i ga d v a n t a g eo ft h ew f p t a a l g o r i t h mi si ti su n n e c e s s a r yt ot r a v e r s e t h ed a t a b a s er e p e a t e d l ya n dt oc o n s t r u c tt h ec o n d i t i o n a lp a t t e r nt r e er e e u r s i v e l y 1 1 1 e p e r f o r m a n c et e s to ft h ea l g o r i t h mi n d i c a t e st h a tc o m p a r e dw i t hm i n w a l ( o ) ，t h i s a l g o r i t h mi si m p r o v e di nb o t ht h ee x e c u t i v et i m ea n dt h eu s e dm e m o r y a b s t m c t b a s e do nt h ec o n e e p to fr e d u n d a n tr u l e s a n ds t r u c t u r a lr u l ec o v e r , a q u a n t i f i c a t i o n a la l g o r i t h mo f r u l ep o s t t r e a t m e n tw a sc o n s t r u c t e d ，w h i c hc a nd e l e t et h e w h o l er e d u n d a n ta n dr e p e a t e dr o l ee f f e c t i v e l yb yt h em i n i m u mc o n f i d e n c ei n c r e m e n t t h r e s h o l dp r o “d e db yt h eu s e r t h es i m u l a t i o na n dv a l i d a t i o no ft h es y s t e mo fr i l i l l i n gw e i g h t e da l a r ma s s o c i a t i o n r u l e si nn e t w o r k si n d i c a t e st h a ti tc a nf i n do u te f f e c t i v ea l a r mr o l e sw h i c hr e f l e c tt h e f a u l t si nn e t w o r k sr a p i d l y i ti sa l s ov a l i d a t e dt h a tt h es y s t e mw h i c hp r o v i d e st h eu s e r t h ec o m p a c ta l a r mr u l e sw i t hc o m p l e t ei n f o r m a t i o ni sv a l u a b l ea n du s e f u lt ot h ea l a r m c o r r e l a t i o na n a l y s i sa n df a u l td i a g n o s i sa n dl o c a l i z a t i o ni nn e t w o r k s k e y w o r d s ：n e t w o r kf a u l tm a n a g e m e n t ，d a t am i m n 舀w e i g h t e da s s o c i a t i o nr u l e s ， a n a l y t i ch i e r a r c h yp r o c e s s ，f r e q u e n t p a t t e r nt r e e m 图目录 图目录 图2 - 1 告警管理功能结构图1 0 图2 2 基于因果关系模型的告警相关性分析1 2 图2 3 数据挖掘的基本流程和主要步骤1 7 图3 1 基于数据挖掘的告警相关性分析系统总体结构2 3 图3 2 加权关联规则挖掘系统结构2 4 图3 3 专家系统的基本结构2 6 图3 - 4 告警预处理专家系统结构2 7 图3 - 5 窗口宽度为5 ，滑动步长为2 的告警滑动时间窗口例子2 8 图3 - 6 层次分析法确定权值的步骤3 4 图3 7 告警权值的层次结构3 5 图3 8 判断矩阵3 6 图3 - 9 具有2 0 个网络节点的网络3 8 图3 1 0 不同加权方案下挖掘出的加权频繁项集数3 8 图3 1 1w f p t r e e 构建过程示例4 8 图3 1 2 具有9 个网络节点的网络拓扑图5 7 图3 1 3 运行时间随加权支持度变化的情况5 8 图3 1 4 算法时间可伸缩性比较( 最小加权支持度0 2 5 ) 5 9 图3 1 5 算法空间可伸缩性比较( 最小加权支持度o 2 5 ) 5 9 图3 1 6 分类规则存储结构6 3 图4 1 告警关联规则挖掘系统界面图7 0 图4 - 2 网络拓扑结构7 1 图4 3 网络告警模拟产生机制7 1 图4 4 模拟告警数据7 2 图4 5 告警事务数据库7 2 图4 6 层次分析法确定告警权值7 3 图4 7 告警加权频繁项集和加权关联规则7 4 图4 8 经规则后处理得到的加权关联规则7 4 i 表目录 表目录 表2 1 几个告警实例8 表3 1 一个时间窗口内的告警数据3 1 表3 - 2 一个告警事务31 表3 31 9 标度的含义3 6 表3 4 平均随机一致性指标r 3 7 表3 5 告警事务数据库4 l 表3 - 6 告警事务项权值表4 1 表3 7 算法中符号的含义4 3 表4 1 告警数据表结构6 7 主要数学符号表 d 1 0 霉 s u p p o r t c o u n t ( x ) s u p p o r t ( x ) r a i n s u p r a i n c o n y 矽 乞 j 岛 l e v e l ( i j ) c j c r 主要数学符号表 事务数据库，由多个事务构成 事务数据库中所有项的集合 ，中的元素称为项 一个事务 x 的支持计数即在数据库中出现的次数 z 的支持度即在数据库中出现的概率 最小支持度 最小置信度 时间窗口大小 时间窗口起始时间 时间窗口终止时间 滑动步长 判断矩阵中b , 相对- y b j 的重要程度 项目i j 自身的重要程度 判断矩阵的最大特征根 偏差一致性指标 一致性比例 主要数学符号表 r w m w x u p p o r t c o u n t ( x ) 平均随机一致性指标 告警项集权值集合 告警项的权值 加权支持计数 加权支持度 最小加权支持度 g 一项集】，的肛支持期望 g 一项集l ，的所有肛支持期望的最小值 两条规则的置信度差值 结构化规则涵盖集 最小置信度增量阈值 x 瑚 郎 珊 k 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他入已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名：盔i 亟盔整日期：叩年l r 月7 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名；盔盟盐导师签名：盘! 殂 日期：砷年j 月) - e i 第一章绪论 1 1研究背景和意义 第一章绪论 近2 0 年来，网络技术的发展速度是惊人的，发展特点是网络规模不断扩大、 功能复杂性不断增加、异构型的网络逐渐融合，这种趋势给网络管理带来了前所 未有的挑战。首先，网络传输的速率越来越高，容量越来越大，哪怕是微小的故 障，都会给网络用户带来巨大的经济损失。其次，网络中多种技术走向融合，多 种业务并存，不同厂商的设备和传输介质源源不断地涌入，不同体系结构的网络 互联在一起，这些特点使整个网络的维护和操作变得相当复杂。在这种情况下， 网络管理的综合化、自动化和智能化已经被提升到了议事日程，成为了网络管理 未来的发展方向。在网络的运营管理和维护中，当网络出现故障时，常常要求必 须在最短的时间内，正确地判断出网络故障所在的位置、故障的类型和引起故障 的原因，以便及时对故障进行修复。现代网络本身非常庞大，由各种不同的部件 构成，产生的告警类型极为丰富，不同的网络之间存在较大的差异。网络还会频 繁地发生改变，比如功能部件的增添、修改、替换等。告警出现的突然性和不可 预测性很强，致使准确、及时地分离和定位产生告警的根源很重要也非常困难。 在实际的网络中，一个故障的产生往往会引发起多个告警事件。而且，随着 网络的复杂性和应用水平的不断提高，告警的种类和数量会越来越多。在网络的 告警数据库中保存了大量的历史告警数据，这些告警数据或者信息不完整、或者 包含有较多的冗余信息，但其中却蕴含着一些有价值的信息。为了找出告警中有 价值的信息，以便准确的进行网络故障定位和诊断，需要对大量的告警数据进行 相关性分析，即通过屏蔽不必要的或者不相关的告警，减少告警干扰，快速进行 网络的故障诊断和定位。实质上就是对来自一个或多个告警源的告警信息进行过 滤、压缩、泛化、分类和模式匹配，以便进行故障识别和重大故障的预测。这些 工作过去通常是凭借管理人员长期积累的经验和相关知识来解决的，但由于构成 网络的网元设备、网络业务、甚至网络结构都处在不断地变化中，告警发生的模 式以及告警之间的关联性也会相应地变化，这就给网络管理人员建立告警相关性 模型带来了极大的难度。告警相关性分析采用的方法很多，如数据挖掘、专家系 统、神经网络、贝叶斯网络等等，其中基于数据挖掘的告警相关性分析是目前的 电子科技大学硕士学位论文 研究热点。 数据挖掘是从大量的、不完全的、有噪声的、随机的数据中提取隐含在其中 的、人们事先不知道的但又是有用信息和知识的过程。网络故障管理理应是数据 挖掘的一个非常重要的应用领域。数据挖掘可以对网络中产生的大量动态告警数 据进行分析和研究，挖掘出其中隐含的知识并应用于网络故障管理中。在对大量 告警数据进行告警相关性分析时，不管网络结构、设备怎样发生变化，从告警序 列中挖掘到的知识都可以较为准确地反映当前网络的故障情况。根据这些从告警 序列中挖掘到的知识，为网络告警数据的分析提供一个可行的解决方案。结合网 络管理员、网络专家的经验，将分析结果应用到告警相关性分析系统中，以实现 网络故障的识别和重大网络故障的预测。 本课题对网络告警相关性分析中的加权关联规则挖掘进行了深入的研究。关 联规则挖掘是从大量数据中找出满足支持度和置信度阈值的规则，本文是指找出 告警数据中能够反映网络故障根源和告警与告警之间关联关系的规则。在实际网 络故障管理应用中，不同网络使用者所关心的网络性能不同，重点关注的告警属 性也有所不同。因此，根据网络使用者不同的关注点为告警各个属性赋以不同的 权值，挖掘出来的规则更能体现网络使用者的关注点和网络的特性，更快速准确 的找到故障所在。加权关联规则挖掘应用到网络告警相关性分析系统中，是数据 挖掘的一个新应用领域。所以，本课题的研究不仅具有一定的科学前瞻性和挑战 性，还具有十分重要的实际应用价值。 1 2 课题来源 本课题来源于国家自然科学基金项目基于数据挖掘的通信网告警相关性分 析+ 。随着网络的不断发展，其规模越来越大，网络的复杂性也随之增加。因此 网络管理是现代网络运营和维护的重要方面，而对网络故障的管理又是网络管理 的核心部分。人工进行故障管理的方式已经在日益复杂的网络中体现出了明显的 不足，计算机用于网络管理在实际中已经得到了很好的应用。故障诊断专家系统 就是计算机应用于网络故障管理的很好的一个例子。但是，专家系统的不足在于 它的效率和性能完全依赖于专家的经验和知识，不能进行知识的实时更新和自学 习功能，在知识获取方面是一个很大的瓶颈。数据挖掘是目前的一个新型学科， 也是众多学者研究的热点。根据网络告警数据量大、告警相关性分析的规则实际 基金编号：6 0 5 7 2 0 9 1 2 - 第一章绪论 隐含在众多的告警数据中等特点，我们提出了基于数据挖掘的告警相关性分析方 法，研究设计了告警关联规则挖掘系统并对系统进行了仿真验证。本课题是一个 理论与应用相结合的课题。 1 3国内外研究现状和发展趋势 故障诊断与定位是网络管理的核心，当网络发生故障时，要求及时找到网络 发生故障的位置和故障原因，以便快速的排除故障，恢复网络的功能。告警相关 性分析是网络故障诊断的重要手段之一。由于网络故障管理的重要性，告警相关 性分析技术一直是网络管理领域的研究热点。国内外各大公司、研究机构和高等 院校都投入了大量的人力和物力开展研究，并取得了一系列具有应用价值的研究 成果【1 1 1 2 3 】( 4 】嗍【6 】【7 l 【8 】【9 】【1 0 】【1 1 1 ，许多成果已经转化成产品，如文献【1 2 】中提到的惠普公 司的e v e n tc o r r e l a t i o ns e r v i c e s ，m m 公司的n e t f a c t 等等。告警相关性分析的作 用在于消除告警冗余，迸一步找到故障根源以便进行故障的快速定位和排除。告 警相关性分析采用的方法很多，如基于规则的告警相关性分析、基于案例的告警 相关性分析等等。 数据挖掘为告警相关性分析提供了新的途径，从告警数据库中可以挖掘出蕴 含在大量告警中的关联规则，利用这些规则对原始告警数据进行告警过滤和相关 性分析，达到故障诊断和定位的目的。h e i k k im a n n i l a 等人开发的t a s a 系统1 】【2 3 】 是近年来告警相关性分析研究中取得的一系列成果的代表，在该系统中提出了告 警频繁情节的核心算法w i n p e i 算、法【”l 。关联规则挖掘的核心是快速、高效的挖 掘算法，这些算法中最具代表性的是r a g r a w a l 等人提出的a p r i o r i 算法【1 4 】和j i a w e i h a r t 等人提出的f p g r o w t h 算法【1 5 】以及在这两类算法基础上的改进算法【1 6 1 1 刀【18 1 。 本文在已有算法的基础上，以算法的挖掘速度和存储空间为着眼点，对网络告警 特定环境下的关联规则挖掘算法进行了深入研究。 目前已有的关联规则挖掘算法都是以这样一个假设为前提的，即认为数据库 中各属性之间是平等的，无重要和次要之分，算法中各属性都以平等一致的方式 进行处理。然而，在现代网络中，告警信号的某些属性分为不同的级别，如严重 告警、重大告警、一般告警和提示性告警等，不同q o s 要求的业务对告警处理的 程度也有所不同。为了解决这个问题，可以为告警的每个属性分配一个权值，然 后对加权的告警数据进行关联规则挖掘，本文采用文献【1 9 】提出的层次分析法为告 警分配权值。 一3 电子科技大学硕士学位论文 对加权关联规则挖掘算法的研究国内外已有了很多成果【1 7 】【2 0 1 2 ”。加权关联规 则挖掘算法总结起来主要分为两类：一类以a p d o d 算法思想为基础【2 0 】【2 1 l ；一类以 f p g - r o w t h 算法思想为基础【l 。”。对前一类算法的研究国内外都做了大量的工作，具 有代表性的是香港中文大学的c h c a i 等人提出的m i n w a l ( o ) 算法 2 ”。这类算法 的一个共同缺点就是需要多次的扫描数据库，严重的影响了算法的挖掘速度。对 后一类算法的研究成果尽管还很少，但是这类算法的缺点是当条件模式树 1 s ( c o n d i t i o n a lp a t t e r nt r e e ) 的深度很深或者是最小支持度计数很小时，递归的产生 条件模式树将耗费很大的内存资源，阻碍了算法挖掘速度的提高。 国内外许多电信行业公司在自己的电信商业智能解决方案中，都提到了把数 据挖掘技术应用于其中，并把数据挖掘应用到网络故障管理。利用数据挖掘来发 现告警数据中隐藏和蕴含的知识，是网络告警相关性分析的新方法，也是数据挖 掘的新应用。目前，国内总体尚处于理论探讨、应用试验阶段，还没有完全成熟 商用的产品成规模地投入使用。 1 4本文主要工作及创新点 本文对网络告警相关性分析系统中告警加权关联规则的挖掘进行了研究，通 过对告警数据进行加权关联规则挖掘，提取蕴含在告警数据中的规则，利用这些 规则对告警进行过滤、压缩等相关性分析处理，达到准确定位故障根源的目的。 本文的研究内容包括以下几个方面： ( 1 ) 研究设计了告警预处理专家系统。预处理专家系统主要解决告警的信息不 完整、信息冗余、时间不同步等问题。告警数据库经过专家系统的预处理 转换成适合进行关联规则挖掘的告警事务数据库( 又叫告警交易数据库) 。 ( 2 ) 研究了告警的加权机制，提出了一种科学的告警加权机制，加权后的告警 能够反映网络使用者对网络故障的关注重点和网络的实时动态变化。 ( 3 ) 研究设计了告警加权关联规则挖掘算法。针对网络告警数量大、告警具有 突发性等特点，本文提出了一种高效的基于频繁模式树的告警加权关联规 则挖掘算法。 ( 4 ) 研究了告警加权关联规则的后处理方法，并对网络告警关联规则挖掘系统 进行了仿真验证。 与目前国内外该领域的其他相关研究相比较，本文在以下几个方面有一定的 改进和创新： 4 第一章绪论 ( 1 ) 将层次分析法思想应用到网络告警关联规则挖掘系统中，提出了一种基于 层析分析法的告警加权机制。 ( 2 ) 在已有算法的基础上，对加权频繁模式树的构造算法和基于频繁模式树的 加权关联规则挖掘算法做了相应的改进，提出了一种高效的基于频繁模式 树的加权关联规则挖掘算法。与m i n w a l ( o ) 算法相比，算法的时间和空 间效率都得到了提高，挖掘出的告警关联规则更能反映网络的根源故障信 息。因此，算法更加适应网络告警这一特定环境下的加权关联规则挖掘。 ( 3 ) 提出了种定量的加权关联规则后处理算法。算法能够快速有效地删除告 警加权关联规则中无意义的、冗余的规则，将形式简洁、信息完整的规则 呈现给用户。 1 5论文结构及内容安排 本文首先介绍了网络故障管理、数据挖掘和关联规则挖掘在网络管理中的应 用。接着研究设计了网络告警关联规则挖掘系统，包括告警预处理专家系统的研 究设计、告警加权关联规则挖掘算法的研究和规则后处理算法的研究。最后对网 络告警关联规则挖掘系统进行了仿真验证。全文分为五章，具体安排如下： 第一章，概述了网络告警加权关联规则挖掘的研究背景和意义，指出了国内 外的研究现状和发展趋势。 第二章，介绍了网络故障管理和告警相关性分析的基本概念和理论，指出了 数据挖掘技术尤其是关联规则挖掘技术在网络故障管理应用中的必要性和可行 性。 第三章，研究和设计了网络告警关联规则挖掘系统。研究内容包括：告警预 处理专家系统的研究与设计、告警加权机制的研究、告警加权关联规则挖掘算法 的研究以及关联规则后处理算法的研究。 第四章，对本文研究设计的网络告警关联规则挖掘系统的测试、仿真和验证。 第五章，对全文的工作进行了总结，并对本研究课题未来的发展趋势和方向 做进一步展望。 5 - 电子科技大学硕士学位论文 第二章网络告警相关性分析与数据挖掘 2 1网络故障管理 2 1 1概述 网络管理是指对网络的运行状态进行监测和控制，使其能够有效、可靠、安 全、经济地提供服务。网络管理包含两个任务，一是对网络的运行状态进行监测， 二是对网络的运行状态进行控制。通过监测了解当前状态是否正常，是否存在瓶 颈问题和潜在的危机，通过控制对网络状态进行合理调节，提高性能，保证服务。 监测是控制的前提，控制是监测的结果。网络管理具体说就是网络的监测和控制， 目的是使网络中的各种资源得到更加高效的利用，当网络出现故障时，能及时做 出报告和处理，并协调、保持网络的高效运行等。根据i s o 的定义网络管理主要 有以下五大功能：故障管理、配置管理、性能管理、计费管理和安全管理。 网络管理在网络的日常运营、维护中起着举足轻重的作用，随着网络技术的 高速发展，网络管理的重要性越来越突出。第一，网络设备的复杂化使网络管理 变得复杂。网络设备复杂有两个含义，一是功能复杂，二是生产厂商多，产品规 格不统一。这种复杂性使得网络管理无法用传统的手工方式完成，必须采用先进 有效的手段。第二，网络的经济效益越来越依赖网络的有效管理。现代网络已经 成为一个极其庞大而复杂的系统，它的运营、维护和开通( o a m p ) 越来越成为一 个专门的学问。没有一个有力的网络管理系统作为支撑，就难以在网络运营中有 效地疏通业务量，提高接通率，避免诸如拥塞、故障等问题。使网络经营者在经 济上受到损失，给用户带来麻烦。同时，现代网络在业务能力等方面具有很大地 潜力，这种潜力也要靠有效的网络管理来挖掘。第三，先进可靠的网络管理也是 用户所要求的。当今时代，人们对网络的依赖越来越强，普通人通过网络打电话、 发传真、发e m a i l ，企业通过网络发布产品信息，获取商业情报，甚至组建企业 专用网。在这种情况下，用户不能容忍网络的故障，同时也要求网络有很高的安 全性，使得通话内容不被泄漏、数据不被破坏、专用网不被入侵、电子商务能够 安全可靠地进行。 网络故障管理是对来自网络硬件设备或路径节点的告警信息进行监控、报告 6 第二章网络告警相关性分析与数据挖掘 和存储，以及进行故障的诊断、定位与处理。当计算机网络、电信网络等大型网 络发生网络故障时，网络管理员往往不能快速有效地确定故障所在的准确位置。 因此，需要有一个网络故障管理系统，科学地管理网络发生的所有故障，并记录 每个故障的产生及相关信息，最后确定并改正那些故障，保证网络能提供连续可 靠的服务。网络故障管理包括以下三个方面的内容： ( 1 ) 告警监视功能 故障管理以接近实时的方式监测网络单元的失效，当这种失效发生时，网络 单元给出指示，故障管理确定故障性质和严重的程度。例如，可以确定故障对承 载业务的影响程度，这可用下述两种方法中的任一种来实现：种是网络单元送 出二进制告警指示，由网络故障管理单元翻译解释，如果网络单元有足够的智能， 可以解释后再送给网络故障管理单元，这种方法使网络单元几乎不需要有自检能 力。另一种是需要网络单元和故障管理都支持的一些类型的消息语法，给出故障 的适当描述。 ( 2 ) 故障定位功能 当初始失效信息对故障定位不够用时，就必须扩大信息内容，由失效定位例 行程序利用测试系统获得需要的信息。 ( 3 ) 测试功能 这项功能是在需要时或提出要求时，或者作为例行测试时进行。测试方法可 以采用下述两种之一种：一是故障管理单元指挥某个网络单元进行电路或设备特 性的分析。这种方法，由网络单元负责处理，把处理结果自动地以立即方式或延 迟方式向故障管理单元报告。另一种方法是在故障管理单元内进行分析。这种方 法，故障管理单元仅仅要求网络单元提供电路或设备的接入口，与网络单元不交 换其它消息。 故障管理作为网络管理的基本功能之一，是网络日常维护的基础，在网络的 正常运行中扮演着重要的角色。当网络发生故障时，会引发一系列告警，但并不 是所有的告警都表明故障的根源，需要对网络中的告警进行相关性分析，确定产 生故障的根本原因。因此，告警是故障管理的重要对象。 2 1 2 故障与告警 在网络管理领域，故障( f a u l t ) 是使被管理网络及部件不能提供正常服务的硬件 或软件上的紊乱。告警( a l a r m ) 是由厂商定义的采用约定的格式，从网络设备上的 7 电子科技大学硕士学位论文 代理出发，被网络管理员观察到的故障的外在表现形式。故障是产生告警事件的 原因。告警是在特定事件发生时被管对象发出的通报构成的一种事件报告，用于 传递告警信息。告警是一个系统发出的短消息，表示其发出了某些事情或异常。 告警只是表示可能有故障发生，但并不一定有故障发生。资源的被管对象可以发 出告警事件作为对系统当前发生异常的响应。 告警事件包含被管对象状态异常的信息，按照r r u t 的x 7 3 3 标准的建议， 一个告警消息通常包含以下信息( 属性) ：设备名称、设备类型、设备地址、端口类 型、告警级别、告警类型、告警状态、告警时间等，如表2 1 是几个告警的实例。 不幸的是，告警通常并不明显包含网络中故障和问题根源的确切位置信息，当网 络中出现故障时，会引发一系列告警，但并不是所有告警都表明故障原因，这就 需要通过分析网络产生的所有告警来判断故障的根本原因。需要注意的是，告警 仅仅是反应网络状况发生改变的征兆，这就是说，通常是故障产生了告警，一个 故障可能是另一个故障的根源，但一个告警绝对不会产生出其他告警。 表2 1 几个告警实例 设备名称 设备类型设备地址端口类型 告警级别告警类型告警状态告警时问 w a r n qp r o d u c2 0 0 3 0 6 0 l q z j y 7 9 i s m 4 i u d it p 2 8c e p t lp f c r e m ge d0 0 1 0 2 8 c r r r i c ac o n f i r 2 0 0 3 0 6 0 1 q z l x 8 4 i s m 4 r d it p l 1 5c e p t tc o 埘 lm ：e d 0 0 1 0 3 0 c o n f 取2 0 0 3 0 6 0 1 q z j r 7 9 i s m 4 r d it p 2 8c e l 呵1m a j o rb r r j m m e d0 0 4 0 5 5 c l e a r e2 0 0 3 0 6 0 1 q z l x 8 4 i s n 【4 r d it p t 1 5c e p t lm 烈o rp f c r e m d 0 0 4 0 5 7 告警管理以通知和告警的形式反映并记录系统中的软硬件故障及重要事件的 发生情况，同时提供对告警通知管理定制的手段，如过滤、确认、清除和查询等， 此外告警管理还提供基本的对设备进行操作的人机命令，如复位、倒换等。告警 管理的核心功能是保证系统中发生的故障和重要事件以告警和通知的形式及时准 确地显示给用户，以便定位和解决故障。告警和通知消息中都带有告警码，告警 码是根据可能的故障预先定义的代表特定告警的整数值。 当告警源探测到某故障发生时，构造一条包含特定告警码的告警消息发送到 告警管理前台，再经过告警服务器广播给告警客户端。同样当告警源探测到故障 8 第二章网络告警相关性分析与数据挖掘 条件消失时，会构造一条包含相应告警码的清除消息发送到后台。这是告警从产 生到上报再到清除的典型过程和处理。告警管理功能结构如图2 1 所示。出于告警 管理和定制的需要，告警在告警服务器要经过一系列的处理，所依据的准则被称 之为告警规则，归纳为告警过滤、确认、抑制、归并等规则。告警客户端提供规 则定制、修改、删除的用户界面，告警规则保存在服务器数据库且在运行时加载。 手工清除或自然清除的告警称为历史告警，历史告警被保存在数据库中。告警管 理具有以下几个重要的功能： 告警和通知查看：告警客户端允许以不同形式和信息详细程度呈现系统中 存在的告警和通知信息：声音提醒功能可以提示整个系统中存在的最高级 别的告警；通过拓扑树和拓扑图节点的不同图标及图标颜色判断该节点 ( 包括予节点) 的最高级别的告警；查看拓扑树或者拓扑图上节点的提示信 息，则可以了解该节点的每一级别的告警计数和未确认告警计数；还可以 查看每一个节点当前告警和通知的详细信息。这种逐层深入的信息查看方 式符合用户获取信息的习惯。 规则定制：当告警服务器收到告警和通知消息的时候，可以根据事先定制 的规则来决定对该消息的处理方式，例如告警过滤规则可以使满足条件的 告警不发送到客户端或当告警恢复的时候，不存到数据库中。客户端的规 则定制功能可以方便地查看、修改、删除服务器上的规则，也可以创建新 的规则提交到服务器。所有规则只对规则创建之后新产生的告警和通知消 息才起作用。 查询统计功能：目前提供的查询功能包括：历史告警数据查询、历史通知 数据查询、活动告警数据查询、派工单数据查询、历史告警数据统计查询 等。 知识库管理：知识库分为告警码、原因码和通知码三个部分，可以分别查 看告警码对应的告警级别、网元类型、网元告警码、告警类型、告警内容、 系统解决建议、用户解决建议；查看原因码对应的原因码内容；查看通知 码对应的通知内容。 - 9 电子科技大学硕士学位论文 历史告警查询 历史通知查询 2 2 告警相关性分析 查看 修改 删除 告警提示告原通 信譬看荛是智： 岿钧蝴 图2 1 告警管理功能结构图 告警相关性分析是用于管理大量事件消息的首选技术。通过过滤掉不必要的 或者不相关的告警，可以减少呈现给网管操作人员的信息。同样，通过相关性分 析，能够增加信息的语义内容，从而有助于判断内部问题或者事件根源。如果能 够实现告警相关性分析，则提高潜在收益，因为故障可以被更快地诊断和定位， 从而可以更快地恢复业务。 对于告警相关性的规则，从原则上讲可以从设备涉及人员或者由丰富操作经 验的工程师获得，但这个过程相当繁琐，而且单从工程师那里获取告警相关性规 则，已无法满足网络维护的需要，因此迫切需要新的方法分析网络中的告警相关 性，辅助网络管理员查明产生故障的原因。所以，告警相关性分析是目前网络故 障管理领域的一个热点问题。 2 2 1告警相关性分析定义 告警相关性分析是指对告警进行合并和转化，将多个告警合并成一条具有更 多信息量，能反应故障根本原因的告警，从而准确定位故障。告警相关性可以用 于对产生多个告警进行解释。 对告警相关性分析的形式化定义是：告警事件口与告警事件集合相关 q ，吃， ，表示为口j q ， 。告警相关性分析可以用于网络故障定 位和告警过滤。 1 0 第二章网络告警相关性分析与数据挖掘 故障处理过程可以分为三个阶段：告警相关性( a l a r mc o r r e l a t i o n ) 分析、故障定 位( f a u l ti d e n t i f i c a t i o n ) 和故障验i 正( f a u l tv e r i f i c a t i o n ) 。前两个阶段通常认为是故障定 位的处理过程，通过对告警相关性进行分析，提出各种对故障情况的假设。最后 一个阶段是验证各种故障假设是否正确。 告警过滤是用来把