（计算机软件与理论专业论文）关联规则分析在电信告警系统中的研究与应用.pdf

摘要 摘要 在电信网络告警管理中，告警关联规则分析是很重要的部分，它是用于分析 告警数据的专家系统。然而电信网络本身的复杂性导致获取必要的知识来为某个 特定网络构建一个告警关联系统十分困难，数据挖掘为告警信息中知识获取提供 了新的途径。 电信告警数据库中保存了大量历史告警信息，在这些历史告警信息中蕴涵了 许多有用的信息，这些信息反应了网络运行的规律。告警数据非常适合于关联规 则分析的应用，应用结果可以改善网络故障管理。 针对这一状况，本文提出用数据挖掘技术来分析电信告警数据，主要工作如 下； ( 1 ) 首先介绍了通信管理网的基本概念、相关知识和现状，然后介绍了电信告 警和电信告警管理。 ( 2 ) 简要介绍了数据挖掘技术的概念和告警数据挖掘，详细阐述了关联规则挖 掘算法。针对a 叫o r i 算法在告警数据中发现关联规则时需产生大量候选频繁项目 集的不足，提出了在告警关联规则挖掘中采用f p g r o w t h 算法 ( 3 ) 最后，在以上述研究分析结果为基础，提出了基于关联规则挖掘算法的告 警关联分析模型。阐述了告警数据中的数据挖掘全过程，包括数据收集与预处理、 模式发现、规则后处理和应用三个阶段，针对相关问题给出对应的解决方案 通过对算法的分析和系统的实现结果分析，用f p g r o w t h 关联规则算法对电 信告警数据挖掘是完全可行和有意义的。 由于国内近几年才开始对综合网管系统的研究与开发，而将关联规则挖掘技 术应用于告警关联规则分析的研究时问则更短。因此，本课题的研究内容与成果 具有较强的理论和应用价值。 关键词：电信告警，数据挖掘，关联规则，f p g r o w t h 算法 a b g 玎u 岍 a b s t r a o t a l a r mc o r r e l a t i o ns y s t e mi sa l le x p e r t i s es y s t e mt oa n a l y z ea l a r md a t a ，w h i c hi sa n i m p o r t a n tp a r to ft e l e c o m m u n i c a t i o nn e t w o r km a n a g e m e n to fa l a r m h o w e v e r , i ti s d i f f i c u l tt oa c q u i n e c e s s a r yk n o w l e d g et ob u i l da na l a r mc o r r e l a t i o ns y s t e mo f s p e c i f i c n e t w o r kb e c a u s eo f i t sc o m p l e x i t y d a t am i n i n gi saf l e wm e a o st of i n dt h ek n o w l e d g e o f a l a r mi n f o r m a t i o n t h 唧a r e1 0 t so f a l a 皿d a t ai nt e l c c o m m u n i c a l i o na l a h nd a t a b a s e a1 0 to f u s a b l e i n f o r m a t i o ni sc o n t a i n e di nt h e s ed a t a , w h i c hr o v e a l st h es t a t u so ft e l e c o n u n u n i c a t i o n n e t w o r k a l a r md a t ai sv e r ys u i t a b l ef o ra l a r mc o r r e l a t i o na p p l i c 瓶o na n dt h er e s u l to f a p p l i c a t i o n c a nb eu s e dt o i m p r o v et h e f a u l tm a n a g e m e n to ft e l e c o m m u n i c a t i o n n e t w o r k a c e i g t ot h i ss i t u a t i o n , t h i sp a p e rp r o p o s e st oi i s ed a t am i n i n gt e c h n o l o g yf o r t h ea n a l a fa l a r md a t a t h em a i nw o r k sa n dc 0 删b u 矗o n si n t h i sp a p e ra r ea s f 0 1 i o w s ： ( 1 ) t h ca r t i c l ef i r s t l yp r c s e n 协b a s i cc o n c e p t i o n s ，c o r r e l a t e dk n o w l e d g ea n d a c t u a l i t yo fc o m m u n i c a t i o nm a n a g e m e n tn e t w o r k a n di n t r o d u c e st e l e c o m m u n i c a t i o n a l a r ma n dt h 狲 ( 2 ) s e c o n d l y , t h i sa r c t i c l ei n t r o d u c e st h ec o n c e p t i o no fd a t am i n i n ga n da l a r m m i n i n gb r i e f l y , i l l u s t r a t e sa s s o c i a t i o nr u l em i n i n ga l g o r i t h mi nd e t a i l w h i l ea p r i o r i a l g o r i t ! m li su s e df o rd a t am i n i n go na l a r md a t a , i tw i l lg e n e r a t el a r g en u m b e ro f c a n d i d a t ef i c q u e n ti t c m s c t s t oa v o i dt h i sw e a k n e s s , w ed e s c r i b ef p - g - r o w t ha l g o r i t h m i na s s o c i a t i o nr o l ed i s c o v e r yi na l a r md a t a ( 3 ) l a s t l yb a s e do nt h er e s e a r c hr e s u l t s ，t h i sa r t i c l ep u t sf o r w a r dr e l a t i v ea n a l y s i s m o d e lo fa l a r mb a s e do na s s o c i a t i o n r u l e m i n i n ga l g o r i t h m ，a n dm o d e l - b a s e d c o r r c l a t i w ea l a r md i s p o s a lm e c h a n i s m t h ew h o l ep r o c e s so fd a t am i n i n gi sa l m d e s c r i b e di nt h i sp a p e r , i n c l u d i n gd a t ac o l l e c t i o na n dp r e p r o c e s s i n g 品r u l ed i s c o v e r y , r u l e p o s tp r o c e s s i n ga n da p p l i c a t i o n s o m e r e s o l u t i o n sa r cg i v e nf o rr e l a t i v ee x i s t i n g p r o b l e m i ti sf e a s i b l ea n ds i g n i f i c a n tt h a tw eu s ef p - g r o w t ha l g o r i t h mt oi m p l e m e n td a t a m i n i n gs y s t e m0 1 1t e l e c o m m u n i c a t i o na l a r md a t at h r o u g ht h ea n a l y s i so fa l g o r i t h ma n d s y s t e mr e s u l l a b s l r a c t i no 砒c o u n t r y ，i ti sn o ta l o n gt i m et os t a r tt h er e s e a t c ha n de x p l o i t a t i o no f l o c a l t e l e c o m m u n i c a t i o ni n t e g r a t e dn e t w o r km a n a g e m e n t a n di ti ss h o r t e rt o a p p l yd a t a m i n i n gt o a s s o c i a t i o nr u l ea n a l y s i s s ot h er e s e a r c hc o n t e n ta n dr e s u l t sh a v ef i n e a c a d e m i c , t e c h n i c a la n dp r a c t i c a lv a l u e k e y w o r d ：t e l e c o m m u n i c a t i o na l a r m ，d a t am i n i n g , a s s o c i a t i o nr u l e , f p - g r o w t h a 1 9 0 r i t h m m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：垄呈 日期：z 叼年o - 7 j z e i 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文 ( 保密的学位论文在解密后应遵守此规定 签名： 盔：耋 导师签名： e l j l i l ：砷辫 7广i：=：挚 第一章绪论 1 1 研究背景 第一章绪论 近年来，我国电信网络的发展速度和水平已位居世界前列。但是，与此相对 应的监视、控制、维护能力与水平却比较落后，主要体现在：多专业、多厂商网 管平台的复杂性和异构性：故障多点受理、管控分离、人工流转；数据分散、不 便分析、难以考核。上述问题直接导致了通信网络的运行维护难度大，响应速度 慢、服务质量差，人力成本和管理成本高，维护工作不透明、不量化、不主动， 无法适应现代电信企业竞争的总体要求 彻底解决上述问韪的有效途径是开发和建设综合化、集中化、智能化的网管 系统，提升本地通信网的综合化集中维护水平，变被动维护为主动维护，变面向 设备为面向客户、面向业务，有效提高客户服务质量、业务晌应能力和网络管控 能力。成都电信综合集中告警系统的总体目标是构建一个统一的技术处理平台， 以实现本地通信网跨专业、跨系统、跨平台的集中监视、集中控制、集中维护、 集中管理，全方位提升本地电信网的综合集中管理水平，汇集各专业网管系统的 数据，实现只需在一个值班席位上，就能掌握各专业所有网元的运行状况，采用 图形、人声、文字、短信等多种方式对故障自动告警。自动生成电子工单并进行 调度，实现电子工单的自动受理、流转和执行，建立起实用、有效的综合化集中 监视与调度管理平台：实现综合性本地通信网或专业通信网运行状态的集中监视、 集中告警、性能分析，故障的一点受理、集中调度、集中维护、闭环管理、统计 考核，创建一种全新的通信网综合化集中维护模式 本课题针对电信网络管理的需求，将关联规则分析应用于电信网络的告警数 据分析，采用新的数据挖掘技术分析告警信息，从大量原始告警信息中获得网络 告警的模式知识，为电信告警信息的分析提供一个可行的解决方案。结合网络管 理员以及网络专家的经验，将分析结果应用到告警关联系统当中，以实现故障识 别和预见一些严重的网络故障，同时有些知识还能用于网络的性能监测，这些挖 掘出来的知识在故障管理中极具价值。因此，本课题具有实用价值和理论意义。 电子科技大学硕士学位论文 1 2 课题来源 本课题来源于成都电信的项目“成都电信综合集中告警系统”，主要任务是通 过对从来自交换、传输、数据、动力环境等专业网的海量告警数据的分析，通过 告警关联规则分析快速发现、定位和处理故障，降低故障时延，提高客户响应速 度，改善服务质量。属于理论与应用相结合的课题。 1 3 研究意义 课题所研究的告警关联规则分析主要针对实现成都电信综合集中告警系统的 需要。本研究课题具有如下主要意义； ( 1 ) 国内对于本地电信网综合告警的研究与开发工作是近几年才起步的，而将 数据挖掘和知识库技术于告警关联规则分析的研究工作则时间更短，目前尚没有 类似的较成熟成果，因此本课题具有较强的前沿性。 ( 2 ) 将数据挖掘中的关联规则发现技术用于分析历史告警数据或活动告警，可 以自动发现关联告警集合并自动建立告警关联分析规则，实现关联规则模板的智 能化生成和自动学习，具有一定的创新性。 ( 3 ) 课题成果可以快速、准确快速发现、定位和处理故障，大量降低故障时延， 提高运行效率和响应速度，改善服务质量，具有很强的实用价值 1 4 主要工作 本人在整个成都电信综合集中告警系统中主要参与了网管系统的项目设计和 开发等工作，通过实践经验的总结以及理论知识的积累，在网络管理领域的知识 有了一定的认识。其中，本论文所涉及的主要工作如下： ( 1 ) 对电信告警数据进行分析，使用关联规则进行数据挖掘。通过对电信告警 数据的分析，比较不同关联算法的优点和不足，建立数据挖掘模型。 ( 2 ) 在电信网络管理系统的构架上，实现数据挖掘的功能同时，针对系统的 具体实现，找出系统实现的关键技术和难点，研究对其优化的方法。 2 第一章绪论 ( 3 ) 对系统进行测试，由测试结果得出研究结论，并对未来的上作进行展望。 1 5 论文的组织结构 本文首先介绍了电信网络告警管理，再分析了电信告警数据特征。接下来介 绍了数据挖掘理论，分析了基于关联规则的数据挖掘方法，通过对挖掘算法a p r i o d 和f p g r o w t h 的分析，确立了数据挖掘模型和方法最后重点介绍了电信告警数 据挖掘的设计和整个系统实现，优化和测试。 第一章概述了电信告警数据挖掘的研究背景和意义，指出了国内外的研究现 状和发展趋势，并且概述了本文的主要工作和章节的安排 第二章主要介绍关于通信管理网络的知识，提出了电信网络告警。 第三章主要介绍数据挖掘理论，最后在分析告警数据特征后提出了告警数据 挖掘的基本模型。对本课题的相关的关联规则数据挖掘进行理论介绍，其中，包 括关联规则挖掘步骤、关联规则算法实现、然后通过对算法a 研o r i 和f p g r o w t h 的阐述分析，确定采用f p 。g r o w t h 算法进行电信告警数据挖掘。 第四章重点讲述了电信告警数据关联规则分析的实现，首先对重要的数据结 构进行描述，然后介绍了主控工作流程、并对主要的挖掘过程和实现细节进行描 述，最后描述了测试环境并分析了测试结果。 第五章对文章作了总结，并对将来的工作做了展望。 电子科技大学硕士学位论文 2 1 通信网 2 1 1定义 第二章通信网与告警管理 通信网是为公众提供信息服务，完成信息传递和交换的通信网络。通信网所 提供的信息服务也就是通常所说的通信服务。 2 1 2 通信网分类 通信网是为公众提供信息服务，完成信息传递和交换的通信网络。通信网所 提供的信息服务也就是通常所说的电信业务通常把电信网分为业务网、传输网 和支撑网。其中，业务网面向公众提供通信业务，包括公共电话交换网、分组交 换网、帧中继网、数字数据网、综合业务数字网、口网、智能网等；传输网可以 通过光纤、微波和卫星等传输方式为不同服务范围的业务之间传送信号；支撑网 支持业务网和传输网的正常运行，包括信令网、同步网和管理网。业务网、传输 网和支撑网问的关系如同2 1 所示l l j 。 图2 _ 1 业务网，传输网和支撑同之间的关系 整个通信网是一个复杂体系，通信网的特点很多，如： ( 1 ) 按服务区域分；有国际通信网、长途通信网、网、局域n ( l a n ) 、城域网 4 第二章通信网与告警管理 ( m a n 卜广域网( 、j l r a n ) 本地通信网、农村通信。 ( 2 ) 按专业划分为传输网、固定电话交抉网、移动电话交换网、数据网、数字 同步网、信令网和动力环境网等等。其中，数据网又分为基础数据网( d o n 、分组 交换网等1 和口网。 2 1 3 通信网的组成 目前我国各通信运营商大都拥有一个规模宏大的通信网络，其网络一般是有 许多独立管理的专用网和公用交换网互连组成的，其网管系统也是条块分割以 下是一些主要的专业网管系统： 电话交换网网管系统：国际电话网络管理系统、国内长途电话网管系统、 本地电话网网管与集中维护系统； 传输网网管系统：p d h ，s d i - i ，d w d m 网管系统； n o 7 信令网网管系统：国际七号信令网管系统、骨干网n o 7 信令网网 管系统、省级n o 7 信令网网管系统； 智能网管理系统：骨干智能网营业管理系统、智能网业务管理中心系统； 数字同步网监控与管理系统： 数据网网管系统； 市内电话业务计算机综台管理系统； 通信电源、机房空调集中监控管理系统等； 2 2 传统的网管模式 2 2 1 传统网管结构 现代网络管理系统虽然引入了计算机和网络化管理，但仍然处于传统网管思 想指导下，将整个通信网络划分为不同的专业网，并在此基础上建立了如接入网、 传输网、交换网等不同网络的专业网管系统，对各个专业网进行管理这种管理 理念是通过对不同的专业网设置不同的监控平台，监控与管理本专业网络中的设 电子科技大学硕士学位论文 备及其运行情况。 2 2 2 传统网管的缺点 由于传统的网管系统是对不同的专业网设置不同的监控管理系统，并只对本 专业网络进行管理，因此缺乏统一的目标。由于系统设计方法的不一致，导致这 些网管间很难完全兼容与互通，造成各网的运行状态数据和管理信息不能共享。 而现代网络间的互通曰益频繁，某个专业网中若出现故障，可能会影响其他专业 网络的性能或产生故障。这种传统网管方式使得对整个网络的故障分析与处理有 较大难度，影响全网的协调运行。 其次，随着网络舰模的不断扩大，网上设备的种类和数量也不断地增加，整 个网络的复杂性日益提高，多厂商问题非常突出。由于各种网络和设备缺乏统一 的接口标准和规范，给网管系统的建设带来了很大的困难，主要体现在： ( 1 ) 由于多厂商设备的异构网络采用各自独立的面向设备的厂商网元管理系 统( e m s ) ，造成管理困难，操作复杂，同时由于各网元管理系统相互独立，互不兼 容，无法实现信息共享，缺乏对数据网进行集中监控的手段。即没有个可跨多 厂商域和子网的集中视图。对于跨不同厂商设备和跨地区的电路业务的监控必须 分别通过各自的网元管理系统分段进行，过程复杂且效率较低。 0 ) 传统的网络管理是基于各网元管理系统实现的，在功能上主要实现了网元 管理层的功能，没有面向业务的管理功能，是面向设备的管理而不是以客户为中 心的管理。因此故障信息都是基于设备而无法与业务和客户相关联在故障监控 方面很难做到主动监控，目前主要还是接受申告的被动维护。 鉴于以上缺陷，现代网络设计思想采用了系统控制的概念，将整个网络视为 一个相互连接与系统构成的模型，其目标就是从更高层次上实时监测网络运行状 态及控制各子网资源。 2 3 电信告警 一个通信网络可以看成是由相互连接的部件组成：交换机、传输设备、动力 设备等。每个部件又包含一些子部件。分析的层次不同，部件的数量也不相同 6 第二章通信同与告警管理 一个本地通信网包含上万个部件。在通信网的运行过程中，网络中的每一个部件 和软件模块都可能产生告警，这些告警描述了某些异常情况的发生。一个网络所 发出的告警数量是相当可观的，甚至在一个小的局部通信网络中，也可能存在成 千上万个不同类型的告警。 2 3 1 基本概念 在网络管理领域，故障被定义为产生功能异常的原因，是产生告警事件的原 因。告警是在特定事件发生时被管对象发出的通报构成的一种事件报告，用于传 递告警信息。它是生产厂商定义好的，并且是通过网络中的设备产生的，是一个 系统发出的消息，表示其发生了某种事情或异常，最终被网络管理人员观察到。 告警：每个告警可以抽象为一个四元组( c ，a ，p d ， c 是发出告警的网络部 件，a 是告警类型，p 是告警可能的其他属性，t 则是告警发出时间t 3 1 1 。其中，包 含告警消息的各种信息差别很大一些告警关注一些逻辑概念，如虚拟路径_ 些告警关注物理设备，如电源供应。一些告警报告一些连接失败，如接受信号丢 失，还有一些告警仅仅报告出错率，不对故障原因做任何解释。 告警谓词：告警谓词用来描述一个告警的一次发生，一般描述其告警类型、 告警时间和告警程度。如给出一个告警谓词：告警类型为”连接失败”，告警时间是 ”2 0 0 4 0 1 2 51 9 ：4 5 ：3 7 ”，告警严重程度为”紧急告警，级别4 ”。 理想的告警信息应包含有关故障设备名称、故障症状、发生部位、发生时间、 发生原因等信息但绝大部分告警都只有有关经历故障的设备名称、故障症状、 发生时间等数据域，而没有提供识别故障必须的故障发生的详细地点和发生原因 等数据域。 2 3 2 告警状态 综合集中告警系统中，处理的信息是网元告警，随着告警状态的变化，综合 集中告警系统要进行相应的逻辑处理【2 j ，图2 - 2 给出了告警状态的转换图。 告警状态的变化是由于接收到相关的事件和操作所致。如当接收到一个告警 触发消息则产生一条未恢复未确认的告警，随后又收到该告警的恢复消息则这 条告警就从未恢复未确认状态自动转为已恢复未确认状态( 网管监控人员未对该告 电子科技大学硕士学位论文 警作确认操作) ，同时从当前告警库转入历史告警库。 广 i 一产生h i 2 3 3 告警分类 件 作 广 h i 1 图2 - 2 告警状态转化图 i 当 i g i 警 i i 历 i 警 i 在电信综合集中告警系统中告警分为五级：紧急告警( 耐c a l ) 、主要告警 ( m a j o o 、次要告警 m i n o r ) 、警告告警( w a r n i n g ) 、不确定告警( i n d e t e r m i n a t e ) 。如动 力环境的交流停电告警为紧急告警，数据的设备c p u 利用率超过门限值告警为重 要告警，动力环境的风扇故障为次要告警门禁、门开告警为警告告警 2 4 电信网络告警管理 2 4 1 电信告警管理功能 告警管理的核心功能是保证系统中发生的故障和重要事件以告警和通知的形 式及时准确地显示给用户，以便定位和解决故障口l 。告警和通知消息中都带有告警 码，告警码是根据可能的故障预先定义的代表特定告警的整数值。 当告警源探测到某故障发生时构造一条包含特定告警码的告警消息发送到告 警管理前台，再经过告警服务器广播给告警客户端。同样当告警源探测到故障条 件消失时，会构造一条包含相应告警码的清除消息发送到后台这是告警从产生 第二章通信用与告警管理 到上报再到清除的典型过程和处理。整个告警管理的内部逻辑结构图如图2 - 3 所 示： 外 部 接 口 圈2 - 3 告警管理的内部逻辑结构图 出于告警管理和定制的需要，告警在服务器要经过一系列的处理，所依据的 准则我们称之为告警规则，归纳为告警过滤、确认、抑制、归并、邮件前转、短 信前转、延迟等规则。告警客户端提供规则制定、修改、删除的用户界面，告警 规则保存在服务器数据库且在运行时加载。手上清除或自然清除的告警称之为历 史告警，历史告警被保存在数据库中。 9 电子科技大学硕士学位论文 2 4 2 告警关联系统 在电信网络运行过程中，会产生一系列告警，这些告警有的可以置之不理， 而有的如果不及时采取措施则会带来不可挽回的损失由于告警产生的随机性很 大，究竟哪些告警可以不予理睬，哪些告警必须迅速处理往往很难判断，一般需 要由人工根据经验进行处理，效率不高。告警关联是一种对网管中心接收到的告 警流进行处理的关键技术，经过它的处理之后，告警流对于操作员来说变得更加 简单、有效。 告警关联系统作为一个网络管理系统的子部分与其它网络管理比较，根据其 特点分析，其意义在于从面向全部网络、网络设备层次保证网管信息的全面、有 效和完整，进一步提供合理有效监控、维护、服务手段，解决现行管理问题，并 提供一定程度决策分析支持等，比如；掌握全网的网元事件，对事件通知信息的 相关性进行全面综合分析，克服假信息、无用信息的出现，可通过专家系统，引 入事件分析规则定制功能，以积累系统故障分析处理能力；通过工作流管理，跟 踪网络性能变化，控制故障处理、网络维护和系统维护工作流程和操作，并提供 一定的工作流程定制能力，以配合网络维护体制变化并积累系统维护经验，对全 网资源、故障、性能等运行状态信息进行统计分析等。总的来说告警相关处理系 统的功能框架与专业网管系统类似，只是处在全网的层次上运行，在此基础上提 供一定的服务和管理支持手段。针对网络运营者而言，告警关联系统建设意义在 于进一步降低成本、提高质量和高效服务。从运营商的实际需求来看，他们需要 一个综合化、智能化、服务化的告警处理系统。综合化就是将原来按照专业来管 理的系统，转为按照全网来管理的系统。智能化使网管人员能更容易、简单地对 网络进行管理。目前的运行维护人员都必须是专业设备的专家，但应用智能化的 网管系统后，人员只要具备一般的电信设备常识即可胜任工作。服务化的管理就 是从对设备、网络的管理，转为对大客户的业务进行端到端的管理 告警事件关联的类型可形式化定义为以下几种 4 1 ： n ) 告警压缩 告警流中存在大量的重复性告警信息，如由于告警信息的传输采用不可靠性 传输协议，如s n m p 的= a p 信息是基于不可靠传输协议u d p ，网络设各将不断的 向告警管理系统发送告警信息a 。其描述公式为：将发生的多个告警压缩到一个 1 0 第二章迥信同与告警管理 告警中： a ，a ，a ，4 ) j a ( 2 ) 告警过滤 由于一个故障涉及到多个告警产生，但告警信息可能是虚假的，告警描述的 不一定是真实的故障，虚假告警可以剔除，其描述公式为：如果告警a 的pc a ) 值不属于合法集合u ，则过滤掉告警a ： a ，p ( a ) eu ) j o 3 ) 告警抑制 通过用一个级别高的告警对低级别的多个告警信息进行替代，其描述公式为： 在前提a 告警( 高优先级告警) 发生的情况下，抑肯i z l a 警b ( f 氐优先级告警) ； a ，b ) j a ( 4 ) 告警记数 对重复到达同样的告警进行统计和设定门限值。例如，用一个告警b 代替n 次出现告警a ：( n + a ) j b ( 5 ) 告警泛化 通过用更笼统的告警信息对原来的告警信息进行替代，其公式描述为：用告 警的超类代替该告警：( a acb ) j b ( 6 ) 告警特化 通过用更详细的告警信息对原来的告警信息进行替代，其公式描述为：用告 警的特定子集代替告警：f a ，a ) b ) j b ( 7 ) 告警时序关系 时间相关联的告警信息，如果在一个时间范围内发生，只涉及到一个被管理 设各单元并且具有和时间相关的次序，关联的告警依赖于告警发生时间顺序，使 用t 表示时阃顺序( b c f o r e ；a r c r ) ，告警a ，告警b 顺序发生时，则会发生告警c 可 表示为： a t b c 目前生 艮多电信网管中都采用了告警关联系统作为网管智能化的一部分给 定关联模式和关联操作，一个告警序列s ，一个告警关联过程为：连续观察接收到 的告警流s ，考虑s 上的最后一个关联窗口内的告警，如果某个关联模式与该窗口 内的告警出现，则执行与该关联模式相应的关联操作。例如，设某个关联模式包 含两个告警a 网络节点x 发出的严重程度为1 的联结告警和b 网络节点x 高故障 电子科技大学硕士学位论文 率，假设告警a 和b 以指定的顺序出现在关联窗口中，我们已经知道如果这两个 告警相继出现，则告警发生节点x 将出现故障，关联操作可能是将这两个告警合 并成一个具有更高优先权的告警c 网络节点，并将告警c 显示给网络管理员，以 及过滤掉原先的告警a 和b ，如下图2 - 4 所示： 告警a 一 ，时间 告警1 3 ：。_ 山问 r 默轼盔hw _ 1 告警c 2 4 3 告警关联分析方法 图2 - 4 告警合并示意图 时间 为了实现告警关联，必须有通信网中各种不同故障的详细知识以及它们发出 的告警信息。对于一个通信网有很多种方法可以获得有关通信网中故障和告警的 知识，主要有下面两种： 1 、通过实验人为制造一些故障，并记录导致的告警信息。但是有以下3 个缺 点：由于整个通信网设备复杂多样使得可能出现的故障也复杂多样，而多个设 备组合造成的故障种类就更不计其数，加上多个故障可以同时出现也愈发增加了 复杂度；通信网是在线提供服务的设备，不可能因为实验影响电信服务的提供； 通信网是一个不断变化的动态系统，任何网络拓扑结构的变化和网元的增加减 少都会引起告警结果的变化。 。 2 ，充分利用电信领域专家平时维护通信网积累的经验知识。这是因为人脑在 处理概括性、分类性问题时要强于电脑。但是这也有缺点：人为因素的不确定性： 告警错误、告警丢弃的随机性等。为了克服这种缺陷，目前对告警关联主要采取 以下方法： t 2 第二章通信网与告警管理 ( 1 ) 基于范例的推理方法【目嗍 在基于范例推理的系统中，过去发生的一些典型范例被存储，用来帮助解决 新问题。当一个新问题被成功解决时，系统将它作为新的范例加入到范例库中， 以供将来使用基于事例的方法是一种解决问题的策略，这种系统与专家系统的 不同之处在于其知识的基本单元是范例而不是规则。它是基于过去的经验和事例 来解决问题而不是运用该问题领域中的一般化知识，这样系统可以从自己解决问 题的经验中自动获取知识而不必从通信专家那获取知识这种系统可以根据过去 出现的错误来自动改进自身，而且还可以通过调整过去的范例，来构建新的方法， 用来处理出现的新情况，但它的缺点是它总是与某一个特定应用领域紧密相关， 而不存在一个通用的事例方法。它对于网络变化处理反应不敏感，处理过程较复 杂而且费时这对于要求实时性高的告警是一个问题。 ( 2 ) 基于模糊逻辑的方法1 7 1 模糊逻辑中最基本的概念是模糊集合。与传统集合不同，模糊集合中描述一 个元素属丁二某个集合，不是用t r u e 或f a l s e ，而是用 o ，1 】区间的一个值来表示 一个元素在多大的程度上属于某个集合 电信网络结构十分复杂，网络配置经常发生变化，而且由电信专家提供的知 识经常是不精确的，可以说几乎不可能建立这些网络的精确模型；其次在故障和 告警之间的因果关系通常是不完全的，如由于路由故障，一些告警会发生丢失。 所以采用模糊逻辑，通过模糊逻辑建立不精确网络模型，采用模糊推理来推导相 关性规则是比较合适的。 ( 3 ) 基于贝叶斯网络的方法h 1 贝叶斯网络是一个有向无环图，图的节点代表随即变量，图的边代袭相互连 接的节点之间的因果关系。一个节点的前序节点代表该节点对应的变量值的所有 可能的组合，可通过它们计算出该节点上的相关条件概率。主观概率代表专家根 据他所知道的信息，算出对己知事件的信念程度。贝叶斯网络给出了处理不确定 问题的新方法，通过这种方法即使在信息不完全和不精确的情况下，也可以进行 推理。通信网络中发生的告警事件，可能会发生丢失，如通信线路出现问题，这 时，所收集到的具体相关性告警是不精确的。所以通过贝叶斯网络来分析通信网 络中告警相关性，可以克服告警事件的不确定性。已知贝叶斯网络和证据集合， 可以计算出每一个节点条件概率，但这是一个n p h a r d 的问题虽然通过恰当 电子事l 技大学硕士学位论文 的启发式算法，可以在可接受的时问内算出几千个节点，但贝叶斯网络边界的计 算效率仍是一个有待解决的难题。 “) 编码方法 编码的方法将具有相关性关系的告警集合分成西个有限集合p 和8 ，其中p 表示问题集合，是引起故障的原因，s 是由于问题出现而引起一系列现象。对集合 p 和s 要求p n s = a ，问题p 。和s 。( p 。p ，s 。s ) 的编码如下：p c o d a n = ( b 1 ，b 2 ， b m ) ，b i ( 0 ，1 ) ，m 表示p 集合中元素的维数。s c o d e m = ( b l ，b 2 ，b 1 1 ) ，b j e o ，1 ，n 表示p 集合中元素的维数向量p m - - - - ( b l ，b 2 ，b m ) 包括对相应现象问题p m 的因 果效应度量。在向量p 。中，如果b i = ，o ，则现象s 。从来不会在问题p m 的结果出现。 如果b l _ l ，则现象s i 总是作为问题p 。的结果出现。基于编码的方法通过对事件知 识模型的预处理，降低了进行相关性分析的复杂性。根据可观察到的告警集合对 故障进行编码，称为编码手册在能区分故障的前提下，编码手册尽可能要小， 这可以减小监控对象，提高效率在性能和健壮性方面基于编码的方法都是不错 的选择，但是它对网络对象的模型构建要求很高，所以对于复杂性很高的网络一 般不采用该办法。 ( 5 ) 基于神经网络的方法 3 1 9 】 在前馈网络中，神经元被分成了几层，每一层的输出是下一层的输入。这个 模型有单独一个输入和单独一个输出，有一个或更多的隐含层网络中所有连接 都是向前的方向，没有反馈如果给定前馈网络有足够多的神经元，它可以逼近 任何一个函数，包括布尔函数和分类器，前馈网络可以从输入和输出中学习一般 化的知识，因此它具有学习功能。这使神经网络在训练不同的告警模式时具有足 够的灵活性。另一种处理告警相关性的神经网络方法是利用神经网络去处理非线 性动态系统的行为。此时神经网络基于对过去系统观察和系统当前的状态来预测 系统的行为基于神经网络的方法具有良好的自学习能力，而且对输入的数据具 有较好的容错性，但神经网络的缺点是需要进行大量的训练，而收集大量的告警 训练数据是非常困难的。 ( 6 ) 基于规则的方法 1 0 1 1 】 这种方法将特定领域知识表示成一组规则集，将与特定情况相关的知识作为 事实。用一个控制策略来决定如何应用规则基于规则的算法最大优点是它更符 1 4 第二章通信网与告警管理 合人的思维，便于人们的理解。这种方法的特定领域知识包含在一组规则集中， 而与特定情况相关的知识构成了事实。每个基于规则的系统都有一个控制策略， 决定应用规则的次序。例如，当结束条件己经被满足，则停止计算。 基于规则的系统，当规则数目达到一定量时，规则库的维护交得越来越困难。 然而，在电信网管系统尤其是故障管理中，业务逻辑的维护和新业务的拓展都是 建立在业务规则之上的，这就给了基于规则系统一个广阔发展的空间。虽然，基 于规则算法有其自身的局限性，比如过分依赖现有的规则，不能自学习；对错误规 则的重复处理，不能自适应新的情况。但是，就电信网管领域而言，基于规则的 方法以其成熟的研究成果占据了该领域主要地位。 关联规挖掘的方法【1 目 关联规则挖掘是通过分析大量的历史数据，从中发现数据间的关联。将数据 挖掘中的关联规则发现技术用于分析历史告警数据，可发现告警相关性规则。根 据发现的规则，来分析和预测网络元件可能出现的故障，以减轻网络管理员的工 作强度，提高工作效率。数据挖掘可以通过分析己有的告警信息的正确处理方法 以及告警之间的前后关系的记录。得到告警之间的关联规则，这些有价值的信息 可用于网络故障的定位检测和严重故障的预测等等任务中。根据当前的告警信息， 就可以得到其后续发生各种情况的可能性，对危险事件可以起到预防的作用，从 而使通信网络得以安全运转这种方法的优点是不需要知道网络拓扑结构关系， 当网络拓扑结构发生变化时，可以通过告警的历史记录进行分析，自动发现新的 告警相关性规则，因此基于数据挖掘的告警可以很快调整适应一些变化快的通信 网络，解决通信网络中出现的新问题。 2 5 小结 本章首先对介绍了电信的一些相关概念，然后对电信网络告警管理进行了介 绍，并描述了告警关联系统和告警关联分析方法。 电子科技大学硕士学位论文 第三章基于关联规则分析的电信告警挖掘 3 1 数据挖掘介绍 3 1 1 数据挖掘定义 数据挖掘( d a t am i n i n g ) 就是从大量的、不完全的、有噪声的、模糊的、随机的 实际应用数据中。提取隐含在其中的、人们事先不知道的、但又是潜在有用的信 息和知识的过程 2 0 1 2 “。何为知识? 从广义上理解数据、信息也是知识的表现形式， 但是人们更把概念、规则、模式、规律和约束等看作知识数据挖掘定义中，数 据被看作是形成知识的源泉。数据源必须是真实的、大量的，原始数据可以是结 构化的，如关系数据库中的数据；也可咀是半结构化的，如文本、图形和图像数 据；甚至是分布在网络上的异构型数据。数据还可能含有噪声的，人们好像从矿石 中采矿或淘金一样，从中挖掘出用户感兴趣的知识：发现的知识要可接受、可理 解、可运用；并不要求发现放之四海皆准的知识，仅支持特定的发现问题。发现 知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的 发现的知识可以被用于信息管理，查询优化，决策支持和过程控制等，还可以用 于数据自身的维护。因此，数据挖掘是一门交叉学科，它把人们对数据的应用从 低层次的简单查询，提升到从数据中挖掘知识，提供决策支持在这种需求牵引 下，汇聚了不同领域的研究者，尤其是数据库技术、人工智能技术、数理统计、 可视化技术、并行计算等方面的学者和工程技术人员，投身到数据挖掘这一新兴 的研究领域，形成新的技术热点。 从商业角度看数据挖掘是一种新的商业信息处理技术，其主要特点是对商业 数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅 助商业决策的关键性数据 从数据库的角度，将数据挖掘定义为：从存储在数据库、数据仓库或其它信 息仓库中的大量数据中发现有趣的知识的过程。一个完整的数据挖掘系统应具有 如图3 - 1 所示的结构【1 】。 第三章基于关眭规则分析的电信告警挖掘 圈3 - 1 数据挖掘系统的结构 简而言之，数据挖掘其实是类深层次的数据分析方法数据分析本身己经 有很多年的历史，只不过在过去数据收集和分析的目的是用于科学研究，另外， 由于当时计算能力的限制，对大数据量进行分析的复杂数据分析方法受到很大限 制。现在，由于各行业业务自动化的实现，商业领域产生了大量的业务数据，分 析这些数据不再是单纯为了研究的需要，更主要是为商业决策提供真正有价值的 信息，进而获得利润。但所有企业面临的一个共同问题是：企业数据量非常大，而 其中真正有价值的信息却很少，因此从大量的数据中经过深层分析，获得有利于 商业运作、提高竞争力的信息，就像从矿石中淘金一样，数据挖掘也因此而得名。 因此，数据挖掘可以描述为：按企业既定业务目标，对大量的企业数据进行 探索和分析，揭示隐藏的、未知的或验证己知的规律性，并进一步将其模型化的 先进有效的方法 3 1 2 数据挖掘的功能 在许多情况下，一个数据挖掘系统的期望和实际需要并不知道数据存在哪 些有价值的信息知识。因此，对于一个数据挖掘而言，它应该能够同时搜索发现 多种模式的知识，以满足用户的期望和实际需要。数据挖掘能够实现的功能主要 有一下五种口2 】： ( 1 ) 关联分析 电子科技大学硕士学位论文 从广义上讲，关联分析( a s s o d a d o na n a l y s i s ) 是数据挖掘的本质。既然数据挖 掘的目的是发现潜藏在数据背后的知识，那么这种知识一定是反映不同对象之间 的关联。它刻画了数据库中对象之间的关联及其关联的程度。 关联知识反映一个事件和其他事件之间的依赖或关联。数据库中的数据一般 都存在着关联关系，也就是说，两个或多个变量的取值之间存在某种规律性。数 据库中的数据关联是现实世界中事物联系的表现。数据库作为一种结构化的数据 组织形式，利用其依附的数据模型可能刻画了某些数据间的关联。但数据之间的 关联是复杂的、有时是隐含的，关联分析的目的就是要找出数据库中隐藏的关联 信息。这些关联并不总是事先知道的，而是通过数据库中数据的关联分析获得的， 因而对商业决策具有新价值。关联规则挖掘田j 是关联知识发现的最常用方法，最 著名的是a g r a w a l 等提出的a p n o 响算法及其改进算法。为了发现有意义的关联规 则，需要给定两个值：最小支持度( m h 血n u ms u p p