（通信与信息系统专业论文）通信网管系统实时故障分析与研究.pdf

华北电力大学硕士学位论文摘要 摘要 本文详细介绍了电力通信网的现状、特点及要求，研究了通信网管系统实时故 障告警。讨论了故障告警相关性分析的类型、各种方法、技术难点和特点。介绍和 比较了三种典型的序列模式挖掘算法。设计了基于序列聚类算法的故障告警关联规 则分析模型。根据分析模型的挖掘流程，使用实验分析工具分别实现对较小告警数 据量下和较大告警数据量下的关联规则挖掘。基于挖掘出的关联规则，研究并实现 一种新的告警过滤方法，并对其进行实际应用分析，验证此方法的有效性和合理性， 通过此方法可协助进行故障定位、诊断和预测，提高了故障处理的效率。 关键词：电力通信，故障告警，关联规则，序列聚类 a b s t r a c t c u r r e n t s i t u a t i o n s ， c h a r a c t e r i s t i c sa n d r e q u i r e m e n t s o fe l e c t r i c p o w e r c o m m u n i c a t i o nn e t w o r ka r ei n t r o d u c e di nt h i st h e s i s ，a n dc o m m u n i c a t i o nn e t w o r k m a n a g e m e n ts y s t e m sr e a l t i m ef a u l ta l a r m sa r es t u d i e d t h et y p e s ，av a r i e t yo fm e t h o d s ， t e c h n i c a ld i f f i c u l t i e sa n dc h a r a c t e r i s t i c so ff a u l ta l a r m s r e l a t i v i t ya n a l y s i sa r ed i s c u s s e d t h r e ek i n do fc l a s s i c a l s e q u e n t i a lp a t t e r nm i n i n ga l g o r i t h m s a r ei n t r o d u c e da n d c o m p a r e d af a u l ta l a r m sc o r r e l a t i o nr u l ea n a l y s i sm o d e lb a s e do ns e q u e n c ec l u s t e r i n g a l g o r i t h mi sd e s i g n e d a c c o r d i n gt ot h ef l o wo ft h i sm o d e l ，t h el e s sa n dt h em o r ea l a r m d a t a sc o r r e l a t i o nr u l e m i n i n g a r ei m p l e m e n t e db ya n a l y s i st o o l s b a s e do nt h e c o r r e l a t i o nr u l e s ，an e wa l a r mf i l t e r i n gm e t h o di sp r e s e n t e d ，t h ep r a c t i c a la p p l i c a t i o n a n a l y s i si sc a r r i e do u t ，t h ev a l i d i t ya n dr a t i o n a l i t yo ft h i sm e t h o di sv e r i f i e d ，a n dt h i s m e t h o dc o u l db eu s e dt oa i dt h ed i a g n o s i s ，f o r e c a s ta n dl o c a t i o no f f a u l t ，i m p r o v et h e e f f i c i e n c yo fh a n d l i n gt h ef a u l t z h a n gx i a n f e i ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f h o us i z u k e yw o r d s ：p o w e rc o m m u n i c a t i o n ，f a u l ta l a r m s ，c o r r e l a t i o nr u l e s ， s e q u e n c ec l u s t e r i n g 华北电力大学硕士学位论文摘要 摘要 本文详细介绍了电力通信网的现状、特点及要求，研究了通信网管系统实时故 障告警。讨论了故障告警相关性分析的类型、各种方法、技术难点和特点。介绍和 比较了三种典型的序列模式挖掘算法。设计了基于序列聚类算法的故障告警关联规 则分析模型。根据分析模型的挖掘流程，使用实验分析工具分别实现对较小告警数 据量下和较大告警数据量下的关联规则挖掘。基于挖掘出的关联规则，研究并实现 一种新的告警过滤方法，并对其进行实际应用分析，验证此方法的有效性和合理性， 通过此方法可协助进行故障定位、诊断和预测，提高了故障处理的效率。 关键词：电力通信，故障告警，关联规则，序列聚类 a b s t r a c t c u r r e n t s i t u a t i o n s ， c h a r a c t e r i s t i c sa n d r e q u i r e m e n t s o fe l e c t r i c p o w e r c o m m u n i c a t i o nn e t w o r ka r ei n t r o d u c e di nt h i st h e s i s ，a n dc o m m u n i c a t i o nn e t w o r k m a n a g e m e n ts y s t e m sr e a l t i m ef a u l ta l a r m sa r es t u d i e d t h et y p e s ，av a r i e t yo fm e t h o d s ， t e c h n i c a ld i f f i c u l t i e sa n dc h a r a c t e r i s t i c so ff a u l ta l a r m s r e l a t i v i t ya n a l y s i sa r ed i s c u s s e d t h r e ek i n do fc l a s s i c a l s e q u e n t i a lp a t t e r nm i n i n ga l g o r i t h m s a r ei n t r o d u c e da n d c o m p a r e d af a u l ta l a r m sc o r r e l a t i o nr u l ea n a l y s i sm o d e lb a s e do ns e q u e n c ec l u s t e r i n g a l g o r i t h mi sd e s i g n e d a c c o r d i n gt ot h ef l o wo ft h i sm o d e l ，t h el e s sa n dt h em o r ea l a r m d a t a sc o r r e l a t i o nr u l e m i n i n g a r ei m p l e m e n t e db ya n a l y s i st o o l s b a s e do nt h e c o r r e l a t i o nr u l e s ，an e wa l a r mf i l t e r i n gm e t h o di sp r e s e n t e d ，t h ep r a c t i c a la p p l i c a t i o n a n a l y s i si sc a r r i e do u t ，t h ev a l i d i t ya n dr a t i o n a l i t yo ft h i sm e t h o di sv e r i f i e d ，a n dt h i s m e t h o dc o u l db eu s e dt oa i dt h ed i a g n o s i s ，f o r e c a s ta n dl o c a t i o no f f a u l t ，i m p r o v et h e e f f i c i e n c yo fh a n d l i n gt h ef a u l t z h a n gx i a n f e i ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f h o us i z u k e yw o r d s ：p o w e rc o m m u n i c a t i o n ，f a u l ta l a r m s ，c o r r e l a t i o nr u l e s ， s e q u e n c ec l u s t e r i n g p 士= i明明 本人郑重声明：此处所提交的硕士学位论文通信网管系统实时故障分析与研究， 是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作和取得的研究 成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示了谢意。 学位论文作者签名：亟垫鱼 e l 期：翌! z ：主：丝 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播 学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：达垫要 日 期：邋：主：丝 导师签名： 华北电力大学硕士学位论文 1 1 课题背景及其意义 第一章 引言弟一早jl 舀 目前，电力系统通信网已成为电力系统调度智能化和管理现代化不可或缺的一 部分。随着电网的不断发展壮大和高智能化通信设备的广泛应用，电力通信网的规 模也在日趋庞大，其网络结构也越发复杂。电力通信已不仅仅是为电力调度自动化 服务，同时还要为生产管理、基建、办公自动化等各种综合业务服务。为了确保各 种信息稳定、可靠、迅速、准确地传送，提高通信网络的运行率，维持通信网的运 行畅通和保证通信传输符合高质量的要求，就必须提高通信网的自动化管理水平。 要实现通信指挥管理现代化，必须装备完善的通信网管系统【1 1 。 电力通信网网管系统是集监测、控制、管理于一体的分布式计算机系统，采用 计算机网络技术，可对各种电力载波机、微波设备、程控交换设备、光传输设备等 多种通信设备及机房设备，智能电源等实现实时监控、运行统计、故障判断、告警 及事件处理、统计分析与评价、安全管理、设备管理、通信网综合管理等功能，并 应对动力及环境参量进行监视和控制，包括空调、电源、温度、湿度、门禁、视频 图像，实现实时数据通信，并可与其他网络互连。该系统的运行可以实现无人值守， 提高了变电站及通信网管理的自动化程度，减少了故障率，避免及缩短了电力系统 设备停运时间，节约了资源，挽回了生产损失【2 】。 近几年来，电力通信网在确保调度安全方面的作用日益突出。但由于原有“分 散式维护一方式完全依赖维护人员人工巡视。要实现3 6 5 2 4 h 故障第一时间1 0 0 发现率几乎是不可能完成的任务。为此需要建立起一套电力通信网综合网管系统以 实现对电力监控网的集中监控、集中管理、集中维护。早期的网管系统的具体操作 需要维护人员在综合网管系统平台上进行值守和操作，仍需人工筛选告警信息，对 大多数设备海量告警的有效筛选无能为力。目前使用的综合网管系统的方式有直连 方式、转换方式，但这两种方式只是实现了网管的集中而并没有实现有效的整合。 要对大量告警同时发生的状况进行处理，有效的方法就是建立告警信号处理系统， 使其能够从大量告警中筛选出主要告警。 随着计算机信息技术的飞速发展，电力通信网的自动化水平越来越高。在监控 中心工作站后台进行告警信息处理后，能够保证在最短的时间内收集到所有与故障 相关的重要信号，对故障处理和分析有辅助作用，提高事故异常处理的准确性和快 速性。从而大大地提高了工作效率，产生巨大的直接及间接的经济效益和社会效益。 华北电力大学硕士学位论文 1 2 通信网管系统实时故障研究现状 近年来，随着通信技术的发展，为了满足电力系统安全稳定、高效生产的需求， 为了满足电力企业的运营走向市场化的需求，电力通信网发展十分迅速。许多新的 通信设备和通信系统( 如数字程控、s d h 光纤环路、s d h 微波、a t m 和w d m 等) 纷 纷涌入电力通信网，使得通信网的智能化水平不断提高，功能日益强大，配置、应 用也变得十分复杂【3 】。 技术的发展使某些旧的观念有了根本的改变，计算机网络技术与通信技术相互 交融，许多传统通信业务通过计算机网络来实现，因此通信网络如交换、传输等领 域，引入了计算机网络的设备，例如路由器、网络交换、a t m 设备等，使今天通信 网与计算机网的界限越来越模糊。 电力通信业务已经从调度电话、低速率远动通道扩展到高速、数字化、大容量 的用户业务，如计算机互联网、高速广域网、视频传送等。电力通信网的结构也已 从单- - n 务于调度中心的简单星型方式，发展到今天的多中心的网状网络以保证能 为诸如电力市场、m i s ( 信息管理系统) 这类需求的高效服务。 实时告警是电力通信网监控、网络管理系统智能化故障管理中实时故障表现的 最终形式。因此对于告警的管理显得尤其重要，告警管理包括告警的采集与主动上 报、告警短信、邮件通知、告警等级的设置、告警过滤、当前告警管理、历史告警 管理。网络管理员根据系统显示的告警可以了解监控网络的具体运行情况，并做出 及时准确的指令，以便于在合理时间内恢复正常【4 】。一般的告警处理流程如图1 - 1 所示。 当前对于实时故障的告警采集、告警入库、告警级别基本都有了成熟、普遍的 方法，而对于故障告警相关性的研究却有很多新的技术和方法。通常告警并不明显 包含网络中故障的根源的确切位置信息，当网络发生故障时，会引发一系列甚至海 量的告警信息，但并不是所有告警都表示故障的根本原因，因此这就需要进行实时 故障告警的分析来定位故障原因 目前对实时故障告警相关性的研究已应用到产品中去，下面简要说明实时故障 告警相关性研究在产品故障管理中的应用技术： ( 1 ) 合并重复告警 ( 2 ) 告警屏蔽 ( 3 ) 告警映射 此外还包括事件相关性分析。 告警相关性的研究已经成为当前研究的一个热点，智能技术和信息处理技术已 2 华北电力大学硕士学位论文 经被引入进来解决网络故障诊断问题。告警相关性类型包括：告警压缩 ( c o m p r e s s i o n ) 、告警过滤( f il t e r i n g ) 、告警抑制( s u p p r e s s i o n ) 、告警计数 ( c o u n t ) 、告警泛化( g e n e r a l i z a t i o n ) 、告警特化( s p e c i a l i z a t i o n ) 、告警时序关 系( t e m p o r a lr e l a t i o nt ( “b e f o r e a f t e r ) ) 等等【5 1 。 1 r 采集告警 1 l 告警处理 土 告警数据格式标准化 土 告警过滤 上 告警入库 土 告警确认( 人工) 上 ( 告警处理结束? 图1 - 1 告警处理流程图 目前已有的告警相关性分析技术有很多，如基于案例推理的相关性分析、基于 规则推理的相关性分析、基于人工神经网络方法的相关性分析、贝叶斯网络、数据 挖掘等等。不同的分析方法都有其优缺点，根据应用的场合不同所以应用的方法也 不尽相同，而不同方法之间的优点和不足在一定程度上可以互补，因此同时使用多 种方法进行分析是一轧1 - 出m 八析方式。 一般的告警相：包括告警相关性模块、告警提供者、告警使用者和 知识库，如图卜2 所示【6 1 。 3 华北电力大学硕士学位论文 图卜2 告警相关性分析模型 1 3 本文的主要研究内容 通信网管系统故障告警关联分析是网络故障诊断中的重要任务，对通信网络的 管理和维护具有十分重要的意义。故障告警关联分析是网络故障管理中的一个难 点，也是近几年来研究的热点问题，而研究应用数据挖掘技术进行告警关联分析的 时间更短，技术相对落后。本文针对海量告警引起的“告警风暴”问题，结合成熟 的告警过滤技术，从理论的创新性和实际的应用价值出发，对通信网管实时故障进 行研究和分析，目标是研究并实现一种高效、合理的故障告警过滤方法对海量的告 警数据进行分析，找出可靠的关联规则并利用这些规则对告警数据进行有效压缩， 以协助网管人员进行故障定位、诊断和预测，提高故障处理的效率。 本文的主要研究内容包括： ( 1 ) 熟悉并理解通信网管系统及其实时故障基本概念、构成和功能。 ( 2 ) 研究分析通信网管系统故障告警相关性方法，通过比较各种方法的特点 和优缺点找出适合进行通信网管系统实时故障告警关联分析的方法。 ( 3 ) 通过分析各种故障告警相关性算法，比较它们各自的优缺点并找出其中 一种高效合理的算法作为完成实时故障告警关联分析的算法基础，并且要考虑此算 法是否对不同设备的故障告警都有效。 ( 4 ) 设计一个用于对实时故障告警数据进行分析处理的告警关联分析模型， 并按照该模型的流程对现场采集的实时故障告警数据进行实验分析和处理，结合传 统成熟的告警技术得出可用来进行告警过滤的关联规则。 ( 5 ) 通过编程使用得出的故障告警关联规则对现场采集的故障告警数据进行 应用分析，对实验结果进行分析，对本文研究并实现的通信网管系统实时故障处理 方法进行评价。 4 华北电力大学硕士学位论文 2 1 通信网 第二章通信网管系统及实时故障告警技术 2 1 1 通信网定义 通信网是为公众提供信息服务，完成信息传递和交换的通信网络。通信网所提 供的信息服务也就是通常所说的通信服务。 2 1 2 通信网分类 通常把通信网分为业务网、传输网和支撑网。其中，业务网面向公众提供通信 业务，包括公共电话交换网、分组交换网、帧中继网、数字数据网、综合业务数字 网、i p 网、智能网等；传输网可以通过光纤、微波和卫星等传输方式为不同服务范 围的业务之间传送信号：支撑网支持业务网和传输网的正常运行，包括信令网、同 步网和管理网。 2 1 3 主要通信网管系统 目前我国各通信运营商大都拥有一个规模宏大的通信网络，其网络一般是由许 多独立管理的专用网和公用交换网互连组成的，其网管系统也是条块分割【7 1 。 现行的网管体制大致可以分为集中式管理和分布式管理两种模式【8 1 。集中式网 络管理通常设置一个网络控制中心( n c c ) ，用于集中监控网络的运行，收集网络运 行数据。分布式网络管理将管理功能分布到每一个被管对象( 子网或设备) 上，被管 子网或设备上通常设有管理代理，负责自身的管理或其管理域内设备的管理，网络 管理者发出的命令，经被管设备上代理解释后执行，执行的结果经代理转发到网络 管理者。 以下是一些主要的专业网管系统： ( 1 ) 电话交换网网管系统； ( 2 ) 传输网网管系统：p d h 、s d h 、d w d m 网管系统； ( 3 ) n o 7 信令网网管系统； ( 4 ) 智能网管理系统； ( 5 ) 数据网网管系统； ( 6 ) 市内电话业务计算机综合管理系统； ( 7 ) 通信电源、机房空调集中监控管理系统等。 5 华北电力大学硕士学位论文 2 2 电力通信网综合网管系统 2 2 1 电力通信网的现状、特点及要求 目前，我国的电力通信网和各种专业网络发展迅猛，多厂商设备在同一网络上 运行，网络规模越来越大，网络结构越来越复杂，多种通信手段并用【9 】。网络基础 设施的超高速发展，使得先进设备与落后管理的矛盾日趋激化，因此，使用最新的 网络技术、计算机技术和通信技术建设新一代的电力通信网管理信息系统就显得非 常必要。 电力系统通信有自己的特色，它包含了所有的电信专业。如接入、传输、交换、 数据等，但相对规模较小。电力通信网主要有以下特点： ( 1 ) 每个市或地区有一个单独的通信网管理系统，规模较小。 ( 2 ) 电力通信网中有光纤传输、交换、微波、i p 路由器等各种设备，设备是 由多个厂家生产。 ( 3 ) 设备一般不具备标准化的接口，电力通信网的各种设备的网管通信协议 是多种多样的，且这些网管通信接口是不标准的。不同类型、不同厂家的网管通信 协议是不相同的。开发电力通信网管理系统时，根据电力通信网的特点，采取t m n ( 电信管理网) 的某些思想，并非完全按照t m n 的体系结构。 电力通信网自身的特点决定了其对技术维护提出了较高和较全面的要求。为了 能对所有通信设备进行统一的管理和监控，必须把各种电力通信网络的监控进行集 中化、规范化、统一化管理，形成智能化、综合化、自动化的电力通信网综合监控 管理网络。另外，由于目前电力系统大部分电厂、变电站的通信机房采用无人值守 运行方式，而各站的动力设备和环境尚无集中监控手段，随着通信设备的发展，与 之相配套的辅助设备与环境要求也不断提高，已形成了包括如：工作供电系统( 包 括u p s ，蓄电池组、市电、配电屏等) 、机房温度、浸水、空调与烟雾报警、防盗等 组成的机房环境辅助设备群。这些辅助设备群的监管也成为电力通信网稳定、可靠、 高效运行必不可少的一部分。 电力通信网综合网络管理系统建成后，将能实现对电力系统通信网进行全面实 时监控管理、科学调度、统一指挥。通信综合网络管理系统将成为实现通信维护管 理现代化、提高运行维护水平、缩短事故处理时间、增强维护的计划性的重要工具， 同时也为通信网的发展方向的决策和规划设计提供大量的数据依据。 2 2 2 通信网综合网管系统的目标和体系结构 通信综合网管系统的主要目标是收集完整的通信系统信息，进行统一的管理分 6 华北电力大学硕士学位论文 析，得出一些基本结论，为系统的运行、发展提供可靠的技术参考，并为控制预测、 辅助决策提供科学依据。通信综合网络管理系统建成后实现如下功能： ( 1 ) 建立以先进的计算机网络为核心的综合网络监测管理中心，完成系统功 能主体，管理体系的功能划分。把各级电力通信网的各个专业网管及监控系统纳入 统一的综合网管平台，实现对整个通信网的统一监控和管理。 ( 2 ) 实时集中监测s d h 光纤设备、p d h 微波设备、程控交换设备、载波、一点 多址、卫星等通信设备和电路的运行状况、告警情况及设备性能指标参数；具有自 动报警提示功能，及时发现故障并处理，以确保通信网络的正常运行。 ( 3 ) 根据采集的信息分析故障原因，判断故障位置及故障性质，确定故障对 网络影响的严重程度，及时排除严重故障，确保网络畅通。 ( 4 ) 及时掌握网络的资源利用情况，网络结构及设备、电路的影响情况，做 到时时刻刻对网络的运行心中有数。 ( 5 ) 将通信网络的各种网络资源数据整理( 如设备和电路的原始及运行资料) 入库，形成完整的资料档案，供整个通信网的日常管理之用。 ( 6 ) 在各监控站点建立站级监控管理子系统，实现对站内传输设备、交换设 备、终端设备、动力环境的监控管理功能，当发生告警或设备故障时，通过监控站 和综合网络管理中心之间的专用信道，将故障主动上报给网管中心。为解决通信站 无人值班，缩短故障处理时间，确保通信站机房环境满足设备运行条件，保证通信 网络正常运行提供可靠保障。 电力通信网管理系统的一般体系结构如图2 - 1 所示【l l 】。 ( 1 ) 运营系统是整个网管系统的核心部分。在运营系统中，实现整个网管系 统的网络管理层和服务管理层的功能。 ( 2 ) 网元管理系统是直接与网元进行通信的部分，主要实现网管系统中网元 管理层的功能。 ( 3 ) 网元就是设备的抽象，包括具体的设备和逻辑的设备。 1 运营系统 l网元管理系统 i网元 i 图2 1 网管系统的一般体系结构 7 华北电力大学顸十学位论文 电力通信网的管理体系是一个立体、分层的管理构架，m 网元管理屡、网络管 理层、服务管理层、事务管理层构成，小同的管理层次基f 不同的管理目标，从不 同层面实现对电力通信网的管理工作。 电力系统通信网管理的层次划分如图22 所示： 图22 电力系统通信网管理的层次划分 从实现电力通信网全面管理的应用系统来看，主要包括为网络系统正常运行提 供管理与支持服务的网络管理系统，如：对网络设备实施监控的运行维护系统；对 网络服务质量进行临督管理的质量管理系统；对通信网资源实施有效管理的通信网 资源管理系统以及电力通信网网络优化、发展规划等决策支持系统。 从电力通信网管理体系分层角度来看，电力通信网管理体系巾最底层的网元管 理层主要解决对网元设备的管理，网络管理层则是在网络层的层面上实现对电力通 信网的管理，在网络管理的基础之e 彤成对业务的管理管理体系的最高层为事务 管理层，实现对业务的综台管理以及制定电力通信网的优化及发展规划策略。 23 通信网管系统故障告警技术研究 231 通信网管系统故障管理 敞障管理子系统提供了t m n 规范规定的对通信网管系统故障管理的功能。故障 管理功能通过对被管对象的故障状态进行监测和管理，保证通信网络的正常运行。 故障管理丰要负责实时采集数据嘲络范围内的备种网几( 托) 生成的芹炎i 5 2 舀告警 8 一一一一一一 华北电力大学硕士学位论文 和网络事件报告，根据时间逻辑进行故障过滤，通过内置知识库帮助管理员处理系 统故障。告警处理服务器在完成告警的各种处理后，将告警存入数据库，通知到所 有客户端，并以可闻、可视的形式直观地提示维护人员，维护人员确认后进行处理， 所收集的告警报告入库保存，以供各种告警统计和查询。用户在一台终端前即可实 时监控到全网告警的详尽情况【1 2 】。 故障管理的主要作用是检测、分离和修正通信网中的问题，由于网络的一些固 有的特性，故障管理变得十分困难【1 3 】： ( 1 ) 当前网络的规模非常巨大，是一个由大量节点连接而成的复杂实体，网 络中的故障具有传播特性，一个主要错误可能会引发一系列的次要错误，而往往能 够观察到的是次要错误。 ( 2 ) 网络中的很多元素不具备可监控特性，而只能依赖观察其他元素的特性 来进行推理。 ( 3 ) 故障管理与其他管理相比又具有时间紧急的特点，网络故障具有突发性， 体现网络故障的告警的到达是非线性的，这给实时故障管理带来了很大困难。 ( 4 ) 网络元素所提供的告警具有微观特性，只反映了网络中某一点上的现象， 不能从宏观上对问题做出判断。 2 3 2 告警 常见的几种告警定义如下： ( 1 ) 原始告警( b a s ea l e r t ：b a ) ：由系统产生的告警信息。 ( 2 ) 有效告警( e f f i c i e n c ya l e r t ：e a ) ：经过初始化处理后的告警信息。 ( 3 ) 高级告警( a d v a n c ea l e r t ：从) ：在告警知识库中没有查到的告警信息。 ( 4 ) 超级告警( s u p e ra l e r t ：s a ) ：在知识库中的告警信息。 故障管理可以分为3 个主要部分：告警关联、故障确认和故障纠正【1 4 】。故障管 理中主要分析和处理的对象是告警。在网管领域，故障被定义为产生功能异常的原 因。故障是产生告警事件的原因。告警是在特定事件发生时被管对象发出的通报构 成的一种事件报告，用于传递告警信息。告警是由一个网络元素发出的一个信息， 指明它满足某种条件或出现了反常的事件。 告警可以被描述为一个5 维向量：( w h o ，w h a t ，w h e r e ，w h e n ， w h y ) 。各 个分量分别表示发出告警的网络元素、故障现象、元素位置、故障时间和故障的原 因，然而，实际上接收到的告警通常并不明显包含网络中故障和问题根源的确切位 置信息。告警只是表示可能有故障发生，但并不一定有故障发生。资源的被管对象 可以发出告警事件作为对系统发生异常的响应。 9 华北电力大学硕士学位论文 当网络中出现故障时，会引起一系列告警，但并不是所有的告警都表明故障原 因，这就需要通过分析网络产生的所有告警来判断故障的根本原因。需要注意的是， 告警仅仅是反应网络状况发生改变的征兆，也就是说，通常是故障产生了告警，一 个故障可能是另一个故障的根源，但一个告警一般不会产生其他告警。 通过对电力通行网网管系统告警的研究并结合对现场告警的分析，可知网管系 统告警的特点主要包括以下几个方面。 ( 1 ) 海量数据：随着电力通信网的不断扩大和智能化水平的提高，设备数量 及其复杂程度越来越高，而且设备之间的关系也更加复杂，网络的告警数量自然会 急剧增加。 ( 2 ) 突发性：由于系统中的故障不是可完全预测的，带有很强的随机性，因 此，告警具有很明显的突发性。 ( 3 ) 时序性：告警是以时间为顺序进行上报的，它们之间具有很强的时间关 联性，这也是确定告警重要属性之一。 ( 4 ) 关联性：由于告警设备之间的关联性以及不同告警之间的激发关系，使 得系统告警之间存在着大量的有意义的关联关系。 2 3 3 故障管理功能 通信网管系统故障管理子系统主要实现下列功能【1 2 】【1 5 】【1 6 】： 告警事件实时上报：实时接收告警源新上报的告警信息。 告警过滤规则维护：响应用户更改告警过滤规则的请求。 告警屏蔽：网管操作员可以设置告警屏蔽条件，满足条件的告警将不再从 告警源上报。 告警同步：强制手工同步当前告警。 告警确认反确认：响应用户确认或者反确认某一告警的请求。主要由用户 驱动，将确认或者反确认后的告警保存到服务器端。 告警前转：将一条或多条告警前转到其他维护人员的e - m a i l 上。 告警清除：可以以人工方式清除告警，使其状态发生改变成为历史告警。 告警级别重定义：为操作员提供一个重新定义告警级别的功能。 告警声音和颜色的设置：针对不同的告警级别定制其显示的颜色和告警声 立 目0 告警查询：响应用户等查询告警信息的请求，这是告警管理的基本需求之 一6 1 0 华北电力大学硕士学位论文 告警统计：对上报的告警进行统计。 告警列表显示：以列表的方式，对当前告警和历史告警进行显示。 告警拓扑显示：维护人员可以在网络拓扑图上实时看到告警。通过对上报 告警的分析和定位，能够将告警表示到拓扑图中对应的图标上。 2 4 本章小结 本章介绍了通信网的定义、分类和主要的通信网管系统。通过分析电力通信网 的现状、特点及要求，总结出通信网综合网管系统的目标和体系结构。对通信网管 系统故障管理、故障告警以及故障管理功能进行了较深层次的探讨和研究，为下一 步的研究奠定了理论基础。 华北电力大学硕士学位论文 第三章通信网管系统故障告警相关性分析研究 3 1 告警相关性分析的定义 在由故障所引发的一系列相关告警中，显然不是所有告警都表明故障原因，这 就需要对这些告警进行相关性分析来确定代表故障的根源告警。关于告警相关性分 析，有如下定义： 定义3 1 告警相关性分析【1 7 】 告警相关性分析被定义为对多个告警的一种解释，通过这种解释使告警的数量 得以精简，而包含的语义信息内容却更加丰富。 对告警相关性分析的概念进行进一步的阐述后，可以给出关于告警相关性的形 式化定义。 定义3 2 告警相关性分析形式化定义【1 8 1 告警相关性分析是指对告警进行合并和转化，将多个告警合并成一条具有更多 信息量的告警，确定能反映故障根本原因的告警，准确定位故障。 其形式化定义为：告警事件口与告警事件集合 口。，a k 相关，表示为： 倪j 他，吒) 。 从定义3 1 和定义3 2 可以看出，告警相关性分析主要被看作是故障定位的重 要辅助手段，即首先对故障引发的大量告警进行相关性分析，滤除冗余告警，找出 代表故障的根源告警，然后进一步做出故障定位。事实上，告警相关性分析不仅可 以辅助故障定位，而且能预测故障的发生。由于网络设备之间以及组成设备的各个 模块之间普遍存在着关联性，很多网络故障( 如病毒导致的节点瘫痪、网络拥塞导 致的节点阻塞) 都具有一定的传播特性，反映到告警中就使得相关设备的某些代表 故障的告警之间也存在着很强的相关性。如果应用告警相关性分析能够找出这类相 关关系，一旦发现相关条件被满足就发出故障预警，及时做出保护措施，则可以避 免故障的进一步扩散和重大故障的发生。由此，在定义3 - i 和定义3 - 2 的基础上进 一步总结告警相关性分析的定义。 定义3 3 告警相关性分析总结【1 9 】 告警相关性分析是指对告警进行合并和转化，将多个告警合并成一条具有更多 信息量的告警，从而确定反映故障的根源告警、定位故障或者对当前告警可能预示 的故障做出预测。 其形式化定义为：告警事件口与告警事件集合 嵋，口：，) 相关，表示为： 1 2 华北电力大学硕士学位论文 口慨，9 09 吒) 或 q ，q ) j 口。前者表示根据 q ，) 确定反映当 前故障的根源告警，后者表示根据 ，) 预测可能发生的故障，而a 则表示 代表该故障的重大告警。 3 2 告警相关性的类型 告警相关性的类型主要包括【2 0 j 【2 i 】： ( 1 ) 告警压缩( c o m p r e s s i o n ) ：将多个同时发生的告警缩减到一个告警中， 其形式化表述为： 么，彳，彳】j 彳： ( 2 ) 告警过滤( f i l t e r i n g ) ：删除不符合告警相关性的告警，如果告警b 和 告警c 不符合合法值集合，则过滤掉它们，其形式化表述为： 么，曰，c 】a ； ( 3 ) 告警计数( c o u n t ) ：对重复到来的告警进行统计和设定门限值。如当a 类告警达到一定数量时，用一个新的b 类告警代替一定数目的同时发生的告警，其 形式化表述为： i n 彳1j b 一 j ( 4 ) 告警抑制( s u p p r e s s i o n ) ：当高优先级的告警( 如告警a ) 发生后抑制其 它低优先级的告警( 如告警b ) 的产生，其形式化表述为： a ，b , p r i o r i t y ( b ) c ，其中a ， b ，c 全部包含于频率项集中。概率在数据挖掘中称为置信度。这个概率是一个阈值， 在构建关联规则模型之前由用户指定阈值。 ( 4 ) 回归 回归类似于分类任务，最大的区别是在回归任务中可预测属性是连续的。回归 技术在统计学领域已经广泛研究了几个世纪。线性回归和逻辑回归是最常用的回归 分析方法，其它的回归分析技术包括回归树和神经网络。 ( 5 ) 预测 预测是一种重要的数据挖掘任务。预测技术使用时间序列数据集，例如：代表 时间的一系列的数。时间序列数据一般包括连续的观察值，这些观察值是顺序相关 的。预测技术能处理一般的趋势分析、周期性分析和噪声过滤。最常用的时间序列 分析技术是a r i m a ，它代表a u t o r e g r e s s i v ei n t e g r a t e dm o v i n ga v e r a g e 模型。 ( 6 ) 序列分析 序列分析用来发现离散序列中的模式。序列由一串离散值( 或状态) 组成。例 如：d n a 序列是由a 、g 、c 和t4 种不同的状态组成的长序列。w e b 点击序列包含 一系列u r l 地址。客户购买商品的次序也可以建模为序列数据。序列数据和时间序 列数据都是连续的观察值，这些观察值是相互依赖的。它们的区别是序列包含离散 的状态，而时间序列包含的是连续的数值。 序列和关联数据有点相似，它们都包含一个项集或一组状态。序列模式和关联 2 3 华北电力大学硕士学位论文 模型的区别在于：序列模型分析的是状态的转移，关联模型认为在客户购物车中的 每一个商品都是平等的和互相独立的。使用序列模型算法时，认为购买商品的不同 顺序是不同的序列。但是如果使用关联算法，则认为它们是相同的项集。 图4 一l 描述了一个w e b 点击序列。每一个节点是一个u r l 地址类型。每一条边 都有一个方向，表示两个u r l 地址的转移。每一个转移用一个权值标示，表示从一 个u r l 地址转到另一个u r l 的概率。 图4 - 1w e b 导航序列 序列分析是一种相对较新的数据挖掘任务。序列分析正变得越来越重要，主要 由于存在两种应用：w e b 日志分析和d n a 分析。目前有几种不同的序列分析技术可 用，例如m a r k o v 链，研究人员正在研究这个领域中的新算法。 ( 7 ) 偏差分析 偏差分析是为了找出一些特殊的事例，这些事例的行为与其他事例有明显的不 同。偏差分析也叫做孤立点( o u t l i e r ) 检测，它用来检测与前面观察的行为有重 大改变的行为。偏差分析可以在许多应用中使用。最常见的应用是信用卡欺诈行为 检测，但是从数百万个事务中鉴别出异常情况是一件非常困难的事。其他的应用包 括网络入侵检测，劣质产品分析等等。 目前没有标准的偏差分析技术。它仍然是一个热门的研究方向。一般情况下， 分析管理员利用改进的决策树算法、聚类算法或者神经网络算法来解决这类任务。 为了得到重要的规则，分析员需要在数据集中将异常情况忽略掉( 或者进行特殊处 理) ( 8 ) 数据总结 对数据进行浓缩，给出它的紧凑描述。最简单的数据总结方法是计算数据库字 段的均值、方差等统计值，数据挖掘中更关心的是从数据泛化的角度来对数据总结。 2 4 华北电力大学硕士学位论文 除上述的几种任务外，数据挖掘的任务还有建模( 通过数据挖掘，构造对于某 种活动或状态进行描述的数据模型) 、概念描述( 通过对大量数据的归纳，抽象出 关于数据集的有意义的描述) 等，各种不同的数据挖掘任务从不同的层面和角度反 映了数据挖掘所需要完成的任务和工作。 4 1 3 数据挖掘的过程 为了实现数据挖掘项目，通常需要一个逐步实现的过程，典型的数据挖掘过程 一般包括如下几个步骤： ( 1 ) 问题定义 为了在大量数据中发现有用的知识，清晰地定义出业务问题，认清数据挖掘的 目的是数据挖掘的第一步也是最重要的一步。挖掘的最后结果是不可预测的，但要 探索的问题应是有预见的，为了数据挖掘而数据挖掘则带有一定的盲目性，是不会 成功的f 3 6 1 。 ( 2 ) 数据收集 如果数据仓库中没有所要分析的数据，或者可能所要分析的与目标相关联的数 据仓库已经存在但在数据仓库中的数据可能不够丰富，这时候就需要从其他数据源 收集数据。当收集完数据之后，对数据进行采样，以减少数据集的大小。 ( 3 ) 数据清理和转换 数据清理和转换在数据挖掘项目中是资源密集程度最高的一步。数据清理的目 的是除去数据集中的“噪声( n o i s e ) 和不相关的信息。数据转换的目的是将源数 据的数据类型与值转换为统一的格式。目前有很多技术能应用于数据清理和转换， 其中包括： 1 ) 数据类型转换：这是最简单的数据转换。例如将一个布尔型的列类型转换 为一个整型的列类型。这种转换的原因是：有些数据挖掘算法更适合于整型数据， 而另一些算法更适合于布尔型数据。 2 ) 连续列转换：对一些值连续的数据( 例如i n c o m e 列和a g e 列中的数据) ， 一个典型的转换是把这些数据划分成桶。例如：要把a g e 分成预定义的5 个年龄段。 除了划分技术之外，规范化也是非常流行的连续数据转换技术。规范化通常把数值 映射到0 和l ( 或者一1 到1 之间) 之间的一个数值，确保在分析的时候大的数值不 会比小的数值占优势。 3 ) 分组：有时候可能有不同的值( 状态) 出现在离散列中。为减少模型的复 杂性必须把这些值分组。例如，p r o f e s s i o n 列可能有数十种不同的值，比如s o f t w a r e e n g i n e e r 、t e l e c o me n g i n e e r 、m e c h a n i c a le n g i n e e r 、c o n s u l t a n t 等。可以通过 2 5 华北电力大学硕士学位论文 一个值( e n g i n e e r ) 来对各种项目工程师的职业进行分组。同时，分组使得模型更 加容易理解。 4 ) 聚集：聚集是另外一种重要的转化。假定有每个客户的通话详细记录( c a l l d e t a i lr e c o r d ，c d r ) 表，希望基于每个客户每月电话的使用情况对客户进行细分。 因为c d r 度与模型来说过于详细，需要把所有的c d r 聚集为一些派生属性，例如客 户的呼叫总数和平均通话时间。然后，这些派生属性就可以在模型中使用。 5 ) 缺失值处理：大多数的数据集都包含缺失值( m i s s i n gv a l u e ) 。有许多原 因可能引起缺失数据。例如，可能有两个客户表，这两个客户表来自两个不同的o l t p ( o n l i n et r a n s a c t i o np r o c e s s i n g ，联机事务处理) 数据库。因为表的定义不可 能完全一样，所以合并这两