（计算机软件与理论专业论文）移动通信网络故障告警关联分析方法与系统实现.pdf

摘要 移动通信网络管理的主要任务是对网络进行实时监控，确保网络 在日常运行中的稳定、高效和可靠。随着移动通信技术的快速发展和 移动业务的增长，网络运行故障告警信息规模与频度也相应增长，使 得引发设备告警的故障原因判断更加复杂，需要投入大量的人力物力 进行监控。 本文针对移动通信网络监控的问题开展研究，研究工作和主要内 容包括以下几个方面： 1 研究网络故障告警数据的分布特性，分析出其数据分布模型， 提出了使用多等级告警处理模型，利用高斯感知器处理减少人工神经 网络需要处理告警数据的数量，提升整个告警关联系统的效率。 2 对人工神经网络训练方法进行比较，提出使用b p 神经网络对 故障告警数据进行分类。利用b p 网络的自适应特点和模式识别能力， 本文通过对比使用动量项、自适应速率、l m 算法等多种方式验证了 b p 的训练效果，对移动通信网络中的故障进行定位，实现对移动通 信网络告警的监控。 3 设计并实现了移动通信网络故障告警关联分析系统。该系统 基于客户端n 务器的网络部署架构，使用了分布式的告警采集方案， 针对无线、传输、交换等各个专业设备根据其类型和告警采集规范设 计了相应的采集方案，实现对各专业告警数据的实时采集。通过使用 层次化的解决方案和职责链设计模式，有效降低了各个系统模块之间 的耦合性，提高了整个系统的可扩展性和稳定性。 研究成果表明，整个网络告警关联分析系统能够对移动通信网络 中的故障告警进行全面监控，并能够使用b p 网络对故障告警进行分 析定位。 关键词网络故障监控；b p 神经网络；分布式系统；x m l ；c s 架构 a b s t r a c t t h et a s ko ft e l e c o m m u n i c a t i o nn e t w o r k sm a n a g e m e n t ( 删m a i n l y f o c u s e so nt h er e a l t i m em o n i t o r i n go ft h en e t w o r ks t a t u s ，w h i c he n s u r e st h e n e t w o r kt ob es t a b l e ，e f f i c i e n t ，a n dr e l i a b l e d u r i n gd a i l ym a i n t e n a n c e m e a n w h i l e ，a st h em o b i l ec o m m u n i c a t i o nt e c h n o l o g ya n dt h em o b i l e s e r v i c e s d e v e l o pr a p i d l y , t h es c a l ea n dt h ef r e q u e n c yo fa l a r mr a p i d l y i n c r e a s ea c c o r d i n g l y , w h i c hc a u s ei tm o r ec o m p l e xt ol o c a t et h ea c c u r a t e f a u l td e v i c e a c c o r d i n gt h ei s s u eo fm o b i l ec o m m u n i c a t i o n sn e t w o r k t h i st h e s i sf o c u s o nt h es t u d yo ff o l l o w i n ga s p e c t s ： f i r s t l y , an o v e lm u l t i l e v e lf a u l ta l a r mm o d e li sp r e s e n t e db ys t u d y i n gt h e d i s t r i b u t i o n so ff a u l ta l a r m sa n dt h em o d e lo ft h ed i s t r i b u t i o n g a u s s i a n p e r c e p t i o nn e t w o r ki su s e ds ot h a tt h ea l a r md a t aa r t i f i c i a ln e u r a ln e t w o r kt o d e a lc a nb er e d u c e da n dt h ee 瓶c i e n c yc a nb er a i s e d s e c o n d l y , b pn e u r a ln e t w o r ki sc h o s et oc l a s s i f yt h ef a u l ta l a r md a t ab y c o m p a r i n gv a r i o u st r a i n i n gm e t h o d so fa r t i f i c i a ln e u r a ln e t w o r k b pn e u r a l n e t w o r kh a v ea d a p t i v ea b i l i t ya n dp a t t e r nr e c o g n i t i o nc a p a b i l i t y , s ot h a tt h e f a u l to fg s mn e t w o r ki sm o n i t o r e da n dq u i c k l yl o c a t e di nt h em u l t i 1 e v e l a l g o r i t h m v a r i o u sm e t h o d ss u c ha sm o m e n t u mm e t h o d ，a d a p t i v el e a r n i n g r a t ea n dl e v e n b e r g m a r q u a r d tm e t h o da r eu s e dt ot r a i nt h eb pn e u r a l n e t w o r k f i n a l l y , t h e f a u l ta l a r mc o r r e l a t i o n a n a l y s i ss y s t e mo fm o b i l e c o m m u n i c a t i o nn e t w o r ki sd e s i g n e da n di m p l e m e n t e d t h es y s t e mi sb a s e d o nc l i e n t s e r v e ra r c h i t e c t u r e ，a n dad i s t r i b u t e da l a r mc o l l e c t i o ns c h e m ai s u s e dt om o n i t o ra l lt h ea l a r m sp r o d u c e db yr a d i on e t w o r k s w i t c hn e t w o r k a n dt r a n s f e rn e t w o r ki nt h em o b i l en e t w o r ka n dc o l l e c tt h e mb yt h ed e v i c e t y p e sa n dt h e i ra l a r ma c q u i s i t i o nm e c h a n i s m a n d ，t h ec o u p l i n gb e t w e e n m o d u l e sc a nb er e d u c e da n dt h es c a l a b i l i t ya n ds t a b i l i t yo fo v e r a l ls y s t e m c a nb ei m p r o v e du s i n gh i e r a r c h i c a ls o l u t i o na n dc h a i no fr e s p o n s i b i l i t y d e s i g np a t t e r n k e yw o r d sf a u l ta l a r mm o n i t o r i n g ；b p ；d i s t r i b u t e ds y s t e m ；x m l ； c l i e n t s e r v e ra r c h i t e c t u r e l i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特j b t l d n 以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得中南大学或其他单位的学位或证书而使用过的材料。与我共同工作 的同志对本研究所作的贡献均已在在论文中作了明确的说明。 作者签名：埠 日期：吐年上月2 日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有 权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位论文 的全部或部分内容，可以采用复印、缩印或其它手段保存学位论文；学 校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：导师签 日期：等址膛日 硕士学位论文 第一章绪论 1 1 研究背景 第一章绪论弟一早 珀了匕 近年来，随着移动通信技术的发展，移动业务进一步增长，对人类的社会活 动、经济尤其是日常生活等产生越来越大的影响。每天都有数千万的用户在使用移 动网络中提供的各种服务，为应对这种业务增长的需要，不断有新的通信设备和新 的业务加入现有网络，导致移动通信网络的异构性质越来越明显，网络环境也变得 越来越复杂。为提高企业的竞争力和用户服务的满意度，需要能够保证网络中的各 个设备在绝大部分时间内工作是正常的，而且要能够负担当前网络中通信流量大、 传输速度快、响应延迟少的要求，保证网络的高度可靠性及可用性。因此必须对这 些设备进行有效管理，监控其运行状况，在设备发生故障或者出现性能方面的情况 时候，能够及时发现这些问题，并通知相关维护人员对进行处理，以使网络能搞高 效、稳定、持续地运行。 移动通信网络故障告警具有数据量大、突发故障情况多的特点。尤其是在网络 设备出现故障并引发告警时，网络设备发生故障中断，与它相关联的设备会由于不 能通过它发送信息或者不能获取它的运行状况也引发相应的故障，在短时间内产生 大量的告警信息。现有的移动网络告警监控一般依靠采用人工的方式来完成，即通 过某些告警监控方式监视当前的活动的告警信息，然后通知维护人员去其中有重要 告警可能的故障点去查看并回报相应的检测结果，这样的方式虽然能够在一定程度 上实现发现故障并进行处理的要求，但人工方式一般是通过排查可疑故障点来进行 处理，这样不仅消耗了大量的人力物力，加大了网络的运营维护成本，而且处理过 程非常耗时，在发生大量告警时基本不能满足告警处理的实时性方面的要求。而且 采用人工的方式很有可能会由于忽略了某些关键告警而导致整个故障的处理并极大 的拖延。 为了解决上述的问题，满足监控的要求，需要在移动网络多架构网络中构建一 种智能化、自动化的故障处理监控机制，能够实时采集当前移动核心网络中的各个 告警信息，并能在一定的基础上对大量的告警进行相关性方面的分析，为移动监控 人员进行故障处理提供一定的依据，帮助提高故障处理的准确性、实时性。这种故 障处理流程主要是通过对当前的告警进行恰当的处理，通过屏蔽重要性等级不高及 对设备不会产生影响的告警信息，降低告警对整个监控系统的核心部分的干扰作 用，并通过对其他的重要告警等进行合适的过滤、筛选、匹配、分类等流程实现对 告警信息的分类或者对其中各个告警之间关系的确定来实现对告警的确定，快速进 行网络故障的诊断和定位。 硕士学位论文 第一章绪论 1 2 告警关联分析技术现状 1 1 基于规则的关联 基于规则的关联方法r b ( r u l eb a s e d ) 主要是将特定于当前告警系统领域的告 警知识包含在一组规则集合中，通过对监测到的告警进行判定，并使用相应的推理 规则来分类一个或者多个告警的发生是否符合某一个规则，进而确定其具体的故障 类型。 其工作原理主要是依赖于规则库和推理引擎。在规则库中将很多从实践中获取 的知识通过恰当的编码形成i f - t h e n 式的规则；同时，规则库中也包含了一个工作 存储区，用来保存断言和初始的先验知识，也用来保存以后的规则处理结果。当发 生新的告警的时候，系统则启用推理引擎来对告警进行处理。首先，系统通过检测 所有的规则的条件部分( i f ) ，并找出那些在工作存储区中那些规则的条件与当前待 检测的条件吻合的规则子集，形成一个冲突集。接下来，系统采用诸如随机选择、 首次适用、最佳适用等各种冲突解决方法来分析这个冲突集，从其中选取一个规则 进行触发，即执行其规则中的t h e n 部分。最后，这次触发过程又可以去修改当前的 工作存储区，系统最终将在没有任何规则满足当前规则集中的条件部分或者规则结 果部分指定停止的时候终止整个处理流程，完成一个规则关联的周期。 主要应用系统有幢1 ：h p 公司开发的告警相关性分析系统e e s l 瞄1 ( e v e n t c o r r e l a t i o ns e r v i c e ) ，主要应用在高速传输网络如s d h ，a t m 网络中；p h i l i p s 公 司研制出s d h 网络管理系统智能过滤器i n t e l l i g e n tf i l t e r i n g h l ；s i n e r g i a 系统1 ， 用于定位传输网络数字电路故障，应用于意大利电信网故障诊断中。 r b 的优点主要是在于其规则比较简单、明了，符合人的理解思维方式；由于可 以很直观的从这些规则中推理出最终的结果，也能够很容易的构建相应的基于规则 推理的系统。其缺点主要在于：规则的可维护很低，当系统的物理结构发生变化 时，确定新的规则不仅需要网管人员的专业知识，而且需要保证各个规则的建立时 所依赖的知识是具有一致性的、正确的，否则各个规则间将很容易发生冲突；另 外，当工作存储区中规则数量过于庞大时，由于不能够通过记忆等方式加速规则匹 配流程，即对告警必须进行规则匹配，而这个过程也将由于需要测试的规则过多而 非常耗时；最后，如何为当前的规则库选择一个恰当的冲突解决方案也是一个难 点，可能会由于规则库规模的变化而导致解决方案的不同。 1 2 基于案例的关联 基于案例的关联方法c b 阳1 ( c a s eb a s e d ) 主要是将已经发生的告警问题及其相应 的故障结果或者解决方案构成案例，并在其上构建解决方法。 2 硕士学位论文 第一章绪论 其工作原理主要依赖于对上述案例所形成的知识库的分析。当遇到新的问题时 从知识库中提取相同的或者类似的案例，并使用其故障结果和解决方案来解决当前 正在发生的问题。而这次解决问题的方案将按照预先设定的测试集来对其进行测试 并修正直到满足某些指定条件，这些修正后的案例又将作为新的案例添加至现有知 识库中，形成一个持续的解决方案。 主要的应用系统有l e w i s 设计实现的基于案例推理的故障跟踪系统c r i t t e r 口8 1 ， 用于网络故障管理；b u r n s 等提出了一种基于案例推理的算法，应用于g s m 网络故障 检测中。 c b 的优点是它具有自我学习能力，由于新的案例会被补充到现有的知识库中， 而且是在满足某些测试集的验证机制下，所以可以实现智能化的修正，逐步完善整 个案例知识库；其缺点主要在于案例机制是通过测试集来进行修正的，而测试集本 身可能非常难于设计，而且测试集对于案例库的修正也比较缓慢，导致对此方法对 网络系统的变化的响应迟缓。 1 3 基于模型的关联方法 基于模型的关联m b r n ( m o d e lb a s er e a s o n i n g ) 通过为系统构建一个模型，来分 析其中被监控的信息。这些模型可以是状态机、树状结构或者网络节点模型等各种 能表达系统节点间拓扑关系的结构。 拓扑模型的建立主要依靠对当前物理网络中各个设备间关系的先验知识，需要 事先能够获取设备间各个模块问的关系，记录各个模块的状态。但是网络间设备并 不是静态的，在网络中经常会引入新的设备节点，各个节点问的关系也会经常性的 发生变化，导致获取指定告警信息或者去进行关联的时候需要某些特定的算法，进 而导致系统的变得越来越复杂，在网络拓扑结构发生变化的时候不能很好的改变模 型的架构来完成对系统的优化。 m b r 的优点主要是能够通过模型快速确定告警点和故障位置，具有很高的告警 响应效率；缺点则在于模型的建立是一个非常困难的过程，需要专业人员对网络结 构非常熟悉；而且在大型网络中，构建出的这样的模型可能具有很高的复杂度，可 能需要对这些模型进行分割，并需要将分割出来的模型之间的关系进行处理，这样 又会导致整个系统的复杂度上升，形成一个非常复杂的设备模型和故障传播模型； 最后，m b r 方法不能很好的响应网络结构的变化，在大型网络中设备节点的变化非 常频繁，经常需要对模型进行修正，是一个耗时耗力的过程，在实际应用过程中可 能需要专人进行特别的维护。 硕士学位论文第一章绪论 1 4 基于数据挖掘的关联 数据挖掘方法d m 3 ( d a t am i n i n g ) 是从大量的、不完整的、有噪音的、模糊的、 随机的数据集中识别有效的、新颖的、潜在有用的，以及最终可以理解的模式挖掘 过程。它是基于对过去事例泛化的一种归纳学习，可以解决分类、聚类、时间序列 分析、关联规则挖掘等问题。d m 基于电信网络中的历史告警数据，发现告警数据间 相关性规则，再根据发现的规则来分析和预测网络设备可能出现的故障。 d m 方法的优点主要是：相关性分析所需的知识可以通过数据挖掘来获得，减少 了对网管专家的依赖：无需知道网络拓扑结构。尤其是当网络拓扑结构发生改变时， 可以通过分析历史记录，自动发现新的告警关联规则，适应电信网络变化快的需求， 减轻了网管人员的工作负担，提高了工作效率。但是数据挖掘需要能够从海量的数 据中发现相应的数据间的关系，而数据一般式存储在数据库中，且数据库的访问速 度跟不上程序处理的速度，导致在告警量大时，处理速度跟不上；在相应的数据中 查找发现相应数据间规则也是一个很复杂的过程，没有一个有效的方法能够验证数 据规则的正确性。 1 5 基于人工神经网络的关联 人工神经网络方法a n n 1 ( a r t i f i c i a ln e u r a ln e t w o r k ) 能对大规模数据进行处 理，它通过多个网络节点同时输入，使得系统具有高度的并行结构和并行处理能 力，对输入进行实时的动态处理来完成大规模告警处理。国内外的许多研究工作也 证实人工神经网络在机器故障诊断中的应用是成功，诊断的对象从数百兆瓦的汽轮 发电机组到核电站设备以至航天飞行器，且包含了如振动分析、油样分析和声发射 等手段n3 。，是实现智能化诊断的一个较完善的方案。 而告警关联过程的核心其实就是一种对关键告警进行模式匹配的过程，人工神 经网络技术作为一种网络告警关联分析技术之一，在模式匹配领域具有很强大的功 能，通过人工神经网络的多节点同时工作的模式，可以实现对大规模网络告警的快 速匹配，进而完成网络告警故障的分类。a n n 作为一种现阶段应用越来越广泛的关 联分析技术，并且是一种非常具有学习能力的和自适应能力的系统。作为一种由神 经元模型构成的系统，它能够通过在学习阶段分析整个内部及外部信息来改变每个 神经元与神经元之间的连接权系数动态调整自身结构，实现智能化的处理，具有相 应的自适应能力，满足了系统需要根据告警数据进行自适应变化、能够学习的特 点。 虽然神经网络在应用前进行有师训练时需要经过大量的训练，即需要从移动通 信网络中获取到适合的告警训练数据，训练时间也会由于机器性能问题而比较长， 给实际的训练过程带来了一定的困难，但是在通过一定的采集手段能够足够的i j i l 练 4 硕士学位论文第一章绪论 数据的情况下，且机器处理速度随着技术的进步也越来越高，人工神经网络处理存 在的问题是可以解决的。 1 3 研究意义 在移动通信网络领域中，日常运营所用到的设备在通信过程中都非常关键，需 要一定的监控措施保障设备的运行。但是移动网络中的设备量非常大，因此人们希 望能够使用计算机等技术对这些设备进行管理，而且在设备发生故障时候能够有一 定的智能化方法分析具体的故障点，以帮助监控人员更好的管理整个网络。 本文研究的网络故障告警关联分析方法针对移动通信网络故障告警的特点，能 够对移动通信网络故障发生时产生的规模型告警数据进行分析，自动识别当前告警 数据的各个类型，从而通过分析这些告警数据所对应的故障设备，找出具体的故障 设备点，实现智能化的故障告警管理。这种故障告警分析能够减少监控人员日常排 查方式查找故障所消耗的时间，在提高监控处理人员工作效率的同时，加快网络故 障告警的处理速度。 另外，本文针对移动通信网络中无线、交换、传输等共有的设备类型，分析了 各个专业设备类型使用的告警采集机制，进而构建了一个在移动通信网络中能够灵 活配置的故障告警关联分析系统。通过该模型系统的设计与实现，能够在移动通信 网络中实现对告警的全局监控、告警数据的灵活过滤，为在其他移动通信网络中构 建相似的告警关联分析系统提供了参考的依据。 1 4 论文章节安排 本文首先介绍了当前国内外网络告警关联方面的实用技术及相应的科技研究成 果与应用。接着研究了如何设计一个多级网络告警关联分析系统，包括告警采集、 过滤、预处理与归一化过程和b p 算法对告警信息进行处理及在实际工程中的使用方 法。最后对b p 网络多级告警模型进行了实验验证。全文共分为五章，具体安排如下 所示： 第一章，概述了移动网络通信系统故障分析的技术现状，以及本文的研究背景 和研究意义。 第二章，介绍了网络故障管理和告警相关性分析的基本概念和理论，指出了人 工神经网络技术在通信网络故障管理中应用中的必要性和可行性，以及人工神经网 络的各种技术方案。 第三章，研究和设计了基于b p 网络的多级故障告警关联分析的方法。主要内容 包括：数据分布的分析、b p 神经网络设计、b p 神经网络改进、多级网络告警关联分 析技术的研究与设计。 5 硕士学位论文 第一章绪论 第四章，设计和实现了移动通信网络故障告警关联分析系统。主要内容包括： 告警数据采集机制的研究与设计、告警数过滤机制研究与设计、告警归一化机制研 究与实现。 第五章，对本文所设计的系统进行了测试、仿真及实验验证。 6 硕士学位论文第二章网络故障分析技术与神经网络 第二章人工神经网络与通信网络故障告警分析 2 1 通信网络管理 2 1 1 通信网络管理概述 通信网络管理n 钔是指对当前通信网络的运行状况进行实时或者部分实时性质的 监控，并根据监控结果调整当前网络中的运行设备的配置、设备参数等，以保证网 络运行的稳定性、安全性和可靠性，同时提高当前网络的性能，以保证为用户提供 高效的、持续的服务。 网络管理在网络的日常运营、维护中起着举足轻重的作用，尤其是在电子技术 高速发展的今天，网络管理的重要性越来越突出n 叼。首先，通信网络如果不畅会对 企业造成很多的损失。由于通信网络设备非常多、使用率频繁，导致故障发生的可 能性很高n 引，如果不及时解决的话，用户间的通信效果将受到影响，甚至可能在一 个区域内的用户都不能进行通信，这样不仅会造成企业竞争力的降低，而且会引发 用户的不满，造成用户流失和经济损失。其次，网络设备的复杂使网络管理也变得 越来越复杂。网络设备的复杂性主要在于两个方面，一是设备生产厂家不一，二是 设备功能复杂性较高。现代通信技术随着经济的发展而日益进步，相关的服务性产 品也更加丰富，为提供这些功能在网络中会引进更多类型的设备，而对这些设备的 管理各个厂家之间并没有统一的标准，甚至可能本身不提供进行管理的接口，在很 大程度上为网络管理加大了难度。最后，进行网络管理是逐步成为现代化通信企业 的必要措施之一。由于网络规模的膨胀，如果依靠不对网络进行有效的管理，系统 的运行状态无疑会由于各种各样的因素而受到影响，导致网络运行效果不好，降低 企业的竞争力。 通信网络管理最重要的部分是其中的故障管理，用来管理通信网络中非正常工 作的设备节点或者链路节点，其主要包含如下四个方面的内容： ( 1 ) 告警采集 系统告警采集部分用于对当前网络中的各个设备的告警信息进行收集，为监控 系统提供数据来源。通常来说有两种主要的告警采集方式：一是设备主动向上汇报 自己本身设备的告警，另一种则是网管系统通过定期轮训或者相近方式主动去获取 相应设备的告警。一般来说，在通信网络系统中设备本身会提供至少一种方式，以 便于运营商能够对设备进行管理，如m o t o r o l a 就为无线设备提供了 o m c - r ( o p e r a t i o nm a i n t e n a n c ec e n t e r r a d i o ) 管理方式，将各个设备点汇报上来的 告警数据累积起来，形成相应的文件。对设备告警的采集主要关键点在于设备告警 的实时性、全面性、高效性。 7 硕士学位论文第二章网络故障分析技术与神经网络 ( 2 ) 告警过滤 告警过滤是指对采集上来的告警进行一定的处理，以消去其中无关紧要的告警 信息、误告警等。通常来说，一个中型规模的网络其告警量就可以达到监控人员难 以处理的程度，因为为了保证设备的运行正常，设备厂商通常为会将设备的状态转 换、设备的加载卸载等事件也作为告警信息中的一类来传送，而这种信息量会比告 警信息量大得多，毕竟故障发生的几率相对于状态变化会小很多。因此，需要对这 些告警信息进行恰当的过滤。 ( 3 ) 告警归一化 告警归一化主要是为网络中设备厂家所指定的告警信息规格不一致而设定的处 理阶段。通信网络中设备厂家不同众多，设备也多种多样，这样不仅导致设备的告 警信息中很多字段不一致，如描述告警等级的时候某些设备可能会使用数字大小来 表示，某些设备可能又会用m a j o r 等词汇来表示，而且可能导致同一种事件信息有 很多中不同的表示方式，因此需要设定恰当的机制对这些信息进行归一化，将告警 信息中特定信息的内容表示成一致的格式，这样不仅便于对告警信息的继续处理， 而且为监控的告警提供了一致的内容信息，不会使得监控人员核查信息时概念不清 楚。 ( 4 ) 网络故障分析 网络故障分析阶段是现在故障管理系统的一个核心功能，也是现在很多通信网 络管理系统研究的重点。它的主要目的是通过对上述阶段所获取的告警数据进行智 能化处理，实现定位故障点。 故障管理作为现代网络通信管理的一个重要组成部分，已成为通信网络日常运 行的安全保证，在大型网络中也扮演着越来越重要的作用。对告警数据进行管理、 分类已成为通信管理的重要内容。 2 1 2 网络故障与告警 一个通信网络可以看成是由相互连接的部件组成交换机、传输设备、动力设备 等，每个部件又包含一些子部件。分析的层次不同，部件的数量也不相同。一个本 地通信网包含上万个部件。在通信网的运行过程中，网络中的每一个部件和软件模 块都可能产生告警，这些告警描述了某些异常情况的发生。一个网络所发出的告警 数量是相当可观的，甚至在一个小的局部通信网络中，也可能存在成千上力| 个不同 类型的告警。 在网络告警管理领域，故障被定义为产生功能异常的原因，是产生告警事件的 原因n7 | 。告警是在特定事件发生时被管对象发出的通报构成的一种事件报告，用于 传递告警信息。它是设备生产厂商自己定义好的，并通过网络中的设备产生的，是 一个系统发出的消息，表示其发生了某种事情或异常，最终被网络管理人员观察 8 硕士学位论文第二章网络故障分析技术与神经网络 到。理想的告警信息n 8 1 应包含有关故障设备名称、故障症状、发生部位、发生时 间、发生原因等信息。但绝大部分告警都只有有关经历故障的设备名称、故障症 状、发生时间等数据域，而没有提供识别故障必须的故障发生的详细地点和发生原 因等数据域，如表2 - 1 是几个告警的实例。告警通常并不明显包含网络中故障和问 题根源的确切位置信息，当网络中出现故障时，会引发一系列告警，但并不是所有 告警都表明故障原因，这就需要通过分析网络产生的所有告警来判断故障的根本原 因。需要注意的是，告警仅仅是反应网络状况发生改变的征兆，这就是说，通常是 故障产生了告警，一个故障可能是另一个故障的根源，但一个告警绝对不会产生出 其它告警n 引。下表列出了一个告警示例： 表2 1 告警数据详细示例 a l a r m c a t e g o r y d e v i c e c l a s sd e v i c e i n s t a n c et i m e d a t ec o d es e v e r it y c o m m u n i c a t i o n fm m s h 2 s c - n ic s m b s c 7 01 ( c s m b 2 7 0 3 2 0 0 9 1 2 w a r n i n g a il u r e e v e n tu 2 s c 7 0 1 ：v s 3 1 ：)0 1 ：0 1 ：1 5 f ile n e a v a il a b lr s l c s m b s c 7 0 3 ( c s m b 2 7 0 2 2 0 0 91 0c r i t i c a l e e v e n t s c 7 0 3 ：v s 3 2 ：) 0 2 ：0 0 ：0 0 e q u i p m e n t f a i l u i a s c s m b s c 7 0 3 ( c s m b2 7 0 3 2 0 0 9 1 5 m a j o r r e e v e n t s c 7 0 3 ：v s 2 1 ：) 0 6 ：4 2 ：3 0 e q u i p m e n t f a i l us i t ec s m b s c 7 0 3 ( c s m b 12 0 2 2 0 0 98i i n o r r e e v e n t s c 7 0 3 ：v s 5 ：)0 6 ：4 4 ：4 6 表中个数据端的具体含义如表2 - 2 所示： 表2 - 2 告警数据项定义 数据项名具体含义 1 a l a r m c a t e g o r y告警类型 2d e v i c e c l a s s 设备类型 3d e v i c e i n s t a n c e 具体告警的设备 4t i m e d a t e 告警事件发生的时间点或者网管采集的时间点 5c o d e 标识告警类型的告警代号 6 s e v e r it y 告警严重级别 2 2 告警相关性分析 在通信网络运行过程中，每天都会产生大量告警，由于各网管系统生产厂商的 不同，各厂商对告警格式和信息也不尽相同。而且，一种告警也许会引起其它设备 9 硕士学位论文第二章网络故障分析技术与神经网络 的告警，因此，告警的数量庞大且相互间的关系非常复杂，不可能完全靠人工的判 断来处理。如果能够建立告警相关性分析模型，并且通过使用适当的挖掘工具来发 现告警相关规则，就可以有效地压缩挖掘结果，提高规则的准确率，辅助故障定位 和告警过滤，以减轻网络管理员的工作强度，提高工作效率。 告警事件只能够表明可能有故障发生，并非一定有故障发生。资源的被管理对 象可以发出告警事件作为对系统当前发生异常的响应。告警事件包含了被管理对象 状态异常的信息。当网络中出现故障时，会引发一系列告警，但并不是所有告警都 表明故障原因，所以需要对网络中发生的告警事件进行相关性分析，才能确定产生 故障的根本原因。因此，告警相关性分析就是指对告警进行合并和转化，并将多条 告警记录合并成一条具有更多信息量的告警，形成能准确反应故障根本原因的告 警，并且可以准确定位故障。此外，告警相关性还可用于对产生多个告警进行解 释，这就为最初定义的告警事件增加了新含义。 2 3 人工神经网络技术 2 3 1 人工神经网络概述 一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。 这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而 达到处理信息的目的眩0 l 。人工神经网络具有自学习和自适应的能力乜，可以通过对 预先提供的一批相互对应的输入一输出数据，分析掌握两者之间潜在的规律，最终 根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训 练”。 由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科 学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进 行信息处理乜2 1 。 人工神经网络具有四个基本特征幢3 1 ： ( 1 ) 非线性 人工神经元处于激活或抑制二种不同的状态，在数学上表现为一种非线性关系。 具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。 ( 2 ) 非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可 以有各种变化，不一定需要符合训练时的标准输入，而且在处理信息的同时，网络 本身通过学习的过程也在不断发生变化。 ( 3 ) 非局限性 一个神经网络通常由多个神经元通过互相连接形成。一个系统的整体行为不仅 l o 硕士学位论文第二章网络故障分析技术与神经网络 取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。 通过单元之间的大量连接模拟大脑的非局限性。 ( 4 ) 非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量 函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故 系统具有多个较稳定的平衡态，这将导致系统演化的多样性。 人工神经网络特有的非线性适应性信息处理能力心幻，克服了传统人工智能方法 对于直觉，如模式识别、语音识别、非结构化信息处理方面的缺陷，使之在神经专 家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网 络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人 工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进 化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得 到发展。 2 3 2 人工神经网络模型 人工神经网络有多种典型模型，如自适应谐振模型、双向联想存储器模型、博 尔茨曼机模型、反响传播网络模型等，这些模型在训练上各异，但都属于如下四种 训练方法的范畴中： ( 1 ) 死记学习 死记学习网络不具备自我学习的能力，它通过输入设计成记忆模式中的稳态， 在给定有关信息时能获得稳态。死记学习的算法例子主要包括h o p f i e l d 网络。 ( 2 ) 有师学习 有师学习算法存在给定的输入及当次输入所对应的期望输出，网络训练需要根 据网络的实际输出，来调整神经元间的连接的强度或神经元的权值来完成。因此， 有师学习性质的人工神经网络需要有示例提供期望的目标输出。有师学习的算法的 例子包括规则、广义规则、b p 算法等。 ( 3 ) 无师学习 为神经网络给定一个输入模式，网络将按照模式自适应的调整连接权，使某个 神经元节点兴奋，从而按照相似特征把输入模式分组聚集。无师学习的算法的例子 包括c a r p e n t e r g r o s s b e r g 自适应谐振模型、k o h o n e n 算法等。 ( 4 ) 增强学习 增强学习算法是有师学习的特例。他不需要示例给出目标输出，而是通过采用 一令外部机制来评价与给定输入相对应的神经网络输出的质量的优劣，来完成对整 个网络的评判。增强学习的算法例子主要包括遗传算法 在上述神经网络学习算法中，死记学习缺乏自我学习的能力，且计算代价较高， 硕士学位论文第二章网络故障分析技术与神经网络 不太适应大规模数据的训练；有师学习算法能够根据系统指定的输入输出来自适应 的改变网络的结构，在经过恰当数据集训练之后能够正确分类未知的训练集和训练 数据项，具有很好的模式识别能力。无师学习算法可以处理非确定性输入变量，能 够在没有相关输入和目标输出的时候通过模糊判断出结果类型；增强学习算法能够 通过对集合进行编码来实现对有师学习的增强，但这种增强方式并不能保证得到的 是最佳答案，而且实现过程往往过于复杂。 2 4 基于b p 网络的告警相关性分析 故障处理过程，采集上来的故障告警数据的特定信息中已经包含了某种告警信 息及其对应的故障问的关联，即对于某一个告警信息，指定了相应的目标输出，因 此在人工神经网络的训练算法中需要选择一种有师学习的算法。b p 算法是目前应用 最广泛的有师学习算法，且其实现过程比较简单，三层b p 神经网络能够解决绝大部 分模式识别方面的问题，因此本文的系统选用b p 神经网络作为网络故障告警关联分 析中的人工神经网络方法。 b p 神经网络是一种单向传播的多层前向网络，具有很强的学习能力，示例结构 如图l 一1 所示。b p 网络具有三层或者三层以上的神经元层，包括输入层、一个或多 个隐含层和输出层。上下层之间实现全连接，而每层神经元之间无连接，各个神经 元只影响与它相连接的神经元。其学习过程由正向传播和反向传播组成：正向传播 的过程中，输入信息从输入层经各隐含层处理后，传至输出层；如果在输出层得不 到期望的输出，就转为反向传播，按照减少目标输出与实际结构误差的方向，把误 差信号沿原连接路径返回，并通过逐层修正各连接的权值，使误差信号最小口4 l 。同 时，这些b p 网络中的隐含层节点相当于用户对一类信息进行分类的感知器。 x x x 隐含层 图1 - 1b p 神经网络示例 通过逐层修正各连接的权值，使误差信号最小。同时，这些b p 网络中的隐含层 节点相当于用户对一类信息进行分类的感知器。 硕士学位论文 第三章b p 网络与故障处理关联分析 第三章b p 网络与故障告警关联分析 3 1 告警数据描述 实验网络为当前长沙移动g s m 网络，由于网络设备量非常庞大，可以针对单独 的b s c 设备来对网络进行分割，即b p 神经网络以b s c 网络单元进行训练。选取长沙 移动g s m 网络中的多天共计3 9 6 6 条告警记录进行实验，可以发现各告警类型的分布 具体数据如图2 1 所示。 l 毛6 3 1 4 9 8 1 0 26 4 7 6 2 ：2 。 1 - 一 - 一l一 图2 1 总体数据分布图 数据分布图中数目为1 6 6 3 条的告警是由告警源系统没有指定相应告警类型的告 警构成的，需要由告警采集过滤系统将其中的数据进行进一步的分类。通过分析这 些告警中的告警特征关键值，为其确定告警类型，对其具体类型进行分割，并赋予 相应的编号，从而将其分割成图中的数据。以无线专业为例，在没有指定告警编号 的告警数据中，告警表示某类设备从一个状态变化为另外一个状态，因此根据设备 类型、原始状态、目标状态来对标记告警类型。对上述数据进行具体分割后的类型 图示如图2 - 2 所示： 图2 - 2 数据类型分隔图 经过上述对其中无告警编号数据的分割， 致如图2 3 所示，图中使用+ 标识告警数据量， 的拟合曲线。 可以看出告警数据的分布最终结果大 线条为按照告警数据量从大到小排列 硕士学位论文第三章b p 网络与故障处理关联分析 图2 3 数据分布图 对上述数据的分布观察可知，本文采集的数据大致符合从大到小的趋势，而且 除最高点数据外的每个数据点附近都有一个相近的点，若按照最高点数据居中、左 边数据次之、右边数据比左边数据小的格式，将上述数据重新排列可以发现，整个 数据分布符合高斯分布，如图2 4 所示。图中蓝色点为告警数据的分布，红色线条 为使用混合高斯公式进行拟合的曲线。 l 二墨酷l 、 2 04 08 0 图2 - 4 高斯拟合分布图 从上述数据分布可以看出，整个数据分布中，告警数据有3 7 7 的可能性会发生 在最高点a ，即有3 7 7 的可能性为告警代号为0 的告警类型。因此可以将其以一定 的方式筛选出来进行单独的处理，即区分出a 类告警及非a 类告警，这样不仅能大 大的提高a 类告警的处理速度，同时由于非告警a 的数据量的减少使得需要使用b p 网络进行处理的数据量减少，进而加速b p 网络的处理速度，提高整体系统的运行效 率，缩小了其运行时间。 3 2 算法的提出 本文根据上述数据的分布规律，提出了基于b p 网络的多级网络告警关联处理模 型，通过预先对告警数据进行恰当的预处理，减少b p 网络需要处理的告警数据量， 加速b p 网络的处理效率。 1 4 硕士学位论文 第三章b p 网络与故障处理关联分析 因此，可以事先通过分析动通信网络中的故障数据中的高斯模型规律，找出具 体高斯分布常量。通过对告警数据的实验分析，可以发现告警数据符合二次高斯混 合模型，其故障密度函数为： 巾，= a 。- c x p ( 等) 2 + a ：- e x p ( 警 2 泞， 式中一、鸬为均值，表示故障点的平均分布位置；q 、吒为均方差，表示偏 离均值的离散程度。可以通过对告警的分布曲线进行拟合求出与仃。 本文的告警数据都是一些文本形式的告警数据，而引发其所在的故障点也是具 体的设备点，不能简单的将其作为多级告警筛选的输入，必须对这些信息的形式进 行一定的预处理将其转化为相应的向量形式。本文将m 维告警向量定义为： = 焉，毛，一瑚 ( 3 - 2 ) 其中x m 用于表示告警信息某一个特征m 。将n 维故障向量定义为： 露= “，儿，以) ( 3 - 3 ) 其中儿间的组合用于定义设备点是否发生故障。 量、输出向量分别定义为q 、厶： g = ( 蜀，岛，昂) 厶= ( ，o 、) 同时，将隐含层神经元输入向 ( 3 - 4 ) ( 3 - 5 ) 输出层神经元数目与目标数一致，也按照隐含层模式，将其输入向量、输出向 量分别定义为： 乓- - ( 8 ，乞，) ( 3 - 6 ) q = ( g l ，9 2