（计算机应用技术专业论文）基于事件关联和数据挖掘的网络故障管理技术的研究.pdf

硕士学位论文 m a s lf i t st i 正s i s 摘要。 故障管理作为网络管理的五大功能之一，负责对网络故障进行检测、诊 断和恢复，而故障诊断又是其中的难点与重点，其有效与否和功能强弱直接 关系到被管网络的可用性和可靠性。早期的故障管理是通过网管人员分析告 警信息以人1 ：方式实现，该方式代价高，效率低，无法进行实时、有效的故 障诊断。引入人工智能技术的目的就是希望通过尽可能少的人工干预，使故 障诊断能够独立的驱动智能诊断过程，实现其日标的自动控制。 但目前的智能故障诊断技术，多采用某种单一的人工智能技术运用于整 个故障诊断过程，难以满足对复杂网络故障进行准确、有效的定位和诊断的 全部要求。本文针对以上问题，将故障诊断分为故障定位和故障原因珍断两 个阶段，针对各阶段任务的不同，采用不同的智能化技术，并提出了种瑟 于事件关联和数据挖掘的故障诊断技术，以实现各技术之f n j 的优势互补： 采用基于c b r m b r 的分布式事件关联进行故障定位，对大量的告警事 件进行时间、空f 日j 上的关联，以准确、快速地分离出故障源。 对事件关联过程确定的故障源，采用基于c b r 的诊断方法进行的故障原 因诊断。该方法将决策树法和近邻检索法等数据挖掘技术相结合，对事例舱 索过程中必需的特征项相似度进行挖掘。在一定程度上解决了故障诊断中知 识获取这一瓶颈问题。 为了深入研究，客观评价新算法，作者对本文提出的技术方案在真实网络 环境中进行测试，结果显示该方案使故障诊断具有较高的准确性和实时性， 性能表现良好。 关键词： c b rm b r故障定位 故障诊断事件关联相似度 数据挖掘 + 本论文的研究i 作受湖北省科技攻关重人项目“网络管理平台软州：研究及其产业化” ( 2 0 0 1 a ) 0 5 a 0 4 ) 、科技部“科技捌中小企业创新基金”项目“宽带网综合返维支撑平台 软什”( 0 2 c 2 6 2 1 4 2 1 0 3 9 3 ) 的资助 t 硕士学位论文 m a s i e r s t i t e s i s a b s t r a c t a so n eo ft h ef i v e g r e a t e s tn e t w o r km a n a g e m e n tf u n c t i o na r e a s ，f a u l tm a n a g e m e n t l a k e sc h a r g eo f t h ed e t e c t i o n 、d i a g n o s i sa n dr e s t o r a t i o no f n e t w o r kf a u l t ，t h ee f f e c t i v e n e s sa n d p o w e ro fi t c o r r e l a t ew i t ht h ea v a i l a b i l i t ya n dr e l i a b i l i t yo fm a n a g e dn e t w o r k e a r l yi nf a u l t m a n a g e m e n t ，b ya s s i s t i n go p e r a t o r si na n a l y z i n gt h ea l a r mi n f o r m a t i o na n dp i n p o i n t i n gt h e n a t u r ea n dl o c a t i o no ff a u l t s ，n e t w o r kd o w n t i m e ，w h i c hc a nb ev e r yc o s t l y ，c a nb es i g n i f i c a n t l y r e d u c e d c o n s i d e r i n gi t ，a it e c h n i q u e s w i l lb e i m p o r t e dt o r e a l i z et h ef a u l t m a n a g e m e n t a u t o m a t i z a t i o n a tp r e s e n t ，i ti sg e n e r a lt oa p p l yas i n g l ea ii n t e l l i g e n tt e c h n o l o g yt of a u l td i a g n o s i s ，t h e a c t u a ls t a t ec a n n o tm e e tt h ew h o l ed e m a n d so ft h ee x a c tf a u l ti d e n t i f i c a t i o na n dd i a g n o s i s w i t hr e g a r dt oi t ，f a u l td i a g n o s i si sd i v i d e di n t ot w op a r t si nt h i st h e s i s ：f a u l tl o c a l i z a t i o na n d f a u l tc a u s ed i a g n o s i s ，d i f f e r e n ta tt e c h n i q u e sc a nb ea p p l i e dt ot h e s et w op a n sm o r e o v e r ，a t h u l td i a g n o s i st e c h n o l o g yb a s e do ne v e n tc o r r e l a t i o na n dd a t am i n i n gh a sb e e nw o r k e do u tb y t h ew r i t e r ad i s t r i b u t e de v e n tc o r r e l a t i o nm o d e lb a s e do nc b r m b ri sp r e s e n t e di nt h i st h e s i st o i m p l e m e n tf a u l tl o c a l i z a t i o n i tc a nr e d u c et h ea m o u n to fi n f o r m a t i o np r e s e n t e dt on e t w o r k o p e r a t o rb yf i l t e r i n g o u t u n n e c e s s a r y o ri r r e l e v a n t e v e n t s s i m u l t a n e o u s l y , t h e s e m a n t i c c o n t e n to ft h ei n f o r m a t i o n p r e s e n t e d c a nb ei n c r e a s e d b y t h ec o r r e l a t i o n p r o c e s s ，h e n c e h e l p i n gt oe s t a b l i s ht h eu n d e r l y i n gp r o b l e mo rc o n d i t i o nw h i c hp r o d u c e dt h ee v e n t s f o rt h es e c o n dp a r t ，af a u l td i a g n o s i st e c h n o l o g yb a s e do nc b rh a sb e e nb r o u g h tf o r t h t h i st e c h n o l o g yw h i c hc o m b i n e sd e c i s i o nt r e e sa n dkn e a r e s tn e i g h b o r , c a nm i n et h e r e l a t i v es i m i l a r i t yo fl a t e n t i t e mi nt h ec o u r s eo fc a s es e a r c ht h i sa l g o r i t h mw i l ls e t t l et h e b o n l e n e c kt oac e r t a i ne x t e n t f o r e v a l u a t i n gt h en e wt e c h n o l o g yi ns t u d y ，t h ew x i t e rt e s t sa l g o r i t h m si nr e a l n e t w o r ke n v i r o n m e n t t h e ys h o w g o o dp e r f o r m a n c e o ff a u l td i a g n o s i s k e y w o r d s ：c b r ，m b r ，f a u l tl o c a l i z a t i o n ，f a u l td i a g n o s i s ，e v e n tc o r r e l a t i o n ， s i m i l a r i t y , d a t am i n i n g 硕士学位论文 m a s 1 1 e r s ，i l e s i s 1 1 前言 第一章绪论 随着计算机及通信技术的飞速发腱，计算机网络已经渗透到社会生活的 各个领域，对社会经济发展起着越来越重要的作用。特别是因特网的成功， 为网j ：各项业务的开展提供了巨大的空日j ，人们的工作甚至生活方式都发生 着巨大的变革。有了网络，势必需要对它进行管理，使网络能够难常、安全、 高效、合理的运行和使用，这是就网络管理。其主要任务包括：规划、监督、 设计和控制网络资源的使用和网络的各种活动，并且在网络出现故障时能及 时做出报告和处理。其目标是要将所有的网络管理子系统集成在一起，向管 理员提供统一的控制方式，复杂性取决于网络资源的数量和种类“。 f 1 益扩展的网络及飞速发展的网络技术给网上各项业务的丌展提供了巨 大的空问，但同时也给网络资源的管理、网络服务的质最( q o s ) 提出了更高的 要求。网络管理正面i 临着新的挑战”l ：大容量、多j + 家、多平台、网元高度分 和等。因此，网络管理应当适用于多种网络管理予系统，适用于多种通信形 式，诸如数据、话音和图像的通信，并适用于多种用户和网络设备的高度分 自，。州时，也要具有较好的，f 放性和可扩充性。网络管理只有向着综合化、 集成化、智能化的方向发展爿能逐步满足这些要求。 智能化的网络管理作为现代网络管理的一个重要研究方向，肇始于8 0j f 代木9 0 年代初，至今已有一定的发展。它在一定程度上结束了完全依靠人i ： 束维护和管理计算机网络的时代，很大程度上提高了网络管理的能力。其t ， 采用人工智能技术进行定位、诊断、排除故障及维护网络运行在最佳状态， 是智能化网络管理最早的应用领域。然而随着网络规模不断扩大和网络技术 r f 益复杂，如何提高网络管理的智能化，快速有效地对网络进行管理已经成 为人们关注的热点问题之一。 硕士学位论文 m a s ie r s1j t e s i s 1 2 网络管理的研究领域 网络管理是控制一个复杂的计算机网络使其具有最高的效率和生产力的 过程，它是伴随世界上第一个计算机网络一a r p a n e 1 1 的产生而产生的。网 络管理的发展大致分为四个阶段【3 1 ：专业网络系统的管理、通信网络设备的 管理、综合网络的管理和综合智能网络系统的管理。其发展阶段如图1 1 所示。 专业阿绍系缠笪管理1 i 通信阿络设备的管理ii 综合网络的管理f 胁台智能阿络系统的管理 1 9 6 9 - 1 9 8 8 f l 1 9 8 8 - 2 0 0 0h2 0 0 0 -h 来要 图1 1 网络管理技术的发展阶段 处于任何一个发展阶段的网络管理系统，其研究领域都应该包括网络管 理协议、网络管理功能和网络管理体系结构三个方匝。 1 2 1 网络管理协议 现代计算机网络管理系统中网络管理协议是最重要的部分，它定义了网 络管理器与被管代理之阳j 的通信方法，规定可管理信息库的存储结构、信息 库中关键字的含义以及各种事件的处理方法i “。目的影响最大的网络管理协 议仃： 基j 二f c p i p 簇的s n m p ( 简单网络管理协议) ，s n m p 是山i e t f 组织丌发，由简单网关监视协议( s g m p ) 改造而来。由j 二其相关的管理信 息结构( s m i ) 以及管理信息库( m i b ) 十分简单，能快速实现，因此被广 泛应用。：。现已出现s n m p v l 6 1 ，s n m p v 2 1 ”，s n m p v 3 1 8 三个版本，成为事实 f ：的工业标准，其协议结构如图1 2 所示。 s n m p 管理系统s n m p 被管理系统 图1 2s n m p 协议结构图 基于丌放系统互连o s i 标准的管理框架模c m i p c m i s ( 公共管理信 息协议公共管理信息服务) ，c m i p 是由国际标准化组织( i s o ) 丌发出来的 一套使用于不同类型网络设备的较完整网络管理协议。它建立在i s o 参考模 型的基础之上，通过在应用层上实现c m i p 、a c s e 和r o s e 等协议，提供 r 较完整的操作、响应请求和事件通告等机制，为丌发灵活、有效的网络管 理应用奠定了基础。从功能角度看，它完全弥补了s n m p 的不足；但从实现 角度看，由于协议过于复杂和系统丌销过大而未被广泛应用。 基于电信网的t m n ( 电信管理网) 标准。1 ，t m n 是由国际电信联盟 i t u t | 旧制定的用于电信网络管理的完整规划，它以c m i p 为基础，考虑的 是电信网络中的网络元素和资源的管理和控制。t m n 是一种在逻辑上与i 乜 信网相互独立的网络，它通过几个不同的标准参考与电信网进行通信并达到 管理电信网的目的。由于t m n 广泛采用c m i p 的原因，导致了它也存在着实 硕士学位论文 m a 5 f e r s - j i i e s i s 现技术复杂及丌发周期长的问题。 此外，最近还有一些新的标准协议被推出，如通用门放策略服务协议 c o p s ( c o m m o no p e n p o l i c y s e r v i c e ) ，轻量级目录存取协议c d a p ( l i g h t w e i g h td i r e c t o r ya p p l i c a t i o np r o t o c 0 1 ) 和远程用户拨号认证协议 r a d i u s ( r e m o t ea u t h e n t i c a t i o nd i a li nu s e rs e r v e r ) 。 2 2 网络管理功能 困际标准化组织i s o 将网络管理的功能划分为5 个管理功能域m f a 1 ( m a n a g e m e n tf u n c t i o na r e a ) ：故障管理( f a u l tm a n a g e m e n t ) 、性能管理 ( p e r f o r m a n c em a n a g e m e n t ) 、配置管理( c o n f i g u r a t i o nm a n a g e m e n t ) 、计费 管理( a c c o u n t i n gm a n a g e m e n t ) 和安全管理( s e c u r i t ym a n a g e m e n t ) 。 ( 1 ) 故障管理就是对网络中的故障进行检测、诊断和恢复，其目的是保 证网络能够提供连续、可靠的服务1 1 2 1 。主要功能包括： 维护、使用和检查差错f 1 志： 接受差错检测的通报并做出反应； 在系统范围内跟踪差错，执行诊断测试序列； 执行恢复动作以纠正差错。 ( 2 ) 性能管理是以网络性能为准则，负责收集、分析和调整管理对象的 状态，其目的是保证在使用最少网络资源和最小延迟的前提下，网络提供可 靠、连续的通讯能力。分为性能监测和性能控制两部分。性能监测指：i ：作 状态信息的收集和整理，性能控制则指为改善网络设备的性能而采取的动作 和措施。 ( 3 ) 配置管理是网络管理的起点和基础，它负责对网络全局的状态进行 跟踪，了解当前网络资源的应用情况，关键部分是对嘲络资源即网络对象的 定义、存储、定位及操作。因此，网络配置管理功能至少包含： 识别网络拓扑结构，标识网络中的管理对象： 自动修改指定设备的配嚣； 动态维护网络数据库等等。 硕士学位论文 l a s n r s1 1 1 1 1 s i s ( 4 ) 计费管理记录用户使用网络资源的情况并核收费用。计费管理系统 的设计目标应使系统具有如下功能：以用户或网络j i 机使用网络资源的情况 为依据，根据管理策略对使用者进行收费。通过收费政策，使网络资源合理 使用；通过收集各种访问信息，调整网络结构，提高网络使用效率。 ( 5 ) 安全管理是对网络资源的访问提供保护，包括授权机制、存取杌制、 加密及密钥管理以及有关安全访问f 1 志的维护。一般的安全措施主要分为两 类：加密技术和防火墙。 】2 ，3 网络管理体系结构 网络管理体系结构定义了网络管理系统的结构及系统成员f j j h 互关系的 一套规则。要实现一个网络管理平台，必须要有一个合i 里的体系结构，典型 的体系结构有以f 几种： 集中式体系结构 集中式体系结构是最常用、最简单的一手4 ，网络管理模式i l ”。山个管 理者负责整个网络的管理工作，便于系统的维护和扩展，并简化了在异种 机、多厂商、多管理协议环境中综合程序的丌发工作。 - 分层式体系结构 分层式体系结构将集中式管理系统的管理功能一分为二i l5 1 ，通过将嗍 络管理系统的工作分散于二中央管理系统与客户系统之f 、目j 的方法，缓解r 集【f i - 管理体系结构中管理系统负荷过重的矛盾。分层虽然克服了集中式体系结 构的一些问题，同时增加了一些不足：可能会给数据采集造成定的困难： 由于管理系统分散在不同的位置，增加了管理员维护难度；如何划分各管理 域也l 是一项复杂的工作：时效性要比集中式体系结构差等。 分布式体系结构 分柿式体系结构结合了集中式和分层式两种方案的特点，兼备了两者的 优点。但并不是说它是完美无缺的，它大大增加了网络管理工作难度，如： 如何划分各个管理域，如何协调各个管理域工作，网络整体优化等。 总之，各体系结构都存在各自的优缺点，不存在一种“最好”的体系结 构。每种类型在一定环境下都能良好的工作，应根据具体网络环境确定一一种 最合适的类型。 1 3 网络管理的现状 随着通信技术和计算机技术的飞速发展，当前计算机网络呈现以下特点： 一方面网络规模不断扩大，复杂性不断增加；新型网络不断涌现，如a t m 、 个人通信网及智能网络等，网络异构性越来越普遍，计算机网络和电信网络 等f 逐步走向融合；另一方面，人们对于网络提供增值服务要求越来越高， 全球化的跨越异构网络问的、网络功能实体问协同：i 作的多媒体通信服务等 是未来网络向用户提供的主要服务。 因此，如果没有一个统一高效的网络管理系统对网络系统进行管理，就 很难保证为广大用户提供令人满意的服务。要实现列庞大复杂的网络系统进 i 仃效的管理，现有的网络管理系统是不胜任的，将面临新的挑战”： 在资源管理方面，被管理的网络资源是异构的和动态的。异构是多样 的可能一个系统中，有的子网是以太网，有的是f d d i ，可能有的设备是 肇j ：s n m p 管理，有的设备是基于c m i p 管理。划于网络系统配置的动态 改变，网络管理系统应能在线地实现异构网络资源的集成和对出自不i 司厂家 的独立异构子网及其网络管理子系统进行统一管理。 在网络服务方面，用户对网络所能提供的质量要求越来越注重，特别 对f f = _ 效性要求高的用户。这意味着网络资源应根据不同的服务品质进行协商、 预留和管理。 在网络管理功能方面，某些网络管理功能相当复杂，如：网络故障的 预测和诊断，系统性能的分析和评价，最佳路由选择等。 面对这些危机和挑战，网络管理应该向何方向发展，已经成为现代信息 网络中最重要的问题之一。 1 4 网络管理的发展方向 网络管理面对的上述危机和挑战，给嘲络资源的管理、网络服务的质量 ( 0 0 s ) 、网络管理的功能提出了更高的要求。要实现对复杂网络系统进行有效 的管理，传统的网络管理系统不再胜任，网络管理必须向综合化、集成化和智 能化方向发展。 综合化 面对分立网络管理所处的困境，把现有的独屯存在的功能性管理系统综合 成一个功能齐全、面向未来的综合网络管理系统，i 叮以很好的解决分别建立的 多个网管系统之问互相割裂所遗留f f 的许多问题，从而实现资源共享、信息7 f 换、简化管理操作。而且更重要的是，可以将以后新的网管需求直接纳入该 综合网络管理系统之中。 可以采取的综合策略有：网管协议尽可能标准化、统设计管理信息模型、 综合设计网络管理应用程序、综合设计网管信息与资料数据库、统一舰划高层 次管理应用功能。如此设计出的网络管理系统就能适用于多种网络管理子系 统，适用于多种通信形式，诸如数据、话音和图象的通信，并适用于多种用，1 和网络设备的高度分布。分布式网络管理禾】基于w e b 的网络管理是实现网络管 理综合化的两种技术。 集成化 所谓集成化是指将c m i p 和s n m p 两者优势集成起来，去莘h 取精，形成 个完善而统一的管理方案。既能提高网管功能、性能，又能保护现有投资。l j 的有两种集成方法，即协议共享方式和协议互通方式，目的在于克服和协调 c m i p 和s n m p 的差别。如在管理者和委托代理之| 廿j 使用c m i p ，雨在委托代 理和被委托管理设备之间使用s n m p ；或反过来。这样就可以实现c m i p 和 s n m p 的统一管理。 硕士学位论文 m a s e r s j j t e s i s 智能化 从国内外相应参考文献来看，网络管理智能化的研究丌始于8 0 年代术9 0 州初，至今已有一定的发展历史”。采用人 智能技术进行维护、诊断、排 除故障及维持网络运行在最佳状态成为必须趋势，是智能化最早的应用领域。 “j 闱络管理和用户需求不直接联系时，当网络性能下降( 如qos 级别下降) 等旧络运行性能变化时，必须用智能化方法对涉及性能下降所相关的网络资源 进行监控，执行必要的操作。智能化网络管理必须具有如下特殊能力： ( 1 ) 处理不确定性的能力 网络管理就是要对网络资源进行监测控制管理，以使网络系统岛效率运 行，但这种管理控制是依赖于它对系统资源状念的了解，包括系统的全局状态 和系统的局部状态”。由于网络系统的瞬变性，当某资源的状态信息传到网管 系统时可能已经变化了，因此，网管只能知道系统的局部状态，根据这砦信息 进行管理，由于上述同样的原因，局部信息也是不确切的。智能化网管要有处 理彳i 确定信息的能力，能根据这些信息的网络资源进行管理和控制，现在已经 f i _ 厂一些比较好的方法，如模糊逻辑、主观b a y e s i a n 方法等。 ( 2 ) 协作能力 由于网络规模的扩大和结构同趋复杂，集中系统中单网络管理者是难以 i 付全部网络工作的，为此出现层次化嘲管的概念，i ：层管理者可以轮询力+ 式 g l 测i j 层管理者，中层管理者对下层管理者进行监测，这就存在多层管理者之 川任务的分配、通信和协作”“。目前，多代理协作，分布式人工智能的思想被 逐渐引入网络管理中。 ( 3 ) 解释和推理能力 目前大多数网络管理者都基于某种网管协议，如c m i p 、s n m p ，它所监测 剑的只是些m i b 信息，而这些信息所反映出的问题，以及如何基于这些信息 束对网络管理进行控制，却没有得到很好的解决，工作仅停留在网络监测阶段。 智能化网络不只是解释这些低层信息，而要得出高层的信息和概念，还应基于 8 这唑高层的信息概念对网络进行管理和控制。同样，智能化网管的推理能力也 很重要，它能够根据已有的不很完全、不很精确的信息来作出对网络的判断。 如在故障管理中，诱发一一个事件产生的原因是多样的，而一个故障的产生往往 又会以多种形式表现出来”“。此时智能化网管应有能力处理这些带有模糊性的 问题。 1 5 本文的课题目标 本文旨在研究智能化网络管理的相关理论和技术，并针对网管 大功能域 中的重要领域一故障管理，进行了深入的研究。对故障源定位、故障原因诊断 以及提出建议相应的修复和维护措施等过程中相应智能化技术的应用，进行 ，详细的分析，并提出了设计方案。该方案充分利用不同智能故障诊断技术的 优势丑：补在一定程度上克服了现有故障诊断技术存在的局限性，改善了故障 管理系统的性能。 硕士学位论文 u s t e r sr i i e s i s 第二章智能故障管理 故障诊断是故障管理的核心，要实现故障管理的智能化，首先要以智能化 的故障诊断为基础。本章讨论了智能故障诊断技术的研究现状和存在的问题， 提出了本文的解决方案。 2 1 故障管理与故障诊断 2 1 1 故障管理 网络故障管理又称失效管理，是指网络中某个组成部分失效时，网络 管理系统能迅速找到故障源并及时排除故障的能力，它是网络管理中最基本 的功能之1 ，其管理过程如图2 1 所示。其有效与否和功能强弱直接关系到 被管理嘲络的可用性( a v a i l a b i l i t y ) 和可靠性( r e l i a b i l i t y ) 。故障管理般包括 敞障的发现、故障的标识和故障的修复：i 个步骤i4 ，要功能概括如下： 故障的检测：检测偏离正常行为的问题状态发生以及标识其性质； 故障的诊断：确定故障检测阶段所发现问题的根本原因( r o o t c a u s e ) ； 故障的修复：根据识别出的故障原因，自动地或手工地对网络进行控 制操作，恢复网络的丁f 常运行。 图2 1 故障管理流程图 1 0 2 1 2 故障诊断 在网络故障管理的三个步骤中，核心和难点在于故障诊断，由于故障具 有传播性，单个故障会产生大量的网络告警，在多个故障同时发生时，情况 变得更加复杂。故障诊断就是要在故障产q 寸，给f h 故障源的准确位置，并 对该故障源的故障产生原因进行进一步的诊断。因此，故障诊断又包括故障 定位和故障原因渗断两个阶段。 故障定位：对大量告警事件进行关联，分离出真正的故障源。 敞障原因诊断：判断故障的性质及严重程度，确定导致故障产生的软、 硬件错误，并提出建议相应的修复和维护措施。 将人工智能技术引入其中，进行自动故障定位和故障原因诊断，是实现 智能化的故障诊断的前提和基础。 2 2 智能故障诊断技术的研究现状 2 2 1 现有智能故障诊断技术 从国内外相应参考文献来看，网络管理智能化的研究丌始j 二8 0 年代术9 ( ) ：代初，至今已有一定的发展历史。由于承载的业务增多，各种新型网络应 用对网络服务可靠性的要求也越来越高，故障排除时间也要求越来越短，所 以人上智能技术在故障诊断领域的引入最早”。目前用于网络故障渗断的人 一r 智能方法主要有：基于专家系统的故障诊断方法”、基于神经网络的故障 渗断方法”“和基于模糊神经网络的故障诊断方法”。 基于专家系统的故障诊断方法 专家系统是人工智能领域中最活跃的一个分支，它已广泛的应用于过程 监测系统。该方法不依赖于系统的数学模型，而是根据人们长期的实践经验 和大量的故障信息知识，设计出一套智能计算机程序。以此束解决复杂系统 的故障诊断问题。在故障检测诊断专家系统的知识库中，存储了某个对象的 故障征兆、故障模式、故障成因、处理意见等内容，这是检测诊断的基础”。 故障检测专家系统的推理机构是一个特定的计算机程序，它在一定的推理机 制指导f ，根据用户的信息，运用知识进行推理判断。 图2 2 给出了故障检测诊断专家系统的结构框图，人机接口把被控对象 的彳关数据送入动念数据库，推理机根据知识库中对数据库的实时数据进行 推理，得出系统是否发生故障，发 j - f t 。么故障，然后对诊断结果进行评价和 决策，一故障排除后，再重复上述过程。 图2 2 基于专家系统的故障诊断 基于神经网络的故障诊断方法 由于神经网络具有处理复杂多模式及进行联想、推测和记忆的功能，它 非常适合应用于故障诊断系统。它具有自组织自学习能力，能克服传统专家 系统当启发式舰则未考虑到时就无法工作的缺陷。因此，将神经网络应用j 二 过程监测系统已成为一个非常活跃的研究领域。o 。 用神经网络进行控制系统故障诊断。有以下两种方式： ( 1 ) 离线诊断。它将学习和使用过程分开。当控制系统出现故障时，把故 障信息或现象输入神经网络，经过自组织、自学习，输出合理的解决办法。 ( 2 ) 在线诊断。将神经网络与控制系统直接相连，让其自动获得故障信息 及现象，然后由神经网络内部自组织、自学习，使学习过程和使用过程合二 为。这种学习过程是“无导师学习”。图2 3 给出了血种常用于故障诊断的 神暨网络模耍! 种类。 图2 3 血种常用于故障诊断的神经网络模型 基于模糊神经网络的故障诊断方法 在诊断领域中，模糊逻辑理论和神经网络技术1 1 j ：知识表示、知识存贮、 推 里速度等方匝起到了很大作用。近年来，基于神经网络的模糊控制逐渐成 为研究的热点，原因在于二者之间的互补、关联性”“。模糊控制和神经网络 各【j 优势在于：模糊控制易于获得 i 语言表达的专家知识，能有效地控制难 以建立精确模型而凭经验可控制的系统，而神经网络则由于其仿生特性更能 有效利用系统本身的信息，并能映射任意函数关系，具有并行处理和自学爿 能力，容错能力也很强。二者问的具体异同如表2 1 所示。 表2 1 神经网络与模糊逻辑的比较 神经网络挨糊逻辑 蛆成神经元互逶馔糊逻辑候糊规则 魄剧关系点与点之间的对应块与块之问的对应 知识荐储万式连接社值规则的方式 如_ i r 表达能力弱强 答错能力强车殳强 学习能力能进行学习不能掣习 帽厦比较较丽 计算摄多 少 匝用用于建t 要惧式识别、估计用于可凭经验处理的焱统 硕士学位论文 m a sj e r si i 正s i s 2 2 2 存在的问题 尽管上述各种智能故障诊断技术各具特色，但仍存在以下不足： 基0 二专家系统的故障诊断方法中，号家系统不能处理那些因网络环境变 化f m 产生的新数掘，已建立的规则不够健全，无法跟随网络的动态变化；不 能从经验中学习，在丌发阶段已经建立的规则无法适应不断变化的网络；对 j ：未经专门训练的网络用户，向专家系统添加规则很困难；随着领域知识的 变化，需要动态添加或删除相应的规则，维护的r 作量较大。 基于神经网络的故障诊断方法也存在着定的局限性：如训练样本获取 比较困难；系统不能发现过去没出现过的故障；另外由于神经网络所学到的 知识是以权重形式分布在网络之中，对诊断结果缺乏解释能力，对用户来说 整个珍断系统相当于一个“黑箱”，不具备透明性。 基_ f 模糊神经网络的故障诊断方法，将模糊逻辑理论和神经网络技术相 结合，在实现上具有一定的复杂性o ”1 。 因此，要实现对实际网络，尤其是复杂网络进行有效的故障诊断，只凭 荦的某种智能化技术将难以完成。 2 3 小结 山上叮知，单一的智能故障渗断技术，已经难以满足复杂网络故障诊断的 全部任务要求。因此，本文将整个故障渗断过程分为故障定位和故障原因珍 断两个阶段。在不同阶段，针对其任务的不同，采用相应不同的人工智能技 忙，提出了一种基于事件关联和数据挖掘的网络故障诊断技术。 第三章事件关联技术 事件关联技术( e v e n tc o r r e l a t i o n ) 是重要的故障定位策略，长期以来一 卣是研究的热点。其基本思想是通过关联多个事件为某 单一概念事件来过 滤不必要的或不相关的事件，为刚络管理员提供事件信息更精简的视图，以 准确、快速的识别故障源。本章将在给出故障、事件和事件关联基本概念的 基础i ，分析比较了目前几种常用事件关联技术，针对它们的不足，提出本 文的事件关联模型。 3 1 故障、事件、事件关联的定义 3 1 1 故障( f a u l t ) 定义：故障也称故障源，即：被管网络及其部件比现硬件或软件j 二的紊乱， 使之不能提供j 下常的服务。 故障按其性质可分为。“： ( 1 ) 硬故障：是指传感器失效、连接中断等问题，一般可通过更换硬件 元器件或调试相关软件以及重新初始化加以解决。 ( 2 ) 软故障：是指由网络拥塞、软件失常、资源耗尽、交换效率下降等 问题引起的故障。 3 1 2 事件( e v e n t ) 定义：事件也称告警，是故障的外在表现。即被管对象出现异常后状态的 改变l 。 事件按其性质可分为连通性事件和性能事件。 ( 1 ) 连通性事件：是指由管理工作站到被管对象的连接失败，设备不再 具有网络连通性，无法与其通信。 ( 2 ) 性能事件：是指该设备的连接仍然存在，而是由于被管对象与故障 硕士学位论文 b , l a s t e p st f e s i s 符理相关的m i b 对象的值超过了预设的闽值而触发的事件。如：过高的i p 数 掘报出错率，可能l 暗示1 p 层协议实体的故障，可通过设置出错率的最大阈值 采触发性能事件，产生告警。对于某些应_ l f ； 而言，网络系统资源性能的降低 实质卜也是种故障。 故障与事件相互联系，故障是原因，事件是结果。告警事件是可以观测 和容易获取的，而故障却通常被掩盖在大量告警事件背后。 3 j 3 事件关联( e v e n tc o r r e l a t i o n ) 定义：事件关联综合被管网元在语义：的相关性，通过对告警信息在时 间( t e m p o r a l ) 和空间( s p a t i a l ) 上进行相关处理，从而减少告警消息的数目，有助 j 二发现引起故障的真f 原因【3 6 j 。 舆型的告警关联的方法有f 3 7 】： ( 1 ) 压缩：即视多次发生的相同告警为一次同一类型的告警。 形式化描述为： f a ，a ，a 1j a ( 2 ) 过滤：即忽略掉不满足给定条件的告警。形式化描述为： 【a ，p ( a ) h 】j 中，p ( a ) 中h 表明告警a 不满足给定条件h ( 3 ) 抑制：在特定的上下文中对某些告警进行抑制如在级别高的锚 警发生时忽略级别低的告警。形式化描述为： a ，c 】j 中，c 为给定的上f 文环境 ( 4 ) 计数：置换指定数目相同的重复告警为个新类型告警。 形式化描述为：【n xa 】j b ( 5 ) 概括：通过它的超类来引用该告警。 形式化描述为：【a ，a c b 】j b 6 硕士学位论文 m a s i e r s + f t 正s i s ( 6 ) 细化：用更加具体的子类告警束置换某告警。 形式化描述为：【a ，a 3 b 】j b 3 。2 事件关联的目标 由于被管理刚元( n e ) 物理上和逻辑上具有相关性，单一的故障往往会裆 相关的网元中产生大量的关联告警，使得故障的辨识和定位变得困难。例如： 当网络中某个交换机出现故障时，这台交换机及与之相连的网络设备都会失 去与网络管理者的联系。当网络管理者轮询这些设备时，它们都不会响应， 这将导致大量关联告警的产生。在多个故障并发时，情况变得更加复杂。m 络管理员面对大量的告警信息往往很难从中找出故障的真正原因，从而无法 快速实施故障修复和障碍排除。就告警信息的数量丽者，可以说太多的信息 与太少的信息在效果上是一样的o ”1 。 目前的网络管理系统通过告警过滤( a l a r mf i l t e r i n g ) 机制或简单地将人量 的告警消息重定向到打印机或数据库等方法来减少最示在网管：【作站：告警 消息的数日。而事件关联( 也称告警相关，e v e n tc o r r e l a t i o n ) 处理则是。种 全新的故障管理策略，为故障诊断提供了有效的解决方案。其目标就是要通 过关联多个事件为某一单一概念事件来过滤掉刁；必要或不相干的事件，为州 络管理员提供事件信息更精简的视图，以准确、快速的识别低层故障的根本 原因。 3 3 事件关联技术 3 3 j 事件关联技术的分类 事件关联自提出以来，得到了极大的发展，国内外研究机构已先后提出 多种事件关联技术。它们涉及了计算机科学的不同研究领域，包括：人上智 能、图论、神经网络、信息论以及自动控制论，如图3 1 所示，事件关联技术 主要包括以下三大类型： 硕士学位论文 m a s l e r st l t e s i s 图3 1 事件关联技术的分类 1 人工智能技术( a r t i f i c i a li n t e l l i g e n c et e c h n i q u e s ，a i ) 人工智能是门众多学科广泛交叉的前沿科学，它的目标在j ：石j f 究用机 器束模仿和执行人脑的某些智能功能，并丌发楣关理论和技术。其在事件关 联中的应用主要有： 基j 二事例的推理( c a s e b a s e dr e a s o n i n g ，c b r ) 基j 二规则的推理( r u l e b a s e dr e a s o n i n g ，r b r ) 基于模型的推理( m o d e l b a s e dr e a s o n i n g ，m b r ) 神经网络( n e u r a ln e t w o r k s ) 决策树( d e c i s i o nt r e e s ) 它们的原理都是利用告警事件本身所包含信息的因果关系以及网络的拓 扑结构等知识进行推理，以确定故障发生的真f 根源。 2 模型遍历技术( m o d e l t r a v e r s i n gt e c h n i q u e s ) 模型遍历技术。”“，采用形式化描述网络的方法，清晰的标l e t 网络实 奉问的连接关系，而故障通常就是沿着这种连接在网络中进行传播。因此， 1 8 硕士学位论文 m a s q e r s ，i i e s i s 对其进行有效的形式化描述，可以协助故障定位过程区分哪些告警为关联告 警，并找到真正的故障源。模型遍历技术只有当被管网元f 、日j 的连接可以n i 确 获驳，并能被图形化描述的情况下，方能轻松实现。但由于该技术不能描述 网元问的逻辑连接，因此很少单独使用。 3 故障传播模型( f a u l tp r o p a g a t i o nm o d e l s ) 故障传播模型的核心是通过优先权指定来确定网络实体问的告警关联关 系，基于这种信息，系统执行某种关联算法，以分离出所有告警中的真正故障 源，并返回一组故障假设。关联算法好坏是以其返凹故障假设的最少个数作为 的评价标准。目前，基于这种故障传播模型已有多种技术提出，主要有：代码 书技术( c o d e b o o kt e c h n i q u e s ) 、贝叶斯网络( b a y e s i a nn e t w o r k ) 、依赖图 ( d e p e n d e n c yg r a p h s ) 、因果图( c a u s a l i t yg r a p h s ) 以及短语结构文法( p h r a s e s t r u c t u r e dg r a m m a r s ) 。 3 3 2 常用事件关联技术的分析与比较 在上述三种类型的事件关联技术中，常用的主要有以下几种： 1 基于规则的推理( r b r ) r b r 是最早出现的一种事件关联技术，它将领域知识以规则集的形式表 1 i ，再将网络当前状态与规则的条件部分进行比较，以确定是否采用该规则。 如图3 2 所示，基于规则的推理系统一般由工作存储器( w o r k i n g m e m o r y ) 、推理引擎( i n f e r e n c ee n g i n e ) 和知识库( k n o w l e d g eb a s e ) 组成。 ：个组成部分所处的三个层次分别代表了数据层、控制层和知识层1 4 引。工作 存储器通过具体的网络管理协议，如s n m p 、c m i p ，收集被监视网络的各种 信息，其中包括网络拓扑信息和被监视网元的状态信息。当网络中发生故障 时，工作存储器通过分析这些信息识别出网络进入错误状态。知识库中包含 从人类领域专家那里得到的专家知识。知识库有两个功能：( 1 ) 尽可能地确 定网络中到底发生了什么问题：( 2 ) 当某一特定问题发生时，指出系统所要 执行的动作。知识库中的专家知识是基于规则的，即所有知识都采用“i f t h e n ” 硕士学位论文 m a s l t r si i 匝s i s 或者“c o n d i t i o n a c t i o n ”规则集的形式。与知识库合作的推理引擎将目前网络 的状态与知识库中规则的条件部分进行比较，以决定该规则是否被采用。! j 条件满足时，输出规则的后项“1 。在最简单的情况卜 ，一条规则就可以判断 m 网络故障的根源。实际上这种情况十分少见，多数时候推理引擎需要将当 前得到的结论再作为条件在知识库中进行多次推理，最终得出故障结论。 图3 2r b r 系统工作原理图 f 面为某系统在诊断t c p 连接故障中所用到的条前向链产生式规则。 ( r e m o t e c o n n e c t i o n f a i l u r e ? l o c a l h o s t ? r e m o t e - h o s t ) 一 ( a s