（计算机系统结构专业论文）数据挖掘在网络故障诊断中的应用研究.pdf

重庆大学硕士学位论文中文摘要 摘要 计算机网络已经深入到社会的各个领域，其应用范围越来越广。计算机网络 可靠性和可用性一直以来都是人们比较关心的问题，特别是在军事、金融、政府、 高科技等领域应用时更是如此。提高网络可靠性的一个主要方法就是及时渗断出 网络工作时出现故障的位置以及具体原因，以便于网络管理人员尽快修复故障。 简单的网络监视手段诊断能力较弱，网络故障诊断专家系统在实际中应用较为广 泛，但是又存在知识获取“瓶颈”和知识难以维护等不足。数据挖掘技术能够从 大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其 中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。将数据挖掘技 术应用于计算机网络故障诊断能够提高网络管理的可靠性、稳定性、灵活性、故 障渗断速度及正确性。实现网络故障自动诊断、预测和维护，并保证网络具有高 服务质量和高可靠性。 本论文通过分析传统的网络故障诊断方法的不足，指出专家系统在网络故障 诊断中的重要地位以及存在的不足。通过分析数据挖掘技术的特点，提出采用数 据挖掘技术从网络告警及性能数据中提取潜在的信息用于建立和更新专家系统知 识库的方法。 以往的研究主要针对各种网络设备出现的故障，研究的重点在于找出这些故 障之间的关联关系以及定位故障设备。在计算机网络故障中，设备本身的故障所 占比例较小，而由各种网络病毒或网络攻击等异常应用引起的如网络时延较大、 冲突较多、掉包率较严重等“软故障”所占的比例较大，因此本论文重点研究计 算机网络中除设备本身“硬故障”以外的其它故障的诊断。研究网络性能数据的 选取，网络告警及性能数据的采集和预处理，数据挖掘技术的选择以及规则的描 述等。 作者把该方法运用到具体的校园网环境中，通过实验测试，得到了相应的关 联规则，通过分析这些关联规则，我们得出了各种网络应用与网络性能之f 吲的一 些关联关系，找出了某些网络故障的潜在的原因。这些是传统网络故障诊断方法 难以实现的。这也证明了本论文研究的可行性、正确性以及实用意义。 关键词：网络管理，故障诊断，数据挖掘，关联规则 重庆大学硕士学位论文 英文摘要 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rn e t w o r k ，t h ea p p l i c a t i o no fc o m p u t e rn e t w o r k i sw i d e ra n dw i d e r t h er e l i a b i l i t ya n da v a i l a b i l i t yo ft h ec o m p u t e rn e t w o r ka r eb e c o n c e m e da ta l lt h et i m e ，e s p e c i a l l yi nm i l i t a r y , f i n a n c e ，g o v e r n m e n ta n dh i g h t e c hf i e l d o n eo ft h ef e a s i b l ea p p r o a c h e st oe n h a n c i n gt h en e t w o r kr e l i a b i l i t yi st od e t e c ta n d l o c a t et h ef a u l ti nt h et i m eb e c a u s eo n c et h ef a i l i n gs o u r c ei sl o c a t e dn e t w o r k a d m i n i s t r a t o rc a nr e p a i rt h ef a u l ta ss o o na sp o s s i b l e t h ed i a g n o s t i ca b i l i t yo fs i m p l y n e t w o r ks c o u ti sv e r yp o o r t h ea p p l i c a t i o no fn e t w o r kf a u l td i a g n o s i se x p e r ts y s t e mi s w i d e l y , b u ti t sk n o w l e d g ei s d i f f i c u l tt oo b t a i n d a t am i n i n gc a np i c k u pt h eu s e f u l k n o w l e d g ef r o mt h em a s s ，i n c o m p l e t e ，i l l e g i b l ea n dr a n d o md a t a u s i n gd a t am i n i n gi n t h ec o m p u t e rn e t w o r kf a u l td i a g n o s ec a ni m p r o v et h er e l i a b i l i t y , s t a b i l i t ya n da g i l i t yo f n e t w o r ka d m i n i s t r a t ea n ds p e e do ff a u l td i a g n o s i s b yu s i n gd a t am i n i n g ，w ec a n i m p l e m e n ta u t o d i a g n o s eo fn e t w o r kf a u l ta n dg u a r a n t e eh i g hq u a l i t yo fs e r v i c ea n d r e l i a b i l i t y a f t e ra n a l y z i n gt h et r a d i t i o n a lw a y so fc o m p u t e rn e t w o r kf a u l td i a g n o s e ，t h et h e s i s p r o p o s e san e ww a yo fb u i l da n du p d a t et h en e t w o r kf a u l td i a g n o s ee x p e r ts y s t e m s r e p o s i t o r y t h ek n o w l e d g ew a sm i n e df r o mn e t w o r ka l a r ma n dp e r f o r m a n c ed a t e t h ep a s tr e s e a r c h e sa r ef o c u s e do nt h ef a i l u r e so fn e t w o r kd e v i c e ；t h e yr e s e a r c ht h e r e l a t i o n s h i p b e t w e e nt h e s ef a i l u r e sa n dl o c a t et h ef a u l td e v i c e b u ti n c o m p u t e r n e t w o r k sf a u l t ，t h ep r o p o r t i o no fn e t w o r kd e v i c ei so nt h es m a l ls i d ew h i l eo t h e rf a u l t c a u s e db yn e t w o r kv i r u sa n dn e t w o r ka t t a c ki so nt h el a r g es i d e s ot h et h e s i si sf o c u s e d o nt h ef a u l tb e s i d et h en e t w o r kd e v i c e w er e s e a r c hh o wt os e l e c tt h en e t w o r k p e r f o r m a n c ep a r a m e t e r s ，h o wt oc o l l e c tn e t w o r ka l a r m sa n dp e r f o r m a n c ep a r a m e t e r s h o wt os e i e c tt h ed a t am i n i n gt e c h n i q u ea n dh o wt od e s c f i p tt h ea s s o c i a t er u l e s b yi n t r o d u c i n gt h i sw a yi n t oc a m p u sn e t w o r k ，t h ea u t h o rg e t sas e to fr u l e s a f t e r a n a l y z i n gt h e s ea s s o c i a t er u l e s ，w ef o u n dt h er e l a t i o n s h i pb e t w e e n n e t w o r ka p p l i c a t i o n a n dp e r f o r m a n c ea n dt h er e a s o n so fs o m en e t w o r kf a u l t t h e s ea r ed i f f i c u l tt oa c h i e v e b yt r a d i t i o n a lw a y s s ot h er e s e a r c ho f t h i st h e s i si sf e a s i b l e ，c o r r e c ta n dp r a c t i c a b l e ， k e y w o r d s ： n e t w o r ka d m i n i s t r a t e ，f a u l td i a g n o s e ，d a t am i n i n g ，a s s o c i a t er u l e 重庆大学硕士学位论文 1 绪论 1 1 网络故障诊断的意义 1 绪言 信息时代是二十一世纪社会的主要标志，社会进步、经济发展都与信息密切相 关，而处理和应用信息的重要手段就是计算机网络。计算机网络不同于传统的数 据通信网，它是计算机技术、通信技术、多媒体技术、光电技术等高新技术相结 合的产物。由计算机网络处理的信息也不局限于原来的数字信息，还包含各种文 档、表格、语言、音视频、图形和图像等信息。所以，计算机网络已经深入到社 会的各个领域，其应用范围越来越广【1 1j 从计算机网络出现时起，它的可靠性和可用性一直是人们关心的问题，特别是 在军事、金融、政府、高科技等领域应用时更是如此。随着计算机网络( 尤其是 i n t e m e v i n t r a n e t ) 的迅速发展和广泛应用，促使网络规模不断扩大，网络月益复杂 和异构化，各种新的网络应用逐渐发展起来，如实时的网络视频会议、现代远程 教育、远程医疗等等，使得对网络的可靠性和可用性等要求也越来越高。与此同 时，网络应用和网络用户的增多使得各种网络病毒以及网络攻击事件也随之增多 ( 目前的网络故障大部分都是由网络病毒或恶意攻击引起的) ，这也加大了对计算 机网络的可靠运行的威胁。提高计算机及网络设备的可靠性，可通过采用容错技 术、设备冗余的方法解决，如网络中的各个结点机( 主机、终端、通信设备、功 能模块等) 采用具有冗余能力的高可靠性设备、备份链路等。这些都可以提高网 络的可靠性，减小故障率，但是相应也增加了网络的成本，有一定的局限性” 。另 一种提高网络可靠性的方法就是增强网络管理功能，如安装网络监控、病毒网关、 防火墙、入侵检测系统等等。按照国际标准化组织( i s o ) 的定义，网络管理可分 为故障管理、性能管理、配置管理、安全管理以及计费管理等功能域，网络管理 的目标是最大限度地增加网络的可用时间，提高网络设备利用率、网络性能、服 务质量和安全性，减少网络故障，缩短网络失效时间，简化多厂商混合网络环境 下的管理和控制网络运行成本，提供网络的长期规划和最大限度地提高商业利润。 网络故障诊断、预测和维护是网络系统正常运行的基本保证，也是网络管理任务 中最为复杂的一部分。如何有效地管理现代大规模网络，使之高效、可靠、安全 地运行，是网络管理面临的紧迫问题f 2 , 3 1 。研究网络故障诊断方法，提高故障诊断 速度及正确性无疑具有较重大的理论及实用意义，也是当前和今后在计算机科学 领域的难点和热点研究课题之一。 重庆大学硕士学位论文 1 2 网络故障诊断的主要方法及研究进展 网络故障管理一般分为三个步骤：故障检测、故障诊断、故障恢复。前两个 步骤通常又被称为故障定位或故障诊断过程。首先是对可观察的网络失效征兆进 行关联并产生各种故障假设( 故障识别) ，然后对每一个故障假设进行测试以准确 定位故障根源。网络设备一般都具有感知异常情况的能力，当设备发现自身或网 络中的不正常现象时，它采用告警的方式报告给网管中心。因此，故障检测一般 可由网络中的设备或者简单的程序来完成。故障恢复是根据识别出的故障原因， 自动地或手工地对网络进行控制操作，恢复网络的正常运行，这一步工作也相对 较容易。但随着网络规模的不断扩大以及网络速度的增长，网络故障诊断变得越 来越困难，因为大部分的网络故障告警只包含3 个方面的信息：w h o ，w h a t ，w h e n 。 其中，w h o 是发出告警对象的名字；w h a t 是故障的征兆：w 1 2 1 t ：1 1 是检测到故障的 时间。而对于故障诊断至关重要的w h e r e 和w h y 信息却没有提供。另外，由于网 络传输问题，告警中可能包含有噪声，如告警丢失、延迟、重复和虚假的告警等， 这些都加大了网络故障诊断的难度。网络故障诊断主要有以下三种方式： 1 2 1 简单网络监视手段 早期的网络故障管理一般采用简单的网络监视手段。网络监视包括收集有关 网络状态的信息，将信息综合为关于网络运行状况的表征，并以一种直观和可理 解的方示显示给网络管理人员。网络监视可分为两种：基于时间驱动和监视和基 于事件驱动的监视。前者是指周期性地轮询得到网络状态的快照，后者则是非同 步收到某些“有意义”事件的通告。轮询m i b 信息库是网络故障诊断问题最基本 的方法。最简单的故障管理系统并不提供m i b 信息的分析，而是对m i b 进行基本 的搜索报错。系统管理员可以为每个可能指示故障的m i b 库对象规定门限值( 上 限或下限) 。当故障管理系统轮询到某个管理代理上的某个m i b 对象值越过了门限 值，则向管理员报告一个故障信息。这种故障报告仅仅给出了在哪个m i b ( i p 地 址) 的哪个m i b 对象越界了，而不对这种越界情况作任何分析处理。把剩余的管 理工作( 分析错误原因，修复故障) 的任务全部交给管理员来完成。这种故障管 理系统实现成本比较低，管理能力比较弱，但对管理员能力要求则比较高。随着 网络复杂性和网络规模的不断增加，这种方法显然己不能满足现代网络管理的要 求。 1 2 2 智能故障诊断方法 近几年来，国内外许多学者纷纷把人工智能( a i ) 技术特别是专家系统方法 2 重庆大学硕士学位论文绪论 引入到现代网络管理中，尤其是网络自动故障诊断领域。 人工智能( a i ) 技术特别是专家系统方法引入到通信网络自动故障诊断领域， 主要采用贝叶斯网络、似然逻辑等技术。应用概率方法和机器学习的网络故障识 别方法在文献 4 1 中被研究，文献中讨论了一种管理层次式网络非确定性故障组 合推理机制；网络主机层故障诊断在文献”】中讨论。采用贝叶斯网络模型的l l n 故障识别问题在1 7 1 中讨论；文献 s l 中应用一种最大后续性方法对具有动态路由的 网络进行失效链路的识别。 基于人工智能专家系统的网络管理模型主要采用基于规则( r b r ：r u l e b a s e d r e a s o n i n g ) 方法、基于事例的推理( c b r ：c a s e b a s e dr e a s o n i n g ) 方法等。最常 用的自动网络管理平台采用基于规则的专家系统模型，将局部性知识用一组规则 来表示，用网络当前状态的“事实”或“知识”与知识库中的规则进行匹配。 专家系统已成功的应用在包括维护、故障及性能管理的通信领域中。 a u t o m a t e dc a b l ee x p e r t i s e ( a c e ) 系统，g t e 的中央办公维护输出分析和建议系 统( c o m p a s s ) 用于鉴别电话交换故障。a t & t 的网络管理专家系统( n e m e s y s ) 提供了网络业务趋势的实时监视和控制。s i n e r g i a 是意大利电信公司开发的专家系 统，它用于隔离和诊断故障，对网络进行控制和维护。然而，传统专家系统仅适 用于有限的、易于理解的故障排除任务。它不具备学习能力、不能排除新的故障、 难于跟上迅速变化的动态网络环境。随着网络拓扑、组成部件以及使用情况随时 间的变化，专家系统的知识具有“脆弱性”，知识将很快变成过期的和无效的；知 识工程师从领域专家处获取知识是非常复杂的个人到个人之间的交互过程，具有 很强的个性和随机性，不可能有统一的方法。因此，知识获取“瓶颈”、知识难以 维护等问题限制了人工智能技术和传统专家系统在网络智能管理中的进一步应 用。 1 2 3 知识发现及数据挖掘理论的引入 传统的网络管理技术无论从功能上还是从效率上以及网络管理成本上均无法 满足对大型复杂网络系统的管理，这些因素使得在现代网络管理中必须引入有效 的信息处理技术基于知识发现的网管信息处理技术。作为一门新兴的自动信 息提取技术，数据库中的知识发现( k d d ) 和数据挖掘( d a t am i n i n g ) 技术的出 现为自动和智能地把海量原始数据转化为有用的信息和知识提供了手段，从而可 望克服传统专家系统“知识获取”瓶颈的不足【9 】。将知识发现和数据挖掘技术引 入到现代网络管理，目的是提取出隐含的海量网管数据库中先前未知的却有潜在 价值的信息和模式，作出预测性分析，从而实现网络故障自动诊断、预测和维护， 并保证网络具有高服务质量和高可靠性。 重庆大学硕士学位论文 l 绪论 国外在这方面的研究起步较早，它们有网络故障管理专家系统的商业化产品， 在数据挖掘应用于网络故障诊断方面，芬兰h e l s i n k i 大学与一家远程通信设备制造 厂合作的t a s a 系统，它主要用于通信网络的故障定位检测和严重故障的预测等 任务。但将数据挖掘技术应用于计算机网络故障诊断的研究相对较少，也没有形 成实用的系统。 在国内，针对各种网络故障诊断技术进行了广泛的研究。但大多集中在研究 故障诊断相关算法、基于数据库的专家系统构建等方面。在数据挖掘方面，国内 的研究也进行了相当长的时间，而且也有一些相关的产品，如复旦大学的复旦德 门挖掘系统。但是国内对于数据挖掘的研究多用于商业领域，对于应用于计算机 网络故障诊断的研究相当少，大多为一些研究性论文。 1 2 4 有待解决的问题 网络故障诊断的主要任务是及时发现和排除网络故障，包括监督维护、故障 恢复，以及提供自愈功能的预测维护等的管理工作。以往的研究主要集中在通信 网络中，研究计算机网络故障诊断相对较少。通信网络规模庞大，网络设备种类 和数目众多，每个设备在运行中都有可能产生故障，而这些故障都会以某种形式 的告警体现出来，这些告警有关密切的相关性，同一故障可能引起不同形式的多 个告警。以往的研究主要致力于发现这些设备告警蕴含的知识，以帮助确定故障 的真j 下来源和原因。与通信网络相比，计算机网络规模相对较小，设备数量较少， 一个大中型企业网中主要网络设备只有几台或者数十台，各种“硬故障”( 如网络 设备掉电、网络接口坏、接口连线断掉等) 产生的机率较少。但是由于计算机网 络中的各种应用相对比较复杂，各种网络病毒和网络攻击事件越来越多，导致网 络中产生大量的“软故障”( 如网络流量异常，接口碰撞率异常、接口错误率异常、 网络应用异常等) ，而对于“软故障”的诊断相对于“硬故障”来说方法有所区别， 而且难度更高。以往的研究主要是组合来自于基于规则系统的不同领域专家的知 识来进行珍断测试和故障恢复。但是随着网络结构及网络应用的不断变化，专家 系统必然存在着知识获取瓶颈、自学习能力弱的缺点。数据挖掘技术能够提取出 隐含的海量网管数据库中先前未知的却有潜在价值的信息和模式。将数据挖掘技 术和网络故障诊断专家系统结合起来，采用数据挖掘技术从网管数据库中挖掘出 有价值的信息和模式来建立或更新故障诊断专家系统的知识库。这对于提高网络 管理的可靠性、稳定性、及灵活性：提高计算机网络故障诊断速度及正确性：减 少对特定人员的依赖等方面具有十分重要的意义。但是网管信息多种多样，数据 谴趣撼薄望b 繇复杂，哪些礴络管理信怠s 网络故障有关，选择伺种数据挖掘技术 用于挖掘隐含知识是有待解决并值得深入探讨的问题。 4 重庆大学硕士学位论文 1 绪论 1 3 本论文研究的主要内容 鉴于传统的网络故障诊断方法存在的不足，以及故障诊断的内容和目标不同， 本论文重点研究除网络设备本身故障之外的故障即“软故障”，主要研究利用数据 挖掘技术发现隐含在大量原始网管信息背后的有意义的知识、规则，将其应用于 计算机网络故障诊断专家系统知识库。以提高网络管理的可靠性、稳定性、灵活 性、故障诊断速度及正确性。主要研究内容包括： ( 1 ) 对现有计算机网络故障诊断的主要方法进行分析比较，指出网络故障诊 断专家系统的理论及实用价值，分析传统网络故障诊断专家系统知识库存在的不 足，提出基于数据挖掘技术建立和更新故障诊断专家系统知识库的方法； ( 2 ) 分析研究数据挖掘相关技术及其在计算机网络故障诊断中应用： f3 ) 分析研究网络告警及m i b 对象中哪些数据与网络故障相关，如何获取这 些相关数据，以及如何对这些数据进行预处理； ( 4 ) 分析知识发现的目的，指出关联规则挖掘技术在本论文中的适用性，构 造一个基于告警数据库及网络性能数据的数据挖掘模型，利用关联规则挖掘技术， 挖掘其中的故障知识； ( 5 ) 在校园计算机网络环境下，实践告警及性能数据中的关联规则挖掘，并 验证其正确性和有效性。 重庆大学硕士学位论文 2 网络管理一般模型与故障诊断专塞系笾 2 网络管理一般模型与故障诊断专家系统 2 1 网络管理一般模型及故障管理问题 2 1 1 网络管理的定义 网络管理主要是关于规划、监督、设计、和控制网络资源的使用和网络的各 种活动。国际标准化组织( i s o ) 定义了网络管理的五大功能域：故障管理、配置 管理、安全管理、性能管理和计费管理。 故障管理是网络管理中最基本的功能之一。它用于检测、定位、排除网络硬 件和软件中的故障。当出现故障时，该功能确认故障，并常常要记录故障，找出 故障位置并尽可能排除这些故障。 配置管理的功能是掌握和控制互连网络的状态。它初始化网络，并配置网络， 以使其提供网络服务。同时它还随时检测互连网络内各设备的状态及其连接关系。 性能管理考虑的是具体网络的利用情况。配置管理考虑的是互连网运行是否 正常，而性能管理考虑的则是具体网络的利用情况。性能管理是网络管理人员能 够监视网络运行的关键参数，如吞吐率、响应时间、网络的一般可用度，并指出 网络中哪些性能可以改善以及如何改善。 安全管理是对网络资源及其重要信息访问的约束和控制，包括验证网络用户 的访问权限和优先级、检测和记录未授权用户企图进行的不应的操作。 计费管理的功能是度量各个端用户和应用程序对网络资源的使用情况。根据 连接时间、连接跨越网络的长度、用户名和其他的参数，采用与具体实现有关的 各种算法来计算对网络资源的使用，使用情况一般都以日志方式记录到帐务数据 库中。计费管理功能提供了一种计算一个特定网络或网段运行成本的手段。 2 1 2 网络管理一般模型 基于网络技术的迫切需要，近几年来，许多国际化组织和研究机构致力于网 络管理标准的研究和制定。其中，最具代表性的是由i e t f 提出的基于简单网络管 理协议( s n m p ) 的t c p i p 互联网( i n t e r n e t ) 管理体系模型和由i s o 提出的基于 公共管理信息协议( c m i p ) 的o s i 网络管理体系模型。s n m p 是适用于互连网络 设备的网络管理框架，首先考虑的是t c p i p 协议集。c m i p 是为运行在o s i 协议 集上的开放系统提供一个网络管理框架。目前，普遍认为的网络管理模型如图2 1 所示。 6 重庆大学硕士学位论文 2 网络管理一般模型与故障诊断专家系统 管理应用 ( a p p l i c a t i o n ) 管理应用接口 管理进程 ( m a n a g e r ) 重垄佥全 管理协议 管理响应及异步事件报告 管理代理 ( a g e n t ) m i b 存取接口 管理信息库( m i b ) 管理对象 ( m a n a g e do b j e c t ) 图2 1 网络管理模型 f i g2 1m o d e lo f n e t w o r km a n a g e 网络管理系统从逻辑上由管理进程( m a n a g e r ) 、管理代理( a g e n t ) 、管理对 象( m a n a g e do b j e c t ) 、管理协议及管理应用等组成。网络中所有被管理的资源， 包括设备、软件、以及网络连接等物理和逻辑上的资源都被抽象成被管对象，并 且组成层次化的管理信息库( m i b ) 。管理代理a g e n t 是一种软件，在被管理的设 备( 也称网络实体或子系统) 中运行，负责执行管理设备收集信息的任务，它直 接操作本地m i b 。如果需要，它可以改变m i b 的值并将相应数据传回管理进程。 代理也负责将管理对象发出的异常事件报告给管理进程。管理进程m a n a g e r 是一 个或一组软件程序，一般运行在网络管理站( 或网络管理中心) 的主机上，它可 以在网络管理协议( 如s n m p ) 的支持下命令管理代理执行各种管理操作。管理 信息库m i b 是个概念上的数据库，由管理对象组成，每个管理代理管理m i b 中 属于本地的管理对象，各管理代理控制的管理对象共同构成全网的管理信息库。 管理进程与管理代理间的双向信息由管理协议来支持。 2 1 3 网络故障管理功能及实现 网络故障管理是对网络系统非正常操作的操作管理。它主要包括对网络硬件、 软件、电源的故障和通信链路进行管理。它是动态地维护网络服务等级所需要活 动的集合。这些活动通过迅速指出问题及性能下降、在必要时启动控制功能：这 些功能通过诊断、修理、测试、操作外围和备份来保证网络软件的完整性、正确 性和可靠性以及硬件电路的正确性、可靠性和电磁兼容性。这里，故障可以定义 7 重庆大学硕士学位论文 2 网络管理一般模型与故障诊断专家系统 为那些引起系统以非正常方式操作的事件，可分为：1 1 网络配置错误；2 ) 网络硬 件问题，包括网卡故障、集线器故障、交换机故障、网络传输介质故障、路由器 转发故障等；3 ) 网络软件异常，如路由或交换软件故障( b u g ) 、路由表刷新异常、 网络激活应用软件异常等；4 ) 网络流量异常，例如广播风暴等。故障管理的主要 内容有：1 ) 故障检测；维护和检查差错日志，检查事件的发生率看是否己( 或将) 成为故障，接收故障报告；2 ) 故障诊断：寻找故障发生的原因，可执行诊断测试， 以寻找故障发生的准确位置；3 ) 故障恢复：将故障点从正常系统中隔离出去，并 根据故障原因进行修复。总之，故障管理功能应该为操作决策提供依据，以确保 网络的可用性。图2 2 给出了故障管理的过程。 图2 2 网络故障管理过程 f i g2 2p r o c e s so f n e t w o r kf a u l tm a n a g e 8 重庆大学硕士学位论文2 网络管理一般模型与故障诊断专家系统 网络状态监视包括分层显示配置和状态图，它提供重大网络元索全时间的状 态显示，允许用户放大有关部分以检查和孤立问题并提供实时的业务状态显示。 监视的信息被发送到网管系统中，它负责处理消息、事件和告警。故障清单中保 存有己知的故障及其诊断和恢复信息，当检测到故障后首先查找故障清单，看是 否存在有匹配项，如果有匹配项，则直接从清单中调取相应的诊断结果及恢复信 息进行处理即可。如果故障清单中没有匹配项，则需要进行故障诊断，通过诊断， 确定可能的问题所在，执行相应的故障恢复措施；执行完恢复措施后，继续对网 络进行监视和测试，看故障是否依然存在，如果存在，则说明诊断有误，需要重 新诊断，如果故障排除，则说明故障诊断成功，记录下相应的故障诊断及处理信 息后即完成了整个故障管理过程。 网络故障检测主要采用两种方式：主动轮询方式和t r a p 机制。主动轮询方式 从分散的网络中收集网络状态数据，由网络管理服务器向各被管对象的代理进程 发出查询命令，并要求管理对象返回当前的工作状态等数据，以达到检测目的； t r a p 机制对网络设备上由于发现重大事件而产生的t r a p 报文进行解析，判断网络 故障的类型。 很显然，确定一个网络设备是否处于正常的运行状态，必须知道每个设备的 “故障特征”，每个设备都应该有一个预先定义好的故障门限。与配置管理及性能 管理结合起来，这些1 7 限应该是可以设置的，可以由网络管理系统发送设置操作 命令和实现，也可以由监视网络运行的这些设备动态地调整门限。网络管理系统 还应该实现故障过滤功能，对故障通告进行优先级判别，防止过多的故障通告在 互连网络上传播造成泛滥。这些优先级也应该可以设置。 为了实现网络故障的及时发现，将它分解为以下三个部分： ( 1 ) 动态设置阈值 在网络的运行过程中，网络流量是在不停的变化的，因此应该根据当时网络 运行状态动态地确定m i b 参数的闽值。 ( 2 ) t r a p 监测 t r a p 监测负责定时检测网络设置上有没有t r a p 报文产生。如果有报文产生， 则将其接收并且调用t r a p 分析例程对t r a p 故障原因作出分析，并且将该故障记录 到当前故障记录表和故障日志文件中去。t r a p 监测般流程如图2 _ 3 所示： ( 3 ) 设备轮询 该模块山网络管理者定时向各代理发出“r e a d ”清求，利用s n m p 的三种 原语g e t r e q u e s t 、g e t n e x t r e q u e s t 、g e t r e s p o n s e 来定时读取与被管对象故障管理 相关的当6 u 值，并且和他们有闽值库中所设置的闽值相比较，发现当前值越界时 进行报警。 9 重庆大学硕士学位论文 2 网络管理一般模型与故障诊断专家系统 图2 3 t r a p 监测流程图 f i g 2 3f l o wc h a r to f t r a p 然而，除了以上所述的网络故障管理基本功能外，预防性的日常维护能够保 证互连网络中的设备正常运行。因此，理想的故障管理要包括故障预测能力。实 现该功能的办法之一是对设备定期进行例行诊断，但随着网络规模的不断扩大以 及不断上升的网络速度，必须采用智能化的手段，进行网络历史状态数据的分析 以作出对将来时刻的网络状态预测。 2 2 网络故障诊断专家系统 2 2 1 专家系统基本概念 专家系统是一个具有大量的专门的知识与经验的程序系统。它将大量的专家 知识和启发性知识编制在一个程序里，以解决困难的问题，去完成人类专家能完 成的工作是专家系统最重要的目标。 专家系统可以说是人工智能4 0 年的发展历史中第一个真正投入商业化应用的 研究成果。所谓专家系统事实上是一种计算机程序，这种程序使用了特定的知识 及一定的推理系统来解决一些需要有关领域的专家才能解决的问题。该领域的各 种经验知识加上一定的推理机制可以作为该领域最好的专家系统模型。 专家系统的知识有两种：事实和启发性知识，事实是各种众所周知，并被领 域专家普遍承认的信息的集合。而启发性知识则是指一些不为众人所了解的、特 殊而又有效的判断及推理规则。专家系统之所以被称为“专家”，正是由于它能利 用特定启发性知识进行推理。一个专家系统的功能强大与否取决于它所拥有的知 识库的大小及其有效程度。人工智能的研究人员对专家系统的技术己经有了相当 程度的了解。它们已经在一些比较小的领域中研制出了实用的专家系统。 1 0 重庆大学硕士学位论文 2 网络管理一般模型与故障诊断专家系统 2 2 2 专家系统基本结构 专家系统主要由知识库、动态库、推理机、解释器和人机接口组成，其系统 结构如图2 4 所示。 图2 4 专家系统结构图 f i g2 4s t r u c t u r eo fe x p e r ts y s t e m 知识库用于存储某领域专家的专门知识，包括事实、可行操作与规则等。为 了建立知识库，要解决知识获取与知识表示问题。动态库用于存储领域或问题的 出事数据和推理过程中的中间数据( 信息) 。推理机是用于记忆所采用的规则和控 制策略的程序，它使整个专家系统能够以逻辑方式协调地工作。解释器能够向用 户解释专家系统的行为，包括解释推理结论的正确性以及系统输出其它候选解的 原因。人机接口能够使系统与用户进行对话，使用户能够输入必要的数据、提出 问题和了解推理过程及推理结果：系统则通过接口向用户提问并回答用户提出的 问题、进行必要的解释。 2 2 3 网络故障诊断专家系统 网络故障诊断专家系统一般应由如下几部分组成：故障检测、分析筛选、专 家系统和解释器。其结构如图2 5 所示： 其中，故障检测模块用于接收来自各种网络设备监视器提供的网络状态数据， 然后生成包含有时间标记( 时间戳) 、报告实体、被管目标标识、被管目标信息、 事件类型、已改变的状态等信息的时间报告提交给分析筛选模块。模块可采用“中 断导向轮询”的方式收集来自设备的数据。被管理设备中的代理能够在任何时候 把错误信息( 比如实际值超出了预选设定闰值) 报告到网管工作站( s n m p 中断) 当设备成生一个中断时，用户可以使网管工作站去询问该设备以便获得更进一步 的值。 重庆大学硕士学位论文 2 网络管理一般模型与故障诊断专家系筝 分析筛选模块接受来自故障检测模块的事件报告，然后根据全局筛选准则对 事件报告进行分析筛选，将感兴趣的事件报告格式化为专家系统的表达方式，并 转发到专家系统以便触发推理过程。 解释器用于帮助理解来源于用户的数据，提供专家系统能够识别的信息。 图2 5 网络故障诊断专家系统结构图 f i g 2 5s t r u c t u r eo f n e t w o r kf a u l td i a g n o s i se s 2 2 4 专家系统知识库的建立 就象数据库和管理信息系统的核心是数据，专家系统的核心是知识。所以专 家系统又常称为知识基系统，或基于知识的系统( k n o w l e d g e b a s e ds y s t e m ) 。在专 家系统中把通常的数据、公式、方法、经验以及信息等均看作为知识。专家系统 的知识决定了专家系统解决问题的能力。知识越丰富，知识表达越准确，专家系 统解决问题的能力越强。 围绕着知识，专家系统最基本的技术是研究知识的表示、知识的运用、知识的 获取等。国际上把专家系统技术在学科方向上又称之为”知识工程”。知识表示： 是研究如何将领域知识和专家经验等有效地表示成计算机能够工作和运行的形 式。专家系统中，知识是存放在称之为知识库的组件中。它们是按照特定的知识 重庆大学硕士学位论文2 网络管理一般模型与故障诊断专家系篓 表示形式安排存贮的。知识运用：如何对放在知识库中的知识进行控制与操作： 以求问题的解决。有时也叫问题求解。至今常常采取的方法是搜索或推理。知识 获取： 如何从领域专家的口述或文字，书本资料或数据实例中抽取出该专家系统 所需要的知识。以往专家系统知识库的建立靠知识工程师要从领域专家那儿获取 知识。由于知识工程师与领域专家之间的沟通交流有一定的时限，所以专家系统 知识库的建立就必然有一定时差。 然而，网络的动态性的异构性使得专家系统的知识库中的知识呈现快速失效 的趋势，需要进行及时有效的更新。网络告警序列中隐含着丰富的关于网络自身 行为特征的模式知识，但在海量的告警序列数据中，这些知识是深藏不露的，而 且呈现碎片性分布。因此，研究有效提取网络告警序列中的模式知识并将其用于 网络故障诊断专家系统中将显著提高网络故障管理智能化程度。 数据挖掘( d a t am i n i n g ) 能够从太量的、不完全的、有噪声的、模糊的、随 机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用 的信息和知识的过程。因此，将数据挖掘技术用于网络故障诊断专家系统能够充 分发挥二者不同的技术优势。基于数据挖掘的知识发现及其与专家系统的关系如 图2 6 所示： 数据收集 ，7 一、 f 告警消息f _ _ _ _ _ _ _ - _ _ _ _ _ _ _ 。 i r ，nr ) 7 , - j 故障报告j 鲨h 兰鲨二鼍 j 性能数据 图2 6 基于数据挖掘的知识发现及其与专家系统的关系 f i g2 6r e l a t i o n s h i pb e t w e e nd a t am i n i n ga n de s 左侧为数据收集部分，它为我们提供了携带时间信息和空间信息的数据源， 时间信息即事件的发生时间，空间信息包括设备和故障业务点。中间部分为知识 发现系统，由两个部分组成，分别是数据挖掘和知识的解释与评估。右侧为网络 故障管理专家系统。使用知识发现系统输出的关联规则更新专家系统知识库中的 知口 ，可使得知识库中的知识更新更全面，这样更能准确的进行故障定位和识别。 重庆大学硕士学位论文 2 网络管理一般模型与故障诊断专家系统 2 3 本章小结 本章首先介绍了网络管理的般模型，然后介绍了网络故障管理的功能以及 实现。紧接着介绍了专家系统的基本概念，再介绍了专家系统的基本结构以及网 络故障诊断专家系统结构。在本章的最后指出专家系统的核心为其知识库，传统 的知识库建立方法存在知识更新不够及时的缺陷，进而提出将数据挖掘技术应用 于专家系统数据库建立和更新，用数据挖掘技术从网络管理告警数据库中发现知 识并将其用于故障诊断专家系统，这将显著提高网络故障管理智能化程度。 4 重庆犬学硕士学位论文 3 数据挖掘技术 3 数据挖掘技术 3 1 数据挖掘技术简介 3 1 1 数据挖掘的发展及研究现状 我们现在已经生活在一个网络化的时代，通信、计算机和网络技术正改变着 整个人类和社会。如果用芯片集成度来衡量微电子技术，用c p u 处理速度来衡量 计算机技术，用信道传输速率来衡量通信技术那么摩尔定律告诉我们，它们都 是以每1 8 个月翻一番的速度在增长，这一势头已经维持了十多年。伴随着计算机 和网络技术的发展，数据库技术的也得到了迅速发展。数据库管理系统的应用日 益广泛，人们积累的数据越来越多。激增的数据背后隐藏着许多重要的信息，人 们希望能够对其进行更高层次的分析，以便更好地利用这些数据。目前的数据库 系统可以高效地实现数据的录入、查询、统计等功能，但无法发现数据中存在的 关系和规则，无法根据现有的数据预测未来的发展趋势。缺乏挖掘数据背后隐藏 的知识的手段，导致了“数据爆炸但知识贫乏”的现象。 从数据库中发现知识( k d d ) 词首次出现在1 9 8 9 年举行的第十一届国际联合 人工智能学术会议上。到目前为止，由美国人工智能协会主办的k d d 国际研讨会 已经召开了8 次，规模由原来的专题讨论会发展到国际学术大会，研究重点也逐 渐从发现方法转向系统应用，注重多种发现策略和技术的集成，以及多种学科之 间的相互渗透。i e e e 的k n o w l e d g ea n dd a t a e n g i n e e r i n g 会刊率先在1 9 9 3 年出版了 k d d 技术专刊。并行计算、计算机网络和信息工程等其他领域的国际学会、学刊 也把数据挖掘和知识发现列为专题和专刊讨论。l ；t 夕b ，在i n t e r n e t 上还有不少k d d 电子出版物，其中以半月刊k n o w l e d g ed i s c o v e r yn u g g e t s 最为权敏 ( h t t p ：w w w k d n u g g e t s c o m s u b s c r i b e h t m l ) 。在网上还有许多自由论坛，如d m e m a i lc l u b 等。目前，世界上比较有影响的典型数据挖掘系统有：s a s 公司的 e n t e c p r i s em i n e r 、r b m 公司的 m e l l i g e n tm i n e r 、s g i 公司的s e t m i n e r 、s p s s 公司 的c l e m e n t i n e 、s y b a s e 公司的w a r e h o u s es t u d i o 、r u l e q u e s tr e s e a r c h 公司的s e e 5 、 还有c o v e r s t o r y 、e x p l o r a 、k n o w l e d g ed i s c o v e r yw o r k b e n c h 、d b m i n e r 、q u e s t 等。 弓国外相比，国内列d m k d 的研究稍晚，没有形成整体力量。1 9 9 3 年圉家匿 然科学基金首次支持对该领域的研究项目。目前，国内的许多科研单位和高等院 校竞相开展知识发现的基础理论及其应用研究，这些单位包括清华大学、中科琏 计算技术研究所、空军第三研究所、海军装备沦证中心等。其中，北京系统工程 研究所对模糊方法