（计算机应用技术专业论文）基于多种贝叶斯分类器的变压器故障组合诊断.pdf

华北电力大学硕士学位论文摘要 摘要 随着我国电力工业的迅速发展，变压器数量激增，测试数据越来越庞大，借助 工具对变压器进行故障诊断势在必行。电力变压器故障诊断中的测试数据信息不完 备、有偏差，且贝叶斯网络处理不确定性问题能力强，文中探讨了用于变压器故障 诊断的n b 、s b 、n 蝌、b a n 和g b n 五种分类器模型，并提出了多种贝叶斯网络 分类器和s v m 组合诊断的变压器故障诊断新方法。实验表明本文提出的组合诊断 模型适用于小样本、贫信息的变压器d g a 数据，其性能明显优于单一分类器的诊 断方法，能满足实际工程的需要，并且该模型的诊断正确率相比其它单一分类器或 者简单的分类组合模型拥有更高的正确率。 关键词：贝叶斯分类器，支持向量机，变压器，故障诊断，组合诊断 a b s t r a c t w i t ht h ed e v e l o p m e n to fd o m e s t i cp o w e ri n d u s t r y ，t h ed a t ao ft r a n s f o 姗e rc o n d i t i o n p r o l i f e r a t e ，a n dn e w m e t h o d si nv i r t u eo fi n t e l l i g e n tt e c h n i q u ea r ec a l l e df o rt r a i l s f o r m e r f a u l td i a g n o s i s d u et ot h ei n f o 皿a t i o no ft e s td a t ai si n c o m p l e t ea n dd e v i a t e di nt h e p o w e rt r a n s f o r m e rf a u l td i a g n o s i s ，觚dm eb a y e s i a nn e t w o r kc 锄d e a lw i t hu n c e r r t a i n t y w e l l t l l i sa r t i c l ed i s c u s s e st h en b ，s b ，1 l n ，b a na i l dg b n ，t h ef i v eb a y e s i a n c l a s s i f i e rm o d e l sf o rt r a n s f o m l e ff - a l i l td i a g n o s i s ，a l l di ti sp r o p o s e dan e wm e t h o dt h a t t h ec o m b i n a t i o no ft h em u l t i p l eb a y e s i a nn e t w o r kc l a s s i f i e r sa n ds v mf o r 仃姐s f o r m e r f a u l td i a g n o s i s t h ee x p e r i m e n t ss h o wt l l e p o r t f o l i om o d e l i sm o r es u i t a b l ef o r t r 锄s f o m l e rf a u l td i a g n o s i s ，w i t hac a p a c i t yp r o c e s s i n gt h el a c ko fi n f o r m a t i o na n dm o r e f a u l t t o l e r a mp e r f o m a n c e ，i t sp e r f o m a n c ei ss u p e r i o rt os i n g l ec l a s s i f i e rm e t h o do f d i a g n o s i s z h a n gb i n ( c o m p u t e ra p p l i c a t i o nt - e c h n o l o g y ) d i r e c t e db yp r o f z h uy 6 n g l i k e y w o r d s ：b a y e s i a nc i a s s i l f i e r ，s v m ，t r a n s f o r m e r f a u l td i a g n o s i s ，f a u l tp o r t f o l i o d i a g n o s i s 华北电力大学硕士学位论文摘要 摘要 随着我国电力工业的迅速发展，变压器数量激增，测试数据越来越庞大，借助 工具对变压器进行故障诊断势在必行。电力变压器故障诊断中的测试数据信息不完 备、有偏差，且贝叶斯网络处理不确定性问题能力强，文中探讨了用于变压器故障 诊断的n b 、s b 、仉蝌、b a n 和g b n 五种分类器模型，并提出了多种贝叶斯网络 分类器和s v m 组合诊断的变压器故障诊断新方法。实验表明本文提出的组合诊断 模型适用于小样本、贫信息的变压器d g a 数据，其性能明显优于单一分类器的诊 断方法，能满足实际工程的需要，并且该模型的诊断正确率相比其它单一分类器或 者简单的分类组合模型拥有更高的正确率。 关键词：贝叶斯分类器，支持向量机，变压器，故障诊断，组合诊断 a b s t r a c t w i t ht h ed e v e l o p m e n to fd o m e s t i cp o w e ri n d u s t r y ，t h ed a t ao ft r a n s f o m e rc o n d i t i o n p r o l i f e r a t e ，a n dn e wm e t h o d si nv i r t u eo fi n t e l l i g e n tt e c h n i q u ea r ec a l l e df o rt r a i l s f o r m e r f a u l td i a g n o s i s d u et ot h ei n f o 珊a t i o no ft e s td a t ai si n c o m p l e t ea n dd e v i a t e di nt h e p o w e rt r a n s f o r m e rf a u l td i a g n o s i s ，觚dt h eb a y e s i a nn e t w o r kc 锄d e a lw i t hu n c e i r t a i n t y w e l l t k sa r t i c l ed i s c u s s e st h en b ，s b ，d 心i ，b a na n dg b n ，t h ef i v eb a y e s i a n c l a s s i f i e rm o d e l sf o rt r a j l s f o m e rf a u l td i a g n o s i s ，a n di ti sp r o p o s e dan e wm e t h o dt h a t t h ec o m b i n a t i o no ft h em u l t i p l eb a y e s i a nn e t w o r kc l a s s i f i e r sa n ds v mf o rt r a n s f o 衄e r f a u l t d i a g n o s i s t h ee x p e r i m e n t ss h o wt l l e p o r t f o l i om o d e l i sm o r es u i t a b l ef o r t r 锄s f o m l e rf a u l td i a g n o s i s ，w i t hac a p a c i t yp r o c e s s i n gt h el a c ko fi n f o r m a t i o na n dm o r e f a u l t t o l e r a mp e r f o m a n c e ，i t sp e r f o m a n c ei ss u p e r i o rt os i n g l ec l a s s i f i e rm e t h o do f d i a g n o s i s z h a n gb i n ( c o m p u t e ra p p l i c a t i o nt - e c h n o l o g y ) d i r e c t e db yp r o f z h uy 6 n g l i k e yw o r d s ：b a y e s i a nc i a s s i f i e r ，s v m ，t r a n s f o r m e r f a u l td i a g n o s i s ，f a u l tp o r t f o l i o d i a g n o s i s 声明尸明 本人郑重声明：此处所提交的硕士学位论文基于多种贝叶斯分类器的变压器故障 组合诊断，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工作 和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或其他教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文 中作了明确的说明并表示了谢意。 学位论文作者签名： 童丛- 日期： 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权保管、 并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手 段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为 目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同媒体上发表、传播学 位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：邋导师签名： 袭承匆 华北电力大学硕士学位论文 1 1 选题背景及研究意义 第一章引言 电力变压器是电力系统中重要的输变电设备，其正常运行对电网的安全、稳定 起着非常关键的作用。虽然目前已对变压器配备避雷针、差动、接地等多重保护， 但是变压器内部结构复杂，由于长期运行造成绝缘老化、材质裂化，以及外部的破 坏和影响等因素，故障和事故是难以避免的。同时，客观上存在现场检修技术水平 不够，延误变压器的及时维修，也会严重影响电力系统的安全运行。因此，及时查 找出变压器的潜伏性故障，排除可能导致系统崩溃的潜在因素是电力部门关注的一 项重要课题。变压器的运行维护，特别是故障诊断工作，对于提高电力系统安全运 行的可靠性具有非常重要的意义。 变压器检修试验所获取的数据包括离线试验数据和连续监测的在线数据，实际 应用中，由于受到环境和条件的限制，获得高质量的大规模的变压器数据样本通常 是很困难的，大部分情况下得到的数据样本或者包含不完整数据或者变压器故障样 本数很少，如何充分利用有限的变压器数据样本和不完整数据样本中包含的信息， 始终是变压器诊断领域研究的热点问题【l 】。研究表明，贝叶斯分类器对于变压器故 障诊断是十分实用和有效的心1 ，但没有一种贝叶斯分类器对于变压器的诊断总是正 确的口1 。本项目将研究如何发挥不同贝叶斯分类器的优势，用多种贝叶斯分类器与 支持向量机相结合，建立一个基于支持向量机的组合诊断模型，进一步提高变压器 故障诊断的正确率，同时拓宽贝叶斯分类器和支持向量机的应用领域和实用范围。 本课题是我校为河北省衡水供电公司研制“基于数据挖掘技术的变压器故障诊断和 状态评估系统”的故障诊断模块，其目标是利用变压器油中溶解气体分析( d i s s o l v e d g a s e sa n a l y s i s ，简称d g a ) 测试结果，借助贝叶斯分类器、支持向量机等数据挖掘技术， 对变压器故障的诊断方法进行研究，以提高变压器运行可靠性，为状态维护和制定维修 计划提供智能化的决策，最大限度保障电力系统的安全运行。 1 2 数据挖掘的研究现状 1 2 1 数据挖掘概念的提出 近几十年来，人们利用信息技术生产和搜集数据的能力大幅度提高，无数个数 据库被用于商业管理、政府办公、科学研究和工程开发等领域，于是，信息过量几 乎成为人人需要面对的问题。面对“被数据淹没，却饥饿于知识 的挑战，为了从 海量信息中及时发现有用的知识，提高信息利用率，数据挖掘( d a t am i n i n g ，简称 华北电力大学硕士学位论文 d m ) 技术应运而生，并得以蓬勃发展，越来越显示出其强大的生命力。 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取 隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程【2 1 。与其 相近的术语有很多，如从数据库中发现知识( k d d ) 、数据分析、数据融合( d a t af u s i o n ) 以及决策支持等。原始数据可以是结构化的，如关系型数据库中的数据，也可以是 半结构化的，如文本、图形、图像数据，甚至是分布在网络上的异构型数据。发现 知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。 发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等，还可以用 于数据自身的维护【3 l 。因此，数据挖掘是一门广义的交叉学科，它汇聚了数据库、 人工智能、数理统计、可视化、并行计算等不同领域的学者和工程技术人员。 数据挖掘所能发现的知识有如下几种：反映同类事物共同性的广义型知识、反 映事物各方面特征的特征型知识、反映不同事物之间属性差别的差异型知识、反映 事物之间依赖或关联的关联型知识、根据历史的和当前的数据推测未来数据的预测 型知识，以及揭示事物偏离常规的异常现象的偏离型知识。所有这些知识都可以在 不同的概念层次上被发现，随着概念树的提升，从微观到中观再到宏观，以满足不 同用户、不同层次决策的需要。 1 2 2 数据挖掘相关技术的研究现状 自从1 9 8 9 年被第一次提出以来，数据挖掘技术发展很快，研究重点从方法转 向系统应用，并且注重多种发现策略和技术的集成，以及多种学科之间的相互渗透。 作为人工智能与数据库技术相结合的产物，数据挖掘技术以发现事件间的相互关 联，甚至利用已有的数据对未来的活动进行预测为目的，不仅是面向特定数据库的 简单检索和查询调用，而且要对这些数据进行微观、中观乃至宏观的统计、分析、 综合和推理，以指导实际问题的求解。常用的发现工具和方法有：分类、聚类、模 式识别、可视化、决策树、遗传算法和不确定性处理等。本论文主要研究其中的贝 叶斯分类器( b a y e s i a nc l a s s i f i e r ) 、支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 等 理论和技术。 ( 1 ) 贝叶斯分类器：贝叶斯学派诞生以来，其方法和理论得以重视和发展是 在二十世纪。随着人工智能的发展，尤其是机器学习、数据挖掘等兴起，为贝叶斯 理论的发展和应用提供了更为广阔的空间。8 0 年代贝叶斯网络用于专家系统的知识 表示，9 0 年代进一步研究可学习的贝叶斯网络，用于数据挖掘和机器学习。近年来， 贝叶斯学习理论方面的文章更是层出不穷，内容涵盖了人工智能的大部分领域，包 括因果推理、不确定性知识表达、模式识别和聚类分析等。并且出现了专门研究贝 叶斯理论的组织和学术刊物i s b a 。 2 华北电力大学硕士学位论文 贝叶斯分类器是一种典型的基于统计方法的分类模型1 4 j 。它以贝叶斯定理为理 论基础，巧妙地将事件的先验概率与后验概率联系起来，利用先验信息和样本数据 确定事件的后验概率，对于解决复杂系统不确定因素引起的故障具有很大的优势， 被认为是目前不确定知识表达和推理领域最有效的理论模型之一。近年来，贝叶斯 分类器已经在多个领域中获得了广泛关注，特别是在医疗诊断、设备故障诊断等方 面得到了深入的研究并应用于实践【5 1 。但是，目前还没有应用贝叶斯分类器对变压 器进行故障诊断的实际系统。 ( 2 ) 支持向量机理论：支持向量机是在统计学习理论的基础上发展起来的一 种机器学习方法。b o s e r 、g u y o n 和v a p n i k 于1 9 9 2 年首次提出了最优边界分类器， 而s v m 分类器的完整概念是v a p n i k 于1 9 9 5 年提出的。虽然支持向量机发展时间 较短，但是由于它的产生是基于统计学习理论的，因此具有坚实的理论基础。近几 年，s v m 算法得到了国内外的广泛关注。在模式识别方面，应用于手写字识别、 语音识别、文本分类、人脸图像识别、遥感图像分析等问题，且精度超过了传统的 学习算法；在工业领域，已经有人将其应用于线性和非线性动态系统的辨识等等。 而在故障诊断领域， s v m 以其优良的性能引起了众多研究人员的注意。由于 能够在有限特征信息情况下，最大限度地发掘数据中隐含的分类知识，因此，国内 外许多针对不同故障对象的诊断研究在理论和仿真方面都取得了基本令人满意的 结果f l o d 2 1 ，但大多数研究仍处于实验室阶段，真正应用到实际中还需要进一步的研 究和实践。 1 2 3 数据挖掘技术在电力系统中的应用现状 由于电力系统中数据信息量的迅速膨胀，近年来数据挖掘技术在电力行业已经 开始受到重视【1 3 1 。文献【1 4 】针对电力远程监测管理系统中参数众多和信息量巨大的特 点，提出了一种具有数据挖掘功能的系统，从监测数据库的海量信息中提取隐含的事先 未知的潜在有用信息，作为对系统进行有效管理的依据；文献【1 5 】分析和研究了数据 挖掘在故障录波分析中的应用，为故障录波数据分析提供一种新的解决问题的思路和方 法：文献 1 6 】介绍了武汉供电局在配电故障统计分析系统中利用数据挖掘方法，从 而提高供电可靠性和经济效益；文献【1 7 】介绍了上海市电力公司调度通信中心建立 的基于数据仓库的上海电力市场运营监视与数据挖掘系统；文献【1 8 】对变压器状态 信息的数据集市进行研究，并取得了良好的效果。 由于变压器测试受检测条件和人员水平的限制，测试结果中往往存在一些错误 和虚假数据，又由于变压器是一个复杂系统，其故障的产生与发展、状态的变化等 受到多种不确定性因素的影响，因此，变压器的故障诊断问题适于采用数据挖掘的 思想和方法进行研究，从大量的试验数据中寻找变压器故障与状态信息的规律，通 华北电力大学硕士学位论文 过实验表明数据挖掘技术在电力变压器故障诊断中具有很好的应用前景。 1 3 变压器故障诊断研究现状 1 3 1 传统的变压器故障诊断方法 检测变压器状态的方法有很多，其中油中溶解气体分析法( 又称为油气检测， d i s s o l v e dg a s s e sa n a l y s i s ，简称d g a ，工程中还被称为色谱分析) 是检测变压器内 部故障的重要方法。对于大型电力变压器，目前几乎都是用油来绝缘和散热，变压 器油与油中的固体有机绝缘材料在运行电压下，因放电和热的作用，会随运行时间 的增加而逐渐老化和分解，产生少量的各种低分子烃类及一氧化碳、二氧化碳等气 体。通过分析油中溶解气体的含量及相互关系对变压器进行状态诊断的方法，在现 场得到了广泛的应用，如以c h 4 、c 2 h 4 和c 2 h 2 三组分相对含量为基础的三角图法， 以h 2 、c h 4 、c 2 h 4 、c 2 h 6 和c 2 h 2 相对浓度比为基础的气体主导型图法等。i e c 标 准中的三比值法则以特征气体的3 个相对比值c h 4 h 2 、c 2 h 4 c 2 h 6 和c 2 h 2 c 2 h 4 来 进行故障诊断，被普遍认为是最为简明的解释【2 0 1 。日本电气协同研究会提出的电协 研法和我国湖北电力试验研究所提出的改良电协研法都对i e c 编码作了进一步的补 充，成为运行现场应用较广的方法。 然而，这些方法大多仍局限于阀值诊断的范畴【2 1 ，2 引，一般只给出一个判定边界 的描述，难以确切反映故障与表现特征之间的客观规律，并且很难在溶解气体含量 较小的情况下对变压器状态进行分析，也就是说，只有当某些特征气体含量超过“注 意值”时，判断结果才被认为是有意义的。传统方法的这些缺点无疑对变压器潜伏 性故障的发现和分析非常不利。 1 3 2 各种智能方法在变压器故障诊断中的研究现状 针对传统方法的不足，各种智能技术如人工神经网络【2 3 。2 6 1 、遗传算法【2 7 ，2 引、小波分 析f 2 9 j 、模糊推理【3 叩、灰色聚类【3 2 1 、p e t r i 网络【3 3 3 5 j 等被引入变压器故障诊断中，取得 了比较好的效果。然而由于变压器的复杂性、测试手段的局限性、知识的不精确性，各 种方法表现出不同的优缺点。例如：神经网络能处理模糊的、有噪声的或不相容的变压 器试验数据，但神经网络隐藏节点层的感知器在系统中不能解释，存在诊断结果的准确 性依赖于样本的完备性，无法处理不完整样本的不足，而且当目标误差减小到一定程度 后，识别效果会出现“振荡”现象：p e 仃i 网将领域知识编成一系列产生规则，可以解决 许多系统的故障诊断问题，但大量的规则导致运行速度较慢，很难适应要求，当遇到新 故障或新信息时，会产生“匹配冲突 、“组合爆炸 的问题【3 6 】；虽然专家系统已在变压 器故障诊断中得到应用，但是也存在不少缺陷【9 j ，如知识获取的瓶颈问题、知识脆弱性、 推理单调性等，而且从专家那里获取知识与表达困难，带有定性和主观的特点，难于定 4 华北电力大学硕士学位论文 量和客观的表示。 另外，国内外大多数结合智能方法的研究仍然停留在实验室阶段，真正投入使用并 且功能完善的智能系统并不多，其主要原因是理论研究所限定的条件与实际应用的情况 相差甚远，特别是忽略了变压器试验数据的不完备性，在数据预处理方面和充分挖掘有 用信息方面还存在诸多问题。当前的变压器故障诊断方法存在以下问题： ， ( 1 ) 各种基于人工智能技术的变压器故障诊断模型的结构一般是固定的，诊断过 程中，输入信息的个数和种类不能改变，且模型缺乏自学习能力，推广性和移植能力不 强。 ( 2 ) 现有的智能诊断方法中，对不完备信息的处理方法研究较少。而变压器 故障诊断实际工作中很难保证信息的完备性，如果缺失关键属性，则只能重新获取 信息，甚至诊断无法进行。 ( 3 ) 目前已有的研究中，对变压器d g a 数据的预处理方法研究较少，大部分 采用现有的离散化和归一化方法，忽略了实际问题中，变压器的不同气体含量值及 气体比值，其定量标准差异很大的情况。 ( 4 ) 各种诊断方法之间相互独立，没有考虑将若干种诊断模型进行组合，进 行多种方法相结合的二次组合诊断。虽然文献【1 3 】提出了利用神经网络法和特征气 体法对变压器故障进行组合诊断，当二者诊断结果不一致时，提出一个置信度的概 念，取置信度大的结果作为最终结果，但置信度如何计算，在文中没有提及。 ( 5 ) 现有的诊断方法都未将诊断对象看成一个有机的整体，大多利用诊断对 象所表现出的特定信号来诊断特定类型的故障，未能有效地考虑各种故障现象之间 可能存在的相互关联。 1 。3 。3 多贝叶斯分类器在变压器故障诊断中的应用分析 鉴于以上问题的存在，寻找一种既能很好地处理不完备信息，又能提高变压器 故障诊断的实际应用性和准确性的智能方法，是目前解决变压器故障诊断问题的出 路所在。朴素贝叶斯分类器【1 4 】是最早用于分类任务的贝叶斯模型，研究人员将朴素 贝叶斯与决策树、k 最近邻、神经网络以及基于规则等方法实验比较【2 2 ，2 3 2 4 ，2 那，发 现它在某些领域中表现出很好的性能。同时，许多方法和技术用于改进朴素贝叶斯 分类器的性能，例如，半朴素贝叶斯s n b ( s e m i - n a i v eb a y e s ) 分类器【2 6 j ，t a n ( t r e e a u g m e n t e dn a i v eb a y e s ) 分类器【2 7 】，“依赖关系贝叶斯如d b ( 后d e p e n d e n c eb a y e s ) 分类器【2 8 】等。贝叶斯网络提供了一种自然的表示属性之间依赖关系的方式。b a n ( b a y e s i a nn e t w o r ka u g m e n t e dn a i v eb a y e s ) 分类器和 g b n ( g e n e r a lb a y e s i a n n e t w o r k ) 分类器就是基于这种思想提出来的【2 9 ，3 们。支持向量机【3 1 】是v a p n i k 等根据 统计学习理论中的结构风险最小化原则提出的，能够尽量提高学习机的推广能力， 华北电力大学硕士学位论文 即使由有限训练样本得到的决策规则，对独立的测试集仍能够得到较小的误差。此 外，支持向量机算法是一个凸二次优化问题，能够保证找到的极值解就是全局最优 解，支持向量机在分类、回归以及模式识别等领域得到了应用【3 2 ，3 3 ，3 4 ，3 5 1 。 目前，使用贝叶斯分类器和支持向量机进行变压器故障诊断的研究都是分别独 立进行的，尚未有将二者结合起来进行组合诊断的研究。而且这些研究尚停留在实 验室阶段，无法真正投入使用。实际上，各种贝叶斯分类器和支持向量机分类器都 具有各自的适用范围：贝叶斯分类器简单、实用，允许属性缺失，在样本较充足的 情况下可以有较高的正判率，但各属性的离散化处理要得当；支持支持向量机分类 器优点是在样本较少的情况下仍有较高的正判率，且不需要各属性的离散化处理， 但缺点是不允许属性缺失，且分类个数较多时结构变得复杂。本课题尝试应用贝叶 斯分类器技术和支持向量机技术并对二者进行有效的结合，构造能够真正投入使用 并且功能完善的变压器故障组合诊断系统，将有可能拓宽贝叶斯分类器技术和支持 向量机技术的应用领域，实现变压器故障诊断的实际应用性，高准确性，容错性和 扩展性。 1 4 论文的主要研究工作及组织结构 本文针对变压器故障诊断现有方法中存在的不足，应用贝叶斯分类器、支持向量机 等理论和技术，进行了基于多种贝叶斯分类器和s v m 相结合的变压器故障组合诊断的 研究工作。论文的主要内容及章节安排如下： 第二章首先介绍贝叶斯分类器的基本原理及其特性，探讨了贝叶斯网络推理算法和 贝叶斯网络学习算法，详细探讨朴素贝叶斯分类器、选择贝叶斯分类器、t a n 分类器、 b a n 分类器和g b n 分类器的分类原理及其优缺点。本章为贝叶斯分类器在变压器故障诊 断中的应用奠定了基础。 第三章首先介绍支持向量机理论及其分类原理；详细讨论支持向量机理论用于多分 类的各种实现技术，介绍支持向量机回归技术；应用简化的s m o 算法解决支持向量机计 算过程中出现的二次规划问题。 第四章设计并实现多种贝叶斯分类器和s v m 相结合的故障组合诊断模型，验证该模 型的有效性，为构建组合诊断系统提供有力的理论基础。 第五章在第四章实现的基于多种贝叶斯分类器和s v m 相结合的故障组合诊断模型的 基础上构建了变压器故障组合诊断系统，进一步确定了的组合诊断模型的条件属性和决 策属性，并设置了d g a 数据的离散化阈值标准，最终实现了“基于数据挖掘技术的变压 器故障诊断与状态评估系统 。 6 华北电力大学硕士学位论文 2 1 贝叶斯网络 第二章常见贝叶斯分类器的分类原理 2 1 1 贝叶斯网络简介 贝叶斯网络是用来表示变量间连接概率的图形模式，它提供了一种自然的表示因果 信息的方法，用来发现数据间的潜在信息。贝叶斯网络直观地表达变量的联合概率分布 及其条件独立性，能大量地节约概率推理计算，对概率推理非常有用。 一个贝叶斯网络是一个有向无环图( d i r e c t e da c y c l i c 研印h ，d a g ) ，由代表变量的 节点及连接这些节点的有向边构成，有向边由父节点( 双亲节点) 指向子节点( 后代节点) ， 用单线箭头表示【5 3 击3 1 。 图2 1 是一个简单的贝叶斯网络示例( 略去了条件概率值) 。 图2 1 一个简单的贝叶斯网络j 用符号b ( g ，尸) 表示一个贝叶斯网络，则召( g ，即由两部分构成：( 1 ) 一个具有个 节点的有向无环图g 。图中的节点代表随机变量，节点间的有向边代表了节点间的相互 关系。节点变量可以是任何问题的抽象，如故障假设、测试值、观测现象、意见征询等。 通常认为有向边表达了一种因果关系，故贝叶斯网络有时叫做因果网。非常重要的是， 有向图蕴涵了条件独立性假设，贝叶斯网络规定图中的每个节点杉条件独立于由杉的父 节点给定的非形后代节点构成的任何节点子集。( 2 ) 一个与每个节点相关的条件概率表 尸。条件概率表可以用p ( f 尸口( 杉) ) 来描述，它表达了节点同其父节点的相关关系一条 件概率。没有任何父节点的节点的条件概率为其先验概率。 有了节点及其相互关系( 有向边) 、条件概率表，贝叶斯网络就可以表达网络中所有 节点( 变量) 的联合概率，并可以根据先验概率信息或某些节点的取值计算其它任意节点 的概率信息。将条件独立性应用于链规则式可得： 7 华北电力大学硕士学位论文 p ( x ) = 兀p ( x ，ix f - l ，x 。) = 兀p ( x 。ip 口，) ( 2 一1 ) i 嚣lf = l 在图2 1 中 p ( xl ，x 2 ，x 3 ，x4 ，xs 、) = p ( x lix 2 ，x 5 ) p ( x 2 ) p ( x 3ix 5 ) p ( x 4ix 3 ，x 5 ) p ( x 5 )( 2 2 ) 可见，贝叶斯网络可以表达变量的联合概率分布，并且使变量的联合概率求解大大 简化。假设所有变量都是二值变量时，对于k 个变量情况，由链规则，求联合概率需要 指定2 t 个独立的联合概率。如k _ 5 时，这个值为2 5 = 3 2 ，而根据式( 2 - 2 ) ，只需要指定 1 6 个( 4 + 2 + 2 “+ 2 ) 概率即可。这种特性使得难于处理的问题变得容易处理了。 贝叶斯网络具有如下特性： ( 1 ) 条件独立性。即式( 2 1 ) 所表达的条件独立性。由于贝叶斯网络假定了条件独立 性，在求变量的概率信息时，只需要考虑与该变量有关的有限变量，可以大大简化问题 的求解难度，从而使得许多复杂问题得到可行的解决方法。 ( 2 ) 基于概率论的严格推理。贝叶斯网络是一种不确定性知识表达与推理模型， 它的推理原理基于b a y e s 概率理论，推理过程实质上就是概率计算。 ( 3 ) 知识表示分为定性知识和定量知识。定性知识是指网络的结构关系，表达事 件之间的因果联系：定量关系指节点的条件概率表，主要来源于专家经验、专业文献和 统计学习。 ( 4 ) 知识获取与推理的复杂度较小。由于贝叶斯网络具有条件独立的特点，因此 可以减少知识获取与推理的复杂程度。也就是说，在知识获取时，只要关心与节点相邻 的局部网络图：在推理计算时，只要己知节点的相关节点的状态即可估计该节点的概率 信息。 2 1 2 贝叶斯网络推理 推理是从给定的证据中得到一个新判断的思维形式，贝叶斯网络的推理原理基于 b a y e s 概率理论，贝叶斯网络推理问题的核心是计算( 后验) 条件概率分布。贝叶斯网 络利用随机变量间的条件独立性，将一个联合概率分布直观地表达为一个图形结构和一 系列的条件概率表，经消元计算可求出任一单变量的概率分布或部分变量的概率分布。 在已知某些变量取值的情况下，可计算感兴趣的节点变量或节点变量集合的条件概率分 布。设所有变量的集合为x ，证据( e v i d e n c e ) 变量集合为e ，查询( q u e r ) ，) 变量集 合为q ，则贝叶斯网络推理的最根本任务就是计算在给定证据变量集合e = p 的情况下 计算查询变量q 的联合条件概率。可形式化描述为： p ( q ie ：p ) ：掣 8 华北电力大学硕士学位论文 现有的贝叶斯网络推理算法可分为精确推理算法和近似推理算法两大类。属于精确 推理的算法有：多树传播算法( p o l y t r e ep r o p a g a t i o n ) 蝎5 1 、团树传播算法( c l i q u et r e e p r o p a g a t i o n ) 【7 4 1 、图约简算法( g r 印hr e d u c t i o n ) 【8 6 1 、组合优化算法( c o m b i n a t o r i a l o p t i m i z a t i o n ) 等。目前组合优化算法主要有s p i ( s y m b o l i cp r o b a b i l i s t i ci n f e r e n c e ) 方法和桶 消去( b u c k e te l i m i n a t i o n ) 方法。精确推理算法适用于结构简单、网络规模小的贝叶斯网 络推理。尽管贝叶斯网络以其坚实的概率理论基础以及有效性而被认为是目前最好的不 确定推理方法之一，但由于复杂结构的贝叶斯网络推理计算是n p 难题，对贝叶斯网络 推理的研究重心转向了近似推理算法的研究。目前已经提出了多种近似推理算法，主要 分为两大类：基于随机模拟方法( s t o c h a s t i cs a m p l i n 曲和基于搜索的方法( s e a r c h - b a s e d ) 。 这些算法都采取一定的方式在运行时间和推理精度上寻求一个折衷，力求在较短的时间 内得到一个满足精度要求的结果。近似推理算法在不改变计算结果正确性的前提下，降 低了计算精度，从而简化计算复杂性。近似推理算法主要用于网络结构复杂、规模较大 的贝叶斯网络推理。 2 1 3贝叶斯网络学习 贝叶斯网络学习包括网络结构g 的学习和条件概率表p ( c p t ) 的学习。在已知网 络结构时只需要学习条件概率表p ，若不知道网络结构，则需要从给定样本训练集来学 习网络的结构和条件概率表。 ( 1 ) 贝叶斯网络概率分布学习 通常在故障诊断领域的应用中，可以由领域专家给出随机变量的因果图，从而得到 贝叶斯网络结构，但是要给出众多变量的c p t ，对领域专家就很困难了，因此在故障诊 断领域中，学习c p t 更具有实际意义。贝叶斯网络是变量的联合概率分布的图形表示， c p t 学习可以归结为统计学中的参数估计问题，因此c p t 学习方法可以分为基于经典 统计学的学习和基于贝叶斯统计学的学习两大类。前者具有理论成熟，计算简单的优点， 但它只利用了实例数据集合所提供的信息，无法加入专家的知识，所以对实例数据集合 的依赖性大。而基于贝叶斯统计的学习有机地综合了这两类信息，因此对实例数据集合 的依赖性较低，其学习结果更精确。 完整实例数据中基于贝叶斯统计的概率分布学习如下： 为了便于表达，对条件概率表分层引入如下的表示符号： 伊= 9 l ，目2 ，p 。】； 伊，= p ( 鼍lp p ，z r ( 五” 织= 【口j 1 口2 ，秒f ，】； 秒 = p ( xi 尸彰) 矛矿= 【否。，矛矿：，否相】；= 尸( 置= 爿j 尸衫) 其中：删表示随机变量z 的父结点的取值组合中第，个取值组合。用g f 表示变量 9 华北电力大学硕士学位论文 ，的可取值数目，根据概率的归一性，它们满足等式：y 研，。：l 。 管。 贝叶斯统计学与传统统计学的本质区别在于对概率的理解。不同于经典统计学对概 率频度性理解，贝叶斯统计学派认为概率是人们对事物发生可能性的一种合理置信度， 具有主观性。建立在该理论上的参数估计问题其基本思想为：给定一个含有未知参数目 的分布p ( x l p ) ，以及一个完整的实例数据集合c ，贝叶斯统计学派认为参数秒是一个 随机变量( 区别于经典统计学) ，它具有一个先验分布尸( 秒) ，代表了人们在进行学习以 前所知道的关于参数口的信息，先验分布尸( 秒) 要根据以往的知识来估计，如果没有任何 知识可参考，可以采用贝叶斯假设，即认为尸( 秒) 是一个均匀分布，口在它的取值范围内 取到各个值的机会均等。通过在实例数据集合c 上的学习，人们所掌握的参数目的信息 发生了变化，表示为p ( 秒ic ) ，称为参数9 的后验概率。所以，贝叶斯参数学习的主要 任务就是计算参数变量的后验概率尸( 引c ) ，并以此作为参数估计的依据。一旦后验分 布获得了，则有两种方法估计参数的值：一是用后验分布最大时参数口的值，作为参数 的估计值，称为最大后验分布估计( m a ) ( i m i z eap o s t e r i o r ) ；另一种是采用后验分布的数 学期望作为对参数的估计值，称为条件期望估计。 条件期望估计又称为贝叶斯预测法，是指将参数否的后验分布的数学期望作为参数 的估计值。即： - 一- 口= 廓( 卵) ( 口) = 1 秒p ( 秒i c ) d 9 该方法在贝叶斯统计中被大量地采用，因为它充分体现了贝叶斯统计思想。 为了简化计算，一般假设各个参数向量巩相互独立，称为参数独立性假设。当实例 数据集合c 完整时，可以证明此时参数巩的后验分布也相互独立。因此可以独立计算各 个参数巩的后验分布p ( 玩ic ) ，并利用该后验分布分别进行参数估计。 为了计算后验分布p ( 瓦i c ) ，按照贝叶斯统计的思想，必须首先为参数否指定一个 先验分布。先验分布的选取有多种方法，如前面的贝叶斯假设，另外还有最大熵原则、 杰弗莱原则等。一般最常用的是共轭分布法，当选用共轭分布时，参数的后验概率与先 验概率具有相同的形式，可以极大地简化计算。在离散型信度网的学习中，一般将每个 分布尸( 置i 删) 看作多态分布，对于多态分布，它的共轭分布是狄尔赫特分布。该分布 的定义为： d 护( 否i 口，口，) = 掣n 印。1 l lr ( 吼) 扣1 ：i 其中，吼称为超级参数，满足： o ；吼= l ；口= 吼；r ) 函数的定义为： 1 0 华北电力大学硕士学位论文 r ( 口) = f 广1 e 一班 对于狄尔赫特分布，随即变量皖的数学期望为： ( 栌脚引怖- 州硅轰 选用狄尔赫特分布作为巩的先验分布后，则其后验分布为： 尸( 9 妒l c ) = p ( c i p ) 尸( 口 ，) n 移宰粤血镶一 扣1 兀r ( ) 扣1 ；盟血移峋- l 兀r ( ) 扣1 可见，后验分布仍然是一个狄尔赫特分布。所以其数学期望可以很容易地求出，并 作为对参数的估计。 秘魄沪篇 上式就是采用条件期望法学习信度网的条件概率表的公式。利用该公式可以依次求 出条件概率表中的每一项的值。公式中的参数吼代表专家的知识，在实际计算中，可以 由专家采用等价抽样规模法来估计。特殊情况下，可以采用贝叶斯假设，即假设变量取 各个值的概率都相等，即： 吼：1 且拈善吼 当样本训练集不完整时，一般要运用近似方法，目前主要有m o n t e c a r l o 方法、 g a u s s i a l l 逼近、e m ( 期望极大化) 算法等。， ( 2 ) 贝叶斯网络结构学习 贝叶斯网络学习中较难的是贝叶斯网络结构学习。用于贝叶斯网络结构学习的数据 是实际工作中积累的某一领域的历史资料，一般存储在数据库之中，称为学习数据库， 简称学习库，以集合的形式描述为：学习库集合c = c l ，c 2 ，e ) ，其中第1 个实例g 表示该领域随机变量构成的向量的一个赋值，其形式为： g = 【五= ，置= 屯，以= 吒】 由n 个节点构成的所有有向无环图都可能作为贝叶斯网络结构，贝叶斯网络结构学 习的主要任务就是从这些可能结构中找出一个最适合于实例数据的结构。一般方法是首 华北电力大学硕士学位论文 先根据学习任务定义( 或选择) 一个测度，用来衡量一个结构对实例数据的适合程度。然 后计算每一个可能结构的测度，最后通过比较从中选出测度最优的结构。在实际计算中， 由于可能结构的数目随变量数增加而指数增长，可能的d a g 结构非常庞大，计算所有 结构的测度几乎不可能，所以常采用启发式搜索算法，在结构空间中进行搜索、比较来 获得测度最优的结构。已有许多关于贝叶斯网络结构学习的文献提出了一些测度，如 b d e 测度( b a y e s i a nd i r i c m e tb yl i k e l i h 0 0 de q u i v a l e n c e ) 、最小描述长度测度( m “m a l d e s c r i p t i o nl e n 舀h ) 【8 7 1 、b i c ( b a y e s i a ni n f o m a t i o nc r i t e r i o n ) 测度和互信息和测度删等。比 较常用的测度有b d e 测度和最小描述长度测度。 2 2 贝叶斯分类器简介及其分类模型的建立 2 2 1 贝叶斯分类器 分类有规则分类( 查询) 和非规则分类( 有指导学习) 。贝叶斯分类属于非规 则分类，它通过训练集( 已分类的例子集) 训练而归纳出分类器，并利用分类器对 没有分类的数据进行分类。分类过程中，以贝叶斯定理为理论基础，巧妙地将事件 的先验概率与后验概率联系起来，利用先验信息和样本数据确定事件的后验概率。 给定一个实例数据集合d ，d = 置，五，e ，c ) 是离散变量的有限集，其中 五，五，以是属性变量，c 为类变量，其取值范围为 q ，c 2 ， ，属性x i 的取值 表示为薯，实例数据集合d 又称为训练数据库。实例= ( 葺，x ：，矗) 属于类c ，的概 率由贝叶斯定理表示为 尸( 巳i 五，而，) = ! 尘毫蠢三掣 。2 3 ， = 口尸( c ，) 尸( 而，毪，l c ，) 其中口是正则化因子，p ( 勺) 是类巳的先验概率，p