（计算机软件与理论专业论文）贝叶斯网络及其在电网故障诊断中的应用研究.pdf

华北电力大学硕士学位论文摘要 摘要 贝叶斯网络是目前不确定知识表达和推理领域最有效的理论模型之一。本文 在对贝叶斯网络基本理论进行研究和探讨的基础上，首次将人工鱼群算法引入到 由n o i s y o r 和n o i s y a n d 等模型组成的贝叶斯网络的参数学习中，论述了基于人 工鱼群算法的贝叶斯网络参数学习方法，并通过调整随机移动速度的方法提高了 算法的收敛性能。实验结果表明了该参数学习方法的可行性和优越性。 鉴于贝叶斯网络处理不确定问题的优越性及电网故障诊断的特点，采用由 n o i s y ，o r 和n o i s y a n d 模型组成的贝叶斯网络和前述参数学习方法，建立了面向 元件的贝叶斯网络故障诊断模型，算例仿真表明了该诊断方法的有效性和准确性。 关键词：贝叶斯网络，参数学习。人工鱼群算法，电网，故障诊断 a b s t r a c t b a y e s i a nn e t w o r k ( b n ) i so n eo ft h em o s te f f e c t i v et h e o r e t i c a lm o d e l sf o r u n c e r t a i n t yk n o w l e d g ee x p r e s s i o na n dr e s o n i n g b a s e do nt h er e s e a r c ho fb a s i s t h e o r ya b o u tb n ，a r t i f i c i a lf i s h s w a r ma l g o r i t h m ( a f s a ) i sa p p l i e di n t h e p a r a m e t e rl e a r n i n go fb nc o m p o s e do fn o i s y - o ra n dn o i s y a n dn o d e sf o rt h e f i r s t t i m e ，t h ea p p r o a c hi se x p a t i a t e da n dt h ec o n v e r g e n c ei si m p r o v e db y a d j u s t i n gt h er a n d o mm o v e ss p e e d t h ec a l c u l a t i n gr e s u l t sd e m o n s t r a t et h a tt h i s p a r a m e t e rl e a r n i n gm e t h o di sf e a s i b l ea n dp r e f e r a b l e o w i n gt ot h ed i s t i n c tp e r f o r m a n c eo fb na b o u tu n c e r t a i n t ya n dt h et r a i t so f p o w e rs y s t e m s f a u l t d i a g n o s i s ，t h e f a u l t d i a g n o s i s m o d e l sa r ee s t a b l i e d r e s p e c t i v e l yf o rt r a n s m i s s i o nl i n e s ，b u s b a r sa n dt r a n s f o r m e r s ，b a s e do nb n c o m p o s e do fn o i s y o ra n dn o i s y a n dn o d e s a n dt h ea f s ab a s e dp a r a m e t e r l e a r n i n gm e t h o d d i a g n o s t i c r e s u l t so fi n s t a n c e p r o v et h ee f f e c t i v e n e s sa n d s u p e r i o r i t yo ft h i sd i a g n o s i sm e t h o d w a n gy a n ( c o m p u t e rs o f t w a r ea n dt h e o r y ) d i r e c t e db yp r o f z h uy o n g - l i k e yw o r d s ：b a y e s i a nn e t w o r k ，p a r a m e t e rl e a r n i n g ，a r t i f i c i a lf i s h s w a r ma l g o r i t h m p o w e rs y s t e m s ，f a u l td i a g n o s i s 声明 本人郑重声明：此处所提交的硕士学位论文贝叶斯网络及其在电网故障诊 断中的应用研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行 的研究工作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电 力大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：趔日期：趋! ：竺：圭! 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即；学校有 权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩 印或其它复制手段复制并保存学位论文；学校可允许学位论文被查阅或借阅； 学校可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同方 式在不同媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 日期： 华北电力大学硕士学位论文 1 1 选题背景及意义 第一章绪论 建立能象人一样思维的计算机系统，是人工智能研究者梦寐以求的事情。然 而要实现这一理想，还有许多问题需要进一步探讨研究，其中关于如何更好地表 达，学习以及应用知识来解决实际问题就是一个需要长期探讨的闯题。在人类认 识客观世界的过程中，由于信息的不完备与描述模糊、背景知识的不足、信息中 含有噪声以及人类大脑具有一定的模糊性等原因，导致了大量不确定问题的存在。 对不确定问题的表达和推理，始终是人工智能的一个重要研究内容。 贝叶斯网络是2 0 世纪8 0 年代提出的一种不确定性表达和推理方法，它为依 赖关系和因果关系提供了一种自然而有效的表达方式【1 1 。贝叶斯网络语义清晰、 易于理解，并具备灵活的学习机制和强大的推理功能，已成为当今人工智能领域 的研究热点之一。鉴于贝叶斯网络在处理不确定性问题方面的强大优势，众多学 者对该领域的研究产生了极大的兴趣。在国内，清华大学、中科院计算所等高校 和科研单位已投入该领域的研究。在国外，哈佛大学、微软公司等著名学府和公 司都成立了专门的研究机构，从事贝叶斯网络的理论和应用研究，并取得了一定 的研究成果。 贝叶斯网络的理论研究是贝叶斯网络应用的基础，其中融合专家知识和统计 数据的贝叶斯网络参数学习是贝叶斯网络理论研究中的一个重要内容，也是贝叶 斯网络构建的一个关键环节。对于一个父节点数为k 、节点有两种取值状态的网 络来说，要填满其条件概率表需要0 ( 2 0 ) 个数据。当网络较复杂时，贝叶斯网络的 参数学习是困难的。在存在隐变量或连续变量的情况下，参数学习变得尤为困难。 因此，对贝叶斯网络参数学习算法的深入研究具有十分重要的理论意义和实际应 用价值。 贝叶斯网络的应用是贝叶斯网络研究的最终目的，目前贝叶斯网络已在故障 诊断、模式识别、数据挖掘等多个领域得到了广泛的应用，其中故障诊断领域是 贝叶斯网络使用较早并且也较为成功的领域之一【2 1 。贝叶斯网络使用概率理论来 处理不同变量之间由于条件相关而产生的不确定性，对于解决复杂系统不确定因 素引起的故障具有很大的优势。电网故障诊断是关系到电力系统能否安全稳定运 行的重要课题，而随着电网规模的扩大，故障的复杂性和处理的难度都相应增大， 特别是由于保护和断路器的拒动、误动，信道传输干扰，保护动作时间偏差等造 成的不确定信息的存在，使得传统的智能故障处理方法受到了很大的限制。鉴于 华北电力大学硕士学位论文 贝叶斯网络处理不确定信息的强大优势，已经有一些研究人员把它引入到电网故 障诊断系统中口 4 】。但研究尚处于起步阶段，距离实际工程应用仍有较大的差距， 无论是在理论研究还是工程应用方面都还有很多工作要做。 综上所述，虽然贝叶斯网络的研究和应用取得了巨大的成就，但作为一种新 的理论模型，它仍然存在着许多问题需要解决。如在存在隐变量及连续变量的情 况下，贝叶斯网络的参数学习仍是一个难题；贝叶斯网络虽然具有处理电网故障 诊断问题的优势，但研究并不成熟。因此，设计精确、高效的参数学习理论和相 关算法仍是目前该领域的一项重要课题，而如何利用贝叶斯网络解决电网故障诊 断问题也具有极其重要的现实意义。 i 2 贝叶斯网络的发展和研究现状 1 2 1 贝叶斯网络发展概述 贝叶斯网络( b a y e s i a n n e t w o r k ) ，又称为信度网络( b e l i e f n e t w o r k ) ，概率网络 ( p r o b a b i l i t yn e t w o r k ) 或因果网( c a u s a ln e t w o r k ) 等，是对不确定知识进行表达和推 理的一种有效方法。1 9 8 8 年由美国加州大学j u d e ap e a r l 教授首次完整提出，贝叶 斯网络现己成为人工智能领域的研究热点之一【l l 。 虽然贝叶斯网络模型是2 0 世纪8 0 年代才提出的，但其产生的根源要追溯到 1 7 6 3 年由r e v e r e n dt h o m a sb a y e s 提出的贝叶斯理论，贝叶斯理论是贝叶斯网络 的重要理论基础之一。由于当时贝叶斯方法在理论和实际应用中还存在很多不完 善的地方，因而在1 9 世纪并未被普遍接受【5 1 。2 0 世纪初，遗传学家s e w a l lw r i g h t 提出了有向无环 ( d i r e c t e da c y c l i cg r a p h ，d a g ) ，并成为经济学、社会学和心理 学界广泛采用的因果表达模型。i j g o o d 和a l a n t u r i n g 合作发展了概率的表示方 法以及贝叶斯推理方法，可以被认为是现代贝叶斯网络的先驱。与有向无环图相 结合来表示决策问题的影响图( i n f l u e n c ed i a g r a m ) 在2 0 世纪7 0 年代末被用于决策 分析中，但是它在求值运算中只用到了枚举方法。1 9 8 2 年，p e a r l 和k i m 发展了 在具有树或者多树结构的网络上实现推理的消息传递方法，并阐述了构造因果概 率模型的重要性。1 9 8 8 年，p e a r l 在总结并发展前人工作的基础上，完整提出了 贝叶斯网络。2 0 世纪9 0 年代，有效的推理和学习算法的出现，推动了贝叶斯网 络的发展和应用。 1 2 2 贝叶斯网络的研究现状 目前国内外许多学者和研究机构都对贝叶斯网络进行了深入的研究。这些研 究主要集中在以下三个方面：贝叶斯网络的推理、贝叶斯网络的学习和贝叶斯网 2 华北电力大学硕士学位论文 络的应用。 ( 1 1 贝叶斯网络的推理；贝叶斯网络的推理主要研究如何建立高效的推理算 法，包括精确推理和近似推理。目前主要的精确推理算法有多树传播算法( p o l y t r e e p r o p a g a t i o n ) 1 1 、团树传播算法( c l i q u et r e ep r o p a g a t i o n ) 6 1 、图约减算法( g r a p h r e d u c t i o n ) 7 】和组合优化算法嘲。这些推理算法都采用了显式求和的计算方式，其 计算量随着节点数的增多呈指数增长，因此只适用于规模较小的网络。复杂结构 的贝叶斯网络推理是n p 难题，此时一般采用近似推理算法。近似推理算法主要 分为两大类：基于仿真的方法和基于搜索的方法。这些算法都采取一定的方式在 运行时间和推理精度上寻求一个折衷，力求在较短的时间内得到一个满足精度要 求的结果。 ( 2 ) 贝叶斯网络的学习：贝叶斯网络的学习是指通过对样本数据的学习，获 得最能匹配样本数据集的贝叶斯网络的结构及参数，可分为参数学习和结构学习 两部分。根据样本数据的不同性质，又可分为实例数据完备、实例数据不完备两 种情况。 常用的结构学习方法主要有基于打分搜索的学习方法【9 ，1 0 1 和基于相关性分析 的学习方法 1 1 , 1 2 1 。前者过程简单规范，但搜索空间大，效率较低，且易陷入局部 最优结构；后者过程比较复杂，但在些假设下学习效率较高，且能获得全局最 优结构。参数学习方法主要有基于经典统计学的学习方法i ”】和基于贝叶斯统计学 的学习方法【l 扣1 6 l 两种。前者具有理论成熟，计算简单的优点，但无法利用专家知 识，对实例数据依赖性较强；后者可以有机综合这两类信息，其学习结果更为精 确。在样本数据不完备时，往往采用近似方法学习贝叶斯网络结构和参数，主要 包括e m 算法【m 1 9 】、g i b b s 抽样算法等。此外，遗传算法、模拟退火算法和神 经网络学习算法也在贝叶斯网络学习中得到了应用【2 1 一撇。 贝叶斯网络的学习是贝叶斯网络的重要研究内容，也是贝叶斯网络构建的关 键环节。虽然已出现了许多成熟的学习算法，但由于网络结构空间的不连续性、 结构搜索和参数学习的复杂性、数据的不完备性等特点，每种算法都具有一定的 局限性。当样本较少或存在隐变量、连续变量的情况下，贝叶斯网络的学习变得 尤为困难。正因为如此，贝叶斯网络学习算法一直是研究的热点之一。 ( 3 ) 贝叶斯网络的应用：贝叶斯网络以其坚实的理论基础、自然的知识结构 表达方式、灵活的推理能力等特点，己在故障诊断、模式识别、数据挖掘等多个 领域得到了广泛的应用。其中第一个使用贝叶斯网络的专家系统是c o n v i n c e ( k i m ，1 9 8 3 ；k i m 和p e a r l ，1 9 8 7 ) 。更近的一些系统包括用于诊断神经肌肉紊乱的 m u n i n 系统( a n d e r s o n 等人，1 9 8 9 ) 以及用于病理学的p a t h f i n d e r 系统。迄今 为止应用最广泛的贝叶斯网络系统是m i c r o s o f t w i n d o w s 中的诊断一修理模型( 例 华北电力大学硕士学位论文 如打印机故障在线诊断系统o n l i n et r o u b l e s h o o t e r s ) ( b r e e s e 和h e c k e r m a n ，1 , 9 9 6 ) 和m i c r o s o f to f f i c e 中的办公助手( h o r v i t z 等人，1 9 9 8 ) t ”。此外，美国通用公司开 发出基于贝叶斯网络的故障诊断系统；美国航天航空局和r o c k w e l l 公司共同研制 了太空船推进器的故障诊断系统；m i t t e l s t a d td 等将贝叶斯网络应用在集成电路 的检测中，w o l b r e c h te 等尝试在多级制造过程中运用贝叶斯网络进行检测和诊 断，并用仿真数据验证了该方法的有效性；等等。 综合国内外的研究动向，贝叶斯网络的相关理论日益完善，开发水平不断提 高，应用范围不断拓展。微软公司总裁b i l lg a t e s 在洛杉矶时报上曾说过：微软 公司未来的进一步发展将在于它在贝叶斯网络方面研究的领先地位，可见贝叶斯 网络是一个值得深入研究和探讨的课题。 1 3 电网故障诊断的研究现状 1 - 3 1 传统智能方法在电网故障诊断中的研究现状 在现有的监控条件下，电网故障的在线快速诊断主要是基于s c a d a 系统提 供的保护和断路器的动作信息来识别故障区域，确定故障元件。目前，多种人工 智能技术已用于解决此问题，主要有专家系统口5 ，2 酊、人工神经网络【2 7 2 钔、模糊集 【2 9 1 ，优化方法【3 0 m 1 ，多a g e n t 技术3 2 州1 等。这些方法各有其特点，从不同的途径 去解决故障诊断问题。 专家系统是较早应用在电力系统故障诊断中的技术，也是现今应用比较成熟 的技术之一。专家系统在电网故障诊断中的典型应用是基于产生式规则的系统， 基本思想是把保护、断路器的动作逻辑以及运行人员的诊断经验用规则表示出来， 形成故障诊断专家系统的知识库，进而根据报警信息对知识唪进行推理，获得故 障诊断的结论。这种方法能够提供强有力的推理并具备解释能力，然而专家系统 中知识的获取、组织和维护都比较困难，成为其应用的瓶颈。另外，当系统中存 在保护和断路器的不正常动作时，专家系统可能会因缺乏识别错误信息的能力而 导致错误的诊断结论。 人工神经网络具有较强的学习、泛化和容错能力，在其研究的早期阶段就已 经被引入到电力系统中。用神经网络进行故障诊断的基本原理是：将输电网络中 所有可能获得的保护和断路器的状态作为输入，所有可能的故障位置作为输出， 并以0 ，l 二进制来表明输入、输出相量是否激活。通过对大量故障样本进行训练 学习，将样本库的知识以网络的形式存诸在神经网络的连接权中，最后，通过神 经网络输入量的计算就可以完成故障诊断。此方法具有一定的容错能力，且具有 较快的推理诊断速度，但也存在一定的局限性：( 1 ) 网络中输a 输出节点随着电网 4 华北电力大学硕士学位论文 规模的扩大而迅速增加，因此不适用于大型输电网络；( 2 ) 在应用之前需要大量的 具有代表性的样本进行网络权值的训练，而且当网络结构发生变化时，需要对网 络进行重新组织；( 3 ) 不能提供信息帮助运行人员推断不正常动作的装置。 优化技术在电网故障诊断中的应用也取得了一定的研究成果，其基本思想是 首先根据保护动作原理将故障诊断问题表示为0 - i 整数规划问题，之后用优化方 法求解，常用的优化方法有遗传算法、模拟退火算法等。基于优化方法的故障诊 断方法可以处理任意复杂的故障。包括有保护和断路器误动作的情况，具有较高 的容错性，而且计算时间与故障的复杂程度基本无关。但是如何建立合理的电网 故障诊断数学模型成为该方法的主要瓶颈。 模糊集理论突破了经典集合用0 和l 表示非此即彼的清晰概念，采用模糊隶 属度的概念来描述不精确的、不确定的事件与现象。模糊集在电力系统故障诊断 中的应用可分为两类情况：第一类认为诊断所依据的信息正确，但元件故障、保 护动作、断路器跳闸之间的关联关系是不确定的，用模糊隶属度来对这种可能性 进行描述；另一类则认为诊断所依据的报警信息的可信度不为1 ，而是根据保护、 断路器动作行为的统计数据和输电网络当前的情况赋予它们不同的可信度，然后 再由专家系统或人工神经网络等给出故障诊断结果的模糊输出。模糊集的引入使 得精确推理转换为近似推理，一定程度上提高了诊断的容错性，但模糊集对不确 定因素的处理只能是有限度的改进，这是因为电力系统故障诊断中的不确定性情 况是多种多样的，并非是固定不变的，它取决于系统中硬件装置的可靠性( 如断路 器误动或拒动) ，诊断系统所依据的实时信息的可信度( 如实时信息在传递中出现 的畸变可能性与环境有关1 等因素。 多a g e n t 系统( m a s ，m u l t i - a g e n ts y s t e m ) 是分布式人工智能的一个分支，是 大规模问题求解的有效途径。近年来，人们尝试着将m a s 引入到电力系统的故 障诊断中，其基本思想是将复杂的电网诊断问题通过一定的规则分解成物理上或 逻辑上分散的多个a g e n t ，通过a g e n t 间的协调、协作等最终完成诊断问题的求 解。基于m a s 的故障诊断系统具有以下优势：( 1 ) 诊断系统是一个分布式系统， 具有易于扩展，可靠性高，灵活性强和实时性好等特点；( 2 ) 各a g e n t 之间相互协 调，相互协作以解决大规模的复杂问题，解决了建立一个庞大的知识库所造成的 知识管理和扩展的困难；( 3 ) 系统具有很强的鲁棒性和可靠性，假如某些a g e n t 不 能正常工作，系统的性能也不会显著下降或引起系统崩溃。 1 3 2 贝叶斯网络在电网故障诊断中的研究现状 根据上节的介绍可以看出，专家系统、人工神经网络、模糊集、优化方法等 智能方法在电网故障诊断领域虽然都已显示出了定的应用潜力，但也都有一定 ， 华北电力大学硕士学位论文 的局限性。随着电网规模的日益扩大，电网故障的复杂性和处理的难度相应增大， 特别是保护或断路器的拒动、误动，信道传输干扰错误，保护动作时间偏差等因 素导致的不确定信息的存在，使得电网故障诊断问题更为困难。面对大量不确定 信息的存在，传统的人工智能方法显得有些无能为力。 贝叶斯网络是目前不确定性知识表达和推理领域最有效的理论模型之一，具 有丰富的概率表达能力，并能综合先验信息和样本数据，使得推理结果更为准确 可靠。贝叶斯网络在不确定性知识表达和推理方面的强大优势，使得贝叶斯网络 在电网故障诊断领域具有巨大的应用潜力。目前，已有一些学者将贝叶斯网络引 入到电网故障诊断问题中，并取得了一定的成果，但也都存在一定的局限。文献 【3 j 根据电网拓扑结构和保护装置的动作原理建立电网中每一元件的诊断贝叶斯 网络，然后依据设备的可靠性数据、历史运行数据和试验模拟数据确定网络的参 数。然而实际的电网接线复杂，元件众多，且故障样本很难获得，因此要形成电 网中每个元件的诊断贝叶斯网络是非常困难的。文献 4 】采用由n o i s y - o r 和 n o i s y - a n d 节点组成的特殊的贝叶斯网络，建立面向元件的电网故障诊断模型， 该模型具有推理速度快、学习效率高等特点，能诊断多重复杂故障。但该模型比 较简单，不适用于某些接线复杂的电网；且对某一具体元件来说，其对应保护和 断路器的判别比较困难，不利于实现电网故障的实时诊断。 贝叶斯网络在电网故障诊断中的应用还只是处于探讨和实验阶段，距离工程 实际还有很大的差距，同时贝叶斯网络理论本身还不是很成熟，需要进一步的完 善，因此采用贝叶斯网络方法解决电网故障诊断问题，无论是在理论研究还是工 程应用方面都还有很多工作要做。 1 4 本文的主要内容和结构安排 本文致力于贝叶斯网络参数学习方法及贝叶斯网络在电网故障诊断中的应用 研究。论文主要包括以下几个内容： ( 1 ) 介绍了贝叶斯网络的基本理论，重点分析了贝叶斯网络的参数学习方法 及基于原因独立性假设的贝叶斯网络模型n o i s y o r 和n o i s y a n d 模型。 ( 2 ) 在介绍人工鱼群算法基本原理的基础上，首次将人工鱼群算法引入到贝 叶斯网络的参数学习中，研究和探讨了基于人工鱼群算法的贝叶斯网络参数学习 方法。 ( 3 ) 对人工鱼群算法进行学习研究，针对随机移动导致结果不易收敛的问题， 通过调整随机移动速度的方法，对人工鱼群算法进行了改进。 “) 在介绍电力系统继电保护原理的基础上，研究和建立了基于贝叶斯网络 6 华北电力大学硕士学位论文 的电网故障诊断模型，给出了元件诊断贝叶斯网络的自动生成方法，最后用仿真 实例验证了该诊断方法的有效性与可行性。 ( 5 ) 结合贝叶斯网络诊断方法，建立了基于m a s 的电网故障诊断系统体系结 构，为电网故障诊断系统的实现奠定了理论基础。 本文的章节安排如下： 第一章绪论。介绍了论文的选题背景及研究意义；对贝叶斯网络和电网故 障诊断的国内外研究现状进行了全面的介绍与深入的分析；介绍了本文的研究内 容与组织结构。 第二章贝叶斯网络的基本理论。对贝叶斯网络理论进行了系统的介绍，总 结了贝叶斯网络的特点，归纳了贝叶斯网络的构建方法；从完备数据和不完备数 据两个方面介绍和讨论了贝叶斯网络的参数学习算法；在介绍原因独立性假设的 基础上，详细介绍了原因独立性模型n o i s y 0 r 和n o i s y a n d 及其参数学习方 法，为贝叶斯网络参数学习的研究作了较为充分的准备。 第三章基于人工鱼群算法的贝叶斯网络参数学习。首先阐述了人工鱼群算 法的基本原理，在此基础上，首次将人工鱼群算法引入到由n o i s y o r 和n o i s y - a n d 等模型组成的贝叶斯网络参数学习中，详细说明了采用人工鱼群算法进行贝叶斯 网络参数学习的具体方法，分析了该参数学习方法的优越性和局限性，并通过调 整随机移动速度的方法提高了算法的收敛性能，最后通过实验证明了该参数方法 的有效性和可行性。这些研究丰富了贝叶斯网络的参数学习算法，为参数学习提 供了一个全新的视角和思路。 第四章基于贝叶斯网络的电网故障诊断。首先介绍了电力系统继电保护的 基本知识，在此基础上，依据电网故障时保护装置的动作原理，建立了基于贝叶 斯网络的电网故障诊断模型，通过人工鱼群算法学习了模型的参数，并给出了元 件诊断贝叶斯网络的自动生成方法，通过仿真实验验证了该方法的可行性和有效 性。最后结合贝叶斯网络诊断方法，建立了基于m a s 的电网故障诊断系统体系 结构，并对系统中各a g e n t 功能及a g e n t 间的协作关系进行了详细的说明。 第五章总结。对本文所作的工作和所取得的阶段性成果作了总结，指出今 后进一步的研究工作和努力方向。 7 华北电力大学硕士学位论文 第二章贝叶斯网络的基本理论 贝叶斯网络是用来表示变量间连接概率的图形模式，它提供了一种自然的表 示因果关系和依赖关系的方法，综合考虑专家知识和样本数据，可以进行定性分 析和定量分析。它将变量之间潜在的关联性用简洁的图形方法表示出来，表达的 语义直观、清晰，推理的结果和结论可信度强，便于解释和易于理解。贝叶斯网 络正以其独特的不确定性知识表达形式、丰富的概率表达能力、灵活的推理和学 习能力等成为人工智能领域最为引人注目的焦点之一。本章将主要对贝叶斯网络 的基本概念、贝叶斯网络的参数学习方法以及基于原因独立性假设的贝叶斯网络 模型n o i s y o r 和n o i s y - a n d 模型等内容进行论述和探讨。 2 1 贝叶斯网络简介 2 1 1 定义和基本概念 贝叶斯网络( b a y c s i 锄n e t w o r k ) t 2 , 4 0 1 ，也称为信度i 碉( b e l i e f n e t w o r k ) 、概率网 络( p r o b a b i l i t yn e t w o r k ) 、因果网( e a u s a ln e t w o r k ) 、知识图( k n o w l e d g em a p ) 等。贝 叶斯网络是一个有向无环的图形结构d a o ( d i r e c t e da c y c l i cg r a p h ) ，其中节点表 示问题域的随机变量，有向边表示节点间的依赖关系；每个节点有一个条件概率 表p ( x 。p a r e n t ( x 。) ) ，定量表达了该节点同其父节点间的相关关系，其中 ，打e 耐( z 。) 表示节点置的父节点集合。 设存在一个贝叶斯网络b 和一个联合概率分布p ，且贝叶斯网络b 中的每一 个节点同联合概率分布p 中的每一个随机变量两两对应。如果联合概率分布p 可 表达为： 上 p = n p 何i p a r e n t ( x ) ) ( 2 - 1 ) 则称贝叶斯网络b 表达了某联合概率分布p 。图2 - 1 所示为一个典型的贝叶 斯网络，该网络由6 个节点构成一个有向无环的图形结构，其中每个节点所包含 的条件概率表如图所示。该贝叶斯网络的联合概率分布公式为： ：曼誓? i ! 曼i 五) + p ( 以i x , , x 2 ) 卵( 五i x ：) p ( j ，l 五) ( 2 - 2 ) p ( 置i 五) 尸( 蜀) 8 华北电力大学硕士学位论文 i 0 1 x 1 1 i 一一 p ( x 4 1 x 2 ) 一 图2 - 1 一个典型的贝叶斯网络结构 因此一个贝叶斯网络可形式化定义如下：一个由n 个节点 蜀，以 构成的 贝叶斯网络b 可表达成一个二元组：b 。 s 为贝叶斯网络的结构，它是一个具有n 个节点的有向无环图。图中的 每一个节点唯一地对应一个随机变量，节点的状态对应随机变量的值。 图中的有向边表示变量之间的条件依赖关系。 p ：一个条件概率表集合p ( 互lp a r e n t ( x , ) ) 。 贝叶斯网络结构蕴含了很强的条件独立性，当给定一个节点的父节点后，除 它的后代节点外，该节点与所有其余节点之间条件独立。正是根据贝叶斯网络所 蕴含的这种条件独立性，一个贝叶斯网络b 可以表达一个联合概率分布： p ( 五，以) = n p ( 墨i 一- l ，x 1 ) = 丌p ( 五ip a r e n t ( x , ) ) ( 2 3 ) i - i1 - 1 在某领域中如果每一个随机变量均为2 值，则该联合概率分布需要给定2 “ 个参数，存在组合爆炸问题。贝叶斯网络所蕴含的条件独立性，极大地减少了计 算联合概率所需的参数数目。对于由6 个随机变量构成的随机系统，假定随机变 量均为2 值，则联合概率分布需要2 6 1 = 6 3 个参数。如果利用该随机系统变量间 的条件独立性，可以表达为图2 1 所示的贝叶斯网络，则只需给出 1 + 2 + 2 + 2 + 4 + 2 = 1 3 个参数。 贝叶斯网络所蕴含的条件独立性可以通过p e a r l 的d s e p a r a t i o n 判定准则来判 定。d s e p a r a t i o n 判定准则的定义如下【3 9 1 ： 设在贝叶斯网络b 中存在三个互不相交的节点集合x ，y ，z 。当从节点集合 x 中的任意节点到节点集合y 中的任意节点的所有可能路径中，没有一条路径满 足如下两个条件之一时，则称节点集合z 有向分割节点集合x 和节点集合y ，记 为： d ( x ，z ，y ) 。 9 华北电力大学硕士学位论文 条件一：在路径中存在一个节点，该节点的左右两节点的有向边均指向该节 点，且该节点或该节点的子节点中存在一个节点属于节点集合z 。 条件二：路径中的所有节点均不属于z 。 如果节点集合z 有向分割节点集合x 和y ，则表示节点集合x 中的节点在给 定节点集合z 中所有的状态后，同节点集合y 中的所有节点条件独立。可表达如 下： d ( 置z ，y ) a = p ( x = 叫z = 2 ，y = ，) = p ( x = x z = z ) ( 2 - 4 ) 2 1 2 贝叶斯网络的特点 随着理论研究的不断深入和应用水平的不断提高，贝叶斯网络已成为人工智 能领域的研究热点之一与人工神经网络、遗传算法等其它方法相比，贝叶斯网 络具有如下特点【3 8 4 1 】： ( 1 ) 坚实的理论基础 贝叶斯网络是一种概率图论模型，它建立在概率统计理论的基础上，不但具 有稳固的数学基础，而且逐步形成一个统一的理论体系和方法论。它运用相应的 定理和公式计算相关参数，其计算方法和推理过程严密，且具有灵活、通用的概 率推断算法。 ( 2 ) 强大的知识表达能力 贝叶斯网络的知识表示分为定性知识和定量知识。定性知识指网络的结构关 系，它表达了事物之间的因果联系；定量知识指节点的条件概率表，表达了节点 之间的相互依赖程度。通过定性知识和定量知识的有机结合，贝叶斯网络可以有 效地表达和分析不确定性问题。 ( 3 ) 灵活的学习机制 通过贝叶斯网络的学习，可以发现潜在的有用的模式或关系，实现对数据实 例的分类、聚类或预测等。并且贝叶斯网络随着专家知识和数据样本的更新，其 结构和参数也将得到相应的修正和更新，这类似于人类的学习方式和认知过程。 ( 4 ) 灵活的推理能力和直观清晰的推理结果 贝叶斯网络不仅能从原因推断结果( 因果推理) ，也能够从结果找出原因( 诊 断推理) ，并且能进行解释推理，即在已知结果和产生此结果的部分原因发生的情 况下，使用贝叶斯网络推理计算其它原因发生的概率。由于贝叶斯网络运用图形 的方式描述变量问的依赖关系，采用严密的数学推理方法，这就使其表达的语义 清晰直观，推理结果可信度强，也便于解释和易于理解。 l o 华北电力大学硕士学位论文 2 1 3 贝叶斯网络的构建方法 对于不同的问题和不同的应用领域，贝叶斯网络的构建过程不尽相同，但概 括起来一般需要经过以下三个步骤： 第一步，确定与建立模型有关的变量及这些变量的所有可能取值。对大多数 实际问题，通常假定它们能够用有限个离散的随机变量进行完全的表述。确定了 问题领域的变量集，即为确定了贝叶斯网络的节点。 第二步，根据变量之间的依赖关系确定贝叶斯网络的结构。专家知识丰富的 领域，可以根据专家对变量之间存在的因果依赖关系的认知，直接勾画出从原因 变量到结果变量之间的连接，即将专家知识直观的表达为贝叶斯网络。而专家知 识很少，但却拥有大量样本数据的领域，可以通过学习的方法构造贝叶斯网络的 结构。通过对样本数据的学习得到贝叶斯网络结构的方法，称之为贝叶斯网络的 结构学习，近年来已成为贝叶斯网络研究的热点和难点之一。同一领域所构建的 贝叶斯网络并不唯一。 第三步，确定网络中每一节点的条件概率表e ( x 。i p a r e n t ( x ，) ) 。一般通过对 样本数据集的学习得到。 实际上，建立一个贝叶斯网络往往是上述三个过程迭代地、反复地进行。当 有新的数据加入样本库时，贝叶斯网络可以利用这些新数据对网络结构和参数进 行更新。 2 2 贝叶斯网络的参数学习 2 2 1 参数学习方法 贝叶斯网络的学习是贝叶斯网络研究的主要任务之一，其目标是根据一定的 样本数据，自动构造个能够很好拟合样本数据的概率模型。贝叶斯网络学习包 括结构学习和参数学习两个部分，其中参数学习是结构学习的基础。参数学习是 指在已知贝叶斯网络结构的条件下，学习每个节点的条件概率表，也就是贝叶斯 网络构建的第三个步骤。根据样本数据的完备性，参数学习可分为：完备数据的 参数学习和不完备数据的参数学习两种。 为了便于表达，对条件概率表分层引入如下的表示符号： 0 = 【护1 0 2 一，0 一】； 口一= p ( 置lp a r e n t ( x i ) ) p j = 【口j l ，0 。2 一口i ，】；p f = p ( 五ip 可) 华北电力大学硕士学位论文 巩【融酝酴】；啄= p ( 互= 舛i p a ) 其中：蹦表示随机变量置的父结点的取值组合中第，个取值组合。用吼表示变 量置的可取值数目，根据概率的归一性，它们满足等式：艺= 1 j - l 此外，样本数据集表示为c = 矗，岛，oo 9 己j ，其中第i 个实例 己= i z = x 。，x ：= x ：，x n = x n 】，是对所有随机变量构成的向量( x l ，z ：，x 。) 的 一种赋值( 包括空值n u l l ) 。如果一个实例不舍空值，则称该实例是完整的；否则 是不完整的。由完整的实例构成的学习库称为完备数据集；否则称为不完备数据 集。 ( 一) 基于完备数据集的参数学习 基于完备数据集的参数学习，常用的方法有：最大似然估计方法( m l e ) 、贝 叶斯方法( m a p ) 等。 最大似然估计方法 最大似然估计基于传统的统计分析思想，依据样本与参数的似然程度来评判 样本与模型的拟合程度，将似然函数p ( c l 取极大值时的参数值痧作为对参数的 估计值。为了研究的方便，假设各个参数巨，之间相互独立，在此假设下可相互独 立的更新每个参数向量。通过推理，最终可得到条件概率表中各个参数的估计公 式为【4 0 1 ： r 缸= l ( 2 5 ) 艺 k = l 上式中，眦表示在实例数据集合中，变量置取第七个值，父节点集合取第- ， 个取值组合的实例的个数。 利用该公式，可以很容易地计算出给定贝叶斯网络结构的条件概率表。然而， 当样本数据集中的样本数据不够多时，最大似然往往不够可靠，尤其是当 羔。= o 时，最大似然根本无法工作。 贝叶斯方法 贝叶斯方法基于贝叶斯学习理论，不同于经典统计学对概率频度性的理解， 贝叶斯统计学派认为概率是人们对事物发生可能性的一种合理置信度，具有主观 性。给定一个含有未知参数0 的分布p ( x l 印以及一个完整的实例数据集合，贝叶 斯方法对未知参数向量估计的基本思想如下： 1 2 华北电力大学硕士学位论文 ( 1 ) 将未知参数口看成一个随机变量( 区别于经典统计学) 。 ( 2 ) 根据以往对参数口的知识，确定先验分布p ( 目) 。如果没有任何知识可参 考，可以采用贝叶斯假设，即认为尸( 是一个均匀分布，口在它的取值范围内取 到各个值的机会均等。 ( 3 ) 计算参数口的后验概率e ( a lc ) ，以此作为参数估计的依据。后验分布获 得后，有两种方法估计参数的值：一是用后验分布最大时参数口的值，作为参数 的估计值，称为最大后验分布估计( m a x i m i z eap o s t e r i o r ) ；另一种是采用后验分 布的数学期望作为对参数的估计值，称为条件期望估计。 条件期望估计又称为贝叶斯预测法，是指将参数乃的后验分布的数学期望作 为参数的估计值，即： ： 一一 口= 耳( a l c ) ( 印= i o e ( olc ) d o ( 2 6 ) 为了简化计算，一般假设各个参数向量巩相互独立，称为参数独立性假设。 当实例数据集合c 完整时，可以证明此时参数玩的后验分布也相互独立。因此可 以独立计算各个参数玩的后验分布p ( 巩jc ) ，并利用该后验分布分别进行参数估 计。 为了计算后验分布p ( 巩ic ) ，按照贝叶斯统计的思想，必须首先为参数舀指 定一个先验分布。先验分布的选取有多种方法，如前面的贝叶斯假设，另外还有 最大熵原则、共轭分布法等。一般最常用的是共轭分布法，当选用共轭分布时， 参数的后验概率与先验概率具有相同的形式，可以极大地简化计算。d i r i c h l e t 是 一种常用的共轭分布，该分布的定义为： d i r ( 否ia , ，坼) = _ 坚型一冉够- 1 ( 2 7 ) 兀r ( ) 柚 其中，称为超级参数，满足：瓯 o ；e e k - - 1 ；口= ；r ) 函数的定义为： r ( a ) - - f t 。- i e - t d t ； 对于d i r i c h l e t 分布，随机变量幺的数学期望为： 。譬灿一训孔轰 任8 ) 选用d i r i c h l e t 分布作为玩的先验分布后，则瓦的后验分布为： 华北电力大学硕士学位论文 p ( 玩jc ) = p ( c 而) p ( 茚) = n 移垃n 筇。= 粤n 移+ 略_ 1 ( 2 - 9 ) “ 兀r ( a d “1兀r ( ) “1 可见，后验分布仍然是一个d i r i c h l e t 分布。所以很容易求出其数学期望为： 缸= b ( 巩( 啄) = i 盟( 2 - 1 0 ) ( + 上式就是采用条件期望法学习贝叶斯网络的条件概率表的公式。公式中的参 数吼代表专家的知识，在实际计算中，可以由专家采用等价抽样规模法来估计。 特殊情况下，可以采用贝叶斯假设，即假设变量取各个值的概率都相等，即： a k = lj i a = 。 ( 二) 基于不完备数据集的参数学习 当数据不完备时，比较常用的参数学习方法有e m 算法 ( e x p e c t a t i o n m a x i m i z a t i o n ) 和g i b b s 抽样方法等。 e m 方法 e m 方法是一种从不完备数据集中计算最大似然估计和最大后验估计的通用 方法。它根据交替运用期望步骤和最大化步骤，达到数据似然值的局部最优化， 其中期望步骤( e x p e c t a t i o ns t e p ) 是根据已有参数发现所期望的完整数据，最大化 步骤( m a x i m i z a t i o ns t e p ) 贝o 重新估计参数。算法如下： 第一步：给参数百指定一个初始值，一般随机地给定。 - - 步( e x p e c t a t i o ns t e p ) ：计算每一个充分统计量对于分布p ( xi 百，c ) 的 期望值e e ( 柙西竹 e 枷自( ) = p 衙，鼢川己，百) ( 2 1 1 ) 利用公式( 2 7 ) ，对实例数据集合中每一个实例己进行考察，可能有以下几种 情况： ( 1 ) 变量置及其父节点集合n 。中的变量在实例己中都有观测值：如果五及 p a ，的观测值五= 。砰且p a ，= n o 那么，( 彤，p a ? i 己，蚕) = 1 ；否则 p ( z ? ，p a fi 己，百) = o 。 1 4 华北电力大学硕士学位论文 ( 2 ) 变量置及其父节点集合p a ，中的变量，有一些在实例己中没有观测值：由 于此时贝叶斯网络的结构和条件概率表已给定，所以可利用贝叶斯网络的 推理算法，计算条件概率p ( f ，? a f 己，蚕) 的值。 第三步( m a x i m i z a t i o ns t e p ) ：利用上面求出的期望充分统计量，计算条件概率 表的估计值百。 若采用最大似然估计算法，则有良： 也 ( 2 1 2 ) 否e p ( 腑，( ) 若采用最大后验估计算法，则有敏：百丝二兰墅姓( 2 - 1 3 ) ( 吒+ 耳( 朋卵) ( k ) ) 第三步：比较孑与百的值，如果两者相差较大，则百= 百，转到第二步继续进 行计算：否则算法结束，此时百就是求得的条件概率表。 g i b b s 抽样方法 g i b b s 抽样算法的基本思想是利用已有数据推断丢失的数据，使具有丢失数 据的数据库成为完整的数据库。修复过程如下： 第一步，初始化：以某种方式初始化丢失的数据，形成完整的实例数据集合 c 。给每一个参数磊指定初始值，这