第7章贝叶斯网络

1、2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘1第第7章章 贝叶斯网络贝叶斯网络2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘2第第7章章 贝叶斯网络贝叶斯网络7.1 引例引例7.2 贝叶斯概率基础贝叶斯概率基础7.3 贝叶斯网络概述贝叶斯网络概述7.4 贝叶斯网络的预测、诊断和训练贝叶斯网络的预测、诊断和训练算法算法7.5 工具包应用工具包应用2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘37.1 引例引例l参加晚会后，第参加晚会后，第二天早晨呼吸中二天早晨呼吸中有酒精味的可能有酒精味的可能性有多大？性有多大？l如果头疼，患脑

2、如果头疼，患脑瘤的概率有多大？瘤的概率有多大？l如果参加了晚会，如果参加了晚会，并且头疼，那么并且头疼，那么患脑瘤的概率有患脑瘤的概率有多大？多大？PartyHangoverBrain TumorHeadacheSmell AlcoholPos Xray2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘47.2 贝叶斯概率基础贝叶斯概率基础7.2.1 先验概率、后验概先验概率、后验概率和条件概率率和条件概率7.2.2 条件概率公式条件概率公式7.2.3 全概率公式全概率公式7.2.4 贝叶斯公式贝叶斯公式2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘57

3、.2.1 先验概率、后验概率和条先验概率、后验概率和条件概率件概率l先验概率：根据历史的资料或主观判断所先验概率：根据历史的资料或主观判断所确定的各种时间发生的概率确定的各种时间发生的概率l后验概率：通过贝叶斯公式，结合调查等后验概率：通过贝叶斯公式，结合调查等方式获取了新的附加信息，对先验概率修方式获取了新的附加信息，对先验概率修正后得到的更符合实际的概率正后得到的更符合实际的概率l条件概率：某事件发生后该事件的发生概条件概率：某事件发生后该事件的发生概率率2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘67.2.2 条件概率公式条件概率公式l条件概率的计算可以通过两个事

4、件的条件概率的计算可以通过两个事件的发生概率，以及相反方向的条件概率发生概率，以及相反方向的条件概率得到得到)()()|()|(BPAPABPBAP2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘77.2.3 全概率公式全概率公式l基本事件的互斥性基本事件的互斥性l基本事件的完备性基本事件的完备性niiiBAPBPAP1)|()()(njijiBBji,.,2 , 1,nBBB.212022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘87.2.4 贝叶斯公式贝叶斯公式l独立互斥且完备的先验事件概率可以独立互斥且完备的先验事件概率可以由后验事件的概率和相应条件

5、概率决由后验事件的概率和相应条件概率决定定niiiiiiBAPBPBAPBPABP1)|()()|()()|(2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘97.3 贝叶斯网络概述贝叶斯网络概述7.3.1 贝叶斯网络的组成和结构贝叶斯网络的组成和结构7.3.2 贝叶斯网络的优越性贝叶斯网络的优越性7.3.3 贝叶斯网络的贝叶斯网络的3个主要议题个主要议题2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘107.3.1 贝叶斯网络的组成和结构贝叶斯网络的组成和结构l贝叶斯网络是描述随机变量（事件）贝叶斯网络是描述随机变量（事件）之间依赖关系的一种图形模式，

6、是一之间依赖关系的一种图形模式，是一种用来进行推理的模型种用来进行推理的模型l贝叶斯网络由网络结构和条件概率表贝叶斯网络由网络结构和条件概率表两部分组成。网络结构是一个有向无两部分组成。网络结构是一个有向无环图环图2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘117.3.2 贝叶斯网络的优越性贝叶斯网络的优越性l对已有的信息要求低，可以进行信息对已有的信息要求低，可以进行信息不完全、不确定情况下的推理不完全、不确定情况下的推理l具有良好的可理解性和逻辑性具有良好的可理解性和逻辑性l专家知识和试验数据的有效结合相辅专家知识和试验数据的有效结合相辅相成，忽略次要联系而突出主要

7、矛盾，相成，忽略次要联系而突出主要矛盾，可以有效避免过学习可以有效避免过学习l推理结果说服力强，贝叶斯网络对先推理结果说服力强，贝叶斯网络对先验概率的要求大大降低验概率的要求大大降低2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘127.3.3 贝叶斯网络的贝叶斯网络的3个主要议题个主要议题l贝叶斯网络预测贝叶斯网络预测l贝叶斯网络诊断贝叶斯网络诊断l贝叶斯网络学习贝叶斯网络学习2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘137.4 贝叶斯网络的预测、诊断和贝叶斯网络的预测、诊断和训练算法训练算法7.4.1 概率和条件概率数据概率和条件概率数据7.4

8、.2 贝叶斯网络的预测算法贝叶斯网络的预测算法7.4.3 贝叶斯网络的诊断算法贝叶斯网络的诊断算法7.4.4 贝叶斯网络预测和诊断的综合算法贝叶斯网络预测和诊断的综合算法7.4.5 贝叶斯网络的建立和训练算法贝叶斯网络的建立和训练算法2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘147.4.1 概率和条件概率数据概率和条件概率数据l左表给出了事件发生的概率：左表给出了事件发生的概率：PT发生发生的概率是的概率是0.2，不发生的概率是，不发生的概率是0.8l右表给出了事件发生的条件概率：右表给出了事件发生的条件概率：PT发生时，发生时，HO发生的概率是发生的概率是0.7P(

9、PT)P(PT)P(BT)P(BT)True0.2000.001False0.8000.999P(HO|PT)P(HO|PT)PT=TruePT=TruePT=FalsePT=FalseTrue0.7000False0.3001.0002022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘157.4.2 贝叶斯网络的预测算法贝叶斯网络的预测算法输入：给定贝叶斯网络输入：给定贝叶斯网络B（包括网络结构（包括网络结构m个节点以及某些节点间的连线、原因个节点以及某些节点间的连线、原因节点到中间节点的条件概率或联合条件概率），给定若干个原因节点发生与节点到中间节点的条件概率或联合条件概率

10、），给定若干个原因节点发生与否的事实向量否的事实向量F（或者称为证据向量）；给定待预测的某个节点（或者称为证据向量）；给定待预测的某个节点t。输出：节点输出：节点t发生的概率。发生的概率。（1）把证据向量输入到贝叶斯网络）把证据向量输入到贝叶斯网络B中；中；（2）对于）对于B中的每一个没处理过的节点中的每一个没处理过的节点n，如果它具有发生的事实（证据），则，如果它具有发生的事实（证据），则标记它为已经处理过；否则继续下面的步骤；标记它为已经处理过；否则继续下面的步骤； （3）如果它的所有父节点中有一个没有处理过，则不处理这个节点；否则，继）如果它的所有父节点中有一个没有处理过，则不处理这个节

11、点；否则，继续下面的步骤；续下面的步骤；（4）根据节点）根据节点n的所有父节点的概率以及条件概率或联合条件概率计算节点的所有父节点的概率以及条件概率或联合条件概率计算节点n的的概率分布，并把节点概率分布，并把节点n标记为已处理；标记为已处理；（5）重复步骤（）重复步骤（2）-（4）共）共m次。此时，节点次。此时，节点t的概率分布就是它的发生的概率分布就是它的发生/不发不发生的概率。算法结束。生的概率。算法结束。2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘167.4.3 贝叶斯网络的诊断算法贝叶斯网络的诊断算法输入：给定贝叶斯网络输入：给定贝叶斯网络B（包括网络结构（包括

12、网络结构m个节点以及某些节点间的连线、原因个节点以及某些节点间的连线、原因节点到中间节点的条件概率或联合条件概率），给定若干个结果节点发生与节点到中间节点的条件概率或联合条件概率），给定若干个结果节点发生与否的事实向量否的事实向量F（或者称为证据向量）；给定待诊断的某个节点（或者称为证据向量）；给定待诊断的某个节点t。输出：节点输出：节点t发生的概率。发生的概率。（1）把证据向量输入到贝叶斯网络）把证据向量输入到贝叶斯网络B中；中；（2）对于）对于B中的每一个没处理过的节点中的每一个没处理过的节点n，如果它具有发生的事实（证据），则，如果它具有发生的事实（证据），则标记它为已经处理过；否则继续

13、下面的步骤；标记它为已经处理过；否则继续下面的步骤； （3）如果它的所有子节点中有一个没有处理过，则不处理这个节点；否则，继）如果它的所有子节点中有一个没有处理过，则不处理这个节点；否则，继续下面的步骤；续下面的步骤；（4） 根据节点根据节点n所有子节点的概率以及条件概率或联合条件概率，根据条件概所有子节点的概率以及条件概率或联合条件概率，根据条件概率公式，计算节点率公式，计算节点n的概率分布，并把节点的概率分布，并把节点n标记为已处理；标记为已处理；（5）重复步骤（）重复步骤（2）-（4）共）共m次。此时，原因节点次。此时，原因节点t的概率分布就是它的发生的概率分布就是它的发生/不发生的概率

14、。算法结束。不发生的概率。算法结束。2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘177.4.4 贝叶斯网络预测和诊断的贝叶斯网络预测和诊断的综合算法综合算法l利用贝叶斯网络进行单纯的预测或进行单利用贝叶斯网络进行单纯的预测或进行单纯的诊断的情况时比较少的，一般情况下，纯的诊断的情况时比较少的，一般情况下，需要综合使用预测和诊断的功能需要综合使用预测和诊断的功能l综合使用预测和诊断的功能时，预测和诊综合使用预测和诊断的功能时，预测和诊断的使用没有先后顺序断的使用没有先后顺序l把已知发生把已知发生/不发生事件作为证据，向整个不发生事件作为证据，向整个网络扩散网络扩散l通过证

15、据，可以把网络的规模逐渐减小，通过证据，可以把网络的规模逐渐减小，以获得需要节点的概率信息以获得需要节点的概率信息2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘187.4.5 贝叶斯网络的建立和训练贝叶斯网络的建立和训练算法算法l首先要把实际问题的事件抽象为节点首先要把实际问题的事件抽象为节点l建立两个或多个节点之间的连线。有明确的因果建立两个或多个节点之间的连线。有明确的因果关系或相关关系的节点之间可以建立连线，否则关系或相关关系的节点之间可以建立连线，否则尽量不建立连线尽量不建立连线总的数据条数出现的数据条数mmPPP发生的次数共同发生的次数和PSQSPSPSQSP|

16、共同发生的次数和共同发生的次数QSPSRSQSPSQSPSRSP,),|(事件的概率：事件条件概率：事件的联合条件概率：2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘197.5 工具包应用工具包应用第第1步，在步，在SQL Server 2005中创建一个新的数据库中创建一个新的数据库第第2步，在数据库步，在数据库BayesDatabase中创建一个具有中创建一个具有4个列的个列的新数据表新数据表Table_2第第3步，打开数据表步，打开数据表Table_2，向数据表中输入数据，向数据表中输入数据第第4步，创建新的商业智能项目步，创建新的商业智能项目BayesProjec

17、t第第5步，建立步，建立BayesA中的数据连接，连接到数据库中的数据连接，连接到数据库BayesDatabase第第6步，建立步，建立BayesA中的数据源视图，在建立视图的过程中中的数据源视图，在建立视图的过程中选择数据库中的表格选择数据库中的表格Table_2第第7步，创建挖掘结构步，创建挖掘结构第第8步，预测和诊断步，预测和诊断2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘20第第1步，创建新的数据库步，创建新的数据库l第第1步，在步，在SQL Server 2005中创建一中创建一个新的数据库（创建的过程全部取默个新的数据库（创建的过程全部取默认值），把新建的数

18、据库命名为认值），把新建的数据库命名为BayesDatabase。2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘21第第2步，创建新数据表步，创建新数据表l第第2步，在数据库步，在数据库BayesDatabase中中创建一个具有创建一个具有4个列的新数据表个列的新数据表Table_2。2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘22第第3步，向数据表中输入数据步，向数据表中输入数据l第第3步，打开数据表步，打开数据表Table_2，向数据，向数据表中输入数据。表中输入数据。2022-5-32022-5-3数据仓库与数据挖掘数据仓库与数据挖掘23第第4步，创建新的商业智能项目步