第五章人工智能蔡自兴

第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论1第五章不确定性推理概述概率论基础Bayes网络主观Bayes方法确定性方法证据理论2概述不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。很多原因导致同一结果推理所需的信息不完备背景知识不足信息描述模糊信息中含有噪声规划是模糊的推理能力不足解题方案不唯一在人类的知识和思维行为中，精确性只是相对的，不精确性才是绝对的。知识工程需要各种适应不同类的不精确性特点的不精确性知识描述方法和推理方法。3概述-表示的3方面问题不确定问题的数学模型表示的3方面问题表示问题： 表达要清楚。表示方法规则不仅仅是数，还要有语义描述。计算问题： 不确定性的传播和更新。也是获取新信息的过程。4不确定性推理例子例如，对于如下的推理过程：R1：A1∧A2→B1R2：A2∨A3→B2R3：B1→BR4：B2→B 在描述这些规则时 采用的都是不确定性知识表示方式5推理树结果图6概述-表示的3方面问题语义问题：将各个公式解释清楚。语义问题：如何解释表示和计算的含义，目前多用概率方法。如：f（B，A）可理解为当前提A为真时结论B为真的一种影响程度，C（A）可理解为A为真的程度。特别关心的是f（B，A）的值：(T：True，F：False) 1）A(T)→B(T),f（B，A）=? 2）A(T)→B(F),f（B，A）=? 3）B独立于A，f（B，A）=?对C（A）关心的是： 1）A为TRUE，C（A）＝？ 2）A为FALSE,C（A）＝？7概述-分类（1）不确定性推理方法可分为形式化方法和非形式化方法。形式化方法有逻辑法、新计算法和新概率法。逻辑法是非数值方法，采用多值逻辑和非单调逻辑来处理不确定性。传统的有基于概率理论的贝叶斯网络等。新计算法认为概率法不足以描述不确定性，从而出现了证据理论（也叫Dempster－Shafter，D-S方法），确定性方法（CF法）以及模糊逻辑方法。新概率法试图在传统的概率论框架内，采用新的计算方法以适应不确定性描述。8概述-分类（1）不确定性推理方法可分为形式化方法和非形式化方法。非形式化方法是指启发性方法，对不确定性没有给出明确的概念。

9概述-分类（2）不确定推理方法：工程方法、控制方法和并行确定性法。工程法是将问题简化为忽略哪些不确定性因素。控制法是利用控制策略来消除不确定性的影响，如启发式的搜索方法。并行确定性法是把不确定性的推理分解为两个相对独立的过程：一个过程不计不确定性采用标准逻辑进行推理；另一过程是对第一个过程的结论加以不确定性的度量。前一过程决定信任什么，后一过程决定对它的信任程度。

10第五五章章不不确确定定性性推推理理概述述概率率论论基基础础Bayes网络络主观Bayes方法确定性方方法证据理论论11第五章不不确定定性推理理概述概率论基基础Bayes网络络主观Bayes方法确定性方方法证据理论论12概率论基基础概率论是是研究随随机现象象中数量量规律的的科学。。所谓随随机现象象是指在在相同的的条件下下重复进进行某种种实验时时，所得得实验结结果不一一定完全全相同且且不可预预知的现现象.众众所周周知的是是掷硬币币的实验验。人工智能能所讨论论的不确确定性现现象，虽虽然不完完全是随随机的过过程，但但是实践践证明，，采用概概率论的的思想方方法考虑虑能够得得到较好好的结果果。在这这节中我我们简单单给出概概率论的的基本概概念和贝贝叶斯定定理。13概率论基基础（随机事事件）随机实验验：随机实实验是一一个可观观察结果果的人工工或自然然的过程程，其产产生的结结果可能能不止一一个，且且不能事事先确定定会产生生什么结结果。样本空间间：样本空空间是一一个随机机实验的的全部可可能出现现的结果果的集合合，通常常记作Ω，Ω中中的点（（即一个个可能出出现的实实验结果果）成为为样本点点，通常常记作ωω。随机事件件：随机事事件是一一个随机机实验的的一些可可能结果果的集合合，是样样本空间间的一个个子集。。常用大大写字母母A,B,C,…表示示。14概率论基基础（事件间的的关系与与运算）两个事件件A与B可能有有以下几几种特殊殊关系：：包含：若事件件B发生则事事件A也发生，，称“A包含B”，或““B含于A”，记作作或或。。等价：若且且，，即A与B同时发生生或同时时不发生生，则称称A与B等价，记记作A=B。互斥：若A与B不能同时时发生，，则称A与B互斥，记记作AB=φ对立：若A与B互斥，且且必有一一个发生生，则称称A与B对立，记记作或，，又称称A为B的余事件件，或B为A的余事件件。任意两个个事件不不一定会会是上述述几种关关系中的的一种。。15概率论基基础（事件间的的关系与与运算）设A，B，A1，A2，…An为一些事事件，它它们有下下述的运运算：交：记C=“A与B同时发生生”，称称为事件件A与B的交，C={ω|ω∈∈A且ω∈B}，记作C=A∩B或C=AB。类似地用用表示事件件“n个事件A1,A2,…An同时发生生”。16概率论基础（事件间的关系系与运算）设A，B，A1，A2，…An为一些事件，，它们有下述述的运算：并：记C=“A与B中至少有一个个发生”，称称为事件A与B的并，C={ω|ω∈A或ω∈B}，记作C=A∪B。类似地用表示事件“n个事件A1,A2,…An中至少有一个个发生”。17概率论基础（事件间的关系系与运算）设A，B，A1，A2，…An为一些事件，，它们有下述述的运算：差：记C=“A发生而B不发生”，称称为事件A与B的差，C={ω|ω∈A但}，记作C=A\B或C=A-B。。求余：18概率论基础（运算的性质）事件的运算有有以下几种性性质：交换率：结合律：分配律：摩根率：事件计算的优优先顺序为：：求余，交，，差和并。19概率论基础（概率定义）定义：设Ω为一个随机机实验的样本本空间，对ΩΩ上的任意事事件A，规定定一个实数与与之对应，记记为P(A)，满足以下下三条基本性性质，称为事事件A发生的的概率：①②③若二事件件A和B互斥斥，即，，则则以上三条基本本规定是符合合常识的。，20概率论基础（概率性质）定义：设{An,n=1,2,……}为一组有有限或可列无无穷多个事件件，两两不相相交，且，，则称事事件族{An,n=1,2,……}为样本空空间Ω的一个完备事件族，又若对任意意事件B有BAn=An或φ,n=1,2,…，则称称{An,n=1,2,……}为基本事件族。，21概率论基础（概率性质）完备事件族与与基本事件族族有如下的性性质：定理：若{An,n=1,2,……}为一完备备事件族，则则，且对于一一事件B有又若{An,n=1,2,……}为一基本本事件族，则则，22概率论基础础（统计概率性质）对任意事件件A，有必然事件Ω的概率P(Ω)=1，，不可能事事件φ的概率P(φ)=0对任意事件件A，有设事件A1，A2，…An（k≤n）是两两两互不相容容的事件，，即有，，则设A，B是是两事件，，则23概率论基础础（条件概率）定义：设A，B为事件且且P(A)>0，称称为事件A已已发生的条条件下，事事件B的条件概率，P(A)在概率推推理中称为为边缘概率。简称P(B|A)为给定A时B发生的概率率。P(AB)称为A与B的联合概率。有联合概率率公式：24概率论基础础（条件概率性质）,若,则则乘法公式：：全概率公式式：设A1，A2，…An互不相交，，，，且，则对于任任意事件A有25概率论基础础（事件独立立性）定义：设A,B为两个事事件，满足足P(AB)=P(A)P(B),则则称事件件A与事件件B是相互互独立的，，简称A与B独立立。事件独立性性的性质有有：①若P(A)=0或或1，则A与任任一事件独独立；②若A与B独立，且且P(B)>0,则则P(A|B)=P(A);③若A与B独独立，则A与～B，，～A与B，～A与与～B都是是相互独立立的事件对对；26概率论基础础（事件独立立性）定义：设A1,A2,…An为n个事件件，满足下下述条件：：P(AiAj)=P(Ai)P(Aj)1≤i<j≤≤nP(AiAjAk)=P(Ai)P(Aj)P(Ak)1≤i<j<k≤n……P(AiAj…An)=P(Ai)P(Aj)…P(An)则称事件A1,A2,…An相互独立。。N个事件相相互独立的的性质有：①若n个事事件A1,A2,…An相互独立，，则对于m<n,其中中任意m个个事件也是是相互独立立的。②若n个事事件A1,A2,…An相互独立，，则对于0≤m≤n,其中任任意m个事事件与其余余n-m个个事件的对对立事件构构成n个相相互独立的的事件。27概率论基础础（贝叶斯定理理）设A，B1，B2，…，Bn为一些事件件，P(A)>0，，B1，B2，…，Bn互不相交，，P(Bi)>0,i=1,2,……,n，且，，则则对于k=1,2,…,n，有有：贝叶斯公式式容易由条条件概率的的定义、乘乘法公式和和全概率公公式得到。。在贝叶斯斯公式中，，P(Bi),i=1,2,…,n称为先验概率，而P(Bi|A)i=1,2,……,n称为后验概率也是条件概率。28概率论基础础（贝叶斯定理理），贝叶叶斯斯原原理理的的含含义义可可解解释释如如下下：：B1，B2，……，，Bn为n个个互互不不相相容容的的““原原因因””，，而而A为为““结结果果””，，在在实实际际问问题题中中，，““原原因因””发发生生的的概概率率(P(A|Bi))(也也是是条条件件概概率率)都都是是可可以以事事先先估估计计的的,则则可可以以用用贝贝叶叶斯斯反反过过来来计计算算已已知知““结结果果””的的某某一一““原原因因””产产生生的的条条件件概概率率(P(Bk|A)).当某某个个P(Bk|A)比比较较大大时时，，则则一一观观察察到到A就就首首先先考考虑虑到到是是由由Bk引起起的的；；另另一一方方面面，，即即使使P(Bk|A)的的值值不不大大，，但但它它与与P(Bk)相相比比大大大大增增加加了了，，这这现现象象说说明明Bk与A有有很很紧紧密密的的联联系系，，因因而而需需要要加加以以充充分分的的重重视视。。29第五五章章不不确确定定性性推推理理概述述概率率论论基基础础Bayes网网络络主观观Bayes方方法法确定定性性方方法法证据据理理论论30第五五章章不不确确定定性性推推理理概述述概率率论论基基础础Bayes网网络络主观观Bayes方方法法确定定性性方方法法证据据理理论论31贝叶叶斯斯网网络络二十十世世纪纪八八十十年年代代贝叶叶斯斯网络络（（BayesNetwork））成成功功地地应应用用于于专专家家系系统统，，成成为为表表示示不不确确定定性性专专家家知知识识和和推推理理的的一一种种流流行行的的方方法法。。基基于于贝叶叶斯斯方法法的的贝叶叶斯斯网网络络是一一种种适适应应性性很很广广的的手手段段和和工工具具，，具具有有坚坚实实的的数数学学理理论论基基础础。。在综综合合先先验验信信息息（（领领域域知知识识））和和数数据据样样本本信信息息的的前前提提下下，，还还可可避避免免只只使使用用先先验验信信息息可可能能带带来来的的主主观观偏偏见见。。虽虽然然很很多多贝贝叶叶斯斯网网络络涉涉及及的的学学习习问问题题是是NP难难解解的的。。但但是是，，由由于于已已经经有有了了一一些些成成熟熟的的近近似似解解法法，，加加上上一一些些限限制制后后计计算算可可大大为为简简化化，，很很多多问问题题可可以以利利用用近近似似解解法法求求解解。。贝叶叶斯斯网网络络方方法法的的不不确确定定性性表表示示基基本本上上是是保保持持了了概概率率的的表表示示方方式式，，可可信信度度计计算算也也是是概概率率计计算算方方法法，，只只是是在在实实现现时时，，各各具具体体系系统统根根据据应应用用背背景景的的需需要要采采用用各各种种各各样样的的近近似似计计算算方方法法。。推推理理过过程程称称为为概概率率推推理理。。因因此此，，贝贝叶叶斯斯网网络络没没有有其其它它确确定定性性推推理理方方法法拥拥有有的的确确定定性性表表示示、、计计算算、、语语义义解解释释等等问问题题。。本本节节只只介介绍绍贝贝叶叶斯斯网网络络的的基基本本概概念念和和简简单单的的推推理理方方法法。。32贝叶斯网络（事件的独立性）独立：如果X与Y相互独立，，则P(X,Y)=P(X)P(Y)P(X|Y)=P(X)条件独立：如果在给定定Z的条件下下，X与Y相相互独立，则则P(X|Y,Z)=P(X|Z)实际中，条件件独立比完全全独立更重要要33贝叶斯网络（联合概率）联合概率：P(X1,X2,…,XN)如果相互独立立：P(X1,X2,…,XN)=P(X1)P(X2)…P(XN)条件概率：P(X1,X2,…,XN)=P(X1|X2,…,XN)P(X2,…,XN)迭代表示：P(X1,X2,…,XN)=P(X1)P(X2|X1)P(X3|X2X1)…P(XN|XN-1,…,X1)=P(XN)P(XN-1|XN)P(XN-2|XN-1XN)…P(X1|X2,…,XN)实际应用中就就是利用条件件独立性的性性质简化网络络复杂性的。。34贝叶斯网络（基本概念）贝叶斯网络：一系列变量的的联合概率分分布的图形表表示。一个表示变量量之间的相互互依赖关系的的数据结构；；图论与概率率论的结合。。35贝叶斯网络（因果关系网络络）假设：命题S(smoker)：该患者是一一个吸烟者命题C(coalMiner)：该患者是一一个煤矿矿井井工人命题L(lungCancer)：他患了肺癌癌命题E(emphysema)：他患了肺气气肿由专家给定的的假设可知，，命题S对命题L和命题E有因果影响，，而C对E也有因果影响响。命题之间间的关系可以以描绘成因果果关系网。每一个节点代代表一个证据据，每一条弧弧代表一条规规则（假设）），连接结点点的弧表达了了由规则给出出的、节点间间的直接因果果关系。其中，节点S，C是节点L和E的父节点或称称双亲节点，，同时，L，E也称为是S和C的子节点或称称后代节点。。36贝叶斯网络（因果关系图例例）其中，，节点S，C是节点点L和E的父节点点或称双亲节节点，同时时，L，E也称为为是S和C的子节点点或称后代节节点。SCEL因果关关系图图例37贝叶斯斯网络络（贝叶斯斯网络络）贝叶斯斯网就就是一一个在在弧的的连接接关系系上加加入连连接强强度的的因果果关系系网络络。38贝叶斯斯网络络（图例）BADEFCG贝叶斯斯网络络图例例无环图图和指指定概概率值值P(A),P(B),P(B|AC),P(E|C),P(D|C),P(F|E),P(G|DEF)39贝叶斯斯网络络（图例）非贝叶叶斯网网络图图例BADCEGF40贝叶斯斯网络络（定义）两个部部分贝叶斯斯网络络结构构图，，这是是一个个有向无无环图图（DAG:DirectedAcyclicGraph），其其中图图中的的每个个节点点代表表相应应的变变量。。当有有向弧弧由节节点A指向节节点B时，则则称：：A是B的父节节点；；B是A的子节节点。。节点和和节点点之间间的条件概概率表表（ConditionalProbabilityTable,CPT），也也就是是一系系列的的概率率值，，表示示了局局部条条件概概率分分布。。P(node|parents)。目的：：由证据据得出出原因因发生生的概概率。即观察察到P(Y)，，求P(X|Y)41贝叶斯斯网络络（如何构构造）选择变变量，，生成成节点从左至至右（（从上上到下下），，排列节点填充网网络连接弧弧，表示示节点点之间间的关关系得到条件概概率关关系表表条件概概率表表示的的概率率网络络有时时叫““BeliefNets””42贝叶斯网网络（计算）有向非循循环图是是各个节节点变量量关系传传递的合合理表达达形式。。条件概率率的引入入使得计计算较之之全连接接网络有有了大大大的简化化。CPT表表相对比比较容易易得到。。有时可以以用某种种概率分分布表示示，需要要做的指指示计算算表示的的参数。。43贝叶斯网网络（计算续）简单的联联合概率率可以直直接从网网络关系系上得到到如：P(X,Y)=P(X)P(Y|X)又如：P(X,Y,Z)=P(X)P(Y)P(Z|X,Y)XYP(X)P(Y|X)XZYP(X)P(Z|Y,X)P(Y)44贝叶斯网网络（例）CPT表为：P(S)=0.4P(C)=0.3(E|S,C)=0.9P(E|S,~C)=0.3P(E|~S,C)=0.5贝叶斯网网络实例例图P(E|~S,~C)=0.1。。SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.945贝叶斯网网络（例续）上图例中中的联合合概率密密度为由图可知知：E与L在S条件下独独立，所所以P(E|S,C,L)＝P(E|S,C),L与C在S,E条件下独独立，所所以P(L|S,C)=P(L|S)C与S在E条件下独独立，所所以P(C|S)=P(C)以上三条条等式的的正确性性，可以以从贝叶叶斯网的的条件独独立属性性：每个变量量与它在在图中的的非继承承节点在在概率上上是独立立的推出。同同样，从从后面给给出的D分离的定定义的特特性中也也可以得得到相同同的结论论。简化后的的联合概概率密度度为，显然，简简化后的的公式比比原始的的数学公公式更加加简单明明了，计计算复杂杂度低很很多。如如果原贝贝叶斯网网中的条条件独立立语义数数量较多多，这种种减少更更加明显显。46贝叶斯网网络（独立）独立P(X,Y)=P(X)P(Y)P(X|Y)=P(X)P(Y|X)=P(Y)独立时求求解可以直接接在网络络图上求求47贝叶斯网网络（条件独立立）对于X,Y,E:X与与Y在给给定E的的条件下下独立P(X|Y,E)=P(X|E)P(Y|X,E)=P(Y|E)多个变量量组：d分离（d-separate）P(X1,X2,…,Xn|Y1,Y2,…,Ym,E1,E2,…,Ep)=P(X1,X2,…,Xn|E1,E2,…,Ep)如果一组组节点X在给定定E的条条件下，，从Xi到Yj的每一条条通路都都被d分分离(即即Ek)，则称称X独立立于另一一组节点点Y(节点组组Ed分离X与Y)48贝叶斯网网络（D分离）图中有三三个节点点S，L，EL（结果）影影响S（起因），，S影响E（另一个结结果）。如果给定原原因S后，L并不能告诉诉我们有关关E的更多事情情。即对于S，L和E是相对独立立的，那么在计计算S和L的关系时就就不用过多多地考虑E，将会大大大减少计算算复杂度。。称S能D分离L和E。D分离是一种种寻找条件独立的有效方法法。SCELP(S)=0.4P(C)=0.3P(E|S,C)=0.949贝叶斯网络络（D分离-串串行）串行连接Linear串行连接中中，事件X通过事件Z影响事件Y，反之事件件Y也是通过事事件Z影响事件X。但是，如如果原因证证据Z是给定的，，X并不能给Y更多的东西西，或者说说，从X那里得到更更多的信息息。此时称称，如果Z是已知的，，那么通道道就被阻塞塞，X和Y就是独立的的了。则称称X和Y是被Z节点D分离的。XZY50贝叶斯网络络（D分离(分分叉连接)）Diverging如果，父节节点Z是已已知的，没没有更多的的信息能够够通过Z影响到所有有子节点。。同理，父父节点Z是已知时，，子节点X,…,N是相互独立立的。称子节点X,…,N是被Z节点D分离的。NYXZ。。。51贝叶斯网络络（D分离(汇汇集连接)）汇集(Converging)略略有不同如果不从父父节点得到到推断，子子节点Z就一无所知知，那么，，父节点是是相互独立立的，它们们之间没有有相互影响响。如果，某事事件影响了了Z，那么，各各个父节点点就不是相相互独立的的了。该事事件可以直直接影响Z，也可以通通过它的后后代节点影影响Z。这种现象象称作条件依存。总之，如如果子节点点有了变化化，或子节节点的后代代节点发生生变化，信信息是可以以通过汇集集连接传播播的。ZNYX。。。52贝叶斯网络络（D分离(条条件依存)）事件e直接影响节节点Z事事件e影响节点Z的后代节点点ZNYX。。。eZNYX。。。LMe53贝叶斯网络络（D分离(定定义)）对于给定的的结点集ε，如果对贝贝叶斯网中中的结点Vi和Vj之间的每个个无向路径径（即不考考虑DAG图中弧的方方向性的路路径），在在路径上都都有某个结结点Vb，如果有属属性：Vb在ε中，且路径径上的两条条弧都以Vb为尾（即弧弧在Vb处开始（出出发），分叉叉连连接接）Vb在ε中，，路路径径上上的的一一条条弧弧以以Vb为头头，，一一条条以以Vb为尾尾（（串行行连连接接）Vb和它它的的任任何何后后继继都都不不在在ε中，，路路径径上上的的两两条条弧弧都都以以Vb为头头（（即即弧弧在在Vb处结结束束，，汇集集连连接接，但但没没有有后后代代节节点点））则称Vi和Vj被Vb结点点阻阻塞塞。54贝叶叶斯斯网网络络（D分分离离(图图示示)）55贝叶叶斯斯网网络络（D分分离离(定定义义)）结论论：：如果果Vi和Vj被证证据据集集合合ε中的的任任意意结结点点阻阻塞塞，，则则称称Vi和Vj是被被ε集合合D分离离，，结结点点Vi和Vj条件件独独立立于于给给定定的的证证据据集集合合ε，可可形形式式化化表表示示为为：：，或56贝叶叶斯斯网网络络（定义义）由此此给给出出条条件件独独立立、、阻阻塞塞、、D分分离离的的明明确确定定义义：：条件件独独立立：如具具有有以以上上三三个个属属性性之之一一，，就就说说结结点点Vi和Vj条件件独独立立于于给给定定的的结结点点集集ε。阻塞塞：给定定证证据据集集合合ε，当当上上述述条条件件中中的的任任何何一一个个满满足足时时，，就就说说Vb阻塞塞相相应应的的那那条条路路径径。。D分离离：如果果Vi和Vj之间间所所有有的的路路径径被被阻阻塞塞，，就就叫叫证证据据集集合合ε可以以D分离离Vi和Vj57贝叶斯网络（D分离(例1)）ZXYZX、Y独立X、Y条件独立YesYesXYZX、Y独立X、Y条件独立YesNoXYZX、Y独立X、Y条件独立YesNoXYZX、Y独立X、Y条件独立NoYesXYX、Y独立X、Y条件独立NoNo58贝叶斯网络（D分离(例2)）ZXYX—草湿Y—彩虹Z—下雨P(X,Y)≠P(X)P(Y)P(X|Y,Z)=P(X,Z)ZXYX—下雨Y—洒水Z—草湿P(X,Y）=P(X)P(Y)P(X|Y,Z))≠P(X,Z)59贝叶斯网络（D分离(例3)）XZWX—草湿Y—洒水者Z—彩虹W—长虫P(X,Y)=P(X)P(Y)P(X|Y,Z)=P(X|Z)YXZWX—草湿Y—洒水者Z—彩虹W—长虫P(X,Y)≠P(X)P(Y)P(X|Y,Z)≠P(X|Z)Y60贝叶斯网络（D分离(例4）RadioandIgnition,givenBattery?YesRadioandStart,givenIgnition?YesGasandRadio,givenBattery?YesGasandRadio,givenStart?NoGasandBattery,givenMoves?NoBatteryRadioIgnitionGasMovesStart61贝叶斯网络（推理）建立贝叶斯网网络的目的有了网络，可可以提出问题题：P(问题|证证据)，如如：P(吸烟烟|肺癌）进行概率推理理与谓词逻辑有有相似之处。。如：患病病（吸烟，肺肺癌）在某些场合下下有有效的推推理方法，有有一些工具包包。一般情况下是是很困难的，，原因不是所有的CPT表都能能够得到网络结构大且且复杂NP-hard推理我们要做的是是，将问题正正确的表示为为合理的网络络形式，选用用适合的算法法。62贝叶斯网络（推理续）贝叶斯网络通通常使用因果或诊断规则与推理因果规则：XCauseYwithsomeprobability诊断规则：：YisevidenceofXwithsomeprobability因果推理：GivencauseC,determineP(Query|C)诊断推理：GivenevidenceE,determineP(Query|E)63贝叶斯网络（推理续）推理需求：P(X|Y)诊断推理是从从效果到起因因证据是一些征征兆：X是起起因，Y是是征兆因果推理是从从起因到效果果证据是一些起起因：X是是征兆，Y是起因解释历史X和Y是起因因，Z是两个个起因的征兆兆。这时可以以用一个起因因Y解释另一一个起因X。。64贝叶斯网络（推理例）下雨、草湿、、洒水P(X)P(Y)下雨草湿Query:P(X|Y)P(X)P(Y)草湿下雨Query:P(X|Y)P(X)P(Z|X,Y)下雨草湿Query:P(X|Y,Z)andP(X|Z)P(Y)洒水65贝叶斯网络（推理例续）条件：下雨草湿出现虫子求：P(Raining|WormSighting)P(Y|X)下雨草湿Query:P(X|Z)P(X)出现虫子P(Z|Y)66贝叶斯网络（因果推理例）给定患者是一一个吸烟者（（S），计算算他患肺气肿肿（E）的概概率P(E|S)。S称称作推理的证证据，E叫询询问结点。首先，，E的的另一一个父父结点点（C），，P(E|S)=P(E,C|S)+P(E,~C|S);右边的的第一一项，，P(E,C|S)＝＝P(E,C,S)/P(S)＝P(E|C,S)*P(C,S)/P(S)＝P(E|C,S)*P(C|S）同理可可得公公式的的右边边的第第二项项为：：P(E,~C|S)=P(E|~C,S)*P(~C)。。67贝叶斯斯网络络（因果推推理例例）由此可可得：P(E|S)=P(E|C,S)*P(C)+P(E|~C,S)*P(~C)如果采采用概概述中中的例例题数数据，，有P(~C)=1-P(C)，，则有有，P(E|S)＝＝0.9*0.3+0.3*(1-0.3)=0.48主要操操作：：按照给给定证证据的的V和和它的的所有有双亲亲的联联合概概率，，重新新表达达给定定证据据的询询问结结点的的所求求条件件概率率。直到所所有的的概率率值可可从CPT表中中得到到，推推理完完成。。68贝叶斯斯网络络（推理自自学）《ArtificialIntelligence:ANewSynthesis》Nils.J.Nilsson,机机械械工业业出版版社，，1999ProbabilisticInferenceinPolytrees(p.332)69第五章章不不确定定性推推理概述概率论论基础础Bayes网络络主观Bayes方法法确定性性方法法证据理理论70第五章章不不确定定性推推理概述概率论论基础础Bayes网络络主观Bayes方法法确定性性方法法证据理理论71主观贝叶斯斯方法(概述述）在Prospector的探探矿系系统的的研究究过程程中提提出的的。原有贝贝叶斯斯公式式只考考虑A出现对对B的影响响，没没有考考虑A不出出现的的影响响。贝叶斯斯规则则：当B为n个互不相相容事事件的的集合合时，，贝叶叶斯公公式可可写为为：72主观贝叶斯斯方法(概述述）思路先定好好应该该怎么么办，，再凑凑公式式。主主要是是避开开P(A|B)的计算算。73主观贝叶斯斯方法(概述述）规则的的不确确定性性定义：表示A为真真时，，对B的影影响。。（规规则成成立的的充分分性））表示A为假时时，对对B的影响响。（（规则则成立立的必必要性性）（确定定性理理论中中没有有考虑虑这点点）74主观贝叶斯斯方法（规则的的不确确定性性）几率函函数O(X)O(X)称称为先验几几率。表示示证据据X的的出现现概率率和不不出现现的概概率之之比，，显然然O(X)是P(X)的的增函函数，，且有有：当P(X)＝＝0，，有有O(X)＝＝0当P(X)＝＝0.5，，有有O(X)＝＝1当P(X)＝＝1，，有有O(X)＝＝∞由此此可可见见，，几几率率函函数数实实际际上上表表示示了了证证据据X的的不不确确定定性性。。相应应有有，，称称为为后验验几几率率．75主观观贝叶叶斯斯方法法（规则则的的不不确确定定性性）O(X)的的性性质质P(X)=0时时,O(X)=0假P(X)=0.5时时,O(X)=1P(X)=1时时,O(X)=∞∞真真O(X)与与LN，，LS的的关关系系O(B|A)=LS•O(B)O(B|~A)=LN•O(B)76主观观贝叶叶斯斯方法法（规则则的的不不确确定定性性），且必必须须满满足足：77主观观贝叶叶斯斯方法法（规则则的的不不确确定定性性）LS、、LN≥≥００，，不不独独立立。。LS,LN不不能能同同时时＞＞１１或或＜＜１１LS,LN可可同同时时＝＝178主观观贝叶叶斯斯方法法（证据据A的的不不确确定定性性）P(A)或或O(A)表表示示证证据据A的的不不确确定定性性79主观观贝叶叶斯斯方法法（推理理计计算算1）A必必出出现现时时：：O(B|A)=LS•O(B)O(B|~A)=LN•O(B)若需需要要概概率率时时：：80主观观贝叶叶斯斯方法法（推理理计计算算2）A不不确确定定时时：：即即P(A)1向前前看看一一步步A’，A’为与与A有有关关的的所所有有观观察察P(B|A’)=P(B|A)P(A|A’)+P(B|～A)P(～A|A’)P(A|A’)=1时时，，证证据据A必必然然出出现现P(A|A’)=0时时，，LN代代替替上上式式的的LS，，公公式式P(A|A’)=P(A)时时，，(A’对A无无影影响响)，，由由上上式式P(B|A’)=P(B)81主观观贝叶叶斯斯方法法（推理理计计算算2）P(A|A’)与P(B|A’)坐标系系上的三三点：总之是找找一些P(A|A’)与P(B|A’)的相关关值，两点也可可以做曲曲线（或或折线、、直线））。由差差值法从从线上得得到其它它点的结结果。82主观贝叶斯方法（推理计算算2）插值计算算公式83线性插值值图84主观贝叶斯方法（推理计算算3）两个证据据时：85主观贝叶斯方法（推理计算算2）互相独立立证据导导出同一一假设86例题（1）已知：P(A)=1,P(B1)=0.04,P(B2)=0.02R1:A→B1LS=20LN=1R2:B1→B2LS=300LN=0.001计算：P(B2|A)。。分析：当当使用规规则R2时，证据据B1并不是确确定的发发生了，，即P(B1)≠1，因此此要采用用插值方方法。解：先依依照A必必然发生生，由定定义和R1得：O(B1)=P(B1)/(1-P(B1)=0.04/(1-0.04)=0.0417O(B1|A)=LS*O(B1)=0.83P(B1|A)=O(B1|A)/(1+O(B1|A)=0.83/(1+0.83)=0.454然后假设设P(B1|A)=1,计计算：O(B2)=P(B2)/(1-P(B2)=0.02P(B2|B1)=LS*O(B2)/(1+LS*O(B2))=300*0.02/(300*0.02+1)=0.857最后进行行插值：：P(B1|A)>P(B1),P(B2)=0.02，，P(B1)=0.04（（已知知）,P(B2|A)=0.02+(0.857-0.02)(0.454-0.04)/(1-0.04)=0.3887例题（2）已知：证证据A1，A2必然发生生，且P（B1）＝0.03规则如下下：R1：A1→B1LS=20LN=1;R2：A2→B1LS=300LN=1求B1的更新值值。解：依R1，P（B1）＝0.03O（B1）＝0.03/(1-0.03)=0.030927O(B1|A1)=LS×O(B1)=20×0.030927=0.61855P(B1|A1)=0.61855/(1+0.61855)=0.382使用规则R1后，B1的概率从0.03上升到到0.382依R2：O(B1|A1A2)=300××O(B1|A1)=185.565P(B1|A1A2)=185.565/(1+185.565)=0.99464使用规则R2后，B1的概率从0.382上升升到0.9946488主观贝叶斯方法主观Bayes方法的评评价优点：计算方法直观观、明了。缺点：要求Bj相互无关（实实际不可能））。P(A|B’)与P(Bi)很难计算算。应用困难。89第五章不确确定性推理概述概率论基础Bayes网网络主观Bayes方法确定性方法证据理论90第五章不确确定性推理概述概率论基础Bayes网网络主观Bayes方法确定性方法证据理论91确定性方法（可信度方法）MYCIN系系统研制过程程中产生的不不确定推理方方法,第一个个采用了不确确定推理逻辑辑，70年代代很有名。提出该方法时时应遵循的原原则不采用严格的的统计理论。。使用的是一一种接近统计计理论的近似似方法。用专家的经验验估计代替统统计数据尽量减少需要要专家提供的的经验数据，，尽量使少量量数据包含多多种信息。新方法应适用用于证据为增增量式地增加加的情况。专家数据的轻轻微扰动不影影响最终的推推理结论。92理论基础以定量法为工工具，比较法法为原则的相相对确认理论论。采用此方法的的MYCIN系统的诊断断结果不是只只给出一个最最可信结论及及其可信度，，而是给出可可信度较高的的前几位，供供人们比较选选用。规则规则的不确定定性度量证据（前提））的不确定性性度量。推理计算。确定性方法93理论基础以定量法为为工具，比比较法为原原则的相对对确认理论论。采用此方法法的MYCIN系统统的诊断结结果不是只只给出一个个最可信结结论及其可可信度，而而是给出可可信度较高高的前几位位，供人们们比较选用用。规则规则的不确确定性度量量证据（前提提）的不确确定性度量量。推理计算。。确定性方法法94规则(规则的不不确定性度度量）规则A→B，可信度表表示为CF(B,A)。95规则(规则的不不确定性度度量）CF(B,A)表示的意义证据为真时时相对于P(～B)=1-P(B)来说，A对B为真的支持持程度。即即A发生更支持持B发生。此时CF(B,A)≥≥0。或，相对于于P(B)来说，A对B为真的不支支持程度。。即A发生不支持持B发生。此时CF(B,A)<0。结论-1≤CF(B,A)≤196规则(规则的不不确定性度度量）CF(B,A)的的特殊值：：CF(B,A)=1，， 前提真真，结论必必真CF(B,A)=-1，前提真真，结论必必假CF(B,A)=0，，前提提真假与结结论无关实际应用中中CF(B,A)的值由专专家确定，，并不是由由P(B|A),P(B)计算得到到的。97规则(推理计算算1）“与”的计计算：A1∧A2→BCF(A1∧A2)=min{CF(A1),CF(A2)}“或”的计计算：A1∨A2→BCF(A1∨A2)=max{CF(A1),CF(A2)}“非”的计计算：CF(～A)=～CF(A)由A，A→B，求B：CF(B)=CF(A)·CF(B,A)(CF(A)＜0时可以不算算即为“0”)98规则(推理计算算2））合成成，，由由两两条条规规则则求求出出再再合合并并：由CF１(B)、、CF２(B)，，求求CF(B)99规则则(推推理理计计算算3））更新新，，由由CF(A)、、A→→B、、CF(B,A)、、CF(B)，，求B：当A必必然然发发生生，，CF(A)=1时时：：100规则则(推推理理计计算算4））当A不不必必然然发发生生，，CF(A)<1时时：：0<CF(A)<1，，用CF(A)CF(B,A)代替替CF(A)=1时的的CF(B,A)即可可。。CF(A)<0，规则则AB不可可使使用用，，即即此此计计算算不不必必进进行行。。（如如MYCIN系统统CF(A)0.2就认认为为是是不不可可使使用用的的。。其其目目的的是是使使专专家家数数据据经经轻轻微微扰扰动动不不影影响响最最终终结结果果。。））101规则则(推推理理计计算算－改改进进））注意意：：以以上上公公式式不不满满足足组组合合交交换换性性。。解决决方方法法：：异号号时时从定定义义上上改改进进102例题题已知知：：R1：A1→B1CF（（B1，A1）＝＝0.8R2：A2→B1CF（（B1，A2）＝＝0.5R3：B1∧A3→B2CF（（B2，B1∧A3）＝＝0.8CF（（A1）＝＝CF（（A2）＝＝CF（（A3）＝＝1；；CF（（B1）=CF（（B2）=0；；计算算CF（（B1）、、CF（（B2）本题题可可图图示示为为103解：：依依规规则则R1，CF（（B1|A1）＝＝CF（（B1）＋＋CF（（B1，A1）（（1－－CF（（B1）））＝＝0.8，，即更更新新后后CF（（B1）＝＝0.8依规规则则R2：CF（（B1|A2）＝＝CF（（B1）＋＋CF（（B1，A2）（（1－－CF（（B1）））＝＝0.9更新新后后CF（（B1）＝＝0.9依R3，先先计计算算CF（（B1∧A3）＝＝min（（CF（（A3），，CF（（B1）））＝＝0.9由于于CF（（B1∧A3）<1，，CF（（B2|B1∧A3）=CF（（B2）+CF（（B1∧A3）××CF(B2，B1∧A3)×（（1-CF（（B2）））=0+0.9××0.8(1-0)=0.72答：：更更新新后后的的可可信信度度分分别别是是：：CF（（B1）＝＝0.9，，CF（（B2）＝＝0.72104规则则(推推理理计计算算）评论论可信信度度方方法法的的宗宗旨旨不不是是理理论论上上的的严严密密性性，，而而是是处处理理实实际际问问题题的的可可用用性性。。不可可一一成成不不变变地地用用于于任任何何领领域域，，甚甚至至也也不不能能适适用用于于所所有有科科学学领领域域。。推推广广至至一一个个新新领领域域时时必必须须根根据据情情况况修修改改。。105第五五章章不不确确定定性性推推理理概述述概率率论论基基础础Bayes网网络络主观观Bayes方方法法确定定性性方方法法证据据理理论论106证据据理理论论(EvidentTheory)概述述证据据的的不不确确定定性性规则则的的不不确确定定性性推理理计计算算107证据据理理论论(EvidentTheory)概述由Dempster首先先提出出，并并由他他的学学生Shafer发发展起起来，，也称称D-S理理论。。在专专家系系统的的不精精确推推理中中已得得到广广泛的的应用用。（（也也用在在模式式识别别中））证据理理论中中引入入了信信任函函数，，它满满足概概率论论弱公公理。。在概概率论论中，，当先先验概概率很很难获获得，，但又又要被被迫给给出时时，用用证据据理论论能区区分不不确定定性和和不知知道的的差别别。所所以它它比概概率论论更合合适于于专家家系统统推理理方法法。当概率率值已已知时时，证证据理理论就就成了了概率率论。。因此此，概概率论论是证证据理理论的的一个个特例例，有有时也也称证证据沦沦为广广义概概率论论。108证据理理论(预备知知识)集合论论朴素集集合论论体系系公理集集合论论体系系表示：：A,B,C集合合；a,b,c集合合中的的元素素aA:a为为A中中元素素，a属属于AaA:a不不是A中元元素，，a不属属于A列举法法：A={a,b,c};描述法法：C={x|P(x)}，，具有有性质质P的的集和和109证据理理论(预备知知识（（性质质）)集合中中的元元素是是各不不相同同的集合中中的元元素不不规定定顺序序集合的的两种种表示示方法法有时时可以以相互互转换换如：A={2,4,6,…}A={x|x>0且且x为为偶数数}110证据理理论(预备知知识（（定义义）)子集定定义：：若B中的的每个个元素素都是是A中中的元元素，，则称称B是是A的的子集集。也也称A包含含B或或B含含于A，记记作BA，其其符号号化形形式为为BAx(xBxA)若B不不是A的子子集，，则记记作BA，其其符号号化形形式为为BAx(xBxA)相等定定义：：若A包含含B且且B包包含A，则则称A与B相等等,记记作A=B，即即A=Bx(xBxA)真命题题：AA若AB且且AB，则则BA若AB且且BC，则则AC111证据理理论(预备知知识（（定义义）)真子集集定义义：若若A为为B的的子集集，且且AB，则则称A为B的真真子集集，或或B真真包含含A，记记作AB。即即ABABAB真包含含定义义：若若A为为B的的子集集，且且AB，则则称A为B的真真子集集，或或B真真包含含A，记记作AB。即即ABABAB全集定定义：：如果果限定定所讨讨论的的集合合都是是某一一集合合的子子集，，则称称该集集合为为全集集。常常记作作E112证据理理论(预备知知识（（定义义）)空集定定义：：不拥拥有任任何元元素的的集合合称为为空集集合，，简称称空集集，记记作。定理：：空集集是一一切集集合的的子集集。推论：：空集集是唯唯一的的。113证据理理论(预备知知识（（定义义）)幂集定定义：：称由由A的的所有有子集集组成成的集集合为为A的的幂集集。记作2A求幂集集：设设A={a,b,c}0元子子集为为：1元子子集为为：{a},{b},{c}2元子子集为为：{a,b},{a,c,},{b,c}3元子子集为为：{a,b,c}=AA的幂幂集={,{a},{b},{c},{a,b},{a,c,},{b,c},{a,b,c}}定理：：A的的元素素个数数|A|=n（（n为为自然然数）），则则|2A|=n。。114证据理理论(预备知知识（（运算算）)并集定定义：：称A与B的所所有元元素组组成的的集合合为A与B的并并集。。记作作AB，，称称为并并运算算符。。AB的的描述述表示示AB={x|xA∨xB}A1,A2,……An为n个个集合合，A1A2…An={x|i(1inxAi},简记为115证据理论(预备知识（（运算）)交集定义：：称A与B的公共元元素组成的的集合为A与B的交交集。记作作AB，称称为交交运算符。。AB的的描述表示示AB={x|xAxB}A1,A2,…An为n个集合合，A1A2…An={x|i(1inxAi},简记为116证据理论(预备知识（（运算）)互不相交定定义：若AB=，，称A，B是不不交的，设设A1,A2,…可数数个集合，，若对任意意ij，均有AiAj=，则则称A1,A2,…是互不相交交的。117证据理论(预备知识（（恒等式））)等幂率：AA=A;AA=A交换率：AB=BA;AB=BA结合率：(AB)C=A(BC);(AB)C=A(BC)分配率：A(BC)=(AB)(BC)A(BC)=(AB)(BC)摩根率：～～(AB)=～A～B～(AB)=～A～B118证据理论(预备知识（（恒等式））)吸收率：A(AB)=A;A(AB)=A零率率：AE=E;A=同一率：A=A；A=排中率：A～A=E矛盾率：A～A=全补率：～=E;～E=双重否定率率：～（～A）=A119证据理论(EvidentTheory)概述证据的不确确定性规则的不确确定性推理计算120证据理论(EvidentTheory)概述证据的不确确定性规则的不确确定性推理计算121证据理论(EvidentTheory)证据理论中中，一个样样本空间称称为一个识识别框架U，U由由一系列对对象构成，，对象之间间两两互斥斥，且包含含当前要识识别的全体体对象。证据理论的的基本问题题是，已知知识别框架架U，判明明U中一个个先验的未未定元素属属于U中某某个子集A的程度。。122证据理论(证据的不确确定性)证据：用集合U来表示示：如U中的每每个元素素代表一一种疾病病。讨论论一组疾疾病A发发生的可可能性时时，A变变成了单单元（某某些假设设）的集集合。Ai中元素间间是互斥斥的，但但U内元元素Ai间不是互互斥的。。123据理论集集合空间间分布示示意图124证据理论论(证据的不不确定性性)基本概率率分配函函数：m：２Ｕ→［0,1］（在U的幂集２Ｕ上定义，，取值[0,1］）m(A)表示了证证据对Ｕ的子集A成立的的一种信信任度有：空集为零零意义若A属于Ｕ，且不等等