人工智能第4章(不确定性推理方法)

1、1人人 工工 智智 能能Artificial Intelligence (AI) 第第 4 4 章章 推理技术推理技术 -不确定性推理方法34.5 不确定性推理方法o概述概述o可信度方法可信度方法 (确定性方法确定性方法)o主观主观Bayes方法方法o证据理论证据理论4概述概述-不确定推理的概念不确定推理的概念o推理：从已知推理：从已知事实事实出发，运用相关出发，运用相关知识知识( (或规则或规则) )逐步推出逐步推出结论结论或者证明某个假设成立或不成立或者证明某个假设成立或不成立的思维过程。已知事实是推理过程的出发点即的思维过程。已知事实是推理过程的出发点即推理中使用的知识，推理中使用的知识

2、， 我们把它称为我们把它称为证据证据。o不确定推理：从具有不确定推理：从具有不确定性的证据不确定性的证据出发，运出发，运用用不确定性的知识不确定性的知识( (或规则或规则) )，最终推出，最终推出具有一具有一定程度的不确定性定程度的不确定性，但却是合理的或近乎合理，但却是合理的或近乎合理的的结论结论的思维过程。的思维过程。5概述概述-不确定性的主要表现不确定性的主要表现p1 1、证据的不确定性、证据的不确定性 观察度量的不确定性观察度量的不确定性 证据表示的不确定性证据表示的不确定性 多个不确定证据合成时表现出来的不确多个不确定证据合成时表现出来的不确定性定性p2 2、规则的不确定性、规则的不

3、确定性p3 3、结论的不确定性、结论的不确定性E1HE2H6概述概述不确定推理中的基本问题不确定推理中的基本问题o不确定性的表示不确定性的表示单个证据单个证据的不确定性表示的不确定性表示 证据的来源证据的来源： (1)初始证据初始证据:通过观察而得到的，由于观察本身的不精确性，因此所得的初始证据具有不确定性；其值一般由用户或专家给出; (2)间接证据间接证据:在推理过程中利用前面推理出的结论作为当前新的推理证据。其值则是由推理中的不确定性传递算法计算得到。 证据不确定性的表示通常为一个数值数值，用以表示相应证据的不确定性程度。 组合证据组合证据的不确定性表示的不确定性表示 证据不止一个，而是几

4、个，这几个证据间可能是and或or的关系，假设假设C(E1)C(E1)表示证据E1的不确定性程度， C(E2)C(E2)表示证据E2的不确定性程度，如何由C(E1)和C(E2)来计算C(E1E2)和C(E1E2)7概述概述不确定推理中的基本问题不确定推理中的基本问题规则的不确定性表示规则的不确定性表示 规则不确定性要由领域专家给出，以一个数值表示，该数值表示了相应知识的不确定性程度。推理计算推理计算结论的不确定性表示结论的不确定性表示n不确定性传递问题：不确定性传递问题： 已知证据E的不确定性度量为C(E)，而规则E H的不确定性度量为CF(H,E)，那么如何计算结论H的不确定性程度C(H)，

5、即如何将证据E的不确定和规则E H的不确定性传递到结论H上。n结论不确定性的合成问题：结论不确定性的合成问题： 如果有两个证据分别由两条规则支持结论，如何根据这两个证据和两条规则的不确定性确定结论的不确定性。即已知 E1 H C(E1),CF(H,E1) E2 H C(E2),CF(H,E2) 如何计算C(H)? 8概述概述- -分类分类不确定性推理方法控制方法模型方法数值方法非数值方法基于概率的方法模糊推理方法可信度方法主观Bayes方法证据理论方法9可信度方法可信度方法（确定性方法确定性方法）oMYCIN系统研制过程中产生的不确定推理方法,第一个采用了不确定推理逻辑，70年代很有名。它是不

6、确定推理方法中应用最早、且简单有效的方法之一。10可信度可信度方法方法o可信度可信度：人们在实际生活中根据自己的经验或观察对某一事件或现象为真的相信程度相信程度, ,也称为确定度因子。o可信度具有较大的主观性和经验性。但是，对某一具体领域而言，由于该领域专家具有丰富的专业知识及实践经验，要给出该领域知识的可信度还是完全有可能的。11o可信度(确定性)方法n证据（前提）的不确定性表示n规则的不确定性表示n推理计算-结论的不确定性表示确定性确定性( (可信度可信度) )方法方法12证据的不确定性度量证据的不确定性度量o单个证据的不确定性获取方法：两种初始证据：由提供证据的用户直接指定，用可信度因子

7、对证据的不确定性进行表示。如证据E的可信度表示为CF(E)。 如对它的所有观测都能肯定为真，则使CF(E)=1；如能肯定为假，则使CF(E)=-1；若它以某种程度为真，则使其取小于1的正值，即0 CF(E)1;若它以某种程度为假，则使其取大于-1的负值，即-1 CF(E)0，并且这种支持的力度越大，就使CF(H, E)的值越大，相反，如果证据E的出现，使结论H为假的可信度增加，则使CF(H, E)0，并且这种支持的力度越大，就使CF(H, E)的值越小；若证据的出现与否和H无关，则使CF(H, E)=0。P(H)E)|P(H , P(H)P(H)-E)|P(HP(H)E)|P(H , P(H)

8、1P(H)-E)|P(HE) CF(H,当当16o规则n规则的不确定性表示n证据（前提）的不确定性表示n推理计算结论的不确定性表示 确定性方法确定性方法17规则规则 ( (推理计算推理计算 1 1）p从不确定的初始证据出发，通过运用相关的不确定知识，最终推出结论并求出结论的可信度值。p最简单的情形：只有单条规则-不确定性传递问题 例如: 由E， E H，求 H。 已知: 证据E的可信度CF(E )和规则CF(H, , E )的可信度，则结论H的可信度计算公式为： CF(H) =max0,CF(E )CF(H, , E ) (CF(E )0 时CF(H) =0,说明在该模型中没有考虑证据为假时对

9、结论H的影响。)18规则规则 ( (推理计算推理计算 2 2）o多条知识支持同一结论时-结论不确定性的合成问题 设有如下知识：if E1 then H； if E2 then H； 1)利用上式分别计算每一条知识的结论可信度CF(H) CF1(H) =max0,CF(E1 )CF(H, ,E1 ) CF2(H) =max0,CF(E2)CF(H, ,E2 ) 2)用下式合成CF1(H) 、CF(H) ，求可信度 CF12(H) 符号不同与当当 当(H)CF(H)CF |(H)CF| , |(H)CFmin|-1(H)CF(H)CF0(H)CF0(H)CF (H)CF (H)CF(H)CF(H)

10、CF0(H)CF0(H)CF (H)CF (H)CF-(H)CF(H)CF(H)CF21212121212121212112，19例题例题o已知：R1：A1B1CF（B1，A1）0.8 R2：A2B1 CF（B1，A2）0.5 R3：B1A3B2CF（B2，B1A3）0.8CF（A1）CF（A2）CF（A3）1；而对B1和B2一无所知；o计算 CF（B2）o本题可图示为A1A2B1A3B2B1A30.80.50.820o解：依规则R1，CF1（B1） CF（B1，A1）max0, CF（A1）0.8，o依规则R2： CF2（B1） CF（B1，A2）max0, CF（A2）0.5，o利用合成算

11、法计算B的综合可信度：CF1( B1)CF1( B1) CF( B) CF1( B1)CF( B)0.9 o依R3，先计算CF（B1A3） min（CF（A3），CF（B1）0.9 CF（B2）= CF(B2，B1A3) max0, CF（B1A3） =0.90.8=0.72o答：CF（B1）0.9，CF（B2）0.72A1A2B1A3B2B1A30.80.50.821o例 设有一组知识:22o解：2324规则规则 ( (推理计算推理计算 3 3）o已知结论原始可信度的情况下，结论可信度的更新计算方法。o即已知规则E H 的可信度为CF(E, ,H )，证据E的可信度为CF(E)，同时已知结论

12、H原来的可信度为CF(H)CF(H)，如何求在证据E下结论 H可信度的更新值CF(H/E) ：25 规则规则 ( (推理计算推理计算 4 4）oCF(E) =0， 规则E H不可使用，即此计算不必进行。o0 CF(E) 1 O(H/E)O(H)，即 P(H/E)P(H)(2) LS=1 O(H/E)=O(H)(3)0LS1 O(H/E)1，且越大越好。)()/(HOLSEHOE的存在，使H为真的概率增加，且LS越大，P(H/E)越大，表明E对H为真的支持越强。E与H无关。E的出现使H为真的可能性下降。E的出现使H为假。44(2)证据E肯定不存在，即P(E)=0时： P(E)=1，由贝叶斯公式，

13、可得： 两式相除得：)()()/()/()/()/(HPHPHEPHEPEHPEHP)/(EHP)/(EHP)()/(HPHEP)()/(HPHEP)(1)(HPHPLN)()()|(EPHPHEP)()()|(EPHPHEP)/()(,EHPHPLNLS45主观主观贝叶斯贝叶斯方法方法( (概述概述） )()()/()/(HPHPLNEHPEHP)()/(HOLNEHO)/(EHPE肯定不出现的情况下，H的先验几率更新为后验几率的公式E肯定不出现的情况下，H的先验概率更新为后验概率的公式1)() 1()(HPLNHPLN46o讨论LN对后验概率的影响(1)LN1 O(H/E)O(H)，即 P

14、(H/E)P(H)(2)LN=1 O(H/E)=O(H)(3)0LN1 O(H/E)O(H)(4)LN=0 O(H/E)=0故， E的不存在使H为真的可能性下降，则应该相应的LN设置的小于1而且越小越好。E的不存在，使H为真的概率增加，且LN越大，P(H/E)越大，表明E对H为真的支持越强。E的不存在与H无关。E的不存在使H为真的可能性下降。E的不存在使H为假。)()/(HOLNEHO47主观主观贝叶斯贝叶斯方法方法（规则的不确定性规则的不确定性）没影响对HE HE 支持HE不支持 O(H)E)|H O( 1 O(H)E)|O(H 1 O(H)E)|O(H 1LS O(H)E)|H O( 1

15、O(H)E)|O(H 1 O(H)E)|O(H 1LN，且必须满足：没影响对HEHE 支持HE不支持48主观主观贝叶斯贝叶斯方法方法（规则的不确定性规则的不确定性）对LS、LN赋值时的考虑nLS、LN。nLS, LN不能同时 或 nLS, LN可同时149主观主观贝叶斯贝叶斯方法方法o例： 规则如下：R1：E1H1 LS=1 LN=0.003; R2：E2H2 LS=18LN=1 R3：E3H3 LS=12LN=1 已知P(H1)=0.4, P(H2)=0.06, P(H3)=0.04 求：证据出现及不出现时，P(Hi/Ei)和P(Hi/Ei)的值各是多少？50o解：oR1中，因为LS=1，

16、即E1的出现对H1无影响，故： P(H1/E1)= P(H1)=0.4 P(H1/E1)=oR2中，因为LN=1， 即E2的不出现对H2无影响，故：P(H2/E2)= P(H2)=0.06 P(H2/E2)=002. 014 . 0) 1003. 0(4 . 0003. 01)() 1()(11HPLNHPLN535. 0106. 0) 118(06. 0181)() 1()(22HPLSHPLS51oR3中，因为LN=1，即E3的不出现对H3无影响，故：P(H3/E3)= P(H3)=0.04P(H3/E3)=0.33352 例例 设有如下知识：设有如下知识：主观贝叶斯方法) (iiEHP1

17、11:IFTHEN(10,1)(0.03)rEH222:IFTHEN(20,1)(0.05)rEH333:IFTHEN(1,0.002)(0.3)rEHo 求：当证据求：当证据 存在及不存在时，存在及不存在时， 及及 的值各是多少？的值各是多少？321,EEE) (iiEHP53(续)解：解：1)() 1()()(111111HPLSHPLSEHP24. 0103. 0) 110(03. 0103 . 0)(1)() 1()()/(3333331HPHPLSHPLSEHP1)() 1()()(222222HPLSHPLSEHP51. 0105. 0) 120(05. 02054(续)解解：1)

18、() 1()()(333333HPLNHPLNEHP00086.013 .0)1002.0(3 .0002.005.0)()|(03.0)()|(222111HPEHPHPEHP55主观主观贝叶斯贝叶斯方法方法o推理计算推理计算 ： 多条知识支持同一结论时-结论不确定性的合成问题o设有如下知识：if E1 then (LS1,LN1) H ； if E2 then (LS2,LN2) H ；已知P(H)，证据E1和E2依次出现后，计算P(H/E1,E2)o1)根据每条知识分别计算O(H/E1)和O(H/E2)o2)用下式合成 ，求 O(H/E1，E2)()()/()()/( ),/(2121HOHOEHOHOEHOEEHO),/(21EEHP),/(1),/(2121EEHOEEHO56应用：垃圾邮件过滤贝叶斯过滤器是一种统计学过滤器，建立在已有的统计结果之上。所以，必须预先提供两组已经识别好的邮件，一组是正常邮件，另一组是垃圾邮件。另外，这种过滤器还具有自我学习的功能，会根据新收到的邮件，不断调整。收到的垃圾邮件越多，它的准确率就越高。贝叶斯网络常应用于模式识别，文本理解，医疗诊断，数据挖掘等领域。57o主观主观Bayes方法的主要优点：方法的主要优点： （1）具有较坚实的理论基础。）具有较坚实的理论基