《不确定性推理》PPT课件.pptx

1、不确定性推理,现实世界中的大多数问题是不精确、非完备的。对于这些问题，若采用精确性推理方法显然是无法解决的。为此，人工智能需要研究不精确性的推理方法，以满足客观问题的需求。,2020/9/6,1,本章内容,1.不确定性推理概论 不确定性及其类型 不确定性推理概念 2.不确定性推理中的基本问题 表示问题 计算问题 3.不确定性推理方法分类 4.经典的不确定性推理模型 可信度方法 主观贝叶斯方法,2020/9/6,2,不确定性概述,不确定性：由于客观世界的复杂、多变性和人类自身认识的局限、主观性，致使我们所获得、所处理的信息和知识中，往往含有不肯定、不准确、不完全甚至不一致的成分。 事实上，不确定

2、性大量存在于我们所处的信息环境中，例如人的日常语言中就几乎处处含有不确定性（瞧！这句话本身就含有不确定性：什么叫“几乎”？）。不确定性也大量存在于我们的知识特别是经验性知识之中。,2020/9/6,3,不确定性分类（广义）,1、（狭义）不确定性：一个命题的真实性不能完全肯定，而只能对其为真的可能性给出某种估计。 2、不确切性（模糊性）：一个命题中所出现的某些言词其含意不够确切，从概念角度讲，也就是其代表的概念的内涵没有硬性的标准或条件。 3、 不完全性：对某些事物，关于它的 信息或知识还不全面、不完整、不充分。 4、不一致性：在推理过程中发生了前后不相容的结论，或者随着时间的推移或者范围的扩带

3、，原来的一些成立的命题就变得不合适、不成立了。,2020/9/6,4,不确定性推理概念,不确定性推理泛指除精确推理以外的其它各种推理问题。包括不完备、不精确知识的推理，模糊知识的推理，非单调性推理等。 不确定性推理过程实际上是一种从不确定的初始证据出发，通过运用不确定性知识，最终推出具有一定不确定性但却又是合理或基本合理的结论的思维过程。,2020/9/6,5,不确定性推理中的基本问题,要实现对不确定性知识的处理，必须要解决不确定知识的表示问题，不确定信息的计算问题，以及不确定性表示和计算的语义解释问题。,1表示问题,表达要清楚。表示方法规则不仅仅是数，还要有语义描述。,2. 计算问题,不确定

4、性的传播和更新。也是获取新信息的过程。,3. 语义问题,将各个公式解释清楚。,2020/9/6,6,不确定性推理的表示问题,一、知识的不确定性表示 知识不确定性的表示方式是与不确定性推理方 法密切相关的一个问题。在选择知识的不确定性表 示时，通常需要考虑以下两个方面的因素： 要能够比较准确地描述问题本身的不确定性 便于推理过程中不确定性的计算,2020/9/6,7,知识的不确定性表示,（1）狭义不确定性知识的表示 我们只讨论随机性产生式规则的表示。对于狭义不确定性，一般采用信度（或称可信度）来刻划。一个命题的信度是指该命题为真的可信程度。例如， (这场球赛甲队取胜，0.9) 这里的0.9就是命

5、题“这场球赛甲队取胜”的可信度。它表示“这场球赛甲队取胜”这个命题为真（即这个事件发生）的可能性程度是0.9。 在实际应用中，知识的不确定性是由领域专家给出的。,2020/9/6,8,知识的不确定性表示,（2）不确切性知识的表示 对于不确切性，一般采用程度或集合来刻划。所谓程度就是一个命题中所描述的事物的属性、状态和关系等的强度。 例如，我们用三元组（张三，体型，(胖，0.9）)表示命题“张三比较胖”，其中的0.9就代替“比较”而刻划了张三“胖”的程度。 这种程度表示法，一般是一种针对对象的表示法。其一般形式为（，(，）),2020/9/6,9,证据的不确定性的表示,二、证据的不确定性的表示

6、推理中的证据有两种来源： 一种是用户在求解问题时所提供的初始证据，如病人的症状、检查结果等； 另一种是在推理中得出的中间结果，即把当前推理中所得到的中间结论放入综合数据库，并作为以后推理的证据来使用。 一般来说，证据的不确定性表示应该与知识的不确定性表示保持一致，以便推理过程能对不确定性进行统一处理。 证据的不确定性可以用概率来表示，也可以用可信度等来表示，其意义与知识的不确定性类似。,2020/9/6,10,不确定性推理的计算问题,（1）组合证据的不确定性 如何由两个证据A1和A2的可信度度量P(A1)、P(A2)计算“与”、“或”逻辑计算结果的可信度度量： P(A1A2)=f(P(A1),

7、 P(A2)、P(A1A2)=f(P(A1), P(A2) 最大最小法： P(A1A2)min(P(A1)， P (A2) P(A1A2)max(P(A1)， P (A2) 概率方法： P(A1A2) P(A1)P (A2) P(A1A2) P(A1)+ P(A2)- P(A1)P (A2) 有界方法：P(A1A2)max(0，P(A1)+P (A2)-1) P(A1A2)min(1，P(A1)+P (A2),2020/9/6,11,不确定性的计算,（2）结论不确定性的合成 用多个不同知识推理得到了 相同的结论，但不确定性程度不同。系统需要将相同结论的多个不确定性进行综合，即对不确定性进行合成

8、。结论不确定合成的方法也很多，一般视不同推理方法而定,2020/9/6,12,不确定性推理方法分类,关于不确定性推理的类型由多种不同的分类方法，如果按照是否采用数值来描述非精确性，可将其分为数值方法和非数值方法两大类型。,非数值方法是指出数值方法外的其他各种处理不确定性的方法 ,它采用集合来描述和处理不确定性，而且满足概率推理的性质。,非数值方法,数值方法是对不确定性的一种定量表示和处理方法。,数值方法,2020/9/6,13,不确定性推理方法分类,对于数值方法，按其依据的理论不同又可分为以下两类： 1、基于概率的方法：是基于概率论的有关理论发展起来的方法，如可信度方法、主观Bayes方法、证

9、据理论等； 2、模糊推理：是基于模糊逻辑理论发展起来的可能性理论方法,2020/9/6,14,不确定性推理方法分类,2020/9/6,15,不确定性推理模型基本结构,规则的一般表示形式： IF E THEN H ， CF ( H， E ) 其中： E 表示规则的前提条件，即证据 H 表示规则的结论部分，即假设 C F( H, E ) 表示规则的精确程度或可信度。 任何一个不确定性推理模型必须解决三个问题： 前提(证据，事实)的不确定性描述 规则(知识)的不确定性描述 不确定性的更新算法,2020/9/6,16,不确定性推理模型基本结构,证据的不确定性 C F( E ) ,表示证据E为真的程度。

10、需定义其在三种典型情况下的取值： E 为真 E 为假 对 E 一无所知 ( 该情况下的取值称为证据的单位元e(E) ) 规则的不确定性 CF ( H，E ) ,表示规则的强度。需定义其在三种典型情况下的取值： 若 E 为真，则H为真 若 E 为假，则H 为假 E对 H没有影响( 该情况下的取值称为规则的单位元 e( H,E ),2020/9/6,17,可信度方法,E.Short 和B.Buchanan 在MYCIN系统研制过程中产生了可信度方法,第一个采用了不确定推理逻辑，在70年代很有名。,2020/9/6,18,可信度概念,所谓可信度就是在实际生活中根据自己的经验对某一事物或现象进行观察，

11、判断相信其为真得程度。 例如，张三昨天没有上课，他的理由是肚子疼，就此理由而言，听话的人可能完全相信，也可能完全不相信，也可能在某种程度上相信，这与张三平时的表现和人们对他的话相信程度有关。 这里的相信程度就是我们说的可信度。可信度也称为确定性因子。,2020/9/6,19,可信度,显然，可信度具有较大的主观性和经验性，其准确性是难以把握的。但是，对于某一具体领域而言，由于该领域的专家具有丰富的专业知识和实践经验，要给出该领域知识的可信度还是完全有可能的。另外，人工智能所面临的问题，通常都较难用精确的数学模型进行描述，而且先验概率及条件概率的确定也比较困难，因此用可信度来表示知识及证据的不确定

12、性仍然不失为一种可行的方法。,2020/9/6,20,可信度方法-CF模型,CF模型是基于可信度表示的不确定性推理的基本方法，其它可信度方法都是在此基础上发展起来 其一般形式为： IF E THEN H ， CF(H, E) CF(H, E)是该条知识的可信度，称为可信度因子或规则强度.它指出当前提条件E为真时，它对结论H为真的支持程度，CF(H, E)的值越大，就越支持结论H为真。 证据的不确定性也是用可信度因子表示。证据E的可信度表示为CF( E).,2020/9/6,21,可信度方法-CF模型,-1 CF(H, E) 1 CF(B, A)的特殊值： CF(B, A) = 1，前提真，结论

13、必真 CF(B, A) = -1，前提真，结论必假 CF(B, A) = 0 ， 前提真假与结论无关 实际应用中CF(B, A)的值由专家确定，并不是由P(B|A), P(B)计算得到的。,2020/9/6,22,规则 E H，可信度表示为CF(H, E)。,2020/9/6,23,当P(H|E)P(H),当P(H|E)=P(H),当P(H|E)P(H),可信度方法-CF模型,CF是由称为信任增长度MB和不信任增长度MD相减而来的。即 CF(H，E)MB(H，E)-MD(H，E),2020/9/6,24,当P(H)=1,否则,当P(H)=0,否则,可信度方法-CF模型,当MB(H，E)0，表示

14、由于证据E的出现增加了对H的信任程度。当MD(H，E)0，表示由于证据E的出现增加了对H的不信任程度。由于对同一个证据E，它不可能既增加对H的信任程度又增加对H的不信任程度，因此，MB(H,E)与MD(H,E)是互斥的，即 当MB(H，E)0时，MD(H，E)0； 当MD(H，E)0时，MB(H，E)0。,2020/9/6,25,可信度方法-CF模型的计算,前提证据事实总CF值计算 CF(E1E2En)minCF(E1)，CF(E2)，CF(En) CF(E1E2En)maxCF(E1)，CF(E2)，CF(En) 其中E1，E2，En是与规则前提各条件匹配的事实。 推理结论CF值计算 CF(

15、H)CF(H，E)max0，CF(E) 其中E是与规则前提对应的各事实，CF(H，E)是规则中结论的可信度，即规则强度。,2020/9/6,26,可信度方法-CF模型,重复结论的CF值计算 若同一结论H分别被不同的多条规则推出，但可信度不同，则可用合成算法求出综合可信度。 多条知识的综合可通过两两的合成实现。 当两条规则推出同一结论H时， CF(H)的计算： CF(H)1CF(H)2CF(H)1CF(H)2 ， 当CF(H)10，且CF(H)20 CF(H)= CF(H)1CF(H)2CF(H)1CF(H)2 ， 当CF(H)10，且CF(H)20 CF(H)1CF(H)2 ， 否则,2020

16、/9/6,27,可信度方法举例(一),已知R:IF (E1 or E2) and E3 THEN H (0.8) ， CF(E1) = 0.4、 CF(E2) = 0.6、 CF(E3) = 0.7 ，求CF（H）。 解 ： 设E = (E1 or E2) and E3 CF(E1 or E2)= max(CF(E1),CF2(E2) )=0.6 CF(E)= min(CF(E1 or E2)，CF(E3)= 0.6 CF(H)= CF(E)CF(H,E) = 0.60.8 =0.48 前提证据事实总CF值计算 推理结论CF值计算,2020/9/6,28,可信度方法举例(二),R1:IF E1

17、 THEN H CF(H，E1) =(0.8) R2:IF E2 THEN H CF(H，E2) =(0.7) CF(E1) = 0.4、 CF(E2) = 0.6 解 ： CF1(H)= CF(E1)CF(H，E1) =0.4 0.8 =0.32 CF2(H)= CF(E2)CF(H，E2) =0.6 0.7 =0.42 CF(H)= 0.32+0.42 - 0.320.42 = 0.6 重复结论的CF值计算 推理结论CF值计算,2020/9/6,29,主观贝叶斯方法是R.O.Duda等人于1976年提出的一种不确定性推理模型, 并成功地应用于地质勘探专家系统PROSPECTOR。主观贝叶斯

18、方法是以概率统计理论为基础, 将贝叶斯(Bayesian)公式与专家及用户的主观经验相结合而建立的一种不确定性推理模型。 1. 不确定性度量 主观贝叶斯方法的不确定性度量为概率P(x),另外还有三个辅助度量: LS,LN和O(x),分别称充分似然性因子、必要似然性因子和几率函数。,主观贝叶斯方法,2020/9/6,30,在PROSPECTOR中, 规则一般表示为,if E then (LS, LN) H (P(H ) ),或者图示为,其中, E为前提(称为证据); H为结论(称为假设); P(H)为H为真的先验概率;LS, LN分别为充分似然性因子和必要似然性因子, 其定义为,(8-8),20

19、20/9/6,31,(8-9),前者刻画E为真时对H的影响程度,后者刻画E为假时对H的影响程度。 另外, 几率函数O(x)的定义为,(8-10),它反映了一个命题为真的概率(或假设的似然性(likelihood)与其否定命题为真的概率之比, 其取值范围为0, +。,2020/9/6,32,下面我们介绍LS, LN的来历并讨论其取值范围和意义。由概率论中的贝叶斯公式,有,两式相除得,2020/9/6,33,即,亦即,O(H|E)= O(H)LS,从而,由此式不难看出： LS1 当且仅当O(H|E)O(H), 说明E以某种程度支持H; LS1 当且仅当O(H|E)O(H), 说明E以某种程度不支持

20、H; LS=1 当且仅当O(H|E)=O(H), 说明E对H无影响。,2020/9/6,34,进而有,2020/9/6,35,因为一个证据E及其否定 E不可能同时既支持又反对一个假设H, 因此任一条规则EH的LS、LN 只能是下列情况中的一种: LS1, 且LN1; LSLN1。,2020/9/6,36,需说明的是,在概率论中, 一个事件的概率是在统计数据的基础上计算出来的, 这通常需要大量的统计工作。为了避免大量的统计工作, 在主观贝叶斯方法中,一个命题的概率可由领域专家根据经验直接给出, 这种概率称为主观概率。 推理网络中每个陈述H的先验概率P(H)都是由专家直接给出的主观概率。同时, 推

21、理网络中每条规则的LS、LN也需由专家指定。例如PROSPECTOR中有规则,2020/9/6,37,说明专家认为:当CVR为真时,它支持FLE为真;但当CVR为假时, FLE的成立与否与CVR无关。 而按理论限制应有LS8001时, LN1。这种主观概率与理论值不一致的情况称为主观概率不一致。 当出现这种情况时,并不是要求专家修改他提供的LS、 LN使之与理论模型一致(这样做通常比较困难), 而是使似然推理模型符合专家的意愿。,2020/9/6,38,2. 推理中后验概率的计算 推理中后验概率的计算有以下几个公式:,(8-11),这是当证据E肯定存在即为真时,求假设H 的后验概率的计算公式。

22、其中的LS和P(H)由专家主观给出。,(8-12),这是当证据E肯定不存在即为假时,求假设H的后验概率的计算公式。其中的LN和P(H)由专家主观给出。,2020/9/6,39,3. 不确定性的传递计算(一) 主观Bayes方法推理的任务就是根据证据E的概率P(E)及LS、LN，把H的先验概率P(H)或先验几率O(H)更新为后验概率或后验几率。 （1）证据肯定存在的情况：O(H/E) = LSO(H) （2）证据肯定不存在的情况：O(H/ E) = LNO(H) （3）证据既非为真又非为假的情况： 需要使用杜达等人给出的公式: P(H/S) P(H/E) P(E/S)+ P(H/ E)P( E/

23、S) 下面分三种情况讨论：,2020/9/6,40,3. 不确定性的传递计算(二) （1）P(E/S)=1时 ， P( E/S)=0，因此有： P(H/S)= P(H/E) 这时就是证据肯定存在的情况 （2）P(E/S)=0时 ， P( E/S)=1，因此有： P(H/S)= P(H/ E) 这时就是证据肯定不存在的情况 （3）P(E/S)= P(E)时 ， 因此有： P(H/S)= P(H) 这时S与E无关 P(E/S)=其他值时 ，根据前面几个值插值得到：,2020/9/6,41,3. 不确定性的传递计算(三),P(E/S)=其他值时 ，根据前面几个值插值得到：该插值公式 称为EH公式。,

24、P(H/E),P(H),P(E),P(E/S),0,1,P(H/ E),P(H/S),如果不确定性是用可信度C(E/S)给出，即可得到P(H/S)，这种公式称为CP公式,2020/9/6,42,3. 多证据的总概率合成 对于多条件前提的规则,应用公式(8-11)、(8-12)、(8-13)求结论的后验概率时,先要计算与其前提中对应证据事实的总概率。假设已知P(E1|S),P(E2|S), ,P(En|S), 并且诸Ei是相互独立的, 则由概率的加法公式和乘法公式应有:,2020/9/6,43,但一条规则的前提中各条件Ei之间通常不满足独立要求，因此用这两个公式计算出的后验概率往往偏高或偏低。所

25、以，主观贝叶斯方法中采用了如下公式：,另外, 根据全概率公式有,(8-16),2020/9/6,44,4. 相同结论的后验概率合成 设推理网络中有多条以H为结论的规则:,如果有证据E1,E2,En相互独立,它们的观察依次为S1,S2, Sn, 则这种情况下H的后验概率可视为在E1, E2, , En的综合作用下的后验概率。,2020/9/6,45,其求法是先用式(8-11)、(8-12)、(8-13)式分别求出在单个证据Ei的作用下H的后验概率P(H|Si)(1in), 再利用公式(8-10)把概率P(H)和P(H|Si)转换为几率O(H)和O(H|Si), 或者直接运用公式,O(H|E)= O(H)LS,O(H|E)= O(H) LN,(8-17),(8-18),得到几率O(H|Si); 然后用下面的公式,(819),2020/9/6,46,来计算的综合后验几率O(H|S1S2Sn)；最后再用公式。,(8-20),将O(H|