不确定性推理课件

不确定性推理

现实世界中的大多数问题是不精确、非完备的。对于这些问题，若采用精确性推理方法显然是无法解决的。为此，人工智能需要研究不精确性的推理方法，以满足客观问题的需求。2023/3/101本章内容1.不确定性推理概论

不确定性及其类型

不确定性推理概念2.不确定性推理中的基本问题

表示问题

计算问题3.不确定性推理方法分类4.经典的不确定性推理模型

可信度方法

主观贝叶斯方法2023/3/102不确定性概述不确定性：由于客观世界的复杂、多变性和人类自身认识的局限、主观性，致使我们所获得、所处理的信息和知识中，往往含有不肯定、不准确、不完全甚至不一致的成分。事实上，不确定性大量存在于我们所处的信息环境中，例如人的日常语言中就几乎处处含有不确定性（瞧！这句话本身就含有不确定性：什么叫“几乎”？）。不确定性也大量存在于我们的知识特别是经验性知识之中。2023/3/103不确定性推理概念不确定性推理泛指除精确推理以外的其它各种推理问题。包括不完备、不精确知识的推理，模糊知识的推理，非单调性推理等。不确定性推理过程实际上是一种从不确定的初始证据出发，通过运用不确定性知识，最终推出具有一定不确定性但却又是合理或基本合理的结论的思维过程。2023/3/105不确定性推理中的基本问题

要实现对不确定性知识的处理，必须要解决不确定知识的表示问题，不确定信息的计算问题，以及不确定性表示和计算的语义解释问题。1．表示问题表达要清楚。表示方法规则不仅仅是数，还要有语义描述。2.计算问题不确定性的传播和更新。也是获取新信息的过程。3.语义问题将各个公式解释清楚。2023/3/106不确定性推理的表示问题一、知识的不确定性表示知识不确定性的表示方式是与不确定性推理方法密切相关的一个问题。在选择知识的不确定性表示时，通常需要考虑以下两个方面的因素：要能够比较准确地描述问题本身的不确定性便于推理过程中不确定性的计算2023/3/107知识的不确定性表示（2）不确切性知识的表示对于不确切性，一般采用程度或集合来刻划。所谓程度就是一个命题中所描述的事物的属性、状态和关系等的强度。例如，我们用三元组（张三，体型，(胖，0.9）)表示命题“张三比较胖”，其中的0.9就代替“比较”而刻划了张三“胖”的程度。这种程度表示法，一般是一种针对对象的表示法。其一般形式为（<对象>，<属性>，(<属性值>，<程度>）)2023/3/109证据的不确定性的表示二、证据的不确定性的表示推理中的证据有两种来源：一种是用户在求解问题时所提供的初始证据，如病人的症状、检查结果等；另一种是在推理中得出的中间结果，即把当前推理中所得到的中间结论放入综合数据库，并作为以后推理的证据来使用。一般来说，证据的不确定性表示应该与知识的不确定性表示保持一致，以便推理过程能对不确定性进行统一处理。证据的不确定性可以用概率来表示，也可以用可信度等来表示，其意义与知识的不确定性类似。2023/3/1010不确定性推理的计算问题（1）组合证据的不确定性如何由两个证据A1和A2的可信度度量P(A1)、P(A2)计算“与”、“或”逻辑计算结果的可信度度量：P(A1∧A2)=f(P(A1),P(A2))、P(A1∨A2)=f(P(A1),P(A2))最大最小法：P(A1∧A2)＝min(P(A1)，P(A2)

P(A1∨A2)＝max(P(A1)，P(A2))概率方法：P(A1∧A2)＝P(A1)×P(A2) P(A1∨A2)＝P(A1)+P(A2)-P(A1)×P(A2)有界方法：P(A1∧A2)＝max(0，P(A1)+P(A2)-1)

P(A1∨A2)＝min(1，P(A1)+P(A2))2023/3/1011不确定性推理方法分类关于不确定性推理的类型由多种不同的分类方法，如果按照是否采用数值来描述非精确性，可将其分为数值方法和非数值方法两大类型。非数值方法是指出数值方法外的其他各种处理不确定性的方法,它采用集合来描述和处理不确定性，而且满足概率推理的性质。非数值方法数值方法是对不确定性的一种定量表示和处理方法。数值方法2023/3/1013不确定性推理方法分类

对于数值方法，按其依据的理论不同又可分为以下两类：1、基于概率的方法：是基于概率论的有关理论发展起来的方法，如可信度方法、主观Bayes方法、证据理论等；2、模糊推理：是基于模糊逻辑理论发展起来的可能性理论方法2023/3/1014不确定性推理方法分类模糊推理基于概率的方法主观Bayes方法可信度方法证据理论数值方法非数值方法不确定性推理框架推理

语义网络推理

常识推理…2023/3/1015不确定性推理模型基本结构证据的不确定性CF(E),表示证据E为真的程度。需定义其在三种典型情况下的取值：

E为真

E为假对E一无所知(该情况下的取值称为证据的单位元e(E))规则的不确定性CF(H，E),表示规则的强度。需定义其在三种典型情况下的取值：若E为真，则H为真若E为假，则H为假

E对H没有影响(该情况下的取值称为规则的单位元e(H,E))2023/3/1017可信度方法E.Short和B.Buchanan在MYCIN系统研制过程中产生了可信度方法,第一个采用了不确定推理逻辑，在70年代很有名。2023/3/1018可信度概念所谓可信度就是在实际生活中根据自己的经验对某一事物或现象进行观察，判断相信其为真得程度。例如，张三昨天没有上课，他的理由是肚子疼，就此理由而言，听话的人可能完全相信，也可能完全不相信，也可能在某种程度上相信，这与张三平时的表现和人们对他的话相信程度有关。这里的相信程度就是我们说的可信度。可信度也称为确定性因子。2023/3/1019可信度方法---CF模型CF模型是基于可信度表示的不确定性推理的基本方法，其它可信度方法都是在此基础上发展起来

其一般形式为：IFETHENH，CF(H,E)CF(H,E)是该条知识的可信度，称为可信度因子或规则强度.它指出当前提条件E为真时，它对结论H为真的支持程度，CF(H,E)的值越大，就越支持结论H为真。证据的不确定性也是用可信度因子表示。证据E的可信度表示为CF(E).2023/3/1021可信度方法---CF模型-1≤CF(H,E)≤1CF(B,A)的特殊值：CF(B,A)=1，前提真，结论必真CF(B,A)=-1，前提真，结论必假CF(B,A)=0，前提真假与结论无关实际应用中CF(B,A)的值由专家确定，并不是由P(B|A),P(B)计算得到的。2023/3/1022

规则

E→H，可信度表示为CF(H,E)。

当P(H|E)>P(H)当P(H|E)=P(H)当P(H|E)<P(H)2023/3/1023可信度方法---CF模型当MB(H，E)>0，表示由于证据E的出现增加了对H的信任程度。当MD(H，E)>0，表示由于证据E的出现增加了对H的不信任程度。由于对同一个证据E，它不可能既增加对H的信任程度又增加对H的不信任程度，因此，MB(H,E)与MD(H,E)是互斥的，即当MB(H，E)>0时，MD(H，E)＝0；当MD(H，E)>0时，MB(H，E)＝0。2023/3/1025可信度方法---CF模型的计算

前提证据事实总CF值计算

CF(E1∧E2∧…∧En)＝min{CF(E1)，CF(E2)，CF(En)}CF(E1∨E2∨…∨En)＝max{CF(E1)，CF(E2)，…，CF(En)}其中E1，E2，…，En是与规则前提各条件匹配的事实。推理结论CF值计算CF(H)＝CF(H，E)·max{0，CF(E)}其中E是与规则前提对应的各事实，CF(H，E)是规则中结论的可信度，即规则强度。2023/3/1026可信度方法举例(二)R1:IFE1THENH

CF(H，E1)=(0.8)R2:IFE2THENH

CF(H，E2)=(0.7)CF(E1)=0.4、CF(E2)=0.6解：

CF1(H)=CF(E1)·CF(H，E1)=0.4×0.8=0.32CF2(H)=CF(E2)·CF(H，E2)=0.6×0.7=0.42CF(H)=0.32+0.42-0.32×0.42=0.6重复结论的CF值计算推理结论CF值计算2023/3/1029

主观贝叶斯方法是R.O.Duda等人于1976年提出的一种不确定性推理模型,并成功地应用于地质勘探专家系统PROSPECTOR。主观贝叶斯方法是以概率统计理论为基础,将贝叶斯(Bayesian)公式与专家及用户的主观经验相结合而建立的一种不确定性推理模型。1.不确定性度量主观贝叶斯方法的不确定性度量为概率P(x),另外还有三个辅助度量:LS,LN和O(x),分别称充分似然性因子、必要似然性因子和几率函数。主观贝叶斯方法2023/3/1030在PROSPECTOR中,规则一般表示为

ifE

then(LS,LN)H(P(H))或者图示为

其中,E为前提(称为证据);H为结论(称为假设);P(H)为H为真的先验概率;LS,LN分别为充分似然性因子和必要似然性因子,其定义为(8-8)2023/3/1031(8-9)前者刻画E为真时对H的影响程度,后者刻画E为假时对H的影响程度。另外,几率函数O(x)的定义为(8-10)它反映了一个命题为真的概率(或假设的似然性(likelihood))与其否定命题为真的概率之比,其取值范围为［0,+∞］。

2023/3/1032下面我们介绍LS,LN的来历并讨论其取值范围和意义。由概率论中的贝叶斯公式

有

两式相除得

2023/3/1033即

亦即

O(H|E)=O(H)LS

从而

由此式不难看出：

LS>1当且仅当O(H|E)>O(H),说明E以某种程度支持H;LS<1当且仅当O(H|E)<O(H),说明E以某种程度不支持H;LS=1当且仅当O(H|E)=O(H),说明E对H无影响。

2023/3/1034将上面贝叶斯公式中E的换为E,用类似的过程即可得到

O(H|E)=O(H)

·LN

进而有

由此式不难看出：

LN>1当且仅当O(H|E)>O(H),说明E以某种程度支持H;

LN<1当且仅当O(H|E)<O(H),说明E以某种程度不支持H;

LN=1当且仅当O(H|E)=O(H),说明E对H无影响。

2023/3/1035因为一个证据E及其否定E不可能同时既支持又反对一个假设H,因此任一条规则E→H的LS、LN只能是下列情况中的一种:①LS>1,且LN<1;②LS<1,且LN>1;

③

LS＝LN＝1。

2023/3/1036需说明的是,在概率论中,一个事件的概率是在统计数据的基础上计算出来的,这通常需要大量的统计工作。为了避免大量的统计工作,在主观贝叶斯方法中,一个命题的概率可由领域专家根据经验直接给出,这种概率称为主观概率。推理网络中每个陈述H的先验概率P(H)都是由专家直接给出的主观概率。同时,推理网络中每条规则的LS、LN也需由专家指定。例如PROSPECTOR中有规则2023/3/1037说明专家认为:当CVR为真时,它支持FLE为真;但当CVR为假时,FLE的成立与否与CVR无关。而按理论限制应有LS＝800>1时,LN<1。这种主观概率与理论值不一致的情况称为主观概率不一致。当出现这种情况时,并不是要求专家修改他提供的LS、LN使之与理论模型一致(这样做通常比较困难),而是使似然推理模型符合专家的意愿。2023/3/10382.推理中后验概率的计算推理中后验概率的计算有以下几个公式:(8-11)这是当证据E肯定存在即为真时,求假设H的后验概率的计算公式。其中的LS和P(H)由专家主观给出。

(8-12)这是当证据E肯定不存在即为假时,求假设H的后验概率的计算公式。其中的LN和P(H)由专家主观给出。

2023/3/10393.不确定性的传递计算(一)主观Bayes方法推理的任务就是根据证据E的概率P(E)及LS、LN，把H的先验概率P(H)或先验几率O(H)更新为后验概率或后验几率。（1）证据肯定存在的情况：O(H/E)=LS×O(H)（2）证据肯定不存在的情况：O(H/E)=LN×O(H)（3）证据既非为真又非为假的情况：需要使用杜达等人给出的公式:P(H/S)＝P(H/E)×P(E/S)+P(H/E)×P(E/S)下面分三种情况讨论：2023/3/10403.不确定性的传递计算(二)（1）P(E/S)=1时，P(E/S)=0，因此有：P(H/S)=P(H/E)这时就是证据肯定存在的情况（2）P(E/S)=0时，P(E/S)=1，因此有：P(H/S)=P(H/E)这时就是证据肯定不存在的情况（3）P(E/S)=P(E)时，因此有：P(H/S)=P(H)这时S与E无关P(E/S)=其他值时，根据前面几个值插值得到：2023/3/10413.不确定性的传递计算(三)P(E/S)=其他值时，根据前面几个值插值得到：该插值公式称为EH公式。P(H/E)P(H)P(E)P(E/S)01P(H/E)P(H/S)如果不确定性是用可信度C(E/S)给出，即可得到P(H/S)，这种公式称为CP公式2023/3/10423.多证据的总概率合成对于多条件前提的规则,应用公式(8-11)、(8-12)、(8-13)求结论的后验概率时,先要计算与其前提中对应证据事实的总概率。假设已知P(E1|S),P(E2|S),…,P(En|S),并且诸Ei是相互独立的,则由概率的加法公式和乘法公式应有:2023/3/1043但一条规则的前提中各条件Ei之间通常不满足独立要求，因此用这两个公式计算出的后验概率往往偏高或偏低。所以，主观贝叶斯方法中采用了如下公式：

P(E1∨E2∨…∨En|S)＝P(Ei|S)

P(E1∧E2∧…∧En|S)＝P(Ei|S)(8-14)(8-15)另外,根据全概率公式有

P(E|S)＝1-P(E|S)(8-16)这样,通过公式(8-14)、(8-15)、(8-16),就可以计算由∧、、

∨任意连接起来的组合证据的后验概率。

2023/3/10444.相同结论的后验概率合成设推理网络中有多条以H为结论的规则:如果有证据E1,E2,…,En相互独立,它们的观察依次为S1,S2,…,Sn,则这种情况下H的后验概率可视为在E1,E2,…,En的综合作用下的后验概率。2023/3/1045其求法是先用式(8-11)、(8-12)、(8-13)式分别求出在单个证据Ei的作用下H的后验概率P(H|Si)(1≤i≤n),再利用公式(8-10)把概率P(H)和P(H|Si)转换为几率O(H)和O(H|Si),或者直接运用公式O(H|E)=O(H)LS

O(H|E)=O(H)LN(8-17)(8-18)得到几率O(H|Si);然后用下面的公式

(8－19)2023/3/1046来计算Ｈ的综合后验几率O(H|S1∧S2∧…∧Sn)；最后再用公式。

(8-20)将O(H|S1∧S2∧…∧Sn)转换为后验概率P(H|S1∧S2∧…∧Sn)。

2023/3/1047

5.推理举例例8.7设有规则ifE1then(100,0.01)H1(P(H1)=0.6)，并已知证据E1肯定存在，求H1的后验概率P(H1|E1)。解

由于证据E1肯定存在，因此可用公式（4）计算P(H1|E1)。于是有

2023/3/1048例8.8设有规则ifE1then(100,0.01)H1(P(H1)