第5章-不确定性推理..ppt

1、第四章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,第四章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论,概述,不精确思维并非专家的习惯或爱好所至，而是客观现实的要求。 很多原因导致同一结果 推理所需的信息不完备 背景知识不足 信息描述模糊 信息中含有噪声 规划是模糊的 推理能力不足 解题方案不唯一,不确定性推理,不确定性的类型 随机性 模糊性 不完全性 （对事物认识不足） 不一致性 （随着推理的进行，原来成立的，变的不那么成立了）,不确定性的表示 （I）,（1）知识不确定性的表示 知识不确定

2、性的表示方式是与不确定性推理方法密切相关的一个问题。在选择知识的不确定性表示时，通常需要考虑以下两个方面的因素： 要能够比较准确地描述问题本身的不确定性 便于推理过程中不确定性的计算 一般将这两个方面的因素结合起来综合考虑。 知识的不确定性通常为一个数值，也称为知识的静态强度。,不确定性的表示 （II）,知识的静态强度可以是该知识在应用中成功的概率，也可以是该知识的可信程度等。 如果用知识在应用中成功的概率来表示静态强度，则其取值范围为0，1，该值越接近于1，说明该知识越接近于“真”；其值越接近于0，说明该知识越接近于“假”。 如果用知识的可信度来表示静态强度，则其取值范围为-1，1，当该值大

3、于0时，值越大说明知识越接近于真，当其值小于0时，值越小说明知识越接近于假。在实际应用中，知识的不确定性是由领域专家给出的。,不确定性的表示 （III）,（2）证据的不确定性的表示 推理中的证据有两种来源： 一种是用户在求解问题时所提供的初始证据，如病人的症状、检查结果等； 另一种是在推理中得出的中间结果，即把当前推理中所得到的中间结论放入综合数据库，并作为以后推理的证据来使用。 一般来说，证据的不确定性表示应该与知识的不确定性表示保持一致，以便推理过程能对不确定性进行统一处理。 证据的不确定性可以用概率来表示，也可以用可信度等来表示，其意义与知识的不确定性类似。,要解决的问题,事实的表示 规

4、则的表示 逻辑运算运算 规则运算 规则的合成,不确定性推理法的类型（I）,关于不确定性推理的类型由多种不同的分类方法，如果按照是否采用数值来描述非精确性，可将其分为数值方法和非数值方法两大类型。 数值方法是一种用数值对非精确性进行定量表示和处理的方法。 非数值方法是指除数值方法以外的其他各种对不确定性进行表示和处理的方法，如非单调推理等。,不确定性推理法的类型（II）,对于数值方法，又可按其所依据的理论分为两种类型 一类是基于概率论的有关理论发展起来的方法，称为基于概率的模型，如确定性理论、主管Bayes方法、证据理论、可能性理论等； 另一类是基于模糊逻辑理论发展起来的可能性理论方法，称为模糊

5、推理。,概述,不确定问题的数学模型表示的3方面问题 表示问题： 表达要清楚。表示方法规则不仅仅是数，还要有语义描述。 计算问题： 不确定性的传播和更新。也是获取新信息的过程。 语义问题： 将各个公式解释清楚。,第四章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,第四章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,不确定性推理模型的基本结构,规则的一般表示形式： IF E THEN H ( C ( H， E ) ) 其中： E 表示规则的前提条件，即证据 H 表示规则的结论部分，即

6、假设 C ( H, E ) 表示规则的精确程度或可信度。 任何一个不确定性推理模型必须解决三个问题： 前提(证据，事实)的不确定性描述 规则(知识)的不确定性描述 不确定性的更新算法,不确定性推理模型的基本结构,证据的不确定性 C ( E ) ,表示证据E为真的程度。需定义其在三种典型情况下的取值： E 为真 E 为假 对 E 一无所知 ( 该情况下的取值称为证据的单位元e(E) ) 规则的不确定性 C ( H，E ) ,表示规则的强度。需定义其在三种典型情况下的取值： 若 E 为真则H为真 若 E 为假则H 为假 E对 H没有影响( 该情况下的取值称为规则的单位元 e( H,E ),不确定性

7、推理模型的基本结构,一个不确定性推理模型必须包括下列算法： (1) C ( H ) = g1 C( E ), C ( H, E) (2) C ( H ) = g2 C1(H), C2(H) (3) C ( E1 AND E2 ) = g3 C(E1), C(E2) (4) C ( E1 OR E2 ) = g4 C(E1), C(E2) (5) C ( E ) = C( E ),不确定性推理模型的基本结构,一个不确定性推理模型必须满足下列条件： (1) 当全部证据和规则都是确定性的时候，此模型应满足确定性推理。 (2) 若算法(1)中，C ( E ) = e(H),则C(H) = e(H) (

8、3) 若算法(2)中，C1(H)=e(H)，则C(H)=C2(H) C2(H)=e(H)，则C(H)=C1(H) (4) 若算法(1)中，C(H，E) = e(H),则C(H) = e(H) (5) 在算法(3)中，g3 (x1, xn) = max(x1,xn),第四章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,第四章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,确定性方法（可信度方法）,E.Short 和B.Buchanan 在MYCIN系统研制过程中产生了不确定推理方法,

9、第一个采用了不确定推理逻辑，70年代很有名。 提出该方法时应遵循的原则 不采用严格的统计理论。使用的是一种接近统计理论的近似方法。 用专家的经验估计代替统计数据 尽量减少需要专家提供的经验数据，尽量使少量数据包含多种信息。 新方法应适用于证据为增量式地增加的情况。 专家数据的轻微扰动不影响最终的推理结论。,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,理论基础 以定量法为工具，比较法为原则

10、的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,规则 (规则的不确定性度量）,规则 A B，可信度表示为CF(B, A)。,规则 (规则的不确定性度量）,CF(B, A)表示的意

11、义 证据为真时相对于P(B) = 1 - P(B)来说，A对B为真的支持程度。即A发生更支持B发生。 此时 CF(B, A) 0。 或，相对于P(B)来说，A对B为真的不支持程度。即A发生不支持B发生。 此时 CF(B, A) 0。 结论 -1 CF(B, A) 1,规则 (规则的不确定性度量）,CF(B, A)的特殊值： CF(B, A) = 1，前提真，结论必真 CF(B, A) = -1，前提真，结论必假 CF(B, A) = 0 ， 前提真假与结论无关 实际应用中CF(B, A)的值由专家确定，并不是由P(B|A), P(B)计算得到的。,理论基础 以定量法为工具，比较法为原则的相对确

12、认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,规则 (证据的不确定性度量）,证据A的可信度表示为CF( A) 同样有：-1 CF( A) 1 特殊值：CF( A) = 1， 前提肯定真

13、 CF(A) = -1， 前提肯定假 CF(A) = 0，对前提一无所知 CF( A) 0， 表示A以CF( A)程度为真 CF( A) 0， 表示A以CF( A)程度为假,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,理论基础 以定量法为工具，比较法为原则的相对确认理论。 采用此方法的MYCIN系统的诊断结果不是只给出一个最可信结论及其可信度，而是给出可信度较高的前几位，供人们比较选用。

14、 规则 规则的不确定性度量 证据（前提）的不确定性度量。 推理计算。,确定性方法,规则 (推理计算 1）,“与”的计算： A1 A2 B CF(A1 A2 ) = min CF(A1), CF(A2 ) “或”的计算：A1 A2 B CF(A1 A2 ) = max CF(A1), CF(A2 ) “非”的计算： CF(A ) = CF(A ) 由A， A B，求 B： CF(B) = CF(A )CF(B,A ) (CF(A ) 0 时可以不算即为“0”),规则 (推理计算 2）,更新，由两条规则求出再合并： 由CF(B)、 CF(B)，求 CF(B),规则 (推理计算 3）,由CF(A)、

15、A B、CF(B, A )、CF(B)，求 B ： 当A必然发生，CF(A)=1时：,规则 (推理计算 4）,当A不必然发生，CF(A)1时： 0 CF(A) 1， 用CF(A)CF(B, A)代替CF(A)=1时的CF(B, A)即可。 CF(A) 0， 规则A B不可使用，即此计算不必进行。 （如MYCIN系统CF(A)0.2就认为是不可使用的。其目的是使专家数据经轻微扰动不影响最终结果。） 注意：以上公式不满足组合交换性。（应在分母加项）,规则 (推理计算 5）,评论 可信度方法的宗旨不是理论上的严密性，而是处理实际问题的可用性。 不可一成不变地用于任何领域，甚至也不能适用于所有科学领域

16、。推广至一个新领域时必须根据情况修改。,第四章 不确定性推理,概述 确定性方法 主观Bayes方法 证据理论 可能性理论,第四章 不确定性推理,概述 不确定性推理模型的基本结构 确定性方法 主观Bayes方法 证据理论 可能性理论,主观贝叶斯方法,概述 在Prospector的探矿系统的研究过程中提出的。 原有贝叶斯公式只考虑A出现对B的影响，没有考虑A不出现的影响。 贝叶斯规则： 当B为n个互不相容事件的集合时，贝叶斯公式可写为：,主观贝叶斯方法,思路 先定好应该怎么办，再凑公式。主要是避开P(A| B)的计算。 规则的不确定性 定义：,表示A为真时，对B的影响。（规则成立的充分性）,主观贝

17、叶斯方法（规则的不确定性）,表示A为假时，对B的影响。（规则成立的必要性） （确定性理论中没有考虑这点）,几率函数O(X),主观贝叶斯方法（规则的不确定性）,O(X)的性质 P(X) = 0时, O(X) = 0假 P(X) = 0.5时, O(X) = 1 P(X) = 1时, O(X) = 真 O(X)与LN，LS的关系 O(B|A) = LS O(B) O(B|A) = LN O(B),主观贝叶斯方法（规则的不确定性）,，且必须满足：,主观贝叶斯方法（规则的不确定性）,LS、LN，不独立。 LS, LN不能同时 或 LS, LN可同时1,主观贝叶斯方法（证据A的不确定性）,P(A)或O(

18、A)表示证据A的不确定性,主观贝叶斯方法（推理计算1）,A必出现时： O(B|A) = LSO(B) O(B|A) = LNO(B) 若需要概率时：,主观贝叶斯方法（推理计算2）,A不确定时：即P(A) 1 （1976年的算法） 向前看一步A， A 为与A有关的所有观察 P(B|A) = P(B|A)P(A| A)+P(B|A)P(A| A) P(A| A) = 1时，证据A必然出现（P95） P(A| A) = 0时，LN代替上式 的LS， 公式（2） P(A| A) = P(A) 时，(A对A无影响)，由上式 P(B| A) = P(B),主观贝叶斯方法（推理计算2）,P(A| A)与P(

19、B| A)坐标系上的三点：(p.96) 总之是找一些P(A| A)与P(B| A)的相关值， 两点也可以做曲线（或折线、直线）。由差值法从线上得到其它点的结果，具体过程见教科书上例题。,主观贝叶斯方法（推理计算3）,两个证据时：,主观贝叶斯方法,主观Bayes方法的评价 优点： 计算方法直观、明了。 缺点： 要求Bj相互无关（实际不可能）。 P(A| B)与P(Bi) 很难计算。 应用困难。,第四章 不确定性推理,概述 确定性方法 主观Bayes方法 证据理论 可能性理论,第四章 不确定性推理,概述 确定性方法 主观Bayes方法 证据理论 可能性理论,证据理论 (Evident Theory

20、),概述 证据的不确定性 规则的不确定性 推理计算,证据理论 (Evident Theory),概述 由Dempster首先提出，并由他的学生Shafer发展起来，也称D-S理论。在专家系统的不精确推理中已得到广泛的应用。 （也用在模式识别中） 证据理论中引入了信任函数，它满足概率论弱公理。在概率论中，当先验概率很难获得，但又要被迫给出时，用证据理论能区分不确定性和不知道的差别。所以它比概率论更合适于专家系统推理方法。 当概率值已知时，证据理论就成了概率论。因此，概率论是证据理论的一个特例，有时也称证据沦为广义概率论。,证据理论 (Evident Theory),概述 证据的不确定性 规则的不

21、确定性 推理计算,证据理论 (Evident Theory),概述 证据的不确定性 规则的不确定性 推理计算,证据理论 (证据的不确定性),证据： 用集合U来表示：如U中的每个元素代表一种疾病。讨论一组疾病A发生的可能性时，A变成了单元（某些假设）的集合。U内元素Ai间是互斥的，但Ai中元素间是不互斥的。,证据理论 (证据的不确定性),基本概率分配函数： m：0,1 （在U的幂集上定义，取值0,1） m(A)表示了证据对的子集A成立的一种信任度 有： 空集为零 意义 若A属于，且不等于，表示对A的精确信任度 若A等于，表示这个数不知如何分配,证据理论 (证据的不确定性),信任函数 0,1。（在的幂集上定义，取值0,1） Bel(A) = 有: Bel() = m() = 0 , Bel() = = 1 Bel类似于概率密度函数，表示A中所有子集的基本概率分配数值的和，用来表示对A的总信任度。,证据理论 (证据的不确定性),似然函数 Pl：0,1。 （在的幂集上定义，取值0,1） Pl(A) = 1 - Bel(A) = 性质： 0 Bel(A) Pl(A) 1 ( Bel是Pl的一部分) 称Bel(A)和Pl(A)是A的下限不确定性值和上限不确定性值。,证据理论 (证据的不确定性),设函数f(Bel(A), Pl(A) ，则有如