人工智能-第四章非经典推理.ppt

第四章 非经典推理,信息科学与技术学院 2015.2,4.1 不确定性推理,不确定性推理是研究复杂系统不完全性和不确定性的有力工具。 有三种不确定性，即关于知识的不确定、关于证据的不确定性和关于结论的不确定性。,关于结论的不确定性也叫做规则的不确定性，它表示当规则的条件被完全满足时，产生某种结论的不确定程度。,4.1.1不确定性推理的定义 不确定性推理，就是从不确定性的初始证据（即已知事实）出发，通过运用不确定性的知识，最终推出具有一定程度的不确定性但却是合理或近乎合理的结论的思维过程。 4.1.2 造成知识不精确性的主要原因 （1）很多原因导致同一结果。如医学上导致低烧的病因就很多，医生只能作出猜测性判断。 （2）信息的不完备性。如战场态势估计、股市波动预测等。 （3）背景知识的不充分性。如人类目前对癌症机理还不了解。 （4）信息描述的模糊性。如“今天天气比较好”。,（5）推理规则的模糊性。如“若物价上涨过快，就要紧缩信贷”等模糊规则。 （6）推理能力的局限性。如天气预报，气象专家只能满足于时间不太长、精度尽可能好的预测算法。 （7）解题方案的不唯一性。无论是政治、经济、文化，还是军事领域中的很多问题，一般都有多种可选方案，在无法绝对地判断各方案优劣的情况下，只好选择主观上认为相对较优的方案，这又是一种不精确推理。,4.1.3不确定性推理的基本问题 除了必须解决经典推理方法中同样存在的推理方向、推理方法、控制策略等基本问题外，一般还需要着重解决不确定性的表示与度量、不确定性匹配、不确定性的传递算法，以及不确定性的合成等问题。,（1）不确定性的表示与度量 选择不确定性表示方法时应考虑的因素： 根据领域问题的特征将其不确定性比较准确地描述出来，以满足问题求解的需要； 便于推理过程中对不确定性的推算。 知识的不确定性表示 静态强度：表示相应知识的不确定性程度的某个数值。它可以是相应知识在应用中成功的概率，也可以是该条知识的可信程度等，其值范围因其意义与使用方法的不同而不同。 证据的不确定性表示 推理中证据的来源：用户在求解问题时提供的初始证据及推理中得到的中间结果。,动态强度：表示相应证据的不确定性程度的数值。初始证据的动态强度由用户给出；推理过程中所得到的中间结论（或中间结果）的动态强度由不确定性传递算法计算得到。,不确定性的度量：对于不同的知识及不同的证据，其不确定性的程度一般是不相同的，需要用不同的数据表示其不确定性程度，还需事先规定其取值范围，只有这样每个数据才会有确定的意义。例如，在专家系统MYCIN中， 可信度：表示知识及证据的不确定性； 取值范围：-1, 1； 当可信度0时，其值越大表示相应的知识或证据越接近于“真”； 当可信度0时，其值越小表示相应的知识或证据越接近于“假”。,（2）不确定性的匹配 对于不确定性推理，由于知识和证据都具有不确定性，而且知识所要求的不确定性程度与证据实际具有的不确定性程度不一定相同，因而就出现了“怎样才算匹配成功？”的问题。 常用的解决办法： 设计一个算法用以计算匹配双方的相似程度（简称相似度）； 指定一个相似的“限定”（即阈值），用以衡量匹配双方的相似度是否落在指定的限度内。若相似度在阈值范围内，则表明是匹配的，相应知识可被应用；否则，反之。,（3）组合证据不确定性的算法 在基于产生式规则的系统中，根据知识的前提条件是简单条件还是复合条件，可分为： 单一证据：是指知识的前提条件仅为一个简单条件的情况； 复合证据：是指知识的前提条件用AND（与）或OR（或）把多个简单条件连接起来构成复合条件的情况，即一个复合条件对应于一组证据。 在不确定性推理中，由于结论的不确定性通常是通过对证据及知识的不确定性进行某种运算得到的，因而需要有合适的算法来计算组合证据的不确定性。主要方法：最大最小方法、概率方法、有界方法等。,（4）不确定性的传递算法 包括两个子问题： 1）在每一步推理中，如何把证据及知识的不确定性传递给结论；一般做法：按照某种算法由证据和知识的不确定性计算出结论的不确定性。 2）在多步推理中，如何把初始证据的不确定性传递给最终结论。一般做法：把当前推出的结论及其不确定性作为证据放入综合数据库，供以后推理使用。 （5）结论不确定性的合成 用不同知识进行推理得到了相同结论，但不确定性的程度却不相同，此时，需要用合适的算法对它们进行合成。而且在不同的不确定性推理方法中，所采用的合成方法也就各不相同。,4.1.4不确定性推理方法的分类 常用的方法有数值法和非数值法。数值法以概率方法、确定因子法、DS证据理论和可能性理论为代表；非数值法则以批注理论和非单调逻辑为代表。数值法是对不确定性的一种定量表示和处理方法，便于计算、比较，非数值法是指除数值方法外的其它各种处理不确定性的方法，便于定性分析。,4.2 概率推理,4.2.1 概率论基础 1.样本空间与随机事件 （1）样本空间 在概率论中，把试验中每一个可能出现的结果称为试验的一个样本点，由全体样本点构成的集合称为样本空间。用D表示样本空间，d表示样本点。 如： D=d1，d2 （2）随机事件 在概率论中，把由样本点构成的集合称为随机事件。 对两个事件A与B，如果事件表达的是“事件A与事件B至少有一个发生”，称该事件为A与B的并事件，记：AUB 如果事件表达的是“事件A与事件B同时发生”，称该事件为A与B的交事件，记：A B 如果事件A与B之间满足“A B= ， AUB=D”，则称A与B为互逆事件。,2.事件的概率 （1）统计概率 在同一组条件下进行大量重复试验时，如果事件A出现的频率fn（A）总是在区间0，1上的一个确定常数p附近摆动，且稳定于p，则称p为事件A的统计概率。 P（A）=p 其中： fn（A）=m/n n：试验总次数 m：试验中A发生次数 统计概率的性质： 对任一事件A，有0P（A）1 必然事件D的概率P(D)=1，不可能事件的概率 P()=0 对任一事件A，有 P( A)=1- P(A),设事件A1，A2，Ak（k n）是两两互不相容的事件， AiAj= （i j），则 设A、B是两个事件，则 P(AUB)=P(A)+P(B)-P(A B) (2)条件概率 设A与B是某个随机试验中的两个事件，如果在事件B发生的条件下考虑事件A发生的概率，就称它为事件A的条件概率，记为P(A/B)。 定义：设A、B是两个事件，P(B)0，称 为事件B已发生条件下，事件A发生的条件概率,3.全概率公式与Bayes公式 （1）全概率公式 设事件A1，A2，An满足： (1)任意两个事件都互不相容，即当ij时，有AiAj=(i=1，2，n；j=1，2， ，n)； (2)P(Ai)0 (i=1，2，n)； (3) 对任何事件B有：,例：A1=取红桃牌 A2=取方块牌 A3=取黑桃牌 A4=取梅花牌 A5=取王牌 B=取花脸牌 解: P(B)=P(A1)P(B|A1)+P(A2)P(B|A2) +P(A3)P(B|A3)+P(A4)P(B|A4) +P(A5)P(B|A5) =(13/543/13)4+2/540 =12/54,（2）Bayes公式 设事件A1，A2，An两两互不相容，且它们构成全部样本空间，则对任何事件B有：,称这个公式为Bayes公式，同时称P(Ai)，P(B|Ai)的值为先验概率；P(Ai|B)的值为后验概率。Bayes公式就是从先验概率推导出后验概率的公式。,【注意】：贝叶斯公式与全概率公式的区别。 （1）全概率公式是由原因到结果的计算公式； （2）贝叶斯公式是在已知某种结果发生的情况下，寻求使这个结果发生的原因。贝叶斯公式在实际问题中有着十分重要的应用。,4.3 确定性理论（可信度方法） 1、可信度的概念 可信度是指人们根据以往经验对某个事物或现象为真的程度的一个判断，即人们对某个事物或现象为真的相信程度。在确定性理论中不确定性是用可信度表示的。,2、C-F模型 （1）知识的不确定性 在C-F模型中，知识是用产生式规则表示的。 IF E THEN H （CF(H,E) E是知识的前提条件（证据），可以是一个简单条件，也可以是由合取和析取构成的复合条件。 H是知识的结论，可以是一个或多个结论。,CF(H,E)是知识的可信度。CF(H,E)的具体值由领域专家给出，其取值范围为一1，1。CF(H,E)0表示证据存在，增加结论为真的确定性程度，CF(H,E)越大结论越真，CF(H,E)1表示证据存在结论为真。相反，CF(H,E)0表示证据存在，增加结论为假的确定性程度，CF(H,E)越小结论越假，CF(H,E)一1表示证据存在结论为假。CF(H,E)0时，则表示证据与结论无关。,例如： IF 发烧 AND 流鼻涕 THEN 感冒 (0.8),（2）可信度的定义 CF(H,E)=MB(H,E)-MD(H,E) MB(H,E):信任增长度，表示证据E的出现，使结论H为真的信任增长度。 若P（H）=1 否则 MD(H,E)：不信任增长度，表示证据E的出现，对结论H的不信任增长度。 若P（H）=0 否则 P（H）为H的先验概率，P（H|E）为H的条件概率,MB（H，E）0表示因证据E的出现增加对结论H为真的信任增长度，即P（H|E）P（H） MD（H，E）0表示因证据E的出现增加对结论H为真的不信任增长度，即P（H|E）P(H) 若P(H|E)=P(H) 若P(H|E)P(H),基本性质： MB和MD的互斥性 当MB（H，E）0时，MD(H,E)=0 当MD（H，E）0时，MB(H,E)=0,值域 0MB(H,E)1 0MD(H,E)1 -1CF(H,E)1 典型值 -1 则P（H|E）=0 CF(H/E)= 0 则P（H|E）=P（H） 1 则P（H|E）=1 对H的信任增长度等于对非H的不信任增长度 MD(H,E)=MB(H,E) CF不同于概率P 对于概率有：P(H)+P(H)=1 且0 P(H),P(H) 1 而 CF(H|E)+CF(H|E)=0 即：对H的可信度与对非H的可信度之和等于0,对同一前提E，若支持若干个不同的结论Hi，则,（3）证据的不确定性 证据的不确定性是用证据的确定性因子CF(E)表示的。原始证据的确定性因子由用户主观地给出，非原始证据的确定性因子由不确定性推理获得。 值域 当证据E以某种程度为真时，有0CF(E)l。 当证据E以某种程度为假时，有-1CF(E)0。 当证据E一无所知时，有CF(E)0。 典型值 当证据E肯定为真时，有CF(E)l。 当证据E肯定为假时，有CF(E)-1。 当证据E一无所知时，有CF(E)0。,（4）不确定性推理算法 E肯定存在 在证据E肯定存在时有CF(E)1，那么结论H的确定性因子为规则的确定性因子，即 CF(H)CF(H，E) E不是肯定存在 在客观的现实世界中，对证据的观察往往也是不确定的。除此之外，证据E可能还是另一条规则的结论，这时也常常是不确定的。在这种情况下，结论H的确定性因子CF(H)不仅取决于规则的确定性因子CF(H，E)，而且还取决于证据E的确定性因子CF(E)。计算公式为 CF(H)CF(H，E)max0，CF(E),证据是多个条件的逻辑组合 证据是合取连接 即 E= E1 AND E2 ANDAND En 则 CF(E)CF(E1 AND E2 AND.AND En) minCF(E1)，CF(E2)，. ，CF(En) 证据是析取连接 这时，EE1 OR E2 OR . OR En，有 CF(E)CF(E1 OR E2 0R . OR En) maxCF(E1)，CF(E2)，. ，CF(En),（5）结论不确定性的合成 当多条知识推出相同结论，且这些知识的前提相互独立，结论的可信度又不相同，则可用不确定性的合成算法求出该结论的综合可信度。 若有两条规则分别是 IF E1 THEN H (CF(H，E1) IF E2 THEN H (CF(H，E2) 那末首先分别计算出CF1(H)和CF2(H)： CF1(H)CF(H，E1) max0，CF(E1) CF2(H)CF(H，E2) max0，CF(E2),然后用公式 CF1(H)十CF2(H)-CF1(H)CF2(H) 若CF1(H)0 且CF2(H)0 CF12(H) CF1(H)十CF2(H)十CF1(H)CF2(H)； 若CF1(H)0且CF2(H)0 (CF1(H)十CF2(H)/(1-min|CF1(H)|,|CF2(H)|)； 其他 计算出由E1和E2组合而导出的确定性因子CF12(H)。,举例 有如下的推理规则： Rule l：IF E1 THEN H (0.9) Rule 2：IF E2 THEN H (0.7) Rule 3：IF E3 THEN H (-0.8) Rule 4：IF E4 AND E5 THEN E1 (0.7) Rule 5：IF E6 AND (E7 0R E8) THEN E2 (1.0),H,E1,E2,E6,E4,E5,OR,AND,0.9,-0.8,0.7,1.0,R1,R3,R4,R5,E3,E7,E8,0.7,R2,AND,在图中，E3、E4、E5、E6、E7和E8为原始证据，其确定性因子由用户给出，假定它们的值为： CF(E3)0.3， CF(E4)0.9， CF(E5)0.6， CF(E6)0.7， CF(E7)-0.3， CF(E8)0.8。 求CF(H)=？ 解：先求出CF(E1)、CF(E2)和CF(E3) 。 CF(E1)07max0，CF(E4 AND E5) 07max0，minCF(E4)，CF(E5) 07max0，min09，06 07max0，06 o706 0.42,CF(E2)1max0，CF(E6 AND (E7 OR E8) 1max(0，minCF(E6)，maxCF(E7)，CF(E8) 1max0，minCF(E6)，max-0.3，0.8 1max0，min0.7，0.8 1max0，0.7 10.7 0.7 CF(E3)0.3 CF1(H)09max0，CF(E1) 09max0，042 09042 038,CF2(H)07max0，CF(E2) 07max0，07 0707 049 CF3(H) 08CF(E3) 0803 024 CF1(H)0 且CF2(H)0 CF12(H)CF1(H)十CF2(H) CF1(H)CF2(H) 038十0490380. 4906838 CF12(H)0 且CF3(H)0 CF(H)CF123(H) (CF12(H)十CF3(H)/(1min|CF12(H)|, |CF3(H)|) (06838024)/(1 0. 24) 05839,CF模型的优点是： 简单、直观。主要表现在组合假设和证据的不确定性的计算十分简单，而且不需要把信任和不信任的判断知识表示成概率的形式。把某个值指派给一个假设的确定性因子要比把一个概率直接指派给一个假设要容易得多。 计算仅有线性的信息和时间的复杂度，而且推理的近似效果也比较理想。 推理的结果与证据提供的顺序无关。 推理过程中的阈值 推理所得到的结论中有的可信度很低，可以设定一个阈值，在推理过程中去掉那些可信度低于阈值的结论。 一般阈值定为0.2，当CF0.2时，置CF0，当CF0.2时，CF有意义。,3.带加权因子的可信度推理 （1）知识不确定性的表示 IF E1(1) AND E2 (2) ANDAND En (n) THEN H CF(H,E) i为加权因子，取值范围0，1，由领域专家给出。 加权因子取值原则：条件的独立性越强，对结论的重要程度越高，则该条件的加权因子越大。且满足归一条件,（2）组合证据不确定性的计算 对于 E= E1(1) AND E2 (2) ANDAND En (n) 可信度为：,如果不满足归一条件，则可信度为：,（3）不确定性的更新 CF(H)=CF(H,E)CF(E) “”可以是乘运算，也可以是其他合适的运算。,例：设有如下知识： r1：IF E1(0.6) AND E2 (0.4) THEN E5 (0.8) r2：IF E3(0.5)AND E4(0.3)AND E5(0.2) THEN H(0.9) 已知：CF(E1)=0.9,CF(E2)=0.8,CF(E3)=0.7,CF(E4)=0.6 求： CF(H) 解：CF(E1(0.6)AND E2(0.4)= 1CF(E1)+ 2CF(E2) =0.60.9+0.4 0.8 =0.86 CF(E5)=0.80.86=0.69 CF(E3(0.5)AND E4(0.3)AND E5(0.2) =0.50.7+0.3 0.6+ 0.2 0.69 =0.67 CF(H)=0.90.67=0.70,主观Bayes方法的基本思想 由于证据E的出现，使得P (H)变为P(H|E) 主观Bayes方法,就是研究利用证据E，将先验概率P(H)更新为后验概率P(H|E),4.4 主观Bayes方法,1.知识不确定性的表示,知识表示 IF E THEN （LS，LN） H 几率函数O(x) 几率函数定义为O(x)P(x)/(1-P(x)。 它表示x出现的概率与不出现概率之比，随着P(x)的增大，O(x)也增大。 当P(x)0时，有O(x)0 当P(x)1时，有O(x) 这样，取值为0，1的P(x)被放大为取值为0, 的O(x)。 充分性度量LS：LSP(E|H)/P(E|H) 必要性度量LN：LNP(E|H)/P(E|H) LS、LN的取值范围0, ,根据Bayes公式有 P(H|E)P(E|H)P(H)/P(E) (1) P(H|E)P(E|H)P(H)|P(E) (2) 将上述两式相除，得 P(H|E)/P(H/E) =P(E|H)/P(E|H)P(H)/P(H) 再利用几率函数和LS，上式可表示为 O(H|E)LSO(H) 当LS1时，O(H|E)O(H)，说明E支持H，LS越大，O(H|E)就越大，即P(H|E)越大，说明E对H的支持越强。当LS时，O(H|E)，从而有P(H|E)1，说明E的存在导致H为真。 当LS=1时，O(H|E)O(H)，说明E对H没有影响 当LS1时，O(H|E)O(H)， 说明E不支持H 当LS=0时，O(H|E)=0， 说明E的存在使H为假 因此，LS反映E的出现对H为真的影响程度，称LS为充分性度量。,同理，将前面(1)(2)中的E换为E，可以得到 O(H|E)=LNO(H) 当LN1时，O(H|E)O(H)，说明E支持H，LN越大，O(H|E)就越大，即P(H|E)越大，说明E对H的支持越强。当LN时，O(H|E)，从而有P(H|E)1，说明E的存在导致H为真。 当LN=1时，O(H|E)O(H)，说明E对H没有影响 当LN1且LN1 LS=LN=1,在主观Bayes方法中，一条规则变成了如下的形式： IF E THEN (LS，LN) H 其中参数LS，LN和先验几率O(H)要由领域专家主观给出。,2.证据不确定性的描述 在主观Bayes方法中，证据E的不确定性采用概率P的等价形式几率来描述。 P(E) 0 当E为假时 O(E)= = 当E为真时 1-P(E) （0，+ ） 当E非真也非假时,3.组合证据不确定性的计算 证据合取情况： E= E1 AND E2 ANDAND En 设在观察S之下，证据E1，E2，En的概率为P(E1|S)、P(E2|S)、P(En|S)，那么有 P(E|S)MinP(E1|S)，P(E2|S)，.，P(En|S),4. 不确定性的更新 根据证据E的概率P（E）及LS，LN的值，把H的先验概率P（H）或先验几率O（H）更新为后验概率或后验几率 （1）当证据E肯定为真时(P(E)1) 可直接使用公式 O(H|E)LSO(H) 以求得使用规则EH后，O(H)的更新值O(H|E)。,证据析取情况 E= E1 OR E2 0ROR En 设在观察S之下，证据E1，E2，.，En的概率为P(E1|S)、P(E2|S)、.、P(En|S)，那么有 P(E|S)maxP(E1|S)，P(E2|S)，P(En|S),若需要以概率的形式表示，则对上式反复应用公式 P(E)= O(E)/(1+O(E) 计算出 P(H|E)=(LSP(H)/(LS-1)P(H)+1) （2）当证据E肯定为假时(P(E)1) 可直接使用公式 O(H|E)LNO(H) 以求得使用规则EH后，O(H)的更新值O(H|E)。 若以概率的形式表示 P(H|E)=(LNP(H)/(LN-1)P(H)+1),(3)当证据E不确定时(P(E)1) 设S是与E有关的所有观察，对规则EH来说有公式 P(H|S)P(H|E)P(E|S)十P(H|E)P(E|S) 当P(E|S)1时，P(E|S)=0,证据E必然出现，有 P(H|S)P(H|E)LSP(H)/(LS-1)P(H)+1) 当P(E|S)0时，P(E|S)=1,证据E必然不出现 有 P(H|S)=P(H|E)=LNP(H)/(LN-1) P(H)+1) 当P(E|S)P(E)时，即观察S对E无影响 有 P(H|S)=P(H|E) P(E)+P(H|E) P(E) =P(H) 当P(E|S)为其他值时 可以从P(E|S)分别为0，P(E)和1这3个特殊点采用分段线性插值的方法，确定与其相应的P(H|S)值。,称为EH公式,P(E),P(E|S),0,1,由用户根据观察S给出P(E|S)相当困难引入可信度的概念（为用户回答方便，采用-5到5这11个整数之一作为证据的可信度，用户可以根据实际情况从中选择） 可信度C(E|S)和概率P(E|S)的对应关系如下： C(E|S)=-5，即在观察S下证据E肯定不存在，P(E|S)=0 C(E|S)=0，表示S与E无关，即P(E|S)=P(E) C(E|S)=5，即在观察S下证据E肯定存在，P(E|S)=1 C(E|S)为其它数时，可通过对上述三点进行分段线性插值得到CP公式,-5 -4 -3 -2 -1 0 1 2 3 4 5,P(E|S)=1,P(E|S)=0,P(E|S),P(E),C(E/S),5. 结论不确定性的合成 设一组相互独立的证据E1、E2En的观察分别为S1、S2Sn，且有规则E1H，E2H，EnH。假定由这些规则得到的结论H的后验几率分别是O(H|S1)、O(H|S2)O(H|Sn)，那么由这些独立证据的组合相应得到的结论H的后验几率为 O(H|S1,S2,Sn)= O(H|S1)X O(H|S2)X O(H|Sn) X 0（H） O(H) O(H) O(H),例1 设有如下规则： 规则1: IF E1 THEN (2,0.001) H 规则2: IF E2 THEN (100,0.001) H 且O(H)=0.1, C(E1|S1)=2, C(E2|S2)=1 计算O(H|S1,S2),H,E1,S1,E2,S2,例2 PROSPECTOR专家系统中的部分推理网络如图所示。图中各结点的先验概率标在结点的右上方，规则的LS和LN值标在该规则连线的一侧。用户给出的各原始证据在各自的观察之下概率为： P(E1|S1)0.7， P(E2|S2)0.6， P(E3|S3)0.02。 现要求计算结论H2的后验概率P(H2|S1,S2,S3)。,H2,H1,E3,E1,E2,65,0.01,300,0.0001,2,0.000001,100,0.000001,0.01,0.03,0.1,0.4,0.2,即有如下规则： R1: IF E1 THEN (2, 0.000001) H1 R2: IF E2 THEN (100, 0.000001) H1 R3: IF H1 THEN (65, 0.01) H2 R4: IF E3 THEN (300, 0.0001) H2 和专家给出的先验概率： P(E1)=0.2, P(E2)=0.4, P(E3)=0.03, P(H1)=0.1, P(H2)=0.01 用户给出的在观察S下证据E的概率： P(E1|S1)=0.7, P(E2|S2)=0.6, P(E3|S3)=0.02,解 1根据P(E1|Sl)计算P(H1|Sl) 由于P(E1|S1)0.70.2P(E1)，所以 P(H1|E1) LS P(H1) (LS-1) P(H1)十1 20.1 0.1818 (2-1)0.1十1 P(H1|S1)P(H1)十P(H1|E1)-P(H1) 1-P(E1) P(E1|S1)-P(E1) 0.1十 0.1818-0.1 (0.7-0.2) 1-0.2 0.151125,P(H|S),P(H1|E1),P(H1),P(H|E),P(E1),P(E|S),0,1,P(E1|S1),P(H1|S1),P(H/S)=P(H| E)+(P(H)-P(H| E)/P(E)P(E|S) 0P(E|S)P(E) P(H/S)=P(H)+(P(H/E)-P(H)/(1-P(E)(P(E/S)-P(E) P(E)P(E|S)1,2根据P(E2|S2)计算P(H1|S2)。 由于P(E2|S2)0.80.4P(E2)，所以 P(H1|E2) LS P(H2) (LS-1) P(H2)+1 1000.1 0.9174311 990.1+1 P(H1|S2)P(H1)+P(H1|E2)-P(H1) 1-P(E2) P(E2|S2)-P(E2) 0.1 + 0.9174311-0.1 (0.6-0.4) 1-0.4 0.372477,P(H|S),P(H1|E2),P(H1),P(H|E),P(E2),0,1,P(E2|S2),P(H1|S2),3.根据独立证据E1和E2计算P(H1|S1,S2)。 先计算后验几率O(H1|S1,S2)，由于 O(H1) P(H1) 0.1 0.1111111 1-P(H1) 1-0.1 O(H1|S1)P(H1|S1) 0.151125 1-P(H1|S1) 1-0.151125 0.1780297 O(H1|S2)P(H1 |S2) 0.372477 1-P(H1|S2) 1-0.372477 0.593567 由此得： O(H1|S1,S2)O(H1|S1) O(H1|S2) O(H1) O(H1) O(H1) 0.1780297 0.593567 0.111111 0.9510532 0.111111 0.111111 然后计算后验概率P(H1|Sl,S2)，得 P(H1|S1,S2) O(H1|S1,S2) 0.9520532 1+O(H1|S1,S2) 1.9510532 0.4874563,4根据P(H1|Sl,S2)计算P(H2|S1,S2) 由于P(H1|S1,S2)0.48745630.1P(H1)，所以 P(H2|H1) LSP(H2) 65 0.01 (LS-1) P(H2)+1 640.01+1 0.3963414 P(H2|S1,S2)P(H2) P(H2|H1)-P(H2) 1-P(H1) P(H1|Sl,S2)-P(H1) 0.01十0.3963414-0.01 (0.4874563-0.1) 1-0.1 0.1763226,P(H|S),P(H2|Hl),P(H2),P(H|E),P(H1),0,1,P(H1|S1 , S2),P(H2| S1 ,S2),5根据P(E3|S3)计算P(H2|S3)。 由于P(E3|S3)0.020.03，所以 P(H2| E3) LNP(H2) (LN-1) P(H2)+1 0.00010.01 0.000001 -0.99990.1+1 P(H2|S3)P(H2| E3)+P(H2)-P(H2| E3) P(E3|S3) P(E3) 0.000001十0.01-0.0000010.02 0.03 0.006667 P(H2),P(H|S),P(H2|E3),P(H2),P(H2|E3),P(E3),0,1,P(E3|S3),P(H2|S3),6根据独立证据H1和E3计算P(H2|S1,S2,S3) 先计算后验几率O(H2|Sl,S2,S3)，由于 O(H2) P(H2) 0.01 0.010l0l 1-P(H2) 1-0.01 O(H2|S1,S2) P(H2|S1,S2) 1-P(H2|S1,S2) 0.1763226 0.2140675 0.8236774 O(H2|S3) P(H2|S3) 1-P(H2|S3) 0.006667 0.00671174 0.993333,因此得 O(H2|S1,S2,S3)O(H2|S1,S2) O(H2|S3) O(H2) O(H2) O(H2) 0.21406750.006711740.010101 0.010101 0.010101 0.142239 最后得到后验概率 P(H2|S1,S2,S3) O(H2|S1,S2,S3) 1+O(H2|S1,S2,S3) 0.142239 0.1245 1+0.142239 以上计算表明，经推理后假设H2的概率已从先验概率0.01增大到后验概率0.1245。,主观Bayes方法的优点是： 1基于Bayes规则的计算方法具有理论基础和易于理解的数学性质，它提供了两个规则强度，恰当地处理了证据存在和不存在两种情况对假设的影响，以及分段线性插值方法较好地处理了主观概率的数学不一致性. 2该方法的计算工作量适中。,主观Bayes方法的缺点是： 1要求大量的先验概率（各种假设和推理过程中各级的证据的概率），专家不易给出。另外，由于概率的分派具有主观性，所以在一个系统中很难保证由领域专家给出的概率具有前后的一致性。 2要求所有假设的概率都是独立的，这在一个大型的专家系统中，要求把解空间分解为相互排斥的子集可能是不实际的。 3在系统中增加或删除一个假设时，要对事件的概率进行修改。为了保证系统的相关性和一致性，还必须重新计算所有的概率。 4系统中的先验概率高度地依赖于上下文。例如，某种疾病的发生概率要依赖于地域位置和时间的变化，这给系统的处理带来困难。,4.5 证据理论,1.D-S理论的基本概念,D-S证据理论是由Dempster提出，由他的学生Shafer发展起来的。该理论将概率论中的单点赋值扩展为集合赋值，引进了信任函数，可以满足比概率函数的公理还要弱的公理，因而可以用来处理由“不知道”所引起的不确定性。,（1）概率分配函数 设为变量x的所有可能取值的有限集合，且中的每个元素都相互独立，则由的所有子集构成的幂集记为2。当中的元素个数为N时，则其幂集2的元素个数为2N，且其中的每一个元素都对应于一个关于x取值情况的命题。,例： 设=红，黄，白，求的幂集2 解： A0=， A1=红， A2=黄， A3=白，A4=红，黄， A5=红，白， A6=黄，白， A7=红，黄，白 子集个数： 2N= 23=8,定义： 设函数m：20，1，且满足 m()=0 则称m是2上的概率分配函数，m(A)为A的基本概率数。 m（，红，黄，白，红，黄，红，白，黄，白，红，黄，白）=（0，0.3，0，0.1，0.2，0.2，0，0.2）为概率分配函数。,说明： 1）概率分配函数的作用是把的任意一个子集都映射为0，1上的一个数m(A)。当A ，且A由单个元素组成时， m(A)表示对A的精确信任度；当A 、A，且A由多个元素组成时，m(A)也表示对A的精确信任度，但不知道信任度该分给A中哪些元素；当A=时，则m(A)也表示不知道该如何分配。 2）概率分配率不是概率。,（2）信任函数 信任函数Bel定义为Bel：20，1 且 对所有的A 即命题A的信任函数的值是A的所有子集的概率分配函数m(B)(B A)的数值和，用信任函数Bel(A)表示对A的总信任度。,根据定义有： Bel()=0 Bel()=1 例： Bel(红)=m(红)=0.3 Bel(红，白)=m(红)+m(白)+m(红，白) =0.3+0.1+0.2=0.6,（3）似然函数 似然函数Pl定义为 Pl：20，1 且 Pl(A)=1-Bel(A) 对所有的A 其中A=-A Pl(A)表示对A为非假的信任度。 Pl(红)=1-Bel(红)=1-Bel(黄，白) =1-(m(黄）+m(白）+m(黄，白) =1-(0+0.1+0)=0.9,Pl(A)是所有与A相交子集的概率分配函数m(B)(BA)的数值和。 Pl(红)=m(红)+ m(红,黄)+ m(红，白)+ m(红，黄，白) =0.3+0.2+0.2+0.2=0.9,（4）信任函数与似然函数的关系 Pl(A)Bel(A) Bel(A)为对A的信任度的下限， Pl(A)为对A的信任度的上限，可表示为 ABel(A) , Pl(A) 如 红0.3,0.9,关于信任度的典型值 A0 , 1：说明对A一无所知。Bel（A)=0,说明对A不信任； Bel(A) =1- Pl(A)=0，说明对A也不信任。 A0 , 0：说明A为假。Bel（A)=0,说明对A不信任； Bel(A) =1- Pl(A)=1，说明对A信任。 A1 , 1：说明A为真。Bel（A)=1,说明对A信任； Bel(A) =1- Pl(A)=0，说明对A不信任。 A0.6 ,1：说明对A部分信任。Bel（A)=0.6,说明对A有一定程度的信任； Bel(A) =1- Pl(A)=0，说明对A不信任。 A0 ,0.4：说明对A部分信任。Bel（A)=0,说明对A不信任； Bel(A) =1- 0.4=0.6，说明对A有一定程度的信任。 A0.3 ,0.9：说明对A和A都有部分信任。 Bel(A)=0.3,说明对A部分信任； Bel(A) =1- Pl(A) = 0.1 ，说明对A也部分信任。,（5）概率分配函数的正交和 设m1和m2是两个不同的概率分配函数，则其正交和m= m1m2满足 m(）0 其中： K0，则正交和m是一个概率分配函数 K0，则不存在正交和m，m1与m2矛盾,例：设a，b，且从不同知识源得到的概率分配函数分别为： m1（,a,b,a,b）（0，0.3，0.5，0.2） m2（,a,b,a,b）（0，0.6，0.3，0.1） 求正交和m= m1m2 解： 1-(m1(a) m2(b)+ m1(b) m2(a) =1-(0.3 0.3+0.3 0.6)=0.61 m(a)=1/0.61 (m1(a) m2(a)+ m1(a) m2(a,b)+ m1(a,b) m2(a) =1/0.61(0.30.6+0.30.1+0.20.6)=0.54 同理：m(b)=0.43 m(a,b)=0.03 所以：m(,a,b,a,b)=0,0.54,0.43,0.03,2.D-S理论的推理模型,（1）特殊的概率分配函数 设s1， s1， sn,m为定义在2上的概率分配函数，且m满足 （1)m(si)0 对任何si （2） （3） （4）当A 且|A|1或|A|=0时，m(A)=0 其中，|A|表示命题A所对应的集合中的元素个数。 只有单元素集的基本概率分配函数值才有可能大于0,由一个以上元素组成的子集的基本概率分配函数值均为0.,特殊的概率分配函数的信任函数、似然函数、正交和 对任何命题A ，其信任函数为,对任何命题A ，其似然函数为 Pl(A)=1-Bel(A) 1-1-m（）Bel(A）m()+Bel(A) Pl()=1-Bel()=1-Bel()=1 对任何命题A 和B 均有 Pl(A)-Bel(A)=Pl(B)-Bel(B)=m() 表示对A（或B）不知道的程度。,设m1和m2是2上的基本概率分配函数，其正交和为 其中,例：设=红，黄，白，有如下概率分配函数 m（，红，黄，白，红，黄，白）=（0，0.6，0.2，0.1，0.1）A红，黄，求m(）、Bel（A)和Pl(A)的值。 m()=1-m(红)+ m(黄)+ m(白) 1-（0.6+0.2+0.1）0.1 Bel(红，黄) m(红)+ m(黄)0.6+0.20.8 Pl(红，黄)=m()+Bel(红，黄)=0.1+0.8=0.9 或Pl(红，黄)=1-Bel(红，黄)=1-Bel(白) =1-0.1=0.9,（2）类概率函数 设为有限域，对任何命题A ，命题A的类概率函数为 f(A)=Bel(A)+|A|/| Pl(A)-Bel(A) 其中，|A|和|分别是A及中元素的个数。 类概率函数f(A)具有如下性质 2)对任何A ，有Bel(A)f(A) Pl(A) 3)对任何A ，有f(A)=1-f(A) 推论： 1）f(）=0 2）f()=1 3)对任何A ,有0f(A) 1,例：设=红，黄，白，概率分配函数 m（，红，黄，白，红，黄，白）=（0，0.6，0.2，0.1，0.1）若A红，黄，求f(A)的值 f(A)=Bel(A)+|A|/| Pl(A)-Bel(A) m(红)+ m(黄)2/3m(红，黄，白) 0.6+0.2+2/30.10.87 （3)知识不确定性的表示 IF E THEN H=h1,h2,hn CF=c1,c2,cn 其中：E是前提 H是结论 CF是可信度因子 （4)证据不确定性的表示 在证据理论中，所有输入的已知数据，规则前提条件及结论部分的命题都称为证据。,设A是规则条件部分的命题，E是外部输入的证据和已证实的命题，在证据E的条件下，命题A与证据E的匹配程度为 1 如果A的所有元素都出现在E中 MD(A/E)= 0 否则 条件部分命题A的确定性为 CER(A)=MD(A/E) f(A) CER(A)0,1 (5)组合证据非精确性的表示 证据合取情况： E= E1 AND E2 ANDAND En CER(E)=minCER(E1),CER(E2),CER(En) 证据析取情况: E= E1 OR E2 0ROR En CER(E)=maxCER(E1),CER(E2),CER(En),(6)不确定性的更新 设有知识 IF E THEN H=h1,h2,hn CF=c1,c2,cn 则求结论H 确定性CER(H)的方法如下： 1)求H的概率分配函数 m(h1,h2,hn) =(CER(E)c1,CER(E)c2, CER(E)cn) m()=1- 如有两条知识支持同一结论H IF E1 THEN H=h1,h2,hn CF1=c1,c2,cn IF E2 THEN H=h1,h2,hn CF2=c1,c2,cn 则先求每一知识的概率分配函数： m1=m(h1,h2,hn) m2=m(h1,h2,hn) 再求H的概率分配函数：m= m1m2,如有多条知识支持同一结论H 则用公式 :m= m1m2mn 求H的概率分配函数 2)求Bel(H),Pl(H)及f(H) Pl(H)=1-Bel(H) f(H)=Bel(H)+|H|/| Pl(H)-Bel(H) =Bel(H)+|H|/| m() 3)求CER(H) CER(H)=MD(H/E)f(H),