主观贝叶斯方法PPT精选文档

1、1 主观Bayes方法2 概述l主观Bayes方法l又称为主观概率论l一种处理不确定性推理l一种基于概率逻辑的方法l以概率论中的贝叶斯公式为基础l首先应用于地矿勘探专家系统PROSPECTOR35.3.1 基本Bayes公式 概率论基础l条件概率：条件概率：设设A，B是两个随机事件，是两个随机事件， ，则，则是在是在B事件已经发生的条件下，事件已经发生的条件下， A事件发送的概事件发送的概率。率。乘法定理乘法定理:0)(BP)()()|(BPABPBAP)()|()(BPBAPABP45.3.1 基本Bayes公式全概率公式：设全概率公式：设 事件满足：事件满足： 两两互不相容，即当两两互不相

2、容，即当 时，时，有有 样本空间样本空间 则对任何事件则对任何事件B, 有下式成立：有下式成立： 称为称为全概率公式全概率公式。 ji jiAA)1 ( 0)(niAPiUniiAD1)|()()(1iniiABPAPBPnAAA,.,2155.3.1 基本Bayes公式BayesBayes公式：设公式：设 事件满足：事件满足： 两两互不相容，即当两两互不相容，即当 时，时，有有 样本空间样本空间 则对任何事件则对任何事件B, 有下式成立：有下式成立： 称为称为贝叶斯公式贝叶斯公式。 ji jiAA)1 ( 0)(niAPiUniiAD1niBPABPAPBAPiii,.,2 , 1,)()|

3、()()|(nAAA,2165.3.1 基本Bayes公式l把全概率公式带入贝叶斯公式后，得如下公式:njjjiiiABPAPABPAPBAP1)|()()|()()|(ni,.,2 , 175.3.1 基本Bayes公式l又有产生式规则lIF E THEN Hil用产生式中的前提条件E代替Bayes公式中的B，用Hi 代替公式中的Ai,就可以得到公式：l用来求得在条件E下，Hi的先验概率。niHPHEPHPHEPEHPnjjjiii,.,2 , 1,)()|()()|()|(185.3.1 基本Bayes公式l在有些情况下，有多个证据E1,E2,En和多个结论H1,H2,.,Hn，并且每个证

4、据都以一定程度支持结论，这是可对上面的公式进行扩充，得：niHPHiEPHEPHPHEPHEPEEEHPnjjmjiimini,.,2 , 1,)()|(.)|()()|(.)|().|(1112195.3.1 基本Bayes公式l此时，只要知道Hi的先验概率P(Hi)以及Hi成立时证据E1,E2,Em出现的条件概率P(E1|Hi),P(E2|Hi),P(Em|Hi)，就可以求得在E1,E2,.,Em出现情况下Hi的条件概率P(Hi|E1E2.Em)105.3.2 主观Bayes方法l主观Bayes方法的基本思想l由于证据E的出现，使得P (H)变为P(H|E)l主观Bayes方法,就是研究利

5、用证据E，将先验概率P(H)更新为后验概率P(H|E)l主观Bayes方法引入两个数值（LS，LN）用来度量规则成立的充分性和必要性。其中，lLS: 充分性量度lLN: 必要性量度115.3.3 知识不确定性的表示l1.知识表示方法知识表示方法l在地矿勘探专家系统中，为了进行不确定性推理，把所有的知识规则连接成一个有向图，图中的各节点代表假设结论，弧代表规则。l在主观Bayes方法中，知识的不确定性是以一个数值对（LS，LN）来进行描述的。其具体产生式规则形式表示为：lIF E THEN (LS,LN) H (P(H)125.3.3 知识不确定性的表示l其中，(LS,LN)是为度量产生式规则的

6、不确定性而引入的一组数值，用来表示该知识的强度，LS和LZ的表示形式如下。l(1)充分性度量(LS)的定义)|()|(HEPHEPLS它表示E对H的支持程度，取值范围为0,+)。135.3.3 知识不确定性的表示l(2)必要性度量的定义它表示E对H的支持程度，即E对H为真的必要程度，取值范围0,+)。)|(1)|(1)|()|(HEPHEPHEPHEPLN145.3.3 知识不确定性的表示l结合Bayes公式，得：P(H|E)=P(E|H)P(H)/P(E)lBayes公式除以上式得：)()()|()|()|()|(HPHPHEPHEPEHPEHP155.3.3 知识不确定性的表示l为了讨论方

7、便，引入几率函数 又l则可以化为)(1)()(xPxPxO)(1)()(xOxOxP)|()|(HEPHEPLS)()()|()|()|()|(HPHPHEPHEPEHPEHP)()|(HOLSEHO165.3.3 知识不确定性的表示l上式被称为Bayes公式的几率似然性形式。LS称为充分似然性，如果LS-+，则证据E对于推出H为真是逻辑充分的。l同理，可得关于LN的公式：lO(H| E)=LN O(H)l其被称为Bayes公式的必率似然性形式。LN称为必然似然性，如果LN=0，则有O(H| E)=0。这说明当E为真时，H必为假，即E对H来说是必然的。175.3.3 知识不确定性的表示l2.L

8、S和LN的性质(1)LS的性质LS表示证据E的存在，影响结论H为真的概率：O(H|E)=LS O(H)l当LS1时，P(H|E)P(H),即E支持H，E导致H为真的可能性增加；l当LS-+时,表示证据E将致使H为真；l当LS=1时，表示E对H没有影响，与H无关；l当LS1时，P(H|E)P(H),即E支持H，E导致H为真的可能性增加；l当LN-+时,表示证据E将致使H为真；l当LN=1时，表示E对H没有影响，与H无关；l当LN1且LN1LS1LS=1=LN205.3.4 证据不确定性的表示l1.单个证据不确定性的表示方法单个证据不确定性的表示方法l证据通常可以分为全证据和部分证据。全证据就是所

9、有的证据，即所有可能的证据和假设，他们组成证据E。部分证据S就是E的一部分，这部分证据也可以称之为观察。在主观Bayes方法中，证据的不确定性是用概率表示的。全证据的可行度依赖于部分证据，表示为P(E|S)，为后验概率。215.3.4 证据不确定性的表示l2.组合证据的不确定性的确定方法组合证据的不确定性的确定方法l当证据E由多个单一证据合取而成，即l如果已知P(E1|S), P(E2|S),P(En|S)，则lP(E|S)=minP(E1|S),P(E2|S),P(En|S)l若证据E由多个但以证据析取而成，即lP(E|S)=maxP(E1|S),P(E2|S),P(En|S)l对于非运算，

10、lP(E|S)=1-P(E|S)nEEEE.21nEEEE.21225.3.5 不确定性推理计算l1.确定性证据确定性证据l(1)证据确定出现时证据E肯定出现的情况下，吧结论H的先验概率P(H)更新为后验概率P(H|S)的计算公式为：l(2)证据确定不出现时证据E肯定不出现的情况下，把结论H的先验概率P(H)更新为后验概率P(H|E)的计算公式为：1)() 1()()|(HPLSHPLSEHP1)() 1()()|(HPLNHPLNEHP235.3.5 不确定性推理计算l(2)不确定性证据l在现实中,证据往往是不确定的,即无法肯定它一定存在或一定不存在l用户提供的原始证据不精确l用户的观察不精

11、确l推理出的中间结论不精确l假设S是对E的观察,则P(E|S)表示在观察S下, E为真的概率, 值在0,1；245.3.5 不确定性推理计算l此时0P(E|S)1，故计算后验概率P(R|S), 不能使用Bayes公式l可以采用下面的公式修正（杜达公式）)|()|()|()|()|(SEPEHPSEPEHPSHP1）E肯定存在，即P(E|S)=1, 且P( E | S)=0，杜达公式简化为：1)() 1()()|()|(HPLSHPLSEHPSHP255.3.5 不确定性推理计算2）E肯定不存在，即P(E|S)=0, P( E | S)=1，杜达公式简化为：1)() 1()()|()|(HPLN

12、HPLNEHPSHP3） P(E|S)= P(E)，即E和S无关, 利用全概率公式（公式7），杜达公式可以化为：)()()|()()|()|(HPEPEHPEPEHPSHP265.3.5 不确定性推理计算4)当P(E|S)为其它值（非0，非1，非P(E)）时，则需要通过分段线形插值计算：1)|()(),()|()(1)()|()()()|(0),|()()|()()|()|(SEPEPEPSEPEPHPEHPHPEPSEPSEPEPEHPHPEHPSHP?275.3.6结论不确定性的合成和更新算法l1.结论不确定性的合成算法结论不确定性的合成算法ln条规则都支持同一结论R,l这些规则的前提条件E1,E2, En 相互独立l每个证据所对应的观察为S1,S2, Snl先计算O(H|Si)，然后再计算所有观察下， H的后验几率计算方法:)()()|()()|()()|(),.,|(2121HOHOSHOHOSHOHOSHOSSSHOnnL285.3.6结论不确定性的合成和更新算法l2.结论不确定性的更新算法结论不确定性的更新