人工智能4--Bayes方法

1、华东理工大学East China University of Science And Technology主观主观BayesBayes方法方法陈志华主要内容主要内容l1. 概率论基础概率论基础l2. 主观主观Bayes方法的基本理论方法的基本理论l3. 主观主观Bayes方法的基本模型方法的基本模型前言前言l主观主观Bayes方法方法 一种不确定性推理算法一种不确定性推理算法 以概率论中的以概率论中的Bayes公式为基础公式为基础 首先应用于专家系统首先应用于专家系统PROSPECTOR系统系统和前述推理方法的区别和前述推理方法的区别l不确定性推理不确定性推理当一个或多个新证据出现时，根当一个

2、或多个新证据出现时，根据推理规则，计算据推理规则，计算结论的可信度结论的可信度推理前不知道结论的概率信息推理前不知道结论的概率信息l主观主观Bayes方法（条件概率）方法（条件概率） 当一个事件发生后，先验概率如当一个事件发生后，先验概率如何转变为后验概率何转变为后验概率推理前知道推理前知道结论的先验概率信息结论的先验概率信息规则的表示不一样规则的表示不一样1. 概率论基础概率论基础条件概率：条件概率： 设设A，B是两个随机事件，是两个随机事件， ，则，则是在是在B事件已经发生的条件下，事件已经发生的条件下， A事件发生的概率事件发生的概率。 乘法定理乘法定理: :0)(BP)()()|(BP

3、BAPBAP)()|()(BPBAPBAP全概率公式：设全概率公式：设 事件满足：事件满足： 两两互不相容，即当两两互不相容，即当 时，有时，有 样本空间样本空间 则对任何事件则对任何事件B, 有下式成立：有下式成立： 称为称为全概率公式全概率公式。 ji jiAA )1 ( 0)(niAPiniiAD1)|()()(1iniiABPAPBPnAAA,21l根据全概率公式及乘法定理可以得到根据全概率公式及乘法定理可以得到Beyes公式公式:njjjiiiABPAPABPAPBAP1)|()()|()()|(ni, 2 , 12. 基本理论基本理论l 主观主观Bayes方法的基本思想方法的基本思

4、想 由于证据由于证据E的出现，使得的出现，使得P (R)变为变为P(R|E) 主观主观Bayes方法方法,就是研究利用证据就是研究利用证据E，将先验概率将先验概率P( R)更新为后验概率更新为后验概率P(R|E)l 先验概率先验概率P( R), 即不考虑证据即不考虑证据E出现的前出现的前提下，结论结论提下，结论结论R成立的概成立的概2. 基本理论基本理论l一一. . 知识不确定性的表示（产生式知识不确定性的表示（产生式规则）规则）l 其中其中 LS: 充分性量度充分性量度 LN: 必要性量度必要性量度 P(R) : R的先验概率的先验概率)(),(RPRLNLSTHENEIF二二. 基本算法基

5、本算法l证据证据E有三种情形有三种情形 1) 肯定存在，即肯定存在，即P(E)=1 2) 肯定不存在，肯定不存在， P(E)=0 3) 不确定，不确定， 0P(E)1，使得，使得P(R|E)P(R) LS1, 使得使得P(R|E)1，使得，使得P(R| E)P(R) LN1, 使得使得P(R| E)P(R)例子例子l假设有如下规则假设有如下规则: 规则规则1: IF E1 THEN(10,1) R1(0.03) 规则规则2: IF E2 THEN (20,1) R2(0.05) 规则规则3: IF E3 THEN (1,0.002) R3(0.3) 求求(1) 当当E1,E2,E3都存在时都存

6、在时, P(Ri|Ei) (2)当当E1,E2,E3都不存在时都不存在时, P(Ri| Ei)l分析：分析：利用公式利用公式5，6l答案答案:00086.0)3|3(05.0)2|2(03.0)1|1(3.0)3|3(51.0)2|2(24.0)1|1(ERPERPERPERPERPERP练习练习l 设有如下推理规则：设有如下推理规则： R1: IF E1 THEN (2,0.5)H1 R2: IF E2 THEN (1,0.2)H2 R3: IF E3 THEN (5,0.1)H3l 并且已知并且已知P(H1)=0.2, P(H2)=0.1, P(H3)=0.4l 计算当证据计算当证据E1,

7、E2,E3存在或不存在时，存在或不存在时，P(Hi|Ei)或或P(Hi|Ei)的值各是多少？的值各是多少？(i=1,2,3)3) 证据证据E不确定不确定l在现实中在现实中,证据往往是证据往往是不确定的不确定的,即即无法肯定它一定存在或一定不存在无法肯定它一定存在或一定不存在用户提供的原始证据不精确用户提供的原始证据不精确 用户的观察不精确用户的观察不精确推理出的中间结论不精确推理出的中间结论不精确l假设假设S是对是对E的观察的观察,则则P(E|S)表示在表示在观察观察S下下, E为真的概率为真的概率, 值在值在0,1；l此时此时0P(E|S)1，故计算后验概率故计算后验概率P(R|S), 不能

8、使用不能使用Bayes公式公式l可以采用下面的公式修正（可以采用下面的公式修正（杜达公式杜达公式）)|()|()|()|()|(SEPERPSEPERPSRP（式式7 7）后验概率后验概率P(R|S)的计算的计算-1l 针对杜达公式，分四种情况讨论针对杜达公式，分四种情况讨论l 1）E肯定存在，即肯定存在，即P(E|S)=1, 且且P( E | S)=0，杜达公式简化为：，杜达公式简化为：l 注意：同时利用了注意：同时利用了公式公式51)() 1()()|()|(RPLSRPLSERPSRP后验概率后验概率P(R|S)的计算的计算-2l2）E肯定不存在，即肯定不存在，即P(E|S)=0, P(

9、 E | S)=1，杜达公式简化为：，杜达公式简化为：l注意：同时利用了注意：同时利用了公式公式61)() 1()()|()|(RPLNRPLNERPSRP后验概率后验概率P(R|S)的计算的计算-3l3） P(E|S)= P(E)，即，即E和和S无关无关, 利用全概率公式（公式利用全概率公式（公式7），杜），杜达公式可以化为：达公式可以化为：)()()|()()|()|(RPEPERPEPERPSRP后验概率后验概率P(R|S)的计算的计算-4l当当P(E|S)为为其它值其它值（非（非0，非，非1，非，非P(E)）时，则需要通过时，则需要通过分段线形插值计算分段线形插值计算：1)|()(),

10、()|()(1)()|()()()|(0),|()()|()()|()|(SEPEPEPSEPEPRPERPRPEPSEPSEPEPERPRPERPSRP当当公式公式8 8后验概率后验概率P(R|S)的线性插值图的线性插值图)|(SRP)|(SEP)(RP)(EP)|(ERP)|(ERP1杜达公式的说明杜达公式的说明lP(E|S) 由用户给定，但是由用户给定，但是P(E)和和P(E|S)很难区分和取值很难区分和取值l解决方法解决方法: 替代法替代法 对于原始证据，由用户给定可信对于原始证据，由用户给定可信度度 C(E|S)，对应，对应P(E|S) C(E|S) 取值从取值从-5到到5的整数的整

11、数)|(SEP)|(SEC)(EP-5 -4 -3 -2 -1 0 1 2 3 4 5 P(E|S)=1P(E|S)=00)|(),|(51)()|()(0)|(),1)|(51()|()()|()|(SECSECRPERPRPSECSECERPRPERPSRP此时公式此时公式8 8变换为公式变换为公式9 9公式公式9 93. 推理模型推理模型l 一一. 组合证据不确定性的计算组合证据不确定性的计算 组合证据为多个证据的合取组合证据为多个证据的合取时时,即即E=E1 AND E2 AND En 组合证据为多个证据的析取组合证据为多个证据的析取时时,即即E=E1 OR E2 OR En)(),.

12、,(),(min)(21nECFECFECFECF)(),.,(),(max)(21nECFECFECFECFl二二. 证据不确定性的传递证据不确定性的传递l(1) 对于叶结点证据对于叶结点证据E的传递的传递l该公式基于该公式基于R-E-S的推理链的推理链0)|(),|(51)()|()(0)|(),1)|(51()|()()|()|(SECSECRPERPRPSECSECERPRPERPSRP公式公式9 9RES叶结点不确定性的传递叶结点不确定性的传递l三三. 结论不确定性的合成结论不确定性的合成 n条规则都支持同一结论条规则都支持同一结论R, 这些规则的这些规则的前提条件前提条件E1,E2

13、, En 相相互独立互独立 每个证据所对应的观察为每个证据所对应的观察为S1,S2, Snl先计算先计算O(R|Si)，然后再计算所有观察然后再计算所有观察下，下， R的后验几率计算方法的后验几率计算方法: (公式公式11)()()|()()|()()|(),|(2121ROROSROROSROROSROSSSROnn例例 题题l 设有如下规则：设有如下规则： 规则规则1: IF E1 THEN (2,0.001) R 规则规则2: IF E2 THEN (100,0.001) R 且且O(R)=0.1, C(E1|S1)=2, C(E2|S2)=1l 试画出推理树，并计算试画出推理树，并计算

14、O(R|S1,S2)RE1S1E2S2推理树推理树2) 1| 1(SEC1) 2| 2(SEC)001. 0 , 2()01. 0 ,100(1 . 0) 1(ROP(R|S1,S2)O(R|Si)P(R|Si)公式公式9解题步骤解题步骤：l(1)先计算先计算P(R|S1), 并计算并计算O(R|S1); 利用公式利用公式2，公式，公式5，公式，公式9l(2)两条规则支持同一个结论，计算两条规则支持同一个结论，计算O(R|S1,S2); 利用公式利用公式1114. 0122. 01122. 0) 1|(1) 1|() 1|(122. 0251)09. 017. 0(09. 0) 1|1(51)

15、() 1|()() 1|(0) 1|1(17. 01 . 0211 . 02)(11)(1) 1|(09. 01 . 011 . 0)(1)()()|()|(1SRPSRPSROSECRPERPRPSRPSECROLSROLSERPRORORPSiROSiRP所以因为和：计算步骤43 . 0542 . 01542 . 0)2|(1)2|()2|(542 . 0151)09. 019 . 0(09. 0)2|2(51)()2|()()2|(0)2|2(91. 01 . 010011 . 0100)(21)(2)2|(SRPSRPSROSECRPERPRPSRPSECROLSROLSERP所以因为

16、476. 01 . 01 . 034. 01 . 0139. 0)()()2|()() 1|()2, 1|()2, 1|(:2ROROSROROSROSSROSSRO规则的合成，计算步骤小小 结结l主观主观Bayes方法（条件概率）方法（条件概率） 当一个事件发生后，先验概率如何转变当一个事件发生后，先验概率如何转变为后验概率为后验概率 推理前知道结论的先验概率信息推理前知道结论的先验概率信息l证据不确定时，证据不确定时，必须采用杜达等人推导的必须采用杜达等人推导的公式公式: P(R|S)=P(R|E) P(E|S)+P(R|E) P(E|S)l传递公式传递公式: 公式公式9和公式和公式10l设有如下规则：设有如下规则： 规则规则1: IF E1 THEN