主观贝叶斯方法.ppt

主观Bayes方法 概述 主观Bayes方法又称为主观概率论一种处理不确定性推理一种基于概率逻辑的方法以概率论中的贝叶斯公式为基础首先应用于地矿勘探专家系统PROSPECTOR 5 3 1基本Bayes公式 概率论基础 条件概率 设A B是两个随机事件 则是在B事件已经发生的条件下 A事件发送的概率 乘法定理 5 3 1基本Bayes公式 全概率公式 设事件满足 两两互不相容 即当时 有 样本空间则对任何事件B 有下式成立 称为全概率公式 5 3 1基本Bayes公式 Bayes公式 设事件满足 两两互不相容 即当时 有 样本空间则对任何事件B 有下式成立 称为贝叶斯公式 5 3 1基本Bayes公式 把全概率公式带入贝叶斯公式后 得如下公式 5 3 1基本Bayes公式 又有产生式规则IFETHENHi用产生式中的前提条件E代替Bayes公式中的B 用Hi代替公式中的Ai 就可以得到公式 用来求得在条件E下 Hi的先验概率 5 3 1基本Bayes公式 在有些情况下 有多个证据E1 E2 En和多个结论H1 H2 Hn 并且每个证据都以一定程度支持结论 这是可对上面的公式进行扩充 得 5 3 1基本Bayes公式 此时 只要知道Hi的先验概率P Hi 以及Hi成立时证据E1 E2 Em出现的条件概率P E1 Hi P E2 Hi P Em Hi 就可以求得在E1 E2 Em出现情况下Hi的条件概率P Hi E1E2 Em 5 3 2主观Bayes方法 主观Bayes方法的基本思想由于证据E的出现 使得P H 变为P H E 主观Bayes方法 就是研究利用证据E 将先验概率P H 更新为后验概率P H E 主观Bayes方法引入两个数值 LS LN 用来度量规则成立的充分性和必要性 其中 LS 充分性量度LN 必要性量度 5 3 3知识不确定性的表示 1 知识表示方法在地矿勘探专家系统中 为了进行不确定性推理 把所有的知识规则连接成一个有向图 图中的各节点代表假设结论 弧代表规则 在主观Bayes方法中 知识的不确定性是以一个数值对 LS LN 来进行描述的 其具体产生式规则形式表示为 IFETHEN LS LN H P H 5 3 3知识不确定性的表示 其中 LS LN 是为度量产生式规则的不确定性而引入的一组数值 用来表示该知识的强度 LS和LZ的表示形式如下 1 充分性度量 LS 的定义 它表示E对H的支持程度 取值范围为 0 5 3 3知识不确定性的表示 2 必要性度量的定义它表示 E对H的支持程度 即E对H为真的必要程度 取值范围 0 5 3 3知识不确定性的表示 结合Bayes公式 得 P H E P E H P H P E Bayes公式除以上式得 5 3 3知识不确定性的表示 为了讨论方便 引入几率函数又则可以化为 5 3 3知识不确定性的表示 上式被称为Bayes公式的几率似然性形式 LS称为充分似然性 如果LS 则证据E对于推出H为真是逻辑充分的 同理 可得关于LN的公式 O H E LN O H 其被称为Bayes公式的必率似然性形式 LN称为必然似然性 如果LN 0 则有O H E 0 这说明当 E为真时 H必为假 即E对H来说是必然的 5 3 3知识不确定性的表示 2 LS和LN的性质 1 LS的性质LS表示证据E的存在 影响结论H为真的概率 O H E LS O H 当LS 1时 P H E P H 即E支持H E导致H为真的可能性增加 当LS 时 表示证据E将致使H为真 当LS 1时 表示E对H没有影响 与H无关 当LS 1时 说明E不支持H E导致H为真的可能性下降 当LS 0时 E的存在是H为假 5 3 3知识不确定性的表示 2 LN的性质表示证据E的不存在 影响结论H为真的概率 O H E LN O H 当LN 1时 P H E P H 即 E支持H E导致H为真的可能性增加 当LN 时 表示证据 E将致使H为真 当LN 1时 表示 E对H没有影响 与H无关 当LN 1时 说明 E不支持H E导致H为真的可能性下降 当LN 0时 E的存在是H为假 5 3 3知识不确定性的表示 3 LS与LN的关系由于E和 E不会同时的支持或者同时排斥H 因此只有以下三种情况 LS 1且LN1LS 1 LN 5 3 4证据不确定性的表示 1 单个证据不确定性的表示方法证据通常可以分为全证据和部分证据 全证据就是所有的证据 即所有可能的证据和假设 他们组成证据E 部分证据S就是E的一部分 这部分证据也可以称之为观察 在主观Bayes方法中 证据的不确定性是用概率表示的 全证据的可行度依赖于部分证据 表示为P E S 为后验概率 5 3 4证据不确定性的表示 2 组合证据的不确定性的确定方法当证据E由多个单一证据合取而成 即如果已知P E1 S P E2 S P En S 则P E S min P E1 S P E2 S P En S 若证据E由多个但以证据析取而成 即P E S max P E1 S P E2 S P En S 对于非运算 P E S 1 P E S 5 3 5不确定性推理计算 1 确定性证据 1 证据确定出现时证据E肯定出现的情况下 吧结论H的先验概率P H 更新为后验概率P H S 的计算公式为 2 证据确定不出现时证据E肯定不出现的情况下 把结论H的先验概率P H 更新为后验概率P H E 的计算公式为 5 3 5不确定性推理计算 2 不确定性证据在现实中 证据往往是不确定的 即无法肯定它一定存在或一定不存在用户提供的原始证据不精确用户的观察不精确推理出的中间结论不精确假设S是对E的观察 则P E S 表示在观察S下 E为真的概率 值在 0 1 5 3 5不确定性推理计算 此时0 P E S 1 故计算后验概率P R S 不能使用Bayes公式可以采用下面的公式修正 杜达公式 1 E肯定存在 即P E S 1 且P E S 0 杜达公式简化为 5 3 5不确定性推理计算 2 E肯定不存在 即P E S 0 P E S 1 杜达公式简化为 3 P E S P E 即E和S无关 利用全概率公式 公式7 杜达公式可以化为 5 3 5不确定性推理计算 4 当P E S 为其它值 非0 非1 非P E 时 则需要通过分段线形插值计算 5 3 6结论不确定性的合成和更新算法 1 结论不确定性的合成算法n条规则都支持同一结论R 这些规则的前提条件E1 E2 En相互独立每个证据所对应的观察为S1 S2 Sn先计算O H Si 然后再计算所有观察下 H的后验几率计算方法 5 3 6结论不确定性的合成和更新算法 2 结论不确定性的更新算法其思想是 按照顺序使用规则对先验概率进行更新 再