第七章贝叶斯网络PPT课件_第1页
第七章贝叶斯网络PPT课件_第2页
第七章贝叶斯网络PPT课件_第3页
第七章贝叶斯网络PPT课件_第4页
第七章贝叶斯网络PPT课件_第5页
已阅读5页,还剩56页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、第七章 贝叶斯网络卓汉逵2021年10月14日课程网站:/AI第一节 朴素贝叶斯动机 决策树:直接对数据进行拟合 难以处理噪声数据问题 基于规则 是否可以不对数据直接进行拟合? 易于处理噪声数据问题 基于统计概率论公理 概率值在0到1之间: 联合概率: 条件概率1)(0AP)()()()(BAPBPAPBAPABBA)()()|(BPBAPBAP独立性 独立性: 如果 A 和 B 相互独立)()|(APBAP)()|(BPABP)()()()|(APBPBAPBAP)()()(BPAPBAP联合分布随机变量 X1,Xn 的联合分布:P(X1,Xn

2、) 所有可能的边缘分布可以通过连加相应的单元值得到:条件概率也可以通过联合分布计算得到:circlesquarered0.200.02blue0.020.01circlesquarered0.050.30blue0.200.20positivenegative25. 005. 020. 0)(circleredP80. 025. 020. 0)()()|(circleredPcircleredpositivePcircleredpositiveP57. 03 . 005. 002. 020. 0)(redP基于概率的分类 分类可以通过如下条件概率进行: P(Y=yi | X=xk)Y =y1,

3、y2,ym 是类标的随机变量X =是n个特征的随机变量, xk 是X的一个取值(向量)i=1m,通过计算每个P(Y=yi | X=xk),可以判断分为yi 的可能性 为了计算这些条件概率,需要记录所有样本X的条件概率 假设 Y 和Xi 都是二值的,需要2n 单元来记录P(Y=pos | X=xk) 注意:P(Y=neg | X=xk) = 1 P(Y=pos | X=xk)朴素贝叶斯定理可以从条件概率进行简单的证明:)()()|()|(EPHPHEPEHP)()()|(EPEHPEHP)()()|(HPEHPHEP)()|()(HPHEPEHPQED:(Def. cond. prob.)(De

4、f. cond. prob.)()()|()|(EPHPHEPEHP朴素贝叶斯分类 根据贝叶斯定理,有 P(X=xk) 可以通过如下方式计算: 即有:)()|()()|(kikikixXPyYxXPyYPxXyYPmikikimikixXPyYxXPyYPxXyYP111)()|()()|(miikikyYxXPyYPxXP1)|()()(朴素贝叶斯分类 可以从数据中直接估算P(Y=yi)如果ni 是D 中类标为yi 的数量,那么P(Y=yi) = ni / |D| 如何估算P(X=xk | Y=yi) 太多可能的样本xk 需要特征的独立性假设,简化计算: 只需要知道每对对应的概率P(Xi |

5、Y ) 如果都是二值的,只需要2n个参数(对比前面的2n个参数): 对每个Xi ,P(Xi=true | Y=true) and P(Xi=true | Y=false) P(Xi=false | Y) = 1 P(Xi=true |Y )|()|,()|(121niinYXPYXXXPYXP朴素贝叶斯的例子ProbabilitypositivenegativeP(Y)0.50.5P(small | Y)0.40.4P(medium | Y)0.10.2P(large | Y)0.50.4P(red | Y)0.90.3P(blue | Y)0.050.3P(green | Y)0.050.4

6、P(square | Y)0.050.4P(triangle | Y)0.050.3P(circle | Y)0.90.3Test Instance:朴素贝叶斯的例子ProbabilitypositivenegativeP(Y)0.50.5P(medium | Y)0.10.2P(red | Y)0.90.3P(circle | Y)0.90.3P(positive | X) = P(positive)*P(medium | positive)*P(red | positive)*P(circle | positive) / P(X) 0.5 * 0.1 * 0.9 * 0.9 = 0.040

7、5 / P(X) P(negative | X) = P(negative)*P(medium | negative)*P(red | negative)*P(circle | negative) / P(X) 0.5 * 0.2 * 0.3 * 0.3 = 0.009 / P(X)P(positive | X) + P(negative | X) = 0.0405 / P(X) + 0.009 / P(X) = 1P(X) = (0.0405 + 0.009) = 0.0495 = 0.0405 / 0.0495 = 0.8181= 0.009 / 0.0495 = 0.1818Test I

8、nstance:)()|()()|(kikikixXPyYxXPyYPxXyYP如何估算概率表 一般概率表可以从数据中进行估算 如果D 包含 nk 类标为 yk 的样本,其中 特征Xi 为第j个值xij 的样本数量为nijk,那么有: 从小样本集中估算概率,容易出错: 因为个别特征Xi 在样本集中可能都是false,那么 yk :P(Xi=true | Y=yk) = 0. 如果 Xi=true 出现在测试样本中, 结果是 yk: P(X | Y=yk) = 0 and yk: P(Y=yk | X) = 0kijkkijinnyYxXP)|(易出错的例子Probabilitypositive

9、negativeP(Y)0.50.5P(small | Y)0.50.5P(medium | Y)0.00.0P(large | Y)0.50.5P(red | Y)1.00.5P(blue | Y)0.00.5P(green | Y)0.00.0P(square | Y)0.00.0P(triangle | Y)0.00.5P(circle | Y)1.00.5ExSizeColorShapeCategory1smallredcirclepositive2largeredcirclepositive3smallredtrianglenegitive4largebluecirclenegiti

10、veTest Instance X:P(positive | X) = 0.5 * 0.0 * 1.0 * 1.0 / P(X) = 0P(negative | X) = 0.5 * 0.0 * 0.5 * 0.5 / P(X) = 0拉普拉斯平滑 拉普拉斯平滑 假设每个特征都有一定的发生概率 p 假设有一个虚拟的数量为m 的样本集 那么有 对于二分类,一般假设 p 为 0.5mnmpnyYxXPkijkkiji)|(拉普拉斯平滑 假设样本集数量为10: 4: small 0: medium 6: large 那么参数估计如下 (假设 m=1, p=1/3): P(small | positi

11、ve) = (4 + 1/3) / (10 + 1) = 0.394 P(medium | positive) = (0 + 1/3) / (10 + 1) = 0.03 P(large | positive) = (6 + 1/3) / (10 + 1) = 0.576 P(small or medium or large | positive) = 1.0连续特征值 如果 Xi 是连续特征,而不是离散特征,需要其他方法计算 P(Xi | Y) 假设 Xi 服从高斯分布,其均值和方差依赖于 Y 根据训练集中的特征Xi 和类标 yk, 估算均值 ik 和方差 ik 测试时,利用高斯分布,估算测

12、试样本的P(Xi | Y=yk):222)(exp21)|(ikikiikkiXyYXP讨论 思路简单,但具有不错的结果 不需要从模型空间中搜索合适的模型,直接从数据出发建立模型 与决策树类似 具有较强的bias 不能保证对样本的正确分类 可能很好处理噪声数据问题 因为它不是直接对数据进行拟合第二节 贝叶斯网络2021年10月21日动机 朴素贝叶斯 假设特征之间都是相互独立 贝叶斯网络 特征之间可能不相互独立结构 有向无环图 节点集合 每个节点表示一个特征 边集合 每条边表示特征之间的直接影响关系 每个节点的条件分布: P(Xi|Parents(Xi) 直观上,可以表示为条件概率表(CPT,C

13、onditional Probabilistic Table)例子盗窃B地震E警铃AM打电话J打电话BEP(A|B,E)TT.95TF.94FT.29FF.001P(B).001P(E).002AP(J|A)T.90F.05AP(M|A)T.70F.01紧凑性 具有k个二值父母节点的二值特征Xi: 其条件概率表具有2k行 每行表示该 Xi 为T 的条件概率 如果每个特征的父母节点数不大于k: 完整的网络参数为 O(n*2k) 全联合分布是O(2n) 盗贼例子的参数个数为: 贝叶斯网络:1+1+4+2+2=10 全联合分布:25-1=31全局语义(全联合分布)局部语义 贝叶斯网络的局部语义 给定

14、所有父母节点,每个节点都条件独立于非后裔节点盗窃B地震E警铃AM打电话J打电话其它2其它1全局与局部语义的关系 定理:贝叶斯网络的全局语义成立,当且仅当其局部语义成立证明由局部性特性可得因此,(I)得证。 (I). 局部=全局由链式法则可得证明 (II). 全局=局部由局部性特性可得由链式法则可得因此,有:构建贝叶斯网络 根据局部语义构建贝叶斯网络:这保证了:链式规则根据构造X1X2X3X4X5YES!?NO!?= X2不是X3的parent= X1是X3的parentYES!?= X1不是X4的parentNO!?= X2是X4的parentNO!?= X3是X4的parentNO!?= X

15、1是X2的parent?贝叶斯推理 通过简单的计数方式进行推理 步骤一. 将条件概率转化为全联合分布的连加形式 步骤二. 将全联合分布转化为CPT表形式步骤一步骤二计数推理算法function Enumeration-query(X, e, bn)输入:查询变量X; 变量E的观察值e; 带有变量X、E、Y的 贝叶斯网络.输出:变量X的分布Q(X)1. 初始化Q(X)为空;2. for X中的每个可能值xi; 将xi加入e,形成新的ex; Q(xi) = Enumerate-Var(Varsbn, ex);3. 归一化 Q(X) ,并输出Q(X) ;function Enumerate-Var(

16、vars, e)如果 vars为空,返回1.0;从vars中取出第一个变量Y,剩余变量记为varsy;如果Y是e中的变量且有值y返回 P(y|Parent(Y)Enumerate-Var(varsy, e);否则 将y加入e,记为ey;返回 yP(y|Parent(Y) Enumerate-Var(varsy, ey);p(b)p(e)p(e)p(a|e,b)p(a|e,b)p(j|a)p(m|a)p(j|a)p(m|a)p(j|a)p(m|a)p(j|a)p(m|a)p(a|e,b)p(a|e,b)function Enumerate-Var(vars, e)如果 vars为空,返回1.0;

17、从vars中取出第一个变量Y,剩余变量记为varsy;如果Y是e中的变量且有值y返回 P(y|Parent(Y)Enumerate-Var(varsy, e);否则 将y加入e,记为ey;返回 yP(y|Parent(Y) Enumerate-Var(varsy, ey);计算:P(B|j,m)ex=(b, j, m)Varsbn = Q(b) = Enumerate-Var(Vars, ex) Y=B, y=b, varsy=返回 p(b)Enumerate-Var(varsy, ex);递归调用的结果?function Enumeration-query(X, e, bn)输入:查询变量X

18、; 变量E的观察值e; 带有变量X、E、Y的 贝叶斯网络.输出:变量X的分布Q(X)1. 初始化Q(X)为空;2. for X中的每个可能值xi; 将xi加入e,形成新的ex; Q(xi) = Enumerate-Var(Varsbn, ex);3. 归一化 Q(X) ,并输出Q(X) ;存储中间值 连加变量所有值: 将常量移到连加符号外面 将变量对应的矩阵逐点相乘 将变量所有的取值进行连加逐点相乘:AP(J|A)T.90F.05AP(M|A)T.70F.01AfM(a)T.70F.01AfJ(a)T.90F.05AfJM(a)T.63F.0005ABEfA(a,b,e)TTT.95TTF.9

19、4TFT.29TFF.001FTT.05FTF.06FFT.71FFF.999AfJM(a)T.63F.0005ABEfA(a,b,e)TTT.95TTF.94TFT.29TFF.001FTT.05FTF.06FFT.71FFF.999ABEfAJM(a,b,e)TTT.95*0.63TTF.94*0.63TFT.29*0.63TFF.001*0.63FTT.05*.0005FTF.06*.0005FFT.71*.0005FFF.999*.0005ABEfAJM(a,b,e)TTT.95*0.63TTF.94*0.63TFT.29*0.63TFF.001*0.63FTT.05*.0005FTF

20、.06*.0005FFT.71*.0005FFF.999*.0005BETT.598525TF.59223FT.183055FF0.0011295Sum-outPointWise-Product基于存储中间值的推理算法function Elimination-Ask(X, e, bn)输入:X是查询变量,e是已知的证据,bn是贝叶斯网络1. 初始化factors为空;并令vars = ;2. for vars中的每个变量var3. factors = Make-Factor(var, e)|factors4.如果 var 是隐变量,则 5.factors=Sum-out(var, factors)6. 返回 Normalize(PointWise-Product(factors)因素的拼接,如:AfM(a)T.70F.01AfJ(a)T.90F.05对隐变量进行连加不相关变量 对m连加将等于1 定理:如果 Y 不是查询变量 X 和证据变量集合 E 的祖先,那么

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论