贝叶斯信念网络-1.ppt

1,Bayes Classifier 贝叶斯分类,2019/6/25,2,2019/6/25,一、何谓贝叶斯分类？,数据挖掘中以贝叶斯定理为基础，用于分类的技术有朴素贝叶斯分类和贝叶斯信念网络两种。 朴素贝叶斯分类假定一个属性值对给定类的影响独立于其他属性的值，即在属性间不存在依赖关系，也因此称为“朴素的”。 贝叶斯信念网络也可以用于分类，它是图形模型。它优于朴素贝叶斯，它能够处理属性子集间有依赖关系的分类。 它采用监督式的学习方式。,二、基本知识,3,2019/6/25,1、事件概率 联合概率(joint probability) 表示A事件和B事件同时发生的概率， P(A B)。 边际概率(marginal probability) 在A和B的样本空间中，只看A或B的概率，称之边际概率。 条件概率(conditional probability) 在发生A的条件下，发生B的概率，称为P(B|A)。,4,联合概率：P(男性，赞成) = P(A1B1) = 40/200 =0.2 边际概率: P(赞成)=P(B1)= P(A1B1)+ P(A2B1)=0.25 条件概率: P(赞成|男性)=P(B1|A1)= P(A1B1)/ P(A1)=0.25,2019/6/25,举例：,2、乘法法则(Multiplicative rule),5,2019/6/25,3、独立事件,设事件和事件满足以下条件： 则称与为独立事件。,/shanxidianxianbingyiyuandizhi /dianxianchangshi /dianxianbingyin /dianxianzhengzhuang /dianxianzhiliao /dianxianrenqun /shanxidianxianyiyuantuijian /shanxizuizhengguidianxianbingyiyuan /shanxigonglidianxianyiyuan /shanxizhuanyezhiliaodianxianyiyuan /shanxizhuankedianxianyiyuanpaiming /dianxianleixing /lf /zz /by /zl /zd /wh /hl /yy /anli /gsdxbyy /qhdxbyy /nxdxbyy /blqdxbyy /yyjj /zhuanjia /liaofa /anli /ertong /nvxing /qingnian /nanxing /laonian /chengnian /zhengzhuang /bingyin /weihai /zhenduan /zhiliao /huli /shanxinajiayiyuanzhidianxian /dianxianchangshi /dianxianbingyin /dianxianzhengzhuang /dianxianzhiliao /dianxianrenqun /shanxidianxianbingyiyuandianhua /shanxizhiliaodianxianzhongdianyiyuan /shanxidianxianqunalizhi /shanxinayoudianxianyiyuan /shanxidianxianzhuankeyiyuannajiahao /dianxianleixing,三、贝叶斯定理,6,表示先验概率(Prior probability)。 表示后验概率(Posteriori probability)， 先验概率是由以往的数据分析得到的。根据样本数据得到更多的信息后，对其重新修正，即是后验概率。,2019/6/25,7,例：旅客搭乘飞机必须经电子仪器检查是否身上携带金属物品。 如果携带金属，仪器会发出声音的概率是97%，但身上无金属物品仪器会发出声音的概率是5%。已知一般乘客身上带有金属物品的概率是30%，若某旅客经过仪器检查时发出声音，请问他身上有金属物品的概率是多少？,2019/6/25,解：设C1=“有金属物”，X=“仪器会发声”，则,四、朴素贝叶斯分类的工作过程,2019/6/25,8,2019/6/25,9,2019/6/25,10,2019/6/25,11,2019/6/25,12,五、朴素贝氏分类的实例,办信用卡意愿：,13,2019/6/25,类属性,14,解：首先根据训练样本计算各属性相对于不同分类结果的条件概率： P(办卡)=7/10 P(不办卡)=3/10 P(女性|办卡)=5/7 P(女性|不办卡)=1/3 P(年龄=3145|办卡)=3/7 P(年龄=3145|不办卡)=1/3 P(学生=否|办卡)=5/7 P(学生=否|不办卡)=0/3 P(收入=中|办卡)=2/7 P(收入=中|不办卡)=2/3,2019/6/25,判断：X=(女性，年龄介于3145之间，不具学生身份，收入中等)会不会办理信用卡。,其次，再应用朴素贝氏分类器进行类别预测： 计算 P(办卡)P(女性|办卡)P(年龄3145|办卡)P(不是学生|办卡)P(收入中|办卡) =15/3430.044 P(不办卡)P(女性|不办卡)P(年龄3145|不办卡)P(不是学生|不办卡)P(收入中等|不办卡)=0 0.0440,15,2019/6/25,16,2019/6/25,训练样本中对于(女性，年龄介于3145之间，不具学生身份，收入中等)的个人，按照朴素贝叶斯分类会将其分到办信用卡一类中。 办卡的概率是(0.044)/(0.044+0)=1(正规化分类的结果P(会)/(P(会)+P(不会)。,贝叶斯分类的优缺点：,优点： 计算速度最快的演算法； 规则清楚易懂； 独立事件的假设，大多数问题上不至于发生太大偏误； 缺点： 仅适用于类别变量； 仅能应用于分类问题； 假设变量间为独立互不影响，因此使用时需要谨慎分析变量间的相关性。,2019/6/25,17,六、贝叶斯信念网络,朴素贝叶斯分类假定类条件独立，即给定样本的类标号，属性的值相互条件独立。 但在实践中，变量之间的依赖可能存在。贝叶斯信念网络说明联合条件概率分布，它允许在变量的子集间定义类条件独立性。它提供一种因果关系的图形。,2019/6/25,18,例如，得肺癌受其家族肺癌史的影响，也受是否吸烟的影响。,2019/6/25,19,有向无环图,条件概率图,概率依赖,双亲或直接前驱,后继,非后继,独立,节点：随机变量,一个简单的例子,由左图给出，它对下雨(R)引起草地变湿(W)建模。天下雨的可能性为，并且下雨时草地变湿的可能性为；也许的时间雨下得不长，不足以让我们真正认为草地被淋湿了。 在这个例子中，随机变量是二元的：真或假。存在的可能性草地变湿而实际上并没有下雨，例如，使用喷水器时。,2019/6/25,20,2019/6/25,21,可以看到三个值就可以完全指定P(R,W)的联合分布。如果P(R)=0.4， 则P(R)=0.6。类似地， ，而 这是一个因果图，解释草地变湿的主要原因是下雨。 我们可以颠倒因果关系并且做出诊断。 例如，已知草地是湿的，则下过雨的概率可以计算如下：,2019/6/25,22,现在，假设我们想把喷水器（）作为草地变湿的另一个原因，如下图所示。,节点有两个父节点和，因此它的概率是这两个值上的条件概率 。 我们可以计算喷水器开着草地会湿的概率。这是一个因果（预测）推理：,2019/6/25,23,2019/6/25,24,=0.1,给定草地是湿的，我们能够计算喷水器开着的概率。这是一个诊断推理。,2019/6/25,25,知道草是湿的增加了喷水器开着的可能。现在让我们假设下过雨，我们有： 注意，这个值比 小。这叫作解释远离explaining away; 给定已知下过雨，则喷水器导致湿草地的可能性降低了。已知草地是湿的，下雨和喷水器成为相互依赖的。,2019/6/25,26,2019/6/25,27,某水文站内装有一个小型的警报系统，与该警报是否拉响相关的因素有：洪水到来、地震发生，同时该系统还肩负着安全警报的功能，当水文站发生入室盗窃时，警报同样也会拉响。 而洪水的到来与降雨情况有关，地震的发生会反映在地震监测仪的报告中。同时，入室盗窃也会带来地震监测仪的扰动。在水文站以往的数据库中，关于以上这些因素都能找到详细的记录。 那么如何从这些数据中挖掘出有用的信息，来帮助工作人员进行决策呢？,七、贝叶斯信念网络应用实例 ：警报分析（马克威分析系统）,2019/6/25,28,1、有向无环图,2、条件概率表,2019/6/25,29,先验 概率,条件概率表,2019/6/25,30,3、推理,（1）当“警报拉响降雨 地震、入室盗窃、洪水”： 假设某时刻警报突然拉响了，且此时正在下雨，值班人员要判断此时发生地震、盗窃和洪水的概率分别是多少，以便采取相应的措施加以应对。 首先，设置警报和降雨为已知节点，观察值分别为拉响和降雨；并且指定地震、入室盗窃和洪水为目标节点。然后计算各种情况发生的后验概率。,2019/6/25,31,2019/6/25,32,已知变量的状态观察值,地震,入室盗窃,洪水,（2）当“警报拉响降雨地震监测仪信号弱 地震、入室盗窃、洪水”： 假设，同样在下雨天，警报突然拉响，如果此时值班人员还注意到了地震监测仪的状态处于弱信号的范围，那么到底地震、入室盗窃、洪水中哪个发生呢？ 解决的办法是设定：降雨节点处于降雨状态，警报节点处于拉响状态，地震