3.朴素贝叶斯算法

机器学习朴素贝叶斯算法贝叶斯算法理论01算法概述01贝叶斯算法用于解决分类问题：根据特征向量判断是某种类别的概率。

优点：贝叶斯决策能对信息的价值或是否需要采集新的信息做出科学的判断:

可以在决策过程中根据具体情况下不断地使用,使决策逐步完善和更加科学准备工作02准备工作：1：条件概率2：乘法公式3：全概率公式4：贝叶斯公式5：朴素贝叶斯公式条件概率03所谓条件概率，它是指在某事件B发生的条件下，求另一事件A的概率，记为P(A|B)，它与P（A）是不同的两类概率。定义如果A和B是两个事件，且P(B)≠0，那么B条件下，A的条件概率为P(A|B)=P(A∩B)/P(B)条件概率04案例：考察有两个小孩的家庭、其样本空间为{男男，男女，女男，女女}，求家中至少有一个男孩，家中有一个女孩发生的概率.设立：事件B：家中至少有一个男孩（P（B））事件A：家中至少有一个女孩（P（A））AB的交集：家中有一男一女（P（AB）)求：B事件发生A事件发生的概率（P(A|B)）乘法公式05根据条件概率公式：若P(B)>0,则P(AB)=P(B)P(A|B)若P(A1A2...An)>0则：P(A1...An)=P(A1)P(A2|A1)P(A3|A1A2)...P(An|A1...An-1)案例：一批零件共有100个，其中有10个不合格，从中一个一个取出，求第三次才取得不合格品的概率是多少？由乘法公式可得：全概率公式06全概率公式是概率论中的一个重要的公式，它提供了计算复杂事件概率的一条有效途径，使一个复杂事件的概率计算问题化繁为简全概率公式最简单形式全概率公式07案例：某保险公司认为,某险种的投保人可以分为两类,第一类是容易出事故的,一年内出事故的概率是0.4,占总人口的20%,；另一类是比较谨慎,一年内出事故的概率是0.1,占总人口的80%:现有一个新的投保人来投保此险种，问该投保人在购买保单后一年内将出事故的概率有多大？贝叶斯公式08贝叶斯定理由英国数学家贝叶斯(ThomasBayes1702-1761)发展，用来描述两个条件概率之间的关系，比如P(A|B)和P(B|A)。按照乘法公式和全概率公式，可以立刻导出：条件概率：分子用乘法公式：分母用全概率公式：贝叶斯案例09案例：某地区居民的肝癌发病率为0.0004,现用甲胎蛋白法进行普查，医学研究表明，化验结果是存有错误的，已知患有肝癌的人其化验结果99%呈阳性（有病），而没患肝癌的人其化验结果99.9%呈阴性(无病)，现某人的检查结果呈阳性，问他真的患肝癌的概率是多大？贝叶斯案例10经典案例：伊索寓言“孩子与狼”讲的是一个孩子每天到山上放羊，山里有狼出没，第一天，他在山上喊：“狼来了！狼来了！”，山下的村民闻声便去打狼，可到了山上，发现狼没来；第二天仍是如此，第三天，狼真的来了，可无论小孩怎么喊，也没人来救他，因为前两次他说了谎，人们不再相信他了。用贝叶斯分析此寓言村民对这个小孩的可信度是如何下降的。A为小孩说谎B为小孩可信假设P（B）=0.8P（B）否=0.2P（A|B）=0.1P(A|否B)=0.50.8*0.1/(0.8*0.1+0.2*0.5)=0.444第二次：小孩可信为0.444小孩不可信为0.5560.444*0.1/(0.444*0.1+0.556*0.5)=0.138朴素贝叶斯02朴素贝叶斯01朴素贝叶斯中朴素：特征条件独立,贝叶斯：基于贝叶斯定理两个事件的独立性是指：一个事件的发生不影响另一个事件的发生例如掷骰子的时候：记事件A为第一颗骰子的点数为1，记事件B为第二颗骰子的点数为5，显示A与B的发生是互相不影响的。

朴素贝叶斯公式：