朴素贝叶斯分类ppt课件

朴素贝叶斯分类，第9，1，1章。定义，A，B，ab，条件概率，如果完备集，A，B是事件之一(子集)，P代表事件发生的概率，那么，是事件发生后A发生的概率B，2，乘法定理，注意：当P(AB)不容易直接得到时，可以认为是用P(A)和P(B|A)的乘积或P(B)和P(A|B)的乘积间接得到的。全概率公式的主要目的是将一个复杂事件的概率计算问题分解成几个简单事件的概率计算问题，最后应用概率的可加性得到最终结果。例1有一批同类产品，其中30%由一家工厂生产，50%由两家工厂生产，20%由三家工厂生产。据了解，这三家工厂的产品不合格率分别为2%、1%和1%。这些产品有缺陷的可能性有多大？让事件A成为“任何一个都有缺陷”。解，9是从全概率公式中得到的，意思是10，11，贝叶斯公式，11和贝叶斯公式。假设有Bi (I=1，2，事件的原因。它们彼此不相容。现在知道事件a确实发生了。为了估计它是由“原因”bi引起的概率，可以使用贝叶斯公式来找到它。原因，12，证明，乘法定理：13，例2贝叶斯公式的应用，14，解，15，(1)从全概率公式，(2)从贝叶斯公式，16，17，从以前的数据分析，概率叫做先验概率。信息获得后再次被纠正的概率称为后验概率。先验概率和后验概率，18，贝叶斯分类，贝叶斯分类器是一种统计分类器。他们可以预测一个类别所属的概率，例如，一个数据对象属于某个类别的概率。贝叶斯分类器是基于贝叶斯定理构建的。对比分类方法的相关研究结果表明，简单贝叶斯分类器(称为基本贝叶斯分类器)在分类性能上与决策树和神经网络相当。在处理大规模数据库时，贝叶斯分类器表现出较高的分类精度和计算性能。19，20，贝叶斯分类，定义：让x为具有未知类别标签的数据样本。假设H是某个假设，例如，数据样本X属于某个c类。对于分类问题，我们要确定概率P(H|X)，即给定观察到的数据样本X，假设为真。贝叶斯定理给出了计算P(H|X)的简单而有效的方法：P(H)是先验概率，或H的先验概率。P(X|H)表示在H成立的情况下观察X的概率。P(H|X)是后验概率，或条件X下H的后验概率。贝叶斯分类先验概率一般指一类事物发生的概率，通常由历史数据或主观判断确定，无需实验证实。后验概率是指在特定条件下特定事物发生的概率。例如，P(x1)=0.9:x1-正常细胞的概率为0.9(先验概率)P(x2)=0.1:x2-对于特定对象Y，异常细胞的概率为0.1(先验概率)，P(x1|y):表示Y的正常细胞的概率为0.82(后验概率)，P(x2|y):表示Y的异常细胞的概率为0.18(后验概率)，23360.xn，分别描述了n个属性A1，A2，一个样本。(2)假设C1、C2、Cm，给定未知数据样本X(即没有类别标签)，分类器将预测X属于具有最高后验概率的类别(在条件X下)。换句话说，当且仅当P(Ci|X)P(Cj|X)时，对于任何j=1，2，这使P(Ci|X)最大化。具有最大P(Ci|X)的类Ci称为最大后验假设。根据贝叶斯定理，23，24，朴素贝叶斯分类(续)，(3)由于P(X)对所有类都是常数，只有P(X|Ci)*P(Ci)是最大值。如果配置项类的先验概率未知，通常假设这些类的概率相等，即P(C1)=P(C2)=P(厘米)，因此问题被转化为P(X|Ci)的最大化(P(X|Ci)通常被称为给定配置项的数据X的似然性，而最大化P(X|Ci)的假设Ci被称为最大似然性假设)。否则，您需要最大化P(X|Ci)*P(Ci)。注意，该类的先验概率可以用P(Ci)=si/s来计算，其中si是类Ci中训练样本的数量，s是训练样本的总数。(4)给定一个具有许多属性的数据集，计算P(X|Ci)的成本可能非常高。为了降低计算P(X|Ci)的成本，我们可以做一个简单的假设，即类条件是独立的。给定样本的类标签，假设属性值是相互条件独立的，即属性之间没有依赖关系。以这种方式、联合概率分布，25，26，朴素贝叶斯分类(续)，(5)未知样本的X分类，即，对于每个类别Ci，计算P(X|Ci)*P(Ci)。当且仅当P(Ci|X)P(Cj|X)，1jm，ji时，样本X被分配给类别Ci，换句话说，X被分配给其P(X|Ci)*P(Ci)最大的类别。“打网球”的决定是由先前由ID3算法求解的例子做出的，27，例子，统计结果，28，统计结果，对以下情况做出决定：29，统计结果，对以下情况做出决定：模型：决定：贝叶斯公式：e是第二个表中的值，分别计算概率D=是/否，30，统计结果，对下列情况作出决策：31，已计算：类似地可以计算：使用公式：最后获得：决策：32，对下列情况作