贝叶斯分类分类算法PPT课件

.,1,实验3：贝叶斯分类分类算法,.,2,实验3：贝叶斯分类分类算法,实验目的：1.掌握贝叶斯分类算法2.熟悉C+编程3.数据集见下图：,.,3,.,4,背景知识,.,5,朴素贝叶斯分类,朴素贝叶斯分类的工作过程如下：(1)每个数据样本用一个n维特征向量X=x1，x2，xn表示，分别描述对n个属性A1，A2，An样本的n个度量。(2)假定有m个类C1，C2，Cm，给定一个未知的数据样本X（即没有类标号），分类器将预测X属于具有最高后验概率（条件X下）的类。也就是说，朴素贝叶斯分类将未知的样本分配给类Ci（1im）当且仅当P(Ci|X)P(Cj|X)，对任意的j=1，2，m，ji。这样，最大化P(Ci|X)。其P(Ci|X)最大的类Ci称为最大后验假定。根据贝叶斯定理,.,6,朴素贝叶斯分类(续),(3)由于P(X)对于所有类为常数，只需要P(X|Ci)*P(Ci)最大即可。如果Ci类的先验概率未知，则通常假定这些类是等概率的，即P(C1)=P(C2)=P(Cm)，因此问题就转换为对P(X|Ci)的最大化（P(X|Ci)常被称为给定Ci时数据X的似然度，而使P(X|Ci)最大的假设Ci称为最大似然假设）。否则，需要最大化P(X|Ci)*P(Ci)。注意，类的先验概率可以用P(Ci)=si/s计算，其中si是类Ci中的训练样本数，而s是训练样本总数。,.,7,朴素贝叶斯分类(续),(4)给定具有许多属性的数据集，计算P(X|Ci)的开销可能非常大。为降低计算P(X|Ci)的开销，可以做类条件独立的朴素假定。给定样本的类标号，假定属性值相互条件独立，即在属性间，不存在依赖关系。这样,联合概率分布,2020/5/20,.,8,朴素贝叶斯分类(续),(5)对未知样本X分类，也就是对每个类Ci，计算P(X|Ci)*P(Ci)。样本X被指派到类Ci，当且仅当P(Ci|X)P(Cj|X)，1jm，ji，换言之，X被指派到其P(X|Ci)*P(Ci)最大的类。,.,9,贝叶斯分类,.,10,BayesianClassifiers,Approach:computetheposteriorprobabilityP(C|A1,A2,An)forallvaluesofCusingtheBayestheoremChoosevalueofCthatmaximizesP(C|A1,A2,An)EquivalenttochoosingvalueofCthatmaximizesP(A1,A2,An|C)P(C)HowtoestimateP(A1,A2,An|C)?,.,11,NaveBayesClassifier,AssumeindependenceamongattributesAiwhenclassisgiven:P(A1,A2,An|C)=P(A1|Cj)P(A2|Cj)P(An|Cj)0CanestimateP(Ai|Cj)forallAiandCj.NewpointisclassifiedtoCjifP(Cj)P(Ai|Cj)ismaximal.,.,12,.,13,.,14,对比决策树分类,整棵决策树就对应着一组析取表达式规则。,.,15,知识回顾,贝叶斯知识,.,16,1.样本空间的划分,二、全概率公式,.,17,2.全概率公式,全概率公式,.,18,图示,证明,化整为零各个击破,.,19,说明全概率公式的主要用途在于它可以将一个复杂事件的概率计算问题,分解为若干个简单事件的概率计算问题,最后应用概率的可加性求出最终结果.,.,20,例1有一批同一型号的产品,已知其中由一厂生产的占30%,二厂生产的占50%,三厂生产的占20%,又知这三个厂的产品次品率分别为2%,1%,1%,问从这批产品中任取一件是次品的概率是多少?,设事件A为“任取一件为次品”,解,.,21,由全概率公式得,.,22,称此为贝叶斯公式.,3.贝叶斯公式,.,23,Bayes公式的意义,Bayes公式，其意义是：假设导致事件A发生的“原因”有Bi(i=1,2,n)个。它们互不相容。现已知事件A确已经发生了，若要估计它是由“原因”Bi所导致的概率，则可用Bayes公式求出.即可从结果分析原因.,.,24,证明,条件概率的概念,乘法定理：,.,25,例2贝叶斯公式的应用,.,26,解,.,27,