《模式识别原理、应用及实现》 课件 第2章贝叶斯决策理论

2.1几个重要的概念

2.1几个重要的概念1．先验概率先验概率在分类方法中有着重要的作用，它的函数形式及主要参数或者是已知的，或者是可通过大量抽样实验估计出来。表示c个类别，各自的先验概率用表示，则满足在实际的模式识别系统中，有时可以用先验概率作为分类决策的依据。先验概率一般不作为判决的唯一依据，但当先验概率相当大时，它也能成为分类判决的主要考虑因素。2.1几个重要的概念2．类（条件）概率密度它是指在某种确定类别条件下，模式样本X出现的概率密度分布函数，常用来表示。2.1几个重要的概念3．后验概率它是在某个具体的模式样本条件下，某种类别出现的概率，常以表示。后验概率可以根据贝叶斯公式（2-1）计算出来并直接作为分类判决的依据。其中，2.2几种常用的决策规则武汉理工大学2.2几种常用的决策规则针对具体对象，设计者从不同角度考虑，会采用不同的决策规则，从而对决策结果会产生不同的影响。其中基于最小错误率的贝叶斯决策与基于最小风险的贝叶斯决策是最基本的两种方法，下面分别加以讨论。2.2.1基于最小错误率的贝叶斯决策2.2.2最小风险判别规则2.2.3最大似然比判别规则1.基于最小错误率的贝叶斯决策基本思想决策规则：

讨论模式集的分类，目的是确定X属于那一类，所以要看X来自哪类的概率大。在下列三种概率中：

先验概率P(ωi)

类(条件)概率密度p(X

|ωi)

后验概率P(ωi|X)采用哪种概率进行分类最合理？问题分析：后验概率P(ωi|X)设有M类模式，(4-6)——最小错误率贝叶斯决策规则2.几种等价形式

虽然后验概率P(ωi|X)可以提供有效的分类信息，但先验概率P(ωi)和类概率密度函数p(X

|ωi)从统计资料中容易获得，故用Bayes公式，将后验概率转化为类概率密度函数和先验概率的表示。由：可知，分母与i无关，即与分类无关，故分类规则又可表示为：(4-7)对两类问题，(4-7)式相当于若，则若，则可改写为：统计学中称

为似然比，为似然比阈值。对(4-8)式取自然对数，有：(4-7)，(4-8)，(4-9)都是最小错误率贝叶斯决策规则的等价形式。若，则

（4-8）若，则（4-9）2.几种等价形式3.举例例4.1假定在细胞识别中，病变细胞的先验概率和正常细胞的先验概率分别为。现有一待识别细胞，其观察值为X，从类条件概率密度发布曲线上查得：试对细胞X进行分类。解：[方法1]通过后验概率计算。[方法2]：利用先验概率和类概率密度计算。，是正常细胞。3.举例1.风险的概念最小风险贝叶斯决策基本思想：以各种错误分类所造成的平均风险最小为规则，进行分类决策。*自动灭火系统：*疾病诊断：不同的错判造成的损失不同，因此风险不同，两者紧密相连。

考虑到对某一类的错判要比对另一类的错判更为关键，把最小错误率的贝叶斯判决做一些修改，提出了“条件平均风险”的概念。2.决策规则

对M类问题，如果观察样本X被判定属于ωi类，则条件平均风险ri(X)指将X判为属于ωi类时造成的平均损失。式中，i

——分类判决后指定的判决号；j

——样本实际属于的类别号；——将自然属性是ωj类的样本决策为ωi类时的是非代价，

即损失函数。

每个X都按条件平均风险最小决策，则总的条件平均风险也最小。总的条件平均风险称为平均风险。条件平均风险与平均风险的区别平均风险：对模式总体而言。条件平均风险：对某个样本而言。1）多类情况设有M

类，对于任一X

对应

M个条件平均风险：

对每个X有M种可能的类别划分，

X被判决为每一类的条件平均风险分别为r1(X)，r2(X)，…，rM(X)。决策规则：2.决策规则用先验概率和条件概率的形式：∵

对所有类别一样，不提供分类信息。决策规则为：，则若2.决策规则2）两类情况：对样本X当X

被判为ω1类时：当X被判为ω2类时：（4-15）

（4-16）由（4-15）式：决策规则：2.决策规则令：，称似然比；，为阈值。②计算。③计算。①定义损失函数Lij。判别步骤：④类概率密度函数p(X

|ωi)也称ωi的似然函数2.决策规则解：计算

和

得：例4.2在细胞识别中，病变细胞和正常细胞的先验概率分别为现有一待识别细胞，观察值为X

，从类概率密度分布曲线上查得损失函数分别为L11=0，L21=10，L22=0，L12=1。按最小风险贝叶斯决策分类。为病变细胞。3.举例2.2.3最大似然比贝叶斯分类器

202.2.3最大似然比贝叶斯分类器似然比：与待识别的特征向量有关；判决门限：仅与两类的先验概率有关。在进行分类决策时，可通过计算某个特征向量的似然比，把它与两类之间的判决门限值进行比较，就可以完成分类决策。212.2.3最大似然比贝叶斯分类器对于多类问题，分类决策规则为：222.1最小错误率贝叶斯决策武汉理工大学1.基本思想决策规则：

讨论模式集的分类，目的是确定X属于那一类，所以要看X来自哪类的概率大。在下列三种概率中：

先验概率P(ωi)

类(条件)概率密度p(X

|ωi)

后验概率P(ωi|X)采用哪种概率进行分类最合理？问题分析：后验概率P(ωi|X)设有M类模式，(4-6)——最小错误率贝叶斯决策规则2.几种等价形式

虽然后验概率P(ωi|X)可以提供有效的分类信息，但先验概率P(ωi)和类概率密度函数p(X

|ωi)从统计资料中容易获得，故用Bayes公式，将后验概率转化为类概率密度函数和先验概率的表示。由：可知，分母与i无关，即与分类无关，故分类规则又可表示为：(4-7)对两类问题，(4-7)式相当于若，则若，则可改写为：统计学中称

为似然比，为似然比阈值。对(4-8)式取自然对数，有：(4-7)，(4-8)，(4-9)都是最小错误率贝叶斯决策规则的等价形式。若，则

（4-8）若，则（4-9）2.几种等价形式3.举例例4.1假定在细胞识别中，病变细胞的先验概率和正常细胞的先验概率分别为。现有一待识别细胞，其观察值为X，从类条件概率密度发布曲线上查得：试对细胞X进行分类。解：[方法1]通过后验概率计算。[方法2]：利用先验概率和类概率密度计算。，是正常细胞。3.举例2.2最小风险贝叶斯决策武汉理工大学1.风险的概念最小风险贝叶斯决策基本思想：以各种错误分类所造成的平均风险最小为规则，进行分类决策。*自动灭火系统：*疾病诊断：不同的错判造成的损失不同，因此风险不同，两者紧密相连。

考虑到对某一类的错判要比对另一类的错判更为关键，把最小错误率的贝叶斯判决做一些修改，提出了“条件平均风险”的概念。2.决策规则

对M类问题，如果观察样本X被判定属于ωi类，则条件平均风险ri(X)指将X判为属于ωi类时造成的平均损失。式中，i

——分类判决后指定的判决号；j

——样本实际属于的类别号；——将自然属性是ωj类的样本决策为ωi类时的是非代价，

即损失函数。

每个X都按条件平均风险最小决策，则总的条件平均风险也最小。总的条件平均风险称为平均风险。条件平均风险与平均风险的区别平均风险：对模式总体而言。条件平均风险：对某个样本而言。1）多类情况设有M

类，对于任一X

对应

M个条件平均风险：

对每个X有M种可能的类别划分，

X被判决为每一类的条件平均风险分别为r1(X)，r2(X)，…，rM(X)。决策规则：2.决策规则用先验概率和条件概率的形式：∵

对所有类别一样，不提供分类信息。决策规则为：，则若2.决策规则2）两类情况：对样本X当X

被判为ω1类时：当X被判为ω2类时：（4-15）

（4-16）由（4-15）式：决策规则：2.决策规则令：，称似然比；，为阈值。②计算。③计算。①定义损失函数Lij。判别步骤：④类概率密度函数p(X

|ωi)也称ωi的似然函数2.决策规则解：计算

和

得：例4.2在细胞识别中，病变细胞和正常细胞的先验概率分别为现有一待识别细胞，观察值为X

，从类概率密度分布曲线上查得损失函数分别为L11=0，L21=10，L22=0，L12=1。按最小风险贝叶斯决策分类。为病变细胞。3.举例2.3正态分布中的Bayes分类方法武汉理工大学背景我们介绍了Bayes分类的三种方法，其中Bayes最小错误率判别规则是最基本的方法，当决策风险取0-1损失函数时，最小风险判别规则和最大似然比判别规则与最小错误判别规则是统一的。以上几种方法，都涉及类条件概率密度函数，事实上，的获取是比较困难的，在实际应用中，为了计算上的方便，往往假设服从多元正态分布。下面以最小错误判别规则为例，研究服从多元正态分布时，Bayes分类的应用。协方差矩阵Ci：反映样本分布区域的形状；均值向量Mi：表明了区域中心的位置。2.正态分布的最小错误率贝叶斯决策规则1）多类情况具有M种模式类别的多变量正态密度函数为：

前面介绍的Bayes方法事先必须求出p(X|ωi),P(ωi)。而当

p(X|ωi)呈正态分布时，只需要知道M

和C

即可。

每一类模式的分布密度都完全被其均值向量Mi和协方差矩阵Ci所规定，其定义为：对正态密度函数，为了方便计算，取对数：对数是单调递增函数，取对数后仍有相对应的分类性能。最小错误率Bayes决策中，ωi类的判别函数为，去掉与i无关的项，得判别函数：——正态分布的最小错误率Bayes决策的判别函数。(4-25)di(X)为超二次曲面。可见对正态分布模式的Bayes分类器，两类模式之间用一个二次判别界面分开，就可以求得最优的分类效果。判决规则同前：2）两类问题(1)当C1≠C2时：～～对应判别函数判别界面是X的二次型方程决定的超曲面。二维判别界面如图4.3所示。若决策规则：图4.3C1≠C2时(2)当C1=C2=C时：由式(4-25)有由此导出判别界面为：为X的线性函数，是一超平面。当为二维时，判别界面为一直线，如图4.4所示。(4-28)两类相同，抵消展开相同，合并(3)当时：判别界面如图4.5所示。图4.4C1=C2=C，图4.5C1=C2=I且先验概率相等例4.3设在三维特征空间里，有两类正态分布模式，每类各有4

个样本，分别为其均值向量和协方差矩阵可用下式估计：(4-30)(4-31)式中，Ni为类别ωi中模式的数目，Xij代表在第i类中的第j个模式。两类的先验概率。试确定两类之间的判别界面。解：经计算有因协方差矩阵相等，故(4-28)为其判别式。由于将代入：(4-28)图中画出判别平面的一部分。模式识别53/justinruan/Learning-ML学以致用，知行合一（实践篇）朴素贝叶斯54分多类的朴素贝叶斯

55

多维正态分布的特征向量在大多数情况下，类条件概率可以采用多维变量的正态密度函数来模拟

56

多维正态分布条件下的贝叶斯分析

57朴素贝叶斯与NumPy58基于最小错误率的Bayes分类器

59生成数据集60训练61

预测62样本属于第[2]类，对数概率为：[[-14.98168285-5.23171548-43.93222521]]

可视化

63朴素贝叶斯与sk-Learn64手写数字识别NaïveBayesclassifierFeatures integers0-1665高斯朴素贝叶斯Sklearn的GaussianNB

实现了运用于分类的高斯朴素贝叶斯算法。特征的可能性(即概率)假设为高斯分布。classsklearn.naive_bayes.GaussianNB(priors=None)Priorprobabilitiesoftheclasses.类的先验概率。如果指定，则不根据数据调整先验。相比于其他更复杂的方法，朴素贝叶斯学习器和分类器非常快。分类条件分布的解耦意味着可以独立单独地把每个特征视为一维分布来估计。这样反过来有助于缓解维度灾难带来的问题。66naive_bayes.BernoulliNB([alpha,

binarize,

…])NaiveBayesclassifierformultivariateBernoullimodels.伯努利分布naive_bayes.GaussianNB([priors])GaussianNaiveBayes(GaussianNB)高斯分布的朴素贝叶斯naive_bayes.MultinomialNB([alpha,

…])NaiveBayesclassifierformultinomialmodels多项式分布模型训练67Classificationreportforclassifier68学习曲线69多项式分布(MultinomialDistributions)伯努利分布(bernoulidistribution)一次随机试验，成功概率为p，失败概率为q=1-p。二项式分布(binomialdistrubution)扔硬币，硬币正面朝上概率为p,重复扔n次硬币，k次为正面的概率即为一个二项分布概率。多项式分布(multinomialdistribution)二项分布的推广。二项分布的试验结果只有两个(成功和失败)，而多项分布的试验结果则多于两个。网上资料：/Math-Probability-5-2-the-Bernoulli-and-Binomial-Distributions//Math-Probability-5-9-Multinomial-Distribution/70文档分类用MultinomialNB来实现文档自动分类。下载数据20news-18828.tar.gz，解压得到“379”目录，以及此目录下的3个子目录。用train目录下的文档进行模型训练（13180个）用test目录下的文档进行测试（5648个）71数据来源:20news-18828description:20newsgroupsdatasetfordocumentclassification(/jrennie/20Newsgroups)format:DocumentClassificationMultinomialNB假设特征的先验概率为多项式分布文档分类在train目录下包含20个子目录，每个子目录代表一种文档和类型，子目录下的所有文档都属于目录名称所标识和文档类型。72文档的数学表达TF-IDF(TermFrequency-InverseDocumentFrequency,词频-逆文件频率)是一种用于资讯检索与资讯分析的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。一个词语在一篇文章中出现次数越多,同时在所有文档中出现次数越少,越能够代表该文章.73词频(termfrequency,TF)词频(termfrequency,TF)指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(一般是词频除以文章总词数),以防止它偏向长的文件。需要注意,一些通用的词语对于主题并没有太大的作用,反倒是一些出现频率较少的词才能够表达文章的主题,所以单纯使用是TF不合适的。权重的设计必须满足：一个词预测主题的能力越强，权重越大，反之，权重越小。所有统计的文章中，一些词只是在其中很少几篇文章中出现，那么这样的词对文章的主题的作用很大，这些词的权重应该设计的较大。IDF就是在完成这样的工作.74

逆向文件频率(IDF)逆向文件频率(inversedocumentfrequency,IDF)如果包含词条w的文档越少,IDF越大，则说明词条具有很好的类别区分能力。75

TF-IDF=TF*IDF某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。词语的重要性随着它在文档中出现的次数呈正比例增加，但同时会随着它在语料库中出现的频率呈反向下降。因此，TF-