02第二章 贝叶斯决策理论2.3.ppt

1、2020/8/1,中国矿业大学 计算机科学与技术学院,(28)1,2.3 正态分布时的统计决策,具体的决策域划分与样本的概率分布有关。下面结合正态分布概率密度函数进行讨论，在讨论结束时我们会发现从中可以得到不少启示。,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)2,2.3.1 正态分布概率密度函数的定义与性质,单变量正态分布,正态分布是指一个随机实数度量值在整个实数域上的分布规律。因此它属于概率密度函数类，不是先验概率，也不是后验概率。,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)3,多元正态分布的概率密度函数,多元正态分布,其中是X的均值向量，也是d维，,

2、EX1，2，dT,是dd维协方差矩阵，而1是的逆矩阵，|是的行列式,E(X)(X)T,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)4,多元正态分布的概率密度函数中的元就是前面说得特征向量的分量数，也就是维数。,多元正态分布的重要特性,多维向量：每一个分量都是随机变量，服从正态分布。但是一个多维随机向量不仅要求考虑每个分量单独的分布，还要考虑每两个随机变量之间的关系相关性。,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)5,例：两个二元正态分布,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)6,来衡量这种相关性，称为协方差。,协方差矩阵,为了将各

3、个分量的方差、协方差都用一个统一的方式表示，则定义协方程矩阵，用符号表示。,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)7,多元正态分布的性质,(1)参数与对分布具有决定性。这一点与单变量时是相似的，记作p(x)N(，)。,(2)等密度点分布在超椭球面上。,多元正态分布的离散程度由参数|决定，这与单变量时由标准差决定是对应一致的。,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)8,(3)不相关性等价于独立性。,不相关：ExixjExiExj,(4)边缘分布和条件分布的正态性,独立：p(xi,xj)p(xi)p(xj),多元正态分布的边缘分布和条件分布仍然是正态

4、分布。,(5)线性变换的正态性。,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)9,2.3.2 正态分布概率模型下的最小错误率贝叶斯 判别函数和决策面,如果,则Xi,判别函数为,考虑到正态分布函数是指数函数形式，判别函数采用对数形式则更为方便，因此判别函数可写成：,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)10,相应的决策面方程为:,决策规则,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)11,定义:每个样本以它到每类样本均值的欧氏距离的最小值确定其分类，即,1. 最小距离分类器,样本满足的正态分布条件：,2020/8/1,中国矿业大学 计算

5、机科学与技术学院,(28)12,在这种条件下，由于|2d及i-1=2I，代入判别函数，得,由于决策是根据各判别函数之间的大小，因而式中一些与类别无关的项可以忽略，再加上先验概率相等这个条件，判别函数可简化成：,由此可见，在这种条件下，最小欧氏距离是决定分类的准则。,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)13,图2.10 决策面示意图,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)14,最小距离分类器的基本思想：最小距离分类器就可看作模板匹配。每个类有一个典型样本(即均值向量)，称为模板，而待分类样本X只要按欧氏距离计算与哪个模板最相似(欧氏距离最短)即可

6、作决定。,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)15,决策面为超平面的分类器称为线性分类器。,2. 线性分类器,这种情况与上一种情况不同之处在于并不要求各类的先验概率相等这个条件。,判别函数：,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)16,由于二次项XTX与类别号i无关，则其可进一步简化成：,其中,线性函数,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)17,决策面方程：,整理得：WT(XX0)0,其中 Wi-j,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)18,（2）第二种情况：,i= i=1,，c,如果c类先验

7、概率都相等，则可进一步简化为：,因此，此时的决策规则为：计算X到每类均值i的Mahalanobis距离平方r2，把它归于r最小的类别。,由于i= ，即与类别号i无关，则其可进一步简化成：,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)19,其中,因此，决策面方程也是线性方程。,为了确定先验概率不等条件下的决策面方程，可以展开决策面方程并忽略与i无关的XX项，经整理可得：,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)20,决策面方程：,WT(XX0)0,其中,gi(X)gj(X)0,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)21,图2.12

8、二维空间先验概率相等的情况,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)22,在正态分布条件下，基于最小错误率贝叶斯决策只要能做到两类协方差矩阵是一样的，那么无论先验概率相等不相等，都可以用线性分界面实现。,线性分类器总结,最小欧氏距离分类器则要求正态分布协方差矩阵为单位阵，先验概率相等。,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)23,各类协方差矩阵不相等的情况是多元正态分布的一般情况。,3. 各类协方差矩阵不相等,在这种情况下ij, i,j=1,2,c。因此判别函数一般式中只有(d/2)ln2这一项可以被省略，判别函数可表示成：,2020/8/1,中国

9、矿业大学 计算机科学与技术学院,(28)24,整理可得：,因此，判别函数在一般情况下为X的二次型。,其中,(dd矩阵),(d维列向量),2020/8/1,中国矿业大学 计算机科学与技术学院,(28)25,决策面方程：,决策面为二次超曲面，随着i及P(i)的不同而呈现不同形式的超二次曲面，如超球面、超椭球面、超抛物面、超双曲面，也可能是超平面。,gi(X)gj(X)0,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)26,图2.13 正态分布下的几种决策面形式,2020/8/1,中国矿业大学 计算机科学与技术学院,(28)27,讨论与分析,分析了在何种状态分布条件下，最小错误率贝叶斯决策具有线性决策面。,最小距离分类器与统计上最小错误率贝叶斯决策一致的条件。,202