张素文-第4章统计决策方法.ppt

1、第四章 统计决策方法,4.1 引言 4.2 最小错误率贝叶斯决策 4.3 最小风险贝叶斯决策 4.4 正态分布模式的贝叶斯决策 4.5 聂曼皮尔逊判别 4.6 按后验概率密度分类的势函数方法,第四章 统计决策方法,一、复习,其他书的分法,4.1 引言,获取模式的观察值时，有二种情况： （1）确定性事件：事物间有确定的因果关系。前两章内容。 （2）随机事件：事物间没有确定的因果关系，观察到的特征 具有统计特性，是一个随机向量。只能利用模式集的统计特 性来分类，以使分类器发生分类错误的概率最小。,二、两类研究对象,三、概率知识,1、概率, 定义：设是随机试验的基本空间（所有可能的实验结果 或基本事

2、件的全体构成的集合，也称样本空间），A为随机事件，P(A)为定义在所有随机事件组成的集合上的实函数，若 P(A)满足：,c) 对于两两互斥的事件 有,a) 对任一事件A有：0P(A)1。,b) P()=1， 事件的全体,a) 不可能事件V的概率为零，即P(V)=0。,则称函数P(A)为事件A的概率。, 概率的性质：, 定义：设A、B是两个随机事件，且P(B)0，则称,为事件B发生的条件下事件A发生的条件概率。,2、条件概率,（5.1-1）,a) 概率乘法公式：如果P(B)0，则联合概率 P(AB)= P(B) P(A|B) = P(A) P(B|A) =P(BA) （5.1-2）,c) 贝叶斯

3、公式：在全概率公式的条件下，若P(B)0，则将 （5.1-2）、（5.1-3）式代入（5.1-1）式中，有：,（5.1-4）, 条件概率的三个重要公式：,则对任一事件B有：,（5.1-3）,b) 全概率公式：设事件A1 ， A2 ， ，An两两互斥，且,设样本的特征向量X是随机向量，则相关概率有三种：, 后验概率P(i|X) ：相对于先验概率而言。指收到数据X （一批样本点）后，根据这批样本提供的信息统计出的i 类出现的概率（即：X 属于i类的概率）。,3、模式识别中的三个概率, 先验概率P(i ) ：根据以前的知识和经验得出的i类样本 出现的概率，与现在无关。, 条件概率P(X |i) ：已

4、知的属于i类的样本，发生事件X 的概率。例对一批得病患者进行一项化验，结果为阳性的 概率为95%，1代表得病人群， 则：,今后的分类中用到类概率密度p(X |i) ：i类的条件概率 密度函数，通常也称为i的似然函数。,P(2| X) 表示试验呈阳性的人中(显示可能有病)， 实际没有病的人的概率。,这两个值可以通过大量的统计得到。若用某种方法检测是否得有某病，假设 X 表示“试验反应呈阳性”。则：,P(X |2) 表示最终确诊为无病的人群中， 做该试验时反应呈阳性(显示可能有病)的概率。,值低 / 高,值低 / 高,P(X |1) 表示最终确诊为有病的人群中， 做该试验时反应也呈阳性(显示可能有

5、病)的概率。,P(1| X) 表示试验呈阳性的人中(显示可能有病)， 实际确实有病的人的概率。,？,？, 三者关系：根据(5.1-4)贝叶斯公式有：,（5.1-5）,(5.1-4),全概率密度公式：, 分类规则：有M类模式，,(5.2-1),4.2 最小错误率贝叶斯决策,分析：讨论模式集的分类，目的是确定X属于那一类，所以 要看X来自哪类的概率大。在下列三种概率中： 先验概率P(i) 类(条件)概率密度p(X |i) 后验概率P(i| X),采用哪种概率进行分类最合理？,一 、决策规则,后验概率P(i| X),虽然后验概率P(i| X)可以提供有效的分类信息，但先验概 率P(i)和类概率密度函

6、数p(X |i)从统计资料中容易获得，故 用Bayes公式，将后验概率转化为类概率密度函数和先验概率的 表示。由：,可知，分母与i无关，即与分类无关，故分类规则又可表示为：,(5.2-2),(5.2-1)、(5.2-2)均称为“最小错误率Bayes规则”。,(5.2-1),例子癌症普查：,1癌症患者：11268 2正常者： 2242282 总人数：n=2253550 对每一类的概率做一个估计（先验概率）,对人们测量细胞的特征向量 代表的某个人属于第i类的后验概率： 决策规律：,例子癌症普查（续1）：,若已知两类特征向量分布的类条件概率密度函数 贝叶斯公式、全概率公式,例子癌症普查（续2）：,将

7、P(i|x)代入判别式，判别规则可表示为,或改写为,l12称为似然比（likelihood ratio），12称为似然比的判决阀值。,例子癌症普查（续3）：,概念和符号,-总概率 -后验概率 -类概密，表示在类i条件下的概率密度，即类i模式x的概率分布密度 -先验概率，表示类i出现的先验概率，简称类i的概率,例：对一批人进行癌症普查，1 :患癌症者; 2 :正常人。 模式特征x=x(化验结果),x=1：阳性；x=0：阴性。 已知：（统计结果） 先验概率：P(1)=0.005 P(2)=1-P(1)=0.995 条件概率：p(x=阳|1)=0.95 p(x=阴|1)=0.05 p(x=阳|2)=

8、0.01 求：呈阳性反映的人是否患癌症？,解：利用Bayes公式,因为，P(2|x=阳)= 1-P(1|x=阳)=1- 0.323=0.677 P(1|x=阳)P(2|x=阳) 故判决： (x=阳)2 ，即正常。,写成似然比形式,现有一待诊人员，血液观察值为X 。从类条件概率密度发布 曲线得：，,例：假定某地区乙肝患者和健康人的先验概率分别为,试对X进行分类。,解：,例1,解：利用贝叶斯公式，分别计算出,的后验概率,二、错误率分析,两类问题判别决规则：,用后验概率密度表示为,用先验概率和类概率密度函数表示为,或,判别界面为：,对两类问题，上式中的P(e|X)为：,即分类中可能会发生两种错误。,

9、假设R1为1类的判决区， R2为2类的判决区，则两种错误为：, 将来自1类的模式错分到R2中去。, 将来自2类的模式错分到R1中去。,总的错误为两种错误之和：,1、两类问题错误率,一维模式情况图示：,在最小错误Bayes规则中，判决界面为两曲线的交点处，即：,可以看出这个误差是所有误差中最小的（图中三角形的面积减 小到0），但总错误概率不可能为零。,最小风险贝叶斯决策基本思想： 以各种错误分类所造成的平均风险最小为规则，进行分类决策。,4.3 最小风险贝叶斯决策,一、“风险”概念 （1）自动灭火系统： （2）疾病诊断：,不同的错判造成的损失不同。损失又称为风险。,考虑到对于某一类的错误判决要比

10、对于另一类的更为关键，据此把最小错误率的贝叶斯判决做一些修改，提出了“条件平均风险” rj(X)的概念。,对M类问题，如果观察样本被判定属于j类，则条件平 均风险指：将某一X判为属于j类时造成的平均损失，也称 条件平均损失。,二、条件平均风险与平均风险,L2c(2/c),L21(2/1),2,L12(1/2),L11(1/1),1,2,1,类型 风险 判别,二.风险矩阵为,L1j(1/j),L1c(1/c),i,a,Li1(i/I),La1(a/I),La2(a/2),Laj(a/j),j,c,Lac(a/c),Li2(i/2),Lic(i/c),Lij(i/j),L22(2/2),L2j(2

11、/j),用先验概率和条件概率的形式：, p(X)对所有类别一样，故不提供分类信息，,如果对每个X 都按条件平均风险最小决策，则平均风险也最小。,总的条件平均风险通常称为“平均风险”或“平均损失”。,1、多类情况：设有M 类,对于任一X 对应 M个条件平均风险ri(X) ，i =1,2, M，,基本判决规则：,三、最小平均风险贝叶斯决策,2、两类情况：对样本 X,当X 被判为1类时：,当X 被判为2类时：,由式：,，为阈值。,判别步骤：,类概率密度函数 p(X |i) 也称i的似然函数,例 在例1的基础上利用决策表（下列），按最小风险进行分类 决策表,解：计算 和 得：,例：某地乙肝患者与健康人

12、的先验概率分别为,某患者的观察结果用模式向量 X 表示。由类概率密度曲线查得,损失函数分别为L11=0，L12=10， L22=0，L21=1。按最小风险贝 叶斯决策分类。,即被诊断为乙肝患者。,损失函数为特殊情况：,三、(0-1)损失最小风险贝叶斯决策,1、多类情况,(0-1)情况下，对X 被判为 时：,一般形式：,可改写成：,判决规则：,定义判决函数等价形式：,则判决规则等价形式为：,是“最小错误Bayes决策”,书43页(4-3)式,2、两类情况：,书43页(4-3)式,或从式导出似然比形式：,其中：,判决规则：,4.4 正态分布模式的贝叶斯决策,一、预备知识复习,二次型中的矩阵A是一个

13、对称矩阵，即 。,含义：是一个二次齐次多项式，,2、正定二次型,对于 （即X分量不全为零），总有 ，则称 此二些型是正定的，而其对应的矩阵称为正定矩阵。,3、单变量（一维）的正态随机向量,密度函数表示为：,曲线如图示： = -1，=0.5 ； = 0，=1 ； = 1，=2 .,4、一维正态曲线的性质,（2）曲线关于直线 x =对称。,（3）当 x =时，曲线位于最高点。,（4）当x时，曲线上升；当x时，曲线下降.并且当曲 线向左、右两边无限延伸时，以x轴为渐近线，向它无限靠近。,（1）曲线在 x 轴的上方，与x轴不相交。,（5）一定时，曲线 的形状由确定。越 大，曲线越“矮胖”，表 示总体的

14、分布越分散； 越小。曲线越“瘦高”。 表示总体的分布越集中。,（6）“3”规则,即：绝大部分样本都落在了 均值附近3的范围内， 因此正态密度曲线完全可由 均值和方差来确定，常简记 为：,p(x),左图为某大学 男大学生的身高数 据，红线是拟合的 密度曲线。可见， 其身高应服从正态 分布。,总之，正态分布（高斯分布）广泛存在于自然、生产及科 学技术的许多领域之中，对许多实际情况都是一种合适的模型， 并且具有良好的特征，所以受到很大重视。,5、多变量（n维）正态随机向量,密度函数与单变量类似，表示为：,式中,|C|：协方差矩阵C的行列式，,多维正态密度函数完全由它的均值 M 和协方差矩阵C所 确定

15、，简记为：p(X)N( M , C ),为对称正定矩阵。,以二维正态密度函数作图(a)、(b)所示： 等高线（等密度线）投影到x1ox2面上为椭圆，从原点O到点M 的向量为均值M，圆心为M。椭圆的形状由协方差矩阵C决定。,对许多实际的数据集，正态分布通常是合理的近似。正态 分布概率模型特点： 1. 物理上的合理性。 2. 数学上的简单性。 前面介绍的Bayes方法事先必须求出p(X|i) 、 p(i) 。而 当 p(X|i)呈正态分布时，只需要知道 M 和 C 矩阵即可。,二、正态分布模式的Bayes决策,1、多类情况,具有M 种模式类别的多变量正态密度函数为：,(5.4-1),式中，每一类模

16、式的分布密度都完全被其均值向量Mi和协方差矩阵Ci所规定，其定义为：,协方差矩阵Ci是对称的正定矩阵，它决定样本分布的形状，中心由均值向量M决定。,在最小错误率Bayes决策中，类别i的判别函数可写为：,对正态密度函数，为了方便，取对数后有：,(5.4-2),对数是单调递增函数，故取对数后仍有相对应的分类性能。,去掉与i无关的项，不影响分类，简化为：,将(5.4-1)代入(5.4-2)式：,di(X)为超二次曲面。可见对正态分布模式的Bayes分类器，两类模式之间用一个二次判别界面分开，就可以求得最优的分类效果。,(5.4-3),判决规则同前：,2、两类问题, 当C1C2时：,判别界面 是X的

17、二次 型方程决定的超曲面，如图(a)所示。,当：,图(a), 当C1=C2=C时：由(5.4-3)式，,由此导出判别界面为：,为X的线性函数，是一超平面。当为二维时，判别界面为一直 线，如图(b)所示。,(5.4-4),两类相同，抵消,展开相同，合并,图(c),图(b),(5.4-4),例：设在三维特征空间里，分别在两个类型中获得4个样本， 位于一个单位立方体的顶点上：,设两类为正态分布，其均值向量和协方差矩阵可用下式估计：,(5.4-5),(5.4-5),式中， Ni为类别i中模式的数目，xij代表在第i类中的第j个模式。两类的先验概率 。试确定两类之间的判别界面。,解：,经计算有,因协方差

18、矩阵相等，故(5.4-4)为其判别式。由于,(5.4-4),图中画出判别平面的一部分。,三、分类器的错误概率,评价一种判别规则的性能，需要计算错分的概率。两类 问题中，可能会发生两种错误：,（1）将来自1类的模式错分到R2中去；,（2）将来自2 类的模式错分到R1中去。,总的错误定义为这两种错误的先验概率加权和，即：,总错误概率：,一维模式下的情况如下图示：,只有符合贝叶斯判别准则，即判别阈值满足,的条件，分类错误概率才能最小，但总错误概率不可能为零。 考虑总错误概率是必要的，只使一个样品的错误概率最 小是没有意义的，因为这时另一类的错误概率可能很大。,4.5 聂曼-皮尔逊(Neyman-Pe

19、rson)判别,、Neyman-Person判决思想,适用于p(i)难以确定时。,基本思想：限制一个错误概率，追求另一个最小(二类问题)。,二类问题的最小错误率Bayes决策中的总错误：,P1(e)：1类模式被错分到2类区域时，引起的错误概率。 P2(e)：2类模式被错分到1类区域时，引起的错误概率。,Neyman-Person准则出发点：在取P2(e)等于常数的条件下， 使P1(e)为最小，以此来确定阀值。,此时准则含义：在虚警概率P2(e)是一个可以承受的常数 值的条件下，使漏报概率为最小。,X为一维情况的概率密度曲线,使总错误率最小：最小错误率Bayes决策 使风险（错误引起的损失）最小

20、： 最小平均风险Bayes决策 (0-1)损失最小风险Bayes决策 限制一个错误概率，追求另一个最小： Neyman-Person判别,分析：研究算法的三种思路,二、判别式推导,在求P1(e)为最小时，需要构造一个函数：,待定常数， P2(e)常数,求P1(e)最小，即是求Q最小。,（5.5-1）,要使Q最小，积分项至少应为负值，即在R1区域内，至少应保证,即：,（5.5-2）,同理由（5.5-1）式有：,即确R2定范围的准则是：,从（5.5-2）、（5.5-3）式可得判别式为：,判别别界面为：,（5.5-5）,（5.5-4）,从（5.5-4）式可看出：,、, p(X|1) 、p(X|2)是已知的，Neyman-Person准则实际上 最终归结为找阀值 。, 从(5.5-5)式可知，X为的函数