判别分析-贝叶斯判别ppt课件

1、1第五章判别分析第五章判别分析 2 判别分析是多元统计中用于判别样品所属类型的一种统计分析方法。是一种在一些已知研究对象用某种方法已经分成若干类的情况下，确定新的样品的观测数据属于那一类的统计分析方法。3 判别准则：判别准则：用于衡量新样品与各已知组别接近程度的思路原则。 判别函数：判别函数： 基于一定的判别准则计算出的用于衡量新样品与各已知组别接近程度的描述指标。按照判别准则来分有 距离判别、费希尔判别与贝叶斯判别。4距离判别法距离判别法 判别准则：对于任给一次观测值，若它与第 类的重心距离最近，就认为它来自于第 类。ii马氏距离马氏距离)()(),(2YXYXYXd1)()(),(2XXG

2、Xd151222222121GdGdGGdGdG，如，如，yyyyyy1、协方差相等 两总体的距离判别两总体的距离判别 先考虑两个总体的情况，设有两个协差阵相同的p维正态总体 和 ，对给定的样本Y Y，判别一个样本Y Y到底是来自哪一个总体，一个最直观的想法是计算Y Y到两个总体的距离。我们用马氏距离来指定判别规则，有：1G2G6因此有。）（如，）（如，0021yyyyWGWG）yyy()()(W)()(111pppyayay2121,0GGGGWyyy相反则，则）（如果221其中),()(21paaa211 判别函数：判别函数：7 2、当总体的协方差已知，但不相等、当总体的协方差已知，但不相

3、等1222222121GdGdGGdGdG，如，如，yyyyyy)()()()(),(),(111121221222yyyyyyGdGd8 3、当总体的协方差未知时，用样本的离差阵代替， 步骤如下： （1）分别计算各组的离差矩阵 和 ； （2）计算 （3）计算类的均值 （4）计算 （5）计算 （6）生成判别函数，将检验样本代入，判类。22121nnAA2,2121121,)(211判别函数的系数)(221121）判别函数的常数项（1A2A9多总体的距离判别法多总体的距离判别法)(min)(22XdXdiil则lGX 设有 个 元总体 ，分别有均值向量 和协方差阵 ，对任给的 元样品 ，判断它来

4、自哪个总体ikikGG,1mmX计算 到 个总体的马氏距离，比较后，把 判归给距离最小的那个总体，若XkX10错判概率错判概率 由上面的分析可以看出，马氏距离判别法是合理的，但是这并不意谓着不会发生误判。 )(1)(2)(221xxW221其中设两总体 ， 分别服从 其线性判别函数为： AGBG不妨设 ，则当 时，21xAGX 11)2()2()(2122221222XPXPXP)2(2122XP)2(12112 当两总体靠得比较近时，即两总体的均值差异较小时，无论用何种判别方法，判错的概率都比较大，这时的判别分析也是没有意义的，因此只有当两总体的均值有明显差异时，进行判别分析才有意义，为此，

5、要对两总体的均值差异性进行检验.练习：练习：P211:5-1P211:5-113 办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2，一天，小王做了一件好事，小王是好人的概率有多大，你现在把小王判为何种人。贝叶斯判别法贝叶斯判别法一一 、标准的、标准的Bayes判别判别14做好事）坏人/(P18. 02 . 05 . 09 . 05 . 02 . 05 . 0做好事）好人/(P82. 02 . 05 . 09 . 05 . 09

6、 . 05 . 0)/()()/(/坏人做好事坏人好人做好事好人好人做好事好人PPPPPP )/()()/(/坏人做好事坏人好人做好事好人坏人做好事坏人PPPPPP15 一个好的判别方法，既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，贝叶斯(Bayes)Bayes)判别就具有这些优点，其判别效果更加理想，应用也更广泛。贝叶斯公式是一个我们熟知的公式 )()|()()|()|(iiiiiBPBAPBPBAPABP 距离判别简单直观，很实用，但是距离判别的方法把总体等同看待，没有考虑到总体会以不同的概率(先验概率)出现，也没有考虑误判之后所造成的损失的差异。16)()()|(000

7、xfqxfqxGPjjiii)()()|(000 xfqxfqxGPjjlll)()(001maxxfqxfqjjiiki则 判给 ，在正态的假定下， 为正态分布的密度函数。0 xlG)(xfi 设有总体 ， 具有概率密度函 数 。并且根据以往的统计分析，知道 出现的概率为 。即当样本 发生时，求 属于某类的概率。由贝叶斯公式计算后验概率，有：iG)(xfiiGiq0 x), 2 , 1(kiGi0 x判别规则17),(max)(010 xfqxfqiikill则 判给 。0 xlG)()(21exp)2(1)()(1)(21iiiiixxxf若)()(21exp)2(1)(,)(1)(21i

8、iiiiiixxqxfq则上式两边取对数下面讨论总体服从正态分布的情形)(ln(xfqii|ln212ln21lniiq)()(21)(1)(iiixx18问题转化为若 ，则判 。)(max)(1xZxZikillGx当协方差阵相等时 k1即|ln21lniiq)()(21)(1)(iiixx)(xzi去掉与i无关的项，等价的判别函数为： 判别函数退化为19iiqxzln)()(21(i)1(i)(x)xiqln221)(i)1(i)(x)x令 )(i)1(i)(x)(xiiqxFln2)(问题转化为若 ，则判 。)(min)(1xPxPikillGx(i)1)(i1)(ix2ln2)(iiq

9、xP(i)1(i)(i)11(i)1xxxxiqln2令 20 xx1)(i(i)1)(i21ln)(iiqm完全成为距离判别法 。令)(xmi(i)1(i)21x1(i)有)21(ln2)(xx1(i)(i)1(i)iiqP问题转化为若 ，则判 。)(max)(1xmxmikillGxkqqk11当先验概率相等，即 时21二、二、 考虑错判损失的考虑错判损失的Bayes判别分析判别分析 设有总体 ， 具有概率密度函 数 。并且根据以往的统计分析，知道 出现的概率为 ， 。iG)(xfiiGiq), 2 , 1(kiGi) 1(1kqqD1，D2， ，Dk是R(p)的一个分划，判别法则为： 关

10、键的问题是寻找D1，D2， ，Dk分划，这个分划应该使平均错判率最小。 iDX ki, 3 , 2 , 1当样品X落入Di时，判 22【定义定义】（平均错判损失）（平均错判损失）jDiijdxxfGDXPijp)()/()/(ji C(j/i)表示相应错判所造成的损失。 则平均错判损失为： kiijiijPijCqECM1)/()/(使ECM最小的分划，是Bayes判别分析的解。 用 表示将来自总体Gi的样品错判到总体Gj的条件概率。 )/(ijp23【定理定理】且相应的密度函数为 ，损失为 时，划分的贝叶斯解为kiqi, 3 , 2 , 1,)(xfi)/(ijCkihhDjkjii, 3

11、, 2 , 1, )(min)(|1xxxkiiijfijCqh1)()/()(xx若总体G1，G2，Gk的先验概率为其中24 含义是：当抽取了一个未知总体的样品值x，要判别它属于哪个总体，只要先计算出k个按先验概率加权的误判平均损失 然后比较其大小，选取其中最小的，则判定样品属于该总体。kiiijfijCqh1)()/()(xx下面在k=2的情形下，计算作为例子，我们讨论。25 12)()2/1 ()() 1/2(),(221121DDdxxfCqdxxfCqDDECMdxxfCqdxxfCqDRD11)()2/1 ()() 1/2(22111)() 1/2() 1/2(111DdxxfCq

12、Cq1)()2/1 (22DdxxfCq) 1/2(1Cq1)() 1/2()()2/1 (1122DdxxfCqxfCq26 由此可见，被积函数在D1是负数时，可使ECM最小，则有分划0)() 1/2()()2/1 (|11221xfCqxfCqxD0)() 1/2()()2/1 (1122xfCqxfCq)2/1 () 1/2()()(1221CqCqxfxfBayes判别准则为： dxvGxdxvGx)()(21若若)()()(21xfxfxW) 1/2()2/1 (12CqCqd 令 27特别地，若特别地，若kiiijfijCqh1)()/()(xxjijiijC01)/(kjiiijfqh)()(xxkijjiijfqfqh1)()()(xxx越小kijjiijfqfqh1)()()(xxx越大)(xjjfq),(max)(1kiiillfqfqxx则 判给 。与标准Bayes判别等价xlG28当错判概率当错判概率广义平方距离法广义平方距离法),()()()(2122igigXdXDiiki, 1 其中 定义样品X到总体Gi的广义平方距离为：全相等；若各组的协方差阵，不全相等，若各组的协方差阵iii1 0 |,|ln)(Si