多元统计分析学第八讲

多元统计分析学第八讲第1页，共57页，2023年，2月20日，星期四判别分析原理及模型

判别分析概述

判别分析方法

第2页，共57页，2023年，2月20日，星期四判别分析概述

（一）什么是判别分析

判别分析是多元统计中用于判别样品所属类型的一种统计分析方法。是一种在一些已知研究对象用某种方法已经分成若干类的情况下，确定新的样品的观测数据属于那一类的统计分析方法。

判别准则：用于衡量新样品与各已知组别接近程度的思路原则。常用的有，距离准则、Fisher准则、贝叶斯准则。判别函数：基于一定的判别准则计算出的用于衡量新样品与各已知组别接近程度的描述指标，即判别函数。（二）判别分析的种类按照判别组数划分有两组判别分析和多组判别分析；按照区分不同总体的所用数学模型来分有线性判别分析和非线性判别分析；按照处理变量的方法不同有逐步判别、序贯判别等；按照判别准则来分有费舍准则与贝叶斯判别准则。第3页，共57页，2023年，2月20日，星期四判别分析方法

（一）距离判别法１．基本思想：首先根据已知分类的数据，分别计算各类的重心，即分组（类）均值，判别准则是对于任给一次观测值，若它与第i类的重心距离最近，就认为它来自第i类。因此，距离判别法又称为最邻近方法（nearestneighbormethod）。距离判别法对各类总体的分布没有特定的要求，适用于任意分布的资料。

第4页，共57页，2023年，2月20日，星期四第5页，共57页，2023年，2月20日，星期四第6页，共57页，2023年，2月20日，星期四第7页，共57页，2023年，2月20日，星期四第8页，共57页，2023年，2月20日，星期四第9页，共57页，2023年，2月20日，星期四第10页，共57页，2023年，2月20日，星期四第11页，共57页，2023年，2月20日，星期四第12页，共57页，2023年，2月20日，星期四第13页，共57页，2023年，2月20日，星期四第14页，共57页，2023年，2月20日，星期四第15页，共57页，2023年，2月20日，星期四第16页，共57页，2023年，2月20日，星期四第17页，共57页，2023年，2月20日，星期四第18页，共57页，2023年，2月20日，星期四第19页，共57页，2023年，2月20日，星期四第20页，共57页，2023年，2月20日，星期四第21页，共57页，2023年，2月20日，星期四第22页，共57页，2023年，2月20日，星期四第23页，共57页，2023年，2月20日，星期四第24页，共57页，2023年，2月20日，星期四3．多组费舍判别分析

第25页，共57页，2023年，2月20日，星期四第26页，共57页，2023年，2月20日，星期四第27页，共57页，2023年，2月20日，星期四第28页，共57页，2023年，2月20日，星期四第29页，共57页，2023年，2月20日，星期四第30页，共57页，2023年，2月20日，星期四（三）贝叶斯判别法

第31页，共57页，2023年，2月20日，星期四第32页，共57页，2023年，2月20日，星期四第33页，共57页，2023年，2月20日，星期四第34页，共57页，2023年，2月20日，星期四第35页，共57页，2023年，2月20日，星期四第36页，共57页，2023年，2月20日，星期四第37页，共57页，2023年，2月20日，星期四第二节逐步判别分析一、逐步判别分析的基本概念及基本思想二、逐步判别的理论基础三、引入和剔除变量计算四、建立判别式,对样品判别分类五、具体计算步骤

第38页，共57页，2023年，2月20日，星期四一、基本概念及基本思想

在判别问题中，当判别变量个数较多时，如果不加选择地一概采用来建立判别函数，不仅计算量大，还由于变量之间的相关性，可能使求解逆矩阵的计算精度下降，建立的判别函数不稳定。因此适当地筛选变量的问题就成为一个很重要的事情。凡具有筛选变量能力的判别分析方法就统称为逐步判别法。第39页，共57页，2023年，2月20日，星期四逐步判别法和通常的判别分析一样，也有许多不同的原则，从而产生各种方法。这里讨论的逐步判别分析方法是在多组判别分析基础上发展起来的一种方法，判别准则为贝叶斯判别函数，其基本思路类似于逐步回归分析，采用“有进有出”的算法，即按照变量是否重要，从而逐步引入变量，每引入一个“最重要”的变量进入判别式，同时要考虑较早引入的变量是否由于其后的新变量的引入使之丧失了重要性变得不再显著了（例如其作用被后引入地某几个变量的组合所代替），应及时从判别式中把它剔除，直到判别式中没有不重要的变量需要剔除，剩下来的变量也没有重要的变量可引入判别式时，逐步筛选结束。也就是说每步引入或剔除变量，都作相应的统计检验，使最后的贝叶斯判别函数仅保留“重要”的变量。第40页，共57页，2023年，2月20日，星期四二、逐步判别分析的理论基础第41页，共57页，2023年，2月20日，星期四第42页，共57页，2023年，2月20日，星期四

第43页，共57页，2023年，2月20日，星期四第44页，共57页，2023年，2月20日，星期四当增加第p个变量后，p个变量的维尔克斯统计量第45页，共57页，2023年，2月20日，星期四三、引入和剔除变量计算

假定计算了l步，已入选了L个变量，不妨设为第46页，共57页，2023年，2月20日，星期四第47页，共57页，2023年，2月20日，星期四由附加信息准则，则得引入变量的检验统计量为：第48页，共57页，2023年，2月20日，星期四第49页，共57页，2023年，2月20日，星期四如果第50页，共57页，2023年，2月20日，星期四逐步判别过程，就是不断的引入和剔除变量的过程，可以证明，前三步都只引入，而不必考虑剔除，在以后的各步中则首先考虑剔除，如果不能剔除则再考虑引入，当既不能剔除又不能引入时，逐步计算的过程即告终止，将已选中的变量建立判别函数。第51页，共57页，2023年，2月20日，星期四四、建立判别式,对样品判别分类经过第二步选出重要变量后，可用各种方法建立判别函数和判别准则，这里使用Bayes判别法建立判别式，假设l+1步，最终选出L个变量，设判别式为：第52页，共57页，2023年，2月20日，星期四五、具体