判别分析课件

1、1判别分析2判别分析的基本思想及意义若研究对象用某种方法已划分为若干类型。当得到一个新的样品数据（通常是多元的），要确定该样品属于已知类型中哪一类，这类问题属于判别分析。质量等级 天气预报 地质勘探矿物类型 营销数据 金融市场风险 医学诊断等 3判别分析的基本思想及意义设有 个总体 ，它们都是 元总体，其数量指标是 设总体 的分布函数是 通常是连续型总体，即 具有概率密度 对于任一新样品数据 要判断它来自哪一个总体 。 4判别分析的基本思想及意义通常各个总体 的分布是未知的，由从各个总体取得的样本（训练样本）来估计。一般，先估计各个总体的均值向量与协方差矩阵。从统计学的角度，要求判别准则在某种

2、准则下是最优的，例如错判的概率最小等。根据不同的判别准则，有不同的判别方法，这里主要介绍距离判别和Bayes判别。5两个总体的距离判别对于 元空间中的两个点： 最常见的是欧氏距离，其平方和距离是 而欧氏距离是6两个总体的距离判别设有两个一元总体 与 。有一个样品，其值在A处。问：A点离哪个总体较 “近”？ 从绝对长度来看， 从统计学的观点看，7两个总体的距离判别因此，对一元总体，样本点 距一元正态总体 的马氏平方距离是 即使总体非正态，而其均值为 ，标准差为 ，其马氏平方距离也可用上式度量。推广到多元总体的情况，马氏距离应该如下定义： 定义（1）设 是从均值向量为 、协方差矩阵为 的总体 中抽

3、取的两个样品，则 两点之间的马氏平方距离是 8两个总体的距离判别 又定义 与总体 的马氏平方距离是 （2）设有两总体 和 ， 的均值向量是 ， 的均值向量是 ，又 ， 的协方差矩阵相等，皆为 ，则总体 ， 间马氏平方距离是 9两个总体的距离判别设 是从均值向量为 、协方差矩阵为 抽取的两个样品， 和 之间的马氏距离是 至总体 的马氏距离是10两个总体的距离判别马氏距离满足距离的三条基本性质：设 是来自总体 的三个样品，则 11两个总体的距离判别设 ， 为两个不同的 元已知总体， 的均值向量是 ， ， 的协方差矩阵是 ， 。设 是一个待判样品，距离判别准则为 即当 到 的马氏距离不超过到 的马氏

4、距离时，判 来自 ；反之，判 来自 。12两个总体的距离判别两个总体协方差矩阵相等的情况 考虑样品 到两总体的马氏距离的平方差：13两个总体的距离判别两个总体协方差矩阵相等的情况 记 则 因此，距离判别法则化为14两个总体的距离判别两个总体协方差矩阵相等的情况 皆是 的线性函数。因此，当 时，两总体的距离判别简化为线性判别， 称为线性判别函数。 我们将这种情况进一步简化为15两个总体的距离判别两个总体协方差矩阵相等的情况 其中 ，即 是两总体均值向量的平均。记 其中 ，则 距离判别更简化为 其中 也是线性判别函数。16两个总体的距离判别两个总体协方差矩阵相等的情况在实际问题中， 及 通常都是未

5、知的，数据资料是来自两个总体的训练样本。 设 是来自总体 的训练样本，容量为 ； 是来自总体 的训练样本，容量为 ； 每个样品皆是 元向量。17两个总体的距离判别两个总体协方差矩阵相等的情况 要以训练样本估计 及 。 的估计是各训练样本的均值向量，即 又两个训练样本的协方差矩阵各为18两个总体的距离判别两个总体协方差矩阵相等的情况 当 时， 的一个无偏估计是 这样，线性判别函数 和 的估计各为19两个总体的距离判别两个总体协方差矩阵相等的情况 这样，两个总体的距离判别法则为20两个总体的距离判别两个总体协方差矩阵不等的情况： 这时，可令 按下列判别法则： 其中 分别是样品 到两个总体 的马氏平

6、方距离，它们皆是 的二次函数，称为二次判别函数。21两个总体的距离判别两个总体协方差矩阵不等的情况： 实际问题中， ， 往往未知，他们可用各总体的训练样本作估计，即分别以 估计 分别以 估计 ，得 的估计分别为 判别法则为22判别准则的评价当一个判别准则提出以后，还要研究其优良性。考察一个判别准则的优良性，要考察误判概率，即考察 属于 而误判为属于 ，或 属于 而误判为属于 的概率。首先，介绍以训练样本为基础用回代法估计误判率的方法： 1）误差率回代估计法； 2）误判率的交叉确认估计；23判别准则的评价误差率回代估计法 设 为两个总体， 与 是分别来自 的训练样本，其容量分别是 与 。以全体训

7、练样本作为 个新样品，逐个代入已建立的判别准则中判别其归属，这个过程称为回判。结果如表：24判别准则的评价误差率回代估计法 其中 是将属于 的样品误判为 的个数， 是将属于 的样品误判为 的个数，总的错误个数是 ，而两总体训练样品的总数是 ，误判率的回代估计为 注： 是由建立判别函数的数据反过来用作评估准则的数据而得到的，因此 往往比真实误判率小。当训练样本容量较大时， 可以作为真实误判率的一种估计。25判别准则的评价误判率的交叉确认估计基本思想：每次剔除训练样本中的一个样品，利用其余容量为 的训练样本建立判别准则，再用所建立的判别准则对删除的那个样品作判别。对训练样本中的每个样品作上述分析，

8、以其误判的比例作为误判概率的估计。26判别准则的评价误判率的交叉确认估计具体步骤： 1）从总体 的容量为 的训练样本开始，剔除其中的一个样品，用剩余的容量为 的训练样本和总体 的容量为 的训练样本建立判别函数； 2）用建立的判别函数对删除的那个样品作判别； 3）重复步骤1），2），直到 的训练样本中的 个样品依次被删除，又进行判别。其误判样品个数记为 。27判别准则的评价误判率的交叉确认估计具体步骤： 4）对总体 的训练样本重复步骤1），2）与3），并记其误判样品个数为 ，以 作为误判率的估计。28PROC DISCRIMPROC DISCRIM options; CLASS variable

9、; VAR variables; PRIORS probabilities; TESTCLASS variable; run;29PROC DISCRIMPROC DISCRIM options; 此语句中，“options”部分可包含下列内容： 1）待分析的数据集选择： DATASAS data set：指定用以建立判别函数的SAS数据集（即训练样本数据集）。 TESTDATA SAS data set：指定用以检验判别准则的SAS数据集名称。除分类变量外，改数据集中的变量应和训练样本数据集中的变量一致。30PROC DISCRIMPROC DISCRIM options; 此语句中，“op

10、tions”部分可包含下列内容： 2）输出数据集的选择： OUTSTATSAS data set：定义一个输出SAS数据集名称，该数据集包括原训练样本集中各变量的均值、标准差及相关系数等。若METHODMORMAL被使用，该数据集中还包括判别函数的系数； OUTSAS data set：命名一个输出SAS数据集，其中包括训练样本集的数据及变量、后验概率以及回判结果；31PROC DISCRIMPROC DISCRIM options; 此语句中，“options”部分可包含下列内容： 2）输出数据集的选择： OUTCROSSSAS data set：定义一个输出的SAS数据集，其中包括训练样本

11、数据及变量、后验概率以及由交叉确认法所得的回判结果等； TESTOUT=SAS data set：定义一个输出的SAS数据集，其中包括检验数据集中的变量和数据、后验概率以及利用所建立的判别准测对检验数据集的判别结果。此项当“options”中有“TESTDATA SAS data set”时运用。32PROC DISCRIMPROC DISCRIM options; 此语句中，“options”部分可包含下列内容： 3）判别分析方法的选择： METHODNORMAL（或NPAR）：指出建立判别函数的方法。当“METHODNORMAL”被指定，则在各总体为正态分布的假定下通过利用训练样本估计各总

12、体均值向量和协方差矩阵，并视各总体的协方差矩阵是否相等而分别建立线性及二次判别函数；当指定“METHOD NPAR”，则使用非参数方法建立判别函数。前者是SAS系统默认的方法。33PROC DISCRIMPROC DISCRIM options; 此语句中，“options”部分可包含下列内容： 3）判别分析方法的选择： POOLYES（或NO，TEST）：在选择“METHODNORMAL”的前提下，“POOLYES”意味着假定各总体的协方差矩阵相等，而用各训练样本的样本协方差矩阵联合估计公共的协方差矩阵，这时建立的判别函数是线性的；若假定“ POOLNO”，则意味着假定各总体的协方差矩阵不等

13、而建立二次判别函数； “ POOLTEST”即要求首先利用修正的Bartlett似然比方法检验各总体的协方差矩阵是否相等，若检验结果在由语句“SLPOOLp”所指定的显著水平p下显著，则建立二次判别函数，否则利用联合协方差矩阵估计建立线性判别函数。对线性判别函数，输出结果中才给出判别函数的系数。 34PROC DISCRIMPROC DISCRIM options; 此语句中，“options”部分可包含下列内容： 3）判别分析方法的选择： SLPOOLp：指定检验协方差矩阵是否相等的显著水平。只有当选择“POOLTEST”时，才可出现此语句，若省去此语句，则SAS系统默认p0.10。35PR

14、OC DISCRIMPROC DISCRIM options; 此语句中，“options”部分可包含下列内容： 4）回判结果输出选择： LIST：打印出每个样品的回判结果； LISTERR：仅打印出回判中判错的样本信息； NOCLASSIFY：不需要对训练样本数据作回判分析。36PROC DISCRIMPROC DISCRIM options; 此语句中，“options”部分可包含下列内容： 5）交叉确认法回判结果的输出选择： 当下列语句出现时，则交叉确认法被使用对训练样本作出回判分析。 CROSSVALIDATE：要求对训练样本数据集进行交叉确认回判分析； CROSSLISTERR：仅打

15、印出使用交叉确认法判别而判错的样本信息； CROSSLIST：打印出每个样品的交叉确认法回判分析结果。37PROC DISCRIMPROC DISCRIM options; 此语句中，“options”部分可包含下列内容： 6）检验数据集判别结果的输出选择： TESTLIST：列出对检验数据集的判别结果； TESTLISTERR：仅列出对检验数据集中判错的样品信息。 38PROC DISCRIMPROC DISCRIM options; 此语句中，“options”部分可包含下列内容： 7）控制打印结果 WCORR（WCOV）：打印各总体的训练样本相关（协方差）矩阵； PCORR（PCOV）：

16、打印由各总体的样本相关矩阵所得的联合相关（协方差）矩阵估计； ALL：打印出所有的相关结果； SHORT：只打印一些主要结果。39PROC DISCRIMCLASS variable； 其中的“variable”即描述各类别的变量名称。该变量可以是数值化变量、也可以是非数值变量。该语句是进行判别分析所必需的语句。VAR variable； 其中的“variable”即列出参与分析的描述各种样品特征的变量名称，省略时即数据集中所有的数值变量。 40PROC DISCRIMPRIORS probabilities； 此语句的功能即指出总体的先验概率分布。其中的“probabilities”应是下列

17、三种选择之一： EQUAL：即各总体的先验概率相等； PROPORTIONAL（或PROP）：即各总体的先验概率与各总体的训练样本容量成比例。 41PROC DISCRIMPRIORS probabilities； 具体指定各总体的先验概率： a.若描述各总体类别的变量（即“CLASS variable”中的变量）是非数值变量，则在各类取值后给出先验概率并用等号连起来。 例：描述各总体类别的变量“GRADE”取A，B，C，D四个值，各总体先验概率分布为0.1， 0.3，0.5和0.1，则 PRIORS A0.1 B0.3 C0.5 D0.1； 42PROC DISCRIMPRIORS prob

18、abilities； 具体指定各总体的先验概率： b.若描述各总体类别的变量是数值化变量或是小写字母，这时要将这些值用“”引起来写在上式等号前。 PRIORS 1=0.1 PRIORS a=0.1 注：1 若指定的先验概率之和非1，SAS会自动用其和除各值而是概率之和为1； 2 “EQUAL”是SAS系统默认的形式。43PROC DISCRIMTESTCLASS variable; 其中“variable”是描述检验数据集中的各总体类别的变量名，它可以和原训练样本数据集中类别变量相同，也可以不同，但二者必须是同类型的（即同为数值或非数值变量）。若变量采用格式化输入，则二者的输入格式也应相同。4

19、4例 5.1某气象站预报某地区有无春旱的观测资料中，x1与x2是与气象有关的综合预报因子。数据包括发生春旱的6个年份的x1，x2观测值和无春旱的8个年份的相应观测值。试建立距离判别函数并估计误判率。G1：春旱G2：无春旱序号X1X2序号X1X2124.8-2.0122.1-0.7224.7-2.4221.6-1.4326.6-3.0322.0-0.8423.5-1.9422.8-1.6525.5-2.1522.7-1.5627.4-3.1621.5-1.0722.1-1.2821.4-1.345例 5.1data chunhan;input y$ x1 x2;cards;y1 24.8 -2.

20、0y1 24.7 -2.4y1 26.6 -3.0y1 23.5 -1.9y1 25.5 -2.1y1 27.4 -3.1y2 22.1 -0.7y2 21.6 -1.4y2 22.0 -0.8y2 22.8 -1.6y2 22.7 -1.5y2 21.5 -1.0y2 22.1 -1.2y2 21.4 -1.3;proc discrim data=chunhan out=a1 outstat=a2 outcross=a3 list all;class y;var x1 x2;run;464748495051例 5.21991年全国各省、区、市城镇居民月平均消费情况如表。120号省份为第一类，

21、记为G1；2127号省份为第二类，记为G2。考察下列指标，试判别西藏、上海、广东应属于哪一类。 X1：人均粮食支出（元/人）； X2：人均副食支出（元/人）； X3：人均烟酒茶支出（元/人）； X4：人均其他副食支出（元/人）； X5：人均衣着商品支出（元/人）； X6：人均日用品支出（元/人）； X7：人均燃料支出（元/人）； X8：人均非商品支出（元/人）；52例 5.2data pjxf;input y $ x1-x8;cards;y1 8.35 23.53 7.51 8.62 17.42 10.00 1.04 11.21y2 7.78 48.44 8.00 20.51 22.12 15

22、.73 1.15 16.61;data pjxf1;input x1-x8;cards;7.94 39.65 20.97 20.82 22.52 12.41 1.75 7.908.28 64.34 8.00 22.22 20.06 15.12 0.72 22.8912.47 76.39 5.52 11.24 14.52 22.00 5.46 25.50;proc discrim data=pjxf testdata=pjxf1 out=a1 outstat=a2 outcross=a3 testout=a4 method=normal list all crosslist testlist;c

23、lass y;var x1-x8;priors proportional;run;535455565758多个总体的距离判别设有 个总体 ，均值向量分别为 协方差矩阵分别为 。类似两总体距离判别方法，计算新样品 到各总体的马氏距离，比较这 个距离，判定 属于其马氏距离最短的总体。 若最短距离在不只一个总体达到，则可将 判归具有最短距离总体的任一个。59多个总体的距离判别总体协方差矩阵相等： 任意取两个总体 ， ，考察 到 和 的马氏距离的平方差： 其中60多个总体的距离判别总体协方差矩阵相等： 易见 这样，得到多总体在总体协方差矩阵相等时的距离判别准则：若总体 满足 则判定 。 注：若多于一个

24、 使上式成立，则可判定 属于满足上述等式的任何一个 。61多个总体的距离判别总体协方差矩阵相等： 当总体均值向量 及公共协方差矩阵 未知时，可利用各总体的训练样本作估计。设 是来自总体 的训练样本， 记 62多个总体的距离判别总体协方差矩阵相等： 则 是 的无偏估计，又 的一个无偏估计为 以 （即 ），S（即 ）分别代 ， ，得相应的 的估计为 其中 63多个总体的距离判别总体协方差矩阵相等： 这样，多总体的距离判别准则为：若总体 满足 则判定 。64多个总体的距离判别总体协方差矩阵 不全相等 计算 至各总体 的马氏平方距离： 记 是二次判别函数，得到下列多总体距离判别法则： 若总体 满足 则

25、判定 。65多个总体的距离判别总体协方差矩阵 不全相等 若 ， ， 未知，可用它的估计 ， 代替，得到二次判别函数 的估计为 对于多总体的距离判别，也可同两个总体的情况一样，做出误判率的回代估计及交叉确认估计。66例 5.31991年全国各省、区、市城镇居民月平均收入情况见表。111号省份为第一类G1；1222号省份为第二类G2；2328号省份为第三类G3。考察下列指标： X1 人均生活费收入（元/人）； X2 人均全民所有制职工工资（元/人）； X3 人均来源于全民标准工资（元/人）； X4 人均集体所有制工资（元/人）； X5 人均集体职工标准工资（元/人）； X6 人均各种奖金及超额工资

26、（元/人）； X7 人均各种津贴（元/人）； X8 职工人均从工作单位得到的其他收入（元/人）； X9 个体劳动者收入（元/人）； 67例 5.3判定广东、西藏两省区属于哪种收入类型，并用回代法及交叉确认法对误判率作出估计。6869例 5.3data yuejunshouru1;input x1-x8;cards;211.30 114.0 41.44 33.2 11.2 48.72 30.77 14.9 11.1175.93 163.8 57.89 4.22 3.37 17.81 82.32 15.7 0.00;proc discrim data=yuejunshouru testdata=y

27、uejunshouru1 out=a1 outstat=a2 outcross=a3testout=a4 method=normal list all crosslist testlist;class y;var x1-x8;run;7071727374Bayes判别的基本思想基本思想：假定对所研究的对象(总体)在抽样前已有一定的认识，常用先验分布来描述这种认识，然后基于抽取的样本对先验知识作修正，得到后验分布。根据后验分布，得到判别规则，这就是Bayes判别。Bayes判别时，要考虑误判引起的损失(具体见后面内容)。75Bayes判别的例子一个Bayes判别的例子研究对象：西门子手机的质量问

28、题 先验分布(知识)：西门子手机质量好的占多 抽样：2003年西门子手机质量调查表 根据抽样和先验分布，得到后验分布。 根据后验分布，可以判别2004年10月西门子生产的手机的质量好坏。76两个总体的Bayes判别 (I)一般讨论：假设两个p元总体 . 它们分别具有概率密度函数 . 设 出现的先验概率为其中 . 注：p元总体指的是该总体的对象具有p个属性，表示为 ，它的取值范围是77两个总体的Bayes判别 (II)一个判别准则实质上是对空间 的一个划分，记为 与 ，并满足下列条件：例如，在两个总体的距离判别中，当 时，判 来自 当 是，判 来自 78两个总体的Bayes判别(III) 的划分

29、记为 . 它相当于一个判别准则R. 在判别准则R下，将来自 的样品误认为 的概率是而将来自G2的样品误认为G1的概率是设将 误判为 的损失是 ，而将 误判为 的损失是 . Bayes判别即寻求 ，使得平均误判损失达到最小。 79两个总体的Bayes判别(IV)先考虑 . 下面总假定 .当得到新样品 后，由Bayes公式得总体 的后验概率是 80两个总体的Bayes判别(V)我们证明：当 时，两总体Bayes判别的一个最优划分是该划分对应了两个总体的Bayes判别准则：这时，最优划分 使得平均误判概率 达到最小。81两个总体的Bayes判别(VI)证明如下：设 ，则平均误判损失为 . 因此， 使

30、 达到最小等价于使 达到最小，而这里用到82显然，若取 ，则可使 达到最小，这时 .再由后验概率表达式(5.29)，得到两个总体的Bayes准则如式(5.31)所示。证毕。上面考虑的是两个总体误判代价相等的情况，现在考虑当 时的情况。对于 而言，错判造成的平均损失是两个总体的Bayes判别(VII)83两个总体的Bayes判别(VIII)对于 而言，误判造成的平均损失是因此，关于先验分布 ，误判造成的平均损失是仿上可证，Bayes判别(即使 达到最小)的最优划分是：84两个总体的Bayes判别(IX)或当 时，有当 时，有85两个正态总体的Bayes判别(I)前面讨论了具有一般分布的两个总体的

31、Bayes判别，下面重点讨论两个正态总体的Bayes判别。先讨论 的情况。(1)设总体 的协方差矩阵相等且为 ，其概率密度则 86两个正态总体的Bayes判别(II)这时记 ，其中 ，其中得到其中 都是线性判别函数。87两个正态总体的Bayes判别(III)这样，就得到了两个正态总体( 时 )的Bayes判别规则为：当 及 未知时，分别由 的训练样本算得的均值 及 来代替，线性判别函数为 88两个正态总体的Bayes判别(IV)再考察后验概率 . 因又其中 称为广义平方距离函数，可得89两个正态总体的Bayes判别(V)当 及 未知时，分别由 的训练样本算得的均值 及 来估计，得后验概率的估计

32、这时，Bayes判别规则为90两个正态总体的Bayes判别(VI)(2)这时，总体 的协方差矩阵分别为 ，其概率密度为则91两个正态总体的Bayes判别(VII)类似前面的推导过程，易得92两个正态总体的Bayes判别(VIII)记广义平方距离函数为的最优划分为又后验概率为93两个正态总体的Bayes判别(IX)当 及 未知时，分别由 的训练样本算得的均值 及 来估计，得这时，Bayes判别规则为94两个正态总体的Bayes判别(X)通过上面的分析，我们看到当 时，若则两正态总体的Bayes判别与两总体的距离判别是等价的。而当 时，两个正态总体的Bayes判别与距离判别是不一样的。在Bayes

33、判别中，判别函数是而在距离判别中，判别函数是因为距离判别函数只依赖总体均值向量 及总体协方差矩阵 ，而对总体的分布没有假定，因此距离判别方法有其独立存在的意义。95两个正态总体的Bayes判别(XI)前面讨论了 时两个正态总体在协方差相等和不相等两种情况下的Bayes判别。下面我们讨论 时的情况，这时其中96又而当 时，可得而 , 其中 , 其中两个正态总体的Bayes判别(XII)97误判率的计算（1）关于误判率的计算，是一个相当困难的问题。我们仅就两个正态总体 的协方差矩阵相等的情况加以讨论。设 ，类似于两个总体距离判别的讨论，这时，最优划分也可以用一个线性判别函数 表示，即其中而 98误

34、判率的计算（2）误判概率 记 则 是总体 的马氏平方距离。若 是来自 元正态总体的样品，则随机变量 也服从正态分布。当 来自总体 时，其均值 99误判率的计算（3）而其方差 以上推导表明：若 来自 ，则 类似可得，若 来自 ，则100误判率的计算（4）对划分 ，将来自 的样品 误判为来自 的概率为 其中 是标准正态分布函数。101误判率的计算（5）类似地，有 对于最优划分 ，平均误判概率是102误判率的计算（6）其中 因此，当总体 的马氏平方距离越大时，即两总体的分离程度越大时，平均误判概率越小。当 及 未知时，分别以 及 估计，得 的估计： 以 替代 ，计算平均误判概率。103误判率的计算（

35、7）关于先验概率通常用下列两种方法： 。采用误判率的回代估计， 的一个 粗略估计是 ， 的一个粗略估计是 ，此 时，平均误判概率的一个粗略估计为104误判率的计算（8） 按训练样本的容量 的比例选取，即 这时，平均误判概率的一个粗略估计（误判率的回代估计）为105例5.4下面的例题都假设损失对例5.1的数据，假定 ，又先验概率按比例分配，即 进行两总体的Bayes判别。106107108109110例 5.5对例5.2的数据，先验概率采用按比例分配，即 （1）在 的假定下进行Bayes判别，并用交叉确认法对误判率进行估计； （2）对待判样品西藏、上海、广东进行Bayes判别。111112113114115116117118多个总体的Bayes判别一般讨论 设有 个总体 ， 的概率密度为 ， 各总体出现的先验概率 满足 。119多个总体的Bayes判别一般讨论一个判别准则实质上是对