多元统计分析第4章作业题选讲

第4章判别分析）,4.1判别分析和聚类分析有何区别？,答：判别分析是根据一定的判别准则，判定一个样本归属于哪一类。具体而言，设有n个样本，对每个样本测得p项指标（变量）的数据，已知每个样本属于k个类别（或总体）中的某一类，通过找出一个最优的划分，使得不同类别的样本尽可能地区别开，并判别该样本属于哪个总体。聚类分析是分析如何对样品（或变量）进行量化分类的问题。在聚类之前，我们并不知道总体，而是通过一次次的聚类，使相近的样品（或变量）聚合形成总体。通俗来讲，判别分析是在已知有多少类及是什么类的情况下进行分类，而聚类分析是在不知道类的情况下进行分类。,第4章判别分析）,4.2简述距离判别法的基本思想和方法。,答：距离判别的基本思想是计算样品与各个总体之间的距离（通常是马氏距离），把样品判别为样品到总体距离最小的总体。距离判别问题分为两个总体的距离判别问题和多个总体的距离判别问题。两个总体的距离判别问题设有协方差矩阵相等的两个总体G1和G2，其均值分别是1和2，对于一个新的样品X，要判断它来自哪个总体。计算新样品X到两个总体的马氏距离d2（X，G1）和d2（X，G2），则,令，其中，则上述判别规则可简化为：,多个总体的距离判别问题,设有k个组1,2,k，它们的均值分别是1,2,k，协方差矩阵分别是1(0),2(0),k(0)，x到总体i的平方马氏距离为判别规则为若1=2=k=，则上述判别规则可作进一步简化。d2(x,i)=(xi)1(xi)=x1x2i1x+i1i=x1x2(Iix+ci)其中，判别规则简化为,1,2,k不全相等的情形,4.3简述贝叶斯判别法的基本思想和方法。,进行贝叶斯判别，通常有两大准则，一是依据后验概率最大准则；二是依据平均误判损失最小准则；同时要求已知：（1）总体的概率密度函数；（2）各总体出现的先验概率；（3）各误判损失。,将本来属于总体的样品错判到总体时造成的损失为，。,1.最大后验概率准则,x属于总体Gi的后验概率为最大后验概率准则采用如下的判别规则：,2.平均误判损失最小准则,使ECM达到最小的判别规则：,4.4简述费希尔判别法的基本思想和方法。,费希尔判别的基本思想是投影（或降维）：用p维向量的少数几个线性组合（称为判别式或典型变量）（一般r明显小于p）来代替原始的p个变量x1,x2,xp，以达到降维的目的，并根据这r个判别式y1,y2,yr对样品的归属作出判别。特别地，可对前两个或前三个判别式作图，从直观的几何图形上区别各总体。,（1）判别式的求法,第一步计算样本组间离差阵和组内离差阵,第二步求特征值和特征向量,求矩阵E1B（或B1E）的特征值和对应的单位特征向量。设全部非零特征值依次为12s0，其中，非零特征值个数：smin(k1,p)相应的特征向量依次记为t1,t2,ts（标准化为tiSpti=1,i=1,2,s），称y1=t1x为第一判别式，y2=t2x为第二判别式。一般地，称yi=tix为第i判别式，i=1,2,s。由smin(k1,p)知，组数k=2时只有一个判别式，k=3时最多只有两个判别式，判别式的个数不可能超过原始变量的个数p。,第三步写出判别式,第一判别式：y1=t1x；第二判别式：y2=t2x；一般地，第i判别式：yi=tix，i=1,2,s。,（2）判别规则,选取前r(s)个判别式y1,y2,yr，使累计贡献率：达到了一个较高的比例(如75%95%)，则可采用这r个判别式做判别。判别规则为：其中，i=1,2,k。该判别规则也可表达为：,4.6设有两个二元总体G1和G2，从中分别抽取样本计算得到样本均值：样本协方差阵：假设两总体协方差矩阵相等，试用距离判别法建立判别函数和判别规则。并判别样品应属于哪个总体？,4.5试析距离判别法、贝叶斯判别法和费希尔判别法的异同。（略）,解：由已知可得，,4.7设有两正态总体G1和G2，且已知总体均值向量和总体协方差阵分别