判别分析论文

1、判别分析论文学校：南通大学学院：杏林学院学科：多元统计分析班级：金融统计101学号：1002103008姓名：陈昕昕指导老师：于长俊判别分析摘要：判别分析是判别样品所属类型的一种统计方法，其应用之广可与回归分析媲美.本文通过介绍判别分析的概念和应用领域，对其进行分类，并对其中的某些方法进行具体介绍，如距离判别法和费希尔判别法，然后应用某些常见的判别分析方法解决实际问题.关键词：判别分析；概念；应用领域；距离判别法；费希尔判别；实际问题TheapplicationofdiscriminateanalysisAbstract:Thediscriminateanalysisisakindofstat

2、isticalmethodthatdistinguishesthetypethatsamplebelongsto,itisappliedwidelywhichcanmatchwithregressionanalysisinexcellence.Inthispaper,introducetheconceptandapplicationfieldofdiscriminateanalysis,andthendosomeclassificationsaccordingtoit.Thenweintroducesomekindsofdiscriminateanalysis,suchasdiscrimina

3、teanalysisbydistanceandFisher'sdiscriminateanalysis.Atlast,wesolvetwopraticalproblemes,bymethodofdiscriminateanalysisbydistanceorFisher'sdiscriminateanalysis.Keywords:discriminateanalysis;concept;applicationfield;discriminateanalysisbydistance;Fisher'sdiscriminateanalysis；praticalproblem

4、es目录一、引言41.1 什么是判别分析41.2 判别分析的方法41.3 判别分析的统计背景4.、距离判别法61 什么是距离判别法.61 马氏距离61.3 概念61.3 定义61.3 马氏距离的优缺点.71 距离判别法白基本思想71 距离判别法的判别函数和判别准则7三、贝叶斯判别法8什么是贝叶斯判别法8贝叶斯判别法的基本思想.8贝叶斯判别法的准则8贝叶斯判别法的分类函数8四、Fisher判别法什么是Fisher判别法.9Fisher判别法的基本思想.9Fisher判别法判别函数和判别准则9五、实例分析9六、参考文献14一、引言1.1什么是判别分析判别分析产生于20世纪30年代，是利用已知类别的

5、样本建立判别模型，为未知类别的样本判别的一种统计方法。近年来，判别分析在自然科学、社会学及经济管理学科中都有广泛的应用。判别分析是根据观测到的某些指标对所研究的对象进行分类的一种多元统计分析方法。判别分析的特点是根据已掌握的、历史上每个类别的若干样本的数据信息，总结出客观事物分类的规律性，建立判别公式和判别准则。当遇到新的样本点时，只要根据总结出来的判别公式和判别准则，就能判别该样本点所属的类别。判别分析按照判别的组数来区分，可以分为两组判别分析和多组判别分析。.2判别分析的方法判别分析(DiscriminatoryAnalysis)的任务是根据已掌握的1批分类明确的样品，建立较好的判别函数，

6、使产生错判的事例最少，进而对给定的1个新样品，判断它来自哪个总体。根据资料的性质，分为定性资料的判别分析和定量资料的判别分析；采用不同的判别准则，又有距离、贝叶斯、费歇等判别方法。距离判别思想是根据各样品与各母体之间的距离远近作出判别。即根据资料建立关于各母体的距离判别函数式，将各样品数据逐一代入计算，得出各样品与各母体之间的距离值，判样品属于距离值最小的那个母体。贝叶斯(BAYES判别思想是根据先验概率求出后验概率,并依据后验概率分布作出统计推断。所谓先验卞S率，就是用概率来描述人们事先对所研究的对象的认识的程度；所谓后验概率，就是根据具体资料、先验概率、特定的判别规则所计算出来的概率。它是

7、对先验概率修正后的结果。费歇(FISHER判别思想是投影，使多维问题简化为一维问题来处理。选择一个适当的投影轴，使所有的样品点都投影到这个轴上得到一个投影值。对这个投影轴的方向的要求是：使每一类内的投影值所形成的类内离差尽可能小，而不同类间的投影值所形成的类间离差尽可能大。1.3判别分析的统计背景判别分析的方法有参数方法和非参数方法。参数方法假定每个类的观测来自(多元)正态分布总体，各类的分布的均值(中心)可以不同。非参数方法不要求知道各类所来自总体的分布，它对每一类使用非参数方法估计该类的分布密度，然后据此建立判别规则。记X为用来建立判别规则的P维随机变量，S为合并协方差阵估计，t=1,G为

8、组的下标，共有G个组。记n为第t组中训练样本的个数，m_t为第t组的自变量土MS向量，S为第t组的协方差阵，|S|为S的行列式，qt为第t组出现的先验概率，p(t|x)为自变量为x的观测属于第t组的后验概率，G£价人(工)ft(x)为第t组的分布密度在X=x处的值，f(x)为非条件密度f=l。按照Bayes理论，自变量为x的观测属于第t组的后当概率p(t|x)=qtft(x)/f(x)o于是，可以把自变量X的取值空间RAP划分为G个区域R,t=1,.,G,使得当X的取值x属于R_t时后验概率在第t组最大，即建立的判别规则为：计算自变量x到每一个组中心的广义平方距离，并把x判入最近的类

9、。广义平方距离的计算可能使用合并的协方差阵估计或者单独的协方差阵估计，并与先验概率有关，定义为=d+gi+g式t)其中d；=(£-mVrx-mf)小_Jln|S(|采用单类的协方差降估计外一、。采用合并协力差阵估计加中各类先验概率相等俄一10各类先验概率不等M=S(使用单个类的协方差阵估计)或V=S(使用合并的协方差阵估计)。m可以用第t组的均值overlineX_t代替。在使用合并协方差阵时，算)'sT(m_刘)_2hlqt=/S-1r+(yS-1X-2In9()-2t5-1X其中x'S-1x是共同的可以不考虑，于是在比较x到各组中心的广义平方距离时，只要计算线性判

10、别函数。“0=+xS-1A7«2'，当x到第t组的线性判别函数最大时把x对应观测判入第t组。在如果使用单个类的协方差阵估计M=S则距离函数是x的二次函数，称为二次判别函数。后验概率可以用广义距离表示为6-/圮P")二品，因此，参数方法的判别规则为：先决定是使用合并协方差阵还是单个类的协方差阵，计算x到各组的广义距离，把x判入最近的组；或者计算x属于各组的后验概率，把x判入后验概率最大的组。如果x的最大的后验概率都很小(小于一个给定的界限)，则把它判入其它组。非参数判别方法仍使用Bayes后验概率密度的大小来进行判别，但这时第t组在x处的密度值ft(x)不再具有参数形

11、式，不象参数方法那样可以用m和S(或St)表示出来。非参数方法用核方法或最近邻方法来估计概率密度ft(x)0最近邻估计和核估计也都需要定义空间中的距离。除了可以用欧氏距离外，还可以用马氏(Mahalanobis)距离，定义为：dy)=(x-y)其中M为以下形式之一：Vt=S合并协方差阵Vt=diag(S)合并协方差阵的对角阵Vt=5第1组内的协方差阵Vt=diag(S)第t组内的协方差阵的对角阵Vt=I单位阵，这时距离即普通欧氏距离二、距离判别法什么是距离判别法距离判别是以代判样品到各总体的距离远近为判据的一种直观判别方法，也称为直观判别法。马氏距离概念马氏距离是由印度统计学家马哈拉诺比斯(P

12、.C.Mahalanobis)提出的，表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧式距离不同的是它考虑到各种特性之间的联系(例如：一条关于身高的信息会带来一条关于体重的信息，因为两者是有关联的)并且是尺度无关的(scale-invariant),即独立于测量尺度。对于一个均值为小，协方差矩阵为2的多变量向量，其马氏距离为(x-)'2A(-1)(x-a)A(1/2)。定义马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为2的随机变量与的差异程度。如果协方差矩阵为单位矩阵，那么马氏距离就简化为欧式距离。如果协方差矩阵为对角阵，则其也可称为正规化的欧氏距离。

13、其中i是xi的标准差.马氏距离的优缺点优点：它不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关；由标准化数据和中心化数据（即原始数据与均值之差）计算出的二点之间的马氏距离相同。马氏距离还可以排除变量之间的相关性的干扰。缺点：它的缺点是夸大了变化微小的变量的作用。如果用dij表示第i个样品和第j个样品之间的距离，那么对一切i,j和k,dij应该满足如下四个条件：当且仅当i=j时，dij=0dij>0dij=dji（对称性）dij<dik+dkj（三角不等式）缺点：1）马氏距离的计算是建立在总体样本的基础上的，这一点可以从上述协方差矩阵的解释中可以得出，也就是说，如果拿同样的

14、两个样本，放入两个不同的总体中，最后计算得出的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；2）在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。3）还有一种情况，满足了条件总体样本数大于样本的维数，但是协方差矩阵的逆矩阵仍然不存在，比如三个样本点（3,4）,（5,6）和（7,8）,这种情况是因为这三个样本在其所处的二维空间平面内共线。这种情况下，也采用欧式距离计算。4）在实际应用中“总体样本数大于样本的维数”这个条件是很容易满足的，而所有样本点出现3）中所描述的情况是很少出现的，所以在绝大多

15、数情况下，马氏距离是可以顺利计算的，但是马氏距离的计算是不稳定的，不稳定的来源是协方差矩阵，这也是马氏距离与欧式距离的最大差异之处。距离判别的基本思想距离判别法的基本思想是，先根据已知分类的数据，分别计算各类的重心，然后计算待判样本与各类的距离，与哪一类距离最近，就判待判样本x属于哪一类。距离判别的判别函数和判别准则判别函数为：刈刈=D（x,G）-D（x,G）判别准则为：'''1xWGf2,Wx）<0W(x)三、贝叶斯判别法什么是贝叶斯判别法贝叶斯判别是根据最小风险代价判决或最大似然比判决，是根据贝叶斯准则进行判别分析的一种多元统计分析法。贝叶斯判别法的基本思想贝

16、叶斯判别法的基本思想是：设有两个总体，它们的先验概率分别为qi、q2,各总体的密度函数为fi(x)、f2(x),在观测到一个样本x的情况下，可用贝叶斯公式计算它来自第k个总体的后验概率为：P(C,/x)=纵力(工)一种常用判别准则是：对于待判样本x,如果在所有的P(G/x)中P(G/x)是最大的，则判定x属于第h总体。通常会以样本的频率作为各总体的先验概率。贝叶斯判别法的准则设有定义明确的g个总体冗1,冗2,，Ttg,分别为X1,X2，,Xp的多元正态分布。对于任何一个个体，若已知p个变量的观察值，要求判断该个体最可能属于哪一个总体。如果我们制订了一个判别分类规则，难免会发生错分现象。把实属第

17、i类的个体错分到第j类的概率记为P(j|i),这种错分造成的损失记为C(j|i)。Bayes判别准则就是平均损失最小的准则。按照这个准则去找一种判别分类的规则，就是Bayes判别。贝叶斯判别法的分类函数Byes准则下判别分析的分类函数形式如下：Y1=C01+C11X1+C21X2+Cp1XpY2=C02+C12X1+C22X2+Cp2XpYg=C0g+C1gX1+C2gX2+CpgXp设有定义明确的g个总体冗1,冗2,，Ttg,分别为X1,X2，,Xp的多元正态分布。对于任何一个个体，若已知p个变量的观察值，要求判断该个体最可能属于哪一个总体。如果我们制订了一个判别分类规则，难免会发生错分现象

18、。把实属第i类的个体错分到第j类的概率记为P(j|i),这种错分造成的损失记为C(j|i)。Bayes判别准则就是平均损失最小的准则。按照这个准则去找一种判别分类的规则，就是Bayes判别。四、Fisher判别法什么是Fisher判别法Fisher判别是一种先进行高维向低位投影，再根据距离判别的一种方法。借助方差分析的思想构造判别函数（相当于一种投影），使组间区别最大、组内离差最小，然后代入新样本数据，将其与判别临界值比较以确定应判为至哪一总体。Fisher判别法的基本思想Fisher判别法的基本思想是通过将多维数据投影至某个方向上，投影的原则是将总体与总体之间尽可能分开，然后再选择合适的判别

19、规则，将待判的样本进行分类判别。所谓的投影实际上是利用方差分析的思想构造也一个或几个超平面，使得两组间的差别最大，每组内的差别最小。Fisher判别函数和判别准则判别函数：1y=（西-电）£x判别准则：2yGi,yi>y2,y>V。'.,yi>y2,y<y。'.,yi<y2,y>y。;二ryi<y2,y<y。将两类均值及待判样本x的各项指标代入判别函数可求得三个函数值yi,y2,y,一般将yi,y2的加权平均值y。五、实例分析从胃癌患者、萎缩性胃炎患者和非胃炎患者中分别抽取五个病人进行四项生化指标的化验：血清铜蛋白（xi

20、）、蓝色反应（x2）、尿呻噪乙酸（x3）和中性硫化物（x4）,数据见下表:IABcDEF1类别病人序号si箕2s3x42122813420113224513410404胃癌患者320016712275n417015078651001672014712251257148121301006129萎缩性胃炎思者315011776Ro41201331026Ln51601005101121185115519ns217012564国非胃炎患者316514253413510821216510011772进行判别分析得：利用spss来进行分析，有以下过程:StandardizedCanonicalDiscri

21、minantFunctionCoefficientsFunction12x1.453-.175x2.596-.811x3.662.600x4.299.6081、判别函数系数：CanonicalDiscriminantFunctionCoefficientsFunction12x1.010-.004x2.040-.055x3.176.160x4.031.062(Constant)-8.7845.448UnstandardizedcoefficientsCanonicalDiscriminantFunctionCoefficientsFunction12x1.010-.004x2.040-.055

22、x3.176.160x4.031.062(Constant)-8.7845.448由上表可知，两个费希尔判别函数分别为：Y1=-8.748+0.010x1+0.040x2+0.176x3+0.031x4Y2=5.448-0.004x1-0.055x2+0.160x3+0.062x4实际上两个函数式计算的是各观测值在各个维度上的坐标，这样就可以通过这两个函数式计算出各样品观测值的具体空间位置。2、组重心处的费希尔判别函数值：FunctionsatGroupCentroidsy1Function121232.199-.936-1.263-.049.522-.472Unstandardizedcan

23、onicaldiscriminantfunctionsevaluatedatgroupmeans如上表所示，实际上为各类别重心在空间中的坐标位置。这样，只要在前面计算出各观测值的具体坐标位置后，再计算处他们分别离各重心的距离，就可以得知他们的分类了。3、贝叶斯判别法的输出结果：ClassificationFunctionCoefficientsy1123x30x2.753.595.637x3.778.317.100x4.073.012-.059(Constant)-79.212-46.721-49.598Fisher'slineardiscriminantfunc

24、tions如上表所示，GROUP栏中的每一列表示样品判入相应列的贝叶斯判别函数系数。在本例中，各类贝叶斯判别函数如下：第一组：F1=-79.212+0.164x1+0.753x2+0.778x3+0.073x4第二组：F2=-46.721+0.130x1+0.595x2+0.317x3+0.012x4第三组：F3=-49.598+0.130x1+0.637x2+0.100x3-0.059x4将各样品的自变量带入上述三个贝叶斯判别函数，得到三个函数值。比较这三个函数值，哪个函数值比较大就可以判断该样品判入哪一类。例如，将第一个待判样品的自变量分别带入函数，得到：F1=3799.78F2=3588

25、.27F3=3889.21比较三个值，可以看出F3=3889.21最大，据此得出第一个待判样品应该属于第三组。4、个案观察结果表：CasewiseStatisticsCaseNumberActualGroupHighestGroupPredictedGroupP(D>dG=g)P(G=g|D=d)SquaredMahalanobisDistancetoCentroidpdfOriginal111.4292.9981.693211.4192.9771.739311.5752.9991.10741*3.1002.5784.597511.7882.999.475622.4022.4571.82

26、0722.4382.7001.65082*3.9032.518.205922.4162.6621.7541022.5652.6161.142113*2.9912.616.0171233.8692.681.2801333.2362.8392.8841433.4632.5871.5401533.8112.583.419CasewiseStatisticsCaseNumberActualGroupHighestGroupPredictedGroupP(D>d|G=g)P(G=g|D=d)SquaredMahalanobisDistancetoCentroidpdfOriginal111.429

27、2.9981.693211.4192.9771.739311.5752.9991.10741*3.1002.5784.597511.7882.999.475622.4022.4571.820722.4382.7001.65082*3.9032.518.205922.4162.6621.7541022.5652.6161.142113*2.9912.616.0171233.8692.681.2801333.2362.8392.8841433.4632.5871.5401533.8112.583.419*.Misclassifiedcase在上表中针对每个样品给出了大部分的判别结果。5、由于我们在save?对话框中选择生成了表示判别结果的新变量，所以在数据编辑窗口中，可以观察到产生的新变量。其中，变量dis-1存放判别样品所属组别的值，变量dis1-1和dis2-1分别代表将样品值带入第一个和第二个判别函数所得的判别分数，变量dis1-2、dis2-2和dis3-2分别代表样品分别属于第一组、第二组和第三组的贝叶斯后验概率值。*UntitledlDataSetOSPSSDataEditorI口I回I火EditViewDataTransformAnalyzeGraphsUti