多元统计分析方法

1、多元统计分析概述目录一、引言3二、多元统计分析方法的研究对象和主要容31. 多元统计分析方法的研究对象3多元统计分析方法的主要容3三、各种多元统计分析方法31. 回归分析32. 判别分析63. 聚类分析84. 主成分分析105. 因子分析106. 对应分析方法11典型相关分析11四、多元统计分析方法的一般步骤12五、多元统计分析方法在各个白然领域中的应用12六、总结13参考文献1415一、引言统计分布是用来刻画随机变量特征及规律的重要手段，是进行统计分布的基础和提高。多元统计分析方法则是建立在多元统计分布基础上的一类处理多元统计数据方法的总称，是统计学中的具有丰富理论成果和众多应用方法的重要分

2、支。在本文中，我们将对多元统计分析方法做一个大体的描述，并通过一部分实例来进一步了解多元统计分析方法的具体实现过程。二、多元统计分析方法的研究对象和主要容（一）多元统计分析方法的研究对象由于大量实际问题都涉及到多个变量，这些变量乂是随机变量，所以要讨论多个随机变量的统计规律性。多元统计分析就是讨论多个随机变量理论和统计方法的总称。其容包括一元统计学中某些方法的直接推广，也包括多个随即便量特有的一些问题，多元统计分析是一类围很广的理论和方法。现实生活中，受多个随机变量共同作用和影响的现象大量存在。统计分析中，有两种方法可同时对多个随机变量的观测数据进行有效的分析和研究。一种方法是把多个随机变量分

3、开分析，一次处理一个随机变量，分别进行研究。但是，这样处理忽略了变量之间可能存在的相关性，因此，一般丢失的信息太多，分析的结果不能客观全面的反映整个问题，而且往往也不容易取得好的研究结论。另一种方法是同时对多个随机变量进行研究分析，此即多元统计方法。通过对多个随即便量观测数据的分析，来研究随机变量总的特征、规律以及随机变量之间的相互关系。所以，多元统计分析是研究多个随机变量之间相互依赖关系及在统计规律的一门统计学科。（二）多元统计分析方法的主要容近年来，随着统计理论研究的不断深入，多元统计分析方法的容一直在丰富。其中，主要容包括多元正态总体参数估计、假设检验和常用的多元统计方法。多元正态总体参

4、数估计、假设检验是多元统计推断的核心和基础，而常用的多元统计分析方法则是具体应用。从形式上，常用多元统计分析方法可划分为两类：一类届于单变量常用的统计方法在多元随机变量情况下的推广和应用,如多元回归分析，典型相关分析等；另一类是对多元变量本身进行研究所形成的一些特殊方法。如主成分分析，因子分析，聚类分析，判别分析，对应分析等。三、各种多元统计分析方法具体来说，常用的多元统计分析方法主要包括：多元回归分析、聚类分析、判别分析、主成分分析、因子分析、对应分析、典型相关分析等。下面我们对各种多元统计分析方法就行分别描述，（一）回归分析回归分析是最灵活最常用的统计分析方法之一，它用于分析一个因变量与一

5、个或多个自变量之间的关系。特别是用于：定量的描述和解释相互关系；估测或预测因变量的值。回归分析方法是在众多的相关变量中，根据实际问题考察其中一个或多个变量与其余变量的依赖关系。如果只要考察一个变量与其余多个变量之间的相互依赖关系，我们称为多元回归问题。若要同时考察多个因变量与多个自变量之间的相互依赖关系，我们称为多因变量的多元回归问题。多元回归分析是研究因变量Y与m个自变量为，X2,xm的相关关系,而且总是假设因变量Y为随机变量，而x1,x2，:xm为一般变量。下面我们来看一下多元线性回归模型的建立。假定因变量Y与为，x2,xm线性相关。收集到的n组数据(yt,xti,xt2,L,xtm)(t

6、=1,2,n)满足以下回归模型：Yt°1xt1"+mxtmt(t1,2,L,n)E(t)0,Var(t)2,Cov(j,j)0(ij)或tN(0,2),相互独立(t=1,2,Ln).C=MxnKOxmM(1nMX)xn1LMYn则所建回归模型的矩阵形式为E()0n,D()Nn(0,2In),并称它们为经典多元回归模型，其中Y是可观测的随机向量，是不可观测的随机向量，C是已知矩阵，,2是未知参数，并设n>m，且rank(C)=m+1。在经典回归分析中，我们讨论模型中参数(0,1,L,m)和2的估计和检验问题。近代回归分析中讨论变量筛选、估计的改进，以及对模型中的一些假设

7、进行诊断等I可题。我国国生产总值与基本建设投资额的大小有密切关系，研究发现两变量之间存在线性关系。根据省1990-2003年的国生产总值与基本建设投资额数据，研究它们的数量规律性，探讨省基本建设投资额与国生产总值的数量关系，原始数据见下表。年份GDP（亿元）基本建设投资（亿元）1990242.829.041991271.3933.961992317.7939.221993372.2442.891994451.6658.191995553.3562.621996714.18101.421997781.34121.741998869.75157.141999931.98187.492000983.

8、36208.2820011072.51228.6320021161.43263.0620031304.6307.3利用excel进行分析,具体输出以下数据，平方和自由度方差F检验值回归1553189.711553189.7残差59475.667124956.3056313.3765001离差1612665.413复相关系数R=.5333剩余标准差SY=70.48回归方差与剩余方差之比F=313.3各个自变量的t检验值17.70244334t检验的自由度N-P-1=12F检验的自由度第一自由度=1,第二自由度=12各个自变量的偏回归平方和1553189.7各个自变量的偏相关系数0.9813865

9、94由输出结果，得以下结论：回归方程为y=232.70+3.68x1其中，负相关系数为R2=0.9814，说明回归方程拟合优度较高。而回归系数的t=17.7024，查t分布表t°.025（12）2.1788，小于t值，因此回归系数显著。查F分布表，Fo.05（1,12）4.75,由下表知，F=313.3765>4.75,因此回归方程也显著。平方和自由度方差F检验值回归1553189.711553189.7313.3765001残差59475.667124956.3056离差1612665.413（二）判别分析判别分析是多元统计分析中用丁判别样品所届类型的一种统计分析方法，是一种

10、在已知研究对象用某种方法已经分成与若干类的情况下，确定新的样品届丁哪一类的多元统计分析方法。判别方法处理问题时，通常通常要给出用来衡量新样品与各已知组别的接近程度的指数，即判别函数，同时也指定一种判别准则，借以判别新样品的归届。所谓判别准则是用丁衡量新样品与各已知组别接近程度的理论依据和方法准则。常用的有，距离准则、Fisher准则、贝叶斯准则等。距离判别的基本思想是：样品和那个总体距离最近，就判断它届丁哪个总体。距离判别也称直观判别。已知有两个类Gi和G2,比如Gi是设备A生产的产品，G2是设备B生产的同类产品。设备A的产品质量高（如考察指标为耐磨度X），其平均耐磨度=80,反映设备精度的方

11、差反映设备精度的方差i=0.25;设备B的产品质量稍差，其平均耐磨度2=75,；=4。今有一产品X。，测得耐磨度x°=78,试判断该产品是哪一台设备生产的?卜面考虑一种相对丁分散性的距离。记Xo与Gi或G2的相对平均距离为eoo!=i6,0.252,、22(X)2di(X。)或d2(x。)，则有：di(xo)=2d2(x)=(x。)2d2(x0)=2_2堕业=2.25。4.00因为d2（Xo）=1.5<4=di（Xo）,按这种距离准则应判X。为设备B生产的。般的，我们假设总体G1的分布为N（I2），总体G2的分布为N（2),则利用相对距离的定义，可以找出分界点（不妨设<i

12、<def1def1。(x)222X2=79,=81.6667。而按这种距离最近法则的判别法为:为了区分小麦品种的两种不同的分蕖类型，用X1,X2,X3三个指标求其判别函数。经验样品中，第一类取11（主茎型）个样品，第二类（分蕖型）取12个样品，数据如下表所小X1X2X3判别归类X1X2X3判别归类10.713.8012.00111.004.2515.162第20.783.8612.171第21.003.4316.252一31.002.105.701二31.003.7011.402类40.701.705.901类41.003.8012.402(50.301.806.101(51.004.0

13、013.602主60.603.4010.201分61.004.0012.802茎71.003.6010.201蕖71.004.2013.402型80.503.5010.501型81.004.3014.002)90.505.0011.501)91.005.7015.802100.714.0011.251101.004.7020.402111.004.5012.002111.004.6014.002121.004.5614.6020.70913.38739.7746Xi0.984.2714.4842由表计算得(x)2判XG1，当(厂L1(x)2判XG2,当(、2)1(x(2)2(即x2(2)2/(

14、即X或X(x22=(0.8462,3.8287,12.1293)X-X(2)=(-0.2742,-0.882,-4.7096)T,0.56240.18210.8355Lxx=:L+L:XXXX=0.282115.516032.30140.835532.3014126.23741.79780.01690.0076s1-1-21LXX210.01690.13810.03520.00760.03520.01701(X)2(XX)TS1(XX)XX2x10.846221=(0.4425,0.0486,0.0468)x23.82862x312.1295用(X)对经验样本的23个样品进行判别有如下结果：第

15、一类的11个样本中有10个判别为第一类，一个判别为第二类；第二类的12个样品全部判别为第二类，符合率为22/23=96%。例如，第一类第一个样品X=(0.71,3.80,12.00)T,则(X1)=0.6819>0,则X1G1(第一类)。乂如，第一类的第11个样品XT/XC/斧米、11=(1.00,4.50,12.00)(Xu)0.3083<0,X、G2()。将(X)投入使用，可判别小麦品种的分蕖类型，如测得某小麦品种xi1,x23.43,x316.25，则由(X)=-2.9128<。判别该品种为分蕖型。(三) 聚类分析聚类分析是将样品或变量按照它们在性质上的亲疏程度进行分类

16、的多元统计分析方法。聚类分析时，用来描述样品或变量的亲疏程度通常有来两个途径，一是把每个样品或变量看成是多维空间上的一个点，在多维坐标中，定一点与点，类和类之间的距离，用点与点间距离来描述样品或变量之间的亲疏程度：另一个是计算样品或变量的相似系数，用相似系数来描述样品或变量之间的亲届程度。聚类分析是实用多元统计分析的一个新的分支，聚类分析的功能是建立一种分类方法，他将一批样品或变量，按照它们在性质上的亲疏、相似程度进行分类。分类分析的容十分丰富，按其聚类的方法可分为以下几种：系统聚类法：开始每个对象自成一类，然后每次将最相似的两类合并，合并后重新计算新类与其他类的距离或相近性测度。这一过程可用

17、一谱系聚类图描述。(1) 调优法(动态聚类法)：首先对n个对象初步分类，然后根据分类的损失函数尽可能小的原则对其进行调整，直到分类合理为止。最优分割法(有序样品聚类法)：开始将所有样品看做一类，然后根据某种最优准则将它们分割为二类、三类，一直分割到所需的K类为止。这种方法适用丁有序样品的分类问题，也称为有序样品的聚类法。(2) 模糊聚类法：利用模糊集理论来处理分类问题，它对经济领域中具有模糊特征两态数据或多态数据具有明显的分类效果。(3) 图论聚类法：利用图论中最小支撑树的理论来处理分类问题，创造了独具风格的方法。聚类预报法：利用聚类方法处理预报问题，在多元统计分析中，可以用来做预报的方法很多

18、，如回归分析和判别分析。但对一些异常数据，如气象中的灾害性天气的预报，使用回归分析或判别分析处理的效果都不好，而聚类预报弥补了这一不足，只是一个值得重视的方法。聚类分析根据对象的不同乂分为R型和Q型两大类，R型是对变量(指标)进行分类，Q型是对样品进行分类。R型聚类分析的目的有以下几方面：(1) 可以了解变量问及变量组合间的亲疏关系；(2) 对变量进行分类；根据分类结果及它们之间的关系，在每一类中选择有代表性的变量作为重要变量，利用少数几个重要变量进一步作分析计算，如进行回归分析或Q型聚类分析等。Q型聚类分析的目的主要是对样品进行分类。分类的结果是直观的，且比传统的分类方法更细致、全面、合理。

19、当然使用不同的分类方法通常有不同的分类结果。对任何观测数据都没有唯一“正确”的分类方法。实际应用中，常采用不同的分类方法，对数据进行分析计算，一边对分类提供具体意见，并由实际工作者决定所需要的分类数及分类情况。由D(o)知类问最小距离为下面是聚类分析的一个简单例子。有五个样品，每个只测量了一个指标，分别为1,2,6,8,11我们用最短距离法将它们分类。(1)计算五个样品两两间的距离，得初始类问的距离矩阵D(o),G1G2G3G4G5G10G210G3540G47620G5109530丁是将G和G2合并成G6，并计算G6和其他类之间的距离，的新的距离阵D(1)G6G3G4G5G60G340G46

20、20G59530由D(1)知，类问最小距离为2,合并G3和G4为G7,计算G7与其他类问的距离得矩阵d（2）,G6G7G5G60G740G5930由D（2）知，类问的最小距离为3,将G5和G7合并为G8,得新的距离矩阵D（3）,G6G8G60G840（5）最后将G6和G8合并为G9,这时五个样品聚为一类（四）主成分分析主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，是这些综合变量尽可能的代表原来变量的信息，而且彼此之间互不相关。这种把多个变化量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。主成分分析所要做的就是设法将原来众多具有一定相关性的

21、变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为Fi,自然希望它尽可能多的反映原来变量信息，这里信息用方差来测量，即希望Var（FD越大，表示&包含信息越多。因此在所有线性组合中所选取的F应该是方差最大的，故称Fi为第一主成分。如果第一主成分不足以代表原来p个变量的信息，再考虑选取F2即第二个线性组合，为了有效地反映原来信息，Fi已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov（Fi,F2）=

22、0,称F2为第二主成分，以此类推可以构造出第三、四第p个主成分。（五）因子分析因子分析是主成分分析的推广和发展，它是由研究原始数据相关矩阵的部依赖关系出发，把一些具有错综复杂关系多个变量（或样品）综合为少数几个因子，并给出原始变量与综合因子之间相关关系的一种多元统计分析方法。它也届丁多元分析中数据降维的一种统计方法。因子分析是通过变量（或样品）的相关系数矩阵部结构的研究，找出存在丁所有变量（或样品）中具有共性的因素，并综合为少数几个新变量，把原始变量表示成少数几个综合变量的线性组合，以再现原始变量与综合变量之间的相关关系。其中，这里的少数几个综合变量一般是不可观测指标，通常称为公公因子。因子分

23、析常用的两种类型：一种是R型因子分析，即对变量进行因子分析：另一种叫做Q型因子分析，即对样品进行的因子分析。（六）对应分析方法对应分析乂称为相应分析，是一种目的在丁揭示和样品之间或者定性量资料中变量与其类别之间的相互关系的多元统计分析方法。对应分析的关键是利用一种数据变换，使含有p个变量n个样品的原始数据矩阵，变换成为一个过渡矩阵Z,并通过矩阵Z将R型因子分析和Q型因子分析有机的结合起来。具体地说，首先给出进行R型因子分析时变量点的协差阵A=ZZ和进行Q型因子分析时样品点的协差阵B=ZZ,由丁ZZ和ZZ有相同的非零特征根，记为i2Lm,0mmin（p,n）依据证明，如果A的特征根i对应的特征向

24、量为Ui，则B的特征根i对应的特征向量就是ZUiVi，根据这个结论就可以很方便的借助R型因子分析而得到Q型因子分析的结果。因为求出A的特征根和特征向量后很容易地写出变量点协差阵对应的因子载荷矩阵，记为F。则u111U12'2Lu1m,1F=u2i"1fU22、2LU2m.1MMMUp11Up22LUpm'fm这样，利用关系式ZUiVi也很容易地写出样品点协差阵B对应的因子载荷阵，记为Go则v111v12、f2Lv1m1G=v%.1v22,2Lv2m1MMMVn11vn2«2Lvnm、：，m从结果的展示上，由丁A和B具有相同的非零特征根，而这些特征根正是公共因

25、子的方差，因此可以用相同的因子轴同时表示变量点和样品点，即把变量点和样品点同时反映在具有相同坐标轴的因子平面上，以便显示出变量点和样品点之间的相互关系，并且可以一并考虑进行分类分析。（七）典型相关分析在经济问题中，不仅经常需要考察两个变量之间的相关程度，而且还经常需要考察多个变量与多个变量之间即两组变量之间的相关系。典型相关分析就是研究两组变量之间相关程度的一种多元统计分析方法。典型相关分析是研究两组变量之间相关关系的一种统计分析方法。为了研究两组变量X1,X2,LXp和丫1,七,LYq之间的相关关系，采用类似于主成分分析的方法，在两组变量中，分别选取若十有代表性的变量组成有代表性的综合指数，

26、通过研究这两组变量之间的相关关系，来代替这两组变量之间的相关关系，这些综合指数称为典型变量。此外，多元统计分析方法还有方差分析、偏最小二乘回归分析、逻辑分析、联合分析等，我们就不做一一介绍了。四、多元统计分析方法的一般步骤与一般统计分析方法一样，多元统计分析方法也要经过建立模型、进行参数估计、假设检验以及预测控制等步骤。以经济统计为例，具体步骤是：1、根据经济理论进行定性分析，设计理论模型；2、对实际经济活动的现象抽取样本，并取得样本统计资料；3、对描述样本的指标利用多元统计分析方法进行统计分析，选择最佳的统计指标；4根据最佳指标的样本数据，估计参数，建立数量模型模型；五、多元统计分析方法在各

27、个白然领域中的应用多元统计分析是解决实际问题的有效的数据处理方法，其应用围非常广泛。多元统计分析方法可以应用于地质科学、气象科学、医疗卫生、体育、语言学、考古学、教育学、心理学以及经济学、管理学等各个方面。下面我们以经济学和管理学为例，了解一下多元分析方法在其中的作用和应用的场合与领域：1、简化数据结构。对多个变量进行降维处理，选择数目较小的变量子集合。在商业经济中，为了能够全面刻画所研究对象的数量特征，往往要调查多方面的统计数据。数据维数越多，反映问题越全面，但同时也给数据分析带来困难。这是句要用降维的方法将很复杂的数据综合成商业指数形式，处理方法主要有主成分分析、因子分析和对应分析等。2、

28、对研究对象进行分类与判别。比如根据各地区的经济发展水平、经济发展特征对我国各地区的经济发展类型进行划分，需要通过反映各地区经济情况的多项数据测算各地区经济发展的相似度，并以对各地经济类型此进行划分和归类。用来处理这一问题的多元统计方法主要是聚类分析、判别分析等。3、建立经济模型。经济模型一般是指把经济变量之间的依存关系通过通过数学表达形式加以模拟。例如根据我国几十年来财政收入与国民收入、工农业总值、人口、就业人口、固定投资等相关因素，利用回归方法建立预测模型，对今后的财政收入进行预测。4、研究经济现象之间的相互关系。当我们研究两组变量之间的相关程度时，只用简单直线相关系数是不够的，在多元统计分析中，用典型相关分析可以处理两组变量之间的相关程度的分析和测算。有一点需要特殊说明，由于现实问题的复杂性和每种