多元统计实验报告

1、多元统计实验报告关于某校导师研究生指标的分配问题班级：*姓名：*学号：*目录1 问题背景.42 实验要求.43 数据预处理.43.1 数据分离3.2 数量化3.3 归一化4 建模及求解.64.1多元线性回归填补模型.64.1.1 多元线性回归模型简介4.1.1.1 向前选择法4,1.1.2 向后消去法4.1.1.3 逐步删选法4.1.2 多元线性回归填补模型4.1.2.1 建模4.1.2.1 求解A. 向前选择法B. 向后消去发C. 逐步删选法4.2判别分析填补模型.94.2.1 判别分析模型简介4.2.1.1 概论4.2.1.2 分类4.2.1.3 常用判别方法A. 距离判别法B. Fish

2、er判别法C. Bayes判别法4.2.2 判别分析填补模型4.2.2.1 建模4.2.2.2 求解4.3主成分分析验证模型.124.3.1 主成分分析简介4.3.1.1 概论4.3.1.2 数学模型4.3.1.3 主成分分析步骤4.3.2 主成分分析验证模型4.3.2.1 建模4.3.2.2 求解4.4典型相关分析验证模型.154.4.1 典型相关性分析简介4.4.1.1 概论4.4.1.2 数学模型4.4.2 典型相关性分析验证模型4.4.2.1 建模4.4.2.2 求解A. 典型相关结果B. 多种多元统计结果比较C. 典型变量的标准线性方程D. 原始变量与典型变量的相关度4.5聚类分析.

3、184.5.1 聚类分析简介4.5.1.1 概论4.5.1.2 常用方法A. 最短距离法B. 平均距离法C. Ward法4.5.1 聚类分析4.5.1.1 建模4.5.1.2 求解A. 聚类图形表示B. Ward聚类详解C. 基于Ward分类的预测5 体会及建议.246 SAS程序.257 附录.281 问题背景高等学校研究生招生指标分配问题，对研究生的培养质量、教育资源利用率、学科建设和科研成果的取得有直接影响。传统的硕士研究生名额分配方案主要参考导师岗位级别进行分配。这种单因素的指标分配策略显然不是科学的，为了更好地提升研究生的培养质量和对教育资源地充分利用，一套更科学的研究生指标分配方案

4、亟需提出。附件1中的数据是2007-2011年某高校硕士研究生招生情况，其中有10组数据由于客观原因造成缺损。2 实验要求2.1 建立数学模型，利用多元线性回归法对数据中的缺损项进行填补2.2 建立数学模型，利用判别分析法对数据中的缺损项进行填补2.3 利用主成分分析法验证“传统的硕士研究生名额分配方案主要参考导师岗位 级别进行分配”的正确性2.4 利用典型相关分析法验证“传统的硕士研究生名额分配方案主要参考导师岗位级别进行分配”的正确性2.5 利用聚类分析法对数据进行分类，并建立数学模型对2012年研究生数进行 更合理的分配3 数据与处理3.1数据分离由于原始数据中有10组数据有缺损，为了更

5、方便地分析数据先将数据分离成两大组数据，第一大组为完整的数据，第二大组的数据为有缺损的数据。3.2数据数量化分析数据我们发现“学科分类”和“岗位级别”是非数量型数据，为了后续分析首先要将非数量型数据数量化。由于“岗位级别”在一定程度上反映了导师的能力，从一级岗道七级岗具有某种趋势的渐变，因此不妨做如表3.1的数量化处理：表3.1一级岗1二级岗2三级岗3四级岗4五级岗5六级岗6七级岗7不同学科之间的差异具有多元性，即不同学科在不同指标上的差异可能具有不同的表现。由于我们研究的目标是“招生人数”，因此我们不妨以“招生人数”为参考来数量化“学科分类”，即根据“招生人数”从小到大来对“学科分类”排序，

6、以实现“学科分类”的数量化。数量化结果如表3.2所示。表3.2学科分类招生人数均值招生人数排名数量化结果A1.1633B0.7411C1.3777D1.2044E1.4188F1.2355G1.4599H1.681010I2.581111J0.8822K1.26663.3数据标准化由于各个指标都不同的量纲，为了更为准确地反映数据间的关系，需要对数据进行归一化。选用最大最小值归一化法来归一化数据：式中，表示归一化后第i个教师第j个指标的数值，表示归一化前第i个教师第j个指标的数值，、分别表示归一化前第j个指标的最大、最小值。附录2为原始数据经过预处理后的数据。4 建模及求解4.1 多元线性回归填

7、补模型4.1.1 多元线性回归模型简介在实际问题中，一个变量往往受到多个变量的影响。这些影响是复杂多样的，其中最简单的一种影响形式就是多个变量的线性组合，即多元线性回归模型。其数学模型如下：式中，为因变量，为相互独立的自变量，为模型参数，我们可以认为为随机项。在实际问题中，往往是已知自变量和因变量来估计模型的参数，最常用的估计方法为最小二乘估计。定理 设回归模型满足，则：（1） 最小二乘估计：（2） 残差：，满足和（3） 残差平方和：实际问题中，对于观察到的自变量往往不是完全独立的。因此，为了使线性回归模型能够更准确地描述客观事实，一般会对自变量进行删选。常用的方法有向前选择法（FORWARD

8、）、向后消去法（BACKWARD）和逐步删选法（STEPWISE）。4.1.1.1 向前选择法在向前选择法中，初始模型中没有变量。对于每个未加入模型的自变量，向前计算它对模型贡献大小的F统计量，并与SLENTRY的值进行比较。若大于SLENTRY则加入到模型中，否则不加入。在向前选择法中，自变量一旦被加入到模型中就不再被踢出。模型的典型SLENTRY值为0.05.4.1.1.2 向后消去法在向后消去法中，所有变量都被包含在模型中。对于每一个模型中的变量，计算它的F统计量，并与SLENTRY值进行比较。若比SLENTRY小则被踢出。典型SLENTRY的值为0.05.4.1.1.3 逐步删选法逐步

9、删选法是向前选择法的改进。区别在于，对于加入到模型中的变量还有可能被踢出。具体来说，是在每次加入变量后要对模型中的所有变量进行检验，删除那些在SLENTRY水平上不显著的变量。重复上述加入和踢出变量的过程，直到未加入模型中的所有自变量在SLENTRY水平上都不显著且模型中的所有自变量的SLENTRY水平都很显著时，逐步删选法才结束。4.1.2 多元线性回归填补模型4.1.2.1 建模模型中的自变量有学科分类、岗位级别、经费、英文论文数、中文论文数、专利数、优硕数等七个，因变量为招生数。模型的具体数学描述如下：利用完整数据可得到模型的参数：由于缺损数据缺失的数据项都只有“岗位级别”，因此将除“岗

10、位级别”外的其他数据代入模型中，即可求得岗位级别的理论值。然后用最短距离法来估计它的实际值。表4.1为各岗位级别归一化后对应的统计值。表4.1岗位级别1234567归一化值00.16670.33330.50.66670.8331分别求七个级别统计值与理论值的距离：式中Z为岗位级别的理论值。则距离最短的那个级别极为它的真实级别。4.1.2.2 求解A. 向前选择法向前选择法的运行结果如图4.1所示。图4.1利用向前选择法得到的线性回归模型为：没有通过检测。将缺损数据代入模型中，计算“岗位级别”理论值，并用最短距离法估计出它的真实值。结果如表4.2所示。表4.2教师编号51114115131157

11、178280329353354岗位级别理论值0.21240.41310.47420.50010.24830.26840.22110.21970.44900.4500岗位级别估计值2444232244B. 向后消去法向后消去法运行得到的结果如图4.2所示。图4.2利用向后消去法得到的线性回归模型为：没有通过检测。将缺损数据代入模型中，计算“岗位级别”理论值，并用最短距离法估计出它的真实值。结果如表4.3所示。表4.3教师编号51114115131157178280329353354岗位级别理论值0.22480.42260.48320.50160.25290.27960.21400.22100.4

12、5250.4525岗位级别估计值2444222244C. 逐步删选法逐步删选法的运行结果如图4.3所示。图4.3利用向后消去法得到的线性回归模型为：没有通过检测。将缺损数据代入模型中，计算“岗位级别”理论值，并用最短距离法估计出它的真实值。结果如表4.4所示。表4.4教师编号51114115131157178280329353354岗位级别理论值0.22480.42260.48320.50160.25290.27960.21400.22100.45250.4525岗位级别估计值24442222444.2判别分析填补模型4.2.1 判别分析模型简介4.2.1.1 概论判别分析是在已知总体确切分类

13、的情况下，判别某个样本归属哪一类的统计方法。判别分析的前提是要知道大量的分类明确的训练数据，根据训练数据建立判别函数，然后根据判别函数来判别某一个样本的归属。其基本流程如图4.4所示。图4.44.2.1.2 分类根据判别中的组数，可以分为两组判别分析和多组判别分析； 根据判别函数的形式，可以分为线性判别和非线性判别； 根据判别式处理变量的方法不同，可以分为逐步判别、序贯判别等； 根据判别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等4.2.1.3 常用方法A. 距离判别设有k个组，他们的均值分别为，协防差矩阵分别为。到总体的马氏距离为：判别规则：若则 B. Fisher判别法

14、Fisher判别法实际上是一个降维的过程。利用Fisher函数将一个p维的变量投影到一维空间中来。设点p维空间上的点为，通过一个Fisher函数变换：后投影到一维空间。Fisher函数原则：（1） 同一类元素投影后的距离尽量短（2） 不同类元素投影后的距离尽量长C. Bayes判别法设有m个总体。假设他们各自的密度是互不相同的。且假设这m个总体的先验概率为。若将本来属于的样本错判为的样本的损失为。显然有。记一个判别规则为。则在规则下，将的样本错判为的概率为：总的平均损失为：Bayes判别的规则为，选择使得总平均损失达到最小。定理 若总体的先验概率为，且相应的密度函数为，损失为，则划分的Baye

15、s解为：其中：4.2.2 判别分析填补模型4.2.2.1 建模利用完整数据作为训练数据，建立起判别函数。然后利用判别函数来对有数据项缺损的数据进行填补，即要求出各缺损数据的“岗位级别”的值。由于原始数据中“岗位级别”的数据项是空的，因此在做判别分析时为了方便起见认为地给它赋值为“-1”。4.2.2.2 求解SAS程序运行结果如图4.5所示。图4.5将图4.5的数据可以得到10为教师的“岗位级别”估计值，如表4.5所示。表4.5教师编号51114115131157178280329353354岗位级别47773443774.3主成分分析验证模型4.3.1 主成分分析简介4.3.1.1 概论主成分

16、分析是一个降维的过程。在实际问题中，原始数据的各个变量间并不完全独立，而是有着不同程度的相关性。相关性较大的变量间存在着信息重叠，而这些重叠的信息对问题本身没有任何好处。过多的数据会使得问题的解决变得复杂，因此我们希望能在信息不被严重破坏的前提下进行数据简化。这就是主成分分析需要完成的事情。4.3.1.2 数学模型设有n个样本，每个样本有p个指标：,得到原始数据资料：用数据矩阵的p个列向量作线性组合，得到综合指标：其中，有如下限制：与互不相关，即。是所有线性组合中方差最大的；是与线性无关的所有线性组合中方差最大的；.；是与线性无关的所有线性组合中方差最大的。满足上面要求的综合指标向量就是主成分

17、，这p个主成分从原始数据中提取的信息一次递减，每个主成分提取的信息量用方差来度量，主成分方差的贡献就等于原指标相关系数矩阵相应的特征值，每一个主成分的组合系数就是相应特征值所对应的单位特征向量。方差的贡献率为：越大，说明相对应的主成分反映综合信息的能力越强。4.3.1.3 主成分分析步骤A. 计算协方差矩阵B. 求协方差矩阵的特征值及特征向量C. 选择主成分D. 计算主成分得分E. 标准化4.3.2 主成分分析验证模型4.3.2.1 建模本分析主要是为了验证“传统的硕士研究生名额分配方案主要参考导师岗位级别进行分配”的正确性。因此将原始数据中完整的数据进行主成分分析，得到各变量间的相关矩阵。此

18、外还将分析数据的主成分，以及他们的贡献率等。4.3.2.2 求解利用SAS进行主成分分析，得到各变量间的相关系数矩阵如图4.6所示。图4.6可以看出，与“招生人数”相关度最大的是“岗位级别”。这即证明了“传统的硕士研究生名额分配方案主要参考导师岗位级别进行分配”的正确性。进一步考察发现除了“招生人数”和“岗位级别”的相关系数较大之外，其他变量之间的相关系数都较小。因此原始数据中各变量的独立性较强。可以预测，主成分分析得到的结果依旧存在较多变量。SAS分析得到的主成分分析结果如图4.7所示。图4.7显然，我们之前的预测是正确的。第一、二、三主成分的贡献率分别只有29.34%、19.43%以及12

19、.13%。而前六个主成分的累积贡献率才达到91.04%。SAS分析得到的各主成分系数如图4.8所示。图4.8根据分析结果，写出前三主成分的表达式为：4.4典型相关分析验证模型4.4.1 典型相关性分析简介4.4.1.1 概论典型相关分析就是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。4.4.1.2 数学模型假设两列变量和分别是p维和q维的。均值方差和协

20、方差矩阵分别为、和。令，。定理 设，则第K典型相关变量和第K典型相关系数分别为：4.4.2 典型相关性分析验证模型4.4.2.1 建模将元数据分为两组：第二组：第二组：然后利用SAS来分析这两组变量间的深层关系。4.4.2.2 求解A. 典型相关结果典型相关结果如图4.9所示。图4.9由于第二组内只有一个变量，因此运行的典型相关结果中只含有一行结果。第一列是行号，第二、三、四、五列分别表示典型相关系数、校正的相关系数、标准误差和典型相关系数的平方。B.多种多元统计结果比较多种多元统计结果的比较如图4.10所示。图4.10上面结果显示，相关系数显著地不为0.C.典型变量的标准线性方程图4.11根

21、据运行结果得出典型性变量的标准线性方程为：D.原始变量与典型变量的相关度原始变量与典型变量的相关度如图4.12所示。图4.12从结果可以看出，原始变量y与典型变量的相关度最高，为1。在中相关系数最大的是，即“岗位级别”，这也反映了“传统的硕士研究生名额分配方案主要参考导师岗位级别进行分配”这一事实。4.5聚类分析分配模型4.5.1 聚类分析简介5.5.1.1 概论聚类分析是一个分类过程，它是在不知道总体确切分类的情况下，依据某些规则把总体划分成多个类或簇中去。它与判别分析适用的情况不同，判别分析是已经知道总体的确切分类，而聚类分析的前提是不知道总体的确切分类。在聚类分析中，先将n个样本各成一类

22、，然后根据某种判别规则将最相似的两个样本组合成一类，重复合并过程，直到所有样本归为一类。5.5.1.2 常用方法A. 平均距离法以表示不同的类。则用最短距离法定义的类之间的距离为：最短距离法聚类过程：（1） 初始时，样本各成一类，此时。并得到距离矩阵。（2） 找到中非对角线上最小的元素，设为，则将和聚合为一类，记 （3） 计算新类与其他类的距离：（4） 合并中的行和列。得到的行和列表示新类，从而得到新的距离矩阵。（5） 重复以上合并过程，直到所有样本归为一类。B. 最短距离法设和中分别有和个样本，则两类平均距离定义为：聚类过程与最短距离法相同。C. Ward法Ward法即利差平方和法。若分类正

23、确，这相同类样品间的利差平方和应当较小，而不同类样品间的利差平方和应该较大。具体来说，先将个样本自成一类，然后逐步合并类，由于两类合并时类内方差会变大，因此合并时选择方差增大最小的两类进行合并。直到所有样本归为一类。设将个样本分成类：，表示中的第个变量，表示中的样本数，表示的重心。则类内利差平方和为：个类的总利差平方和为：4.5.2 聚类分析分配模型4.5.2.1 建模由前面的分析可以看出，传统的研究生指标主要是依据导师的“岗位级别”来分配的。而根据“岗位级别”这一单一因素来分配研究生指标显然不利于教育资源的利用。为了更有效地培养高素质研究生以及更合理地利用教育资源，一种新的研究生分配方案亟待

24、提出。本预测模型就是一个基于聚类分析的新的分配方案。具体来说，就是先对完整的原始数据除“招生人数”外的其他变量进行聚类分析，将344位教师分为若干类。可以简单地认为，同一类中的教师具有相同的培养研究生的能力，不同类别的教师在培养研究生能力方面存在差异。因此，我们可以根据教师所属的类别来进行研究生分配。假设经过聚类分析后将总体分成了类，表示第类中的教师数，用表示第类别的教师的研究生指标数。我们可以利用如下的模型来定义：式中，表示七个变量在研究生分配上的权重，有如下限制：表示聚类分析得到的第类的第个变量的均值。是一个调节因子，用来调整总体的招生人数。若要究生的招生人数与往年持平，则有：不妨设上式的

25、值为。则显然有如下结果：4.5.2.2 求解A. 聚类图形表示最短距离法得到的聚类分析图如图4.13所示。图4.13平均距离法得到的聚类分析图如4.14所示。图4.14Ward法得到的聚类分析结果如图4.15所示。图4.15B. Ward聚类详解由于分析数据过大,最短距离法和平均距离法的图形表示较为繁杂。Ward的图形表示较为清晰，因此选取Ward聚类法进行深层分析。图4.16为Ward分析的总体数据图4.16图中，七行分别表示七个变量，第一列是行号，第二、三、四、五列分别表示相关矩阵的特征值、相邻矩阵特征值之差、各特征值占总方差的比重和累积百分百。图4.17和图4.18分别表示了Ward聚合

26、过程的起始阶段和终止阶段:图4.17图4.18图中部分指标含义如表4.6所示。表4.6符号NCLClusters JoinedFREQSPRSQRSQ含义聚类数参与本次聚合的两个类新类所含的样本数合并造成的信息丢失度累积聚类的结果由图中信息可知，随着聚类的进行，由于聚类造成的信息损失逐渐增加，但损失并不是很大。当把所有样本分为三类的时候，其信息损失也只有8.31%，当分为两类时，信息损失增加到17.99%。因此，再权衡信息丢失度和分类的要求后，将样本分成三类较为合适。不妨假设分为A、B、C三类。C.基于Ward分类的预测根据SAS分析结果得到如表4.7所示的信息。表4.7类别样本总数学科均值岗

27、位均值经费均值英文论文均值中文论文均值专利数均值优硕数均值A类1240.64340.99960.08970.06920.11760.05530.1286B类1150.49460.76740.06080.05340.09980.08240.0574C类1050.36730.33330.04050.04240.08570.07570.0134假设：（1） 招生人数与往年持平（472.8人）（2） 各因素的权重相等（实际情况中是不相等的，此处为简化处理）（3） 相同类教师的研究生分配指标相同则将表4.7中的数据代入预测模型中可以解得，各类导师招生研究生的指标如表4.8所示。表4.8类别招生研究生指标

28、（人）A类1.8172B类1.3960C类0.8279从表4.7中可以看出，A类教师除了“专利均值”外其他因素都比其他两类高，说明A类教师具有更高的培养研究生的能力。因此可以给A类教师多分配一些研究生指标，有理由教育资源的利用。5 体会及建议在本报告中，围绕某校导师研究生分配指标的问题，主要讨论了多元线性回归分析、判别分析、主成分分析、典型相关分析和聚类分析等五种多元分析方法。刚开始的时候，对这些分析方法只了解了一些理论性的东西，完全不知道怎么下手开始这份任务艰巨的报告。到图书馆借了几本多元统计的数，偏理论偏实践的都有。然后就开始看书，慢慢地对这些统计方法有了更深的认识。比如在什么情况下使用判

29、别分析，在什么情况写用聚类分析等。之后看了一些多元统计的实例，慢慢研究怎么把理论知识运用到实际问题中来。再然后就是开始写报告了。为了学到更多的多元统计知识，我决定从多方面来分析数据。例如用于填补缺失信息的多元线性回归模型、判别分析模型；用于验证的主成分分析模型和典型相关分析模型；用于预测的聚类分析模型等。为此，我专门深入地学习了这些分析方法的理论知识，为了更深刻地理解这些理论，我在每一个模型中都有一个分析方法的简介。之后就是将各个理论知识应用到实际问题中。在写报告的过程中还有一个很棘手的问题就是SAS编程。之前基本上没有接触这个软件，因此在写报告过程中既要学习统计方法的理论知识，还要学习SAS

30、编程，这也使得本次报告花费了较长时间才得以完成。刚开始学SAS的时候，那叫一个痛苦啊，很多语法习惯跟matlab和C+很不一样，因此不得不借助于相关书籍，于是又到图书馆借了好多SAS的书。慢慢地，发现SAS真的是一个在数据处理上相当强大的软件，几行代码就可以完成海量的工作。真实要感谢科技的发展啊！在本次报告中还有一个值得一提的东西，那就是论文本身啦。之前在数模赛、数学实验、软件实习等报告中，自己的主要精力没有放在论文写作上，因此这方面的知识一直很薄弱。这次是一个人的实验，自己操刀实验论文，因此也学到了不少东西。以上就是本次实验报告的一些体会。下面说一下一些小小的建议。首先，建议老师能够给同学们

31、推荐一些较为全面系统的教材。感觉我们先用的教材（也就是课件）的内容比较少，例如主成分分析就只讲了一页！其次，多元统计是一门实用性很强的学科。理论知识是必备的，但更应该加强学生自己动手解决实际问题的能力。6 SAS程序及输出结果【程序1】多元线性回归填补模型title招生指数分析;data student;input Num $ x1 x2 x3 x4 x5 x6 x7 y;label Num=编号 x1=学科分类 x2=岗位级别 x3=经费 x4=英文论文 x5=中文论文 x6=专利 x7=优硕 y=招生数;cards;10.200.00.0.8800.330.200.0.10.3200.41

32、0.200.6000.120.250.920.600.00.4000.（数据过多，此处省略处理）3500.510.0.300.0800.3510.510.00.0.0400.33520.510.100.000.3;run;proc print data=student label;run;proc reg;model y=x1 x2 x3 x4 x5 x6 x7/selection=forward;model y=x1 x2 x3 x4 x5 x6 x7/selection=b;model y=x1 x2 x3 x4 x5 x6 x7/selection=stepwise;run;【程序2】判

33、别分析填补模型data judge;/*训练数据*/title判别分析;input Num $ x1 x2 x3 x4 x5 x6 x7 y;label Num=编号 x1=学科分类 x2=岗位级别 x3=经费 x4=英文论文 x5=中文论文 x6=专利 x7=获奖 y=招生数;cards;（数据同程序1）;run;data tests;/*测试数据*/input Num $ x1 x2 x3 x4 x5 x6 x7 y;label Num=编号 x1=学科分类 x2=岗位级别 x3=经费 x4=英文论文 x5=中文论文 x6=专利 x7=获奖 y=招生数;cards;510.2-10.260

34、.40.400.250.1140.6-10.3700000.1150.6-10.500000.1310.3-10.910.500.200.91570.7-10.60.8000.750.1780.4-10.40.30.0.0800.2801-10.0.50.0.2400.3290.1-10.0.50000.3530.5-10.900.70.0400.3540.5-10.20.90.70.0800.;run;proc discrim data=judge /*训练*/ outstat=judgestat /*基于类内服从多元正态分布，并导出线性或二次判别函数*/ method=normal pool=yes/*指定线性判别函数*/ list crossvalidata class x2; /*按x2分类*/ priors proportional;/*先验概率等于各类样本频率*/run;proc discrim data=judge /*训练*/ outstat=