多元统计分析期末复习

1、多元统计分析期末复习公司内部编号：（GOODTMMTMMUTUUPTYUUYYDTTI第一章:多元统计分析研究的内容（5点）1、简化数据结构（主成分分析）2、分类与判别（聚类分析、判别分析）3、变量间的相互关系（典型相关分析、多元回归分析）4、多维数据的统计推断5、多元统计分析的理论基础第一二早: 二、多维随机变量的数字特征1、随机向量的数字特征随机向量X均値向量: 随机向量X与Y的协方差矩阵: 当 X二Y 时 Cov (X, Y)二D (X):当 Cov (X, Y)二0 ,称 X, Y 不相关。随机向量X与Y的相关系数矩阵:2、均值向量协方差矩阵的性质（1）设X, Y为随机向量，A, B为

2、常数矩阵E (AX)二AE (X)；EX =(EX,EX2,，EXQQ (从，“2，貝pyE(AXB)二AE (X) B; cov(X, X) = EQX EYyD(AX)=AD(X)A ；ZXX) = 5)网Cov (AX, BY)=ACov(X, W ；(2) 若X, Y独立,则Cov (X, Y) = 0 ,反之不成立.（3）.X的协方差阵D（X）是对称非负定矩阵。例2.见黑板三、多元正态分布的参数估计2、多元正态分布的性质(1) .若，则 E(X)=,D(X)二XNp(“J)“三特别地，当/为对角阵时，八兀,Xp 相互独立。X NpWQ(2) .若+阶常数矩阵，d为s阶向量，A X +

3、d. 即正态分布的线性函数仍是正态分布.(3) .多元正态分布的边缘分布是正态分布，反之不成立.X,如)(4) .多元正态分布的窪美与独童等价.J(X，乂2,S1例3见黑板.乏:以劝(Xs xy-_/-nxp S三、包正态分布的参理估计x /yX牙心(“丄工)“场iUta元恿体X的(简单)样本”的理解-丄独立同截面.(2) 多元分布样本的数字特征一-常见多元统计量样本均值向量=样本离差阵S=样本协方差阵V= S ;样本相关阵R(3) , V分别是 和的最大似然估计；(4) 估计的性质是的无偏估计；，V分别是和的有效和一致估计；S， 与S相互独立； 第五章聚类分析:一、什么是聚类分析：聚类分析是

4、根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，其至事物总共可能有儿 类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易 懂）、动态聚类法（快）、有序聚类法（保序）Q-型聚类分析（样品）R-型聚类分析（变量）变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义 尺度。二、常用数据的变换方法：中心化变换、标准化变换、极差正规化变换、对数变换 （优缺点）1、中心化变换（平移变换）：中心化变换是一种坐标轴平移处理方法，它是 先求出每个变量的样本平均值，再从原始数据中减去该变量的均值，就得到中心 化变换后的数据。不改变样本间的相

5、互位置，也不改变变量间的相关性。2、标准化变换：首先对每个变量进行中心化变换，然后用该变量的标准差进 行标准化。经过标准化变换处理后，每个变量即数据矩阵中每列数据的平均值为0,方差为 1,且也不再具有量纲，同样也便于不同变量之间的比较。3、极差正规化变换（规格化变换）：规格化变换是从数据矩阵的每一个变量 中找出其最大值和最小值，这两者之差称为极差，然后从每个变量的每个原始数 据中减去该变量中的最小值，再除以极差。经过规格化变换后，数据矩阵中每列 即每个变量的最大数值为1,最小数值为0,其余数据取值均在0 1之间；且变 换后的数据都不再具有量纲，便于不同的变量之间的比较。4、对数变换：对数变换是

6、将各个原始数据取对数，将原始数据的对数值作为 变换后的新值。它将具有指数特征的数据结构变换为线性数据结构。三、样品间相近性的度量研究样品或变量的亲疏程度的数量指标有两种：距离，它是将每一个样品看 作P维空间的一个点，并用某种度量测量点与点之间的距离，距离较近的归为一 类，葩离较远的点应属于不同的类；相似系数，性质越接近的变量或样品，它们 的相似系数越接近于1或一 1,而彼此无关的变量或样品它们的相似系数则越接近 于0,相似的为一类，不相似的为不同类。样品之间的聚类即Q型聚类分析，则常用葩离（统计量）來测度样品之间的 亲疏程度；而变量之间的聚类即R型聚类分析，常用相似系数（统计量）来测度 变量夕

7、I'可的亲®。一兀）0 一耳）1、距离的聽3明同漏郭罠距詡英空间距离马氏距离2、相似系数的算法：夹角余弦 相似系数3、样品分类和指标分类：对样品分类常用距离，对指标分类常用相似系数4、明氏（Minkowski）葩离的两个缺点：明氏距离的值与各指标的量纲有关， 而各指标计量单位的选择有一定的人为性和随意性，各变量计量单位的不同不仅 使此距离的实际意义难以说清，而且，任何一个变量计量单位的改变都会使此距 离的数值改变从而使该葩离的数值依赖于各变量计量单位的选择。明氏距离的 定义没有考虑各个变量之间的相关性和重要性。实际上，明考夫斯基距离是把各 个变量都同等看待，将两个样品在各个变

8、量上的离差简单地进行了综合.5、相似系数：通常所说相关系数，一般指变量间的相关系数，作为刻划样品间的 相似关系也可类似给出定义，即第i个样品与第j个样品之间的相似系数定义 为：实际上，就是两个向量中心化后的夹角余弦 6、距离和相似系数选择的原则：（1）所选择的亲疏测度指标在实际应用中应有明 确的意义。（2）亲疏测度指标的选择要综合考虑已对样本观测数据实施了的变换方法和将要 采用的聚类分析方法。（3）适当地考虑计算工作量的大小。练习：1.聚类分析是建立一种分类方法，它将一批样品或变量按照它们在性质上 的进行科学的分类.2. Q型聚类法是按进行聚类，R型聚类法是按 进行聚类。3. Q型聚类统计量是

9、，而R型聚类统计量通常 采用o4. 在聚类分析中需要对原始数据进行无量纲化处理，以消除不同量纲或数量级的影响，达到数据间可同度量的目的。常用的无量纲化方法有以下儿种：、5. Q型聚类方法有、等。第六章判别分析：1四种判别方法：距离判别法、费歇判別法、贝叶斯判别法、逐步判别法。2. 贝叶斯Bayes判别法：距离判别方法简单实用，但没有考虑到每个总体出现的 机会大小，即先验概率，没有考虑到错判的损失；Fisher判别法随着总体个数的 增加，建立的判别式也增加，计算量加大，如果考虑各总体的重要性，问题会突 出而简单许多。既要考虑到各个总体出现的先验概率，又要考虑到错判造成的损失，Bayes判 别就具

10、有这些优点，其判别效果更加理想，应用也更广泛。基本思想：总是假定对所研究的对象已有一定的认识，常用先验分布来认识 它，然后，基于抽取的样本对先验概率作修正，得到后验概率，最后采用相应的 判别准则（如误判率最小准则，后验概率最大准则等）进行判別。Bayes判别法， 对各类（总体）的分布有特定的要求，即已知先验概率和分布密度函数。4.各判别法之间的联系：在正态等协方差阵及先验概率相等的条件下贝叶斯判别与距离判别等价；不加权的F i s h e r判别法等价于距离判别法练习：1.判别分析是要解决在研究对象已的情况下，确定新的观测数据属于已知类别中哪一类的多元统计方法。2. 用判别分析方法处理问题时，

11、通常以作为衡量新样本点与各己知组别接近程度的指标。3. 进行判别分析时，通常指定一种判别规则，用来判定新样本的归属，常见的判别准则有、-4. 在p维空间Rp中，点与点之间的接近和疏远尺度用来衡量，最简单的就是或O5. 类内样本点接近，类间样本点疏远的性质，可以通过与的大小差异表现出来，而两者的比值能把不同的类区别开来。这个比值越大，说明类 与类间的差异越分类效果越6. Fisher判别法是找一个由p个变量组成的,使得各自组内点的尽可能接近，而不同组间点的尽可能疏远。简答题：1. 判别分析的分类：距离判别法、费歇判别法、贝叶斯判别法、逐步判别法。2. 判别的基本思想：是根据已掌握的、历史上若干样

12、本的p个指标数据及所属类 别的信息，总结出该事物分类的规律性，建立判别公式和判别准则。根据总结出 来的判別公式和判别准则，判别未知类别的样本点所属的类别。3. 简述两个总体的判别及判别准则: 基本思路：（1）统计模型：设Gl, G2是两个不同的P维已知总体，x二（xl,，xp） T是一个待判样品;（2）距离判别准则：（3）判别函数:4. 简述Fisher判别法及具体判别步骤：Fisher判别的思想是投影，将k组p维 数投影到某一个方向，使得他们的投影组与组之间尽可能的分开。5. 简述逐步判别基本原理：逐步引入变量，每次把一个判别能力最强的变量引 入，每引入一个新的变量，对老变量又逐个进行检验，

13、如其判別能力因新变量的 引入而变得不显着，应把它从判别式中剔除，最终建立的判别函数中仅保留判别 能力显着的变量。6. 简述BAYES判别分析与其它判别方法的优劣：（1）与距离判别的优劣比较： 距离判别优于两个总体'艇讷嘲:澜隠他翁a有任何要求，简捷，实 用，易懂：距离判别法在多个总体时，没有考虑各总体出现的概率，对各个变量 的重要性一视同仁，难免产生误判。Bayes判别法对的理论与方法严密而完善，对 研究对象的信息利用充分，误判率大大降低，但计算较复杂。（2）与B ayes 判别法的比较：B a y e s判别与F i s h e r判别的比较：对总体的分布要求 不同；多个总体下，F

14、i s h e r判别的计算量大，但均值向量共线性程度较好 时，可以考虑用F i s h e r判别；各总体出现的重要性不同时应使用是B a ye s判别。第七章、主成分分析1. 主成分分析就是设法将原来变量重新组合成一组新的相互无关的综合变量来代 替原来的变量，并尽可能多地反映原来变量的信息。数学表现为：Var （Yj）最大;cov（Yi, Yj）=O；2主成分就是以协方差阵的特征向量为系数的线性组合，它们互不相关，其方差 的特征根。九畑/ J-）主成分的名次是按特征根取值大小的顺序排列的。3. 主成分模型中各统卄量的意义：A =5.83 A, =2.001）贡献率：第i个主成分的方差在全部

15、方差中所占比重称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。例：设的协方差矩阵为解得特征根为，第一个主成分的贡献率为（+）=%,尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。4. 1）从协方差阵和相关系数矩阵出发计算主成分一般是不同的。2）主成分是原始变量的线性组合，故而起着原始变量的综合作用。3）对总体分布类型没有特定要求。4）主成分个数的确定。5）主成分用于系统评估。6）除主成分分析之外，还有主成分回归和加权主

16、成分分析。填空：1、对P元正态分布变量来说，找主成分的问题就是找P维空间中的椭球体的主轴 问题。2、样本主成分的总方差等于°3、原始变量协方差矩阵的特征根的统计含义是o4、主成分表达式的系数向量是_协方差阵的特征向量。5、主成分分析就是通过适当的变量替换，使新变量成为原变量的线性组合，并寻 求主成分来分析事物的一种方法。第八章、因子分析1什么是因子分析及基本思想多元数据常常包含大量的测量变量，有时这些变量是相互重叠，存在相关性。因子分析的目的就是从实验所得的数据样本中概括和提取出较少量的关键因 素，它们能反映和解释所得的大量观测事实，从而建立最简洁、最基本的概念系 统，揭示出事物之间

17、最本质的联系。因子分析的基本思想是通过变量（或样品）的相关系数矩阵内部结构的研究，找出能控制所有变量的少数儿个随机变量去描述多个变量（或样品）之间的 相关关系。2. 主成分分析与因子分析的联系与区別相同之处：都是多元数据处理降维的统计方法；求解过程的出发点是一样的；不同之处：主成分分析是变量变换：原始变量的线性组合表示新的综合变量，即 主成分；而因子分析需要构造因子模型：潜在的假想变量和随机影响变量的线性 组合表示原始变量；主成分的系数是唯一的；而因子分析的载荷系数是不唯一 的；3. 因子载荷aij的统计意义：因子载荷®是第i个变量与第j个公共因子的相关 系数载荷矩阵中第i行，第j列

18、的元素）反映了第i个变量与第j个公共因子的 相关重要性。绝对值越大，相关的密切程度越高。例题：假定某地固定资产投资餐| ,通货膨胀率 ,英业率 ,相关系数矩1 阵为试用主成分分析法求因子分析模型。特征根为：人=1.554=0.85禺=0.6可取前两个因子F1和F2为公共因子，第一公因子F1物价就业因子，对X 的贡献为。第一公因子F2为投资因子，对X的贡献为。共同度分别为1, , o4. 为什么要旋转因子：由于因子载荷阵是不惟一的，所以应该对因子载荷阵进行 旋转。目的是使因子载荷阵的结构简化，使载荷矩阵每列或行的元素平方值向0 和1两极分化。有三种主要的正交旋转法：四次方最大法、方差最大法和等量

19、最大 法。5. 因子分析通常包括以下五个步骤：选择分析的变量；计算所选原始变量的相关 系数矩阵；提取公共因子；因子旋转；计算因子得分。x,h:6. 变量共同度的统计意义：变量 的共同度是因子载荷矩阵的第i行的元素的平 方和。记为7. 因子分析数学模型：X=AF + £填空：1.因子分析是把每个原始变量分解为两部分因素，一部分是公共因子 另一部分为特殊因子2. 变量共同度是指因子载荷矩阵中一变量所在行元素平方和一。3. 公共因子方差与待殊因子方差之和为_1o4因子分析和主成分分析在求解过程中都是从出发 简答：1.比较因子分析和主成分分析模型的关系，说明它们的相似和不同之处。2. 能否将

20、因子旋转的技术用于主成分分析，使主成分有更鲜明的实际背 景：不能，用了就是因子分析，旋转之后不叫主成分（这一句就行），公因子的 方差不等于特征值，因此不能旋转。3. 因子分析中为什么要进行因子旋转通过因子旋转，可以使每个变量只在 一个公共因子上有较大的载荷，因此因子分析模型是适用的。4. 什么是因子得分因子得分有何作用在因子分析中，得出公共因子后，可 以根据原始变量计算出各个样本（个体）在每个因子上的得分，称为因子得分， 因子得分可以有多种求解方法，计算出因子得分后，可以把各个因子作为新的变 量用于其他分析，也可以来进行综合评价等。第九章、对应分析1对应分析：也称关联分析、R-Q型因子分析，通

21、过分析由定性变量构成的交互汇 总表来揭示变量间联系。可以揭示同一变量的各个类别之间的差异，以及不同变 量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各 元素的比例结构以点的形式在较低维的空间中表示出来。它最大特点是能把众多 的样品和众多的变量同时作到同一张图解上，将样品的大类及其属性在图上直观 而又明了地表示出来，具有直观性。2.对应分析方法的优缺点：（1）定性变量划分的类别越多，这种方法的优越性 越明显（2）揭示行变量类间与列变量类间的联系（3）将类别的联系直观地表现 在图形中（4）不能用于相关关系的假设检验（5）维数有研究者自定（6）受极端 值的影响 第十章:1. 研究两组随机变量之间的相关性用典型相关分析。典型相关分析就是分别构造各组变量的适当线性组合，将两组变量的相关性转化为两个变量的相关性。数学 表现为：最大；U和V分别来自两组变量的线性组合。2. 课件P21页例题。第十一章多重多元回归分析Puv一. 回归分析的功能及涵义：回归分析是研究一个（或多个）因变量对于一个或 多个其他变量（即自变量）的依存关系，并用数学模型加以模拟，目的在于根据 已知的或在多次重复抽样中固定的解释变量之值，估计、预测因变量的总体平均 值。二. 回归分析的研究思路和步骤：根据研究问题的性质、