多元统计分析心得及多元统计分析重点

多元统计分析读书心得聚类分析聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析(clusteranalysis)是一组将研究对象分为相对同质的群组(clusters)的统计分析技术。聚类分析也叫分类分析(classificationanalysis)或数值分类(numericaltaxonomy)。聚类分析方法认为，在所研究的统计总体中，各样品或指标(变量)之间存在着程度不同的相似性(亲琉关系)，因此可以根据一批样品的多个观测指标，具休找到一些能够度量其相似程度的统计量，并依据这些统计量完成事物的分类。具体的方法，是按样品或指标的相似性或亲疏关系，逐级地归并即聚类，每次的归并聚成一个新的类.直到把全部的样品或指标聚成一类，形成一个由小类逐步到大类的分类系统为止二若将聚类过程的结果绘成一张分类图谱并进行分析、则就可以完成整个聚类分析过程。它的主要应用有：聚类分析在商业上被用来发现不同的客户群，并且通过购买模式刻画不同的客户群的特征。在生物上聚类分析被用来动植物分类和对基因进行分类，获取对种群固有结构的认识。在地理上，聚类能够帮助在地球中被观察的数据库商趋于的相似性。聚类分析在因特网上被用来在网上进行文档归类来修复信息等等。下面来简要介绍一下曲国庆和姜玉春写的聚类分析及其在土地利用分类上的应用，它利用系统聚类分析的基本原理，并根据实际的土地申报登记和土地利用的调查资料，选择反映住宅建设和占地情况的人均占地面积、平均年建房率、建设用地利用率、反映耕地分布和占有情况的人均耕地面积、当地经济状况等为聚类指标，探讨聚类分析的模式相似性测度，计算方法和步骤。这其中涉及了很多问题，如样本数据的采集、统计、标准化和样本相似度测度的选择及确定，文章最后给出了土地利用聚类分析的计算方法和步骤。读何晓群编著的多元统计分析和张文璋编著的实用统计分析方法与SPSS应用得出的一些体会如下：在聚类分析这一章，张文璋编的多元更具有系统性和层次性，比如他将聚类分析方法用一个表格的形式表现出来，让不同方法之间的区别与联系一目了然，同时，他将理论分析和SPSS软件操作结合在一起，都进行了仔细的讲述。回归分析在数量分析中，我们经常会看到变量与变量之间存在着一定的联系，而不只是前面所讨论的单个变量的某些孤立的特性，如均值、方差的特性等。我们要了解的是变量之间是如何发生相互影响的，这就是所谓的相关分析和回归分析。回归分析（regressionanalysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法，运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。下面来介绍一下回归分析的步骤:1根据预测目标，确定自变量和因变量2建立回归预测模型3进行相关分析4检验回归预测模型，计算预测误差5计算并确定预测值以吴良欢和方勇等写的长期施用化肥与有机肥对土壤肥力影响的回归分析为例，该文章对1985～1994年持续27季稻-稻-麦轮作制下不同氮、磷、钾化肥和有机肥用量定位试验中20个不同施肥处理土壤作了肥力测定,采用回归分析法研究了长期施用化肥及有机肥对土壤肥力的影响，它结合不同施肥处理土壤养分肥力性状的编码值数据，不同施肥处理土壤经27季作物种植后，其有机质含量，氮、磷、钾全量与速效养分含量差异明显，这有利于进行施肥量与土壤养分肥力间的回归分析，用计算机建立土壤养分肥力与氮、磷、钾、有机肥用量(以编码值表示)的线性回归方程,并作回归系数的显著性检验，以探明长期施用氮、磷、钾化肥及有机肥对土壤养分肥力因子变化的定量关系。判别分析和Logistic回归判别分析是在分类确定的条件下，根据某一研究对象的各种特征值判别其类型归属问题的一种多变量统计分析方法。其基本原理是按照一定的判别准则，建立一个或多个判别函数，用研究对象的大量资料确定判别函数中的待定系数，并计算判别指标。据此即可确定某一样本属于何类。在陈舜华写的逐步Logistic判别分析中，他介绍用极大似然估计对Logistic判别分析中的变量进行逐步筛选的方法，筛选过程是在对判别系数作似然比检验的基础上进行的，在变量向前选入与向后剔除的每一步中都用到这种检验，他先介绍了Logistic判别的矩阵模型，又介绍了逐步Logistic判别模型，最后研究从1954年到1983年二月与九月广州的蔬菜上市量，以分析春淡(以三月为代表)及秋淡(已九月为代表)的气象成因。在张初兵写的判别分析与Logistic回归的模拟比较中，他利用随机模拟方法，研究判别分析和Logistic回归分类的回判正确率。模拟结果显示，Logistic回归的回判正确率优于判别分析。随着随机误差的增大，Logistic回归与判别分析的回判正确率差异逐渐减小。随机误差超过一定界限，Logistic回归的回判正确率低于判别分析。在随机模拟的基础上，引入修正Logistic回归分类，模拟结果显示,修正Logistic回归分类略优于Logistic回归。多元统计分析重点宿舍版第一讲：多元统计方法及应用；多元统计方法分类（按变量、模型、因变量等）多元统计分析应用选择题：①数据或结构性简化运用的方法有：多元回归分析，聚类分析，主成分分析，因子分析②分类和组合运用的方法有：判别分析，聚类分析，主成分分析③变量之间的相关关系运用的方法有：多元回归，主成分分析，因子分析，④预测与决策运用的方法有：多元回归，判别分析，聚类分析⑤横贯数据：因果模型多元统计分析方法选择题：①多元统计方法的分类：1）按测量数据的来源分为：横贯数据（同一时间不同案例的观测数据），纵观数据（同样案例在不同时间的多次观测数据）2）按变量的测度等级（数据类型）分为：类别（非测量型）变量，数值型（测量型）变量3）按分析模型的属性分为：因果模型，相依模型4）按模型中因变量的数量分为：单因变量模型，多因变量模型，多层因果模型第二讲：计算均值、协差阵、相关阵；相互独立性第三讲：主成分定义、应用及基本思想，主成分性质，主成分分析步骤主成分定义：何谓主成分分析就是将原来的多个指标（变量）线性组合成几个新的相互无关的综合指标（主成分），并使新的综合指标尽可能多地反映原来的指标信息。主成分分析的应用：（1）数据的压缩、结构的简化；（2）样品的综合评价，排序主成分分析概述——思想：①（1）把给定的一组变量X1,X2,…XP,通过线性变换，转换为一组不相关的变量Y1，Y2，…YP。（2）在这种变换中，保持变量的总方差（X1，X2，…Xp的方差之和）不变，同时，使Y1具有最大方差，称为第一主成分；Y2具有次大方差，称为第二主成分。依次类推，原来有P个变量，就可以转换出P个主成分（3）在实际应用中，为了简化问题，通常找能够反映原来P个变量的绝大部分方差的q（q<p）个主成分。主成分性质：1）性质1：主成分的协方差矩阵是对角阵：（2）性质2：主成分的总方差等于原始变量的总方差（3）性质3：主成分Yk与原始变量Xi的相关系数为：ρ（YK,Xi）=kσii主成分分析的具体步骤：①将原始数据标准化；②建立变量的相关系数阵；③求的特征根为，相应的特征向量为；④由累积方差贡献率确定主成分的个数（m），并写出主成分为，第四讲：因子分析定义，因子载荷统计意义，因子分析模型及假设，因子旋转因子分析定义：因子分析就是通过对多个变量的相关系数矩阵的研究，找出同时影响或支配所有变量的共性因子的多元统计方法。因子载荷统计意义：1．因子载荷的统计意义对于因子模型我们可以得到，与的协方差为：==如果对作了标准化处理，的标准差为1，且的标准差为1，因此（7.6）那么，从上面的分析，我们知道对于标准化后的，是与的相关系数，它一方面表示对的依赖程度，绝对值越大，密切程度越高；另一方面也反映了变量对公共因子的相对重要性。了解这一点对我们理解抽象的因子含义有非常重要的作用。2．变量共同度的统计意义设因子载荷矩阵为，称第行元素的平方和，即（7.7）为变量的共同度。由因子模型，知 （7.8）这里应该注意，（7.8）式说明变量的方差由两部分组成：第一部分为共同度，它描述了全部公共因子对变量的总方差所作的贡献，反映了公共因子对变量的影响程度。第二部分为特殊因子对变量的方差的贡献，通常称为个性方差。如果对作了标准化处理，有（7.9）3、公因子的方差贡献的统计意义设因子载荷矩阵为，称第列元素的平方和，即为公共因子对的贡献，即表示同一公共因子对各变量所提供的方差贡献之总和，它是衡量每一个公共因子相对重要性的一个尺度。因子分析模型及假设数学模型：每一个变量都可以表示成公共因子的线性函数与特殊因子之和，即：Xi=ai1*F1+a12*F2+…+aim*Fm+εi(i=1,2,…,p)式中的F1，F2,…Fm称为公共因子，εi称为Xi的特殊因子。该模型可用矩阵表示为：X=AF+ε，且满足：（1）m≤p(2)Cov(F,)=0,即公共因子与特殊因子是不相关的；（3）DF=D(F)==Im,即各个公共因子不相关且方差为1；（4）D=D()=，即各个特殊因子不相关，方差不要求相等。因子旋转因子旋转的目的：初始因子的综合性太强，难以找出因子的实际意义，因此需要通过坐标旋转，使因子负荷两极分化，要么接近于0，要么接近于∓1，从而降低因子的综合性，使其实际意义凸现出来，以便于解释因子。因子旋转的基本方法：一类是正交旋转（保持因子间的正交性，3种，常用最大方差旋转），一类是斜交旋转（因子间不一定正交）公共因子提取个数：（1）选特征值大于等于1的因子（主成分）作为初始因子，通过求响应的标准化正交特征向量来计算因子载荷（2）碎石图：删去特征值变平缓的那些因子（3）累计方差贡献率大于85%第五讲：聚类类型，系统聚类、K-均值聚类思想及步骤，系统聚类方法，相似性测度方法聚类类型：根据分类的对象可将聚类分析分为：系统Q型与R型（即样品聚类与变量聚类）系统聚类、K-均值聚类思想及步骤：①系统聚类的基本思想：距离相近的样本（或变量）先聚成类，距离相远的后聚成类，过程一直进行下去，每个样品（或变量）总能聚到合适的类中。②聚类过程及步骤：假设总共有n个样品（或变量），第一步将每个样品（或变量）独自聚成一类，共有n类；第二步根据所确定的样品（或变量）“距离”公式，把距离较近的两个样品（或变量）聚合为一类，其它的样品（或变量）仍各自聚为一类，共聚成n-1类；第三步将“距离”最近的两个类进一步聚成一类，共聚成n-2类；…，以上步骤一直进行下去，最后将所有的样品（或变量）全聚成一类。最后可以画谱系图分析。③快速聚类的基本思想，步骤：（也称为K-均值法，逐步聚类，迭代聚类），基本思想是将每一个样品分配给最近中心（均值）的类中，具体的算法步骤如下：（1）将所有的样品分成K个初始类；（2）通过欧氏距离将某个样品划入离中心最近的类中，并对获得样品与失去样品的类，重新计算重心坐标。（3）重复步骤2，直到所有的样品都不能再分配时为止。系统聚类方法：最短距离法（单连接），最长距离法（完全连接），中间距离法，类平均法（组间平均连接法），可变类平均法，重心法，可变法，离差平方和法相似性测度方法：不同样本相似性度量：距离测度里包括：明氏，马氏，和兰式不同变量相似度的度量：包括：夹角余弦，相关系数。第六讲：判别分析及各判别方法思想，判别分析假设条件，距离判别与贝叶斯判别关系判别分析定义：一种进行统计判别和分组的技术手段。它可以就一定数量案例的一个分组变量和相应的其他多元变量的已知信息，确定分组与其他多元变量之间的数量关系，建立判别函数(discriminantFunction)。然后便可以利用这一数量关系对其他已知多元变量信息、但未知分组类型所属的案例进行判别分组。各判别方法思想：①距离判别：求新样品X到G1的距离与到G2的距离之差，如果其值为正，X属于G2；否则X属于G1②Bayes判别：由于个总体出现的先验概率分别为，则用规则来进行判别所造成的总平均损失为（4.12）所谓Bayes判别法则，就是要选择，使得（4.12）式表示的总平均损失达到极小。③Fisher判别的基本思想和步骤：从K个总体中抽取具有p个指标的样品观测数据，借助方差分析的思想构造一个线性判别函数：U(X)=，其中系数=（1，2，…,p）’确定的原则是使得总体之间区别最大，而使每个总体内部的离差最小。有了线性判别函数后，对于一个新的样品，将它的p个指标值代入线性判别函数式中求出U(X)值，然后根据判别一定的规则，就可以判别新的样品属于哪个总体。判别分析假设条件：判别分析的假设之一，是每一个判别变量（解释变量）不能是其他判别变量的线性组合。即不存在多重共线性问题。判别分析的假设之二，是各组变量的协方差矩阵相等。判别分析最简单和最常用的形式是采用线性判别函数，它们是判别变量的简单线性组合。在各组协方差矩阵相等的假设条件下，可以使用很简单的公式来计算判别函数和进行显著性检验。判别分析的假设之三，是各判别变量之间具有多元正态分布，即每个变量对于所有其他变量的固定值有正态分布。在这种条件下可以精确计算显著性检验值和分组归属的概率。当违背该假设时，计算的概率将非常不准确。距离判别与贝叶斯判别关系：距离判别中两个总体的距离判别规则为：，而贝叶斯判别规则为：，二者唯一差别仅在于阀值点，从某种意义上讲，距离判别是贝叶斯判别的特殊情形。题型及分数：一、判断对错并改正（4题，8分）二、不定项选择（10题，20分）三、简答题（4题，32分）（六选四）主成分基本思想，系统聚类，K-均值聚类基本思想及过程，判别分析及费希尔基本思想，比较聚类与回归、判别，因子分析及因子旋转聚类与回归、判别：①判别与回归：联系：都是根据已有数据判别未来趋势。区别：多元回归的因变量是数值型变量，且自变量可是0-1变量；判别分析的因变量是类别型变量，而自变量不是0-1变量②判别与聚类：聚类分析：类别未知，利用样本确定分组数及所属类别；判别分析：类别数及意义已知，还能“预测”新样本所属类别；聚类中加进一个变量需要对类进行更新，重新计算与其他类的距离，而判别对新样本进行判别后，不更新所属的类。四、计算题（1题，10分）计算样本均值、协差阵、相关阵五、分析题（2题，30分）（四选二）