数学建模 聚类分析因子分析实例

1、多元统计分析中降维方法在四川社会福利中的应用由于计算机的发展和日常的广泛使用，多元分析方法也迅速应用于社会学、农业、医学、经济学、地质、气象等各领域。 在国外，从自然科学到社会科学的很多方面，多元分析方法被证实是非常有用的数据处理方法，在我国，多元分析在农业、气象、国家标准和误差分析等多方面的研究上取得了很大成果，引起了广泛的注意。 在很多领域的研究中，为了全面地系统地分析问题，综合地评价研究对象，我们经常需要考虑评价问题的多个指标(即变量)，因为变量之间可能有相关，所以如果采用集中的统计方法来划分多个变量，一次分析一个变量的话因此，有必要采用多变量分析的方法，同时分析所有变量的观测数据。 多

2、变量统计分析是同时研究多个变量间的相互关系，经过变量的综合处理，充分提取变量间的信息，进行综合分析和评价的统计方法。 多元统计分析法主要包括降维、分类、回归和其他统计思想。1 .多变量统计分析方法中降低维数的方法1 .概要多变量统计分析方法同时综合处理和分析多个变量的观察数据。 在不丢失有价值的信息的情况下，简化观测数据和数据结构，尽量简单地描述被研究对象，就能容易地解释复杂的现象。 同时，可以利用多变量统计分析中的聚类分析和判别分析，对变量和样本进行分类分组。 根据测量的特性和分类规则，将几个“类似”对象或变量分组。 多元统计分析也可以研究变量之间的依赖性。 即变量间关系的本质进行研究。 所

3、有变量都独立吗？ 还是一个或多个变量依赖于其他变量？ 是如何依赖的呢？ 通过观测变量数据的散布图，我们可以建立多重回归统计模型，确定变量之间的具体依赖性，并另外根据一个变量的观测值预测另一个变量或另一个变量的值对事物现象的发展。 最后，有必要建立一个假说，并验证以所建立的多种整体参数形式描述的一些特殊的统计假说。在多变量统计分析方法中，数据的简化和结构的简化实质上是降低数学维度的方法。 多元统计分析中的降维方法主要包括聚类分析、判别分析、主成分分析、因子分析、对应分析和典型相关分析等几种方法。 其中主成分分析和因子分析是综合评价最广泛有效的方法。 本文主要介绍这两种多元统计分析方法的应用。2主

4、成分分析2.1主成分分析的基本思想大部分实际问题中，要考察的变量很多，变量之间有一定的相关性。 主成分分析以损失少的部分的信息为代价，在留下大部分信息的基础上，将本来具有一定线性相关的几个指标压缩成少数不互相关的综合指标(主成分)，用原变量的少数线性组合来说明各主成分的实际背景和意义。 主成分分析浓缩了许多指标信息，降低了指标维数，简化了指标结构，深刻反映了问题的内在规律。2.2主成分分析的数学模型假设指标(变量) :与某事物的研究相关，该指标构成维的随机向量，其平均值和协方差矩阵分别是。进行线性变换，原变量的线性组合形成新的综合变量，用来表达，令人满意矩阵用：表示，由于通过线性变换得到的综合

5、变量的统计特性不同，为了达到良好的效果，最好方差尽可能大，新的综合变量彼此独立。 新的统一变量由以下原则决定：(1)(2)相互独立，即没有重复信息(3)在所有线性组合(系数满足上述方程式)中方差最大的是，在所有没有关系的线性组合中方差最大，在所有没有关系的线性组合中方差最大。在实际应用中，最初的几个方差通常选择较大的主成分，它会失去一些信息，但它会抓住主要矛盾并深入分析我们，从原始数据中提供了一些新信息，因此在一些实际问题的研究中获得了很大的好处，这种变量的数量2.3整体主成分的导出和性质在实际求出主成分时，经常根据原变量的协方差矩阵和相关矩阵的结构，从两个起点求出的主成分不同。2.3.1根据

6、协方差矩阵求主成分性质1 :作为矩阵，按大小顺序排列其特征值，作为与矩阵的各特征值对应的标准正交特征向量，对任意的向量性质2 :设随机向量协方差矩阵为与的特征值、矩阵的各特征值对应的标准正交向量，则第一主成分为：时。根据以上性质，把与原始变量的协方差矩阵非零特征量对应的正规化特征向量分别表示为系数向量，即，分别表示的第一主成分，第二主成分，。 第一主成分的充分条件如下(1)是下一个正交矩阵(2)的成分之间相互独立(3)的个成分分散依次减少。随机向量和随机向量之间有一个关系式不管其他特征值是否相等，对应的标准化特征向量总是存在，并因此能够总是找到对应的各特征值之间的彼此正交的特征向量。 将主成分

7、的求解变换为求出原变量的协方差矩阵的特征量和特征向量。性质3 :第一主成分的分散贡献率反映主成分提取原始变量总信息的比例。性质4 :主要成分的累积贡献率为()，反映了主要成分解释原始变量信息的比例。性质5 :其中，称为主成分对原始变量的载荷。 测定正确的重要性。性质6 :第一主成分和原始变量的相关系数称为因子负荷量，表示主成分中包含原始变量信息的比例，它与负荷成正比。2.3.2根据相关矩阵求主成分为了排除原始变量的不同维度和数量级的影响，对原始变量进行标准化变换其中，分别表示变量的期待和方差。令原始变量按如下方式标准化很明显有求出相关矩阵的特征量和对应的标准正交特征向量后，求出的主成分和原始变

8、量的关系式如下，2.4样品主成分的导出在实际研究中，总协方差矩阵和相关矩阵通常是未知的，所以必须从样本数据估计。 我有样品。 每个样品都有指标。 这样就可以得到数据了。 原始资料矩阵如下，样本协方差矩阵是总协方差矩阵的无偏差估计，且样本相关矩阵是总相关矩阵的估计。 如果原始数据矩阵被归一化，则从矩阵获得的协方差矩阵是相关矩阵。 因此，从相关矩阵求出主成分。根据整体主成分的定义，主成分的协方差如下这里是对角矩阵假定数据矩阵已经是标准化数据矩阵，则可以使用相关矩阵来替代协方差矩阵，并且可以由下式表示也就是说整理成齐次方程式也就是说即求出的新的综合变量(主成分)的方差是特征方程式的根，是相关矩阵的特

9、征量，分别是其特征向量的成分。 如果设特征量、与其对应的特征向量为，则相对方差为。 并且协方差由此，新的综合变量(主成分)相互无关，并且方差为、各自的第一主成分、第二主成分、第一主成分。 主成分的分散贡献等于对应的特征值。 利用样本数据计算主分量的过程变化为计算相关矩阵或协方差矩阵的特征值和特征向量的过程。2.5主成分分析的步骤2.5.1对原始变量进行归一化处理2.5.2计算标准化指标的相关系数矩阵2.5.3解相关系数矩阵的特征向量和特征值2.5.4计算各主要成分的分散贡献率及累积贡献率2.5.5确定主要成分的个数通常，根据实际的问题的需要，也可以将本来的变量的信息置换为累计贡献率前的成分，或

10、者选择所有的特征值大于1的成分作为主成分，根据特征值的变化，即根据SPSS输出的碎石图的转折点来决定选择主成分的个数。2.5.6对确定的主要成分说明实际意义2.5.7使用确定的主要成分的分散贡献率计算综合评价值，把被评价对象与排名进行比较。三因素分析3.1因素分析的基本思想因子分析按照相关性的大小对原变量进行分组，同一组内的变量之间的相关性高，不同组的变量之间的相关性低。 每个变量集表示基本结构(公共元素)，由无法观测的综合变量表示。 对于研究的一个具体问题，原始变量被分解为两部分之和。 一部分是少数无法观测的公共因子的线性函数，另一部分是与公共因子无关的特殊因子。3.2因子分析的数学模型如果

11、有指标，因子分析数学模型如下其中，是标准化的可观测的评价指标。 各指标公式中出现的称为共同因子，共同因子不能观测。 其含义必须根据具体问题进行说明。 因为是各对应指标特有的因子，所以称为特殊因子，与共同因子相互独立。 指标公共因子上的系数，称为因子载荷，因子载荷的统计意义是指标公共因子上的相关系数，表示与线性的相关度。用矩阵表示，如下所示其中，被称为因子载荷矩阵。统计意义如下：的第行元素表示指标依赖于各公共元素的程度。的列元素显示了公共元素与各指标之间的关联度。 因此，基于与该列绝对值大的因子的载荷相对应的指标，来说明该共同因子的实际意义。的行元素的平方和称为指标的共同度。的第列元素的平方和表

12、示公共因子对给定原始指标的方差的总和，并测量每个公共因子的相对重要性。 被称为共同因子的分散贡献率越大，共同因子越重要。3.3因素分析的步骤3.3.1对原始变量数据进行标准化处理3.2.2计算标准化指标的相关系数矩阵3.2.3解相关系数矩阵的特征向量和特征值3.2.4决定共用因子的个数选择特征值1的个数，或将基于累计方差贡献率85%的基准而决定的个数作为共用因子的个数3.2.5求解初始因子载荷矩阵常用的方法有主成分法、主轴因子法、极大似然法等。 本文用主成分法寻找雄因子的方法如下从相关矩阵求出主成分，设置变量，就能找到主成分，把得到的主成分从大到小排列，记为处于主成分和原始变量之间在此，是与随

13、机变量的相关矩阵的特征量相对应的特征向量的分量，特征向量彼此正交，可以获得从到的变换关系从可逆到的变换关系只保留前者的主要成分，将后者的主要成分置换为特殊的因子，即为了变换成适当的公共因子，需要将主成分变换成方差为1的变量令原则假定采样相关系数矩阵的特征量和与其对应的标准正交特征向量，系数载荷矩阵的一个估计如下通用度的估计如下。3.2.6因子模型的建立，这里是共同因子、特殊因子。3.2.7重新命名公共因子，说明公共因子的实际意义如果初始因子载荷矩阵很难解释公共因子的实际意义，先进行方差极大的正交旋转，然后基于旋转后得到的正交因子载荷矩阵进行说明。 即，根据指标的因子负荷的绝对值的大小、值的正负

14、符号来说明共同因子的意思。3.2.8旋转初始系数载荷矩阵由于系数负荷矩阵不唯一，所以旋转变换通过使初始系数负荷矩阵的各列或每行的元素的平方值接近0或1来简化系数负荷矩阵的结构并明确关系。 如果初始因子之间没有相关，则公共因子的解释能力可以用该因子的载荷平方的方差来测定，如果可以采用方差极大正交旋转法的初始因子之间有相关，则需要斜交旋转，通过旋转，可以得到比较理想的新的因子载荷矩阵。3.2.9将公共因子变为变量的线性组合，得到因子得分函数，系数都是标准化的原始变量和公共因子。 因子分数函数的估计值是其中是系数载荷矩阵，是原始变量的相关矩阵，是原始变量向量。3.2.10求出综合评价值，即总因子得分

15、估计值为其中，第一个公共系数的归一化权重。 也就是说3.2.11可以根据总因子得分的评价值对每个评价对象进行排序和比较。4主成分分析和因子分析的联系和差异4.1差异4.1.1方面的重点不同主成分分析通过变量的线性变换，忽略方差小的主成分，提取前面几个方差大的主成分来解释整体大部分信息的因子分析忽略特殊因子，重视少数无法观测的共同因子所代表的整体信息。4.1.2数学模型不同主成分分析中的主成分是原始变量的线性组合，其中，系数矩阵，即与相关矩阵的特征量对应的特征向量矩阵中的元素，表示原始变量的归一化数据，而因子分析中的公共因子通过将原始变量分解成公共因子和特殊因子两部分，来生成因子载荷矩阵，即公共

16、因子的个数、原始变量4.1.3主成分的各系数是唯一确定的、正交的，不能对系数矩阵进行任何旋转，系数的大小不表示原变量和主成分的相关程度，而因子模型的系数矩阵不唯一，是可旋转的，表示原变量和公共因子的关联度。4.1.4因子的旋转主成分分析可以从可观测的原变量直接求出主成分，可逆性因子分析中的载荷矩阵是不可逆的。 只能估计只能用可观测的原变量观测的共同因子，即共同因子得分的估计值等于因子得分系数矩阵与原观测变量归一化后的矩阵相乘的结果。 另外，主成分分析不能像因子分析那样进行因子旋转处理。4.1.5综合排名主成分分析一般根据第一主成分的得分排名，若第一主成分无法完全取代原始变量，则需要继续选择第二主成分、第三主成分等，主成分得分是将原始变量的标准化值代入主成分式而计算出的因子分析中，因子得分将原始变量的标准化值4.2联系方式因子分析是主成分分析的扩展，两种方法的起点都是变量的相关系数矩阵，以损失少的信息为前提，将存在强相关的变量合并成少数综合变量，这些综合变量相互独立，代表整体的压倒性多数的信息，深入研究综合的多变量统计方法。因为上述主分量可以被表示为原始观测变量的线性组合，并且是对