主成分分析与因子分析法.ppt

主成分分析和因子分析，主要内容，主成分分析，因子分析附件：主成分分析和因子分析的区别，主成分分析，主成分分析概述了主成分分析的基本原理，主成分分析的计算步骤，1。主成分分析概述，假设你是一家公司的财务经理，我已经掌握了该公司的所有数据，包括许多变量，如固定资产、营运资本、每次贷款的金额和期限、各种税费、工资支出、原材料消耗、产值、利润、折旧、员工人数、劳动分工和员工受教育程度等。如果你被要求向你的上级或相关方介绍公司的情况，你能把这些指标和数字按原样公布出来吗？当然不是。报告什么？人们发现在如此多的变量中，有许多是相关的。人们希望找到一些“代表”来描述他们。这种有许多变量的数据需要高度概括，应该用几个指标清楚地解释这种情况。主成分分析(PCA)和因子分析(FACT)是减少变量维数以促进描述、理解和分析的方法。主成分分析，也称为主成分分析，是一种通过降维来简化数据结构的方法：如何将多个变量转化为几个综合变量(综合指标)，这些变量能够反映原始多个变量的大部分信息，并且其中包含的信息不会相互重叠，也就是说，它们应该相互独立，互不相关。这些综合变量被称为不可观察的因素或主成分，也就是说，它们不是具体的变量，而是若干指标的综合。在介绍主成分分析之前，先看看下面的例子。什么是主成分分析？下表(部分)列出了53名学生在数学、物理、化学、中文、历史和英语方面的成绩。根据这个例子中可能提出的问题，这个数据表中的六个变量可以用一个或两个综合变量来表示吗？这一两个综合变量包含多少原始信息？事实上，上述问题在通常的研究中经常遇到。它所涉及的问题可以扩展到企业、学校和地区的分析、评估、排名和分类。例如，对于n个样本的综合评价，有许多可选的指标来描述样本的特征，这些指标往往具有一定的相关性(既不是完全独立的，也不是完全相关的)，这给研究带来了极大的不便。如果选择了太多的指标，将增加分析的难度和复杂性。如果选择的指标太少，可能会遗漏对样本有较大影响并影响结果可靠性的指标。在相关分析的基础上，利用主成分分析法寻找几个新的独立综合指标，减少指标数量，区分样本之间的差异。(1)主成分分析的几何解释(2)主成分分析的基本思想(1)主成分分析的几何解释，其中数据点是六维的；也就是说，每个观察点都是6维空间中的一个点。希望6维空间将由低维空间来表示。首先假设只有两个维度，即只有两个变量，中文分数(x1)和数学分数(x2)，它们分别由横坐标和纵坐标表示。每个学生都是二维坐标系中的一个点。因为在实际应用中，往往会有不同维度的指标，所以在计算之前，我们必须首先消除维度的影响并对原始数据进行标准化。为了标准化样本数据，应该计算样本数据的平均值和方差。对数据矩阵y进行标准化，即对每个指标成分进行标准化转换，转换公式为：其中，样本均值：样本标准差：原始变量经过标准化后成为新变量，均值为零，方差为1。对于二维空间，二维空间中n个归一化样本的分布通常是具有长轴和短轴的椭圆。数据几乎没有变化右边是它的散点图，椭圆倾斜45度。如果坐标轴X1和X2旋转45，则新坐标系中的点的坐标(Y1，Y2)与原始坐标(X1，X2)具有以下关系：Y1和Y2是新坐标系中X1和X2、的线性组合，可以发现尽管散点图的形状没有改变，但是新的随机变量Y1和Y2不再相关。此外，大多数点沿着Y1轴分散，并且Y1轴方向上的变化大(即，Y1的变化大)，而Y2轴方向上的变化相对小(即，Y2的变化小)。在上面的例子中，Y1和Y2是原始变量X1和X2的第一主成分和第二主成分。事实上，第一主成分Y1基本上反映了X1和X2的主要信息，因为新坐标系中的图中每个点的Y1坐标基本上代表了这些点的分布，所以Y1可以被选为新的综合变量。当然，如果Y2也被选为综合变量，Y1和Y2反映X1和X2的所有信息。(2)主成分分析的基本思想如果对一个问题的研究涉及p指数，表示为X1，x2，由这p个随机变量构成的随机向量是x=(x1，x2，XP)，并且x的平均向量被假定为，并且协方差矩阵被假定为。让y=(y1，y2，yp)是通过x的线性变换获得的复合随机向量，即(1)让I=(i1，I2，IP)，a=(1，2，式(1)(2)中有、(2)、23和(3)，可以看出，对原始变量可以进行任何线性变换，不同线性变换得到的复合变量y的统计特性明显不同。每个易应尽可能地反映p个原始变量的信息。方差通常用来衡量“信息”。易方差越大，包含的信息越多。从等式(3)可以看出，将系数向量I扩展任意倍数将使Yi的方差无限增加。为了消除这种不确定性，添加了约束：24。为了有效地反映原始变量的信息，y的不同分量中包含的信息不应该重叠。总而言之，等式(1)的线性变换需要满足以下约束：(1)即，I=1，2，(2)当满足约束条件(1)时，Y1的方差最大；Y2在满足约束条件(1)且Y1不相关的情况下具有大的方差；Yp是在满足约束条件(1)的条件下，方差在各种线性组合中达到最大值，并且与Y1、Y2，Yp-1。合成变量Y1，Y2，通过满足上述约束而获得的YP分别被称为第一主成分、第二主成分，原始变量的第P个主成分，各成分的方差在总方差中的比例依次递减。在实际的研究工作中，为了简化系统结构，只选择了前几个方差较大的主成分。(1)计算相关系数矩阵(2)计算特征值和特征向量(3)计算主成分贡献率和累积贡献率(4)计算主成分负荷(1)计算相关系数矩阵rij(i，j=1，2，p)作为原始变量xi和xj的归一化相关系数，rij=rji，其计算公式为、(3.5.3)、(3.5.4)、(2)计算特征值和特征向量。1.求解特征值方程，找出特征值并按数量级排列。2.分别找出特征值对应的特征向量。要求是=1，即向量的第J个分量，即单位向量。(3)计算主成分贡献率和累积贡献率的主成分分析将P个随机变量的总方差分解为P个不相关随机变量的方差之和1 2 P，那么属于第一主成分(由第一主成分解释)的总方差的比例称为第一主成分的贡献率。该定义称为前M个主成分的累积贡献率，它衡量前M个主成分对原始变量的解释程度。(4)当主成分负荷与主成分之间不相关时，主成分负荷是主成分zi与变量xj、FactorAnalysis (FA)之间的相关系数，因子分析概述因子分析的模型附后：主成分分析与因子分析的区别，(1)因子分析概述、因子分析和主成分分析都是基于统计分析，但它们是完全不同的。主成分分析是通过坐标变换提取主成分，即将一组相关变量转化为一组自变量，并将主成分表示为原始观测变量的线性组合。因子分析法是建立一个因子模型，将原始观测变量分解成因子的线性组合。因此，因子分析是主成分分析的发展。(2)因子分析模型。就处理方法而言，窄因子分析法通常类似于主成分分析法。所有的变量都应该被归一化，并且在原始变量归一化之后的相关矩阵应该被找到。主要区别在于在建立线性方程时所考虑的方法。因子分析是以回归方程的形式将变量表示为因子的线性组合，并使因子数m小于原变量的维数p，从而简化模型结构。该方法包括以下步骤：对原始数据进行归一化，找到归一化数据的相关矩阵，找到相关矩阵的特征值和特征向量，计算方差贡献率和累积方差贡献率，确定因子，旋转因子，利用原始线性组合找到每