2011暑期集训专题七——因子分析专题.ppt

20112011数学建模集训班专题数学建模集训班专题 曾九孙 2011/7/13 专题七 因子分析 v1 基本概念 v2 概述 v3 因子分析 v4 实例分析 1 基本概念 v(1)均值（mean） 均值作为一组数据的代表，反映该组数据平均水平 ，计算公式如下： 性质1： Matlab命令：mean(x) v(2)方差（variance） 方差用于衡量数据的集中或分散程度，公式为： Matlab命令：var(x) 标准差（standard deviation）是观测值与均值间的平 均距离，公式为： Matlab命令：std(x) 图1.不同方差数据示意图 v(3)协方差（variance） 协方差用于衡量数据的协变趋势，公式为： matlab命令：cov(x,y) v(4)均方误差（mean square error） 用于衡量实际数据与预测数据的偏离程度，公式为 ： v(5)数据标准化 假定有n组样本，m个变量，其原始数据矩阵X为： 对矩阵进行标准化，其公式为： 从而使得矩阵的每一列均值为0，方差为1 标准化2 v(6)相关系数(correlation coefficient) 相关系数是对于变量而言，第j个和第k个变量之间 的相关系数公式为： 相关系数大小在区间-1,1之间，也可写为： v相关系数几何意义 1.余弦定理： 2.两点间距离公式： v对于标准化数据，原点为 ，记为点A，计算X与Y的夹 角有 从而有 图2.夹角余弦示意图 表1.北京、天津、上海非农业人口与建成区面积 2因子分析(factor analysis)概述 v目的 v用少数几个变量刻画较多变量间的协方差关系 v基本思路 v根据相关性大小分组，s.t.组内变量相关性较高，不同组 间变量相关性较低 v分类 vR型因子分析：刻画变量之间的相关性 vQ型因子分析：刻画样本之间的相关性 3因子分析的数学模型 v相关矩阵 v考虑n个样本，m个变量的标准化数据矩阵 -第j个变量的第i个样本，右边列向量 表示第j个变量在n个样本上的观测值，视为n维空间的一 个点或向量 v相关系数或协方差可以表示为 表示为内积形式为 m个变量间的相关系数构成一个m维矩阵 v考虑两个变量的情形，有 易知 半正定矩阵-矩阵特征值非负；若m个变量线性无关，则R 正定，为对角矩阵，特征值全正。 对于标准化数据，可通过相关系数研究协方差矩阵的结构。 3.1因子模型及其基本定理 v因子分析的目标是将原来的m个变量表示成为若干个因子（ 新变量）的线性组合形式： 式中 为互不相关（正交）的因子。 公因子：反映变量之间的相关信息 单因子：反映相应变量的特有信息 公因子数：正整数，p3时变换过程非常复杂。 v方差极大正交旋转 因子坐标系正交旋转的目的主要是寻求适当正交变换矩阵 ， 使得 中矩阵B的结构尽可能简单：每列仅有少数几 个元素绝对值接近1，大部分接近于0，即要求因子仅与少 量变量的关系密切。 v方差极大准则（Varimax）：为运算方便，要求B矩阵的每行 元素的平方有尽可能大的方差。 v四次幂极大正交旋转：主要是清理因子载荷矩阵的行。此外 还可以清理载荷矩阵的列，这涉及到因子载荷的四次幂，故 称四次幂最大准则（Quartimax）。 3.3 斜交因子解 v有时由于数据自身的原因，正交因子旋转无法达到前述目的 ，需要进行斜交因子旋转。 v斜主因子解：因子轴 分别穿过数据组的重心位置，但 不满足 。 v斜参因子解：找到斜主因子解之后，就可以建立斜参因子轴 即斜交因子参考轴：令 ，它们都可以通过某组 正交因子解的斜交变换得到。 v斜交因子解的原则是尽可能使变量落在主轴附近，或使得变 量在参考轴上投影为0。 图3.因子轴斜交投影示意图 v几点说明 通过主成分分析得到的主因子解是因子分析的基础，概念 还比较笼统，若仅仅满足于变量的约简与正交，这已经足 够了。但若需要开展某些系统分析，需要进一步求解；正 交因子解可以进一步给出清晰的因子-变量关系和因子结构 ， 若此时分析结论符合实际，则不必寻求斜交解；一般来说 ， 斜交因子解可以给出较符合实际的因子解的结构，据此可 以得到更符合实际的结论。 4 实例分析 v某层控铅锌矿品位高规模大，矿体赋存于古喀斯特裂隙溶洞 中。考察发现，矿区含银，且局部达到工业品味。为对该层 控铅锌矿开展综合评价，在矿体不同部位采集了4块样本分 别化验Pb，Zn，Ag的含量，再进行因子分析。标准化数据 见下表： 表3.标准化数据表 v首先计算主因子解（主成分） 数据表为矩阵形式即为 由此得相关系数矩阵 v由此得特征多项式 解得 图3.特征值递减折线图 v根据特征值求出相应的特征向量，进而得到因子载荷 和公因子及方差贡献表 图4.因子载荷图 成分得分系数矩阵，是载荷矩阵各列除以对应特征值得到的 结果，例如 至于成分得分协方差矩阵则是因子得分的相关系数，因子得 分表格如下： 从载荷表中可看出，第一因子方差贡献为2.778（92%），但 各个变量的载荷都很大；主成分分布图上，Ag距第一因子较 远，看不出变量之间的亲疏关系，需要做正交旋转。 v正交旋转 采用方差极大正交旋转(Varimax)方法，用原因子载荷矩阵 乘以变换矩阵T，即得旋转后的因子载荷矩阵： ，其 中 v至于成分得分系数矩阵，计算方法为 v正交变换后的因子载荷如下表所示： 图5.正交旋转后的因子载荷图 对比图4和图5可看出，相对于正交因子轴，斜交因子轴旋转 了39.5度，使得第一因子轴与变量Pb，Zn靠近，第二因子轴 与Ag接近，变量与因子的关系更为清晰，明确。 v斜交因子解 若进行因子旋转，则可以借助斜交因子参考轴得到斜交因 子解，常用的解法是Oblimin，结果如下： 在主因子解和正交因子解中，因子载荷即变量与因子间的 相关系数；斜交解中，因子载荷不再等于变量与因子相关 系数，可以得到两组参量： 一是因子图式矩阵(Factor Pattern)：相当于因子载荷，但绝 对值不限于0-1之间。因它不再是因子与变量的夹角余弦。 二是因子结构(Factor Structure)矩阵，是因子