第8章 主成分分析与因子分析-1.ppt

第8章主成分分析与因子分析 许多变量之间存在的相关性增加了问题分析的复杂性在减少分析变量的同时 尽量减少原变量包含信息的损失 对所收集的资料做全面的分析 主要内容 8 1主成分分析8 2因子分析8 3主成分分析和因子分析的区别8 4用SPSS进行因子分析 主成分和因子分析的作用 能降低所研究的数据空间的维数 可以用于分析筛选回归变量 构造回归模型 可以用于综合评价 可以对变量进行分类 主成分分析 能尽可能多地反映原来变量的有用信息 且相互之间又是无关的综合变量称为主成分 PrincipalComponents 主成分分析就是考虑各变量间的相互关系 利用降维的思想把多个变量转换成较少的几个互不相关的综合变量 主成分分析原理 消除自变量间的相关性与多维变量降维 坐标的旋转变换 正交阵 降维依据 原理一般化 满足 1 2 正交或U为正交阵 主成分分析的基本问题 每一个主成分的系数如何确定如何保留主成分如何解释主成分 主成分系数的确定 前提假设第一主成分的系数满足 系数的求解 结论 若的特征值为对应的单位特征向量为 P个主成分分别是 且 1 2 或 或 主成分的保留 主成分总方差 原变量的总方差 选择主成分的方法 1 贡献率 第i个主成分的贡献率为累积贡献率 前m个主成分的累积贡献率为选择法则 保留m个主成分 Cumulative 选择主成分的方法 2 特征值大于1原则 主成分的解释 原始指标对各个主成分的贡献相关系数 保留的m个主成分对每个的贡献 主成分与原指标间的相关系数 m个主成分对原始指标的贡献 前m个主成分提取了中的信息 由相关阵求主成分 指标标准化 标准化变量的协方差阵为原始变量的相关系数阵 求相关系数阵的特征值 和对应的单位特征向量 写出p个主成分的表达式 前m个主成分的累积贡献率 主成分与标准化指标间的相关系数 主成分的方差 样本主成分的计算过程 求数据的样本相关系数阵求的特征值和所对应的单位特征向量 CorrelationMatrices Eigenvalues Eigenvectores 主成分的系数 写出p个主成分的表达式 是样本均值 是样本标准差 标准化数据 主成分分析的SPSS实现 AnalyzeDataReductionFactor 选取 点击 点击 点击1 点击2 点击 可选 可选 可选 点击 点击 点击1 点击2 点击3 可选 主成分的最后得分 点击1 点击2 计算 命名 计算 命名 主成分的应用 1 利用第一主成分进行综合评价 第一主成分的系数都大于0 第一主成分的贡献率超过80 正向指标 主成分综合评价的SPSS实现 TransformRankCases 点击1 点击2 可选 点击 主成分的应用 2 利用第一 二个主成分进行分类 若第一 二个主成分的累积贡献率 则由第一 二个主成分在平面上的散点图 实现对样品进行分类 主成分分类的SPSS实现 GraphsScatter 确定 点击 点击 点击 主成分回归 应用3 第二步 第三步 第一步 建立因变量与自变量之间的回归方程 若发现自变量之间有多重共线性 利用的样本数据进行主成分分析 若主成分的累积贡献率超过85 则建立与的回归方程 科研案例 韩伟 李钢 主成分分析在地区科技竞争力评测中的应用 数理统计与管理 2006 25 5 512 517 摘要 近年来对于科技竞争力的研究在国内方兴未艾 其中对于科技竞争力的评测是众多学者研究的重点和热点 也是各级决策者最为关心 最为重要的课题之一 本文根据科技竞争力概念和内涵来确定评测指标体系的构成要素 建立了评测指标体系 并利用主成分分析方法对采集来的数据进行分析 得到最终的评测结果 国际竞争力 企业目前和未来在各自的环境中 以比其国内和国外的竞争者更具有吸引力的价格和质量来进行设计生产并销售产品一级提供服务的能力和机会 1985年世界经济论坛是一个国家 地区 或企业在世界市场上均衡的生产出比其他竞争对手更多财富的能力 1994年的 国际竞争力报告 一般综合评价过程 区域科技竞争力评价 三级指标体系将第三级指标混在一起 对混合指标进行主成分分析 利用少数的几个主成分代替第二级指标利用DELPH和AHP方法确定第二级主成分指标和一级指标的权重最后得到每个一级指标的综合值和每个地区科技竞争力的综合值 因子分析 3 公因子的求法 因子分析的基本理论 因子分析与主成分分析的共同点 因子分析 1904年CharlesSpearman发表 对智力测验得分进行统计分析 因子分析探讨存在相关关系的变量之间是否存在不能直接观测到但是对可观测指标的变化起支配作用的潜在因子 Factor 的分析方法商店有一系列指标 但是消费者真正关心的是 商店的环境 服务和商品的价格 这三者就是因子 因子分析 做什么 因子分析是多元统计分析中处理降维的一种统计方法 它主要将具有错综复杂关系的变量或者样品综合为数量较少的几个因子 以再现原始变量与因子之间的相互关系依据处理的对象不同 可以分为两类 R型因子分析 对变量做降维处理Q型因子分析 对样本做降维处理处理 因子分析基本思想 研究变量的相关矩阵内部结构找出能控制所有变量的少数几个公共因子去描述多个变量之间的相关关系根据相关性大小把变量分组组内变量相关性较高不同组变量相关性较低 R型因子分析 因子分析的几个概念1 因子载荷 2 变量共同度 3 公因子Fj的方差贡献 4 因子旋转因子旋转的目的是为了使得因子载荷阵的结构简化 便于对公共因子进行解释 这里所谓的结构简化是使每个变量仅在一个公共因子上有较大的载荷 而在其余公共因子上载荷比较小 这种变换因子载荷阵的方法称为因子轴的旋转 旋转的方法有很多种 如正交旋转 斜交旋轴等 5 因子得分 因子分析的一般步骤 第一步 确定分析变量 收集数据资料第二步 对原始数据进行标准化第三步 计算所选变量的相关系数矩阵第四步 提取公因子 主成分分析 累计方差贡献率大于80 或方差大于1的因子第五步 因子旋转 坐标变换是每个原始变量在尽可能少的公因子之间有密切联系第六步 计算公因子得分 方便进行进一步的综合评估 聚类分析和回归分析 利用因子分析过程分析各个城市的市政设施建设情况 执行 Analyze DimensionReduction Factor 命令 弹出如图所示对话框 结果解读1 相关系数表 变量间相关性很高 2 KMO检验和Bartlett球形检验结果表 大于0 7 适合因子分析 拒绝原假设 认为各变量之间不独立 KMO Kaiser Meyer Olkin 检验 是用于比较变量间简单相关系数和偏相关系数的指标 KMO统计量是取值在0和1之间 当所有变量间的简单相关系数平方和远远大于偏相关系数平方和时 KMO值接近1 KMO值越接近于1 意味着变量间的相关性越强 原有变量越适合作因子分析 当所有变量间的简单相关系数平方和接近0时 KMO值接近0 KMO值越接近于0 意味着变量间的相关性越弱 原有变量越不适合作因子分析 Kaiser给出了常用的kmo度量标准 0 9以上表示非常适合 0 8表示适合 0 7表示一般 0 6表示不太适合 0 5以下表示极不适合 巴特利特球形检验法 以相关系数矩阵为基础的 零假设 相关系数矩阵是一个单位阵 即相关系数矩阵对角线的所有元素均为1 所有非对角线上的元素均为零 巴特利特球形检验法的统计量是根据相关系数矩阵的行列式得到的 如果该值较大 且其对应的相伴概率值小于指定的显著水平时 拒绝零假设 表明相关系数矩阵不是单位阵 原有变量之间存在相关性 适合进行主成分分析 反之 零假设成立 原有变量之间不存在相关性 数据不适合进行主成分分析 3 变量共同度表 该变量95 4 的信息已经被提取 4 主成分表 5 碎石图 提取一个主成分即可 6 因子负荷矩阵 7 因子得分系数矩阵 因子分析的数学模型 一般形式 矩阵形式 可实测的p个指标 不可观测的公共因子 载荷矩阵 特殊因子包括随机误差 限制条件 1 2 3 因子分析的具体任务 因子模型的性质 的协方差阵与因子载荷阵之间的关系 因子载荷阵不是唯一的 若是一个正交阵 则仍是一个载荷阵 性质1 性质2 因子载荷阵的可得性 正交旋转使新的因子更有意义 因子模型中各系数以及因子的意义 因子载荷的统计意义若因子模型中各个变量都已经标准化 则 因子载荷是第i个变量与第j个公共因子的相关系数 它反映了变量依赖于公共因子的程度 变量公共度若因子模型中各个变量都已经标准化 则 变量的公共度 公共度刻画了全部公共因子对变量原始信息的解释能力 公共度越大公共因子的解释能力就越强 公共因子的方差贡献公共因子对X的总贡献为 公共因子的贡献是一个公共因子对诸变量总方差的贡献 它衡量这个公因子的相对重要程度 公因子的求法 确定初始公因子 因子旋转 计算因子得分 初始公因子的确定 主成分法 初始公因子是 载荷的初始估计 为样本相关系数阵的特征值 是对应的单位正交特征向量 若m个主成分的累计贡献率大于85 则初始载荷阵为 此时 因子旋转 理想的因子载荷阵 近似1 近似1 近似0 近似0 根据的特质命名 根据的特质命名 方差最大化正交旋转 m 2时的正交化旋转 正交变换 方差最大准则 初始载荷阵 是 的方差 是 的方差 m 3的正交化旋转 初始载荷阵 正交旋转作用于1 2列 正交旋转作用于2 3列 正交旋转作用于1 3列 第1轮旋转结果 第2轮旋转结果 第3轮旋转结果 每一列元素平方的方差和 每一列元素平方的方差和 每一列元素平方的方差和 旋转终止条件 载荷阵 YES 旋转停止 新一轮旋转 因子得分 相关系数阵 因子载荷阵 标准化 因子得分原理 科研案例 候文 对应用主成分进行综合评价的探讨 数理统计与管理 2006 25 2 211 214 利用主成分分析进行综合评价的优点 可以消除各指标不同量纲的影响可以消除各指标之间相关性所带来的信息重叠克服了人为确定权重的问题 主成分分析的缺陷 第一主成分的代表性与原变量间的相关性有关 若相关性大 则第一主成分的贡献率大 综合评价的效果也较好 反之 效果较差 第一主成分的系数可能有正有负 与评价的实际意义不符 主成分综合评价法的改进 主成分分析与因子分析的区别 1 主成分分析是将主成分表示为原观测变