《主成分分析讲解》PPT课件.ppt

主成分分析 Principal Component Analysis Date1Dept. of Epidemio & Biostat, SPH 统计学研究的核心问题？ 没有变异就没有统计学 变 异 VARIATION 变异性的度量 ？ 方差 Variance Date2Dept. of Epidemio & Biostat, SPH 方差是什么？ 方差是信息 多元世界的信息度量 多元世界的每个变量的包含信息不同 在单个变量方差不变的情况下，各变量相 关性越高，则总信息量越小 Date3Dept. of Epidemio & Biostat, SPH Date4Dept. of Epidemio & Biostat, SPH 两组变量: A B Date5Dept. of Epidemio & Biostat, SPH Date6Dept. of Epidemio & Biostat, SPH Date7Dept. of Epidemio & Biostat, SPH Date8Dept. of Epidemio & Biostat, SPH 协方差矩阵 样本的方差-协方差矩阵（variance-covariance matrix) 如果有p个观测变量 ， 则样本 的协方差矩阵记为 Date9Dept. of Epidemio & Biostat, SPH 相关矩阵 如果有p个观测变量 ，其相 关阵（correlation matrix）记为 Date10Dept. of Epidemio & Biostat, SPH 矩阵的特征值和特征向量 对于方阵A，如存在常数及非零向量x， 使 Ax= x 则则为为A的一个特征值值，x为为与对应对应 的矩 阵阵A的特征向量。 n介方阵阵有n对对特征值值和特征向量 Date11Dept. of Epidemio & Biostat, SPH 正交向量（阵）、单位向量 正交向量： a=(a1,ap), b=(b1,bp) 如果ab=a1b1+apbp=0,则称a、b正交 单位向量：向量a=(a1,ap)，如果 则称a为单位向量 正交阵：n阶方阵A，如果 AA=AA=I，则称A为n阶正交阵，其中 A的列向量（或行向量）为正交向量，A=A-1 Date12Dept. of Epidemio & Biostat, SPH Date13Dept. of Epidemio & Biostat, SPH Date14Dept. of Epidemio & Biostat, SPH Date15Dept. of Epidemio & Biostat, SPH Date16Dept. of Epidemio & Biostat, SPH Date17Dept. of Epidemio & Biostat, SPH 主成分的概念 1 设x1,x2,xp为 p 维随机变量 X1,X2,Xp 的标准化变换 如果其线性组合 满足 则称C1为第一主成分。 Date18Dept. of Epidemio & Biostat, SPH 主成分的概念 2 若 满足 则称C2为第二主成分。 类似地，共可得到至多 p 个主成分。 Date19Dept. of Epidemio & Biostat, SPH 主成分的性质 主成分 C1，C2，Cp 具有以下性质： (1)主成分间互不相关Corr(Ci，Cj)=0 i j (2) 组合系数(ai1，ai2，aip)构成的向量为单位 向量 (3)各主成分的方差是依次递减的， 即 Var(C1)Var(C2)Var(Cp) (4) 总方差不增不减， 即 Var(C1)+Var(C2)+ +Var(Cp) =Var(x1)+Var(x2)+ +Var(xp) =p Date20Dept. of Epidemio & Biostat, SPH 主成分的计算 1 设 R 为 X1,X2,Xp 的相关矩阵，则存在 12p0，和正交矩阵A，使 其中i为相关矩阵R的第i个特征值(eigenvalue) (ai1 ai2 aip)则是相关矩阵R的第i个特征值对应的特征向量 。 i是第i个主成分的方差 Date21Dept. of Epidemio & Biostat, SPH 主成分的计算 2 记主成分C=(C1 C2 Cp)，则 C=Ax 即 Date22Dept. of Epidemio & Biostat, SPH 主成分的计算 3 因子模型（全分量模型）表达形式 x=AC 即 矩阵A称载荷矩阵，反映各主成分对原始 变量x各分量的贡献大小。 Date23Dept. of Epidemio & Biostat, SPH 主成分的计算 4 因子模型（全分量模型）表达- 主成分标准化变换 Date24Dept. of Epidemio & Biostat, SPH x=Lc lij是xj和ci的相关系数 SPSS输出的系数矩阵是L矩阵 Date25Dept. of Epidemio & Biostat, SPH 实例 城市男生形态资料 数据来自方积乾医学统计学与电脑试验第2版 Date26Dept. of Epidemio & Biostat, SPH 实例主成分分析结果 特征值（方差）及其比例 Date27Dept. of Epidemio & Biostat, SPH 主成分分析结果L矩阵 注意L矩阵的下标，是列在前，行在后 Date28Dept. of Epidemio & Biostat, SPH 主成分分析结果L矩阵 注意L矩阵的下标，是列在前，行在后 Date29Dept. of Epidemio & Biostat, SPH 主成分和原变量的关系 观察L矩阵，由相关系数做出解释 主成分未必一定有明确的解释 选取有明确解释的主成分做综合指标， 主成分得分就是“综合指数”。 Date30Dept. of Epidemio & Biostat, SPH 实例的标准化第一主成分得分 Date31Dept. of Epidemio & Biostat, SPH 实例的标准化第一、二主成分得分 Date32Dept. of Epidemio & Biostat, SPH 主成分数目的保留降维问题 保留多少个主成分取决于保留部分的累 积方差在方差总和中所占百分比，它标 志着前几个主成分概括信息之多寡。 实际上就是看特征值 的大小 保留多少主成分为宜主要根据实际问题 和经验决定，并无严格统计规则。 Date33Dept. of Epidemio & Biostat, SPH 主成分分析的应用 综合指标的抽取 主成分回归 解决自变量严重共线性问题 主成分判别 解决解释变量的共线性问题 变量聚类中计算相似系数 因子分析 Date34Dept. of Epidemio & Biostat, SPH 例-主成分回归 22例胎儿受精龄（Y,周）与胎儿外型测 量指标： 均数 标准差 身高（X1, cm） 33.05 9.71 头围（X2, cm） 23.26 6.86 体重（X3, g） 936.9 690.3 试求由X1、X2、X3推算Y的回归方程 Date35Dept. of Epidemio & Biostat, SPH 例-主成分回归 结果1 直接做多重回归结果 Date36Dept. of Epidemio & Biostat, SPH X1、X2、X3与Y的相关阵 X1X2X3Y X11 X20.9981 X30.9440.9471 Y0.9520.9430.9701 Date37Dept. of Epidemio & Biostat, SPH 主成分分析结果 (表中上半部的系数矩阵是矩阵A) C1C2C3 x1 0.58 -0.42 0.70 x2 0.58 -0.39 -0.71 x3 0.57 0.82 0.02 Var 2.93 0.07 0.00 %97.54 2.38 0.08 累积积%97.54 99.92 100 Date38Dept. of Epidemio & Biostat, SPH 主成分回归分析结果 Date39Dept. of Epidemio & Biostat, SPH 主成分回归分析结果 附：本例岭回归分析结果 Date40Dept. of Epidemio & Biostat, SPH 主成分分析应用实例综合指标选取 计算主成分的两种方法 如果各变量具有同等尺度 对角化相关阵还是协方差阵？ 从协方差阵计算主成分的一个特点： 方差大的变量倾向在第一主成分上占 有更大的比重（与从相关阵计算比较） 。 Date41Dept. of Epidemio & Biostat, SPH 广州市某年空气污染指标的主成分分析结果 从相关阵计阵计 算从协协方差阵计阵计 算 C1C2C3C1C2C3 iNOx 0.63-0.17-0.76 0.93-0.30-0.21 iTSP 0.51 0.82 0.2