主成分分析讲解

主成份分析PrincipalComponentAnalysis10/10/20231Dept.ofEpidemio&Biostat,SPH第1页统计学研究关键问题？没有变异就没有统计学变异VARIATION变异性度量？方差Variance10/10/20232Dept.ofEpidemio&Biostat,SPH第2页方差是什么？方差是信息多元世界信息度量多元世界每个变量包括信息不一样在单个变量方差不变情况下，各变量有关性越高，则总信息量越小10/10/20233Dept.ofEpidemio&Biostat,SPH第3页10/10/20234Dept.ofEpidemio&Biostat,SPH第4页两组变量:AB10/10/20235Dept.ofEpidemio&Biostat,SPH第5页10/10/20236Dept.ofEpidemio&Biostat,SPH第6页10/10/20237Dept.ofEpidemio&Biostat,SPH第7页10/10/20238Dept.ofEpidemio&Biostat,SPH第8页协方差矩阵样本方差-协方差矩阵（variance-covariancematrix)假如有p个观测变量，则样本协方差矩阵记为10/10/20239Dept.ofEpidemio&Biostat,SPH第9页有关矩阵假如有p个观测变量，其有关阵（correlationmatrix）记为10/10/202310Dept.ofEpidemio&Biostat,SPH第10页矩阵特性值和特性向量对于方阵A，如存在常数λ及非零向量x，使Ax=λx则λ为A一种特性值，x为与λ对应矩阵A特性向量。n介方阵有n对特性值和特性向量10/10/202311Dept.ofEpidemio&Biostat,SPH第11页正交向量（阵）、单位向量正交向量：a=(a1,…,ap)’,b=(b1,…,bp)’

假如a’b=a1b1+…+apbp=0,则称a、b正交单位向量：向量a=(a1,…,ap)’，假如

则称a为单位向量正交阵：n阶方阵A，假如AA’=A’A=I，则称A为n阶正交阵，其中A列向量（或行向量）为正交向量，A’=A-110/10/202312Dept.ofEpidemio&Biostat,SPH第12页10/10/202313Dept.ofEpidemio&Biostat,SPH第13页10/10/202314Dept.ofEpidemio&Biostat,SPH第14页10/10/202315Dept.ofEpidemio&Biostat,SPH第15页10/10/202316Dept.ofEpidemio&Biostat,SPH第16页10/10/202317Dept.ofEpidemio&Biostat,SPH第17页主成份概念1设x1,x2,…xp为p维随机变量X1,X2,…,Xp标准化变换假如其线性组合满足则称C1为第一主成份。10/10/202318Dept.ofEpidemio&Biostat,SPH第18页主成份概念2若满足则称C2为第二主成份。类似地，共可得到至多p个主成份。10/10/202319Dept.ofEpidemio&Biostat,SPH第19页主成份性质主成份C1，C2，…，Cp具有下列性质：(1)主成份间互不有关Corr(Ci，Cj)=0i

j

(2)组合系数(ai1，ai2，…，aip)组成向量为单位向量(3)各主成份方差是依次递减，

即Var(C1)≥Var(C2)≥…≥Var(Cp)(4)总方差不增不减，即Var(C1)+Var(C2)+…+Var(Cp)=Var(x1)+Var(x2)+…+Var(xp)=p

10/10/202320Dept.ofEpidemio&Biostat,SPH第20页主成份计算1设R为X1,X2,…,Xp有关矩阵，则存在

1≥

2≥…≥

p≥0，和正交矩阵A，使其中

i为有关矩阵R第i个特性值(eigenvalue)(ai1ai2…aip)’则是有关矩阵R第i个特性值对应特性向量。

i是第i个主成份方差10/10/202321Dept.ofEpidemio&Biostat,SPH第21页主成份计算2记主成份C=(C1C2…Cp)’，则C=A’x即10/10/202322Dept.ofEpidemio&Biostat,SPH第22页主成份计算3因子模型（全分量模型）体现形式x=AC即矩阵A称载荷矩阵，反应各主成份对原始变量x各分量奉献大小。10/10/202323Dept.ofEpidemio&Biostat,SPH第23页主成份计算4因子模型（全分量模型）体现--主成份标准化变换10/10/202324Dept.ofEpidemio&Biostat,SPH第24页x=Lclij是xj和ci有关系数SPSS输出系数矩阵是L矩阵10/10/202325Dept.ofEpidemio&Biostat,SPH第25页实例

都市男生形态资料

数据来自方积乾《医学统计学与电脑试验》第2版

10/10/202326Dept.ofEpidemio&Biostat,SPH第26页实例主成份分析成果—

特性值（方差）及其百分比10/10/202327Dept.ofEpidemio&Biostat,SPH第27页主成份分析成果—L矩阵注意L矩阵下标，是列在前，行在后10/10/202328Dept.ofEpidemio&Biostat,SPH第28页主成份分析成果—L矩阵注意L矩阵下标，是列在前，行在后10/10/202329Dept.ofEpidemio&Biostat,SPH第29页主成份和原变量关系观测L矩阵，由有关系数做出解释主成份未必一定有明确解释选用有明确解释主成份做综合指标，主成份得分就是“综合指数”。10/10/202330Dept.ofEpidemio&Biostat,SPH第30页实例标准化第一主成份得分10/10/202331Dept.ofEpidemio&Biostat,SPH第31页实例标准化第一、二主成份得分10/10/202332Dept.ofEpidemio&Biostat,SPH第32页主成分数目保留—降维问题保存多少个主成份取决于保存部分累积方差在方差总和中所占百分比，它标志着前几个主成份概括信息之多寡。事实上就是看特性值λ大小保存多少主成份为宜主要根据实际问题和经验决定，并无严格统计规则。10/10/202333Dept.ofEpidemio&Biostat,SPH第33页主成份分析应用综合指标抽取主成份回归处理自变量严重共线性问题主成份鉴别处理解释变量共线性问题变量聚类中计算相同系数因子分析10/10/202334Dept.ofEpidemio&Biostat,SPH第34页例--主成份回归22例胎儿受精龄（Y,周）与胎儿外型测量指标：均数标准差身高（X1,cm）33.059.71头围（X2,cm）23.266.86体重（X3,g）936.9690.3试求由X1、X2、X3推算Y回归方程10/10/202335Dept.ofEpidemio&Biostat,SPH第35页例--主成份回归成果1直接做多重回归成果10/10/202336Dept.ofEpidemio&Biostat,SPH第36页X1、X2、X3与Y有关阵X1X2X3YX11X20.9981X30.9440.9471Y0.9520.9430.970110/10/202337Dept.ofEpidemio&Biostat,SPH第37页主成份分析成果

(表中上半部系数矩阵是矩阵A)C1C2C3x10.58-0.420.70x20.58-0.39-0.71x30.570.820.02Var2.930.070.00%97.542.380.08累积%97.5499.9210010/10/202338Dept.ofEpidemio&Biostat,SPH第38页主成份回归分析成果10/10/202339Dept.ofEpidemio&Biostat,SPH第39页主成份回归分析成果附：本例岭回归分析成果10/10/202340Dept.ofEpidemio&Biostat,SPH第40页主成份分析应用实例—综合指标选用计算主成份两种办法

假如各变量具有同等尺度对角化有关阵还是协方差阵？

从协方差阵计算主成份一种特点：方差大变量倾向在第一主成份上占有更大比重（与从有关阵计算比较）。10/10/202341Dept.ofEpidemio&Biostat,SPH第41页广州市某年空气污染指标主成份分析成果从有关阵计算从协方差阵计算C1C2C3C1’C2’C3’iNOx0.63-0.17-0.760.93-0.30-0.21iTSP