多元统计分析第四章课件第二部分

小结

方差逐步减少的p个线性无关的主成分为:

写为矩阵形式：§3主成分的性质1.主成分向量的均值和协方差矩阵2.主成分的总方差3.原始变量Xi与主成分Fk之间的相关系数4.原始变量被主成分的提取率5.原始变量对主成分的影响1.主成分向量的均值和协方差矩阵协方差矩阵V(F)=Λ其中Λ=diag(λ1,λ2,⋯,λp)，即V(Fi)=λi,i=1,2,⋯,p，且F1,F2,⋯,Fp互不相关。均值2.主成分的总方差由于所以或总方差中属于第i主成分Fi

（或被Fi所解释）的比例为： 称为主成分Fi的贡献率。第一主成分F1的贡献率最大，表明它解释原始变量

X1,X2,⋯,Xp的能力最强，而F2,F3,⋯,Fp的解释能力依次递减。主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有p个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。前m个主成分的贡献率之和

称为主成分F1,F2,⋯,Fm的累计贡献率，它表明F1,F2,⋯,Fm解释X1,X2,⋯,Xp的能力。通常取（相对于p）较小的m，使得累计贡献达到一个较高的百分比（如80％～90％）。此时，F1,F2,⋯,Fm可用来代替X1,X2,⋯,Xp，从而达到降维的目的，同时信息的损失却不多。

我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，…，Fk（k≤p）代替原来的p个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量80%以上的信息量为依据，即当累积贡献率≥80%时的主成分的个数就足够了。最常见的情况是主成分为2到3个。83、原始变量与主成分之间的相关系数

9

可见，和的相关的密切程度取决于对应线性组合系数的大小。104、原始变量被主成分的提取率前面我们讨论了主成分的贡献率和累计贡献率，他们度量了F1，F2，……，Fm分别从原始变量X1，X2，……，Xp中提取了多少信息。那么X1，X2，……，Xp各有多少信息分别F1，F2，……，Fm被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，……，Xp的关系时，可以讨论F1分别与X1，X2，……，Xp的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。

如果我们仅仅提出了m个主成分，则第i原始变量信息的被提取率为：是Fj

能说明的第i

原始变量的方差;是Fj提取的第i

原始变量信息的比重.4、原始变量被主成分的提取率例1

设的协方差矩阵为:

解得特征根为:

第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。Xi与F1的相关系数平方Xi与F2的相关系数平方信息提取率Xi10.9250.855000.8552-0.9980.996000.9963001115.原始变量对主成分的影响 Fk=t1kX1+t2kX2+⋯+tpkXp

称tik为第k主成分Fk在第i个原始变量Xi上的载荷，它度量了Xi对Fk的重要程度。在解释主成分时，我们需要考察载荷，同时也应考察一下相关系数。方差大的那些变量与具有大特征值的主成分有较密切的联系，而方差小的另一些变量与具有小特征值的主成分有较强的联系。通常我们取前几个主成分，因此所取主成分会过于照顾方差大的变量，而对方差小的变量却照顾得不够。例2设X=(X1,X2,X3)′的协方差矩阵为

经计算，Σ的特征值及特征向量为λ1=109.793，λ2=6.469，λ3=0.738

相应的主成分分别为:F1=0.305X1+0.041X2+0.951X3F2=0.944X1+0.120X2−0.308X3F3=−0.127X1+0.992X2−0.002X3

可见，方差大的原始变量X3在很大程度上控制了第一主成分F1，方差小的原始变量X2几乎完全控制了第三主成分F3，方差介于中间的X1则基本控制了第二主成分F2。F1的贡献率为

这么高的贡献率首先归因于X3的方差比X1和X2的方差大得多，其次是X1,X2,X3相互之间存在着一定的相关性。F3的特征值相对很小，表明X1,X2,X3之间有这样一个线性依赖关系：−0.127X1+0.992X2−0.002X3≈c

其中c=−0.127μ1+0.992μ2−0.002μ3为一常数。§4主成分分析的步骤在实际问题中，X的协方差通常是未知的，样品有

第一步：由X的协方差阵Σx，求出其特征根，即解方程，可得特征根。一、基于协方差矩阵

第二步：求出分别所对应的特征向量U1，U2，…，Up，第三步：计算累积贡献率，给出恰当的主成分个数。第四步：计算所选出的k个主成分的得分。将原始数据的中心化值:

代入前k个主成分的表达式，分别计算出各单位k个主成分的得分，并按得分值的大小排队。一、基于协方差矩阵二、基于相关系数矩阵

如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。21从R出发的主成分性质(1)E(F*)=0，V(F*)=Λ*，其中

。(3)变量

与主成分

之间的相关系数

即有

因此，在解释主成分

时，由相关矩阵R求得的载荷

和相关系数

所起的作用是完全相同的，只需选其一用来作主成分解释即可。(4)主成分

对变量

的贡献率(5) 。例3

在例2中，X的相关矩阵 R的特征值及特征向量为

相应的主成分分别为:的贡献率为

和

累计贡献率为现比较本例中从R出发和例2中从Σ出发的主成分计算结果。从R出发的的贡献率0.705明显小于从Σ出发的F1的贡献率0.938，事实上，原始变量方差之间的差异越大，这一点也就倾向于越明显。可用标准化前的原变量表达如下：可见，在原变量X1,X2,X3上的载荷相对大小与例2中Fi在X1,X2,X3上的载荷相对大小之间有着非常大的差异。这说明，标准化后的结论完全可能会发生很大的变化，因此标准化不是无关紧要的。

根据主成分分析的定义及性质，我们已大体上能看出主成分分析的一些应用。概括起来说，主成分分析主要有以下几方面的应用。

1．主成分分析能降低所研究的数据空间的维数。即用研究m维的F空间代替p维的X空间(m＜p)，而低维的F空间代替高维的X空间所损失的信息很少。即：使只有一个主成分Fl(即m＝1)时，这个Fl仍是使用全部X变量(p个)得到的。例如要计算Fl的均值也得使用全部x的均值。在所选的前m个主成分中，如果某个Xi的系数全部近似于零的话，就可以把这个Xi删除，这也是一种删除多余变量的方法。§6

主成分分析的应用27

2．有时可通过因子负荷aij的结构，弄清X变量间的某些关系。

3.

多维数据的一种图形表示方法。我们知道当维数大于3时便不能画出几何图形，多元统计研究的问题大都多于3个变量。要把研究的问题用图形表示出来是不可能的。然而，经过主成分分析后，我们可以选取前两个主成分或其中某两个主成分，根据主成分的得分，画出n个样品在二维平面上的分布况，由图形可直观地看出各样品在主分量中的地位。284．由主成分分析法构造回归模型。即把各主成分作为新自变量代替原来自变量x做回归分析。

5．用主成分分析筛选回归变量。回归变量的选择有着重要的实际意义，为了使模型本身易于做结构分析、控制和预报，好从原始变量所构成的子集合中选择最佳变量，构成最佳变量集合。用主成分分析筛选变量，可以用较少的计算量来选择量，获得选择最佳变量子集合的效果。29例4在制定服装标准的过程中，对128名成年男子的身材进行了测量，每人测得的指标中含有这样六项：身高（x1）、坐高（x2）、胸围（x3）、手臂长（x4）、肋围（x5）和腰围（x6）。所得样本相关矩阵列于表1。x1x2x3x4x5x6x11.000x20.791.000x30.360.311.000x40.760.550.351.000x50.250.170.640.161.000x60.510.350.580.380.631.000表1 男子身材六项指标的样本相关矩阵经计算，相关阵的前三个特征值、相应的特征向量以及贡献率列于表2。表2 的前三个特征值、特征向量以及贡献率特征向量

：身高0.469−0.3650.092

：坐高0.404−0.3970.613

：胸围0.3940.397−0.279

：手臂长0.408−0.365−0.705

：肋围0.3370.5690.164

：腰围0.4270.3080.119特征值3.2871.4060.459贡献率0.5480.2340.077累计贡献率0.5480.7820.859前三个主成分分别为从表2中可以看到，前两个主成分的累计贡献率已达78.2％，前三个主成分的累计贡献率达85.9％，因此可以考虑只取前面两个或三个主成分，它们能够很好地概括原始变量。第一主成分对所有（标准化）原始变量都有近似相等的正载荷，故称第一主成分为（身材）大小成分。第二主成分在上有中等程度的正载荷，而在上有中等程度的负载荷，称第二主成分为形状成分（或胖瘦成分）。第三主成分在上有大的正载荷，在上有大的负载荷，而在其余变量上的载荷都较小，可称第三主成分为臂长成分。由于第三主成分的贡献率不高（7.65％）且实际意义也不太重要，因此我们一般可考虑取前两个主成分。由于非常小，所以存在共线性关系：例5如下八项男子径赛运动记录：

x1：100米（秒）

x5：1500米（分）

x2：200米（秒）

x6：5000米（分）

x3：400米（秒）x7：10000米（分）

x4：800米（秒）

x8：马拉松（分）表3 八项男子径赛运动记录的样本相关矩阵x1x2x3x4x5x6x7x8x11.000x20.9231.000x30.8410.8511.000x40.7560.8070.8701.000x50.7000.7750.8350.9181.000x60.6190.6950.7790.8640.9281.000x70.6330.6970.7870.8690.9350.9751.000x80.5200.5960.7050.8060.8660.9320.9431.000表4 的前三个特征值、特征向量以及贡献率特征向量

：100米0.3180.5670.332

：200米0.3370.4620.361

：400米0.3560.248−0.560

：800米0.3690.012−0.532

：1500米0.373−0.140−0.153

：5000米0.364−0.3120.190

：10000米0.367−0.3070.182

：马拉松0.342−0.4390.263特征值6.6220.8780.159贡献率0.8280.1100.020累计贡献率0.8280.9370.957例6对数据的相关矩阵进行主成分分析。经计算，x1,x2,⋯,x8的样本相关矩阵

列于表5。

的前三个特征值、特征向量以及贡献率列于表6。表5 消费性支出八个变量的样本相关矩阵x1x2x3x4x5x6x7x8x11.000x20.2471.000x30.6980.2581.000x40.4680.4230.6211.000x50.8280.0860.5850.5311.000x60.7690.2550.8560.6840.7081.000x70.670−0.2010.5690.3140.8000.6471.000x80.8770.3490.6670.6280.7760.7450.5251.000表6 的前三个特征值、特征向量以及贡献率特征向量

：食品0.401−0.0770.415

：衣着0.1320.7490.332

：家庭设备用品及服务0.3750.065−0.442

：医疗保健0.3200.345−0.478

：交通和通讯0.388−0.2320.279

：娱乐教育文化服务0.4060.027−0.310

：居住0.326−0.496−0.034

：杂项商品和服务0.3960.0960.345特征值5.0981.3520.574贡献率0.6370.1690.072累计贡献率0.6370.8060.878表7 按第一主成分排序的31个地区地区地区江西−2.234−1.867新疆−0.6970.647河南−1.947−0.388四川−0.5330.041黑龙江−1.9270.636广西−0.251−2.058吉林−1.8590.151山东−0.1470.983山西−1.8480.404福建0.201−1.337内蒙古−1.8260.509湖南0.219−0.203安徽−1.796−0.519江苏0.407−0.311甘肃−1.5490.526