最新主成分分析讲义课件

主成分分析讲义主成分分析讲义1

§1

基本思想

主成分概念首先由KarlParson在1901年引进，当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。用途：在回归分析、聚类分析、判别分析中降维；简化对样本进行排序的问题。

§1基本思想主成分概念首先2最新主成分分析讲义课件3最新主成分分析讲义课件4最新主成分分析讲义课件5最新主成分分析讲义课件6最新主成分分析讲义课件7最新主成分分析讲义课件8•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴••••••••••••••••••••••••••••••9•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••10••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••11•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••12

如果我们将轴和轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴和。如果我们将轴和轴先平移，再同时按逆时针13

根据旋转变换的公式：根据旋转变换的公式：14Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。Fl，F2除了可以对包含在Xl，X2中的信息起15§3主成分的推导及性质

一、两个线性代数的结论

1、若A是p阶实对称阵，则一定可以找到正交阵U，使其中是A的特征根。§3主成分的推导及性质一、两个线性代数的结论1、若A162、若上述矩阵的特征根所对应的单位特征向量为

则实对称阵属于不同特征根所对应的特征向量是正交的，即有令2、若上述矩阵的特征根所对应的单位特征向量为17

二、主成分的推导

（一）

第一主成分设X的协方差阵为由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得二、主成分的推导（一）第一主成分设X的协方差18

其中1，2，…，p为Σx的特征根，不妨假设12

…p

。而U恰好是由特征根相对应的特征向量所组成的正交阵。

下面我们来看，是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。其中1，2，…，p为Σx的特征根，不妨假设19设有P维正交向量设有P维正交向量20最新主成分分析讲义课件21

当且仅当a1=u1时，即时，有最大的方差1。因为Var(F1)=U’1xU1=1。

如果第一主成分的信息不够，则需要寻找第二主成分。当且仅当a1=u1时，即22（二）

第二主成分在约束条件下，寻找第二主成分

因为所以

则，对p维向量，有（二）第二主成分在约束条件下，23

所以如果取线性变换：

则的方差次大。

类推所以如果取线性变换：则的方差次大。24写为矩阵形式：写为矩阵形式：25§4主成分的性质一、均值二、方差为所有特征根之和

说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。

协方差矩阵的对角线上的元素之和等于特征根之和。§4主成分的性质一、均值二、方差为所有特征根之和26

三、精度分析1）贡献率：第i个主成分的方差在全部方差中所占比重，称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。三、精度分析1）贡献率：第i个主成分的方差27

我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，…，Fk（k≤p）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量80%－85％以上的信息量为依据，即当累积贡献率≥80%（85％）时的主成分的个数就足够了。最常见的情况是主成分为2到3个。我们进行主成分分析的目的之一是希望用尽可能少的主成28四、原始变量与主成分之间的相关系数

四、原始变量与主成分之间的相关系数

29

可见，和的相关的密切程度取决于对应线性组合系数的大小。可见，和的相关的密切程度取决于对应线30最新主成分分析讲义课件31五、原始变量被主成分的提取率

前面我们讨论了主成分的贡献率和累计贡献率，他度量了F1，F2，……，Fm分别从原始变量X1，X2，……XP中提取了多少信息。那么X1，X2，……XP各有多少信息分别F1，F2，……，Fm被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，……XP的关系时，可以讨论F1分别与X1，X2，……XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。五、原始变量被主成分的提取率前面我们讨论了主成32

如果我们仅仅提出了m个主成分，则第i原始变量信息的被提取率为：是Fj能说明的第i原始变量的方差是Fj提取的第i原始变量信息的比重如果我们仅仅提出了m个主成分，则第i原始变量33

例

设的协方差矩阵为解得特征根为，，，，

第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。例设的协方差矩阵为解得特征根为34Xi与F1的相关系数平方Xi与F2的相关系数平方信息提取率xi10.9250.855000.8552-0.9980.996000.996300111Xi与F1的平方Xi与F2的相关系数平方信息提取率xi10.35

定义：如果一个主成分仅仅对某一个原始变量有作用，则称为特殊成分。如果一个主成分所有的原始变量都起作用称为公共成分。(该题无公共因子）定义：如果一个主成分仅仅对某一个原始变量有作用36六、载荷矩阵

六、载荷矩阵

37§5主成分分析的步骤在实际问题中，X的协方差通常是未知的

第一步：由X的协方差阵Σx，求出其特征根，即解方程，可得特征根。一、基于协方差矩阵§5主成分分析的步骤在实际问题中，X的协方差通常是未知的38

第二步：求出分别所对应的特征向量U1，U2，…，Up，第三步：计算累积贡献率，给出恰当的主成分个数。第四步：计算所选出的k个主成分的得分。将原始数据的中心化值:

代入前k个主成分的表达式，分别计算出各单位k个主成分的得分，并按得分值的大小排队。第二步：求出分别所对应的特征向量U1，U2，…，Up，39

二、基于相关系数矩阵如果变量有不同的量纲，则必须基于相关系数矩阵进行主成分分析。不同的是计算得分时应采用标准化后的数据。二、基于相关系数矩阵40主成分spss:对18个区县得中职教育水平进行排名：主成分spss:对18个区县得中职教育水平进行排名：41最新主成分分析讲义课件42最新主成分分析讲义课件43最新主成分分析讲义课件44最新主成分分析讲义课件45最新主成分分析讲义课件46最新主成分分析讲义课件47最新主成分分析讲义课件48最新主成分分析讲义课件49最新主成分分析讲义课件50最新主成分分析讲义课件51

结束语谢谢大家聆听！！！52

结束语谢谢大家聆听！！！52主成分分析讲义主成分分析讲义53

§1

基本思想

主成分概念首先由KarlParson在1901年引进，当时只对非随机变量来讨论的。1933年Hotelling将这个概念推广到随机变量。用途：在回归分析、聚类分析、判别分析中降维；简化对样本进行排序的问题。

§1基本思想主成分概念首先54最新主成分分析讲义课件55最新主成分分析讲义课件56最新主成分分析讲义课件57最新主成分分析讲义课件58最新主成分分析讲义课件59最新主成分分析讲义课件60•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴••••••••••••••••••••••••••••••61•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••62••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••63•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••64

如果我们将轴和轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴和。如果我们将轴和轴先平移，再同时按逆时针65

根据旋转变换的公式：根据旋转变换的公式：66Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的个点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。Fl，F2除了可以对包含在Xl，X2中的信息起67§3主成分的推导及性质

一、两个线性代数的结论

1、若A是p阶实对称阵，则一定可以找到正交阵U，使其中是A的特征根。§3主成分的推导及性质一、两个线性代数的结论1、若A682、若上述矩阵的特征根所对应的单位特征向量为

则实对称阵属于不同特征根所对应的特征向量是正交的，即有令2、若上述矩阵的特征根所对应的单位特征向量为69

二、主成分的推导

（一）

第一主成分设X的协方差阵为由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得二、主成分的推导（一）第一主成分设X的协方差70

其中1，2，…，p为Σx的特征根，不妨假设12

…p

。而U恰好是由特征根相对应的特征向量所组成的正交阵。

下面我们来看，是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。其中1，2，…，p为Σx的特征根，不妨假设71设有P维正交向量设有P维正交向量72最新主成分分析讲义课件73

当且仅当a1=u1时，即时，有最大的方差1。因为Var(F1)=U’1xU1=1。

如果第一主成分的信息不够，则需要寻找第二主成分。当且仅当a1=u1时，即74（二）

第二主成分在约束条件下，寻找第二主成分

因为所以

则，对p维向量，有（二）第二主成分在约束条件下，75

所以如果取线性变换：

则的方差次大。

类推所以如果取线性变换：则的方差次大。76写为矩阵形式：写为矩阵形式：77§4主成分的性质一、均值二、方差为所有特征根之和

说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。

协方差矩阵的对角线上的元素之和等于特征根之和。§4主成分的性质一、均值二、方差为所有特征根之和78

三、精度分析1）贡献率：第i个主成分的方差在全部方差中所占比重，称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。三、精度分析1）贡献率：第i个主成分的方差79

我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，…，Fk（k≤p）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量80%－85％以上的信息量为依据，即当累积贡献率≥80%（85％）时的主成分的个数就足够了。最常见的情况是主成分为2到3个。我们进行主成分分析的目的之一是希望用尽可能少的主成80四、原始变量与主成分之间的相关系数

四、原始变量与主成分之间的相关系数

81

可见，和的相关的密切程度取决于对应线性组合系数的大小。可见，和的相关的密切程度取决于对应线82最新主成分分析讲义课件83五、原始变量被主成分的提取率

前面我们讨论了主成分的贡献率和累计贡献率，他度量了F1，F2，……，Fm分别从原始变量X1，X2，……XP中提取了多少信息。那么X1，X2，……XP各有多少信息分别F1，F2，……，Fm被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，……XP的关系时，可以讨论F1分别与X1，X2，……XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。五、原始变量被主成分的提取率前面我们讨论了主成84

如果我们仅仅提出了m个主成分，则第i原始变量信息的被提取率为：是Fj能说明的第i原始变量的方差是Fj提取的第i原始变量信息的比重如果我们仅仅提出了m个主成分，则第i原始变量85

例

设的协方差矩阵为解得特征根为，，，，

第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。例设的协方差矩阵为解得特征根为86Xi与F1的相关系数平方Xi与F2的相关系数平方信息提取率xi10.9250.855