第十一讲主成分分析

第十一讲主成分分析第1页，课件共74页，创作于2023年2月研究需求：在社会经济的研究中，为了全面系统的分析和研究问题，必须考虑许多经济指标，这些指标能从不同的侧面反映我们所研究的对象的特征，但在某种程度上存在信息的重叠，具有一定的相关性。

第2页，课件共74页，创作于2023年2月一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。一

基本思想第3页，课件共74页，创作于2023年2月在进行主成分分析后，竟以97.4％的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析，得到下表：第4页，课件共74页，创作于2023年2月

F1F2F3iitF11

F201

F3001

i0.995-0.0410.057l

i-0.0560.948-0.124-0.102l

t-0.369-0.282-0.836-0.414-0.1121第5页，课件共74页，创作于2023年2月概念：

主成分分析是一种通过降维技术把多个指标约化为少数几个综合指标的综合统计分析方法，而这些综合指标能够反映原始指标的绝大部分信息，它们通常表现为原始几个指标的线性组合。

第6页，课件共74页，创作于2023年2月基本思想及意义哲学理念：抓住问题的主要矛盾。主成分分析将具有一定相关性的众多指标重新组合成新的无相互关系的综合指标来代替。通常数学上的处理就是将这P个指标进行线性组合作为新的综合指标。问题是：这样的线性组合会很多，如何选择？第7页，课件共74页，创作于2023年2月如果将选取的第一个线性组合即第一个综合指标记为F1

，希望它能尽可能多地反映原来指标的信息，即var(F1)越大，所包含的原指标信息就越多，F1的方差应该最大，称F1为第一主成分。第8页，课件共74页，创作于2023年2月如果第一主成分F1不足以代表原来p个指标的信息，再考虑选取F2即选择第二个线性组合。为了有效地反映原来的信息，F1中已包含的信息，无须出现在F2中，即cov(F1,F2)，称F2为第二主成分。仿此可以得到p个主成分。第9页，课件共74页，创作于2023年2月我们可以发现这些主成分之间互不相关且方差递减，即数据的信息包含在前若干个主成分中，因而只需挑选前几个主成分就基本上反映了原始指标的信息。这种既减少了变量的数目又抓住了主要矛盾的做法有利于问题的解决。第10页，课件共74页，创作于2023年2月二数学模型与几何解释假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，…，Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1，F2，…，Fk(k≤p），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。第11页，课件共74页，创作于2023年2月这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分分析通常的做法是，寻求原指标的线性组合Fi。简记为第12页，课件共74页，创作于2023年2月满足如下的条件：主成分之间相互独立，即无重叠的信息。即主成分的方差依次递减，重要性依次递减，即每个主成分的系数平方和为1。即第13页，课件共74页，创作于2023年2月•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴第14页，课件共74页，创作于2023年2月•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•第15页，课件共74页，创作于2023年2月••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•第16页，课件共74页，创作于2023年2月•••••••••••••••••••••••••••••••••••••主成分分析的几何解释平移、旋转坐标轴•••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••••第17页，课件共74页，创作于2023年2月为了方便，我们在二维空间中讨论主成分的几何意义。设有n个样品，每个样品有两个观测变量xl和x2，在由变量xl和x2所确定的二维平面中，n个样本点所散布的情况如椭圆状。由图可以看出这n个样本点无论是沿着xl轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl的方差和x2的方差定量地表示。显然，如果只考虑xl和x2中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。

第18页，课件共74页，创作于2023年2月如果我们将xl

轴和x2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。第19页，课件共74页，创作于2023年2月根据旋转变换的公式：第20页，课件共74页，创作于2023年2月旋转变换的目的是为了使得n个样品点在Fl轴方向上的离散程度最大，即Fl的方差最大。变量Fl代表了原始数据的绝大部分信息，在研究某经济问题时，即使不考虑变量F2也无损大局。经过上述旋转变换原始数据的大部分信息集中到Fl轴上，对数据中包含的信息起到了浓缩作用。第21页，课件共74页，创作于2023年2月

Fl，F2除了可以对包含在Xl，X2中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假性。二维平面上的各点的方差大部分都归结在Fl轴上，而F2轴上的方差很小。Fl和F2称为原始变量x1和x2的综合变量。F简化了系统结构，抓住了主要矛盾。第22页，课件共74页，创作于2023年2月三主成分的推导及性质

1、两个线性代数的结论

1）、若A是p阶实对称阵，则一定可以找到正交阵U，使其中是A的特征根。第23页，课件共74页，创作于2023年2月

2）、若上述矩阵的特征根所对应的单位正交特征向量为则实对称阵属于不同特征根所对应的特征向量是正交的，即有令第24页，课件共74页，创作于2023年2月

2、主成分的推导

（一）

第一主成分设X的协方差阵为由于Σx为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵U，使得第25页，课件共74页，创作于2023年2月其中1，2，…，p为Σx的特征根，不妨假设12

…p。而U恰好是由特征根相对应的单位特征向量所组成的正交阵。下面我们来看，是否由U的第一列元素所构成为原始变量的线性组合是否有最大的方差。第26页，课件共74页，创作于2023年2月设有P维正交向量且第27页，课件共74页，创作于2023年2月第28页，课件共74页，创作于2023年2月当且仅当a1=u1时，即时，有最大的方差1。因为Var(F1)=U’1xU1=1。

如果第一主成分的信息不够，则需要寻找第二主成分。第29页，课件共74页，创作于2023年2月（二）

第二主成分在约束条件下，寻找第二主成分

因为所以则，对p维向量，有第30页，课件共74页，创作于2023年2月所以如果取线性变换：

则的方差次大。类推第31页，课件共74页，创作于2023年2月写为矩阵形式：第32页，课件共74页，创作于2023年2月四主成分的性质1、均值2、方差为所有特征根之和说明主成分分析把P个随机变量的总方差分解成为P个不相关的随机变量的方差之和。

协方差矩阵的对角线上的元素之和等于特征根之和。第33页，课件共74页，创作于2023年2月3、精度分析1）贡献率：第i个主成分的方差在全部方差中所占比重，称为贡献率，反映了原来P个指标多大的信息，有多大的综合能力。2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比重来描述，称为累积贡献率。第34页，课件共74页，创作于2023年2月我们进行主成分分析的目的之一是希望用尽可能少的主成分F1，F2，…，Fk（k≤p）代替原来的P个指标。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够反映原来变量85%以上的信息量为依据，即当累积贡献率≥85%时的主成分的个数就足够了。最常见的情况是主成分为2到3个。第35页，课件共74页，创作于2023年2月4、原始变量与主成分之间的相关系数

第36页，课件共74页，创作于2023年2月可见，和的相关的密切程度取决于对应线性组合系数的大小。第37页，课件共74页，创作于2023年2月第38页，课件共74页，创作于2023年2月5、原始变量被主成分的提取率

前面我们讨论了主成分的贡献率和累计贡献率，他度量了F1，F2，……，Fm分别从原始变量X1，X2，……XP中提取了多少信息。那么X1，X2，……XP各有多少信息分别F1，F2，……，Fm被提取了。应该用什么指标来度量？我们考虑到当讨论F1分别与X1，X2，……XP的关系时，可以讨论F1分别与X1，X2，……XP的相关系数，但是由于相关系数有正有负，所以只有考虑相关系数的平方。第39页，课件共74页，创作于2023年2月如果我们仅仅提出了m个主成分，则第i原始变量信息的被提取率为：是Fj能说明的第i原始变量的方差是Fj提取的第i原始变量信息的比重第40页，课件共74页，创作于2023年2月例

设的协方差矩阵为解得特征根为，，，，第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但在本题中第一主成分不含第三个原始变量的信息，所以应该取两个主成分。第41页，课件共74页，创作于2023年2月Xi与F1的相关系数平方Xi与F2的相关系数平方信息提取率xi10.9250.855000.8552-0.9980.996000.996300111第42页，课件共74页，创作于2023年2月定义：如果一个主成分仅仅对某一个原始变量有作用，则称为特殊成分。如果一个主成分所有的原始变量都起作用称为公共成分。(该题无公共因子）第43页，课件共74页，创作于2023年2月6、载荷矩阵

第44页，课件共74页，创作于2023年2月五标准化变量主成分在实际问题中，不同的变量往往有不同的量纲，由于不同的量纲会引起各变量取值的分散程度差异较大，这时，总体方差则主要受方差较大的变量的控制。若用∑求主成分，则优先照顾了方差大的变量，有时会造成很不合理的结果。为了消除由于量纲的不同可能带来的影响，常采用变量标准化的方法，即令，

第45页，课件共74页，创作于2023年2月这时，的协方差矩阵便是的相关系数阵，其中利用X的相关矩阵ρ作主成分分析，平行于前面∑的结论，可以有如下的定理:第46页，课件共74页，创作于2023年2月定理：设为标准化的随机向量，其协方差矩阵（即X的相关矩阵）为ρ，则X*的第i个主成分并且第47页，课件共74页，创作于2023年2月其中为相关矩阵ρ的特征值，为相应的正交单位化特征向量。这时第i个主成分的贡献为前m个主成分的累积贡献为第48页，课件共74页，创作于2023年2月例题：对比标准化和非标准化数据的主成分

设协方差矩阵和对应的相关矩阵分别为第49页，课件共74页，创作于2023年2月如果从∑出发作主成分分析，易求得其特征值和相应的单位正交化特征向量为则X的两个主成分分别为：第一主成分的贡献率为：

由于X2的方差很大，完全控制了提取信息量占99.2%的第一主成分（X2在F1中的系数为0.999），淹没了变量X1的作用。第50页，课件共74页，创作于2023年2月如果从ρ出发作主成分分析，可求得其特征值和相应的单位正交化特征向量为则X*的两个主成分分别为：此时，第一主成分的贡献率有所下降，为：第51页，课件共74页，创作于2023年2月由此看到，原变量在第一主成分中的相对重要性由于标准化而有很大的变化。在由∑所求得的第一主成分中，X1和X2和的权重系数分别为0.040和0.999，主要由大方差的变量控制。而在由ρ所求得的第一主成分中，X1和X2和的权重系数反而成了0.707和0.0707，即X1的相对重要性得到提升。此例也表明，由∑和ρ求得的主成分一般是不相同的，而且，其中第一组主成分也不是第二组主成分的某简单函数。在实际应用中，当涉及的各变量的变化范围差异较大时，从ρ出发求主成分比较合理。第52页，课件共74页，创作于2023年2月1．85%原则记方差的累积贡献率为六主成分个数的选取根据我国主成分分析的实践来看，通常可以保证分析结果的可靠性。该原则是在实践中总结出来的，与其它原则相比，通常有选取较多主成分的倾向。第53页，课件共74页，创作于2023年2月实践中，该准则通常容易选取较少的主成分。先计算，然后将与之进行比较，选取的前q个变量的主成分。由于由样本数据的相关矩阵R所求得，所以，故只要选取的前q个变量作为主成分即可。2．的原则第54页，课件共74页，创作于2023年2月3．斯格理（Screet）原则具体做法：计算特征根的差，如果前q个比较近，即出现了较为稳定的差值，则后p-q个变量可以确定为非主成分。这是从相反的方向来确定主成分的一种做法。实践中，该准则也倾向于选择较多的主成分，而且一般不单独使用。第55页，课件共74页，创作于2023年2月4．巴特莱特检验（Bartlet）原则H0：最后p-q个分量均等于或不显著地大于零。

该检验的精确性受到样本容量n大小的影响，当n较小时，有可能低估突出变量的数目；当n较大时，有可能高估突出变量的数目。具体做法：从q=1开始，一直检验到最后p-q个变量不显著为止。其中：检验统计量：第56页，课件共74页，创作于2023年2月1、主成分的解释

1）、从特征向量Uij的各个分量数值的大小入手进行分析与概括。

Uij表明了变量xj(xj*)与主成分Fi之间的关系。主成分Fi在变量xj(xj*)上的系数Uij越大，说明该主成分主要代表了该变量xj(xj*)的信息；反之，若越接近于0，则表明几乎没有该变量什么信息。七主成分的解释第57页，课件共74页，创作于2023年2月2）从特征向量的各个分量Uij数值的符号入手进行分析与概括

主成分系数Uij的符号表明了变量xj(xj*)与主成分Fi之间的作用关系，一般地，正号表示变量与主成分的作用同方向；而负号则表示变量与主成分作用是逆向变动关系。第58页，课件共74页，创作于2023年2月3）．如果变量分组较有规则，则从特征向量各分量Uij数值作出组内、组间对比分析4）．如果主成分中，各变量的系数都大致相同，则要考虑是否存在一个一般性的影响因素第59页，课件共74页，创作于2023年2月2、主成分分析适用的场合3.不完全相关主成分分析效果较好能实施主成分分析高度相关中度相关低度相关1.完全相关2.完全不相关不必实施主成分分析第60页，课件共74页，创作于2023年2月八主成分分析的步骤STEP03：求相关系数矩阵R的特征根λ1≥λ2

≥‥‥≥

λp

≥0及相应的单位正交特征向量U1,U2,‥‥,Up；STEP02：计算X的相关系数矩阵R；STEP01：将原始数据X进行标准化，得X*；STEP04：计算方差累积贡献率，确定主成分的个数q；STEP05：写出主成分F=X*U，解释其实际经济意义并指导实践。第61页，课件共74页，创作于2023年2月主成分分析方法应用实例

下面，我们根据表一给出的数据，对某农业生态经济系统做主成分分析，

表一某农业生态经济系统各区域单元的有关数据

第62页，课件共74页，创作于2023年2月第63页，课件共74页，创作于2023年2月步骤如下：（1）将表一中的数据作标准差标准化处理，然后将它们代入公式计算相关系数矩阵（见表二）。表二相关系数矩阵第64页，课件共74页，创作于2023年2月（2）由相关系数矩阵计算特征值，以及各个主成分的贡献率与累计贡献率（见表三）。由表3.5.2可知，第一，第二，第三主成分的累计贡献率已高达86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。

第65页，课件共74页，创作于2023年2月表三特征值及主成分贡献率

第66页，课件共74页，创作于2023年2月（3）对于特征值=4.6610，=2.0890，=1.0430分别求出其特征向量e1，e2，e3，再用公