模式识别51主成分分析和KL变换

1、主成分分析 主成分分析PCA Principle Component Analysis 通过K-L变换实现主成分分析 PCA的变换矩阵是协方差矩阵，K-L变换的变换矩阵可以有很多种（二阶矩阵、协方差矩阵、总类内离散度矩阵等等）。当K-L变换矩阵为协方差矩阵时，等同于PCA。 KL 坐标系的产生矩阵K-L变换 特征提取思想 用映射（或变换）的方法把原始特征变换为较少的新特征 降维 主成分分析(PCA)基本思想 进行特征降维变换，不能完全地表示原有的对象，能量总会有损失。 希望找到一种能量最为集中的的变换方法使损失最小K-L变换 原始输入: x 变换后特征:y 变换矩阵(线性变换):A 则:y=A

2、TxK-L变换 思考: 希望特征之间关联性尽可能小 变换后的相关矩阵:RyEyyT =EATxxTA =ATRxA我们是不是希望Ry是个对角矩阵？如何选择A?K-L变换 考虑以Rx的特征向量作为A的列，则Ry=ATRxA = a1,a2an TRx a1,a2an = a1,a2an T 1a1, 2a2nan =为对角矩阵，对角线元素为 1, 2n达到变换后特征不相关的目的以上为K-L变换K-L变换 思考K-L变换性质: 如果降维，有什么结果 原有N维，只保留m维，即去掉ym+1yN 希望:和原来的表示方法差别最小即:E|x-x|2 最小x表示y1ym在原空间中对应的表示方法K-L变换2 x

3、xE21)(NmiiaiyEijjTiajyaiyE)()()(NmiiyE12)(NmiiTTiaxxEa1NmiixTiaRa1NmiiiTiaa1Nmii1xaiyTi)(K-L变换 结论 如果对特征向量排序，舍弃最小的特征，则损失的能量最小K-L变换典型应用典型应用 1降维与压缩 对一幅人脸图象，如果它由M行与N到象素组成，则原始的特征空间维数就应为MN。 而如果在K-L变换以及只用到30个基，那么维数就降至30，由此可见降维的效果是极其明显的。 譬如原训练样本集的数量为V，而现采用30个基，数据量是大大降低 K-L变换典型应用典型应用 3人脸识别 首先搜集要识别的人的人脸图象，建立人

4、脸图象库， 然后利用K-L变换确定相应的人脸基图象， 再反过来用这些基图象对人脸图象库中的有人脸图象进行K-L变换 在识别时，先对一张所输入的脸图象进行必要的规范化，再进行K-L变换分析，得到其参数向量。 K-L变换典型应用典型应用 4人脸图象合成使用K-L变换进行特征提取题目: 主成分分析 PCA路志宏Lu_Principal Component AnalysisPrincipal Component Analysis内 容u 一、前一、前 言言u 二、问题的提出二、问题的提出u 三、主成分分析三、主成分分析 1. 二维数据的例子二维数据的例子 2. PCA的几何意义的几何意义 3. 均值和

5、协方差、均值和协方差、 特征值和特征向量特征值和特征向量 4. PCA的性质的性质 u 四、主成分分析的算法四、主成分分析的算法u 五、具体实例五、具体实例 实例实例2u 六、六、 结论结论七、七、练习练习1. 前前 言言 假定你是一个公司的财务经理，掌握了公司的假定你是一个公司的财务经理，掌握了公司的所有数据，比如所有数据，比如固定资产、流动资金、每一笔固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等的分工和教育程度等等。 如果让你介绍

6、公司状况，你能够把这些指标和如果让你介绍公司状况，你能够把这些指标和数字都数字都原封不动地摆出去吗原封不动地摆出去吗？ 当然不能当然不能。实例。实例1 实例实例2 你必须要把各个方面作出你必须要把各个方面作出高度概括高度概括，用一两个用一两个指标简单明了地把情况说清楚。指标简单明了地把情况说清楚。 l汇报什么？汇报什么？PCA 多变量问题是经常会遇到的。多变量问题是经常会遇到的。变量太多，无疑会增加分析变量太多，无疑会增加分析问题的难度与复杂性问题的难度与复杂性. 在许多实际问题中，多个变量之间是具有一定的相关关系在许多实际问题中，多个变量之间是具有一定的相关关系的。因此，能否在各个变量之间相

7、关关系研究的基础上，的。因此，能否在各个变量之间相关关系研究的基础上，用用较少的新变量代替原来较多的变量较少的新变量代替原来较多的变量，而且使这些较少的，而且使这些较少的新变量新变量尽可能多地保留原来较多的变量所反映的信息尽可能多地保留原来较多的变量所反映的信息？事？事实上，这种想法是可以实现的实上，这种想法是可以实现的. 主成分分析原理主成分分析原理: 是把原来多个变量化为少数几个综合指标是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处的一种统计分析方法，从数学角度来看，这是一种降维处理技术。理技术。 主成分分析方法就是综合处理这种问题的一种强有力的方主

8、成分分析方法就是综合处理这种问题的一种强有力的方法。法。 (1) (1) 如何作主成分分析如何作主成分分析? ? 当分析中所选择的变量具有不同的量纲，当分析中所选择的变量具有不同的量纲，变量水平差异很大变量水平差异很大，应该选择基于相关系数，应该选择基于相关系数矩阵的主成分分析。矩阵的主成分分析。 在力求数据信息丢失最少的原则下，对高维的在力求数据信息丢失最少的原则下，对高维的变量空间降维，即研究指标体系的少数几个线性组变量空间降维，即研究指标体系的少数几个线性组合，并且这几个线性组合所构成的综合指标将尽可合，并且这几个线性组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指

9、能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。标就称为主成分。要讨论的问题是：要讨论的问题是：2. 问题的提出问题的提出各个变量之间差异很大各个变量之间差异很大 （2 2） 如何选择几个主成分。如何选择几个主成分。 主成分分析的目的是简化变量，一般情主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数关于保留几个主成分，应该权衡主成分个数和保留的信息。和保留的信息。 （3 3）如何解释主成分所包含的几何意义如何解释主成分所包含的几何意义或经济意义或其它。或经济意义或其它。 美国的统

10、计学家斯通美国的统计学家斯通(Stone)(Stone)在在19471947年关于国民年关于国民经济的研究是经济的研究是一项十分著名的工作一项十分著名的工作。他曾利用美国。他曾利用美国19291929一一19381938年各年的数据，得到了年各年的数据，得到了1717个反映国民收个反映国民收入与支出的变量要素，例如入与支出的变量要素，例如雇主补贴、消费资料和雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息、生产资料、纯公共支出、净增库存、股息、利息、外贸平衡等等。外贸平衡等等。l 在进行主成分分析后，竟以在进行主成分分析后，竟以97.4的精度，用的精度，用三个新变量就取代了原三个

11、新变量就取代了原17个变量。个变量。实例实例1: 经济分析经济分析 根据经济学知识，斯通给这三个新根据经济学知识，斯通给这三个新变量分别命名为变量分别命名为总收入总收入F1F1、总收入变化、总收入变化率率F2F2和经济发展或衰退的趋势和经济发展或衰退的趋势F3F3。更有。更有意思的是，这三个变量其实都是可以直意思的是，这三个变量其实都是可以直接测量的。接测量的。 主成分分析就是试图在力保数据信息丢主成分分析就是试图在力保数据信息丢失最少的原则下，对这种多变量的数据表进失最少的原则下，对这种多变量的数据表进行最佳综合简化，也就是说，行最佳综合简化，也就是说，对高维变量空对高维变量空间进行降维处理

12、。间进行降维处理。 很显然，识辨系统在一个低维空间要比很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。在一个高维空间容易得多。实例实例2: 成绩数据成绩数据 100个学生的数学、物理、化学、语文、历个学生的数学、物理、化学、语文、历史、英语的成绩如下表（部分）。史、英语的成绩如下表（部分）。 从本例可能提出的问题从本例可能提出的问题 目前的问题是，能不能把这个数据的目前的问题是，能不能把这个数据的6 6个变量用一两个综合变量来表示个变量用一两个综合变量来表示呢？呢？ 这一两个综合变量这一两个综合变量包含有多少原来的包含有多少原来的信息信息呢？呢？ 能不能能不能利用找到的综合变量来对学

13、生利用找到的综合变量来对学生排序排序呢？这一类数据所涉及的问题可呢？这一类数据所涉及的问题可以推广到对企业，对学校进行分析、以推广到对企业，对学校进行分析、排序、判别和分类等问题。排序、判别和分类等问题。 例中的的数据点是六维的；也就是说，每个观测例中的的数据点是六维的；也就是说，每个观测值是值是6维空间中的一个点。维空间中的一个点。我们希望把我们希望把6维空间用维空间用低维空间表示。低维空间表示。3.1 PCA: 二维数据分析二维数据分析平均成绩73.769.861.372.577.272.36372.370单科平均成绩74.1747066.473.663.36466687072747678

14、8082846065707580859095100dataM 先假定数据只有二维，即只有两个先假定数据只有二维，即只有两个变量，它们由横坐标和纵坐标所代表；变量，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐因此每个观测值都有相应于这两个坐标轴的两个坐标值；标轴的两个坐标值； 如果这些数据形成一个如果这些数据形成一个椭圆形状椭圆形状的的点阵（这在变量的二维正态的假定下点阵（这在变量的二维正态的假定下是可能的）是可能的）. .2x1x1F2F3.23.2主成分分析的几何解释主成分分析的几何解释平移、旋转坐标轴2x1x1F2F主成分分析的几何解释平移、旋转坐标轴2x1x1F2F 主成

15、分分析的几何解释平移、旋转坐标轴2x1x1F2F主成分分析的几何解释平移、旋转坐标轴3.2. PCA: 进一步解释进一步解释-4-2024-4-2024 椭圆有一个长轴和一椭圆有一个长轴和一个短轴。在短轴方向上，个短轴。在短轴方向上，数据变化很少；在极端的数据变化很少；在极端的情况，短轴如果退化成一情况，短轴如果退化成一点，那只有在长轴的方向点，那只有在长轴的方向才能够解释这些点的变化才能够解释这些点的变化了；这样，由二维到一维了；这样，由二维到一维的降维就自然完成了。的降维就自然完成了。-4-2024-4-2024二维数据二维数据进一步解释进一步解释PCA 当坐标轴和椭圆的长短轴平行，那么代

16、表长轴当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。的变量就描述了数据的次要变化。 但是，但是，坐标轴通常并不和椭圆的长短轴平行坐标轴通常并不和椭圆的长短轴平行。因此，需要寻找椭圆的长短轴，并进行变换，因此，需要寻找椭圆的长短轴，并进行变换，使得新变量和椭圆的长短轴平行。使得新变量和椭圆的长短轴平行。 如果长轴变量代表了数据包含的大部分信息，如果长轴变量代表了数据包含的大部分信息，就用该变量代替原先的两个变量（舍去次要的就用该变量代替原先的两个变量（舍去次要的一维），降维就完成了。一维），降

17、维就完成了。 椭圆（球）的长短轴相差得越大，降维也越有椭圆（球）的长短轴相差得越大，降维也越有道理。道理。进一步解释进一步解释PCA(续续) 对于多维变量的情况和二维类似，也对于多维变量的情况和二维类似，也有高维的椭球，只不过无法直观地看有高维的椭球，只不过无法直观地看见罢了。见罢了。 首先把高维椭球的主轴找出来，再用首先把高维椭球的主轴找出来，再用代表大多数数据信息的最长的几个轴代表大多数数据信息的最长的几个轴作为新变量；这样，主成分分析就基作为新变量；这样，主成分分析就基本完成了。本完成了。 注意，和二维情况类似，高维椭球的注意，和二维情况类似，高维椭球的主轴也是互相垂直的。这些互相正交主

18、轴也是互相垂直的。这些互相正交的新变量是原先变量的线性组合，叫的新变量是原先变量的线性组合，叫做主成分做主成分(principal component)。 正如二维椭圆有两个主轴，三维椭球正如二维椭圆有两个主轴，三维椭球有三个主轴一样，有几个变量，就有有三个主轴一样，有几个变量，就有几个主成分。几个主成分。 选择越少的主成分，降维就越好。什选择越少的主成分，降维就越好。什么是标准呢？那就是这些被选的主成么是标准呢？那就是这些被选的主成分所代表的主轴的长度之和占了主轴分所代表的主轴的长度之和占了主轴长度总和的大部分。长度总和的大部分。有些文献建议，有些文献建议，所选的主轴总长度占所有主轴长度之所

19、选的主轴总长度占所有主轴长度之和的大约和的大约85%85%即可，即可，其实，这只是一个其实，这只是一个大体的说法；具体选几个，要看实际大体的说法；具体选几个，要看实际情况而定。情况而定。3.3. 均值和协方差均值和协方差 特征值和特征向量特征值和特征向量-4-2024-4-2024111221221212pnpnppnnnppxxxxxxxxxXXXX设有设有n个样本，每个样本观测个样本，每个样本观测p个指标（变量）：个指标（变量）：X1，X2，Xn, 得到原始数据矩阵：得到原始数据矩阵：.1()nn12MX + X + XkkX= X- M1. 样本均值样本均值显然显然,样本均值是数据散列图

20、的样本均值是数据散列图的中心中心.于是于是 p*n 矩阵的列矩阵的列B具有零样本均值具有零样本均值,称为平均偏差形式称为平均偏差形式12,nBX XX-4-2024-4-2024M11TnSBB2. 样本协方差样本协方差 中心中心中心中心 协方差的大小在一定程度上反映了多变协方差的大小在一定程度上反映了多变量之间的关系，但它还受变量自身度量量之间的关系，但它还受变量自身度量单位的影响单位的影响.注意：协方差注意：协方差是对称矩阵且半正定是对称矩阵且半正定为阶方阵，为阶方阵，为数，为数，X为维非零向量，为维非零向量，AXX 若若则则称为称为的的特征值特征值，X称为称为的的特征向量特征向量并不一定

21、唯一；并不一定唯一；,X 阶方阵阶方阵的特征值，就是使齐次线性方程组的特征值，就是使齐次线性方程组特征向量特征向量 ，特征值问题只针对与方阵；，特征值问题只针对与方阵；0X 0IA x 有非零解的有非零解的值，即满足值，即满足的的都是都是方阵方阵的特征值的特征值0IA 0IA 称以称以为未知数的一元次方程为未知数的一元次方程为为的的特征方程特征方程 例例1:1: 从一个总体中随机抽取从一个总体中随机抽取4 4个样本作三个样本作三次测量次测量, ,每一个样本的观测向量为每一个样本的观测向量为: :123414782 ,2 ,8 ,411315 XXXX 计算样本均值计算样本均值M M和协方差矩阵

22、和协方差矩阵S S以以及及S S的特征值和特征向量的特征值和特征向量. .11niinMX11TnSBBSXX Syntax C = cov(X)AlgorithmThe algorithm for cov is n,p = size(X);X = X - ones(n,1) * mean(X);Y = X*X/(n-1);See Also corrcoef, mean, std, var2x1x1F2F平移、旋转坐标轴M 为了方便，我们在二维空间中讨论主成分的几何意义。为了方便，我们在二维空间中讨论主成分的几何意义。 设有设有n个样本，每个样本有两个观测变量个样本，每个样本有两个观测变量xl

23、和和x2，在由变，在由变量量xl和和x2 所确定的二维平面中，所确定的二维平面中，n个样本点所散布的情况个样本点所散布的情况如椭圆状如椭圆状。由图可以看出这。由图可以看出这n个样本点无论是沿着个样本点无论是沿着xl 轴方轴方向或向或x2轴方向都具有较大的离散性，其离散的程度可以分轴方向都具有较大的离散性，其离散的程度可以分别用观测变量别用观测变量xl 的方差和的方差和x2 的方差定量地表示。显然，的方差定量地表示。显然，如果只考虑如果只考虑xl和和x2 中的任何一个，那么包含在原始数据中中的任何一个，那么包含在原始数据中的信息将会有较大的损失。的信息将会有较大的损失。 如果我们将如果我们将xl

24、 轴和轴和x2轴先平移，再同时按轴先平移，再同时按逆时针方向旋转逆时针方向旋转 角度，得到新坐标轴角度，得到新坐标轴Fl和和F2。Fl和和F2是两个新变量是两个新变量。 Fl，F2除了可以对包含在除了可以对包含在Xl，X2中的信息起着浓中的信息起着浓缩作用之外，还具有不相关的性质，这就使得在缩作用之外，还具有不相关的性质，这就使得在研究复杂的问题时避免了信息重叠所带来的虚假研究复杂的问题时避免了信息重叠所带来的虚假性。性。二维平面上的个点的方差大部分都归结在二维平面上的个点的方差大部分都归结在Fl轴上，而轴上，而F2轴上的方差很小。轴上的方差很小。Fl和和F2称为原始变量称为原始变量x1和和x

25、2的综合变量。的综合变量。 F简化了系统结构，抓住了主要矛盾。简化了系统结构，抓住了主要矛盾。 稍事休息稍事休息3.4 PCA3.4 PCA的性质的性质 一、两个线性代数的结论一、两个线性代数的结论 1、若A是p阶实对称阵，则一定可以找到正交阵U，使ppp00000021AUU1pii. 2 . 1, 其中 是A A的特征根。 2、若上述矩阵的特征根所对应的单位特征向量为 ppppppuuuuuuuuu212222111211),(p1uuU 则实对称阵 属于不同特征根所对应的特征向量是正交的，即有p1uu,令AIUUUU 3.4 PCA的性质的性质(续续)3 3、均值、均值()TTExMUU

26、4 4、方差为所有特征根之和、方差为所有特征根之和1()piiVar F2221212pp 说明主成分分析把说明主成分分析把P P个随机变量的总方差分解成为个随机变量的总方差分解成为P P个不相关的随机变量的方差之和。个不相关的随机变量的方差之和。 协方差矩阵协方差矩阵 的的对角线上的元素之和等于特征根对角线上的元素之和等于特征根之和。之和。 3.4 3.4、精度分析、精度分析 1）贡献率：第i个主成分的方差在全部方差中所占比重 ，称为贡献率 ，反映了原来P个指标多大的信息，有多大的综合能力 。piii1 2）累积贡献率：前k个主成分共有多大的综合能力，用这k个主成分的方差和在全部方差中所占比

27、重来描述，称为累积贡献率。piikii11PCA常用统计量： .特征根i .各成分贡献率 .前各成分累计贡献率 .特征向量 各成分表达式中标准化原始变量的系数向量，就是各成分的特征向量。ii 我们进行主成分分析的目的之一是希望用我们进行主成分分析的目的之一是希望用尽可能少的尽可能少的主成分主成分F F1 1，F F2 2，F Fk k（kpkp）代替）代替原来的原来的P P个指标个指标。到底应该选择多少个主成分，。到底应该选择多少个主成分，在实际工作中，主成分个数的多少取决于能够在实际工作中，主成分个数的多少取决于能够反映原来变量反映原来变量80%80%以上的信息量为依据，即当累以上的信息量为

28、依据，即当累积贡献率积贡献率80%80%时的主成分的个数就足够了。最时的主成分的个数就足够了。最常见的情况是主成分为常见的情况是主成分为2 2到到3 3个。个。 例例 设 的协方差矩阵为 321,xxx200052021 解得特征根为 ， ，83. 51 00. 22 17. 03 ，000. 0924. 0383. 01U1002U000. 0383. 0924. 03U 第一个主成分的贡献率为5.83/（5.83+2.00+0.17）=72.875%，尽管第一个主成分的贡献率并不小，但应该取两个主成分。97.88%4 4 主成分分析的步骤主成分分析的步骤)21(21nlxxxplll，lX

29、ppjjlnliilxxxxxn)(111 第一步：由X的协方差阵x，求出其特征根，即解方程 ，可得特征根 。021p 一、基于协方差矩阵0I 第二步：求出分别所对应的特征向量U1，U2，Up， 12TiipiuuuiU， ，第三步：计算累积贡献率，给出恰当的主成分个数。1 2()TFik kpiiUX， ，第四步：计算所选出的k个主成分的得分。将原始数据的中心化值: 代入前k个主成分的表达式，分别计算出各单位k个主成分的得分，并按得分值的大小排队。*1122TiipipxxxxxxiiXXX， ， 例例 应收账款是指企业因对外销售产品、材料、提供劳务及应收账款是指企业因对外销售产品、材料、提

30、供劳务及其它原因，应向购货单位或接受劳务的单位收取的款项，包括应其它原因，应向购货单位或接受劳务的单位收取的款项，包括应收销货款、其它应收款和应收票据等。出于扩大销售的竞争需要，收销货款、其它应收款和应收票据等。出于扩大销售的竞争需要，企业不得不以赊销或其它优惠的方式招揽顾客，由于销售和收款企业不得不以赊销或其它优惠的方式招揽顾客，由于销售和收款的时间差，于是产生了应收款项。应收款赊销的效果的好坏，不的时间差，于是产生了应收款项。应收款赊销的效果的好坏，不仅依赖于企业的信用政策，还依赖于顾客的信用程度。由此，仅依赖于企业的信用政策，还依赖于顾客的信用程度。由此，评评价顾客的信用等级，了解顾客的

31、综合信用程度，做到价顾客的信用等级，了解顾客的综合信用程度，做到“知己知彼，知己知彼，百战不殆百战不殆”，对加强企业的应收账款管理大有帮助，对加强企业的应收账款管理大有帮助。某企业为了。某企业为了了解其客户的信用程度，采用西方银行信用评估常用的了解其客户的信用程度，采用西方银行信用评估常用的5C5C方法，方法，5C5C的目的是说明顾客违约的可能性。的目的是说明顾客违约的可能性。 5 PCA的应用的应用 1、品格（用品格（用X1表示），表示），指顾客的信誉，履行偿还义指顾客的信誉，履行偿还义务的可能性。企业可以通过过去的付款记录得到此务的可能性。企业可以通过过去的付款记录得到此项。项。2、能力（

32、用能力（用X2表示），表示），指顾客的偿还能力。即其流指顾客的偿还能力。即其流动资产的数量和质量以及流动负载的比率。顾客的动资产的数量和质量以及流动负载的比率。顾客的流动资产越多，其转化为现金支付款项的能力越强。流动资产越多，其转化为现金支付款项的能力越强。同时，还应注意顾客流动资产的质量，看其是否会同时，还应注意顾客流动资产的质量，看其是否会出现存货过多过时质量下降，影响其变现能力和支出现存货过多过时质量下降，影响其变现能力和支付能力。付能力。3、资本（用资本（用X3表示），表示），指顾客的财务势力和财务状指顾客的财务势力和财务状况，表明顾客可能偿还债务的背景。况，表明顾客可能偿还债务的背景

33、。4、附带的担保品（用附带的担保品（用X4表示），表示），指借款人以容易出指借款人以容易出售的资产做抵押。售的资产做抵押。5 5、环境条件（用环境条件（用X5表示），表示），指企业的外部因素，即指企业的外部因素，即指非企业本身能控制或操纵的因素。指非企业本身能控制或操纵的因素。 首先并抽取了10家具有可比性的同类企业作为样本，又请8位专家分别给10个企业的5个指标打分，然后分别计算企业5个指标的平均值，如表。 76.581.57675.871.78579.280.384.476.570.67367.668.178.5949487.589.59290.787.39181.58084.666.96

34、8.864.866.477.573.670.969.874.857.760.457.460.86585.668.57062.276.57069.271.764.968.9； Eigenvalues of the Covariance Matrix Eigenvalue Difference Proportion Cumulative PRIN1 410.506 367.242 0.845854 0.84585 PRIN2 43.264 22.594 0.089146 0.93500 PRIN3 20.670 12.599 0.042591 0.97759 PRIN4 8.071 5.266 0

35、.016630 0.99422 PRIN5 2.805 0. 0 0.005779 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.468814 -.830612 0.021406 0.254654 -.158081 X2 0.484876 0.329916 0.014801 -.287720 -.757000 X3 0.472744 -.021174 -.412719 -.588582 0.509213 X4 0.461747 0.430904 -.240845 0.706283 0.210403 X5 0.329259 0.1

36、22930 0.878054 -.084286 0.313677 第一主成份的贡献率为第一主成份的贡献率为84.6%84.6%，第一主成份，第一主成份 Z Z1 1=0.469X=0.469X1 1+0.485X+0.485X2 2+0.473X+0.473X3 3+0.462X+0.462X4 4+0.329X+0.329X5 5 的各项系数大致相等，且均为正数，说明第一的各项系数大致相等，且均为正数，说明第一主成份是对所有指标的一个综合测度，可以作为主成份是对所有指标的一个综合测度，可以作为综合的信用等级指标。可以用来排序。将原始数综合的信用等级指标。可以用来排序。将原始数据的值中心化后，

37、代入第一主成份据的值中心化后，代入第一主成份Z Z1 1的表示式，的表示式，计算各企业的得分，并按分值大小排序计算各企业的得分，并按分值大小排序: : 在正确评估了顾客的信用等级后，就能正确制定出对在正确评估了顾客的信用等级后，就能正确制定出对其的信用期、收帐政策等，这对于加强应收帐款的管理其的信用期、收帐政策等，这对于加强应收帐款的管理大有帮助。大有帮助。序号序号1 12 23 34 45 56 67 78 89 91010得分得分3.163.1613.613.6- -9.019.0135.935.925.125.1-10.3-10.3- -4.364.36-33.8-33.8- -6.41

38、6.41-13.8-13.8排序排序4 43 37 71 12 28 85 510106 69 9例二例二 基于相关系数矩阵的主成分分析。对美国纽约上市的有关化学产业的三个证券和石油产业的2个证券做了100周的收益率调查。下表是其相关系数矩阵。 1）利用相关系数矩阵做主成分分析。 2）决定要保留的主成分个数，并解释意义。10.5770.5090.00630.00370.57710.5990.3890.520.5090.59910.4360.4260.3870.3890.43610.5230.4620.3220.4260.5231 Eigenvalues of the Correlation M

39、atrix Eigenvalue Difference Proportion Cumulative PRIN1 2.85671 2.04755 0.571342 0.57134 PRIN2 0.80916 0.26949 0.161833 0.73317 PRIN3 0.53968 0.08818 0.107935 0.84111 PRIN4 0.45150 0.10855 0.090300 0.93141 PRIN5 0.34295 0. 0 0.068590 1.00000 Eigenvectors PRIN1 PRIN2 PRIN3 PRIN4 PRIN5 X1 0.463605 -.240339 -.611705 0.386635 -.451262 X2 0.457108 -.509305 0.178189 0.206474 0.676223 X3 0.470