主成分分析原理

第七第七章章 主成分分析主成分分析 （一）教学目的（一）教学目的 通过本章的学习， 对主成分分析从总体上有一个清晰地认识， 理解主成分分析的基本思 想和数学模型，掌握用主成分分析方法解决实际问题的能力。 （二）基本要求（二）基本要求 了解主成分分析的基本思想，几何解释，理解主成分分析的数学模型，掌握主成分分析 方法的主要步骤。 （三）教学要点（三）教学要点 1、主成分分析基本思想，数学模型，几何解释 2、主成分分析的计算步骤及应用 （四）教学时数（四）教学时数 3 课时 （五五）教学教学内容内容 1、主成分分析的原理及模型 2、主成分的导出及主成分分析步骤 在实际问题中，我们经常会遇到研究多个变量的问题，而且在多数情况下，多个变量之 间常常存在一定的相关性。 由于变量个数较多再加上变量之间的相关性， 势必增加了分析问 题的复杂性。 如何从多个变量中综合为少数几个代表性变量， 既能够代表原始变量的绝大多 数信息，又互不相关，并且在新的综合变量基础上，可以进一步的统计分析，这时就需要进 行主成分分析。 第一节第一节 主成分分析的原理及模型主成分分析的原理及模型 一、主成分分析的基本思想与数学模型一、主成分分析的基本思想与数学模型 （一）主成分分析的基本思想 主成分分析是采取一种数学降维的方法， 找出几个综合变量来代替原来众多的变量， 使 这些综合变量能尽可能地代表原来变量的信息量， 而且彼此之间互不相关。 这种将把多个变 量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。 主成分分析所要做的就是设法将原来众多具有一定相关性的变量， 重新组合为一组新的 相互无关的综合变量来代替原来变量。 通常， 数学上的处理方法就是将原来的变量做线性组 合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢？ 如果将选取的第一个线性组合即第一个综合变量记为 1 F，自然希望它尽可能多地反映原来 变量的信息，这里“信息”用方差来测量，即希望)( 1 FVar越大，表示 1 F包含的信息越多。 因此在所有的线性组合中所选取的 1 F应该是方差最大的，故称 1 F为第一主成分。如果第一 主成分不足以代表原来p个变量的信息，再考虑选取 2 F即第二个线性组合，为了有效地反 映原来信息， 1 F已有的信息就不需要再出现在 2 F中，用数学语言表达就是要求 0),( 21 FFCov，称 2 F为第二主成分，依此类推可以构造出第三、四第p个主成分。 （二）主成分分析的数学模型 对于一个样本资料，观测p个变量 p xxx, 21 ，n个样品的数据资料阵为： npnn p p xxx xxx xxx X 21 22221 11211 p xxx, 21 其中：pj x x x x nj j j j , 2 , 1, 2 1 主成分分析就是将p个观测变量综合成为p个新的变量（综合变量） ，即 pppppp pp pp xaxaxaF xaxaxaF xaxaxaF 2211 22221212 12121111 简写为： pjpjjj xxxF 2211 pj, 2 , 1 要求模型满足以下条件： ji FF ,互不相关（ji ，pji, 2 , 1,） 1 F的方差大于 2 F的方差大于 3 F的方差，依次类推 ., 2 , 11 22 2 2 1 pkaaa kpkk 于是，称 1 F为第一主成分， 2 F为第二主成分，依此类推，有第p个主成分。主成分又 叫主分量。这里 ij a我们称为主成分系数。 上述模型可用矩阵表示为： AXF ，其中 p F F F F 2 1 p x x x X 2 1 ppppp p p a a a aaa aaa aaa A 2 1 21 22221 11211 A称为主成分系数矩阵。 二、二、主成主成分分析的几何解释分分析的几何解释 假设有n个样品，每个样品有二个变量，即在二维空间中讨论主成分的几何意义。设n 个样品在二维空间中的分布大致为一个椭园，如下图所示： 图 7.1 主成分几何解释图 将坐标系进行正交旋转一个角度，使其椭圆长轴方向取坐标 1 y，在椭圆短轴方向取 坐标 2 y，旋转公式为 cos)sin( sincos 212 211 jjj jjj xxy xxy nj2 , 1 写成矩阵形式为： n n yyy yyy Y 22221 11211 XU xxx xxx n n 22221 11211 cossin sincos 其中U为坐标旋转变换矩阵，它是正交矩阵，即有IUUUU , 1 ，即满足 1cossin 22 。 经过旋转变换后，得到下图的新坐标： 图 7.2 主成分几何解释图 新坐标 21 yy 有如下性质： (1)n个点的坐标 1 y和 2 y的相关几乎为零。 (2)二维平面上的n个点的方差大部分都归结为 1 y轴上，而 2 y轴上的方差较小。 1 y和 2 y称为原始变量 1 x和 2 x的综合变量。由于n个点在 1 y轴上的方差最大，因而将 二维空间的点用在 1 y轴上的一维综合变量来代替，所损失的信息量最小，由此称 1 y轴为第 一主成分， 2 y轴与 1 y轴正交，有较小的方差，称它为第二主成分。 三、主成分分析的应用三、主成分分析的应用 主成分概念首先是由 Karl parson 在 1901 年引进，但当时只对非随机变量来讨论的。 1933 年 Hotelling 将这个概念推广到随机变量。特别是近年来，随着计算机软件的应用， 使得主成分分析的应用也越来越广泛。 其中，主成分分析可以用于系统评估。系统评估是指对系统营运状态做出评估，而评估 一个系统的营运状态往往需要综合考察许多营运变量，例如对某一类企业的经济效益作评 估， 影响经济效益的变量很多， 很难直接比较其优劣， 所以解决评估问题的焦点是希望客观、 科学地将一个多变量问题综合成一个单变量形式， 也就是说只有在一维空间中才能使排序评 估成为可能，这正符合主成分分析的基本思想。在经济统计研究中，除了经济效益的综合评 价研究外，对不同地区经济发展水平的评价研究，不同地区经济发展竞争力的评价研究，人 民生活水平、生活质量的评价研究，等等都可以用主成分分析方法进行研究。 另外，主成分分析除了用于系统评估研究领域外，还可以与回归分析结合，进行主成分 回归分析，以及利用主成分分析进行挑选变量，选择变量子集合的研究。 第二节第二节 主成分主成分的导出的导出及主成分分析的步骤及主成分分析的步骤 一、一、主成分主成分的导出的导出 根据主成分分析的数学模型的定义，要进行主成分分析，就需要根据原始数据，以及模 型的三个条件的要求，如何求出主成分系数，以便得到主成分模型。这就是导出主成分所要 解决的问题。 1、根据主成分数学模型的条件要求主成分之间互不相关，为此主成分之间的协差阵 应该是一个对角阵。即，对于主成分， AXF 其协差阵应为， AXAXAXAXAXVarFVar)()()()( = p 2 1 2、设原始数据的协方差阵为V，如果原始数据进行了标准化处理后则协方差阵等于相 关矩阵，即有， XXRV 3、再由主成分数学模型条件和正交矩阵的性质，若能够满足条件最好要求A为正 交矩阵，即满足 IAA 于是，将原始数据的协方差代入主成分的协差阵公式得 AARAXAXFVar)( AARAAR 展开上式得 ppppp p p pppp p p pppp p p aaa aaa aaa aaa aaa aaa rrr rrr rrr 2 1 21 22212 12111 21 22212 12111 21 22221 11211 展开等式两边，根据矩阵相等的性质，这里只根据第一列得出的方程为： 0)( 0)( 0 11122111 12121221121 11121211111 ppppp pp pp ararar ararar ararar 为了得到该齐次方程的解，要求其系数矩阵行列式为 0，即 0 121 212221 112111 pppp p p rrr rrr rrr 0 1 IR 显然， 1 是相关系数矩阵的特征值， p aaaa 112111 ,是相应的特征向量。 根据第二列、第三列等可以得到类似的方程，于是 i 是方程 0 IR 的p个根， i 为特征方程的特征根， j a是其特征向量的分量。 4、下面再证明主成分的方差是依次递减 设相关系数矩阵R的p个特征根为 p 21 ，相应的特征向量为 j a ppppp p p a a a aaa aaa aaa A 2 1 21 22221 11211 相对于 1 F的方差为 111111) (aRaaXXaFVar 同样有： ii FVar)(，即主成分的方差依次递减。并且协方差为： jiji RaaXaXaCov),( j p i aaaa)( 1 jiaaaa ji p , 0)( 1 综上所述，根据证明有，主成分分析中的主成分协方差应该是对角矩阵，其对角线上的 元素恰好是原始数据相关矩阵的特征值，而主成分系数矩阵A的元素则是原始数据相关矩 阵特征值相应的特征向量。矩阵A是一个正交矩阵。 于是，变量 p xxx, 21 经过变换后得到新的综合变量 pppppp pp pp xaxaxaF xaxaxaF xaxaxaF 2211 22221212 12121111 新的随机变量彼此不相关，且方差依次递减。 二二、主成分分析的主成分分析的计算步骤计算步骤 样本观测数据矩阵为： npnn p p xxx xxx xxx X 21 22221 11211 第一步：对原始数据进行标准化处理第一步：对原始数据进行标准化处理。 )var( * j jij ij x xx x ), 2 , 1;, 2 , 1(pjni 其中 n i ijj x n x 1 1 2 1 )( 1 1 )var( j n i ijj xx n x ), 2 , 1(pj 第二步：计算样本相关系数矩阵第二步：计算样本相关系数矩阵。 pppp p p rrr rrr rrr R 21 22221 11211 为方便，假定原始数据标准化后仍用X表示，则经标准化处理后的数据的相关系数为: tj n t tiij xx n r 1 1 1 ), 2 , 1,(pji 第三步：用雅克比方法第三步：用雅克比方法求相关系数矩阵求相关系数矩阵R的特征值的特征值（ p 21, ）和和相应的相应的特征向量特征向量 piaaaa ipiii 2 , 1, 21 。 第四步：选择重要的第四步：选择重要的主成分主成分，并写出主成分表达式。，并写出主成分表达式。 主成分分析可以得到p个主成分，但是，由于各个主成分的方差是递减的，包含的信 息量也是递减的，所以实际分析时，一般不是选取p个主成分，而是根据各个主成分累计 贡献率的大小选取前k个主成分，这里贡献率就是指某个主成分的方差占全部方差的比重， 实际也就是某个特征值占全部特征值合计的比重。即 贡献率= p i i i 1 贡献率越大，说明该主成分所包含的原始变量的信息越强。主成分个数k的选取，主要 根据主成分的累积贡献率来决定，即一般要求累计贡献率达到 85%以上，这样才能保证综合 变量能包括原始变量的绝大多数信息。 另外，在实际应用中，选择了重要的主成分后，还要注意主成分实际含义解释。主成分 分析中一个很关键的问题是如何给主成分赋予新的意义，给出合理的解释。一般而言，这个 解释是根据主成分表达式的系数结合定性分析来进行的。 主成分是原来变量的线性组合， 在 这个线性组合中个变量的系数有大有小，有正有负，有的大小相当，因而不能简单地认为这 个主成分是某个原变量的属性的作用， 线性组合中各变量系数的绝对值大者表明该主成分主 要综合了绝对值大的变量， 有几个变量系数大小相当时， 应认为这一主成分是这几个变量的 总和，这几个变量综合在一起应赋予怎样的