主成分分析原理-

第七章主要成分分析(1)教育目的通过本章的学习，全面清楚地认识主成分分析，理解主成分分析的基本思想和数学模型，掌握用主成分分析方法解决实际问题的能力。(2)基本要求了解主成分分析的基本思想、几何解释、主成分分析的数学模型，掌握主成分分析方法的主要步骤。(3)教育要点1、主成分分析基本思想、数学模型、几何解释2 .主成分分析的计算顺序和应用(4)教育小时数三个小时的课(5)教育内容1、主成分分析的原理和模型2、主成分的导出及主成分分析工序在实际问题上，我们经常面临研究多个变量的问题，很多情况下，多个变量之间总是有一定的相关关系。 除了变量的数量多之外，因为变量之间有相关性，分析问题的复杂性必然增加了。 如何从多个变量集成到少数代表性变量可以代表原始变量的大部分信息，并且没有相互关联，可以根据新的综合变量进一步进行统计分析，因此需要主成分分析。第一节主成分分析的原理和模型一、主成分分析的基本思想和数学模型(1)主成分分析的基本思想主成分分析采用数学降维的方法，找出几个综合变量来代替原来的许多变量，让这些综合变量尽可能代表原来变量的信息量，而且互不相关。 这样把多个变量变换成少数相互无关的综合变量的统计分析方法称为主成分分析或主成分分析。主成分分析是将许多常规相关变量重组成新的相关性集合变量而不是原始变量。 通常，数学的处理方法是将原变量进行线性组合来作为新的综合变量，但这种组合在不施加限制的情况下也可以是多的，所以，如果记载如何选择作为所选择的第一个线性组合的第一个综合变量，则想尽可能多地反映原来的变量的信息是这里“信息”用方差测定，希望越大，表示包含越多的信息。 因此，在所有线性组合中选择的应该是方差最大的，其被称为第一主成分。 当第一主成分不足表示原始变量的信息时，考虑选择第二线性组合，要求现有信息即使当前不出现，用数学语言来表示，以有效地反映原始信息，并且被称为第二主成分，其可构成第三、第四第一主成分。(2)主成分分析的数学模型对样本数据，观测变量，样本数据的排列如下其中：所谓主成分分析，是指将各个观测变量合并成新的变量(综合变量)简称：模型必须满足以下条件：互不相关(，)的方差大的方差大的方差，按顺序类推、并且，被称为第一主要成分，是第二主要成分，以下同样，具有第一主要成分。 主要成分也称为主要成分。 在此称为主成分系数。上述模型用下面的矩阵表示。的双曲馀弦值称为主成分系数矩阵。二、主成分分析的几何解释假定有样本，每个样本有两个变量。 即在二维空间中讨论主成分的几何意义。 样本在二维空间中的分布大致为椭圆，如下图所示图7.1主要成分几何说明图使坐标系正交旋转，在椭圆的长轴方向上取坐标，在椭圆的短轴方向上取坐标，旋转式矩阵的形式如下这里，为坐标旋转变换矩阵，它为正交矩阵，即，一个满意。旋转变换后，可以得到下图的新坐标图7.2主要成分几何说明图新坐标具有以下性质(1)点的坐标和的相关几乎为零。(2)二维平面上的各个点的分散大部分归结到轴上，但轴上的分散小。和称为原始变量和的综合变量。 由于点在轴上的方差最大，所以将二维空间的点置换为轴上的一维综合变量，损失信息量最小，因此将轴称为第一主成分，将轴与轴正交，将小的方差称为第二主成分。三、主成分分析的应用主要成分概念首先由Karl parson在1901年引入，当时只讨论非随机变量。 1933年酒店环把这个概念推广到了随机变量中。 特别是近年来，随着计算机软件的应用，主成分分析的应用也在扩大。其中，主成分分析可用于系统评价。 系统评价指的是评价系统的运营状态，为了评价系统的运营状态，有必要综合地考察很多运营变量。 例如，评价一种企业的经济效果，影响经济效果的变量很多，很难直接比较其优劣，所以解决评价问题的焦点是客观、科学地把一个多变量问题合并成一个单一变量形式，即只能在一维空间中进行排序评价经济统计研究除了经济效果的综合评价研究外，还可以用主成分分析方法研究区域经济发展水平的评价研究、区域经济发展竞争力的评价研究、人民生活水平、生活质量的评价研究等。主成分分析除了系统评价研究领域之外，还可以与回归分析结合进行主成分回归分析，利用主成分分析筛选变量，选择变量子集的研究。第2节主成分的导出和主成分分析的步骤一、主成分的导出按照主成分分析的数学模型的定义，要进行主成分分析，要根据原始数据和模型三个条件的要求，如何求出主成分系数，得到主成分模型。 这是为了导出主要成分而必须解决的问题。1、根据主成分数学模型的条件要求主成分之间不相关，因此主成分间的协调差矩阵应该是对角矩阵。 即，关于主要成分那个合作社=2、如果原始数据已经被归一化，则协方差矩阵等于相关矩阵，即，原始数据的协方差矩阵3、根据主成分数学模型条件和正交矩阵的性质，如果能满足条件，最好是正交矩阵因此，将原始数据的协方差代入主成分的协方差行列式展开上式展开方程的两侧，基于矩阵相等的性质，这里仅从第一列获得的方程如下为了得到该齐次方程式的解，系数矩阵的行列式为0，即很明显，是相关系数矩阵的特征量，是对应的特征向量。由于从第二列、第三列等也能得到同样的方程式，所以是方程式的根，是特征方程式的特征根，是其特征向量的成分。4、其次证明主成分的方差依次减少设相关系数矩阵的各特征根为，对应的特征向量为相对方差同样地：也就是说主要成分的分散依次减少。 协方差如下所示。以上证明，主成分分析中的主成分协方差应该是对角矩阵，其对角上的元素正好是原始数据相关矩阵的特征量，主成分系数矩阵的元素是与原始数据相关矩阵的特征量相应的特征向量。 矩阵是正交矩阵。然后，变量被转换以获得新的综合变量新的随机变量相互无关，方差逐渐减少。二、主成分分析的计算顺序样本观测数据矩阵是第一步：标准化原始数据。在其中步骤2 :计算样本相关系数矩阵。为了方便，如果还表示了原始数据，则归一化数据的相关系数为：步骤3 :使用雅可比法求出相关系数矩阵的特征量()和对应的特征向量。第四步：选择重要的主成分，写出主成分式。由于主成分分析可以得到各个主成分，但是各个主成分的方差减少，所包含的信息量也减少，所以在实际的分析中，一般不是选择各个主成分，而是根据各个主成分的累计贡献率的大小来选择前者的主成分。 这里，贡献率是指某个主要成分的方差在总方差中所占的比重，即某个特征值在总特征值中所占的比重。 也就是说贡献率=贡献率越大，说明其主成分中包含的原始变量的信息越强。 主成分的个数的选定是根据主成分的累积贡献率来确定的，一般的要求累积贡献率在85%以上，保证综合变量能包含原始变量的大部分信息。此外，在实际应用中，选择了重要的主成分后，也要注意主成分的实际意义解释。 主成分分析的一个重要问题是给主成分赋予新的意义，并进行合理的解释。 通常，该解释基于主成分公式的系数耦合稳定性分析。 主成分是原变量的线性组合，该线性组合中变量的系数大，有正和负，大小相当大，所以不能简单地认为该主成分是某个原变量的属性的作用。 线性组合中各变量的系数绝对值大的人，表示该主成分主要合并绝对值大的变量，在几个变量的系数大小相当的情况下，应该认为该主成分是这些变量