模式识别5-1主成分分析和K-L变换.ppt

主成分分析、主成分分析PCAPrincipleComponentAnalysis是基于K-L变换的主成分分析PCA的变换矩阵是协方差矩阵，K-L变换的变换矩阵有多种(二次矩阵、协方差矩阵、类内离散度矩阵等)。 当K-L变换矩阵是协方差矩阵时，相当于PCA。K-L坐标系的生成矩阵、K-L变换、特征提取思想通过映射(或变换)的方法将原始特征变换为较少的新特征维分解主成分分析(PCA )的基本思想进行特征维分解变换，无法完全表现原来的对象，总是失去能量。 在K-L转换、原始输入：x转换之后的特征：y转换矩阵(线性转换) :A或：y=ATx、K-L转换，以及：的相关矩阵：y，通过尽可能减小特征之间的关联性而找出能量集中的最小值=EATxxTA=ATRxA考虑到a的选择方法、K-L变换、将Rx的特征向量设为a的列，认为Ry=ATRxA=a1，a2anTRxa1，a2an=a1，a 2an t an 2 a 2nan=对角矩阵、对角要素1， 从2n与变换后的特征量无关的目的以上考虑K-L变换、K-L变换、K-L变换的性质：时，若降低维数，则只要留下m维数，就可以得到ym 1yN与：和原来的显示方法之差最小的： e | x-x|2 最小x 当已经对在原始空间中的对应显示方法、K-L变换、K-L变换、和结论特征向量进行重新排序时，丢弃最小特征的损失的能量是最小的，K-L变换的典型应用是：1.降低维度、压缩面部图像，如果它由m行和n列表示像素组成，则原始特征空间维度为MN。 用K-L变换成30基的话，因为维数为30，所以降低维数的效果极其显着。 例如，原始训练样本集的数量为v，现在采用30个，数据量大幅减少，K-L变换的典型应用，3 .脸部识别首先收集识别的人的脸部图像，生成脸部图像库，然后利用K-L变换决定对应的脸部基础图像， 相反，在这些基础图像中对脸图像库内的脸图像进行K-L变换并识别的情况下，首先对输入的脸图像进行必要的标准化，进行K-L变换分析，得到该参数向量。 K-L变换的典型应用，4 .人脸图像合成，采用K-L变换提取特征，主题：主成分分析PCA，路志宏Lu_zhihong，PrincipalComponentAnalysis，内容一，前言二，提出问题三， 主成分分析一.二维数据示例二. PCA的几何意义三.平均和协方差、特征量和特征向量四. PCA的性质四、主成分分析算法五、具体示例二六、结论七、练习一.首先假定你是公司的财务经理，公司的所有数据如固定资产、流动资金、按贷款的金额和期限掌握了各种税金、工资支出、原料消费、产值、利润、折旧、员工人数、员工分工和教育程度等。 介绍公司的状况的话，当然不能保持这些指标和数字不变。 实施例1实施例2必须高度概括各方面，用1、2个指标简单地说明情况。 报告什么PCA，多变量问题经常遇到。 变量过多的话，分析问题的难度和复杂性一定会增加。 在许多实际问题中，多个变量之间有一定的相关关系。 因此，在研究各变量之间的相关关系的基础上，能否将原来的多个变量替换为较少的新变量，并且尽可能多地保留原来的多个变量反映在那些较少的新变量中的信息？ 事实上，这种想法是可以实现的。 主成分分析原理：是一种将原始多个变量转化成少量综合指标的统计分析方法，从数学上来说，该统计分析方法是降低维度的处理技术。 主成分分析法是综合处理这个问题的有力方法。，(1)主成分分析如何进行？ 当分析中选择的变量具有不同维度，变量级别差异较大时，应该选择基于相关系数矩阵的主成分分析。 在最小化数据信息丢失的原则下，降维变量空间，即研究指标体系的少数线性组合，由这些线性组合构成的综合指标尽可能保留有关原始指标变异的信息。 这些综合指标被称为主要成分。 值得讨论的问题是：2.提出问题，各变量之间有很大差异，(2)如何选择一些主要成分。 主成分分析的目的是简化变量，通常主成分的个数必须小于原变量的个数。 对于保持一些主成分，应当比较研究主成分的个数与保持的信息。 (3)如何说明主要成分中包含的几何意义和经济意义等。 美国统计学家斯通在1947年对国民经济的研究是一项非常有名的工作。 他利用美国1929年至1938年的年度数据，获得了反映国民收入和支出的17个变量要素，如雇主补贴、消费资料和生产资料、纯公共支出、净增资库存、股息、利率、对外贸易平衡等。 进行主成分分析后，竟以97.4%的精度，将原17个变量替换为3个新变量。 例1:根据经济分析、经济学知识，斯通将这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰退趋势F3。 更有趣的是，这三个变量实际上是可以直接测量的。 主成分分析是指在将数据信息的丢失抑制到最小限度的原则下，最佳地综合简化这种多变量的数据表，即，尝试对高维变量空间进行降维处理。 显然，识别系统在低维空间比在高维空间容易得多。 实例2:的成绩数据，100名学生的数学、物理、化学、国语、历史、英语成绩如下表所示。 本例中可能提出的问题是，当前问题是，这两个统一变量是否能够用一个或两个统一变量表示此数据的六个变量，它们包含多少原始信息，能够利用发现的统一变量对学生进行排名吗？ 这类数据相关的问题已经传播到企业，可以进行学校的分析、排序、判别、分类等问题。 另外，该示例的数据点由六维组成，即，每个观测值是六维空间中的一个点。 我们想用低维空间来表现六维空间。 此外，3.1PCA:的二维数据分析首先假定数据仅为二维(即仅两个变量)，这两个变量由横轴和纵轴表示，因此对于每个观测值存在不同的偏差。 有对应于这2个坐标轴的2个坐标值的这些数据在形成椭圆形状的格子的情况下(这可以通过变量的2维正规的假设)，对，3.2主成分分析的几何学解释，并进，旋转坐标轴，3.2主成分分析的几何学解释可以进行，主成分分析的几何学解释，并进，旋转坐标轴，主成分分析的几何学解释，主成分分析的几何解释，平移，旋转坐标轴，主成分分析的几何解释，平移，3.2.PCA:进一步解释为椭圆有长轴和短轴。在短轴方向上数据变化较少的极端情况下，短轴稍微退化，就只能在长轴方向上说明这些点的变化，从二维到一维的维下降就自然完成了。 此外，还解释二维数据、PCA，如果坐标轴与椭圆的长轴平行，则代表长轴的变量描述数据的主要变化，而代表短轴的变量描述数据的次要变化。 但是，坐标轴通常不平行于椭圆的长轴。 因此，必须找到椭圆的长轴，并将新变量转换为与椭圆的长轴平行。 如果长轴变量表示数据中包含的大部分信息，则可以将两个原始变量替换为该变量(截断二次一维)，然后降低维。 椭圆(球)的长轴越大不同，降维也是理所当然的。 进一步说明PCA (续)，在多维变量的情况下与二维类似，也有高维椭球体，但直观上看不到。 首先，找到高维椭球的主轴，将表示大多数数据信息的最长的几个轴作为新变量，主成分分析基本完成。 注意，和二维情况一样，高维椭球体的主轴也相互垂直。 这些相互正交的新变量是原始变量的线性组合，被称作主成分。 二维椭圆有两个主轴，三维椭球有三个主轴，有几个变量，有几个主成分。 越选择少的主要成分，降维越好。 什么是标准呢？这些选定的主要成分所代表的主轴长度之和占主轴长度总和的大部分。 有些文献提出，选择的主轴总长度约占所有主轴长度之和的85%，其实，这只不过是大致的说法，具体选择几个必须由实际情况决定。 3.3 .平均和协方差特征量和特征向量有n个样本，对每个样本观测p个指标(变量):X1、X2、Xn，从而获得原始数据矩阵：1 .样本平均，表明样本平均处于数据哈希图的中心。 因而，p*n矩阵的列b的样本平均值为0，称为平均偏差格式，称为m，2 .样本协方差，其在一定程度上反映了变量之间的关系，但是其也受变量本身的测量单位的影响。 注意，协方差是对称矩阵，半正定的，3.3个特征量和特征向量，定义，称为a的特征量，称为a的特征向量。 注意，不一定是唯一的n阶方阵a的特征值是齐次线性方程式、特征向量、特征值的问题只是方阵，具有非零解的值，即满足的都是方阵a的特征量、定义、将称为未知数的一维n阶方程式， a的特征方程；例如，1:从一个总体中随机提取四个样本以进行三维测量，其中，每个样本的观测向量为：每个样本的平均值m、协方差矩阵s和s的特征量以及特征向量. syna xc=cov (x ) algorithmorithmforcovis X=X-ones(n，1 ) * mean (x ) y=x * x/(n-1 ) sealsocorrcoef，mean，std，var，平移，旋转坐标轴，m，为了方便，在二维空间中讨论主成分的几何意义当存在n个样本，每个样本有2个观测变量xl和x2，并且存在n个样本点时，它们是由变量xl和x2确定的二维平面，这里描述的是椭圆形的。 该n个采样点在xl轴方向和x2轴方向都具有较大的离散性，其离散程度可以通过观测变量xl的方差和x2的方差来定量地表示。 已经明确，只考虑xl和x2的任意一方，原始数据中包含的信息就会带来巨大的损失。 先平移xl轴和x2轴，同时逆时针旋转角度，即可得到新的坐标轴Fl和F2。 Fl和F2是两个新变量。 另外，Fl、F2不仅能够对Xl、X2所含的信息发挥浓缩作用，而且具有无关的性质，在研究复杂问题时能够避免因信息重叠而产生的虚假性。二维平面上的各个点的大部分方差返回Fl轴，但F2轴上的方差很小。 Fl和F2称为原始变量x1和x2的统一变量。 f简化了系统结构，抓住了主要矛盾。 稍稍休息一下，3.4PCA的性质，1，2个线性代数的结论，如果1，a是p次实对称序列，一定可以找到正交序列u，其中有a的特征根。 2、如果与矩阵的特征根对应的单位特征向量是数量，则实际对称矩阵是与不同特征根对应的特征向量正交的、3.4PCA的性质(续)、3、平均、4以及方差是所有特征根的和。然而，主成分分析包括p个随机变量的总方差为p个无关的随机变量协方差矩阵对角线上元素之和等于特征根之和。 3.4，精度分析，1 )贡献率：第I个主成分的方差在全方差中所占的比重称为贡献率，反映了原来的p个指标的大小的信息，反映了有多大的综合能力。 2 )累积贡献率：前k个主要成分具有多大的综合能力，用这k个主要成分在方差和总方差中所占的比重来记述，称为累积贡献率。 PCA常用统计量：1.特征根i2.各成分贡献率3 .之前的各成分累积贡献率4 .通过特征向量的各成分方式规范化后的原始变量的系数向量是各成分的特征向量。 我们进行主成分分析的一个目的是，尽可能少的主成分F1，F2，Fk(kpp )被原来的p个指标取代。 应该选择多少个主成分，在实际工作中，主成分的个数多少取决于能够反映原变量的80%以上的信息量，即累积贡献率80 %时的主成分的个数就足够了。 最常见的是，主要成分为23个。 就作为例子设置的协方差矩阵而言，第一主成分的贡献率为5.83/(5.83 2.00 0.17)=72.875%，第一主成分的贡献率不小，但应该采取两个主成分。 97.88%、4主成分分析的步骤，第一步骤：根据x的协方差矩阵x求出其特征根，即解方程式，可获得特征根。 另一方面，根据协方差矩阵，第二步骤计算分别对应的特征向量U1、U2、Up的第三步骤：计算累积贡献率，并提供适当的主分量的数目。 步骤4 :计算所选择的k个主成分的得分。 将原始数据的中心化值：代入最初的k个主成分的式子，分别计算各单位的k个主成分的得分，并以得分值的大小进行排列。 此例的应收账款是指企业为了对外销售产品、材料、劳务等，必须征收给采购部门或者接受劳务的部门的金额，包括应收账款、其他应收账款、应收票据等。 为了扩大销售的竞争需求，企业不得不以信用销售和其他优惠招揽顾客，在销售和收款的时间差产生了应收账款。 应收账款效果的好坏不仅取决于企业的信用政策，还取决于顾客的信用程度。 以此来评价顾客的信用等级，了解顾客的综合信用程度，实现“了解对方，百战危险”，有助于加强企业应收账款管理。 有的企业为了了解顾客的信用度，采用西方银行信用评估中常用的5C方法，5C的目的是说明