主成分分析的理论和应用

1、主成分分析1主成分分析及主成分回归的基本思想主成分分析是把各变量之间互相关联的复杂关系进行简化分析的方法。由于多个变量之间往往存在着一定程度的相关性。人们自然希望通过线性组合的方式，从这些指标中尽可能快的提取信息。当第一个线性组合不能提取更多的信息时，再考虑用第二个线性组合继续这个快速提取过程，直到所提取的信息与原指标相差不多时为止。主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理。很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。主成分回归是在主成分分析法的基础上，由个自变量选出前个主成分，他们是互不相关的；

2、在保持因变量不变，用这个主成分作为自变量作回归；最后把所得的结果作变量代换，转化成原来因变量与自变量的关系。2数学模型与几何解释主成分分析的数学模型是，设个变量构成维随机向量为。对作正交变换，令，其中为正交阵，要求的各分量是不相关的，并且的第一个方差是最大的，第二个分量的方差次之，。为了保持信息不丢失，的各分量方差与的各分量方差和相等。其数学推导为：设为一个维随机向量，并假定存在二阶矩，其均值向量与协方差分别记为考虑如下的线性变换 用矩阵表示为 其中，；。满足如下条件：每个主成分的系数平方和为1。即。主成分之间相互独立，即无重叠信息。即主成分的方差依次递减，重要性依次递减，即3 主成分分析的性

3、质及推导（1） 第一主成份的推导： 设X的协方差阵为 由于x为非负定的对称阵，则有利用线性代数的知识可得，必存在正交阵使得其中为的特征根，不妨假设。而恰好是由特征根相对应的特征向量所组成的正交阵。 设有维正交向量=当且仅当时，即 时，有最大的方差。因为 。如果第一主成分表达的信息不够，则须找第二主成分。（2）第二主成分：因为第一，第二主成分线性无关所以有条件，寻找第二主成分。，因为所以。则对维向量有。所以取线性变换，则方差次大。依次类推矩阵形式为 。2.3.2 主成份性质： 性质1 主成分的协方差矩阵是对角阵。 性质2 主成分的总方差等于原是变量的总方差。 性质3 主成分与原是变量的相关系数为

4、并称之为因子负荷量。 性质4 ，（）。样本主成分性质:1、第个主成分的系数向量是第个特征根所对应的标准化特征向量。2、第个主成分的方差为第个特征根，且任意两个主成分都是不相关的，也就是的样本协方差矩阵是对角矩阵3、样本主成分的总方差等于原变量样本的总方差，为4、第个样本主成分与第个变量样本之间的相关系数为： （因子载荷量）。2.4主成分的方差贡献率主成分分析把个原始变量的总方差分解成了个相互独立的变量的方差之和。主成分分析的目的是减少变量的个数，所以一般不会使用所有个主成分，忽略一些带有较小方差的主成分将不会给总方差带来太大的影响。这里我们称为第k个主成分的贡献率。第一主成分的贡献率最大，这表明综合原始变量的能力最强，而的综合能力依次递减。若只取m个主成分，则称为主成分的累计贡献率，累计贡献率表明综合的能力。通常使得累计贡献率达到一个较高的百分数（如85%以上）。2.5主成分分析的计算步骤 （1）由观测数据计算， 及 （2）由协方差矩阵得到特征值，及各个主成分的方差贡献、贡献率和累计贡献率，并根据累计贡献率确定主成分保留的个数。 （3）写出m个基本方程 式中，利用施密特正交化方法，对每一个求他所对应的基本方程组的解，然后令，从而得到用所表示的主成分，或