《模式识别原理、应用及实现》 课件 6.5PCA算法-实验

模式识别1/justinruan/Learning-ML学以致用，知行合一（实践篇）主成分分析算例2PrincipalComponentAnalysis(PCA)1.构造样本矩阵Xn,d,n个样本，d个特征2.计算样本均值m，方差σ2，对样本进行标准化(x-m)/σ3.计算协方差矩阵Cd,d

协方差矩阵(3维x,y,z)3

4.计算协方差矩阵C的特征值和特征向量5.排序,将特征值按从大到小的顺序排列，并根据特征值调整特征向量的排布。6.提取最大的k个特征值所对应的特征向量，构成基向量矩阵ed,k7.计算降维后的新样本矩阵Yn,k=Xn,d*ed,kPrincipalComponentAnalysis(PCA)4PCA的算例假设我们得到的2维数据如下：

行代表了样例，列代表特征，这里有10个样例，每个样例两个特征。第一步分别求x和y的平均值，然后对于所有的样例，都减去对应的均值。这里x的均值是1.81，y的均值是1.91，那么第一个样例减去均值后即为（0.69,0.49），得到5PCA的算例第二步，求特征协方差矩阵，如果数据是3维，那么协方差矩阵是这里只有x和y，求解得对角线上分别是x和y的方差，非对角线上是协方差。协方差大于0表示x和y若有一个增，另一个也增；小于0表示一个增，一个减；协方差为0时，两者独立。协方差绝对值越大，两者对彼此的影响越大，反之越小。第三步，求协方差的特征值和特征向量，得到这里的特征向量都归一化为单位向量。第四步，将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵。我们选择其中最大的那个，这里是1.28402771，对应的特征向量是6

PCA的算例第五步，将样本点投影到选取的特征向量上。假设样例数为n，特征数为d，减去均值后的样本矩阵为DataAdjust(n,d)，协方差矩阵是d*d，选取k个特征向量组成的矩阵为EigenVectors(d,k)。那么投影后的数据FinalData为FinalData(n,k)=DataAdjust(n,d)*EigenVectors(d,k)这样，就将原始样例的d维特征变成了k维，这k维就是原始特征在k维上的投影。7x-.8279701861.77758033-.992197494-.274210416-1.67580142-.912949103.09910943751.14457216.4380461371.22382056TransformedData(SingleeigenVector)PCA的算例正号表示预处理后的样本点，斜着的两条线就分别是正交的特征向量（由于协方差矩阵是对称的，因此其特征向量正交），最后一步的矩阵乘法就是将原始样本点分别往特征向量对应的轴上做投影。8PCA的算例如果取的k=2，那么结果是TransformedData=9xy-.8279701861.77758033-.992197494-.274210416-1.67580142-.912949103.09910943751.14457216.4380461371.22382056-.17511530.142857227.384374989.130417207-.209498461.175282444-.349824698.0464172582.0177646297-.162675287使用numpy实现PCA10手写数字的主成分分析数据准备11Classes10Samplesperclass~180Samplestotal1797Dimensionality64Featuresintegers0-16Eachdatapointisa8x8imageofadigit.使用numpy实现PCA值12去中值计算协方差矩阵Cd,d计算它的特征值和特征向量

提取向最大的r个特征值投影后的特征计算每个特征值所对应的信息量使用numpy实现PCA特征降维13方差的比重：[0.148905940.13618771]特征值：[179.0069301163.71774688]手写数字特征PcA14画散点图的说明：y==i，返回Boolean数组，指出哪一行样本属于数字i的；X[y==i]返回对应数字i的特征，X中只有特征，这里是压缩后的两位特征；X[y==i，0]就是取第一维特征；将两个维度分别取出来，然后分别在二维图上按xy坐标进行画图。使用SK-learn实现PCA15手写数字特征PcA16方差的比重：[0.148905940.13618771]特征值：[567.0065665542.25185421](2,64)手写数字特征PcA17画散点图的说明：y==i，返回Boolean数组，指出哪一行样本属于数字i的；X[y==i]返回对应数字i的特征，X中只有特征，这里是压缩后的两位特征；X[y==i，0]就是取第一维特征；将两个维度分别取出来，然后分别在二维图上按xy坐标进行画图。手写数字特征PcA18压缩到32维时，方差比重之和0.96635421原始图像（8x8=64