机器学习导论-第5章-PCA

MACHINELEARNING机器学习第5章PCA5.1

PCA介绍5.2PCA推导5.3PCA求数据的前N个主成分5.4高维数据向低维数据进行映射5.5PCA主成分分析的可解释性5.6PCA降维应用第5章PCAPCA（PrincipalComponentAnalysis）主成分分析PCA是一个梯度分析的应用，不仅是机器学习的算法，也是统计学的经典算法一个非监督的机器学习方法主要用于数据降维通过降维，可以发现更便于人类理解的特征还可以用于降噪和可视化5.1

PCA介绍第5章PCA下面一个两个特征的一个训练集，我们可以选择一个特征，扔掉一个特征5.1

PCA介绍第5章PCA扔掉了特征一和特征二的两种方案，很明显右边这种的效果会更好一些，因为访问二扔掉特征二以后，点之间的分布情况更接近与原图，但是这不是更好的5.1

PCA介绍第5章PCA希望有一根直线，是斜着的，我们希望将所有的点都映射到这条直线上，那么这个时候我们就成功的将二维降到了一维。与此同时，这些点更加趋近与原来的点的分布情况，点和点之间的距离比无论是映射到x还是映射到y，他们之间的区分度都更加的大，也就更加容易区分5.1

PCA介绍第5章PCA如何找到这个让样本间间距最大的轴?如何定义样本间间距?事实上有一个指标可以之间定义样本间的距离，就是方差（Variance）（方差：描述样本整体之间的疏密的一个指标，方差越大，代表样本之间越稀疏，方差越小，代表样本之间越紧密）5.1

PCA介绍第5章PCA计算方差将样例的均值归为0(demean)（归0：所有样本都减去他们的均值），使得均值为0，这样可以简化方差的公式5.1

PCA介绍第5章PCA对所有的样本进行demean处理需要找到一个轴的方向w=(w1,w2)，使得所有的样本映射到w以后有下面的式子最大上式均值以后得下面式子，求下面式子最大5.2

PCA推导第5章PCAX(i)映射到w的距离实际上就是X(i)与w的点乘（蓝色的线），根据定义推导，其值实际上就是Xproject5.2

PCA推导第5章PCA目标函数就可以进一步化简成这是一个目标函数的最优化问题，使用梯度上升法解决。当然我们也可以之间使用数学原理推导出结果，这里我们主要关注使用搜索的策略来求解主成分分析法5.2

PCA推导第5章PCA使用梯度上升法解决PCA问题5.2

PCA推导第5章PCA上面式子里的每一个(X1(i)·w1+X2(i)·w2+......Xn(i)·wn)都是一个X(i)和w的点乘，所以式子可以进一步化解化简过后可以进行向量化，即每一个∑(X(i)·w1)·X1(i)

可以看成是(X·w)这个向量的转置（本来是个行向量，转置后是1行m列的列向量）与X这个矩阵（m行n列）做点乘等到的其中一项的相乘相加的结果最后根据转置法则((AB)T=BTAT)转换成最后的结果5.2

PCA推导第5章PCA5.2

PCA推导第5章PCA上面式子里的每一个(X1(i)·w1+X2(i)·w2+......Xn(i)·wn)都是一个X(i)和w的点乘，所以式子可以进一步化解化简过后可以进行向量化，即每一个∑(X(i)·w1)·X1(i)

可以看成是(X·w)这个向量的转置（本来是个行向量，转置后是1行m列的列向量）与X这个矩阵（m行n列）做点乘等到的其中一项的相乘相加的结果最后根据转置法则((AB)T=BTAT)转换成最后的结果5.2

PCA推导第5章PCA5.3PCA求数据的前N个主成分求多维数据的前N个主成分，可以先求出第一主成分，然后将数据在第一个主成分上的分量去掉，再求出下一个主成分，以此类推。第5章PCA数据进行改变，将数据在第一个主成分上的分量去掉X(i)·w=||Xproject(i)||即X(i)映射到w上的值，那么||Xproject(i)||（大小）·w（方向）就是X(i)在w上的分向量记为Xproject(i)=||Xproject(i)||·wX(i)-Xproject(i)就可以实现将X样本在Xproject相应上的分量去掉，相减之后的集合意义就是讲X样本映射到了Xproject向量相垂直的一个轴上，记为X`(i)=Xproject(i)在新的数据上求第一主成分得到的X`是X中的所有样本都去除了第一主成分上的分量得到的结果，要求第二主成分，只要在新的数据上，重新求一下第一主成分5.3PCA求数据的前N个主成分第5章PCA如何将我们的样本X从n维转化成k维呢，回忆们之前学到的，对于一个X样本，与一个W进行点乘，其实就是将一个样本映射到了w这个坐标轴，得到的模，如果讲这一个样本和这k个w分别做点乘，得到的就是这一个样本，在这k个方向上做映射后每一个方向上的大小，这k个元素合在一起，就代表这一个样本映射到新的k个轴所代表的坐标系上相应的这个样本的大小5.4高维数据向低维数据进行映射第5章PCAX1分别乘以W1到Wn，得到的k个数组成的向量，就是样本1映射到Wk这个坐标系上得到的k维的向量，由于k<n，所以我们就完成了一个样本从n维到k维的映射，这个过程依次类推从样本1到样本m都这么做，我们就将m个样本都从N维映射到了k维-----其实我们就是做了一个乘法X·WT(转置是因为我们是拿X的每一行去和W的每一行做点乘的，但是矩阵乘法规定是拿X的每一行和W的每一列做乘法)我们得到新的降维后的矩阵Xk以后，是可以通过和Wk相乘恢复回来的，但是由于我们在降维的过程中丢失了一部分信息，这时即使恢复回来也和原来的矩阵不一样了，但是这个从数据角度上是成立的。5.4高维数据向低维数据进行映射第5章PCA5.4高维数据向低维数据进行映射PCA降维的基本原理找到另外一个坐标系，这个坐标系每一个轴依次可以表达原来的样本他们的重要程度，也就是称为所有的主成分，我们取得前k个最重要的主成分，就可以将所有的样本映射到这k个轴上，获得一个低维的数据信息第5章PCA第一个主成分解释方差的比例代表第一个主成分可以解释多少的原数据，第二个主成分解释方差的比例代表第二个主成分可以解释多少的原数据。两个主成分加起来可以解释百分之M的原数据，而其他的信息丢失了。主成分分析应用中，可以使用主成分解释方差比例这个参数来查看每个主成分所解释的原数据，来判断要取多少个主成分能满足应用要求。5.5PCA主成分分析的可解释性主成分所解释的方差第5章PCA下图为N维数据，随着保留主成分增多，可解释原始数据比例也随之增加。5.5PCA主成分分析的可解释性主成分所解释的方差第5章PCA如将多维数据降到2维，可以方便可视化展示，帮助人们理解。下图为手写数据集降到2维可视化以后的结果。每个颜色代表一个数字在降维到二维空间中的分布情况。仔细观察后可以发现，很多数字的区分还是比较明细的。比如如果只是区分蓝色的数字和紫色的数字，那么使用二个维度就足够了。5.6PCA降维应用数据可视化第5章PCA使用PCA