机器学习（第3版）课件第2章 机器学习基本方法 PCA和SVD

第2章机器学习基本方法——PCA和SVD赵卫东复旦大学赵卫东复旦大学议程主成分分析主成分分析是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的方差最大，以此使用较少的维度，同时保留较多原数据的维度尽可能如果把所有的点都映射到一起，那么几乎所有的区分信息都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，特征更加明显。PCA是丢失原始数据信息最少的一种线性降维方法，最接近原始数据PCA算法目标是求出样本数据的协方差矩阵的特征值和特征向量，而协方差矩阵的特征向量的方向就是PCA需要投影的方向。使样本数据向低维投影后，能尽可能表征原始的数据。协方差矩阵可以用散布矩阵代替，协方差矩阵乘以（n-1）就是散布矩阵，n为样本的数量。协方差矩阵和散布矩阵都是对称矩阵，主对角线是各个随机变量（各个维度）的方差赵卫东复旦大学议程主成分分析

赵卫东复旦大学议程主成分分析基于sklearn（Python语言下的机器学习库）和numpy随机生成2个类别共40个3维空间的样本点，生成的代码如下：mu_vec1=np.array([0,0,0])cov_mat1=np.array([[1,0,0],[0,1,0],[0,0,1]])class1_sample=np.random.multivariate_normal(mu_vec1,cov_mat1,20).Tmu_vec2=np.array([1,1,1])cov_mat2=np.array([[1,0,0],[0,1,0],[0,0,1]])class2_sample=np.random.multivariate_normal(mu_vec2,cov_mat2,20).T赵卫东复旦大学议程主成分分析生成的两个类别class1_sample和class2_sample的样本数据维度为3维，即样本数据的特征数量为3个，将其置于3维空间中展示赵卫东复旦大学议程主成分分析计算40个点在3个维度上的平均向量赵卫东复旦大学议程主成分分析二维空间分布赵卫东复旦大学议程奇异值分解SVD矩阵分解作用：矩阵填充，例如协同过滤的ALS算法就是填充原有矩阵清理异常值与离群点降维、压缩个性化推荐常见的矩阵分析方法：PCA(PrincipalComponentAnalysis)分解，作用：降维、压缩。SVD(SingularValueDecomposition)分解，也叫奇异值分解。LSI(LatentSemanticIndexing)或者叫LSA(LatentSemanticAnalysis)，隐语义分析分解。PLSA(ProbabilisticLatentSemanticAnalysis)，概率潜在语义分析。PLSA和LDA都是主题模型，PLSA是判别式模型。赵卫东复旦大学议程奇异值分解对于任意矩阵A总是存在一个奇异值分解：

假设A是一个m*n的矩阵，那么得到的U是一个m*m的方阵，U里面的正交向量被称为左奇异向量。Σ是一个m*n的矩阵，Σ除了对角线其它元素都为0，对角线上的元素称为奇异值。

是v的转置矩阵，是一个n*n的矩阵，它里面的正交向量被称为右奇异值向量。右奇异向量左奇异向量赵卫东复旦大学议程奇异值分解在奇异值分解矩阵中Σ里面的奇异值按从大到小的顺序排列。在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上。可以用前面r个大的奇异值来近似描述矩阵赵卫东复旦大学议程奇异值分解算例赵卫东复旦大学配套在线课程深度学习及其应用（第2次开课）/course/FU