维度归约之PCA、SVD、NMF课件_第1页
维度归约之PCA、SVD、NMF课件_第2页
维度归约之PCA、SVD、NMF课件_第3页
维度归约之PCA、SVD、NMF课件_第4页
维度归约之PCA、SVD、NMF课件_第5页
已阅读5页，还剩34页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、维度归约之PCA、SVD、NMF罗磊大纲为什么降维数学基础主成分分析（PCA）奇异值分解（SVD）非负矩阵分解（NMF）为什么降维理想情况下，机器学习算法应该能够利用任何有用的特征，而丢弃掉不相关的特征。为什么降维大多数算法的复杂度依赖于维度d和样本数N，降低维度即降低复杂度鲁棒性更强。简单模型具有较小的方差，意味着更少的依赖于样本的特殊性可解释性高维空间数据的稀疏性高维空间的数据稀疏性捕获指定容量的数据需要的边长为 在10维空间有： 0.63 和 这意味着：捕获1%的数据需要覆盖63%的范围捕获10%的数据需要覆盖80%的范围数学基础方差协方差矩阵特征值、特征向量方差样本方差计算公式：为什么

2、除以n-1？无偏性、自由度特征值、特征向量主成分分析PCA主成分分析什么是主成分分析？It is a way of identifying patterns in data, and expressing the data in such a way as to highlight their similarities and differences主成分分析设： 以及最优化问题变成：Maximum s.t. 使用拉格朗日乘数法：求导： 主成分分析因为满足解的条件下： 是协方差矩阵 的特征值，w是对应的特征向量 我们的目的是最大化 把解带回目标函数：主成分分析六步走Step1：获取数据主成分分

3、析六步走Step2：减去平均数X的平均数：1.81，Y的平均数：1.91主成分分析六步走Step3：计算协方差矩阵主成分分析六步走Step4：计算协方差矩阵的特征值和特征向量主成分分析六步走主成分分析六步走Step5：选择主成分形成新向量主成分分析六步走使用全部两个特征向量主成分分析六步走降维使用一个特征向量奇异值分解奇异值分解的优势，所有矩阵都能分解成以下形式X = UDVT其中U和V是正交矩阵。矩阵U的列是XXT的特征向量矩阵V的列是XTX的特征向量D是X的特征值，是XXT特征值的开方奇异值分解SVD和LSI的关系：LSI为矩阵的行和列赋予了文档和词的特殊含义，其他没有区别！奇异值分解LS

4、A-SVD对目标矩阵进行变换：奇异值分解使用SVD降维=UDVTX奇异值分解优化目标：L2-norm奇异值分解为什么SVD能work？一句话说：低阶近似充分利用数据分布，选择适用于模式分类的有效方向抛弃数据分布不好的方向，认为这些方向是由高斯误差产生，抛弃掉这些方向带来的数据扰动注意：个人观点！非负矩阵分解NMF非负矩阵分解NMF非负矩阵分解背景非负矩阵分解顾名思义要求矩阵中所有元素都非负（大于等于零）。在文档和图像等领域都适用非负矩阵分解是最新被引入到维度归约的一种方法（模式识别领域新方法，非数学领域新方法）非负矩阵分解NMFNMF的一般定义：非负矩阵分解NMF非负矩阵和PLSA的区别：优化目标不同：PLSA优化目标是期望最大化NMF优

人人文库> 全部分类> 行业资料 > 医学制药

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论