机器学习算法思想与实践 课件 第5章-特征工程-特征降维_第1页
机器学习算法思想与实践 课件 第5章-特征工程-特征降维_第2页
机器学习算法思想与实践 课件 第5章-特征工程-特征降维_第3页
机器学习算法思想与实践 课件 第5章-特征工程-特征降维_第4页
机器学习算法思想与实践 课件 第5章-特征工程-特征降维_第5页
已阅读5页，还剩5页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

特征工程《机器学习算法思想》

特征降维5.4

特征降维当特征选择完成后，是否可以直接训练模型了？且慢！可能由于特征维度过多、特征矩阵过大，导致计算量大，训练时间长的问题，称为“维度灾难”，缓解“维度灾难”的重要途径是降维。通过数学变换将原始高维属性空间变换为一个低维“子空间”，在这个子空间中样本密度大幅度提高，距离计算也变得更加容易。下面简介集中典型的降维算法。1.主成分分析

主成分分析又称主分量分析技术，旨在利用降维的思想，把多指标转化为少数几个综合指标。PCA找到一个最佳的投影方向使得数据在该方向投影之后保留足够多的信息，只考虑数据整体的分布情况（即方差），不考虑点与点之间的距离关系。

主成分分析的直观理解是旋转坐标轴（线性变换），这个变换把数据变换到一个新的坐标系统中，使得数据在新的坐标系下在各个坐标轴变量方向投影的方差变大，如果在某坐标上的方差最大，那么这个坐标轴对应的这些散点的坐标就是第一主成分，其次就是第二主成分，以此类推。保留低阶主成分，忽略高阶主成分。

2

线性判别分析LDA线性判别分析（lineardiscriminantanalysis，也称fisherlineardiscriminant）是一种有监督的线性降维算法，将数据投影到低维空间之后，使得同一类数据尽可能的紧凑，不同类的数据尽可能分散。LDA算法有如下两个假设：（1）原始数据根据样本均值进行分类。（2）不同类的数据拥有相同的协方差矩阵。LDA分类的示例在实际情况中，不可能满足以上两个假设，但是当数据主要是由均值来区分的时候，LDA一般都可以取得很好的效果。以二类数据为例，周志华老师用图5-17描述了其效果。LDA针对给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近、异类样例的投影点中心尽可能远离。一句话概括就是：投影后类内方差最小，类间方差最大。3.其它降维算法除了以上两种常用的降维算法外，还有以下一些降维算法：t-SNE考虑点与点之间的距离关系，它希望降维前后能够保持距离关系不变，从而能够很好地进行可视化。t-SNE将距离的远近关系转化为一个概率分布，每一个概率分布就对应着一个“样本间距离远近”的关系，而降维前后的数据都各自对应着一个概率分布，目标是希望这两个概率分布足够接近。值得注意的是：t-SNE的结果并不是唯一的，它依赖于初始生成的数据。

MDS全称是多维尺度变换算法，该算法以距离为标准，将高维坐标中的点投影到低维坐标中，保持彼此之间的相对距离变化最小。

局部线性嵌入LLE是流形学习方法经典之一，能使降维后的数据较好地保持原有流形结构，图5-18给了一个典型的例子，降维后数据还保持了流形的结构。流形结构数据集

核化线性降维KPCA先将样本映射到高维空间，再在高维空间中使用线性降维的方法。LaplacianEigenmaps用局部的角度去构建数据之间的关系，是一种基于图的降维算法，它希望相互间有关系的点（在图中相连的点）在降维后的空间中尽

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论