数据科学导引 课件 降维方法_第1页
数据科学导引 课件 降维方法_第2页
数据科学导引 课件 降维方法_第3页
数据科学导引 课件 降维方法_第4页
数据科学导引 课件 降维方法_第5页
已阅读5页,还剩64页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

降维方法目录第一部分降维简介第二部分线性降维第三部分非线性降维第四部分案例与实战聚类分析什么是降维?Dimensionalityreductionordimensionreductionistheprocessofreducingthenumberofrandomvariablesunderconsideration,viaobtainingasetof“uncorrelated”principalvariable.-Wikipedia:Dimensionalityreduction

属性为什么要进行降维?高维度带来的问题:维数灾难

(CurseofDimensionality)

例如:训练一个分类器来分辨猫和狗

一个特征20%二个特征45%三个特征58%若想要覆盖20%的特征空间,需要多少数据?收集并计算大量的样本是困难的!训练数据在高维空间变得稀疏,用于训练模型的样本量不足,易产生过拟合问题。

随着维数增加,超球体(内接于超立方)的体积越来越小,落在角落的数据越来越多。因为不同角落的值差别很大,落在角落的数据很难进行分类

模型表现变差

维度与分类表现的关系降维的目的:压缩数据去除噪声提取特征降维的作用:降低空间复杂度:更少的参数降低时间复杂度:更少的计算量便于数据可视化属性特征选择:

从原始特征中挑选出一些最有代表性、分类性能最好的指标特征提取(本讲重点):

利用映射或变换的方法把原始特征变换为较少的特征“数据降维”可通过特征选择和特征提取两种方式实现特征选择V.S.特征提取属性降维方法的分类降维方法分为线性降维方法和非线性降维方法线性降维方法:主成分分析(PCA)线性判别分析(LDA)其他方法(独立成分分析ICA)非线性降维方法:基于核函数的降维方法(KPCA、KICA、KDA)基于流形学习的降维方法(ISOMAP、LLE、MDS、t-SNA)目录第一部分降维简介第二部分线性降维第三部分非线性降维第四部分案例与实战聚类分析方差、标准差和协方差

聚类分析特征值和特征向量

聚类分析特征值分解

属性

特征值分解示例主成分分析(PrincipalComponentAnalysis,PCA)通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换后的这组变量叫主成分基本思想:构造原变量的一系列线性组合形成几个综合指标,以去除数据的相关性,并使低维数据最大程度保持原始高维数据的方差信息聚类分析主成分分析为什么需要主成分分析?我们在处理数据的时候经常会遇到每个样本包含很多个变量。变量太多,会增加分析问题的难度与复杂性在许多实际问题中,多个变量之间具有一定的相关关系(多重共线性)。因此,研究的重点是,能否在各个变量之间相关关系研究的基础上,用较少的新变量代替原来较多的变量,而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息聚类分析主成分分析美国统计学家斯通在1947年关于国民经济的研究中,得到了17个反映国民收入与支出的变量要素,例如雇主补贴、消费资料、生产资料、纯公共支出、股息、利息、外贸平衡等在进行主成分分析后,以97.4%的精度,用3个新变量就取代了原来的17个变量根据经济学知识,斯通给这3个新变量分别命名为总收入F1,总收入变化率F2和经济发展或衰退趋势F3聚类分析主成分分析的应用实例

聚类分析主成分分析的几何解释对于多变量的情况和2维类似,可以推广为高维椭球首先把高维椭球的主轴找出来,再用代表大多数数据信息的最长的几个轴作为新变量,这样主成分分析就完成了和2维情况类似,高维椭球的主轴也是互相垂直的。这些互相正交的新变量是原先变量的线性组合,称为主成分聚类分析主成分分析的几何解释(续)如何选择主成分?2维椭圆有两个主轴,3维椭球有三个主轴,有几个变量就有几个候选的主成分。主成分选择的标准就是被选的主成分所代表的主轴长度之和占了主轴长度总和的大部分(通常为85%)。具体选择几个主成分还要根据实际情况而定聚类分析主成分分析的几何解释(续)

聚类分析PCA的基本假设原始数据,

m个n维样本投影后数据,

m个r维样本投影矩阵,r组投影基,

r

<

n

聚类分析如何优化W?

聚类分析如何优化W?

聚类分析主成分分析的数学推导

聚类分析主成分数量r的选取

聚类分析主成分分析算法

聚类分析主成分分析示例

聚类分析主成分分析示例

聚类分析主成分分析示例线性判别分析(LinearDiscriminantAnalysis,LDA):有监督的线性降维基本思想:使用数据的类别信息,将高维的样本线性投影到低维空间中,使得数据样本在低维空间中,数据的类别区分度最大聚类分析线性判别分析

聚类分析基本概念和定义原始数据,

m个n维样本投影后数据,

m个r维样本投影矩阵,r组投影基,

r

<

n

聚类分析如何定义区分度?属性

聚类分析LDA的优化目标相同类的数据离得越近越好不同类的均值之间离得越远越好属性

属性聚类分析目标函数求解属性

属性聚类分析线性判别分析示例属性

属性属性聚类分析线性判别分析示例(续)属性属性属性聚类分析LDA与PCA思想不同

PCA主要是从特征的协方差角度,去找到比较好的投影方式,即选择样本点投影具有最大方差的方向,最大化保留了原始数据本身的内部信息;而LDA则更多的是考虑了分类标签信息,寻求投影后不同类别之间数据点距离更大化以及同一类别数据点距离最小化,即选择分类性能最好的方向,如前图所示,左图中PCA让两类数据投影方向方差最大化,而右图LDA让两类数据分类更容易区分学习模式不同

PCA属于无监督式学习,因此大多场景下只作为数据预处理过程的一部分,需要与其他算法结合使用,例如将PCA与聚类、判别分析、回归分析等组合使用;而LDA是一种监督式学习方法,除了可以降维外,还可以进行预测应用,因此既可以组合其他模型一起使用,也可以独立使用属性属性属性聚类分析独立成分分析ICA

目录第一部分降维简介第二部分线性降维第三部分非线性降维第四部分案例与实战现实生活中所获取到的数据集往往呈现出非线性结构,为了弥补线性降维方法的不足,人们提出了许多有效的非线性降维手段非线性降维方法主要可以分成两大类:基于核函数的降维方法(KPCA、KICA、KDA)基于流形学习的降维方法(ISOMAP、LLE、MDS、t-SNA)聚类分析非线性降维方法属性属性聚类分析Kernel

PCA

属性属性聚类分析Kernel

PCA

属性属性聚类分析Kernel

PCA特征向量形式协方差矩阵的特征向量v可以写成特征的线性组合:证明:

属性属性聚类分析Kernel

PCA特征向量形式

属性属性聚类分析Kernel

PCA特征向量形式

向量形式,K为核矩阵

属性属性聚类分析Kernel

PCA的步骤

属性属性聚类分析基于核函数的非线性降维方法示例属性属性属性聚类分析基于流形学习的降维非线性降维方法:基于核函数的降维方法(KPCA、KICA、KDA)基于流形学习的降维方法(ISOMAP、LLE、MDS、t-SNA)属性属性属性聚类分析流形的概念流形(manifold)是一种特殊的拓扑空间,是欧式空间中曲线、曲面的推广欧式空间是流形的一种简单形式流形的维度是指识别流形中的点需要的最小数量的坐标LLE(Locallylinearembedding,局部线性嵌入)的主要思路就是将数据降到低维空间中,但是保留数据局部的几何信息。对于每个点,有一组权系数对它的领域点进行加权,从而重构它,这组权系数会使得重构的误差最小使用LLE将三维数据(图B)映射到二维(图C)之后,映射的数据仍能保持原有的数据流形(红色的点相互靠近,蓝色的也相互靠近)③局部线性嵌入(LLE)③数据与其近邻存在局部线性关系每一个数据点可以写成其K个近邻点的线性组合权重通过最小化重构误差来得到(最小二乘法)LLE基本思想③

LLE算法流程③求出低维表示

③

LLE优缺点总结流形内两个相距较远的点在欧式空间中距离很近(图A)距离较远的点使用测地距离(geodesic

distance)代替欧式距离测地距离通过图(节点为数据点,边为K个近邻点之间的边)中最短路径路径来近似(图B)②聚类分析ISOMAP②1.构造近邻图使用K近邻来构建样本之间的稀疏图每个样本只与其K个近邻存在边2.计算最短路径使用最短路径算法计算样本点之间的最短路径3.找出样本的低维表示(r

<

n)ISOMAP算法步骤②

ISOMAP:构造近邻图K近邻算法②

ISOMAP:计算最短路径

②

ISOMAP:样本低维表示梯度下降法②保留了数据的全局结构只有一个参数需要确定(K)对噪音比较敏感计算代价高(图上的最短路径算法)ISOMAP优缺点MDS(多维尺度变换)算法是通过一个描述点之间差异度的矩阵来计算点的坐标,希望这些点的欧式距离能够尽量和它们之间的差异度值一样,从而达到数据降维目的。当给定点之间的差异度矩阵就是点之间的欧式距离时,MDS算法和PCA算法是等价的t-SNA:TheaffinitiesintheoriginalspacearerepresentedbyGaussianjointprobabilitiesandtheaffinitiesintheembeddedspacearerepresentedbyStudent’st-distributions.

(适合数据可视化)①属性属性属性聚类分析其他非线性降维方法①属性属性属性聚类分析对比:光学字符数据PCALDA①属性属性属性聚类分析对比:光学字符数据ISOMAPLLE①属性属性属性聚类分析对比:光学字符数据MDSt-SNE降维方法总结数据降维方法线性方法PCALDA非线性方法保留局部性质基于重建权值:LLE邻接图:LaplacianEigenmaps基于邻空间:LTSA保留全局性质基于距离:MDSISOMAP

基于核函数:KPCA基于神经网络

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论