大数据计算方法 课件 chap7-数据分析中的凸优化_第1页
大数据计算方法 课件 chap7-数据分析中的凸优化_第2页
大数据计算方法 课件 chap7-数据分析中的凸优化_第3页
大数据计算方法 课件 chap7-数据分析中的凸优化_第4页
大数据计算方法 课件 chap7-数据分析中的凸优化_第5页
已阅读5页，还剩20页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1大数据计算方法Chap7：数据分析中的凸优化最大间隔分类与支撑向量机线性回归的过拟合与正则化压缩感知技术简介Outline2最大间隔分类与SVM二分类问题支撑向量机方法(线性SVM)更多讨论3

分类问题4

更多高维数据的分类问题Bishop,PatternRecognitionandMachineLearning,2007

支撑向量机方法5

设正、负支撑面的方程分别为:

支撑向量机方法6

代价函数为凸函数，线性约束；是凸优化问题!

支撑向量机方法7

根据右图看出，最优解为：

更多讨论8

正则化参数凸优化!

线性回归的过拟合与正则化线性回归的过拟合正则化-岭回归正则化-LASSO9过拟合问题10也反映模型复杂程度明显的过拟合！

过拟合问题11例7.4评价拟合模型的误差用函数的范数如果无法增加数据点、

模型复杂度也不能降

低，如何避免过拟合？

拟合误差随多项式次数变化的情况正则化12对例7.4的更多观察各个拟合多项式的系数让多项式系数变小，则控制了它偏离准确模型的幅度对优化问题做点修改：惩罚因子

的取值：交叉验证、gridsearch当次数K很大时，拟合系数

普遍很大！在数据数量、模型复杂程度不变情况下，可否限制拟合系数的值不能太大？惩罚项Ridgeregression,Tikhonov正则化正则化13确定最优惩罚因子

的交叉验证方法将已有的数据分的一部分做为训练集、另一部分做验证4-折交叉验证(4-foldcrossvalidation)3/4数据训出(拟合出)模型另外1/4算模型误差计算误差的均值，作为

某个

对应的准确度对一系列

值，重复上述计算，选出最好的

值这是在没有准确拟合解的情况下的一个选择最优参数的方法正则化14“岭回归”问题的求解相当于要求解线性最小二乘问题

>>At=[A;sqrt(lam)*eye(n)];>>x=At\[b;zeros(n,1)];正则化15例7.5用正则化做9次多项式拟合设置不同的

值看拟合函数误差9次多项式的模型矩阵与低次多项式拟合准确度

差不多

模型足够复杂、又不过拟合

正则化-LASSO16

或

正则化-LASSO17

压缩感知技术简介图像恢复的压缩感知技术OMP算法18图像恢复的压缩感知19图像修复问题已知部分像素点的值,如何恢复整个图像?灰度图

矩阵，彩色图3个矩阵图像压缩感知技术将数据变换到频域(离散余弦变换)利用信号的稀疏性通过求解欠定的线性方程组实现信号的重建或恢复10%的像素频域数据一般是稀疏的！

20图像恢复的压缩感知

21图像恢复的压缩感知

求解思路1：松弛为凸优化问题求解思路2：用启发式方法求近似最优解22正交匹配追踪算法

23正交匹配追踪算法

这就是正交匹配追踪算法Orthogonalmatchingpursuit(OMP)24正交匹配追踪算法算法描述

主要计算量时间复杂度25正交匹配追踪算法例7.10

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论