线性回归模型概述_第1页
已阅读1页，还剩29页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、线性回归模型概述2梯度下降法3拟牛顿法目录 CONTENTS1最小二乘法4RealRec案例演示最小二乘法算法最小二乘法（normal equation）残差，引入残差S来表示实际值与线性函数带入计算后的差别每个点都有一个残差，使用残差平方和来评价线性函数的好坏代入公式得到 对上面公式进行微分得到最优解04STEP参数估计03STEP均方误差最小化确定和b ，使得均方误差最小化，即一元线性回归中： 分别对和b求导，得到： 令两式为零，求得：04STEP参数估计03STEP均方误差最小化多元线性回归中：确定 ，使得均方误差最小化，即 对 求导，得到： 当 为满秩矩阵或正定矩阵时， 令上式为零，可

2、得：STEP最小二乘问题矩阵必须是满秩，否则 不存在只是用于线性模型，否则 不存在梯度下降法拟牛顿法解决方法2梯度下降法3拟牛顿法目录 CONTENTS1最小二乘法4RealRec案例演示梯度下降法算法梯度下降法是一个最优化算法，沿梯度下降的方向求解极小值。梯度下降法越接近目标值，步长越小，前进越慢。梯度代表函数上升最快的方向，故梯度的反方向即为函数值下降最快的方向。 其中，为梯度算子， 为 的梯度， 为步长，又称学习速率。梯度下降法算法梯度下降法损失函数 更新方法梯度求解批量梯度STEP梯度下降法的问题牛顿法拟牛顿法解决方法步长还需给出，很难确定，怎么办？越接近底部，下降的速度越慢容易出现来

3、回之字形的问题2梯度下降法3拟牛顿法目录 CONTENTS1最小二乘法4RealRec案例演示牛顿法算法牛顿法用一个二次曲面去拟合当前所处位置的局部曲面 而梯度下降法是用一个平面去拟合当前的局部曲面将 在 处一阶泰勒展开：目标函数趋于零：牛顿法算法将 在 处二阶泰勒展开：目标函数趋于零：牛顿法算法 令上式为零： 若Hessian矩阵正定，则缺点明显，计算比较大需要存储hessian矩阵 Hessian矩阵支持线性或是非线性的拟牛顿算法的核心思想是用一个（不包含二阶导数）近似矩阵替代逆Hessian矩阵。不同算法的矩阵的计算有差异。寻找局部最优2梯度下降法3拟牛顿法目录 CONTENTS1最小二乘法4RealRec案例演示上传数据数据解析查看解析结果多维特征分析数据可视化切分数

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论