梯度下降法理论及部分代码实现_第1页
梯度下降法理论及部分代码实现_第2页
梯度下降法理论及部分代码实现_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、梯度下降法梯度下降法是一种最优化算法，常用来优化参数，通常也称为最速下降法。梯度下降法是一般分为如下两步：1）首先对参数。赋值，这个值可以是随机的，也可以让。是一个全零的向量；2）改变。的值，使得J（e）按梯度下降的方向进行减少。以一个线性回归问题为例，应用libsvm包里的数据heart_scale.mat数据做测试。假设要 学习这么一个函数：h（x） = h （x） =0 +0 x +0 x + TOC o 1-5 h z 00112 2那么损失函数可以定义成：八 1八 HYPERLINK l bookmark9 o Current Document J （0） = 1| X0 Y 1|2

2、（1）2其中X看以看成一行一行的样本向量，那么0就是一列一列的了。目标很简单，就是 求损失J最小值时候的解0：先直接求导，对于求导过程，详解如下：首先定义损失变量：r=Y X0 一yj=1那么损失函数就可以表示成：J = 1 r 2 TOC o 1-5 h z HYPERLINK l bookmark13 o Current Document 2，=1一步一步的求导：dJ 寸/ -r、八=乙r x （ 疽） HYPERLINK l bookmark35 o Current Document -01 -0j 1=1j再求：生=X-0ijj那么把分步骤合起来就是：J 奇y） X,j i=1 k =

3、1令导数为0，求此时的0，整理一下，有：x X 0 =1Ex yi ik kij ji=1 k =1i=1用矩阵符号将上面的细节运算抽象一下：-J八一=XrX0 XtY = 0-0让导数为0,那么求得的解为:9 = ( XtX )-1 XtY求解矩阵的逆复杂度有点儿高，可以用梯度下降来求解：9i =9iyA/(9) =9-iyj92 = 9i-iyXtX9i-i -XtY(2)合9其中 就是下降的速度，一般是一个小的数值，可以从0.01开始尝试，越大下降越快， 收敛越快。迭代终止的条件取：II9 i 9 i-1 ll部分代码如下：w_old=zeros(size(X,2),1);% 初始化参数 wk=1;while 1minJ_w(k) = 1/2 * (norm(X*w_old - Y)A2; %损失函数 公式(1)%norm默认为L2标准化w_new = w_old - gamma*(X*X*w_old - X*Y);%梯 度下降公式%公式(2)if norm(w_new-w_old) epsilon%终止条件W_best = w_new;break;endw_old = w_new;k=k+1;end实验结果：W_best =0.10400.16450.34100.091

人人文库> 全部分类> 图纸下载 > 毕业设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论