免费预览已结束,剩余1页可下载查看
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
从 SGD 到 Adam 深度学习优化算法概览(一) 楔子前些日在写计算数学课的期末读书报告,我选择的主题是分析深度学习中的各个优化算法。在此前的工作中,自己通常就是无脑Adam 大法好,而对算法本身的内涵不知所以然。一直希望能抽时间系统的过一遍优化算法的发展历程,直观了解各个算法的长处和短处。这次正好借着作业的机会,补一补课。本文主要借鉴了 Juliuszh 的文章1思路,使用一个 general 的框架来描述各个梯度下降变种算法。实际上,本文可以视作对1的重述,在此基础上,对原文描述不够详尽的部分做了一定补充,并修正了其中许多错误的表述和公式。另一主要参考文章是 Sebastian Ruder 的综述2。该文十分有名,大概是深度学习优化算法综述中质量最好的一篇了。建议大家可以直接阅读原文。本文许多结论和插图引自该综述。对优化算法进行分析和比较的文章已有太多,本文实在只能算得上是重复造轮,旨在个人学习和总结。希望对优化算法有深入了解的同学可以直接查阅文末的参考文献。引言最优化问题是计算数学中最为重要的研究方向之一。而在深度学习领域,优化算法的选择也是一个模型的重中之重。即使在数据集和模型架构完全相同的情况下,采用不同的优化算法,也很可能导致截然不同的训练效果。梯度下降是目前神经网络中使用最为广泛的优化算法之一。为了弥补朴素梯度下降的种种缺陷,研究者们发明了一系列变种算法,从最初的 SGD (随机梯度下降) 逐步演进到 NAdam。然而,许多学术界最为前沿的文章中,都并没有一味使用 Adam/NAdam 等公认“好用”的自适应算法,很多甚至还选择了最为初级的 SGD 或者 SGD with Momentum 等。本文旨在梳理深度学习优化算法的发展历程,并在一个更加概括的框架之下,对优化算法做出分析和对比。Gradient Descent梯度下降是指,在给定待优化的模型参数 和目标函数 后,算法通过沿梯度 的相反方向更新 来最小化 。学习率 决定了每一时刻的更新步长。对于每一个时刻 ,我们可以用下述步骤描述梯度下降的流程:(1) 计算目标函数关于参数的梯度 (2) 根据历史梯度计算一阶和二阶动量 (3) 更新模型参数 其中, 为平滑项,防止分母为零,通常取 1e-8。Gradient Descent 和其算法变种根据以上框架,我们来分析和比较梯度下降的各变种算法。Vanilla SGD朴素 SGD (Stochastic Gradient Descent) 最为简单,没有动量的概念,即 这时,更新步骤就是最简单的 SGD 的缺点在于收敛速度慢,可能在鞍点处震荡。并且,如何合理的选择学习率是 SGD 的一大难点。MomentumSGD 在遇到沟壑时容易陷入震荡。为此,可以为其引入动量 Momentum3,加速 SGD 在正确方向的下降并抑制震荡。 SGD-M 在原步长之上,增加了与上一时刻步长相关的 , 通常取 0.9 左右。这意味着参数更新方向不仅由当前的梯度决定,也与此前累积的下降方向有关。这使得参数中那些梯度方向变化不大的维度可以加速更新,并减少梯度方向变化较大的维度上的更新幅度。由此产生了加速收敛和减小震荡的效果。图 1(a): SGD图 1(b): SGD with momentum从图 1 中可以看出,引入动量有效的加速了梯度下降收敛过程。Nesterov Accelerated Gradient图 2: Nesterov update更进一步的,人们希望下降的过程更加智能:算法能够在目标函数有增高趋势之前,减缓更新速率。NAG 即是为此而设计的,其在 SGD-M 的基础上进一步改进了步骤 1 中的梯度计算公式: 参考图 2,SGD-M 的步长计算了当前梯度(短蓝向量)和动量项 (长蓝向量)。然而,既然已经利用了动量项来更新 ,那不妨先计算出下一时刻 的近似位置 (棕向量),并根据该未来位置计算梯度(红向量),然后使用和 SGD-M 中相同的方式计算步长(绿向量)。这种计算梯度的方式可以使算法更好的“预测未来”,提前调整更新速率。AdagradSGD、SGD-M 和 NAG 均是以相同的学习率去更新 的各个分量。而深度学习模型中往往涉及大量的参数,不同参数的更新频率往往有所区别。对于更新不频繁的参数(典型例子:更新 word embedding 中的低频词),我们希望单次步长更大,多学习一些知识;对于更新频繁的参数,我们则希望步长较小,使得学习到的参数更稳定,不至于被单个样本影响太多。Adagrad4 算法即可达到此效果。其引入了二阶动量: 其中, 是对角矩阵,其元素 为参数第 维从初始时刻到时刻 的梯度平方和。此时,可以这样理解:学习率等效为 。对于此前频繁更新过的参数,其二阶动量的对应分量较大,学习率就较小。这一方法在稀疏数据的场景下表现很好。RMSprop在 Adagrad 中, 是单调递增的,使得学习率逐渐递减至 0,可能导致训练过程提前结束。为了改进这一缺点,可以考虑在计算二阶动量时不累积全部历史梯度,而只关注最近某一时间窗口内的下降梯度。根据此思想有了 RMSprop。记 为 ,有 其二阶动量采用指数移动平均公式计算,这样即可避免二阶动量持续累积的问题。和 SGD-M 中的参数类似, 通常取 0.9 左右。Adadelta待补充AdamAdam5 可以认为是前述方法的集大成者。和 RMSprop 对二阶动量使用指数移动平均类似,Adam 中对一阶动量也是用指数移动平均计算。 此外,对一阶和二阶动量做偏置校正, 再进行更新, 可以保证迭代较为平稳。NAdam待补充可视化分析图 3: SGD optimization on loss surface contours图 4: SGD optimization on saddle point图 3 和图 4 两张动图直观的展现了不同算法的性能。(Image credit: Alec Radford)图 3 中,我们可以看到不同算法在损失面等高线图中的学习过程,它们均同同一点出发,但沿着不同路径达到最小值点。其中 Adagrad、Adadelta、RMSprop 从最开始就找到了正确的方向并快速收敛;SGD 找到了正确方向但收敛速度很慢;SGD-M 和 NAG 最初都偏离了航道,但也能最终纠正到正确方向,SGD-M 偏离的惯性比 NAG 更大。图 4 展现了不同算法在鞍点处的表现。这里,SGD、SGD-M、NAG 都受到了鞍点的严重影响,尽管后两者最终还是逃离了鞍点;而 Adagrad、RMSprop、Adadelta 都很快找到了正确的方向。关于两图的讨论,也可参考2和6。可以看到,几种自适应算法在这些场景下都展现了更好的性能。讨论、选择策略读书报告中的讨论内容较为杂乱,该部分待整理完毕后再行发布。References1 Adam那么棒,为什么还对SGD念念不忘 (1) 一个框架看懂优化算法2 An overview of gradient descent optimization algorithms3 On the momentum term in gradient descent learning algorithms4 Adaptive Subgradi
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 初中七年级道德与法治教学设计:单元整体视域下“5.1 人要自强”深度学习实践
- 高中二年级地理非洲区域教学设计
- 初三化学“酸碱综合应用与实验探究”专题复习教学设计
- 八年级语文三峡知识梳理与课堂练习教学设计
- 2027年高三地理一轮复习:区域地理核心素养构建与综合题突破教学设计
- 2027届高三语文一轮复习语句补写专题教学设计
- 高中地理必修第二册人口分布大单元教学设计
- 高中生物选择性必修二《生物与环境》核心概念长句解析与高考情境构建教学设计
- 小学六年级英语小升初核心短语复习课教学设计
- 译林版英语九年级上册 Unit 7 The big screen 词汇教学设计
- GB/T 4937.7-2026半导体器件机械和气候试验方法第7部分:内部水汽测量和其他残余气体分析
- 统编版历史八年级上册第11课《五四运动》 教学课件
- 2026年高级考评员职业技能等级认定考试题库含答案
- T/FJEPEA 1-2025水电机组检修标准项目预算编制规定与计算标准
- 2026年山东省中考英语试题卷(含答案及解析)
- 台区分布式储能系统设计方案
- 散水施工组织设计
- (2026秋新版)苏教版五年级数学上册全册教案
- 塑料软包装生产工艺流程及质量控制
- 2025年税务系统遴选公务员笔试真题及答案解析
- 《JBT 3666-2015吊式圆盘给料机》专题研究报告
评论
0/150
提交评论