4_深度学习中三步加速梯度算法应用_练勇强_W

1、深度学习中三步加速梯度算法应用练勇强 华东师范大学统计学院 2019 年 12 月 22 日 . . . . . . . . . . . . . . . . . . . . . 目录 引言 12三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日1 /

2、57练勇强 (ECNU)ChinaR 12th, 上海 目录 1引言 2三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日2 /57练勇强 (ECNU)ChinaR 12th, 上海 研究动机 2015 年 9 月，经总理签批，促进大数据发展行动纲要

3、，系统部署大数据发展工作。纲要明确，推动大数据发展和应用，在未来 5 至 10 年打造精准治理、多方协作的社会治理新模式， 建立运行平稳、安全高效的经济运行新机制，培育高端智能、 新兴繁荣的产业发展新生态。 James Berger 和 Xuming He(2019) 在报告Statistics at a Crossroads: Challenges and Opportunities in the Data Science Era中提到深度学习的训练非常昂贵，对其加速的研究非常有必要性，因为标准的随 机梯度下降算法收敛速度太慢了。 . . . . . . . . . . . . . . .

4、. . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日4 /57练勇强 (ECNU)ChinaR 12th, 上海图 1: 螺旋数据散点图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . MLR，模型精度为 0.3188 图 2: 多项 logistic 回归模型螺旋数据集决策边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5、. . . .2019 年 12 月 22 日5 /57练勇强 (ECNU)ChinaR 12th, 上海 SVM，模型精度为 0.9163 图 3: SVM 模型螺旋数据集决策边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日6 /57练勇强 (ECNU)ChinaR 12th, 上海 DL(2504) ，迭代 6000 步，模型精度为 0.98 图 4: 深度学习模型螺旋数据集决策边界 . . . . . . . . . . . . . . . .

6、. . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日7 /57练勇强 (ECNU)ChinaR 12th, 上海 创新点 1 基于现有的一些梯度下降算法和加速算法提出了三步加速梯度算法、基于三步加速梯度的反向传播算法和基于三步加速随机梯度的 反向传播算法。 2 开发了R 语言包 supneuralnet，此包基于 neuralnet 包改写，加入了很多算法。 3 将我们的三步加速梯度算法、基于三步加速梯度的反向传播算法和基于三步加速随机梯度的反向传播算法应用在鸢尾花（iris）和螺旋 （spiral）数据集上，并与其它三种算

7、法比较各自的分类效果和收敛 快慢程度，发现我们的算法效果是最好的。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日8 /57练勇强 (ECNU)ChinaR 12th, 上海 目录 1引言 2三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . .

8、 . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日9 /57练勇强 (ECNU)ChinaR 12th, 上海 目录 1引言 2三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 2

9、2 日10 /57练勇强 (ECNU)ChinaR 12th, 上海 梯度下降算法 我们考虑如下的二次函数， 1 T2019 年 12 月 22 日11 / 57练勇强 (ECNU)ChinaR 12th, 上海f(x) = 2 xAx + bT x + c,(1)则 f(x) = Ax + b.(2)我们令 A = 65, b =()(10 , x1 =)12 .5 10210. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 当学习率为 0.05、0.1 和 0.12 时的梯度下降算法轨

10、迹图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日12 /57练勇强 (ECNU)ChinaR 12th, 上海 最优梯度下降算法 图 5: 最优梯度下降算法轨迹图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日13 /57练勇强 (ECNU)ChinaR 12th, 上海当 = 0.1 以及 = 0.25, 0.5,

11、0.75 时的 Polyak 动量算法轨迹图. . . . . . . . . . . . . . . . . . . . . 2019 年 12 月 22 日14 /57练勇强 (ECNU)ChinaR 12th, 上海 . . . . . . . . . . . . . . . . .当 = 0.1 以及 = 0.25, 0.5, 0.75 时的 Nesterov 加速梯度算法轨迹图. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .ChinaR 12th, 上海 练勇强 (ECNU) 2019 年

12、12 月 22 日15 /57 目录 1引言 2三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日16 /57练勇强 (ECNU)ChinaR 12th, 上海 二维二次函数三步加速梯度算法 图 6: 结合步长搜索的三步加速梯度算法轨迹图 . . .

13、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日17 /57练勇强 (ECNU)ChinaR 12th, 上海 三步加速梯度算法 当目标函数非常复杂时，比如深度学习中的误差函数，步长搜索过 程可能会花费大量时间，并且就算利用步长搜索，我们也需要很多 的三步才能到达最优值点。由于实际项目中目标函数都很复杂，因 此我们还是决定利用动量参数 来替代步长搜索。 算法 1三步加速梯度算法1 给定学习率 和动量参数 ，设定初始值点 x1； 2 令 y1 x1, z1 x1； 3

14、对于 i 2，进行如下迭代， yi = xi1 f (xi1),. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .练勇强 (ECNU)ChinaR 12th, 上海 2019 年 12 月 22 日18 /57zi = yi f (yi),xi = zi + (zi xi1).(3)练勇强 (ECNU)ChinaR 12th, 上海 2019 年 12 月 22 日19 /57当 = 0.1 以及 = 0.25, 0.5, 0.75, 1 时的三步加速梯度算法轨迹图 . . . . . . . . .

15、. . . . . . . . . . . . . . . . . . . . . . . . . . . . 目录 引言 12三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日20 /57练勇强 (ECNU)ChinaR 12th, 上海 目录 1

16、引言 2三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日21 /57练勇强 (ECNU)ChinaR 12th, 上海 神经网络 假设一个人工神经网络一共有 M 层，第 l 层含有 Nl 个神经元，即 l = 1, 2, . . . , M 。 j

17、j1记第 l 层第 j 个神经元的输出为 yl 。当 l = 1 时，也就是输入层，我们令 y1 就等于输入层的输入向量 v = (v1, v2, . . . , vN )，即 jy1 = vj, j = 1, 2, . . . , N1.(4)对于第 2 层到第 M 1 层，即 2 l M 1，j yl 的计算公式为 Nl1jjijinetl = bl +wl1,lyl1,(5)i=1yl = f (netl ),(6)jj. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 1

18、2 月 22 日23 /57练勇强 (ECNU)ChinaR 12th, 上海jij其中 j = 1, 2,., Nl。即第 l 层第 j 个神经元的输出由线性组合和函数 f 复合而成。这里 bl 是第 l 层第 j 个神经元的偏置神经元（有的地方也叫偏置节点）的权重值，类似于线性模型中的截距项。wl1,l 是第 l 1 层第 i 个神经元到第 l 层第 j 个神经元的权重值， wl1,l 和 bl 是神经网络最终要训练的值。f 是激活函数，一般是简 ijj单的非线性函数。 最后一层第 M 层（即输出层）的输出 yj M 的计算公式为 NM 1netM = bM +wM1,M yM1,(7)j

19、jiji i=1yM = f (netM ),(8)jj其中 j = 1, 2, . . . , NM 。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 常用激活函数 图 7: 四类常用激活函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日24 /57练勇强 (ECNU)ChinaR 12th, 上海 目录 1引言 2三步加速梯度算法梯度下降算法 三步加

20、速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日25 /57练勇强 (ECNU)ChinaR 12th, 上海 反向传播三步加速梯度算法 反向传播算法最初在 1970 年代被发现，但是这个算法的重要性直到后面Rumelhart、Hinton 和Williams(1986) 的Natu

21、re论文中才被真正认可。 假设神经网络的输入输出组合为(v, t)，样本量大小为 P ，那么我们可以得到误差函数（有的地方也叫损失函数）为 P NMP2j,pj,ppE = 1 (yM t)2 = E ,(9)p=1 j=1p=1其中第 p 个样本的误差为 2019 年 12 月 22 日28 /57练勇强 (ECNU)ChinaR 12th, 上海Ep =1 NM(yM tj,p)2.(10)2j,pj=1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .算法 2BPTAG 算 法ij,1

22、1 给定学习率 和动量参数 ，设定初始值点 wl1,l； 令 x w, z w；2l1,ll1,ll1,ll1,l ij,1ij,1ij,1ij,13 对于 s 2，进行如下迭代， xl1,l = wl1,l E,xl1,l(11)z=wij,s l1,l ij,sl1,lij,s1xij,sl1,ll1,l E ,l1,l ij,s1wij,s= zij,s + (ij,s)z w.ilj,s1,l. . . . i.l.j. ,. .s1. .,. .l.1. . . . . . . . . . . . . . . . . . . . . . . .其中 EP lyl1,wl1=,l j,

23、p i,pijp=1j,p( j,p) (j,p)M =yM tj,p fnetM ,l = f (netl) Nl+1wl,l+1l+1, l = 2, . . . , M 1.j,pj,pjkk,p k=1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目录 1引言 2三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结

24、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日29 /57练勇强 (ECNU)ChinaR 12th, 上海 R 语言程序包 supneuralnet 开发 从R 语言包neuralnet 改写而来。 加入了BPPM、BPNAG 和BPTAG 算法。 加入了随机梯度算法，使得包内所有算法都可以与之相结合，有利 于大数据计算。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25、. . . .2019 年 12 月 22 日30 /57练勇强 (ECNU)ChinaR 12th, 上海 目录 1引言 2三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日31 /57练勇强 (ECNU)ChinaR 12th, 上海 鸢尾花数据

26、分析 2019 年 12 月 22 日33 /57练勇强 (ECNU)ChinaR 12th, 上海图 8: 鸢尾花花萼散点图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .图 9: 鸢尾花花瓣散点图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 鸢尾花花瓣数据训练结果 每个算法训练 100 次，选取最优的一次。训练都采用 263 型人工神经网络。 表 1: 当 = 0.025

27、时鸢尾花数据集算法BPPM，BPNAG 和BPTAG 的迭代步数 （BPGD 为 64822 步） BPPMBPNAGBPTAG 0.057623756026435010.16483659333358330.155739169196270760.2558686442940679. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日34 /57练勇强 (ECNU)ChinaR 12th, 上海 鸢尾花花瓣数据训练结果 表 2: 当 = 0.05 时鸢尾花数据集算法 BP

28、PM，BPNAG 和 BPTAG 的迭代步数 （BPGD 为 48849 步） BPPMBPNAGBPTAG 0.053974146259257550.13868237256230400.153891245347196990.2发散3305720060. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日36 /57练勇强 (ECNU)ChinaR 12th, 上海表 3: 当 = 0.075 时鸢尾花数据集算法BPPM，BPNAG 和BPTAG 的迭代步数 （BPG

29、D 为 33503 步） BPPMBPNAGBPTAG 0.053358239123179790.12706638918181890.152909532257164770.2291652459614982. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 当 = 0.05， = 0.1 时鸢尾花花瓣数据 BPGD、BPPM、BPNAG 和BPTAG 算法训练结果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30、 . . .练勇强 (ECNU)ChinaR 12th, 上海 2019 年 12 月 22 日37 /57当 = 0.05， = 0.1 时鸢尾花花瓣数据决策边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .练勇强 (ECNU)ChinaR 12th, 上海 2019 年 12 月 22 日38 /57当 = 0.05， = 0.1 时 BPTAG 算法下神经网络架构探索. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31、 . . . .当 = 0.05， = 0.1 时 BPTAG 算法下神经网络架构探索2019 年 12 月 22 日39 /57ChinaR 12th, 上海 练勇强 (ECNU). . . 螺旋数据分析 2019 年 12 月 22 日40 /57练勇强 (ECNU)ChinaR 12th, 上海选取 softmax 损失函数，即 NM(y M)Ep = lnj=1ej,pPyMk=1 e j,k.(12)避免过拟合问题，加入 L2 正则化，即 P NM(y M) M Nl1 Nl (2)E = lnj,pePyM+ 2l 1,lwij.(13)p=1 j=1k=1 e j,kl=2 i=

32、1 j=1其中 为正则化参数。 激活函数都选为ReLU 函数，正则化参数 = 0.0002，进行 3000 次迭代，神经网络架构为 2504 ，进行 100 次训练选取最好的一次。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 螺旋数据训练精度 表 4: 当 = 0.25 时螺旋数据集算法 BPPM，BPNAG 和 BPTAG 的训练精度 （BPGD 为 0.8775） BPPMBPNAGBPTAG 0.250.91370.91620.97750.50.96250.94870.9725

33、0.750.98120.92250.978710.25000.71870.9800. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日41 /57练勇强 (ECNU)ChinaR 12th, 上海 螺旋数据训练精度 表 5: 当 = 0.5 时螺旋数据集算法 BPPM，BPNAG 和 BPTAG 的训练精度 BPPMBPNAGBPTAG0.250.96500.91750.98250.50.97500.98120.98210.750.96750.97500.98621

34、0.25000.37250.9900 （BPGD 为 0.8950） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日42 /57练勇强 (ECNU)ChinaR 12th, 上海 螺旋数据训练精度 表 6: 当 = 0.75 时螺旋数据集算法 BPPM，BPNAG 和 BPTAG 的训练精度 BPPMBPNAGBPTAG0.250.94620.96620.98750.50.98620.97120.93370.750.98500.98750.980010.250

35、00.25000.9900 （BPGD 为 0.8975） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日43 /57练勇强 (ECNU)ChinaR 12th, 上海 当 = 0.5， = 0.75 时螺旋数据决策边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .练勇强 (ECNU)ChinaR 12th, 上海 2019 年 12 月 22 日44 /

36、57 当 = 0.5， = 1 时螺旋数据决策边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .练勇强 (ECNU)ChinaR 12th, 上海 2019 年 12 月 22 日45 /57 目录 1引言 2三步加速梯度算法梯度下降算法 三步加速梯度算法 3深度学习中三步加速梯度算法前馈神经网络 反向传播三步加速梯度算法 supneuralnet 包 456基于BPTAG 算法的案例研究深度学习中三步加速随机梯度算法总结 . . . . . . . . . . . . . . . . .

37、 . . . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日46 /57练勇强 (ECNU)ChinaR 12th, 上海基于三步加速随机梯度的反向传播算法 BPTASG 算 法ij,1给定学习率 和动量参数 ，设定初始值点 wl1,l； 令 x w, z w；l1,ll1,ll1,ll1,l ij,1ij,1ij,1ij,1对于 s 2，进行如下迭代。 首先从 P 个样本里面随机抽取 Q 个样本（1 Q P然后计算 1）；xl1,l = wl1,l ,xl1,El(14)ij,sz=l1,lij,sl1,lij,s1xij,sl1,ll

38、1,l E ,l1,lwij,s1wij,s= zij,s+ ( ij,s)zilj,s1,l wilj,s1,l1 .基于三步加速随机梯度的反向传播算法 . . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日47 /57练勇强 (ECNU)ChinaR 12th, 上海. . . . . . . . . . . . . . . . . . .基于三步加速随机梯度的反向传播算法 其中 E = lQwl1,lj,pyl1,i,pijp=1j,p( j,p) (j,p)M =yM tj,p fnetM ,l = f (netl) Nl+1wl,l

39、+1l+1, l = 2, . . . , M 1.j,pj,pjkk,p k=1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .ChinaR 12th, 上海 练勇强 (ECNU) 2019 年 12 月 22 日48 /57 练勇强 (ECNU)ChinaR 12th, 上海. . . . . . . . . . . . . . . . . . .2019 年 12 月 22 日49 /57 鸢尾花花瓣数据训练结果 每个算法训练 100 次，选取最优的一次。 训练都采用 263 型人工神经网络，minibatch 取值 Q = 64。 表 7: 当 = 0.05 时鸢尾花数据集算法 BPPMSGD，BPNASG 和 BPTASG 的迭代步数（BPSGD 为 123859 步） BPPMSGDBPNASGBPTASG0.057592954308320590.15461467163352140.154641483250439170.2626385013627907 . . . . . . . . . . . . . . . . . . . . 当 = 0.05， =