《深度学习应用开发》课件-09-梯度下降及神经网络反向传播

梯度下降及神经网络反向传播目录梯度下降算法反向传播正反向传播总结神经网络梯度下降算法对比常用梯度下降算法选型建议常用梯度下降算法关键对比维度PART.1梯度下降算法梯度下降算法神经网络通过前向传播计算预测值(ŷ)，再通过损失函数衡量预测值

ŷ

与真实值y的差距。我们的终极目标是找到一组最优的网络参数（权重w和偏置b），使得这个损失在所有训练数据上尽可能小。想一想参数空间巨大，如何高效地找到那组使损失函数最小的参数？梯度下降算法梯度下降算法

负梯度方向是函数下降最快的方向，我们可以从某个点开始，沿着向下方向一路前行，期望最终可以找到目标函数的极小值点，这就是梯度下降法的核心思想。通过迭代调整参数来最小化目标函数的优化方法。其核心是计算目标函数对各参数的偏导数（梯度向量），沿负梯度方向更新参数值，逐步逼近函数极小值点，因此也被称为最速下降法。在微积分里面，对多元函数参数求偏导数，把求的各参数的偏导数以向量的形式表达出来，就是梯度，如图所示。梯度下降算法导数=

你脚下那一刻的爬坡速度几何意义=你脚下那一点山坡的陡峭程度函数

→

整座山坡的轮廓

某一点

→

你脚下的位置

导数

→

你此时此地的瞬时爬坡速度

切线斜率

→

你脚下那一小块地有多陡梯度下降算法

梯度下降推导——一元函数导数一元函数导数：一个函数在某一点的导数描述了这个函数在这一点附近的变化率。几何意义：函数在某一点的导数就是该函数所代表的曲线在这一点上的切线斜率。梯度下降推导—二元函数导数二元函数z=f(x,y)通常指偏导数或偏微分。偏导数表示函数沿某一坐标轴方向的变化率，其他变量固定。定义梯度下降推导—二元函数导数

定义：二元函数z=f(x,y)通常指偏导数或偏微分。

偏导数表示函数沿某一坐标轴方向的变化率，其他变量固定。PART.2反向传播反向传播让网络从错误中学习网络中数百万的参数（权重和偏置），每一个该向哪个方向、调整多少，才能最有效地降低这个误差？”需要什么反向传播就是这个关键的解码器它利用链式法则，将总误差从输出层开始，沿着网络结构层层‘回溯’，精确计算出每一个参数对总误差的（梯度），为梯度下降提供明确的优化方向。反向传播

反向传播

通过正向传播得到损失函数的值之后，我们再进行反向传播。从后向前，逐层求损失函数对每层神经元参数的偏导数，迭代更新所有参数。反向传播

y=0.8反向传播

y=0.8参数更新的步长幅度反向传播

反向传播

反向传播

第二轮正向传播

PART.3正反向传播总结正反向传播总结

PART.4神经网络梯度下降算法对比神经网络梯度下降算法对比

PART.5常用梯度下降算法关键对比维度常用梯度下降算法关键对比维度1.收敛速度：Adam>RMSprop≈Momentum>Adagrad>SGD2.内存消耗：Adam>Adagrad>RMSprop>Momentum>SGD3.参数敏感性：SGD<Adam<RMSprop<Momentum<Adagrad4.适用数据特征：稀疏数据：Adagrad密集数据：Adam/RMSprop小批量数据：SGD/Momentum关键对比维度PART.6常用梯度下降算法选型建议常用梯度下降算法选型建议默认首选：Adam（适合大多数深度学习任务）资源受限场景：SGD+Momentum