《深度学习原理及应用》课件 第3章 神经网络的学习方法

神经网络的学习方法目录01参数的更新03正则化04超参数的验证02权重的初始值01参数的更新神经网络的学习目的是找到使损失函数值尽可能小的参数。这一过程被称为最优化，旨在寻找最优参数。然而，神经网络的最优化问题相当复杂，主要源于参数空间的复杂性，这使得无法简单地通过解析数学方法直接求得最小值。此外，深度神经网络的参数数量庞大，进一步加剧了这一优化问题的复杂性。为了找到最优参数，通常利用参数的梯度（导数）作为指导。通过沿着梯度方向更新参数，并重复这一过程多次，可以逐渐接近最优参数，这一方法称为随机梯度下降法（StochasticGradientDescent，简称SGD）。SGD是一种相对简单的方法，相比于随意搜索参数空间，已经算是一种“聪明”的选择。然而，根据不同的问题类型，也存在比SGD更有效的优化方法。本节将探讨SGD的缺点，并介绍其他的最优化方法。3.1参数的更新3.1.1SGD3.1参数的更新3.1.1SGD3.1参数的更新3.1.1SGD3.1参数的更新3.1.2SGD的缺点尽管

SGD方法简单且易于实现，但在解决某些问题时可能效率不高。SGD的更新过程往往呈现“之”字形移动，形成一种相当低效的搜索路径。当损失函数的形状不均匀，尤其是呈现拉伸状时，搜索路径将变得非常低效。因此，需要比单纯沿梯度方向前进的SGD更为智能的方法。SGD低效的根本原因在于，梯度的方向并不总是指向最小值的方向。为了克服

SGD的缺点，接下来将介绍三种优化方法：Momentum、AdaGrad和Adam，以取代SGD。3.1参数的更新3.1.2SGD的缺点尽管

SGD方法简单且易于实现，但在解决某些问题时可能效率不高。SGD的更新过程往往呈现“之”字形移动，形成一种相当低效的搜索路径。当损失函数的形状不均匀，尤其是呈现拉伸状时，搜索路径将变得非常低效。因此，需要比单纯沿梯度方向前进的SGD更为智能的方法。SGD低效的根本原因在于，梯度的方向并不总是指向最小值的方向。为了克服

SGD的缺点，接下来将介绍三种优化方法：Momentum、AdaGrad和Adam，以取代SGD。3.1参数的更新3.1.3MomentumclassMomentum:

def__init__(self,lr=0.01,momentum=0.9):

self.lr=lr

self.momentum=momentum

self.v=None

defupdate(self,params,grads):

ifself.visNone:

self.v={}

forkey,valinparams.items():

self.v[key]=np.zeros_like(val)

forkeyinparams.keys():

self.v[key]=self.momentum*self.v[key]-self.lr*grads[key]

params[key]+=self.v[key]3.1参数的更新3.1.4AdaGrad在神经网络的学习过程中，学习率的选择至关重要。若学习率设置过小，模型的学习过程将会非常缓慢，导致训练时间的显著增加；反之，如果学习率过大，则可能导致模型发散，从而无法正确收敛到最优解。因此，合理设置学习率是优化算法成功的关键。在学习率管理的有效技巧中，有一种称为学习率衰减的方法。这种方法的核心思想是随着训练的进行，逐渐减小学习率。实际上，这种策略可以理解为在训练初期采用较高的学习率以加快收敛速度，然后在接近最优解时逐步降低学习率，允许模型以更精细的步伐进行调整。这种“多学”到“少学”的策略在神经网络训练中被广泛应用，能够有效提高模型的性能。逐渐减小学习率的想法相当于将所有参数的学习率整体降低。然而，AdaGrad进一步发展了这一思路，为每个参数提供了“定制”的学习率。具体来说，AdaGrad会根据每个参数的历史梯度信息，动态调整其学习率。这样一来，频繁更新的参数会获得更小的学习率，而不常更新的参数则会保持相对较大的学习率。这种适应性调整使得AdaGrad在处理稀疏数据和具有不同特征规模的情况下表现得更加高效。3.1参数的更新3.1.4AdaGrad3.1参数的更新3.1.5AdamMomentum方法可以类比为小球在碗中滚动的物理规则，而AdaGrad则为每个参数的元素适当地调整更新步伐。如果将这两种方法融合在一起，会产生什么效果呢？这正是Adam方法的基本思路。Adam（AdaptiveMomentEstimation）是一种在2015年提出的新优化算法，其理论相对复杂，但可以直观地理解为Momentum和AdaGrad的结合。通过结合这两种方法的优点，Adam旨在实现参数空间的高效搜索，并且特别引入了超参数的“偏置校正”机制，进一步提高了优化的稳定性。在

Adam的更新过程中，参数的调整类似于小球在碗中滚动的方式。虽然Momentum也具有类似的移动特性，但相比之下，Adam的小球在左右摇晃的幅度上有所减轻，这得益于其学习更新的步伐得到了适当地调整。通过动态调整学习率和引入动量，Adam能够更好地适应不同的参数更新需求，从而在训练过程中实现更快的收敛和更好的性能。近年来，Adam方法因其结合了动量和自适应学习率的优点而受到众多研究人员和技术人员的青睐，成为优化算法中的热门选择。每种方法的选择应根据具体问题的特性和需求进行相应的调整，以达到最佳的优化效果。3.2权重的初始值在神经网络的学习过程中，权重的初始值极为重要。实际上，权重初始值的选择往往直接关系到神经网络学习的成功与否。如果初始权重设置不当，可能导致梯度消失或爆炸现象，从而阻碍网络的有效训练。因此，合理设置权重初始值对于加速收敛和提升模型性能至关重要。3.2权重的初始值3.2.1可以将权重初始值设为0吗?在神经网络的学习中，权重的初始值设定至关重要。后面将介绍一种抑制过拟合、提高泛化能力的技巧——权值衰减。权值衰减的核心思想是通过减小权重参数的值来抑制过拟合的发生。为了有效实现这一目标，权重的初始值应该设定为较小的随机值。例如，常见的做法是使用类似于0.01*np.random.randn(10,100)的形式，从标准差为0.01的高斯分布中生成权重初始值。既然可设定为较小的随机值，将权重初始值设为

0是否可以呢？虽然可以将权重初始值设定为较小的随机值，但将其设为0并不是一个好主意。当所有权重初始化为0时，网络中的每个神经元在正向传播时仅依赖于偏置项，从而产生相同的输出。这种情况使得各个神经元无法学习到不同的特征，因为它们的计算过程完全一致。在反向传播过程中，所有权重的更新也将是相同的，这导致它们保持相同的值，严重限制了网络的学习能力和表达能力。由于神经元的输出没有差异，网络无法有效拟合输入与输出之间的复杂关系，进而可能陷入局部最优解，影响训练效果。因此，为了确保神经网络能够独立学习每个参数并提高模型的性能，权重的初始值应设定为小的随机值，以打破对称性并促进有效学习。将权重设置为相同的值并不是一个好的做法，原因与将权重初始化为0类似。因此，为了防止“权重均一化”，必须随机生成初始权重值。通过引入随机性，可以打破对称性，确保网络中的每个神经元能够独立学习，从而提高模型的表达能力和学习效果。3.2权重的初始值3.2.2隐藏层的激活值的分布隐藏层激活值的分布在神经网络中具有重要意义，它直接影响信息的传递和模型的学习能力。各层的激活值需要具备适当的广度，以便通过层间传递多样性的数据，从而支持神经网络的高效学习。相反，如果传递的是偏向性数据，就可能导致梯度消失或者“表现力受限”的问题，从而使学习过程难以顺利进行。因此，选择合适的激活函数和权重初始化方法至关重要。当激活函数为ReLU时，权重参数通常使用He初始化；而当采用Sigmoid或Tanh等S型激活函数时，权重参数推荐使用Xavier初始化。这些做法被广泛认为是最佳实践，有助于提升网络的训练效率和最终性能。激活值反映了输入数据经过网络处理后的状态，良好的激活值分布能够有效促进梯度的计算与传播，从而避免梯度消失或爆炸的问题。如果激活值过于集中或分散，可能会导致网络在训练过程中难以学习到有用的特征，从而影响模型的整体性能。3.2权重的初始值3.2.2隐藏层的激活值的分布隐藏层激活值的分布在神经网络中具有重要意义，它直接影响信息的传递和模型的学习能力。各层的激活值需要具备适当的广度，以便通过层间传递多样性的数据，从而支持神经网络的高效学习。相反，如果传递的是偏向性数据，就可能导致梯度消失或者“表现力受限”的问题，从而使学习过程难以顺利进行。因此，选择合适的激活函数和权重初始化方法至关重要。当激活函数为ReLU时，权重参数通常使用He初始化；而当采用Sigmoid或Tanh等S型激活函数时，权重参数推荐使用Xavier初始化。这些做法被广泛认为是最佳实践，有助于提升网络的训练效率和最终性能。激活值反映了输入数据经过网络处理后的状态，良好的激活值分布能够有效促进梯度的计算与传播，从而避免梯度消失或爆炸的问题。如果激活值过于集中或分散，可能会导致网络在训练过程中难以学习到有用的特征，从而影响模型的整体性能。3.3BatchNormalization为什么BN如此引人注目呢？首先，BN能够增大学习率，从而使模型更快收敛，缩短训练时间。其次，使用BN后，模型对权重初始值的敏感性降低，使得训练过程更加稳定。此外，BN通过规范化激活值，有效减少了对Dropout等正则化方法的依赖，从而降低了过拟合的风险。BN的思路是调整各层的激活值分布使其拥有适当的广度。为此，要向神经网络中插入对数据分布进行正规化的层，即BN层。具体如图3-1所示。3.3BatchNormalization3.4正则化在机器学习中，过拟合是一个非常常见的问题。过拟合指的是模型在训练数据上表现良好，但在未包含在训练数据中的其他数据上却无法有效拟合。机器学习的目标是提高模型的泛化能力，即使面对未观测的数据，模型也能做出正确的预测。虽然可以构建复杂且表现力强的模型，但同样重要的是采用有效的技巧来抑制过拟合。发生过拟合的原因，主要有以下两个：1、模型拥有大量参数，表现力强；2、训练数据少。3.4正则化在机器学习中，过拟合是一个非常常见的问题。过拟合指的是模型在训练数据上表现良好，但在未包含在训练数据中的其他数据上却无法有效拟合。机器学习的目标是提高模型的泛化能力，即使面对未观测的数据，模型也能做出正确的预测。虽然可以构建复杂且表现力强的模型，但同样重要的是采用有效的技巧来抑制过拟合。发生过拟合的原因，主要有以下两个：1、模型拥有大量参数，表现力强；2、训练数据少。3.4.1过拟合3.4正则化3.4.2权值衰减权值衰减是一种常用的抑制过拟合的方法。该方法通过在学习过程中对较大的权重施加惩罚，从而抑制过拟合现象。许多过拟合的情况往往是由于权重参数取值过大所导致的，因此，通过控制权重的大小，权值衰减可以有效提高模型的泛化能力。3.4正则化3.4.3Dropout当网络模型变得非常复杂时，仅依靠权值衰减可能难以有效控制过拟合。在这种情况下，通常会采用Dropout方法。Dropout是一种在训练过程中随机删除神经元的技术。具体而言，在每次训练时，随机选择一定比例的隐藏神经元，并将其“删除”，即这些神经元在该次前向传播中不参与信号的传播。这意味着被删除的神经元不会对后续层的计算产生影响。在训练过程中，每次数据传递时，都会随机选择要删除的神经元。这样可以促使模型学习到更加鲁棒的特征，减少对特定神经元的依赖。当模型进入测试阶段时，所有神经元都会参与信号传播，但为了保持一致性，输出会乘以训练时的删除比例，以确保模型的输出在训练和测试阶段之间保持平衡。3.5超参数的验证在神经网络中，除了权重和偏置等模型参数外，超参数的设置同样至关重要。这里所提到的超参数包括各层的神经元数量、批量大小、学习率、权值衰减等。如果这些超参数没有设置合理，模型的性能可能会显著下降。尽管超参数的选择对模型的表现至关重要，但在确定超参数的过程中通常需要经历大量的试错过程。为了提高超参数搜索的效率，本节将介绍一些方法和策略，帮助更高效地寻找最佳的超参数值。通过合理的超参数调整，可以显著提升模型的性能和训练效果。3.5超参数的验证3.5.1验证数据为什么不能用测试数据来评估超参数的性能呢？原因在于，如果使用测试数据来调整超参数，超参数的值可能会对测试数据发生过拟合。换句话说，用测试数据来确认超参