【《卷积神经网络的训练方法综述》1200字】

卷积神经网络的训练方法综述在卷积神经网络的研究中，研究者发现反向传播算法是降低损失函数最有效的方法。一般来说，这种算法包括了前向传播以及反向传播两种传播途径。反向传播算法的一般思路是，计算出损失函数的公式，通过链式求导法则求解梯度下降最快的偏导数，对参数不断地进行更新迭代。直到损失函数最小，或者是在某个范围内收敛为止。1前向传播算法前向传播算法首先需要明确输入层，中间层，损失层，三种不同类别的层级。输入层是最开始输入数据的层级，也是经常提到的卷积神经网络第一层，输入的数据分别为x1，x2，x3等。通过中间层的计算，到达损失层，如图2-11所示。图2-11前向传播算法结构图计算过程可用公式(2-10)至(2-12)表示如下：（2-10）（2-11）（2-12）其中为输入数据的第个数据，因为是第一层输入数据，不需经过激活层。第1层第i个神经元数据的输出数据为，如公式(2-10)所示。网络中第l层的第i个神经元通过激活函数后的输出数据为，总计神经元数量为。第l层的第i个神经元与第l-1层的第j个神经元之间的权重比为。第l+1层的第i个神经元的偏置项为，通过上式可以看出加权以后的输入为。如果把整体的卷积神经网络参数的集合设置为(W，b)，W、b均为矩阵形式。那么可以得到第l+1层整体激活值的表达式(2-13)以及(2-14)：（2-13）（2-14）1.2反向传播算法 通过前向传播算法，可以计算得到卷积神经网络的输出值，但是此输出值不一定是符合样本标签值。因此需要通过反向传播不断地减少真实值和预测值之间的差距。通过计算损失函数，可以得到输出值和目标真实值的误差。再通过反向传播算法，对卷积神经网络的每一层参数进行不断更新。假设训练集样本有m个，网络深度为n：，对于任意一个样本来说，来说，其损失函数可以表示为：(2-15)公式(2-15)中是卷积神经网络的输出值，是网络的权重参数和偏置参数。对于m个样本的训练集，总体损失函数可以表示为：(2-16)公式(2-16)中的n表示总层数，为了防止卷积网络过拟合，因此设置了均方误差和权重衰减相关项，而则代表权重损失的与总体损失的相对值。反向传播算法的核心是让总体损失函数最小化。一般在深度学习中会使用批量梯度下降法(BatchGradientDescent,BGD)作为卷积神经网络参数下降算法。在每一次算法执行完毕，会对参数(W,b)进行更新。首先根据梯度下降算法，可以知道如果想要让J(W,b)这个二元函数整体取得最小值，或者是达到既定的最小阈值。如图2-12所示，二元函数沿着负梯度下降是最快的。由点逐步下降到点，可以发现下降速度逐渐变慢。图2-12二元函数梯度下降过程那么对每个点而言，参数更新的公式为式(2-17)和式(2-18)：(2-17)(2-18)对于任意一个样本偏导数公式为式(2-19)和(2-20)：(2-19)(2-20)其次再继续利用复合函数求导链式法则公式(2-21)和公式(2-22)：(2-21)(2-22)在这里，设。当输出层为最后一层时，即l=n时，可得到如下式(2-23)所示。(2-23)而对于其他层而言，利用链式法则，可推导出对应的公式(2-24)，其中sl+1指的是第l+1层神经元的个数：(2-24)由此，可以得到当时(2-25)(2-26)当时