【《神经网络工作原理分析概述》3600字】

神经网络工作原理分析概述目录TOC\o"1-3"\h\u4386神经网络工作原理分析概述 153471.1引言 1267831.2神经网络 1138571.3前向传播 26151.4求解误差 547081.5反向传播算法 61.1引言一非常典型的神经网络就是BP神经网络，本章将以BP神经网络为例介绍神经网络的基本工作原理，计算工作过程以及结果输出等。神经网络是一种在数据数理统计学的基础上建立的机器学习方法[16]，它通过对人脑神经元进行抽象，建立某种模型，将神经元连接成网络从而组成神经网络。神经网络通常是通过分为多层以便网络具有良好的工作效果。神经网络将输入经过加权求和、非线性激活输出到下一层，作为下一层的输出。以此类推，最终输出到最后一层。这个过程称为一个前向传播过程。将整个神经网络的输出与真是的结果作对比，得到网络结构输出的误差值，最后将误差值对网络结构的各种权值进行求梯度，然后再对权值做更新操作，以此来优化网络的工作效果。这个过程称为反向传播，梯度下降法是反向传播过程中常用的算法。1.2神经网络在神经网络中，通过类比生物神经元，把每一个节点比作人工神经元，前一层节点与后一层节点之前的连接线类比为突触。在神经网络运行过程中，对神经元的每个输入进行加权求和，模拟细胞将神经信号进行累积，之后在使用激活函数对加权求和得到的结果进行处理，以表示神经元对输入的反应，可以类比为细胞的兴奋或抑制。图2-1一种神经网络全连接层结构如图2-1所示，为一神经网络的网络结构图，该连接方式是全连接层的。全连接层的含义是指每一层的所有神经元都与下一层的每一个神经元有权值连接。其中层与层之间连接的权值可用矩阵W来表示形状为[n,m]，其中n表示上一层网络节点数，m表示下一层网络的节点数，通常每一层网络还包含一个偏置向量b，其中b的长度为下一层网络神经元的个数。1.3前向传播在上一小节中，我们介绍了神经网络的基本结构。本小节将通过公式推导来解释神经网络的工作过程。对于某一特定神经元来说，它的结构模型如图2-2所示，它接受一个长度为n的输入向量x=[x1,x2,…,x图2-2单个神经元模型即有： z=w其中一维向量w=[将上式写成向量形式，则有： z=w由于直接得到的结果在处理不能处理非线性的结果，因此通常还需要在得到输出后加上一个激活函数，使其输出结果变成非线性的，从而适用于处理非线性的问题。常用的激活函数有Sigmoid函数和ReLU函数。其中Sigmoid函数定义为： Sigmoidx=它可以把在x∈R的输入“压缩”到x∈(0,1)区间内，这个区间具有重要的意义，如(0,1)同概率分布[0,1]相契合。另外，Sigmoid函数是连续可导的，因此它也适合神经网络用梯度下降算法优化网络结构，Sigmoid函数曲线如图2-3所示。图2-3Sigmoid函数曲线图当Sigmoid函数的输入值较大或较小时，容易出现梯度值接近于零的情况，称之为梯度弥散。这种现象使得网络结构参数在更新时很慢，甚至不更新的情况，因此人们后面又提出了ReLU函数。ReLU函数的定义如下： ReLUx=max⁡(0,x其中x为线性加权的输出值，它的函数曲线图如图2-4所示。ReLU函数将所有小于0的输入全部置为0，所有大于0的输入保持不变。这种函数激活类似于脑神经元的激活模型[18]。并且ReLU函数的梯度值在输入大于0时为1，输入小于0时为0，仅在输入为0时没有导数，因此，ReLU函数可以很好的对网络结构参数进行更新。图2-4ReLU函数曲线图上面介绍了单个神经元的工作过程，即神经元线性加权、激活输出的过程，同理我们可以对神经元进行叠加，从而得到多神经元的输出结果，同时，增加网络层数便可得到一个多输入多输出全连接层网络。如图2-5所示为一3层全连接网络结构。图2-5一种3层全连接网络在多分类的问题中，如本文的旋转机械早期故障诊断问题，通常需要将输出进行归一化处理，使得输出表示每一类预测的概率值，且所有概率值之和要为1。因此，在前向传播的最后一步，需要对神经网络的输出值进行特殊的处理。Softmax函数可以实现这一过程，它不仅把原始的输出值映射到[0,1]区间内，还可以满足所有的输出值之和为1的特性。其中Softmax函数的表达式如下： Softmaxzi其中经过神经网络后第i个节点的输出值。1.4求解误差数据在经过神经网络前向传播后得到一组输出，由于这一组输出可能与真实的结果之间不相符，因此需要将得到的输出与真实结果进行对比，得到神经网络一次前向传播的误差值。常见的误差函数有均方差函数、交叉熵函数等。均方差(MeanSquaredError,MSE)误差函数是将输出向量与真实的标签向量的各个坐标做差值、再平方、求和最后除以向量长度。MSE误差函数的结果总是大于等于0，当其结果为0时表示神经网络的输出值为真实的标签值，此时神经网络预测达到最佳。MSE误差函数公式如下： MSE⁡(y其中yi表示真实标签数据的值，o通常，MSE误差函数应用中回归问题中，在分类问题中应用的较少。而在分类问题中，如本文的旋转机械早期故障诊断问题，一般使用交叉熵损失函数来衡量神经网络的误差。在引入交叉熵损失函数之前，我们先来看看熵的概念。熵在信息论中是用来衡量信息的不确定度的。熵越大，就表示不确定性越大，同时信息量也越大。现给出一个概率分布P(i)的熵的定义： H(P其中，P(i)表示分布中第i项的概率值。在One-hot编码的数据中求熵时会得到One-hot编码的熵为0。One-hot编码是指正确的标签值为1，其余的标签值全为0，如在10分类问题中，第一类为真实标签时，编码为[1,0,0,0,0,0,0,0,0,0]，它的熵计算如下：−1×即对One-hot编码的分布的熵为0。介绍完上述熵以及One-hot编码的概念之后，我们再来讨论交叉熵，给出其定义如下： H(p其中p(i)表示真实标签的One-hot编码，q(i)表示经神经网络输出的分类的概率值。对上述交叉熵的定义进行变换可以分解得到神经网络输出p的熵H(p)以及p和q的KL散度的和： H(p‖其中KL定义为： DKL(根据定义可知，当p=q时，DKL(pqH(p‖q)=H(p)+可以得到交叉熵即为真是标签与神经网络输出概率分布之间的KL散度。因此，根据KL散度的定义以及One-hot编码的结果，可得到在分类问题中交叉熵计算表达式为：H(p‖q)=其中i为One-hot编码中为1的索引号，即真实类别标签所在的索引。当输出概率为1时，交叉熵误差函数为0，表示神经网络的预测与真实值完全一致，此时网络结构最佳。1.5反向传播算法在经过前向传播，求得当前神经网络的预测效果之后，预测结果一般不会很好，因此还需要对全连接层的权值和偏置参数进行更新，使得网络结构有更好的作用效果。1986年，GeoffreyHinton等人在神经网络上应用反向传播算法[19]，使得神经网络参数更新有了高效的方法。反向传播算法是通过求网络结构的误差对各个参数的梯度进行更新的，因此在说明反向传播算法之前，先来讨论梯度下降算法。导数是指函数沿某个参数自变量方向的变化率，对于有多个参数的函数，可以对各个参数求偏导，再把各个偏导写成向量形式： ∇θℒ=(其中ℒ表示误差函数，θ表示自变量参数。此向量的方向即表示函数增长最快的方向。由于此梯度表示的是误差函数增长最快的方向，因此用自变量参数减去乘以一个系数因子之后的梯度，即可使得误差函数以最快的速度下降，这就是梯度下降法的工作原理，其公式可表示成如下： θ'=θ−η⋅∇其中η表示学习率，属于超参数，需要人为设置，一般去0.01或0.001。由于神经网络具有多层，因此在使用误差函数求梯度时，只能求出输出层参数的梯度，输入层及隐藏层的参数无法得到更新。但是我们可以把神经网络类比为一个多元的复合函数，应用复合函数的链式求导