计算机视觉-课件-第6章-神经网络基础

第6章神经网络基础6目录计算机视觉

6.1神经网络基本概念6.26.3激活函数神经网络设计6.5梯度下降6.6神经网络反向传播6.4损失函数6.1神经网络基本概念计算机视觉

一个简单的神经网络包括输入层、隐藏层和输出层。实际上只有两层神经元（输入层和隐藏层）具有权重。以实际具有权重的层数来表示神经网络的名称，上图为2层神经网络。计算机视觉

神经网络中信号的传递用下图表示神经元的输入信号为

和

，输出为

，可用公式来表示信号的传递神经元

只有在输入信的总和超过某个界限值时才被激活，输出为1；否则不被激活，输出为0。这个界限值称为阈值，用

表示。用于将输入信号的总和转换为输出信号，称为激活函数计算机视觉

6.2激活函数激活函数(activationfunction)的目的在于如何激活输入信号的总和，这里介绍阶跃函数、Sigmoid函数或ReLU函数等作为激活函数。阶跃函数激活函数以阈值为界，一旦输入信号的总和超过阈值就切换输出。函数值在x=0处跃变Sigmoid函数sigmoid函数是一条平滑的曲线，输出随着输入发生连续性的变换二者的平滑性有差别，但其总体形状具有相似性，也就是其变化趋势大致相同。当输入信号较小时，其输出值较小，当输入信号增大时，其输出值也随之增大，且二者输出均在0和1之间计算机视觉

阶跃函数和sigmoid函数的另一共同点是均为非线性函数。神经网络的激活函数必须是非线性函数，这是因为如果使用线性函数作为激活函数，无论设置多少层隐藏层，其最终效果都是线性函数的叠加，加深神经网络的层数没有任何意义。例子，线性函数构建3层神经网络相当于可以用来替代采用线性函数作为激活函数的神经网络无论叠加多少层都只能解决线性问题，无法解决非线性问题，不能发挥多层网络带来的优势。计算机视觉

6.2.3ReLU函数ReLU函数同样属于非线性函数，其在输入大于0时，直接输出该值；在输入小于0时，输出0，可用公式表示为：计算机视觉

6.3神经网络设计下面以图所示的三层神经网络为例，分析输入到输出的前向传播过程。

我们将输入层称为第0层，第一个隐藏层为第1层，第二个隐藏层为第2层，输出层为第3层。计算机视觉

从第1层到第2层的前向传播与以上过程相同，接下来重点分析从第2层到输出层的设计。输出层的设计与之前各层传播的最大不同在于激活函数，在输出层一般采用恒等函数（对输入信号不加改动地输出）或softmax函数，具体采用什么激活函数取决于不同的任务。一般而言，分类问题，如手写字体识别、人脸识别等，采用softmax激活函数，而回归问题，如预测学生成绩、股票走势等，采用恒等函数。在计算机视觉任务中，多数是分类问题。因此，我们会发现在神经网络的输出层中多使用softmax激活函数。SoftMax函数如下所示：计算机视觉

6.4损失函数损失函数可用来衡量预测值与目标值之间的差距，通过最小化损失函数来优化权重设置。损失函数有多种，在神经网络中常用的是均方误差（MeanSquaredError）和交叉熵误差（CrossEntropyError）。6.4.1均方误差y’=(0,0,0,0.36,0,0,0,0,0.6,0.04)表示类别数量表示第

样本的真实测值表示神经网络输出的第

样本的预测值预测值y=(0.02,0,0,0.86,0,0,0,0,0.11,0)g=(0,0,0,1,0,0,0,0,0,0)真实值和的MSE分别为3.2100e-03和0.077120，可见y的损失值更小，更接近真实值。计算机视觉

6.4.2交叉熵误差y’=(0,0,0,0.36,0,0,0,0,0.6,0.04)预测值y=(0.02,0,0,0.86,0,0,0,0,0.11,0)g=(0,0,0,1,0,0,0,0,0,0)真实值对应的交叉熵误差分别为0.1508和1.0217。计算机视觉

6.5梯度下降通过最小化损失函数求解神经网络的参数值，由于参数数量较大，很难获得解析解。一般采用梯度下降法迭代求解，得到最小化的损失函数值和最优的模型参数值。损失函数可表示为:学习的目标是通过更新a和b的值最小化损失函数L(a,b)(a)L(a,b)函数图

(b)L(a,b)函数俯视图问题：如何才能获得L(a,b)的最小值呢？使用梯度下降法求出损失函数L(a,b)的最小值。梯度下降的思想是，随机选择一个参数的组合(a,b)，计算其对应的损失函数，如图(b)中等高线最外层红点位置，然后寻找一个能让损失函数下降最多的参数组合，持续更新a,b的值，直到损失函数收敛于最优点，即图(b)中等高线的最里层6.5.1梯度下降的基本思想计算机视觉

在复杂的情况下，损失函数可能存在多个局部最优解，如图想象你站在山的顶点上，在梯度下降法中，我们要做的是旋转360度，看看周围在哪个方向上下山最快，我们知道下降最快的方向为导数方向，可将梯度定义为损失函数L(a,b)对参数a,b的偏导数，因此沿导数方向前进一小步；然后再一次想想，应该从什么方向下山，再迈出一小步；重复上面的步骤，直到接近局部最优点。梯度下降可描述如下：计算机视觉

6.5.2神经网络的梯度神经网络可记为设神经网络的权重为2×3的矩阵，其梯度可表示为表示

变化时，损失函数L发生的变化。计算机视觉

6.5.3学习算法的步骤分为以下四个步骤：Step1：从训练数据中随机选出一部分数据，这部分数据称为mini-batch；Step2：计算mini-batch的损失函数，学习的目标是最小化该损失函数；Step3：计算梯度，求出各个权重参数的梯度；Step4：更新参数，沿梯度方向更新参数；Step5：重复步骤2、3、4，直到收敛。采用mini-batch的原因在于，在整个数据集上针对全部数据样本进行损失函数求和是不现实的，因此每次迭代可从训练集中随机获取固定数量的样本，即mini-batch，在mini-batch上进行损失函数求和、梯度计算和参数更新。计算机视觉

6.6神经网络反向传播理论上可以求出损失函数L关于权重参数W的偏导数由于直接进行导数运算的计算量较大，所以，一般不直接使用解析方式求偏导数，而采用反向传播算法快速求解偏导数。6.6.1链式法则和反向传播设：x=-2,y=5,z=-4反向传播：一个简单的例子图中，绿色的数字代表从前向后计算时每个参数的得数Want:计算机视觉

Want:计算机视觉

Want:计算机视觉

Want:计算机视觉

Want:计算机视觉

Want:计算机视觉

Want:计算机视觉

Want:计算机视觉

Want:链式法则：上游梯度上游梯度计算机视觉

计算机视觉

Want:链式法则：计算机视觉

几个梯度传播的门电路加法门：进行梯度分配,每一个子门路传播后一项的梯度.乘法门：相当于梯度路由.每一个子门路分配的梯度等于另一方进行前向传播的数与梯度的乘。最大值门：相当于梯度开关.他们之中谁大，谁的导数即为1，谁小，谁的导数即为0计算机视觉

f反向传播的直观理解从上面公式可以看出，要想知道参数具体对结果能产生何种影响，那么就要一步一步从后向前推，将此式用于损失与权重的梯度变化就是反向传播的概念。计算机视觉

f“局部梯度”计算机视觉

f“局部梯度”梯度计算机视觉

f梯度“局部梯度”计算机视觉

f梯度“局部梯度”计算机视觉

f梯度“局部梯度”计算机视觉

例子：计算机视觉

例子：计算机视觉

例子：计算机视觉

例子：计算机视觉

例子：计算机视觉

例子：计算机视觉

例子：计算机视觉

例子：计算机视觉

例子：计算机视觉

例子：(-1)*(-0.20)=

0.20计算机视觉

计算机视觉

Another

example:[局部梯度]x[其梯度]

[1]x[0.2]=

0.2[1]x[0.2]=0.2计算机视觉

Another

example:计算机视觉

Another

example:Another

example:[局部梯度]x[其梯度]x0:[2]x[0.2]=0.4w0:[-1]x[0.2]=-0.2计算机视觉

sigmoid

functionsigmoid

gate计算机视觉

sigmoid

函数sigmoid

分数计算机视觉

梯度在分支处相加+假如当前门路分为几个支路，那么反向传播时，几个支路的梯度相加就得到了当前的梯度计算机视觉

矩阵的反向传播以上我们讨论的一般都是数值之间的操作，而在实际情况中，我们的权重都是以矩阵形式出现的计算机视觉

计算机视觉

6.6.2前向传播和反向传播图6-12前向传播以例，其值为前一层三个节点的加权和，即为：图6-13误差反向传播通过反向传播计算出每层各个节点的误差计算机视觉

输出层的误差为

第二层节点

的输出误差

和第一层节点

的输出误差

可由反向传播给出：其中，

可由前向传播获得、

由反向传播获得，这样就可以快速计算偏导数。6.6.3神经网络训练计算机视觉

1、构建神经网络，随机初始化权重参数。我们知道，神经网络的训练是一个迭代求精的过程，通过不断优化权重参数使损失函数