【《深度学习相关技术与相关工作概述》4400字】

我国中小企业的技术创新研究[43]。它的人工神经元能够覆盖范围内的附近单位，这种特性使它在在图像处理任务方面发挥十分出色。从本节开始将介绍本文关于机器人工件识别算法相关的理论技术基础，包括相关网络层和相关函数。1.2.1卷积层在卷积神经网络，每层卷积层都由许多卷积单元组成，这些卷积单元都是不尽相同的，都有一个不断变化的参数，参数的变化是由反向传播不断更新优化的。卷积运算在卷积层的作用是从输入图像中提取不同的特征。浅卷积层提取图像边缘和条纹等较低层次的特征。随着卷积层的深入，采用迭代的方法提取更为复杂的特征信息。如图1.1所示，卷积运算的示意图。图1.1 卷积运算示意图Fig.1.1Schematicdiagramofconvolutionoperation具体的卷积操作也是十分好理解。首先输入一张原始图像，根据图像自定义一个卷积核（也称为滤波器），核的大小一般2×2、3×3、5×5都可以，卷积核里的权值是不同的，提取的特征也是不同的。然后卷积核在原图上不停的进行滑动，滑动的步长也是事先定义好的，比如当步长为1时，每次移动距离为一个像素，步长为2时，每次移动距离为两个像素。步长跟特征图尺寸大小呈反比，步长越大，得到的特征图也将越小。有时会出现边缘像素点不够的情况，此时采用的方式是零填充，可以有效控制特征图大小，最终得到一张所需要的特征图。一般来说，在不考虑计算影响耗费资源的负面影响下，卷积层越多，对图像提取的特征就会越多越丰富，整个模型也能识别出更多复杂的图案，具体特点如下：（1）卷积层由若干卷积核组成进行并行学习。在具体的应用中，模型都会学习多个卷积核。卷积层通过多个卷积核获取多种方法进行提取输入信息，换句话说，提供了多个通道学习输入数据的特征信息。（2）卷积层通过多个通道获取特征信息。比如灰色图像有两个通道，彩色图像有三个图像。以彩色图像为例，三种颜色分别对应三个通道，卷积层就是从这不同的三个通道进行更多有用的特征信息提取。（3）卷积层之间可以相互堆叠。卷积层不仅仅可以处理输入图像，还可以作为其它卷积层的输出，这种卷积层的叠加可以使整个卷积神经网络图像的特征提取层次化，具有不同深层次的不同语义信息。1.2.2激活函数与损失函数（1）激活函数在卷积神经网络中通常会有很多的非线性函数——激活函数，因为在深度学习神经网络训练中会牵扯到大量的计算，激活函数可以增加更多的非线性能力，减少计算量，以及增强网络的学习能力，常见的激活函数有很多，包括Sigmoid、Tanh、Relu等，具体选用哪个激活函数还是要根据具体的网络选用适合的激活函数。（a）Sigmoid函数Sigmoid激活函数在深度学习中被广泛的使用，函数图像较为平滑，区间为0到1，具体的公式定义如下：（式1.1）函数图像如下图1.2所示：图1.2Sigmoid函数图像Fig.1.2SigmoidfunctiongraphSigmoid函数虽然在很多深度学习神经网络中广泛应用，常常用在二分问题上，不过近年来应用它的人越来越多少，因为存在着一些问题，由于本身函数特性，整个计算量非常巨大，在训练的过程中会出现梯度弥散和梯度爆炸的问题，其中梯度消失是指在训练中由于网络层的增加，梯度接近于0导致无法继续学习无法更新权值。梯度爆炸是指输入的值呈指数增加，梯度变化非常大，得到了一个巨大的权值更新（b）Tanh函数Tanh函数的图像类似于但又不同于Sigmoid函数，图像形状是呈“S”形状，但是Tanh映射区间为-1到1，并且图像关于原点对称。在神经网络隐藏层中经常被用到的激活函数，Tanh函数定义如下：（式1.2）函数图像如下图1.3所示：图1.3Tanh函数图像Fig.1.3Tanhfunctiongraph即使Tanh函数在实际应用中比Sigmoid函数稍有优势，但是还是没有很好解决梯度饱的问题，另外因为函数中含有exp，所以计算量也是很大的问题。（c）ReLU函数ReLU函数整流线性单元是现代神经网络中最常用的激活函数，它可以将数据线性化，大幅度减少计算量。由于ReLU函数的优势明显，所以现在大多数前馈神经网络都会默认使用ReLU激活函数。函数定义如下：（式1.3）函数图像如下图1.4所示：图1.4ReLU函数图像Fig.1.4ReLUfunctiongraphReLU函数可以看成一个线性的分段函数，在小于0的数据全部取0，大于0的时候是一个斜率为1的正比例函数，不过需要注意的一点是该函数并不是全区间可导的，只有在大于0的时候可以进行一次求导。在实际应用中，只需要判断输入是否大于0，所以这种线性关系表现出计算速度与收敛速度都是非常快。（2）损失函数损失函数的作用就是评估建模的优良程度。如果预测值与实际样本结果偏差过大，则计算值将非常大。也就是说损失函数的值越小说明算法网络的学习效果越好，模型泛化能力越好。不过在一些优化函数的组合辅助下，损失函数也会进行更新，逐渐学会减少预测值的误差。（a）平均误差损失平均误差损失指的是每个训练样本的平方误差之间的损失，数学上计算是真实值和预测值做差再求平方，平均误差损失定义公式如下：（式1.4）它是一个二次函数(形式为)，并且函数值永远大于等于0。平均误差损失函数用平方误差的数值来惩罚模型间的差距。即使一个小数字被平方，它也会变得非常大，更不用说一个更大的数字经过平方后会变得更大。此外，应该注意的是，该特性降低了平均误差损失对异常值的鲁棒性。（b）绝对误差损失绝对值误差损失是指每个训练样本的预测值和真实值之间的绝对距离。绝对误差也称为L1损失，公式定义如下：（式1.5）与平均误差损失相比，在数学方程中处理绝对值或模数运算符难度较大，这牵扯到符号变换的问题，所以我们可以认为这是绝对误差损失的缺点。（c）Huber误差损失Huber损失结合了平均误差损失和绝对误差损失的优点特性。对于误差的大小选择不同的损失，Huber损失最重要的是需要确定δ参数，具体定义公式如下：（式1.6）Huber损失对于异常值比平均误差损失和绝对误差损失更加有效。Huber损失根据实际情况也有很多的变体，也可以用于计算多分类问题。（d）交叉熵损失交叉熵损失函数的标准形式定义如下：（式1.7）其中表示样本，表示实际的标签，表示的是预测的输出，代表的是整个样本总数。在进行二分类和多分类任务时，由于均方差损失函数在训练时权重更新较慢、效率较低，所以常用交叉熵损失函数代替均方误差损失函数，交叉熵损失函数就可以加快权重更新速度，完美解决权重更新慢的缺点，表现为误差大时重量更新快，误差小的权重更新慢具有良好的性质。1.2.3池化层在进行卷积层提取特征之间往往会添加一个池化层（poolinglayer）。池化层的作用主要是将输入的特征矩阵的尺寸进行有效的缩小，降低特征矩阵的尺寸数值，从而减少进入全连接层的参数，减少网络计算压力。换句话说，池化层就是为了有效的降维，在保持原图有效特征不变得基础上最大程度的将矩阵尺寸的维数变小。在操作方面其实与卷积相似，但是算法方面不同。池化层与卷积层从滤波器的角度比较来看，池化过程只专注滤波器的尺寸，而不关心本身的值，处理滤波器映射的区域内的像素点，其中有两种方法，一个是取平均值，第二种是取最大值。在整个池化的过程，也有步长的概念，在这一点上，与卷积操作是相同的。池化层的具体作用可以总结为三点：（a）保持主要特征不变在经过卷积操作之后，得到了特征矩阵图，池化层更加关注的是某些特征，不去关注特征具体的位置，利用这一点，所以这也是体现了网络训练过程中某种意义上的自由度。（b）特征降维由于降采样原理，相当于对整个输入数据空间做了维度缩减，然后使整个训练模型可以抽取更广范围内的特征。同时减少了在网络传播中向下一层的输入数据，保留更多的有用数据，进而减少参数的个数和降低计算量。（c）防止过拟合由于池化层本身就是一个降维的过程，减少网络模型的复杂度，所以在一定程度上能够防止过拟合情况的发生，控制模型复杂度，提高模型的泛化能力。1.2.4全连接层与Softmax函数（1）全连接层在深度学习图像处理方面，引入卷积层的目的是为了通过卷积核对图像进行有用信息的特征提取，引入池化层的作用是通过降维然后减少网络计算压力，在输出的最后都是由全连接层做数据的分类层。从数学角度来说，可以理解成一个投影空间映射，它是将卷积层和池化层处理之后的数据集合从一个特征空间投射到其它不同的特征空间。但是随着深度学习神经网络的不断更新优化，在实际应用中，经过神经网络训练后的权重都在最后的全连接层中，所以现在更多的是将全连接层完全由卷积层进行实现。另外因为全连接层训练时的参数冗余问题，在近些年的网络模型研究中都尽量少的采用全连接层或者甚至将全连接层替换掉。（2）Softmax函数Softmax函数在机器学习中有广泛的应用，从前节介绍我们了解到Sigmoid函数大多用来处理二分类问题，而Softmax函数常常用来处理多分类问题，从字面上来看，可以分成两部分。首先max顾名思义就是最大值的意思，而核心是soft。在二分问题中结果都是非黑即白，但是往往随着问题的增加这种方式是不合情理的，比如文本分类来说一篇文章或多或少包含着各种主题信息，我们更期望得到文章对于每个可能的文本类别的概率值（置信度），所以就引入了soft的概念，Softmax的含义就在于不再唯一的确定某一个最大值，而是为每个输出分类的结果都赋予一个概率值，表示属于每个类别的可能性。Softmax函数的定义为：（式1.8）其中z为第i个节点的输出点，C为样本类别的个数，通过Softmax函数可以将多分类的输出值控制在0到1范围的概率，并且这些分类概率相加等于1。1.2.5一阶段与二阶段目标检测算法分类任务是一个非黑即白的问题，只需判断是或不是，然而目标检测任务处理分析的是多个物体，不仅仅是要进行简单图像分类问题，而且需要分析更多的信息，定位出图像中具体的位置，换句话说，目标检测任务不仅要预测出各个物体的分类概率，还要准确的找出边界框（boundingboxes）。目标检测分为两种，首先介绍一阶段目标检测算法，其特点是一步到位，速度相对较