【《图像分割与识别的原理分析综述》3600字】

图1.3卷积示意图中，以为例，得接下来推广到三维卷积，使用多组的卷积核，得到多张特征图。图1.4三维卷积算法2）池化：池化实际上是一种形式的降采样，用来对上一层提取的特征做局部统计并输出，从而降低参数数量和计算量。最大值池化（MaxPooling）和均值池化（MeanPooling）是比较常见的池化。最大值池化把图像划分为若干相同的矩形区域，然后输出每个区域的最大值，从而使网络能够适应多种不同的变化。图1.5最大值池化3）非线性层：在卷积操作后要加上一个非线性层，通过将线性表示非线性化，来提高网络表示能力。Sigmoid和Tanh函数是最早使用的非线性函数，由于sigmoid函数有“梯度消失”的问题。一种新的激活函数——修正线性函数（RectifiedLinearUnits，ReLU），又称修正线性单元，在卷积网络中广泛使用。ReLU相比老函数，输出更稳定，速度更快，其表达形式如下4）训练算法：在输出层的分类任务中，使用Softmax函数（又称归一化指数函数），函数原理：第一步，利用指数函数，将输出结果转化为非负数；第二步，将结果以概率的形式展现出来，从而使得分向量归一化到0~1之间。其表达式为 其中，是输出样本，是类别数目，是样本类别，是类样本的得分输出值。得出概率后，我们就可以标签判定该模型的损失(Loss)，卷积神经网络的误差反向传播方式，梯度下降法有批量梯度下降(BatchGradientDescent,BGD)、随机梯度下降(StochasticGradientDescent,SGD)以及小批量梯度下降(Mini-batchGradientDescent,MBGD)三种方法。介绍如下。表1.3梯度下降法原理优点缺点BGD在每一次迭代时，使用所有的样本去更新梯度1.实现并行1.全局最优样本数目很大时，训练过程也会很慢SGD在每一次迭代时，使用一个样本去更新参数速度快1.准确度下降1.不易于并行实现3.可能会收敛到局部最优MBGDBGD和SGD的折中办法1.实现并行1.减小收敛所需要的迭代次数batchsize的不当选择可能会带来一些问题1.2.3对网络参数的理解1.2.3.1BatchSizeBatchSize是一次训练所选取的样本数，它的选择决定了梯度下降方向，大小直接影响着网络模型的优化。在小样本的数据库中，可以不使用BatchSize，直接使用全数据集，这样结果也能更准确，效果也很好。但对于大型的数据库，使用全数据集，内存难以带起来。所以，BatchSize被提了出来。若能合适的设置BatchSize，内存利用率将得以提升，处理速度更快，梯度下降方向更精确。因此，我们选取一个折中的Batchsize值，即批量梯度下降，作为合适的值，用以提高训练速度。表1.4BatchSize的选择带来的影响合理增大BatchSize的好处盲目增大BatchSize的坏处1.内存利用率提高，训练速度提高，大矩阵乘法的并行化效率提高。1.跑完一次完整训练所需的迭代次数减少，处理速度更快一步。3.在一定范围内，合理增大Batch_Size能使其确定的下降方向更精准。1.内存利用率提高，但内存容量难撑住。1.跑完一次完整训练所需的迭代次数减少，若要要求精确度，将花费大量时间，从而使参数的修正变得更加缓慢。3.确定的下降方向基本不再变化。1.2.3.2学习率学习率(Learningrate)，即每步权重的更新对当前权重的改变程度。作为深度学习中重要的超参，学习率的设置决定了学习参数更新的快慢，决定了目标函数能否在合适的时间之内收敛到局部最小值。学习率设置太小，易过拟合，且收敛缓慢，更新速度慢；学习率设置过大，梯度可能在最小值附近来回振荡，可能会跨过最优解。如图1.6所示。图1.6学习率的设置对收敛过程的影响因此在训练过程中，我们可以在距离最优解较远时，可采用较大的学习率，使网络的损失值快速下降；随着迭代次数增加，在向最优解靠近的过程中，逐渐减小学习率，防止越过全局最优解，也就是根据训练轮数设置动态变化的学习率。以下为学习率的几种调整方法：1.离散下降：每n轮学习，学习率减半1.手动调整：根据经验尝试不同的固定学习率，如0.1,0.01,0.001等，观察迭代次数和loss的变化关系，找到loss下降最快关系对应的学习率。3.指数减缓4.分数减缓5.基于策略：Fixed固定策略（学习率始终未一个固定值）,exponential,polynomial6.自适应动态调整：adadelta,adagrad,ftrl,momentum,rmsprop,sgd此外，大多数网络的学习率初始值设为0.01这种较小的常数。对我来说，深度学习就像飞机驾驶室内的仪表盘，上面布满了各类按钮与操纵杆。只有学习好如何调整这些参数，我才能顺利的抵达目的地。1.2.3.3卷积核大小在卷积神经网络中，网络的感受野与卷积核大小密切相关，而卷积核大小必须大于1，才有提升感受野的作用。卷积核的大小一般设置为3。感受野，就是在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层的区域大小，简单来说就是神经网络中神经元“看到的”输入区域。感受野是卷积神经网络中的某一层输出结果的一个元素