【《麦克风阵列波束形成和CNN理论基础综述》5700字】

[18]通常有两种形式：平均池和最大池，物质放大可以看作是一种特殊的卷积过程，污染和亚采样大大简化了模型的复杂性，降低了模型参数。1.5卷积神经网络结构卷积神经网络模型如图1.7所示，图中网络输入为一个32x32的手写字母，整个网络由卷积层，下采样层和全连接层组成。图1.7CNN网络模型1.5.1卷积层与下采样层图1.8卷积过程卷积层为使用卷积核对输入进行卷积运算的层。卷积过程如图1.8所示，图中对一个10x10的输入特征使用一个3x3的卷积核进行了卷积。将卷积核以一定的步长(Stride)在整个输入特征.上滑动，以图为例，当滑动步长为1时，卷积的结果是一个的特征图谱。即当输入尺寸为，卷积核尺寸为,步长为s时，卷积的输出尺寸为，可以对输入四周补0来控制卷积输出的尺寸。设输入为一个单通道(Channel)特征，则第l层卷积层中，第j个卷积核的最终输出为（2-28）式中，为第1-1层输出的第k个特征图和第l层输出的第j个特征图之间的卷积核，为第l层输出的第j个特征图，为第I层输出的第j个特征图的偏置项,为激活函数，*为卷积运算符号。通过层层卷积，将底层特征重新提取组合，构成更为抽象的高层特征，从而达到特征提取和数据重建的效果。降采样层又称为池化层，通过对输入降采样，极大地降低了参数规模，简化了网络模型。常用的下采样方法有最大池法和平均池法。如图1.9所示。图中可以看出降采样操作具有平移不变性。即当降采样区域为输入矩阵中的连续范围时，输入矩阵的小规模平移不会影响输出的降采样特征。加入可训练参数的下采样层计算公式为（2-29）式中，为乘性可训练因子，为下采样层偏置项，down为下采样函数，为激活函数。图1.9降采样1.6卷积神经网络的训练1.6.1反向传播算法反向传播(BackPropagation，BP)算法被广泛应用于人工神经网络的训练，BP算法通过将损失函数得到的误差反向传播，使用梯度下降法等优化算法调整网络参数使得损失函数最小化。对于有一个m类的分类任务，设有N个训练样本，其中标签通常为二进制形式，即若样本属于第c类，则中第c个元素，其它元素均为0。设第i个样本的网络输出值为Y(i)，则将网络损失函数定义为（2-30）首先对网络的连接权重和偏置使用随机初始化或其它初始化方法进行初始化，然后采用梯度下降法对目标函数求解最优化，根据梯度方向更新权重和偏置，更新过程如下（2-31）(2-31)式中，为连接第l层第j个神经元的权值，为连接第l层第j个神经元的偏置，“new”和“old"分别代表权值或偏置的更新后的值和更新前的值，η为学习率。因此，为了进行反向传播，需要计算权值和偏置的梯度，即和由于网络各层之间的关联性，使用链式法则计算梯度的反向传播。在全连接层中定义每个神经元的灵敏度为（2-32）1.6.2卷积层梯度计算传统CNN采用的是卷积层和下采样层交替连接的结构，而卷积层和下采样层的梯度计算方式不同。设第l层为卷积层，第l+1层为下采样层，则每个下采样层中神经元的灵敏度对应卷积层的一个卷积核的输出。就需要对下采样层神经元的灵敏度做.上采样操作使之与卷积层输出的尺寸相同，再根据链式法则得到第l层卷积层中神经元的灵敏度为（1.33）(2-33)式中，up(·)代表上采样函数，选用的上采样函数需要根据下采样层选取的下采样函数决定，根据下采样时的参数通过复制元素的方法恢复尺寸。例如，下采样时