卷积神经网络原理推导

1、卷积神经网络卷积神经网络(CNN)原理推导原理推导阿育王阿育王6262016.3.6说明：说明： 先导知识：先导知识：CNN网络结构、网络结构、BP网络学习算法网络学习算法 参考文献：参考文献：Notes on Convolutional Neural Networks典型的典型的CNN网络结构中，包含：网络结构中，包含：卷积层、下采样层、全连接层卷积层、下采样层、全连接层1.全连接层学习算法全连接层学习算法 1.1工作信号正向传播工作信号正向传播 1.2误差信号反向传播误差信号反向传播全连接层网络结构图全连接层网络结构图2.1工作信号正向传播工作信号正向传播(1)当前第当前第l层的输出层的输

2、出xl： 先求先求ul：第：第l-1层的输出层的输出xl-1（第（第l层的输入）层的输入）与其对应权值与其对应权值Wl相乘，再加上基相乘，再加上基bl 再利用激活函数再利用激活函数f(.) 得得xl：sigmoid或或Relu 逐逐层层 传播，直至得到最终输出层结果传播，直至得到最终输出层结果 利用网络利用网络输出值输出值与与真实值真实值之间的误差，进行之间的误差，进行反向传播，调整权值。反向传播，调整权值。 参数：参数：c表示分类数目，表示分类数目，N表示训练样本数表示训练样本数 tnk表示第表示第n个样本真实值的第个样本真实值的第k维维 ynk表示第表示第n个样本输出值的第个样本输出值的第

3、k维维(2)误差误差 第第n个样本的误差：每类（个样本的误差：每类（共共c类类）误差的和）误差的和 总误差：每个样本（总误差：每个样本（共共N个个）误差的和）误差的和2.2误差信号反向传播误差信号反向传播 反向传播回来的误差可以看做是每个神经反向传播回来的误差可以看做是每个神经元的基的灵敏度元的基的灵敏度 灵敏度的意思就是基灵敏度的意思就是基b变化多少，误差会变变化多少，误差会变化多少化多少 也就是也就是误差对基的变化率误差对基的变化率，即导数（，即导数（公式公式1）(1)反向计算各层灵敏度反向计算各层灵敏度 输出层第输出层第L层灵敏度：层灵敏度： 全连接层第全连接层第l层灵敏度（层灵敏度（公

4、式公式2）：）：(2)权值调整权值调整 导数：导数： 权值更新（权值更新（公式公式3）：）：对于对于每一个权每一个权值值Wij都都有有一一个特定的学习率个特定的学习率Ij误差误差E对于第对于第l层权值矩阵层权值矩阵Wl的导数的导数第第l层的输入层的输入（即第（即第l-1层层的输出）的输出）xl-1第第l层的层的灵敏度灵敏度向量向量l=X2.卷积层学习算法卷积层学习算法 2.1工作信号正向传播工作信号正向传播 2.2误差信号反向传播误差信号反向传播卷积层典型结构图卷积层典型结构图卷积层卷积层输入层输入层子子采样层典型结构图采样层典型结构图卷积层卷积层子采样层子采样层 假定每个卷积层假定每个卷积层

5、l都会接一个下采样层都会接一个下采样层l+1 2.1工作信号工作信号正向传播正向传播(1)当前当前第第l层层的第的第j个输出个输出xlj： 先从第先从第l-1层的特征图里，选择若干个组层的特征图里，选择若干个组成第成第l层输入特征图集合层输入特征图集合Mj； 再利用卷积核再利用卷积核Klij分别与输入特征图中的分别与输入特征图中的每个每个map即即xl-1i进行卷积，并进行卷积，并求和求和； 最后加上基最后加上基blj，使用激活函数，使用激活函数f即可。即可。(2)确定需要更新的权值确定需要更新的权值 基基b 卷积核卷积核k 说明：此时需要分别计算误差对它们的变说明：此时需要分别计算误差对它们

6、的变化率化率 和和2.2误差信号误差信号反向传播反向传播(1)计算计算基的梯度基的梯度上采样上采样第第l+1层第层第j个灵敏度个灵敏度map：说明：第说明：第l+1层为下采样层，其中层为下采样层，其中一个一个像素像素对对应应的灵敏度的灵敏度对应对应于于第第l层层卷积层的卷积层的输出输出map的的一块一块像素（采样窗口大小像素（采样窗口大小），因此，上采样，因此，上采样使其使其灵敏度灵敏度map大小与卷积层的大小与卷积层的map大小大小一致一致 求第求第I层第层第j个灵敏度个灵敏度map（公式公式2可得）：可得）：说明：说明：在下采样层在下采样层map的权值的权值W都取一个相都取一个相同值同值，

7、而且是一个常数，而且是一个常数。 第第l层灵敏度层灵敏度l：对对第第l层中的灵敏度层中的灵敏度map中所有节点进行求和中所有节点进行求和，由，由公式公式1可知，得到可知，得到基的梯度基的梯度。(2)计算计算卷积核的梯度卷积核的梯度 对于对于一个给定的权值一个给定的权值，对所有，对所有共享共享该该权权值的连接对值的连接对该点求该点求梯度梯度； 然后然后对这些梯度进行对这些梯度进行求和。求和。 说明说明： 是是 中中的在卷积的时候与的在卷积的时候与 逐逐元素相乘的元素相乘的patch3.子采样层学习算法子采样层学习算法 3.1工作信号正向传播工作信号正向传播 3.2误差信号反向传播误差信号反向传播

8、3.1工作信号工作信号正向传播正向传播(1)当前第当前第l层的第层的第j个输出个输出xlj： down(.)表示一个下采样函数表示一个下采样函数。 有有N个输入个输入maps，就有，就有N个输出个输出maps，只是，只是每个输出每个输出map都都变变小小n*n倍倍。 每个每个输出输出map都对应一个属于自己的都对应一个属于自己的乘性乘性基基和一个和一个加性加性基基b。(2)确定需要更新的权值确定需要更新的权值 加性加性基基b 乘性乘性基基 说明：此时需要分别计算误差对它们的变说明：此时需要分别计算误差对它们的变化率化率 和和3.2误差信号误差信号反向传播反向传播(1)计算计算加性基加性基的的梯度梯度计算计算第第I层第层第j个灵敏度个灵敏度map加性基的加性基的梯度：梯度：(2)计算计算乘性基的梯度乘性基的梯度保存正向传播时下采样层的保存正向传播时下采样层的特征特征map：乘性基的梯度乘性基的梯度4. 特征特征图图组合组合 人工人工选择选择 网络网络选择选择第第l层层第第j个个