卷积神经网络原理推导专家讲座

说明：先导知识：CNN网络结构、BP网络学习算法参考文件：NotesonConvolutionalNeuralNetworks卷积神经网络原理推导专家讲座第1页经典CNN网络结构中，包含：卷积层、下采样层、全连接层卷积神经网络原理推导专家讲座第2页1.全连接层学习算法1.1工作信号正向传输1.2误差信号反向传输卷积神经网络原理推导专家讲座第3页全连接层网络结构图卷积神经网络原理推导专家讲座第4页2.1工作信号正向传输(1)当前第l层输出xl：①先求ul：第l-1层输出xl-1（第l层输入）与其对应权值Wl相乘，再加上基bl②再利用激活函数f(.)得xl：sigmoid或Relu卷积神经网络原理推导专家讲座第5页逐层传输，直至得到最终输出层结果利用网络输出值与真实值之间误差，进行反向传输，调整权值。参数：c表示分类数目，N表示训练样本数

tnk表示第n个样本真实值第k维

ynk表示第n个样本输出值第k维卷积神经网络原理推导专家讲座第6页(2)误差①第n个样本误差：每类（共c类）误差和②总误差：每个样本（共N个）误差和卷积神经网络原理推导专家讲座第7页2.2误差信号反向传输反向传输回来误差能够看做是每个神经元基灵敏度灵敏度意思就是基b改变多少，误差会改变多少也就是误差对基改变率，即导数（公式1）卷积神经网络原理推导专家讲座第8页(1)反向计算各层灵敏度①输出层第L层灵敏度：②全连接层第l层灵敏度（公式2）：卷积神经网络原理推导专家讲座第9页(2)权值调整①导数：②权值更新（公式3）：对于每一个权值Wij都有一个特定学习率ηIj误差E对于第l层权值矩阵Wl导数第l层输入（即第l-1层输出）xl-1第l层灵敏度向量δl=X卷积神经网络原理推导专家讲座第10页2.卷积层学习算法2.1工作信号正向传输2.2误差信号反向传输卷积神经网络原理推导专家讲座第11页卷积层经典结构图卷积层输入层卷积神经网络原理推导专家讲座第12页子采样层经典结构图卷积层子采样层假定每个卷积层l都会接一个下采样层l+1卷积神经网络原理推导专家讲座第13页2.1工作信号正向传输(1)当前第l层第j个输出xlj：①先从第l-1层特征图里，选择若干个组成第l层输入特征图集合Mj；②再利用卷积核Klij分别与输入特征图中每个map即xl-1i进行卷积，并求和；③最终加上基blj，使用激活函数f即可。卷积神经网络原理推导专家讲座第14页(2)确定需要更新权值①基b②卷积核k说明：此时需要分别计算误差对它们改变率和卷积神经网络原理推导专家讲座第15页2.2误差信号反向传输(1)计算基梯度①上采样第l+1层第j个灵敏度map：说明：第l+1层为下采样层，其中一个像素对应灵敏度δ对应于第l层卷积层输出map一块像素（采样窗口大小），所以，上采样使其灵敏度map大小与卷积层map大小一致卷积神经网络原理推导专家讲座第16页②求第I层第j个灵敏度map（公式2可得）：说明：在下采样层map权值W都取一个相同值β，而且是一个常数。③第l层灵敏度δl：对第l层中灵敏度map中全部节点进行求和，由公式1可知，得到基梯度。卷积神经网络原理推导专家讲座第17页(2)计算卷积核梯度①对于一个给定权值，对全部共享该权值连接对该点求梯度；②然后对这些梯度进行求和。说明：是中在卷积时候与逐元素相乘patch卷积神经网络原理推导专家讲座第18页

卷积神经网络原理推导专家讲座第19页3.子采样层学习算法3.1工作信号正向传输3.2误差信号反向传输卷积神经网络原理推导专家讲座第20页3.1工作信号正向传输(1)当前第l层第j个输出xlj：down(.)表示一个下采样函数。有N个输入maps，就有N个输出maps，只是每个输出map都变小n*n倍。每个输出map都对应一个属于自己乘性基β和一个加性基b。卷积神经网络原理推导专家讲座第21页(2)确定需要更新权值①加性基b②乘性基β说明：此时需要分别计算误差对它们改变率和卷积神经网络原理推导专家讲座第22页3.2误差信号反向传输计算加性基梯度①计算第I层第j个灵敏度map②加性基梯度：卷积神经网络原理推导专家讲座第23页(2)计算乘性基梯度①保留正向传输时下采样层特征map：②乘性基梯度卷积神经网络原理推导专家讲座第24页

卷积神经网络原理推导专家讲座第25页4.特征图组合人工选择网络选择卷积神经网络原理推导专家讲座第26页①第l层第j个输出特征图xlj：说明：αij表示在得到第j个输出map第i