CN114092760B 卷积神经网络中自适应特征融合方法及系统 （通号通信信息集团有限公司）

卷积神经网络中自适应特征融合方法及系统本发明涉及一种卷积神经网络中自适应特征融合层的各个尺度的所述特征的所述权重系合后的结果进行拼接，得到自适应特征融合结2对所述当前特征融合层的各个尺度的所述特征的所述权重系数进行激在所述当前特征融合层对各个尺度的所述特征进行加权融合，在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺度的获取当前取特征融合层卷积图上全部像素位置处，每个尺度所述在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系数的该尺度的特征与其他尺度的特征加权融合后的结果imy等于其自身。在当前的特征融合层处，对来自不同特征提取层的不同尺度尺度的特征对应的卷积图通过下采样或上采样操作缩放到将来自各个特征提取层的不同尺度的特征的卷积图分别送往一个轻量将不同卷积分支的结果在任意像素位置处的数值，作为当对当前特征融合层的卷积图上任意像素位置处的各个尺度的特征的权重系数进行非对非线性激活后的特征的权重系数进行线性归一化，得到每个尺度获取当前特征融合层卷积图上全部像素位置处如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系数度的特征xl,m,ij与其他尺度的特征加权融合后的结果ximy为：3积图像素(u,j)位置处的归一化权重系数αl,m,ij小于全部M个不同尺度的特征的归一化权重权融合后的结果imij为：将特征融合层l的卷积图上来自M个特征提取层的各个尺度的特征与其他尺度的特征,…,Xl,M)l,1在预先设定的维度上进行concat模式的拼接，形成的新向量矩阵Yl即为特征融合层l的各所述权重系数激活和归一化模块，用于对所述当前特征融合层的各所述特征加权融合拼接模块，在所述当前特征融合层对各个尺度的所在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺度的获取当前取特征融合层卷积图上全部像素位置处，每个尺度4所述在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系数的该尺度的特征与其他尺度的特征加权融合后的结果ximij等于其自身。5[0003]目标检测的解决方案已经逐渐汇聚在两种主流框架下：一种是以R-CNN,Fast-RCNN,Faster-RCNN和R-FCN等为代表的双阶段检测框架(two-stagedetection做到类似FasterRCNN一样利用级联的多次检测机会，在卷积图中通过初步检测切割出可能存在目标的感兴趣的区域(RoI)，再把该区域的卷积图归一化到指定大小后作为后续检样和上采样通路(top-downpathway)将不同尺度的特征信息对应的卷积图调整到相同大的卷积图进行向量拼接(concat)的模标的检测器分别连接在相应特征尺度的特征提取卷积层(以下简称相应尺度的特征提取层)后面的做法会带来一个新的缺陷：即在训练过程中因为强制将目标样本按照目标标定6调整卷积图上每个位置处来自各个特征提取层的不同尺度的特征在卷积神经网络的正向练目标之间的矛盾，采用这种方法的YOLOv3等经典算法在MSCOCO数据集上实现了比标准[0005]在自适应空间特征融合(ASFF)方法中，对于特征融合层l的卷积图上的每一个像素(i,j),自适应地学习来自各个特征提取层的不同尺度的特征(该方法一共使用了3个尺度的特征)在该像素位置处的权重。假设代表深度学习网络中从第n层到第l层的特征向量在第l层卷积图的像素(i,j)位置处的数值，则在特征融合层l的卷积图处融合后的结果在像素(i,j)位置处的数值可以用以[0007]其中，分别代表来自3个特征提取层的不同尺度的特征在特征融合层l卷积图的像素(i,j)位置处进行自适应融合时[0012]通过上述操作，来自不同尺度的特征就可以在任意一个特征融合层l进行自适应以像素为单位的对位相加(element-wise)的模式。然而，现有的自适应空间特征融合7所有尺度的特征对应的卷积图通过下采样或上采样操作缩放[0019]将来自各个特征提取层的不同尺度的特征的卷积图分别送往一个轻量级卷积分[0022]对当前特征融合层的卷积图上任意像素位置处的各个尺度的特征的权重系数进[0026]在当前特征融合层的卷积图上任意像素位置处分别将每个尺度的特征与其他尺8[0029]如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系处的该尺度的特征与其他尺度的特征加权融合后的结果imij等于其自身。[0031]如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系尺度的特征xl,m,ij与其他尺度的特征加权融合后的结果ximij为：[0037]进一步，所述如果第m个尺度的特征在特征2时，则在(i,j)位置处的该尺度的特征xl,m,ij与其他尺度的特征加权融合后的结果ximij[0039]其中，xl,n≠m,ij表示在特征融合层l的卷积图像素(i,j)位置处的2个尺度的特征[0041]将特征融合层l的卷积图上来自M个特征提取层的各个尺度的特征与其他尺度的,…,Xl,M)9矩阵在预先设定的维度上进行concat模式的拼接，形成的新向量矩阵Yl即为特征融合层l[0045]所述权重系数获取模块，用于获取当前特征融合层的各个尺度的特征的权重系wise)的特征融合模式下进行自适应空间特征融合方法不同，其依靠轻量级的卷积分支以的整体精度。[0051]3、本发明通过其轻量级的卷积分支将生成各个尺度特征的权重系数的损失与整级的卷积分支结构和简单高效的特征加权融合计算保证了加入本发明后的算法的运行速[0055]图2是本发明一实施例中在特征融合层对各个尺度的特征进行加权融合和拼接的特征进行自适应的加权融合和拼接，从而解决了向量拼接模式下的自适应特征融合问题，之间且相加之和等于1，再利用上述权重系数分别将每个尺度的特征与其他尺度的特征进[0064]步骤1.2：将来自各个特征提取层的M个尺度的特征进行融合，将所有尺度的特征对应的卷积图通过下采样或上采样(i,j)位置处的数值，作为特征融合层l的卷积图像素(i,j)位置处各个尺度的特征的权重[0067]上述轻量级卷积分支通过由其结果计算出的权重系数，经过步骤2中的激活和归[0069]步骤2.1：对当前特征融合层的卷积征在特征融合层l的卷积图像素(i,j)位置处的权重系数λl,m,ij为例，使算法的SoftMax为代表的非线性归一化函数的原因包括降低运算量，并且避免对非线性激l的卷积图像素(i,j)位置处的激活权重系数Aimij为例，使用下列公式获得其归一化权重[0083]本步骤利用特征融合层l的卷积图像素(i,j)位置处的M个尺度的特征的归一化权对于上述任意第m(m∈[1,…,M])个尺度的特征在特征融合层l的卷积图像素(i,j)位置处[0084]如果第m个尺度的特征在特征融合层l的卷积图像素(i,j)位置处的归一化权重系[0085]imij三1/M(5)[0086]反之，如果第m个尺度的特征在特征融合层l该尺度的特征xl,m,ij与其他尺度的特征加权融合后的结果imij可以使用下列公式计算。行的前提条件就是第m个尺度的特征的非线性激活归一化[0093]其中，xl,n≠m,ij表示在特征融合层l的卷积图像素(i,j)位置处的2个尺度的特征部像素位置处的每个尺度的特征与其他尺度的特征