CN119399453A 一种基于多层级关系增强的弱小目标检测方法 （电子科技大学）

一种基于多层级关系增强的弱小目标检测本发明公开了一种基于多层级关系增强的弱小目标检测方法，旨在检测PCB电路板外观弱明设计了一组图像级到实例级的上下文语义关缺陷目标的表征能力，可准确检测到PCB电路板2架的特征提取器得到图像级特征、将图像级特征输入候选步骤S3：构建图像级到实例级的上下文语义关系增;的宽度和高度，图像级特征的第三维代表图像级特征的通道数的第二维mz和第三维分别代表实例级特征w的宽度BW和高度HXW，实例级特征的第四维cz代表实例级特征w的通道数GW；类别级特征维度代表候选框的w作为查询向量Query，将图像级特征Jan分别作为键向量步骤S33：将键向量key和值向量value的维度进行重置得到维度重置后的键向量3步骤S37：将偏置项利用NumPy库中广播机制进行维度扩增得到维度扩增的广播偏置全局平均池化后的特征Querymm的特征维度为Lxel，其中每个通道全局平均池化j的位置处第c个通道的值。步骤S41：将实例级特征展平为维度为的实例展平特征，其中;步骤S45：将邻接矩阵Ad中每行元素数值大小排名4；个实例级特征对应的类别级特征通过软映射函数得到的视觉嵌入特征构觉嵌入矩阵M；稀疏化邻接矩阵作为图卷积神经网络GN,5)的边连接关系5，将步骤S48得到的图输入IW作为图卷积神经网络GN,5)的N个节点的类别信息，经过图卷积神经网络例展平特征Jrrxr输入一个输出为1024的全连接层，得到新上下文语义信息实例特征;步骤S52：将步骤S4得到的实例级特征之义信息实例特征Irx沿着第二维度进行拼接得到拼接特征；步骤S53：将步骤S52得到的拼接特征经过步骤S54：将步骤S51得到的新上下文语义信息实例特征rx和步骤S53得到全连接5[0004]本发明提供了一种基于多层级关系增强的弱小目标检测方法。本发明旨在利用文语义信息以及实例级特征之间的关联信息，进而增强对PCB电路板外观弱小缺陷的表征质量和企业生产效益。以解决现有技术中针对主流FasterRCNN目标检测模型难以准确检测到PCB电路板外观弱小缺陷，检测模型忽略了候选框的上下文语义信息和候选框之间关准框架的特征提取器得到图像级特征Jan、将图像级特征Jan输入候选框生成器得到实例6和步骤S4得到的实例级特征之间的关联特征输入残差融合模块后，得到新实例[0012]进一步地，图像级特征的维度为，实例级特征n分别表示图像级特征Jan的宽度Bix和高度Haw，图像级特征的第三维e代表图像度代表候选框的分类结果总数。向量key和值向量value。[0015]步骤S32：将查询向量Query的每个通道沿着第二维和第三维进行全局平均池化[0016]步骤S33：将键向量key和值向量value的维度进行重置得到维度重置后的键向量询向量特征和转置后的键向量特征依次经过批量归一化操作后进行矩阵乘法，7全局平均池化GAP公式为：输入特征图在高度坐标为i、宽度坐标为j的位置(i,j)处第c个通道的值。。[0032]步骤S46：通过软映射函数获得每一个实例级特征对应类别级特征的视觉嵌入特征；个实例级特征对应的类别级特征通过软映射函构成视觉嵌入矩阵M。[0034]步骤S48：将视觉嵌入矩阵M与网络层权重矩阵W矩阵相乘获得图输入。8[0038]步骤S51：将步骤S3得到的包含上下文语义信息的实例级特征沿着维度例展平特征Jrrxr输入一个输出为1024的全连接层，得到新上下文语义信息实例特征。文语义信息实例特征Irx沿着第二维度进行拼接得到拼接特征。[0041]步骤S54：将步骤S51得到的新上下文语义信息实例特征Irx和步骤S53得到全连接特征沿着第二维度相加得到新实例级特征JXW。[0044]图1为本发明实施例的一种基于多层级关系增强的弱小目标检测方法的总体框架9[0057]本发明实施例中一种基于多层级关系增强的弱小目标检测方法的具体构建步骤准框架的特征提取器得到图像级特征Jan、将图像级特征Jan输入候选框生成器得到实例的第二维mz和第三维分别代表实例级特征w的宽度BW和高度HXW，实例级特征w的第四维cz代表实例级特征w的通道数Gm；类别级特征维度代表候选框的参数取值。向量key和值向量value。[0064]步骤S32：将查询向量Query的每个通道沿着第二维mz和第三维m进行全局平均输入特征图在高度坐标为i、宽度坐标为j的位置(i,j)处第c个通道的值。[0067]步骤S33：将键向量key和值向量value的维度进行重置得到维度重置后的键向量乘得到维度重置后的键向量keax和值向量valuean，维度重置后的键向量keax和值向量aluea的维度均表示为[m4xcl。询向量特征和转置后的键向量特征依次经过批量归一化操作后进行矩阵乘法，征维度为L。。Z的特征维度为，l表示潜在向量z中每个候选框特征长度，本实施例中l取值为2048；阵Ad的特征维度为。[0081]步骤S46：通过软映射函数"srw获得每一个实例级特征对应类别的预测为第j个类别的概率，C表示分类类别的数量，本实施例中C=7。个实例级特征通过软映射函数得到的视觉嵌入特征J维度为CX(D+1)，D代表视觉嵌入特征的维度，本实施例中D=1024。[0085]步骤S48：将视觉嵌入矩阵M与网络层权重矩阵W矩阵相乘获得图输入到的稀疏化邻接矩阵作为图卷积神经网络GN,5)的边连接关系5，将步骤S联特征的特征维度为LX1024。和步骤S4得到的实例级特征之间的关联特征输入残差融合模块后，得到新实例[0090]步骤S51：步骤S3得到的包含上下文语义信息的实例级特征的维度为,将包含上下文语义信息的实例级特征沿着维度进行展平得到上下文语义信息实例展平特征Jrrxr，上下文语义信息实例展平特征Jrrxr的例展平特征Jrrxr输入一个输出为1024的全连接层，得到新上下文语义信息实例特征Irx，新上下文语义信息实例特征Irx的维度为L。文语义信息实例特征Irx沿着第二维度进行拼接得到拼接特征，其中，拼接特征的维度为。[0093]步骤S54：将步骤S51得到的新上下文语义信息实例特征Ir