CN114943698B 一种结合梯度解耦与对比学习的小样本瑕疵检测方法 （南京大学）

一种结合梯度解耦与对比学习的小样本瑕本发明公开一种结合梯度解耦与对比学习集和锚点对调整后的目标检测模型进行训练生2步骤4，将所述瑕疵数据集和生成的所述锚点输入至调整后的所述目标检测模型中进步骤4.3，使用所述特征金字塔网络融合所述多层瑕疵特征图的信息得到瑕疵金字塔步骤4.4，利用所述梯度解耦模块对所述瑕疵金字塔特征图进行两次仿射变换得到的步骤4.5，将两组所述瑕疵仿射特征图分别输入至所述候选框提取网络和候选框预测步骤4.7，使用所述梯度解耦模块对所述候选框提取网络和候选框预测网络进行梯度2.根据权利要求1所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特步骤1.4，利用所述梯度解耦模块对所述金字塔特征图进行两次仿射变换得到的两组步骤1.5，将两组所述仿射特征图分别输入至所述候选框提取网络和候选框预测网络3步骤1.7，使用所述梯度解耦模块对所述候选框提取网络和候选框预测网络进行梯度3.根据权利要求2所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特4.根据权利要求3所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特步骤5.2，将所述图像特征图使用梯度解耦模块进行两次仿射变换后输出仿射图像特5.根据权利要求4所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特6.根据权利要求5所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特47.根据权利要求6所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特y其中，N表示当前训练轮次计算出的候选框个数，ui表示当前候选框与真实标注的IOUy8.根据权利要求7所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特9.根据权利要求8所述的一种结合梯度解耦与对比学习的小样本瑕疵检测方法，其特yxy5样本并不全面因而导致模型难以投入使用。例如用于汽车行业的多型号小批量生产场景，有效在小样本场景下获得良好检测性能的瑕疵检测度解耦模块在前向传播时可以让候选框预测网络和候选框提取网络在训练时获取更符合6[0012]步骤4，将所述瑕疵数据集和生成的所述锚点输入至调整后的所述目标检测模型[0017]步骤1.3，使用所述特征金字塔[0018]步骤1.4，利用所述梯度解[0019]步骤1.5，将两组所述仿射特征[0021]步骤1.7，使用所述梯度解耦7[0031]步骤4.3，使用所述特征金字塔网[0032]步骤4.4，利用所述梯度解耦模[0033]步骤4.5，将两组所述瑕疵仿射特征图[0035]步骤4.7，使用所述梯度解耦模[0039]步骤5.2，将所述图像特征图使用梯8yyyy[0057]w'=ew·w,习的小样本瑕疵检测方法，使用大规模的目标检测数据集经过预训练得到目标检测模型，预测网络和候选框提取网络在训练时获取更符合网络特征的信息，加强模型的学习能力。9[0062]图1：为本发明实施的结合梯度解耦与对比学习的小样本瑕疵检测方法的主要流[0063]图2：为本发明实施的结合梯度解耦与对比学习的小样本瑕疵检测方法的主要步[0064]图3：为本发明实施的结合梯度解耦与对比学习的小样本瑕疵检测方法中预训练[0065]图4：为本发明实施的结合梯度解耦与对比学习的小样本瑕疵检测方法中骨干网[0066]图5：为本发明实施的结合梯度解耦与对比学习的小样本瑕疵检测方法中特征金[0067]图6：为本发明实施的结合梯度解耦与对比学习的小样本瑕疵检测方法中候选框[0068]图7：为本发明实施的结合梯度解耦与对比学习的小样本瑕疵检测方法中候选框[0069]图8：为本发明实施的结合梯度解耦与对比学习的小样本瑕疵检测方法中瑕疵检[0070]图9：为本发明实施的结合梯度解耦与对比学习的小样本瑕疵检测方法中自适应[0080]步骤4，将瑕疵数据集和生成的锚点输入至调整后的目标检测模型中进行训练得[0083]更进一步而言，候选框预测网络中又包含候选框分类分[0087]步骤1.4，利用梯度[0090]步骤1.7，使用梯度解耦模块对候选小为3x3通道数为64的卷积核以及大小为1x1大小为256的卷积核构成，每个卷积核后还会为128的卷积核、一个大小为3x3通道数为128的卷积核以及大小为1x1大小为512的卷积核[0095]如图5所示为特征金字塔网络结构，其中特征图1至4对应着骨干网络卷积块2至5被用作特征金字塔网络的第1层。第0层的特征金字塔网络是将特征金字塔网络第1层金字先将上一层金字塔特征图进行上采样得到长宽扩大一倍的金字塔特征图再进行一次1x1的[0097]如图7所示为候选框预测网络结构，候选框预测网络的输入为候选框提取网络输1024维的特征向量。最后分别经过两个全连接层计算出候选框对应于不同类别目标的概yy[0102]w'=ew·w,[0103]h'=etn·h;[0116]上述过程中，采用1-IOU值计算表示当前的瑕疵标注与最近的聚类中心之间的距[0122]步骤4.3，使用所述特征金字塔网[0123]步骤4.4，利用所述梯度解耦模[0124]步骤4.5，将两组所述瑕疵仿射特征图[0126]步骤4.7，使用所述梯度解耦模训练得到瑕疵检测模型，将准备好的瑕疵数据集和步骤2获得的锚点用于瑕疵检测模型的步骤2计算出的锚点和仿射特征图计算出含有瑕疵的候选框，候选框预测网络使用含有瑕计算出每个候选框的类别和候选框回归参数以及候选框的对比特征。计算网络的分类损框的特征向量，首先通过两层全连接层将1024维的目标候选框特征向量转化为128维的目yy[0134]步骤5.2，将图像特征图使用梯候选框以及对应的类别。(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方