CN119444759A 基于多任务自适应模型的轧制金属表面缺陷自动标注方法 （西南科技大学）

基于多任务自适应模型的轧制金属表面缺本发明公开了基于多任务自适应模型的轧于轧制工艺金属的工业缺陷检测和数据自动标2所述缺陷自动标注模型包括骨干网络、特征提取与融合模块和多任务S3、将待标注的金属表面图像输入至缺陷自动标2.根据权利要求1所述的基于多任务自适应模型的轧制金属表面缺陷自动标注方法，S24、将第一~第五特征映射组成不同的语义层次和3.根据权利要求1所述的基于多任务自适应模型的轧制金属表面缺陷自动标注方法，所述特征提取与融合模块提取ROI特征的方4.根据权利要求3所述的基于多任务自适应模型的轧制金属表面缺陷自动标注方法，3S25_3、通过reshape函数将各注;5.根据权利要求3所述的基于多任务自适应模型的轧制金属表面缺陷自动标注方法，;征映射，表示第i+1层的特征映射，conv()表示卷积运算，upsample()表示上采样，6.根据权利要求3所述的基于多任务自适应模型的轧制金属表面缺陷自动标注方法，;;所述区域提议网络的损失函数Lrm为：;7.根据权利要求1所述的基于多任务自适应模型的轧制金属表面缺陷自动标注方法，4所述目标检测分支对每个ROI特征进行分类和边界框回归的方将ROI特征通过两个共享的全连接层提取共享全局特征，将共享全局特征通过分类分所述实例分割分支采用基于全卷积网络的结构，并引入注意力机制和特征融合策略，其对ROI特征内的目标进行像素级掩码预S29、将卷积特征分别通过基于全局平均池化的空间注意力机制和基于两个全连接层S30、将应用空间注意力权重和通道注意力权重的特征图进行上采样，并融合低层特8.根据权利要求7所述的基于多任务自适应模型的轧制金属表面缺陷自动标注方法，;式中，表示目标检测任务的平衡系数，Nae表示目标检测任务的有效样本数量，"表示;9.根据权利要求1所述的基于多任务自适应模型的轧制金属表面缺陷自动标注方法，;510.根据权利要求1所述的基于多任务自适应模型的轧制金属表面缺陷自动标注方法，A1、对多任务自适应模型中的骨干网络进行预训练，对特征提取A2、利用当前训练集对多任务自适应模型进行训练，并在每个训练步长后使A4、在自适应重标记循环机制训练过程中，将未标注的金属表面图像输6误或缺乏详细标注信息的低质量数据可能会导致模型学习到错误的特征模式或无法充分7据骨干网络提取的特征信息，提取具有全局上下文信息和长程依赖关系的多层特征映射，[0019]S23、将第一特征映射依次通过四个阶段的残差块处理，得到对应的第二特征映8[0029]S25_3、通过reshape函数将各注意力映射后的特征图调整为输入特征映射的形上下文注意力计算的键矩阵，表示上下文注意力计算的值矩阵，表示缩放因子，A的特征映射，表示第i+1层的特征映射，conv()表示卷积运算，upsample()表示上采9[0041]hi=we*f+ba目标检测分支用于对每个ROI特征进行分类和边界框回归，所述实例分割分支用于对每个[0048]将ROI特征通过两个共享的全连接层提取共享全局特征，将共享全局特征通过分[0051]S29、将卷积特征分别通过基于全局平均池化的空间注意力机制和基于两个全连[0059]式中，Nax表示实例分割任[0074]图1为本发明提供的基于多任务自适应模型的轧制金属表面缺陷自动标注方法流[0077]本发明实施例提供了基于多任务自适应模型的轧制金属以同时用于目标检测框的标注和实例分割掩码的精细标注，并能够生成符合要求的txt及[0094]S23、将第一特征映射依次通过四个阶段的残差块处理，得到对应的第二特征映为和，他们与C1共同组成不同的[0097]在本发明实施例的步骤S2中，图2所示的特征提取与融合模块包括残差注意力特[0102]在本实施例的步骤S25中，在特征提取与融合模块中引入了残差注意力特征金字x,eR""；K[0111]S25_3、通过reshape函数将各注意力映射后的特征图调整为输入特征映射的形上下文注意力计算的键矩阵，表示上下文注意力计算的值矩阵，表示缩放因子，[0116]在本实施例的步骤S26中，在完成自注意力增强后，采用跨层级自适应融合A的特征映射，表示第i+1层的特征映射，conv()表示卷积运算，upsample()表示上采[0120]在本实施例的步骤S27中，在特征融合完成后，模型利用区域提议网络（Region[0125]hi=we*f+baBa和ba分别为回归分支的权重和偏置；[0130]在本实施例的步骤S27中，生成的候选区域经过非极大值抑制（Non_Maximum[0131]在本发明实施例中，图2所示的多任务预测头包括类别目标检测分支和实例分割[0132]在本实施例中，目标检测分支对每个ROI特征进行分类和边界框回归的方法具体[0133]将ROI特征通过两个共享的全连接层提取共享全局特征，将共享全局特征通过分[0137]式中分别是两个全连接层的权重矩阵，A,b为对应的偏置向量，Flatten()表示将特征映射展平成一维向量。[0144]目标检测分支的损失函数包括分类损失Lauss和回归损失Lum。[0148]目标检测分支的回归损[0150]式中，为根据解码后的预测边界框，为真实的边界框，GIoU为广义IoU[0161]S29、将卷积特征分别通过基于全局平均池化的空间注意力机制和基于两个全连[0175]其中，将增强后的特征r"进行上采样，同时融合低层特征以保留细节信息，得jSobel算子提取预测掩码M"和真实掩码的[0189]式中，Nax表示实例分割任[0190]本发明实施例中的多任务自适应模型需要同时实现目标检测任务和实例分割任陷自动标注模型的损失函数Lua表示为：配；在每个epoch结束后，使用验证集评估模型的性能指标，包括平均精度均值（mean[0205]在本实施例中，在自适应重标记循环机制训练过程中，根据预测结果的置信度[0210]RP