CN114119500B 一种基于生成对抗网络的色织物缺陷区域的检测方法 （西安工程大学）

一种基于生成对抗网络的色织物缺陷区域本发明公开了一种基于生成对抗网络的色包括无缺陷色织物图像的色织物无缺陷图像训2步骤1，构建基于无监督学习的图像重构修复模型EFFGAN模型，该特征金字塔结构FPN包括自底向上依次连接的5个用于特征提骨干模块C4和最底层骨干模块C0分别经过横向连接后的输出经过通道串联操作得到特征所述骨干模块以EfficientNetV2网络的MBConv和Fused-MBConv结构组成，或者以MobileNetV2网络的Bottleneckresidualblock结构的Fused-MBConv模块；C1部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模块；C2部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模此连接的五个卷积核大小为3×3，步长为1的MBConv模块；五个部分分别对应输出大小为采用MobileNetV2网络时，自底向上依次连接的5个骨干模块具体为：括依此连接的两个卷积核大小为3×3，步长为2和步长为1的Bottleneckresidualblock模块；C2部分包括依此连接的一个卷积核大小为3×3，步长为2的Bottleneckresidual步长为1的Bottleneckresidualblock模块；C4部分包括依此连接的一个卷积核大小为3×3，步长为2的MBConv模块和四个卷积核大小为3×3，步长为1的Bottleneckresidual3将骨干模块C4部分经过横向连接输出的8×8大小的特征图进行2倍上采样后与骨干模块C3部分经过横向连接输出的16×16大小的特征图进行对应元素相加操作后再经过一个将特征融合模块A0输出的特征图经过2倍上采样后与骨干模块C2部分经过横向连接输将特征融合模块A1输出的特征图经过2倍上采样后与C3部分经过横向连接输出的16×16大小的特征图进行对应像素相加操作后再经过一个卷积核大小为1×1，步长为1的卷积将骨干模块C4经过横向连接部分输出的特征图依次经过两个卷积核大一个6倍上采样层得到特征图输出；将经特征融合模块A2操作输出的特征图依次经过两个个2倍上采样层后与C0部分经过横向连接输出的特征图进行对应像素相加操作，然后经过所述生成器除了骨干模块的其他部分都使用了InstanceNormalization作为标准化所述判别器D为Patch级别判别器，包括依次连接的三个卷积核大小为4×4，步长为2两层卷积核大小为4×4，步长为1的卷积层将特征通道数由256变为1，输出最终的判别结激活函数间各有一个InstanceNormalizat4步骤3，将待检测的色织物图像输入到步骤2训练好的EFFG2.根据权利要求1所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特3.根据权利要求2所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特X()为无缺陷色织物图像叠加噪声后的图像，()和()分别表示经过生j4.根据权利要求3所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特5.根据权利要求3所述的一种基于生成对抗网络的色织物缺陷区域的检测方法，其特5分别为待检测的色织物图像或其对应的重构图像的RGB三个不同颜色通道下的像素值，灰步骤3.2，待检测的色织物图像或其对应的重构图像灰度其中，xgraxcaussian为待检测的色织物图像或对应的重构图像经高斯滤波后的图X6原始的人工检测方法是由工人按照个人经验和评定标准对织物进行目视检测，寻找缺陷，[0004]Zhang等人提出了一种彩色图案织物缺陷检测算法，称为无监督去噪卷积自编码容易出现过度检测。Zhang等人提出了一种基于传统的自动编码器和经典的U-Net的U形卷7不可避免地会出现信息丢失的问题。Wei等人利用VAE模型并引入均值结构相似度(MSSIM)因此在色织物上的检测效果不佳，而现有用于无监督织物缺陷检测的GAN模型也因为训练织物图像叠加高斯噪声，将叠加噪声后的无缺陷色织物图像送入步骤1构建的EFFGAN模型[0014]骨干模块以EfficientNetV2网络的MBConv和Fused-MBConv结构组成，或者以MobileNetV2网络的Bottleneckresidualblock结构8为1的Fused-MBConv模块；C1部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模块；C2部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-分包括依此连接的两个卷积核大小为3×3，步长为2和步长为1的Bottleneckresidualblock模块；C2部分包括依此连接的一个卷积核大小为3×3，步长为2的Bottleneck核大小为3×3，步长为2的MBConv模块和四个卷积核大小为3×3，步长为1的Bottleneck[0024]将骨干模块C4部分经过横向连接输出的8×8大小的特征图进行2倍上采样后与骨干模块C3部分经过横向连接输出的16×16大小的特征图进行对应元素相加操作后再经过[0026]将特征融合模块A0输出的特征图经过2倍上采样后与骨干模块C2部分经过横向连[0028]将特征融合模块A1输出的特征图经过2倍上采样后与C3部分经过横向连接输出的16×16大小的特征图进行对应像素相加操作后再经过一个卷积核大小为1×1，步长为1的9[0030]将骨干模块C4经过横向连接部分输出的特征图依次经过两[0032]将通道串联操作得到的特征图依次经过一个卷积核大小为3×3，步长为1的卷积[0033]生成器除了骨干模块的其他部分都使用了InstanceNormalization作为标准化间各有一个InstanceNormaliza[0045]式中，X(i)为无缺陷色织物图像叠加噪声后的图像，G,()和G,()分别表示经[0046]步骤2中的训练以最小化Ltotal为目标优化模型参数，使用Adam分别为待检测的色织物图像或其对应的重构图像的RGB三个不同颜色通道下的像素值，灰[0051]步骤3.2，待检测的色织物图像或其[0060]步骤3.5，将经过二值化后的残差若检测结果图像上无任何差异，即图像中的像素值全为0，则表示输入的色织物不存在缺与EfficientNetV2网络和MobileNetV2网络两种先进的轻量化骨干结合，构建出轻便的模[0066]图1是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中步骤3的流[0067]图2是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中EFFGAN模型[0068]图3是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中EFFGAN模型[0069]图4是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中EFFGAN模型[0070]图5是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中实验样本中[0071]图6是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中实验样本中[0072]图7是本发明一种基于生成对抗网络的色织物缺陷区域的检测方法中实验所用[0078]骨干模块以EfficientNetV2网络的MBConv和Fused-MBConv结构组成，或者以MobileNetV2网络的Bottleneckresidualblock结构为1的Fused-MBConv模块；C1部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-MBConv模块；C2部分包括依此连接的四个卷积核大小为3×3，步长为2的Fused-分包括依此连接的两个卷积核大小为3×3，步长为2和步长为1的Bottleneckresidualblock模块；C2部分包括依此连接的一个卷积核大小为3×3，步长为2的Bottleneck核大小为3×3，步长为2的MBConv模块和四个卷积核大小为3×3，步长为1的Bottleneck[0088]将骨干模块C4部分经过横向连接输出的8×8大小的特征图进行2倍上采样后与骨干模块C3部分经过横向连接输出的16×16大小的特征图进行对应元素相加操作后再经过[0090]将特征融合模块A0输出的特征图经过2倍上采样后与骨干模块C2部分经过横向连[0092]将特征融合模块A1输出的特征图经过2倍上采样后与C3部分经过横向连接输出的16×16大小的特征图进行对应像素相加操作后再经过一个卷积核大小为1×1，步长为1的[0094]将骨干模块C4经过横向连接部分输出的特征图依次经过两[0096]将通道串联操作得到的特征图依次经过一个卷积核大小为3×3，步长为1的卷积[0097]生成器除了骨干模块的其他部分都使用了InstanceNormalization作为标准化4，步长为2的卷积层将输入判别器D的图像尺寸压缩为32×32大小、通道数由3逐渐变为层与其激活函数间各有一个InstanceNormalization标准化；判别器的输入有两个部分：生成器输出的重构图和用于训练的未加噪声的无织物图像叠加高斯噪声，将叠加噪声后的无缺陷色织物图像送入步骤1构建的EFFGAN模型[0102]i=X+C-N(0,I)分别为待检测的色织物图像或其对应的重构图像的RGB三个不同颜色通道下的像素值，灰[0117]步骤3.2，待检测的色织物图像或其[0126]步骤3.5，将经过二值化后的残差若检测结果图像上无任何差异，即图像中的像素值全为0，则表示输入的色织物不存在缺[0130]下面以具体实施例对本发明一种基于