【《工业检测领域中手机表面缺陷数据集的获取、增广以及缺陷标注分析》3200字】

工业检测领域中手机表面缺陷数据集的获取、增广以及缺陷标注分析目录TOC\o"1-3"\h\u26694工业检测领域中手机表面缺陷数据集的获取、增广以及缺陷标注分析 1157641.1手机表面缺陷的数据集获取 1229031.2手机表面缺陷的数据增广及缺陷标注 4171771.2.1图像数据增广 4236191.2.2缺陷标注 594131.3小结 6要搭建手机表面的缺陷检测系统，首先要获取缺陷数据集。当前深度学习的模型在主流数据集中表现较好，但在工业检测领域的应用较少，且存在诸多不足。本章将详细介绍工业检测领域中手机表面缺陷数据集的获取、增广与缺陷标注，并通过分析缺陷类型，为后续章节中的模型搭建与训练提供参考和指导工作方向。1.1手机表面缺陷的数据集获取当前主流的深度学习网络模型在工业检测领域表现不佳的主要原因在于其针对的数据集。目前现有的数据集图片类型主要集中于动物、交通工具、日用品等，较为知名的有ImageNet和MS-COCO等，这些数据集用于描述宏观事物，而工业检测领域则要求获取更具有针对性、专一性的微观缺陷检测。手机表面缺陷与主流数据集的不同在于：检测工位拍摄的图片分辨率高，而缺陷面积较小、手机表面缺陷与背景对比不明显、缺陷形态各异，长宽比悬殊等。这导致无法在主流数据集上通过调参、迁移学习和反复训练的方式在表面缺陷数据集上达到检测标准，而需要重新建立手机表面的专用缺陷数据集。如图3-1所示，表示主流数据集与手机表面表面缺陷数据集对比。(a)COCO数据集(b)手机表面表面缺陷图3-1主流数据集与手机表面表面缺陷数据集对比本课题选用某产品的手机表面工业检测照片作为数据集，该产品一共可分为IPU1、IPU2两大工位，分别对应手机的摄像区域以及玻璃表面区域。根据缺陷出现的位置以及对应工序、缺陷样貌，将缺陷共分为五大类，分别是：崩边、纹路缺损、脏污、白点和划伤。各缺陷成因与缺陷样貌如下：(a)崩边(b)纹路缺损(c)纹路缺损(d)脏污(e)白点(f)划伤图3-2手机表面缺陷样貌其中，图(a)的崩边表示手机边缘轮廓因压伤而造成的损坏。该缺陷集中于手机摄像区域的边缘，形态狭长，属于损伤性缺陷；图(b)与图(c)分别表示纹路缺损的两种常见形态，分别为边缘纹路缺损和内部纹路缺损。边缘纹路缺损形态狭长，受损面积区域较大，而内部纹路缺损则受损面积区域较小，肉眼难以识别；图(d)表示手机出厂前因油渍、灰尘等掉落在手机表面上而造成的脏污缺陷。脏污属于非损伤性缺陷，因此在做缺陷分类时需要额外将其区分；图(e)白点的缺陷形成较为复杂，其既可能是灰尘落在表面上造成的非损伤性缺陷，也可能是表面遭到尖锐物体擦伤形成的白色点状损伤性缺陷。由于玻璃表面的反光性，因此部分白点缺陷会在其附近有个大小相同的倒影；图(f)缺陷表示划伤缺陷，是由于玻璃表面遭到尖锐物体划伤造成，属于损伤性缺陷。明确好缺陷类型后，首先需要对采集到的原图像进行图像裁剪。工业检测领域常采用工业相机来进行图片采集。工业相机价格昂贵，拍摄精度高、稳定性好，其采集的图片像素常达到上亿级别，而一个缺陷的像素往往只有几百甚至几十，因此直接通过原图来进行缺陷检测是不现实的，检测前需要将图像进行裁剪。图3-3工业相机采集的手机表面图片如图3-3所示，为工业相机采集的某型号手机表面图片。该图片像素规模为16384×14500，虽然通过传统的机器视觉检测方式可以利用阈值分割，然后通过面积筛选、长宽比筛选等方式在两亿多像素的原图上进行缺陷检测，但由于手机表面缺陷的形态多样，利用传统的机器视觉检测方法其算法复杂性太高，且不具有普适性。而基于深度学习的缺陷检测方法则只需将原本的大图裁剪为适合送入模型训练的小图，省略了提取ROI（感兴趣区域）等步骤，具有更广泛的灵活性与适用性，裁剪图片算法的流程如下所示：图3-4图像裁剪算法流程图①首先，由于工业相机获取的图像为灰白图像，而深度学习获取常用图像通道为三通道，因此在进行图像裁剪之前，需要利用Halcon的compose算子将单通道图像复制给三个通道，以得到适配的图像输入通道。②选取合适的图像输入大小。为了保证模型训练的稳定性，需要将每幅图像裁剪成大小相同的图像，深度学习常用图像输入大小为256×256、416×416、512×512以及1024×1024等，考虑缺陷在每张图片中的大小应当适中，本文选用416×416的图像进行裁剪。由于工业相机拍摄的原图的长、宽并不总是能被416整除，因此在进行裁剪之前需要将原图调整为可以被416整除的图像大小规模。如图1.3所示，图像四周存在许多非检测区域，对这些区域的去除不会影响最终检测结果，因此可以通过裁剪这些区域以满足图像被416整除的要求。③进行图像裁剪。获取图像的长、宽像素规模，创建box_list，利用pythonPIL中的Image模块将被裁剪的图像矩阵保存在box函数中。④保存被裁减图像。利用save函数将所有被裁减图像输出为PNG格式，并保存在根目录下。至此，所有图片都被裁剪为416×416格式，找出其中含有缺陷样貌的图片，即可作为本课题的缺陷图像数据集。1.2手机表面缺陷的数据增广及缺陷标注1.2.1图像数据增广根据本章第一小结分析，本文通过图像裁剪的方式获取缺陷部位的图像数据集，但在实际工程应用中，大规模的数据集获取主要存在以下两个难点：（1）数据量较少，且数据构成不均。在实际产线上，相机捕捉到的图像大多都为好品图，有缺陷的产品只占其中的少数，且并不是每种类型的缺陷样本数量都相同，类似于脏污、白点等缺陷，其缺陷样本数量明显要多于崩边、刮花等缺陷。不平衡的缺陷数量会导致模型对样本数量充足的缺陷较敏感，而对样本量不足的缺陷不敏感，最终训练得到的模型就不能达到实际应用的要求。（2）模型会对缺陷的出现位置产生依赖性。由于在对缺陷进行标注时，会包括缺陷的位置信息，过多重复的缺陷位置信息会使模型对缺陷出现位置产生依赖性，导致类似的缺陷出现在其他位置时造成漏检。因此，需要通过图像翻转、镜像等方式来降低模型对缺陷产生位置的依赖性。基于以上两个问题，目前最常用且有效的手段就是图像增广（imageaugmentation），也称数据增强。通俗来讲，图像增广就是指通过对需要训练的图片进行一系列随机变化，产生一系列相似但不同的训练样本，从而达到扩大数据集的规模的效果，因此可以提高模型的抗干扰性。图像增广对数据集的影响不局限于数量。因为数据增强改变了图片中缺陷的位置、亮度、色彩等，所以降低了模型对于此类属性的依赖性，模型可以对不同状态下的目标进行识别，因而提高模型的泛化能力。接下来介绍本文采用的图像增广手段：（a）旋转：将图片旋转90度；（b）镜像：沿图像的水平对称轴或者竖直对称轴翻转图像；（c）模糊：利用GaussianBlur算子对图像进行高斯滤波；（d）变亮、变暗：通过增加或降低图像的亮度来改变缺陷灰度值；（e）增加噪声：利用SaltandPepper（椒盐噪声）和GaussianNoise（高斯噪声）对图像进行加噪工作；通过以上的增强手段随机组合，可以有效扩充数据集，提高训练样本的多样性，降低模型对某一因素的依赖性。经过增强后的图像效果如图3-5所示。(a)原图(b)旋转(c)镜像(d)模糊(e)变亮或变暗(f)加噪图3-5图像增强后的效果传统的数据增强手段是通过对每张图片都应用数据增强，这会造成数据集过于臃肿，模型训练时间大大增长。因此本文采用随机增强，即对每一张图像都随机应用以上的图像增强手段，缩短训练时间。1.2.2缺陷标注在完成图像数据集的准备后，接下来需要对标注数据集进行构建。在深度学习的模型训练时，需要大量带有标注的样本，标注信息必须包括缺陷的位置信息、类别信息，因此需要对图片进行像素级的标注。如图3-6所示，像素级标注耗时耗力，会对实际工程项目的人力成本和时间成本造成压力。为此本文采用Labelimg完成图像标注工作。(a)(b)图3-6对手机表面缺陷进行像素级标注Labelimg是基于QtCreater平台开发的便捷式图像标注工具，该软件主要由标注界面(图3-6a)和标签界面(图3-6b)组成。标注界面主要负责将产品的缺陷出现位置进行标出，然后通过标签界面选择该缺陷所属的类别。通过这种方法，可以快速、准确地完成对缺陷的标注工作。标注完成后，label