《工业大数据与人工智能》 课件 第七章 7.1 产品缺陷检测

工业大数据与人工智能HFUT1教材简介2产品缺陷检测概述传统缺陷检测技术第七章

工业大数据与人工智能应用

基于深度学习的缺陷检测7.1产品缺陷检测关键问题产品缺陷检测典型应用案例3产品缺陷检测概述-缺陷检测问题定义缺陷检测在计算机视觉中可分为三个层次：首先是缺陷分类，主要识别图像中的缺陷类型；其次是缺陷定位，标记出缺陷的具体位置，类似于目标检测任务；最后是缺陷分割，实现像素级别的分离，获取缺陷的形状、尺寸和其他属性。4传统缺陷检测技术-磁粉检测法基本原理：通过观察磁粉在工件表面形成的图案来检测缺陷。检测技术详解•湿法检测：利用磁悬液提高检测灵敏度，适用于发现细微缺陷。•干法检测：不使用液体介质，更适合于大型铸件或焊接结构的检测。•连续法检测：在磁化的同时施加磁粉，提供更灵活的检测方案。影响检测精度的关键因素•工件表面状态的影响：表面粗糙度、清洁度对检测结果的影响。•缺陷特性的识别：不同类型的缺陷（裂纹、气孔等）如何影响磁粉分布。•磁化方法的选择：根据工件材质、形状选择最适宜的磁化方式。•操作人员的技能与经验：专业培训与实践经验在保证检测准确性中的作用。5传统缺陷检测技术-渗透检测法

基本原理：渗透检测技术基于毛细作用原理。其过程包括将待检测产品浸入渗透液中，渗透液会进入工件表面的微小开口缺陷。随后，移除表面多余渗透液，而缺陷内部的渗透剂仍然保留。通过显像液的作用，缺陷内部的渗透剂被吸出，形成可视化痕迹，从而实现对缺陷的有效识别。优势：适用多种材质：渗透检测可应用于各种材质，包括金属、塑料、陶瓷等。检测灵敏度高：对于表面微小开口缺陷，渗透检测具有较高的灵敏度劣势：孔隙多，容易吸附渗透液，造成缺陷与正常区域难以区分。6传统缺陷检测技术-涡流检测法基本原理：涡流检测法基于电磁感应原理，通过正弦交流电流驱动的磁线圈产生交替变化的磁场，诱导金属工件内部产生涡电流。这些涡电流生成的二次磁场被检测线圈捕捉，导致检测回路阻抗变化，从而反映工件表面状况。优势：高灵敏度：对细微裂纹、麻点等表面缺陷具有很高的检测灵敏度。非接触式检测：无需直接接触工件表面，可以避免机械磨损。劣势：对复杂形状适应性差。局限于导电材料表层检测。易受材料属性和环境因素影响，需要严格的检测条件和精确的数据解析。7传统缺陷检测技术-超声波检测法基本原理：超声检测技术利用超声波在材料中的传播特性来识别内部缺陷。超声波遇到不同介质界面时会发生反射、折射和散射现象。通过分析接收到的超声波信号，可以判断材料内部是否存在缺陷及其位置和大小。影响检测效果的因素：缺陷面与超声波传播方向的角度。投影方向。探头效能。耦合情况。仪器激励频率。检测工艺参数、信号处理、操作者经验。8传统缺陷检测技术-基于图像处理的表面缺陷检测基于图像处理的表面缺陷检测过程技术是一种非接触且不会对被检测对象造成损害的自动检测手段，其通过图像采集装置（如图像传感器）获取待检测图像，然后利用缺陷检测算法分析和处理采集的图像，实现对图像中表面缺陷的分类识别和定位检测。9传统缺陷检测技术-基于图像处理的表面缺陷检测从特征提取层面对基于图像处理的表面缺陷检测方法进行分类，根据特征的不同，主要分为三类：（1）基于纹理特征的方法（2）基于颜色特征的方法（3）基于形状特征的方法10基于深度学习的缺陷检测依据数据标签的类型将基于深度学习的缺陷检测划分为三大类：完全监督学习模型、无监督学习模型以及其他混合策略（包括半监督学习模型和弱监督学习模型）11基于深度学习的缺陷检测-全监督学习模型一、表征学习当前，大量基于深度学习的表面缺陷检测技术主要依托于有监督的表征学习策略。表征学习的核心在于将表面缺陷检测问题转化为计算机视觉中的分类任务框架。1、分类网络（1）直接利用网络做分类（2）利用网络进行缺陷定位（3）利用网络作为特征提取器2、检测网络（1）基于两阶段的缺陷检测网络（2）基于单阶段的缺陷检测网络3、分割网络（1）FCN方法（2）Mask

R-CNN方法12基于深度学习的缺陷检测-全监督学习模型二、度量学习度量学习在计算机视觉和机器学习中是一个重要概念，它利用深度学习技术直接学习数据样本之间的相似性测度。在表面缺陷检测的分类任务中，度量学习常常采用孪生网络（Siamesenetwork）架构，通过成对图像输入训练模型判断相似性。其核心是设计损失函数，使同类别图像在特征空间中尽量接近，而不同类别图像距离拉大。尽管在缺陷分类上效果显著，但在缺陷定位方面应用较少，因为定位需要更精细的空间信息，而孪生网络要求图像对内容一致。目前，度量学习尚未能满足工业环境中复杂的缺陷定位需求。13基于深度学习的缺陷检测-无监督学习模型相比于有监督学习模型，基于正常样本学习的无监督方法对未知的、与训练数据中正常模式有所偏离的情况更加敏感，能够有效地检测出异常情况下的新型缺陷或未曾见过的异常模式。1、基于图像空间的方法（1）利用网络实现样本重建与补全（2）利用网络实现异常区域分类2、基于特征空间的方法基于特征空间的缺陷检测技术，通过比较正常样本与缺陷样本在特征分布上的差异来识别异常。特征之间的差异也称为异常分数，一旦其数值超过预设阈值，则可判定存在缺陷。14基于深度学习的缺陷检测-其他模型相较于全监督和无监督技术的广泛应用，弱监督和半监督方法在表面缺陷检测领域的应用相对有限。通常情况下，弱监督方法采取的是图像级别的类别标注（弱标签信息），以此期望达到分割或定位级别的精确检测。至于半监督学习，则惯常利用大量未经标记的数据结合少量已标记样本共同训练表面缺陷检测模型，更多聚焦于解决缺陷分类与识别难题，尽管如此，在涉及精确分割任务的应用上尚未得到广泛的推广和实践。15关键问题-小样本

在表面缺陷检测挑战的核心难题中，小样本问题尤为突出，不少真实工业场景仅能提供极少数几张乃至几十张缺陷图像资源。实际上，针对工业表面缺陷检测中关键问题之一的小样本问题，目前有以下4种不同的解决方式：（1）数据扩增、合成与生成（2）网络预训练或迁移学习（3）合理的网络结构设计（4）采用无监督与半监督模型方法16关键问题-实时性

在工业环境的深度学习缺陷检测流程中，主要包括数据标注、模型训练和模型推理三个关键步骤。尤其在实际应用中，对模型推理的实时响应能力要求较高。虽然许多缺陷检测技术专注于提升分类或识别的准确性，但对推理效率的优化关注不足。为改善这一状况，常用技术包括模型权重量化和模型剪枝，这些方法可以减小模型体积并加快运行速度，从而更好地满足工业实时检测的需求。17关键问题-不平衡样本标签问题不平衡样本标签的主要特征是其训练样本无标签或者其标签并不完整（弱标签），这使得数据获取简单且标注成本低。1、正常样本学习问题在真实的工业场景中，无监督学习方式可以有效的避免采集缺陷或异常样本的困难，目前无监督学习方法仅应用在简单的纹理缺陷检测中，对于复杂的纹理缺陷或者结构缺陷效果