《机器视觉技术与应用》课件-项目4：器件缺陷检测

机器视觉系统应用项目4：器件缺陷检测车牌识别的问题问题单车牌的识别结果错误格式化的结果是错误的车牌识别的问题问题1：单车牌的识别结果错误车牌识别的问题问题1：单车牌的识别结果错误车牌识别的问题问题1：单车牌的识别结果错误车牌识别的问题问题2：格式化结果错误作业项目启动项目实施项目4：器件缺陷检测–项目背景看完这则新闻，你有什么感悟？项目4：器件缺陷检测–项目背景缺陷检测的意义在工业生产领域，产品质量管理是至关重要的环节，而缺陷检测则是保证产品质量的重要手段之一。随着工业制造的升级转型，基于机器视觉的工业缺陷检测方法因其能显著降低成本并满足高精度、高准确率的检测需求而变得尤为重要。质量控制核心产品质量直接关系到企业声誉与市场竞争力，缺陷检测是质量管理的核心环节。成本与效率传统人工检测成本高昂，效率低下，难以满足大规模生产的需求。精度与一致性人工检测受主观因素影响，精度与一致性难以保证，影响产品质量稳定性。非接触与监控无需物理接触即可完成检测，避免对产品造成损伤。连续监测生产线，即时反馈异常。项目4：器件缺陷检测–项目背景缺陷检测的意义项目4：器件缺陷检测–项目背景缺陷检测的典型任务胶路检测表面缺陷检测项目4：器件缺陷检测–项目背景胶路检测胶路检测的目的是确保点胶无断、偏、漏现象，保障产品品质与性能。在工业生产中，特别是在3C、汽车制造等领域尤其关键。在汽车制造过程中，涂胶质量直接关系到车身的密封性、安全性和美观度。在3C行业，胶路检测能够确保电子元件的精准定位和牢固连接，避免因涂胶不均或遗漏导致的性能下降或故障。项目4：器件缺陷检测–项目背景表面缺陷检测在工业生产过程中，表面缺陷检测关注的是样品表面诸如划痕、破损、异物遮挡、脏污、颜色污染、扭曲皱褶等缺陷。划痕与破损

生产过程中的机械摩擦或碰撞造成，降低产品耐用性与美观度。异物遮挡与脏污 灰尘、油渍等外来物质附着，影响产品清洁度与功能表现。颜色污染与皱褶 染色不均或材料变形，导致产品一致性下降，影响品牌形象。项目4：器件缺陷检测–项目背景表面缺陷检测在3C产品、汽车零部件等领域，表面缺陷是产品质量受影响的最直观体现。为了保证合格率和产品的可靠性，必须进行严格的产品表面缺陷检测。然而，不同类型的缺陷以及同一类型缺陷之间的差异给检测带来了难度。因此，确保表面无缺陷同样是工业生产中的一大挑战，而机器视觉技术的进步为实现高效、精确的表面缺陷检测提供了有力支持。项目4：器件缺陷检测–项目领取“请为器件缺陷检测搭建一个视觉检测系统，编写视觉程序对器件内胶路缺陷和内表面缺陷进行检测。系统检测精度为0.2mm，器件尺寸为125mm×96mm，工作距离为800mm，最终分别输出内胶路缺陷检测和内表面缺陷检测结果。项目要求”项目4：器件缺陷检测–项目分析经过对项目任务的分析，设计出器件缺陷检测工作流程如图所示：任务划分器件识别定位？内胶路缺陷检测内表面缺陷检测输出合格性信息项目4：器件缺陷检测–项目调研位置修正逻辑判断位置修正的原理分支判断条件检测缺陷检测边缘缺陷检测表面缺陷检测项目4器件缺陷检测–项目调研位置修正的原理请同学们观看视频，仔细观察空中加油时运油机和战斗机的飞行情况。项目4器件缺陷检测–项目调研位置修正的原理位置修正常用于修正目标的运动偏移，实现精确定位。具体来说，位置修正是指在检测过程中，调整图像中的目标物体的位置，使其符合预设的标准位置或姿态。空中加油缺陷检测在空中加油的过程中，战斗机需要实时调整飞机的高度和角度，保证和运油机相对位置固定。在自动化生产线上，物品的位置和姿态可能因传送带或其他机械装置的误差而发生微小变化，位置修正模块能够有效确保后续检测任务的一致性和可重复性。项目4器件缺陷检测–项目调研位置修正的原理Q：在缺陷检测中待测物体相当于空中加油中的哪个角色？A：相当于运油机。项目4器件缺陷检测–项目调研位置修正的原理位置修正模块的算法工作流程包括以下三个主要步骤：(1) 获取模板匹配输入的位置信息。(2) 基于输入的位置信息，在基准图像中创建基准点。(3) 计算出待修正图像中的目标相对于基准图像的位姿变化信息。项目4器件缺陷检测–项目调研位置修正和仿射变换的区别位置修正仿射变换应用场景用于纠正图像中的对象相对于预期位置的偏移通常是从一个大图中找一个小目标，适用于更广泛的图像处理需求，包括但不限于旋转、缩放、倾斜等几何变换操作性质对图像中的对象进行简单的平移，以达到期望的检测位置除了平移，还可以可以改变图像的几何属性，如旋转、缩放等项目4器件缺陷检测–项目调研位置修正模块的使用在流程中，位置修正模块的前序模块通常为图像源模块和模板匹配相关模块，后序模块通常为圆查找、直线查找、卡尺工具或图像修正等模块。位置修正可为这些后序模块修正ROI，实现精确定位查找目标对象。项目4器件缺陷检测–项目调研位置修正模块的使用注意事项如果前序模块为快速匹配或灰度匹配，上表中的X方向尺度和Y方向尺度无需订阅，此情况下无法实现同分辨率图像中不同大小目标的位置修正。如果前序模块为轮廓匹配或高精度匹配，位置修正模块自动订阅前者输出的尺度数据，实现同分辨率图像中不同大小目标的位置修正。项目4器件缺陷检测–项目调研位置修正模块的使用示例中，位置修正对轮廓匹配输出的ROI的位置进行修正后，圆查找通过修正后的ROI实现了对部件上的圆孔的精确查找。项目4器件缺陷检测–项目调研缺陷检测方法分类频域分析法图像处理法通过边缘检测、模板匹配及特征提取等技术来识别和定位缺陷。频域分析法则借助傅里叶变换和小波变换等技术，从频率视角分析图像，识别那些在空间域中不易察觉的缺陷特征。统计分析法统计分析法利用直方图分析和纹理分析等手段，通过对图像的统计特性进行研究来发现异常。图像处理法项目4器件缺陷检测–项目调研边缘缺陷检测边缘缺陷检测属于图像处理法中的边缘检测技术，它通过对图像的边缘轮廓进行检测，找到工件或产品上边缘缺陷，如断裂、凹陷、凸点、磨损等问题。在VisionMaster软件中，使用的边缘提取手段是基于卡尺工具的。项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具卡尺模块的算法工作流程可概括为：将图像区域内数据沿一个方向投影之后得到一维数据，对该数据进行滤波处理，选择局部极值，并对这些极值按照预设的方式计算得分，最终输出符合得分要求的亚像素极值点。项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤1：输入ROI从前序模块获取ROI输入。步骤2：投影（即一维信号提取）在图像中选取感兴趣区域，即投影区域。该区域的处理相当于沿着某特定方向上的均值滤波处理。一般情况下，有角度的矩形投影区域不与像素网格对齐，卡尺工具通过插值的方法获取采样区域。投影区域的形状目前支持任意角度的矩形。卡尺工具放置的投影区域可能会超出图像的边界。超出图像边界的区域，则填充其他灰度值。项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤3：一维差分滤波一维投影获取到的ROI的一维信息，既包含ROI边缘，也包含其他的边缘和噪声。使用差分滤波可以对一维图像起到增强ROI边缘和抑制噪声的作用。如下两张示意图为不同滤波核大小的滤波结果对比。一般情况下，滤波核越大，抑制噪声的能力越强，但极值点位置的精度可能会越差。一维差分滤波（滤波核尺寸=3）项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤3：一维差分滤波一维投影获取到的ROI的一维信息，既包含ROI边缘，也包含其他的边缘和噪声。使用差分滤波可以对一维图像起到增强ROI边缘和抑制噪声的作用。如下两张示意图为不同滤波核大小的滤波结果对比。一般情况下，滤波核越大，抑制噪声的能力越强，但极值点位置的精度可能会越差。一维差分滤波（滤波核尺寸=5）项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤4：极值点查找算法根据边缘极性类型的不同，选取合适的极值点查找目标，如下表所示。极性类型极值点查找目标白到黑极小值（谷值）黑到白极大值（峰值）任意极性极大值（峰值）、极小值（谷值）如下图所示，绿色箭头所示的边缘极性为“白到黑”，红色箭头所示为“黑到白”。此处的“黑”和“白”是表示灰度值高低的相对概念。经过滤波后，边缘极性将转换成另一种展现形式，即极小值（谷值）和极大值（峰值），分别如上文的图：滤波核尺寸=3和图：滤波核尺寸=5所示。项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤5：极值点插值对提取极值点进行插值，得到亚像素精度的边缘位置。步骤6：极值点评分评分方法类型按评分准则分为位置评分、间距评分和对比度评分三大类。步骤7：边缘输出输出符合要求的边缘轮廓。在流程中，卡尺工具主要与图像源、模板匹配、位置修正组合调用，以便在图像指定区域内精确定位边缘点或边缘点对。通过模板匹配和位置修正做粗定位，卡尺工具做精定位，可实现对指定边缘点或边缘点对的高精度检测。项目4器件缺陷检测–项目调研边缘缺陷检测–边缘对缺陷检测边缘对模型缺陷检测模块可将实际提取到的边缘对与预先建立的边缘对模型作比较，分析边缘对的存在性、位置、宽度等信息，判断是否存在边缘断裂等边缘对缺陷。该模块常用于待检边缘区域呈现不规则分布的情况，例如呈曲线分布。该模块算法包括宽度缺陷检测、位置缺陷检测、断裂缺陷检测、阶梯缺陷检测和气泡缺陷检测。宽度缺陷检测位置缺陷检测项目4器件缺陷检测–项目调研边缘缺陷检测–边缘对缺陷检测边缘对模型缺陷检测模块可将实际提取到的边缘对与预先建立的边缘对模型作比较，分析边缘对的存在性、位置、宽度等信息，判断是否存在边缘断裂等边缘对缺陷。该模块常用于待检边缘区域呈现不规则分布的情况，例如呈曲线分布。该模块算法包括宽度缺陷检测、位置缺陷检测、断裂缺陷检测、阶梯缺陷检测和气泡缺陷检测。断裂缺陷检测阶梯缺陷检测气泡缺陷检测项目4器件缺陷检测–项目调研边缘缺陷检测–圆弧边缘缺陷检测弧边缘缺陷检测模块可检测工件或产品上的弧边缘缺陷，如断裂、凹陷、凸点、磨损等问题。模块的主要检测途径是在圆弧上自动创建一定数量的卡尺，比对相邻卡尺中部分圆弧中心点x轴、y轴和角度偏移，并根据预设的阈值大小判断缺陷是否成立。如下图所示，检测结果中红框标注部分即圆弧缺陷，绿点即正常的圆弧边缘。项目4器件缺陷检测–项目调研边缘缺陷检测–圆弧边缘缺陷检测在流程中，圆弧边缘缺陷检测模块的前后序模块详情如下：前序模块：通常为图像源，为圆弧边缘缺陷检测提供图像输入。前序模块还可包括圆查找，以实现更精确的目标定位。后序模块：无特定要求。圆弧边缘缺陷检测具体的配置方法如下图所示，当圆轮廓比较模糊时建议开启标准输入。项目4：器件缺陷检测–项目分析经过对项目任务的分析，设计出器件缺陷检测工作流程如图所示：任务划分器件识别定位快速匹配位置修正内胶路缺陷检测内表面缺陷检测输出合格性信息项目4器件缺陷检测–项目实施1.器件识别定位–图像采集新增“图像源”工具，双击“0图像源1”进入参数设置界面，在基本参数界面，图像源选择“本地图像”，像素格式设为“MONO8”，在右侧的图像源一栏，点击+号按键，添加本地器件图像。注意：test1-new.jpg重命名为test1-new组长姓名.jpg项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配在工具箱的“定位”子工具箱中选择“快速匹配”工具，拖动到流程编辑区与“0图像源1”相连。单击“单次执行”确保图像传入到快速匹配模块。项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配双击“1快速匹配1”进入参数设置界面，点击“特征模板”选项卡，单击“创建”按钮，创建特征模板。在配置界面，单击“创建多边形掩模”按钮，拖动生成多边形掩模覆盖工件边缘局部区域。在右下角配置参数，单击“生成模板”按钮生成特征模板。项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配单击“确定”按钮保存特征模板。创建好的特征模板。项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配运行参数设置。角度范围改为“-30”至“30”，其他参数保存默认。项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配点击“单次执行”，图像显示框中显示模板匹配的结果。项目4器件缺陷检测–项目实施1.器件识别定位–位置修正在工具箱的“定位”子工具箱中选择“位置修正”工具，拖动到流程编辑区与“1快速匹配1”相连。项目4器件缺陷检测–项目实施1.器件识别定位–位置修正双击“2位置修正1”进入参数设置界面。在基本参数界面，原点选择“1快速匹配1.匹配点[]”，角度选择“1快速匹配1.角度[]”。项目4器件缺陷检测–项目实施1.器件识别定位–位置修正选择其中改变了器件位置的图片test1-new.jpg，点击“单次执行”，图像显示区域显示“2位置修正1”执行结果，其中绿色点表示创建基准时的特征匹配点，红色表示目标图像进行特征匹配时的匹配点。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测工具箱的“缺陷检测”子工具箱中选择“边缘对模型缺陷检测”工具，拖动到流程编辑区与“2位置修正1”相连。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测双击“3边缘模型缺陷检测1”进入参数设置界面。在边缘模型界面点击“新增”，进入模版配置界面。单击“创建轨迹”按钮，然后在图像显示区域，沿着器件内胶路直线部分轮廓绘制轨迹，建议避开左右端点以免影响模板生成；“训练参数”中“边缘0极性“设置为“从白到黑”，“边缘1极性”设置为“从黑到白”，参考右图调整训练参数；然后点击“生成模型”。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测单击“确定”按钮保存边缘轮廓模型。创建好的边缘轮廓模型如图所示。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测点击“运行参数”，检测参数要与边缘模型的训练参数一致，缺陷参数根据实际情况进行设置。项目4器件缺陷检测–项目实施2.内