【《PCB缺陷检测方案设计和实验探究案例》5700字】

PCB缺陷检测方案设计和实验探究案例1缺陷检测方案设计1.1算法流程算法流程如图3-1所示，整个算法流程中包括图像滤波模块，阈值分割和边缘提取模块，模板创建和模板匹配模块，缺陷识别模块以及结果显示模块组成。整个算法的依托平台是HALCON，使用的语言是HALCON算法库和C++。图3-1算法流程图1.2图像处理平台HALCON是德国MVtec公司开发的一款机器视觉软件，其最大的特点是软件内部有一套机器视觉算法包，为机器学习开发者提供了研发环境，大大降低了开发成本，提高了开发效率。该软件内置包含了一千多个功能独立的算子，并建立了算子的参数核心资料库，为使用者提供了全面的帮助文档，算子包含了图像色彩空间转换、各种滤波、色彩增强、图像分割、数学形态学及blob分析、图像匹配、分类识别、字符提取等等基本图像处理功能。HALCON应用范围十分广泛，小到车牌自动识别，大到各类复杂医学设备、工业自动化监测。HALCON提供人机交互式的编程环境Hdevelop，此环境下有各类算子搜索工具和窗口调试工具，同时还有灰度直方图和区域特征直方图帮助用户实时查看图像的性质，便于用户确定算子参数。1.3研究对象特征分析研究对象是四组共49张PCB图像，其中有缺陷包括元件缺失和元件偏移两种，如图3-2所示，这张图像展示了PCB的表面情况，图片中包含元件缺失，明显可以看到是R86和R91两个电阻缺失。整个样本中包含元件缺失和元件偏移，但并不是每张图上都同时存在这两种缺陷，此外，由于光照条件、拍照角度等等因素，每张图都有比较大的差异。针对这些情况，本文设计了一套算法实现检测出图像中的缺陷，并对这些缺陷进行分类。图3-2研究图像示例1.4算法模块设计1.2.1图像滤波模块采集的图像在通常情况下都会因为环境的细微变化而产生噪声，噪声会对后续的图像处理造成影响，因此需要对采集的图像进行一些去噪操作以改善图像质量。选择合适的去噪方法可以既过滤掉噪声又不破坏原图中的细节。考虑到在本研究中光线的亮度是主要干扰因素之一，为了消除像素点周围过亮或过暗的噪声，采用中值滤波的方法可以将这些极值过滤掉[16]，一定程度上削弱由于照明或环境变化带来的影响。中值滤波能较好地消除噪声和外界影响，同时保护图像细节和边缘信息，因此本系统采用中值滤波对图像进行处理。其公式见第二章式（2-4）。1.2.2阈值分割和边缘提取模块阈值分割是一种简单而有效的图像处理方法，其依据是不同对象在图像上有不同的灰度值，根据这些不同就可以将目标对象从背景中突显出来，即将灰度值不满足目标对象灰度值区间的置零，灰度值满足目标对象灰度值区间的置1。这样操作的好处是，图像从0-255分布的灰度图变成了一张二值图像，图像信息不仅大大简化了，图像的对比度也增大了非常多，使得后续的图像处理操作变得更加简单易行，提高算法稳定度的同时也使运行速度加快。图像阈值分割有两种设置阈值模式，一种是动态阈值分割，在受外界光线影响比较大时，图像中的灰度值变化会比较大，为避免这种干扰带来的错误，就需要使用动态阈值分割；另一种是固定阈值分割，即选择一个固定阈值，这个阈值可以针对特定模板直接提出，因此有较强的针对性。在本研究中，研究对象相对简明，因此选择固定阈值分割。对样本进行调试时，通过对比灰度直方图（如图3-3），得出合适的阈值范围为（80,128），阈值分割后得出的图像如图3-4。图3-3灰度直方图图3-4阈值分割结果图从图3-4可以清晰看出，含有数字部分的电阻被比较完整的分割出来了，但其内部和四周仍然有部分瑕疵。因此需要对阈值分割后的二值图进行基本的形态学计算。二值图像的基本形态学运算包括填充、腐蚀和膨胀等等。对图3-4进行分析可以看出，图像边缘有许多毛刺和小缺口，通过腐蚀运算可以去除大部分毛刺使得边缘变得整齐，再使用膨胀运算填充被去除的图像损失，最后再使用填充运算将图像内部所有空缺全部补齐，成为一个完整且形状保留较好的电阻区域图。腐蚀运算操作方式是建立结构窗口，让窗口在图像上移动，每移动到一个新像素点上，判断该点周围像素值是否和窗口预设的灰度值相等，只有在全部相等的情况下该像素点的灰度值能够保留，其它情况下置零。因此，使用腐蚀运算可以消除物体边界的小毛刺，也能去掉图像上任何小于图像窗口的物体。当物体间存在小的连通区域时，也能通过腐蚀运算将连通去除。从阈值分割的结果图来看，图像周边有许多毛刺，而电阻图像整体呈现矩形。因此，可以建立矩形模板，腐蚀掉周围的毛刺。膨胀是腐蚀的对偶运算，同样的也是建立结构窗口，让其在整幅图像上移动，在每个像素点上，如果结构窗口内的像素点与图像上对应的灰度值至少有一个像素相等，那么这个像素点的灰度值就能够保留。膨胀运算后的结果与腐蚀相反，它能扩充物体的边界，填补存在空洞的区域，使物体所占区域变大。电阻图像在经过腐蚀运算后，周围毛刺大量减少，但也给图像带来了一些空洞，因此，使用膨胀运算可以弥补这一点。腐蚀和膨胀运算过后，图像已经初步修整好了，值得注意的是，图像中有一个数字‘24’的空缺，可以用填补算子将之补上。填补后的图像形态特征完整，将它选择成一个连通域，模板的区域选择就完成了，如图3-5。图3-4模板区域图3-5模板建立1.2.3模板建立和模板匹配通过图像分割，目标图像从背景中分离出来，将目标图像从中提取出来即可建立匹配模板。建立好的模板图像包含了物体的所有信息，将其保存为像素的灰度值信息。基于像素灰度值的匹配方法是最通用的匹配算法，其做法是直接将两整幅图像的每一个像素做相似度匹配，然后找出相似度最大的模型的参数值。这样的方法在应用时检索比较全面，准确率高，但计算量过大，导致运行速度慢。在具体应用中,匹配速度也是一个重要参数,因此该方法收到很大的限制。基于特征的模板匹配可以克服这个缺点，其原理是分别在两幅图中选择出一些特征点，再对这些特征点进行相似度匹配，由于这种方法需要计算的特征点总数比像素点少得多，所以速度要快很多。在本研究中采用基于形状特征的匹配算法，图3-6是匹配结果的典型实例。图3-6模板匹配结果实例1.2.4缺陷检测和分类本研究中缺陷有两种，元件缺失和元件偏移。使用模板匹配后，可以从输出得出待测图像中的元件个数以及它们的坐标、与给定的向量之间的夹角。因此，利用输出的元件个数和标准PCB板上的元件个数可以得出缺失的元件个数以及坐标。在模板匹配的操作中使用图像金字塔的思路，同样可以得出待测图像中模板的大小和旋转角度，根据这些可以得出元件的偏移情况。在工业生产中，漏检测有缺陷的PCB板，让它进入下一步加工工序带来的成本损失远比对PCB板多进行一次检测的成本高。因此，本研究使用用正确的元件数是否与检测出的元件数目相等作为元件缺失的判断依据，这样的好处是使通过检测的PCB板都是合格的，小部分误判的合格PCB板和存在缺陷的PCB板将进入下一步更精细的检测。由图3-6实例得出的行列坐标和旋转角度如表3-1所示。由表可知通过匹配算法获得了电子元件在图像中的坐标和旋转角度，利用坐标信息可以得到检测到的元件数目，得到元件的缺失情况；利用旋转角度，将他们和合格元件可能出现的角度0、1.57、1.14、-1.57和-1.14进行比较，当与这些角度都有较大差距时，该元件就可判定为发生了偏移。行坐标列坐标旋转角度偏移情况192.668342.218-2.68244偏移151.845111.272-0.865088偏移421.934151.904-1.57372未偏移表3-11.5本章小结本章详细介绍了PCB表面元件缺陷检测的算法流程及依据，算法的运行平台，对算法各个模块进行了功能描述和解释。在模块介绍部分基于样本的实际情况，选择了合适的处理方法，指出了参数的选择方法和缺陷板的判断依据，构建了算法的整个运行体系。2实验结果与分析在上一章中，本文对研究方案进行了详细描述，对各种算法的优劣势进行了对比，得出了适合本研究样本的算法技术，本章将对通过以上方法处理后的实验结果进行分析，并得出最终实验结果。2.1图像预处理结果分析2.1.1滤波结果分析本研究的滤波方法采用的是中值滤波器，其优点是可以过滤掉像素点周围过亮或过暗的噪声，降低光照和外界环境变化的影响，同时能够较好的保留边缘信息，使后续的边缘提取模板匹配能更好的运行。本模块的操作是先对待测图进行彩色图转灰度值图，再对该灰度值图进行中值滤波，如图4-1所示。灰度值原图中值滤波图像图4-1中值滤波前后对比图图4-2中值滤波与原图作差结果从对比图可以看出在中值滤波后，图像变得更加清晰，其重点是在黑白交界的地方变得更加突出了，对比度明显增加，这样的结果更有利于我们后续的阈值分割操作。将中值滤波后的图像与灰度值作差，可以得出在中值滤波后图形发生的变化，作差图如图4-2所示。2.1.2图像分割结果分析本文针对研究对象的特点，选择了固定阈值分割，根据对研究对象的灰度直方图进行分析得出最佳阈值。图像分割的目的是获得一个独立的电阻元件图，用来建立模板，所以在进行图像分割前，可以手动先截取出含有电阻的小图，这样做的好处是图像变得简单易操作。截取出来的小图和图像分割后结果如4-3所示阈值分割前阈值分割后图4-3阈值分割前后对比图其中阈值设置是（20,128），其依据是图4-4灰度直方图。从图中可以看得出来，图像中最低灰度值是20，最高是234，有两个峰，分别在灰度值51和灰度值226处。图像中电阻的灰度值在51左右，周围背景的灰度值较大，峰值在226，因此，我们可以围绕着交割处来确定阈值。由于背景中没有灰暗的地方，因此可以将图像中的最低灰度值设为阈值分割的下限。上限的确定比较麻烦，当阈值设定得太高，背景中许多部分就会被留存下来，形成大大小小的斑点；当阈值设定得太小时，电阻本体中又有许多被除去了，形成空洞，边缘也有许多残缺。比起大大小小的斑点而言，电阻图像的残缺更难处理，因此在设定上限时策略是保证电阻内部没有残缺，能容忍背景中有一部分小斑点留存下来。图4-4灰度直方图阈值分割完的图像中的斑点可以通过腐蚀的方法去除，图像中电阻的大致形状是矩形，因此可以用矩形模板对它进行腐蚀操作。从图4-3阈值分割完后的图可以看出，在电阻两边有零零散散的几个小块，利用腐蚀的原理，我们需要建立的矩形模板要小于电阻图像，大于其他所有的斑点，因此可以将矩形的长宽分别设成4个像素点和8个像素点。腐蚀完的图像如下图4-5所示。图4-5腐蚀处理后的图像2.1.3模板匹配结果分析模板匹配有两个步骤，第一步是先建立模板。从阈值分割这一模块可以得到电阻的形状特征，在图像上挖取出相应大小形状的一部分出来，就是本研究使用的模板，如图4-6所示。图4-6电阻模板从图中可以看出，电阻被完整地从整张图像中扣取出来，同时没有多余的背景掺杂其中，用这样的图片建立模板将会大大提高模板匹配的准确率。创建模板使用的是create_aniso_shape_model算子，它创建各向异性的基于形状的模板，并由该图像多层不同金字塔形成。算子中可任意设置旋转角度范围及其步进长度，在行方向、列方向的各向异性的尺度范围等等。本实验研究对象存在旋转、移位等等现象，因此将旋转角度设置为-1.14到+1.14，涵盖一整圈的旋转范围；电阻的大小都是统一的，但由于拍摄角度、遮挡等等原因，在图像中显示出来的大小会有所出入，因此将尺度范围设置为0.9倍到1.1倍大小。创建好的模板可以直接与图库中的待测图像进行匹配。由于样本图库根据拍摄环境分了多组，每组之间的元件大小、图像灰度分布和拍摄清晰度有较大差异，如果采用一套针对某一种环境下的元件建立模板，将之用于整个图库的匹配将会带来较差的结果，因此需要针对整个图库中的多种情况建立多个模板，选择最佳的模板与当前待测图像进行匹配。本文在实验过程中，针对3组图片分别建立了3个模板，每组图片使用一个特定的模板，这种情况下匹配速度较快，准确率较高。模板匹配算子是find_aniso_shape_model,它是创建模板算子create_aniso_shape_model的对偶算子。它的功能是在输入图像中找到与上述模型匹配最佳的各向异性尺度不变形状的实例。它的输出是所得实例的行坐标和列坐标，旋转角度，和缩放比例。使用算子时可设定最低匹配分数和匹配实例的上限，设置合适的最低匹配分数可以有效防止误识别，对匹配实例设置上限也可以对当匹配分数设置不当的情况进行误识别限制。该算子另一个重要参数是贪婪值（greediness），它影响着匹配速度，当贪婪值设置得比较低时，检测精度会显著提高，但匹配速度会下降比较明显，由于本算法流程简洁，且使用的是匹配速度较快的基于形状的模板匹配算子，因此可以在满足应用要求的基础的同时将贪婪值设置为零。匹配结果实例如下图4-7所示。图4-7模板匹配实例图中可见3个电阻，匹配算法同样的也找到了这三个电阻。由于模板匹配算法能输出找到的实例的坐标和旋转角度，因此可以在坐标处画圆形图案用作标记。2.2缺陷识别和分类结果分析在模板匹配模块中，算法已经找到了PCB表面元件的坐标和旋转角度，当元件没有出现在预定好的位置就说明它缺失了；当元件在预定的位置但其旋转角度异常时，说明它发生了偏移。因此，可以设计出一段循环判断元件是否偏移或缺失。缺陷识别结果实例如下图4-8和图4-9所示。图4-8缺陷识别和分类实例1图4-9缺陷识别和分类实例2图片上面显示了缺陷检测结果，在图4-8中显示的PCB板是没有缺陷的，预定的元件是3个，同样算法也