【基于2D相机的的生产线智能分拣系统工件识别与定位分析案例6400字】

基于2D相机的的生产线智能分拣系统工件识别与定位分析案例目录TOC\o"1-3"\h\u25246基于2D相机的的生产线智能分拣系统工件识别与定位分析案例 1327421.1工件图像滤波处理 181651.1.1高斯滤波 290461.1.2均值滤波 3199451.1.3中值滤波 4209741.1.4滤波算法的对比 549481.2工件图像轮廓提取 673481.2.1基于边缘检测算法的轮廓提取 6138371.2.2基于阈值分割算法的轮廓提取 9120341.3模板匹配与目标工件定位 1112351.3.1模板的创建 12210591.3.2图像金字塔 1226851.3.3模板匹配 13在机器人夹取工件并放置在传送带上后，需要基于2D相机对目标工件进行识别与定位。首先将使用平滑处理于采集的图像，通过对比同一状态下图像的高斯滤波、中值滤波和均值滤波，选择最适合的平滑处理手法进行去噪，其次利用目标工件边缘梯度的变化进行边缘提取，获得目标工件的轮廓特征，最后通过模板匹配实现工件的识别与定位，进而实现不同类型工件工件的分拣。1.1工件图像滤波处理图像在采集过程中会产生不同程度的干扰信息，这些干扰信息可能是传感器和大气引起的亮度变化过大的区域，也可能工件表面过大导致打光不均匀，或者背景繁乱的干扰物对工件采集过程产生了噪声。一般情况下，图像的像素灰度具有连续性，噪声的存在会使噪声存在区域发生突变，少量的噪声影响可能不大，但是大量的噪声会使整个图像的灰度信息没有连续性，也会丢失大量的有用信息。因此，在图像的预处理阶段对图像进行去噪是必不可少的。在本文的智能分拣系统中，2D相机采集的工件图像会受到相机性能、光源以及图像数据传输方式等影响，因此，不同程度的噪声会存在于图像中。由于之后会对图像进行边缘等特征的提取，噪声在一定程度上导致处理图像的精度下降，因此很有必要对图像进行滤波处理。不同的滤波方式有不同的原理，不同的适用范围，因此要结合本文2D相机采集的图像进行实验，选择出适合本文的滤波方式。1.1.1高斯滤波该滤波是一种线性平滑滤波，加权平均运算达到滤波处理的目的。该滤波处理后实现灰度值加权平均，主要是对应像素与其邻域内像素原始灰度值。该滤波重点消除高斯噪声，其函数表达式为：（1.1）式中：σ2—高斯函数方差，σ2和滤波尺寸选择的值不同，相应的平滑效果也会不同。HALCON为图像滤波处理提供了高斯算子gauss_filter（Image，ImageGauss，5），其中Image、ImageGauss分别为输入图像和高斯滤波后图像，5为设置滤波尺寸参数。HALCON中没有给出σ的设置方式，但是软件的开发者根据大量的实验在算子底层已经设置相应的最合适的σ值，我们在使用HALCON中的高斯滤波算子时只需要设置滤波尺寸就可以达到改变σ值的目的。实验中分别采用滤波尺寸为5×5、9×9、13×13，得到滤波后图像与原图的对比如图1.1所示。（a）原图（b）高斯滤波5×5（c）高斯滤波9×9（d）高斯滤波13×13图1.1原图像与高斯滤波图像Fig.1.1OriginalimageandGaussianfilteredimage由实验结果可知，随着滤波尺寸的提高，高斯滤波会消除掉更多的高斯噪声，但是工件的边缘特征也越来越不清晰。当滤波尺寸选择5×5时，目标工件的边缘轮廓清晰，但是图像的平滑效果差；当滤波尺寸选择13×13时，工件的边缘轮廓变得模糊。因此，在选用高斯滤波时需要多次实验，比对结果，选择合适的参数获得最佳平滑效果。1.1.2均值滤波均值滤波原理为对图像内任意一像素点和相邻像素的灰度平均值代替该点的原值，属于线性平滑滤波。假设图像内某个像素点（i，j），灰度值为f（i，j），经过均值滤波后的g（i，j）为：（1.2）式中：S—像素点邻域内坐标集合M—邻域内像素点的数量均值滤波实质是在采集图像上设定一个目标像素点的集合，该集合涵括了目标像素及其周围的所有像素点，再将原来的像素集合使用该集合的平均值来代替。平滑效果与像素集合的大小成正比，当该集合过大时，会导致图像变模糊。因此应设定合适的集合大小，不仅可将工件的边缘信息保留，又可以去除噪声。HALCON中均值滤波是依靠mean_image算子实现的，使用形式和参数为mean_image（Image，ImageMean，9，9），Image为输入图像，ImageMean为均值滤波后的输出图像，后面两个参数为模板尺寸值。实验中改变模板尺寸的大小，设置模板尺寸为5×5、9×9、13×13，得到滤波后图像与原图的对比如图1.2所示。（a）原图（b）均值滤波5×5（c）均值滤波9×9（d）均值滤波13×13图1.2原图像与均值滤波图像Fig.1.2Originalimageandmeanfilteredimage由实验结果可以看出，随着模板尺寸大小的增加，均值滤波可以消除更多的噪声，但是图像也会越来越不清晰，当模板尺寸为13×13时，目标工件的边缘已经变得模糊，如果模板尺寸继续增大，目标工件的边缘也将会被看作噪声平滑掉。因此在使用均值滤波时要综合考虑模板尺寸的大小，以达到最佳的平滑效果1.1.3中值滤波中值滤波属于非线性图像处理方法，其本质是将指定像素及其领域像素的灰度值按照大小排列，序列的中值即为灰度值，对于图像中较亮或者较暗的噪声采用中值滤波可以很好的消除。中值滤波平滑图像的原理如图1.3所示：99107584311223342343132125373432563627989107584311223342343233212537343256362798图1.3中值滤波原理Fig.1.3Medianfilteringprinciple中值滤波采用图像矩阵中一个像素集合作为模板对其进行平滑处理，其包含了更加丰富的模板形状相对于均值滤波更具优势，可以是方形、菱形、十字形和圆形等。基于HALCON采用单一变量原则对不同尺寸、形状的模板进行对比试验，如图1.4和图1.5所示。（a）原图（b）半径为5的圆形模板中值滤波（c）半径为9的圆形模板中值滤波（d）半径为13的圆形模板中值滤波图1.4原图像与圆形模板均值滤波图像Fig.1.4Theoriginalimageandthecirculartemplatemeanfilteredimage（a）原图（b）5×5方形模板中值滤波（c）9×9方形模板中值滤波（d）13×13方形模板中值滤波图1.5原图像与方形模板均值滤波图像Fig.1.5Theoriginalimageandthesquaretemplatemeanfilteredimage通过实验结果可以发现，在相同模板尺寸、不同模板形状的情况下，中值滤波的效果十分相近，但是在相同模板形状、不同模板尺寸的情况下，中值滤波的处理效果差别明显，与尺寸大小成正比。因此，与均值滤波和高斯滤波相似，中值滤波的使用也需要选择合适的模板尺寸。1.1.4滤波算法的对比本文需要对目标工件图像进行平滑去噪，所以需要根据实验的结果选择适合本文的滤波算法。实验采用HALCON视觉软件自带的滤波算子，分别对工件图像进行滤波处理，获得处理结果进行比对。分析三种滤波不同模板尺寸的效果，我们发现中值滤波对于本文的噪声处理效果是最好的，在消除噪声的同时，造成工件边缘模糊的程度也是最小的。均值滤波将噪声的影响平摊到像素上，导致滤波后噪声仍然有所体现，在工件图像上略微模糊。相较于均值滤波，高斯滤波在处理噪声的效果更好一些，但是高斯滤波的运行时间较长，降低了整个分拣系统的分拣效率。针对以上原因，本文选择半径为9的圆形模板中值滤波进行图像的去噪算法，如图1.6所示。图1.6半径为9的圆形模板中值滤波Fig.1.6Medianfilteringofcirculartemplatewithradius91.2工件图像轮廓提取本文使用工件的边缘轮廓作为工件的识别与定位的主要依据，所以保证提取的工件轮廓的清晰度对于后面的模板匹配精度至关重要。目前图像处理中常用的工件轮廓提取主要有两种方式。第一种是基于边缘检测算法的轮廓提取技术，这种方法是使用边缘提取算子，根据边缘灰度变化对应的导数对边缘信息进行计算，Canny、Sobel、Prewitt、

Laplacian算法等[41]是常用的算法。在HALCON中可以直接调取边缘提取算子来进行目标工件的轮廓提取，输出为XLD线条轮廓，这种方法容易操作，简单方便。第二种是基于阈值分割的轮廓提取技术。阈值分割可以将目标工件从图像背景中分离出来，或者分割出多个区域，再利用形态学处理分割出来的区域，可以消除干扰区域，获得轮廓图像，这种方法操作相对复杂，涉及到多个流程，但获取的图像清晰、特征丰富。1.2.1基于边缘检测算法的轮廓提取基于边缘检测算法的轮廓提取方法通过使用边缘检测算子来提取轮廓，这类算子利用图像中边缘的灰度阶跃性，通过确定一阶导数的两个极值来检测轮廓[42-43]。（1）Canny算法在轮廓提取中应用的最为广泛，检测效果理想，鲁棒性强[44]。首先运用滤波进行去噪，然后对图像内的所有像素点进行一阶求导，获取X、Y的偏导数。（1.3）其中，梯度的幅值M（i，j）和方向θ（i，j）分别为：（1.4）在Canny算法中，边缘点在梯度图中幅度最大，但是并不意味着梯度幅值大就一定是边缘点，也可能是工件的缺陷轮廓或表面纹理。因此为避免这种情况需采取非极大值抑制，对目标区域内梯度幅值的极大点进行保留、非极大值去除处理。如图1.7所示，将区域中心x和梯度方向的两个像素点的幅值比较，对x的幅值是否为最大值判别，若是则保留，否则中心为0。该方法可有效的抑制非边缘的非极大值点，同时可将提取的边缘细化。图1.7非极大值抑制示意图Fig.1.7Schematicdiagramofnon-maximumsuppression在经过上述步骤后，仍然会有一些不正确的边缘信息，最后使用双阈值算法将边缘信息进一步缩小。首先设置一个高阈值，过滤掉噪声和一些阈值较低的边缘，其次在高阈值的基础上设置一个低阈值，小于该阈值的视为边缘信息，并获得一个完整的工件轮廓。HALCON中提供了Canny算法的算子edge_image来提取边缘，在该算子中可以设置平滑系数和双阈值检测范围。通过多次实验，在使用Canny算法的情况下，平滑系数取5，双阈值变量取20和40可以得到相对较好的轮廓图像，如图1.8所示，很明显图像中的噪声和干扰信息基本都被消除干净，但是工件的轮廓信息也没有闭合，难以满足后续的模板匹配流程。图1.8Canny算法的效果图Fig.1.8EffectpictureofCannyalgorithm（2）Sobel算子是一种差分算子，该算子是由提出者IrwinSobel名字命名的，函数目的检测图像亮度的灰度近似值[45-46]，Sobel卷积因子如图1.9所示。-1-101-202-101121000-1-2-1图1.9Sobel卷积因子Fig.1.9SobelconvolutionfactorSobel算子利用两组3×3的矩阵，通过卷积方式获得差分近似值，公式如下：（1.5）其中，边缘灰度值由横向Gx和纵向Gy表示，f（a，b）表示图像中像素点（a，b）的灰度值。根据式1.5可得，灰度值为：（1.6）如果图像中某个点的梯度G大于设定的某个阈值，则认为该像素点为边缘上的一个点。HALCON中提供了Sobel的算子sobel_amp来进行边缘提取，在该算子中可以设置滤波器类型和尺寸。通过多次边缘提取实验，Sobel算子的滤波器类型选用sum_abs，尺寸选择7可以得到较好的轮廓图像，如图1.10所示，利用sobel_amp算子得到的工件轮廓图像，虽然获得了清晰的轮廓图像，但是工件表面纹理信息对边缘信息产生了很大的干扰，会影响后面进行模板匹配的精度和成功率。图1.10Sobel算法的效果图Fig.1.10Sobelalgorithmrenderings1.2.2基于阈值分割算法的轮廓提取基于阈值分割的轮廓提取是根据设定的阈值将图像中灰度值大小不同的区域分割为多个像素集合，各个区域的边界即包含了目标工件的轮廓信息，通过一系列处理可以得到理想的边缘信息。1.2.2.1阈值分割阈值分割的方法有很多种一般为全局和局部，但其本质均为设置阈值，像素点大于设定阈值为白色，小于为黑色，其表达式为：（1.7）全局阈值法是阈值分割出灰度直方图中的极小值，百分比阈值法和最大类间方差法是最常用的方法。其中根据灰度直方图将图像分为目标对象和背景的方法称为最大类间方差法。该方法使用与灰度值分布均匀的图像，通过对灰度值方差的计算，不断迭代，确定阈值，具有自适应性强的优点；灰度直方图只有一个波峰是使用百分比阈值法，分割具有简洁高效、速度快的特点。根据局部阈值和方差选择阈值进行图像分割的方法称为局部阈值法。

Niblack算法和Sauvola算法[47]比较常见。前者以像素点为中心、邻域内点的阈值，利用方差和修正系数来确定边缘信息，具备较高的灵活性，但是经过该算法处理后的图像会产生伪噪声进而影响图像精度。后者是以当前灰度均值与标准方差获取阈值的一种动态计算方法，速度较快，但是鲁棒性较差。综合本文所研究的智能分拣系统情况以及后续模板匹配对边缘提取的要求，图像阈值分割选用最大类间方差法。首先根据图像的灰度值差异分为m级，则可以得出：（1.8）式中：N—像素点个数；Pi—各灰度级概率；设T为灰度阈值，根据灰度级分为背景（0~t）和目标（t+1~l-1）两类，则背景灰度级和目标灰度级概率为：（1.9）（1.10）得出整体图像、背景灰度级和目标灰度级的均值为：（1.11）（1.12）（1.13）目标灰度级与背景灰度级的类间方差为：（1.14）通过求取类间方差最大值确定阈值t’:（1.15）在本文中，使用最大类间方差法获得的最优阈值为76，在HALCON中对图像阈值分割调用threshold算子，如图1.11所示，能够看到目标工件的轮廓所在的区域，但是仍然存在一些干扰信息，比如环形光源形成的光圈、相机视野范围内的光电开关等区域，这些干扰信息会对后续的轮廓提取造成干扰，因此还需要消除干扰区域。图1.11阈值分割后图像Fig.1.11Imageafterthresholdsegmentation1.2.2.2Blob分析Blob分析是将图像中具备相同像素点的区域进行整合分析，可提供图像中的位置、形状和方向等信息[48]。通过对图像进行Blob分析可以得到图像一些重要的几何特征，如面积、中心坐标、主轴等[49]。经过阈值分割后，目标工件区域和多个周围的干扰区域共同存在图像中，需要对工件进行Blob分析，将目标工件区域提取出来，并获得轮廓信息。提取目标工件区域需要进行连通性的分析，首先提取连通分量，将图像中的目标工件区域和干扰区域分成相互独立的个体，然后进行区域选择，将目标工件区域挑选出来，消除离散的干扰区域。HALCON中提供了图像区域特征直方图，通过特征图可以筛选出感兴趣区域，获得目标工件所在区域，如图1.12所示。图1.12目标工件区域Fig.1.12Targetworkpiecearea完成目标工件区域的提取后，目的从目标区域中将轮廓提取出来，得益于前期做了大量的图像准备工作，所以轮廓提取只需要在HALCON中调取inspect_shape_model算子就可以得到图像中红色目标区域的外轮廓，如图1.13所示，轮廓信息清楚且没有干扰信息，可以轻易的识别出工件轮廓所代表的形状。图1.13提取到的工件轮廓Fig.1.13Extractedworkpiececontour1.3模板匹配与目标工件定位获得所有工件轮廓后，接下来就需要对工件进行模板匹配和定位。模板匹配包含的功能有判断目标工件的种类和工件的位置信息[50]。本文通过HALCON视觉软件进行模板匹配算法的开发，在HDevelop环境下的模板匹配有三种方式：基于组件、灰度值和形状的模板匹配，其中灰度值的匹配算法是在图像中搜寻与模板均值或方差最接近的区域并与之匹配，基于形状的匹配算法利用几何形状的相似度进行模板匹配，基于组件的匹配算法是一种特殊的基于形状的匹配算法[51-52]。由于本文分拣系统实验所使用的工件形状特征比较明显，所以选择了基于形状的模板匹配。模板匹配主要分为两个部分，模板的制作和在线模板匹配[53-54]。在标准状态下采集工件的图像，经过滤波去噪、特征提取等手段制作模板；传送带上工件运动触发光电开关，相机实时采集图像进行在线模板匹配，确定工件类型完成分拣。模板匹配的主要流程如图1.14所示。图像图像滤波后图像感兴趣区域保存模板滤波去噪Blob分析模板制作实时图像滤波后图像匹配结果滤波去噪图像匹配坐标转换图1.14模板匹配流程图Fig.1.14Templatematchingflowchart1.3.1模板的创建一般情况下，创建模板包括两种方式：第一种是基于AutoCAD绘图软件制作包含工件尺寸特征的模型创建模板，将模型保存为DXF文件，可在HALCON中读取文件中的模型信息，但是这种创建模板的方式适合匹配较少工件数，面对工具种类繁多的