《机器视觉技术》课件-第11章视觉分拣

机器视觉技术1——程光主编李一男副主编2目录1机器视觉概述2机器视觉系统构成3NI视觉平台的搭建4LabVIEW编程环境与基本操作5LabVIEW编程结构6LabVIEW数组、簇、图形编程7字符串、文件I/O和属性节点编程8图像的采集保存与读取9相机标定10图像处理11视觉分拣12基于OpenCV的视觉分拣第十一章视觉分拣3机器人视觉分拣系统以IRB120为主体，并由千兆以太网工业相机、镜头、相机支架、计算机、气泵、上料机构、传送带、不同颜色的亚克力块、工件放置台等部分组成。视觉分拣流程：首先工件由上料机构推出，经传送带传递进入相机视野范围内，然后相机对工件进行图像采集并对图像进行处理分析，识别出工件的颜色个数等数据，并将数据发送给机器人。当工件到达预定位置时，引导机器人抓取不同种特征的工件，根据颜色将工件放置在不同颜色的罐里。图11-1机器人视觉分拣系统第十一章视觉分拣4具体步骤如下：①建立通讯我们通常把计算机作为服务端，机器人作为客户端。设置计算机IP和机器人IP在同一网段下，本例中计算机IP为192.168.10.6，机器人IP为192.168.10.8。计算机中通过TCP/IP函数进行侦听，并设置端口号为1050，如图11-2所示。机器人中通过socket等指令进行连接。首先创建套接字socket1，然后通过SocketConnect连接到IP地址为192.168.10.6的计算机，且端口号为1050。机器人代码如图11-3所示。图11-2服务端图11-3客户端代码第十一章视觉分拣5②图像采集与处理通过VisionAcquisition快速VI进行图像采集。因为摄像头要持续采集传送带的工件状态，所以，快速VI中设置为连续采集模式。图像采集与处理程序框图如11-4所示：图11-4图像采集与处理第十一章视觉分拣6提取兴趣区域中，首先进行相机标定，使像素值转换为真实物理值。然后进行图像掩模ImageMask，通过ROI工具画出选框，提取出感兴趣区域，如图11-5所示。图11-5ImageMask第十一章视觉分拣7提取兴趣区域完成后，进行图像分割。图像分割的作用是将颜色分辨出来。此处以识别黑色工件为例，其他颜色设置方法原理相同。图像分割如图11-6所示。图11-6图像分割第十一章视觉分拣8如图11-6所示，图像分割由LineProfile、ColorThreshold、Adv.Morphology、ParticleAnalysis几部分组成。LineProfile操作如图11-7所示：图11-7LineProfile设置第十一章视觉分拣9如上图所示，该函数用于查看一条线上的灰度值或RGB值曲线图。首先将ColorModel设置为HSL，然后通过ROI工具在黑色工件上画一条线，在左边可以看到该曲线的线剖面图。从线剖面图中我们可以读出黑色工件的色相，饱和度，亮度的范围。接下来进行ColorThreshold（颜色阈值）。ColorThreshold的设置如图11-8所示。图11-8ColorThreshold设置第十一章视觉分拣10如上图所示，该函数用于将彩色图像转换为二值图像。在彩色图像的三个平面上（RGB、HSL、HSV）应用阈值并且将结果放置到一幅8位的图像中。这里我们在ColorModel中选择HSL模式，并将LineProfile中记录的色相、饱和度、亮度的范围写到下列中相应的位置。设置好后，可以看到黑色工件的表面呈现红色，即完成工件颜色的比对。接下来进行两次Adv.Morphology（高级形态学），如图11-9和11-10所示：图11-9Adv.Morphology高级形态学设置图11-10Adv.Morphology高级形态学设置第十一章视觉分拣11如上图所示，两步高级形态学分别进行的是Removesmallobjects(删除小目标)和Fillholes(填充孔洞)。高级形态学的作用是将我们的目标物提取的更为理想。Removesmallobjects(删除小目标)函数的作用是将图像中的小的目标删除掉，使图像更简洁。小的目标是通过腐蚀次数Iterations来定以的，定义的腐蚀次数越大，则过滤删除的小目标面积也就越大。Iterations控制的是使用3x3的掩模进行腐蚀的次数。从图中可以看出，传送带上干扰的小目标已经被去除。Fillholes(填充孔洞)函数的作用是当粒子内部有孔洞时，通过填充孔洞函数进行填充。高级形态学设置完毕后，进行了ParticleAnalysis（粒子分析），如图11-11所示：图11-11ParticleAnalysis粒子分析设置第十一章视觉分拣12如上图所示，使用粒子分析函数可以对图像中的粒子个数进行检测，通过SelectMeasurements选择测量按钮还可以选择想要的数据信息。此处用ParticleAnalysis的目的是将numberofObjects目标数量的结果输出。设置好后，点击右下角的SelectControls进行输入输出设置，如图11-12所示：如上图所示，勾选ParticleAnalysis中的NumberofParticles。点击Finish完成设置。图11-12输入输出设置第十一章视觉分拣13③发送数据至机器人完成图像分割后，将粒子个数和1进行比较，如果相等，则表明此刻有黑色工件通过摄像头的视野范围，则通过写入TCP数据函数发送“Black”字符串给机器人。如图11-13所示：④机器人接收数据并执行相应动作机器人接收字符串数据，并根据字符串中的内容，将工件放置到相同颜色的色筒里，该部分程序代码如下所示。图11-13发送字符串第十一章视觉分拣14SocketReceivesocket1\Str:=Restring\Time:=WAIT_MAX;IFRestring="Red"THENMoveJp10,v300,z15,tool1;rPick;MoveJpRed,v300,fine,tool1;ResetDO4;Waittime0.5;MoveJp10,v300,fine,tool1;Restring:="";WaitTime1;ELSEIFRestring="Blue"THENMoveJp10,v500,z15,tool1;rPick;MoveJpBlue,v300,fine,tool1;ResetDO4;Waittime0.5;MoveJp10,v300,fine,tool1;Restring:="";WaitTime1;ELSEIFRestring="Black"THENMoveJp10,v300,z15,tool1;rPick;MoveJpBlack,v300,fine,tool1;ResetDO4;Waittime0.5;MoveJp10,v300,fine,tool1;Restring:="";WaitTime1;ENDIF第十一章视觉分拣15其中Restring为字符串变量，通过SocketReceive指