工业视觉系统应用 课件 项目五 -液体试管识别与分拣

工业视觉系统应用（项目五/液体试管识别与分拣）包头职业技术学院目录学习目标01任务解析02知识链接03核心素养04思考与探索06岗课赛证要求07项目实施0501学习目标学习目标1.了解常见的颜色模型的类型及其特点；2.了解条形码和二维码的概念及特点；3.了解机器视觉图像识别的定义以及发展历程；4.了解食品工业及其检测技术发展现状；5.以及机器视觉在食品加工及包装行业应用；6.掌握标定板的选型方法与N点标定的具体流程；7.掌握条码识别、颜色提取及液位识别的编程及应用；8.掌握液体试管识别与分拣的程序流程及参数设置方法。1.养成规范操作、安全生产的岗位素养；2.提高责任意识与分工协作意识；3.树立精益求精、开拓进取的职业素养；4.树立专业自信、服务地方的专业理念。

1.能够熟练完成硬件的选型与按照；2.能根据样品尺寸和区域要求完成视野调焦和镜头对焦；3.能合理选择标定板，合理完成N点标定；4.能实现条码识别、颜色提取及液位识别的编程及应用；5.会进行液体试管识别与分拣的Kimage编程。1.观察PCB图像的平面尺寸，并对需要测量的尺寸进行记录、分类2.按照实施流程先完成PCB图像的拼接，再进行典型参数的测量知识目标能力目标学习策略素养目标02任务解析任务描述：首先要完成液体试管识别，之后根据识别结果与定位坐标，对试管按要求进行分拣体液试管及料盘规格：大小：70mm×13mm（单根，共计6根）；料盘总尺寸长：200mm，宽：120mm，视野大小要求：200mm×150mm（视野范围允许一定正向偏差，最大不得超过20mm）工作距离要求：405mm（视野范围允许一定正向偏差，最大不得超过10mm）注意：必须采用彩色相机，检测区必须在光源能照射到的范围内/任务解析5-1体液试管识别及分拣示意（一）体液试管识别与分拣

1.识别任务1）编写视觉和运动控制程序，移动运动平台到达定位拍照位，点亮上光源，相机拍图片，熄灭光源；

2）使用扫码工具，进行试管上的条码识别，将结果进行输出、显示。2.定位任务1）点亮下光源，相机拍摄图像，熄灭光源；

2）使用定位工具进行试管的定位，输出的位置为试管在机构坐标内的当前位置，输出缺陷试管坐标点。3.检测任务1）检测试管中的液体是否装满。液试试管识别及其分拣示意图如图5-2所示/任务解析图5-2体液试管识别及分拣示意图（一）体液试管识别与分拣

2）检测试管盖子颜色。体液试管瓶盖检测示意图如图5-3所示。3）数据统计及分析

对检测结果数据进行分析统计并生成数据报表报表文件保存到：C:\机器视觉系统应用项目五\工号-学号\液体试管识别与分拣数据.csv文件中。盖子颜色不良品要依据实际情况，颜色数量为1的为不良品。4.分拣任务

根据检测结果，需要将不合格的液体试管放到不合格区，需要注意的是试管朝向必须一致。/任务解析图5-3体液试管瓶盖检测示意图（一）体液试管识别与分拣

（二）显示任务

要求主界面显示当前相机采集图像，将条码检测结果、试管检测结果和坐标显示到图像上，界面及结果显示如图5-4所示。/任务解析图5-4界面及结果显示（一）体液试管识别与分拣

03知识链接知识链接（一）颜色模型

颜色模型（颜色空间）：就是用一组数值来描述颜色的数学模型。

颜色模型类型：常见颜色模型RGB颜色模型HSV颜色模型CMYK颜色模型XYZ颜色模型HSI颜色模型知识链接（一）颜色模型1.RGB颜色模型RGB颜色模型：通过对红（R）、绿（G）、蓝（B）三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB颜色模型如图5-5所示。

RGB颜色模型通常用于彩色图形显示设备中，如彩色阴极射线管、彩色显示器等。在图5-5的正方体主对角线上，各原色的强度相等，均等的RGB三通道值混色出来即是不同的灰度值，其中（0，0，0）为黑色，（1，1，1）为白色。正方体的其他六个角点分别为红、黄、绿、青、蓝和紫。图5-5

RGB颜色模型知识链接（一）颜色模型2.HSV颜色模型HSV颜色模型：种颜色都是由色相（Hue，简H），饱和度（Saturation，简S）和色明度（Value，简V）所表示的。

HSV颜色模型对应于圆柱坐标系中的一个圆锥形子集，圆锥的顶面对应色明度值V=1，它包含RGB模型中的R=1，G=1，B=1三个面，所代表的颜色最亮。色彩H由绕V轴的旋转角给定。红色对应于角度0°，绿色对应于角度120°，蓝色对应于角度240°。在HSV颜色模型中，每一种颜色和它的补色相差180°。饱和度S取值从0到1，所以圆锥顶面的半径为1。HSV模型的三维表示从RGB立方体演化而来，设想从RGB沿立方体对角线的白色顶点向黑色顶点观察，就可以看到立方体的六边形外形。六边形边界表示色彩，水平轴表示纯度，明度沿垂直轴测量。图5-6HSV颜色模型知识链接（一）颜色模型3.CMYK颜色模型CMYK（Cyan，Magenta，Yellow）颜色空间应用于印刷工业，印刷业通过青（C）、品（M）、黄（Y）三原色油墨的不同网点面积率的叠印来表现丰富多彩的颜色和阶调，这便是三原色的CMY颜色空间。CMYK颜色模型如图5-7所示。CMYK颜色空间是和设备或者是印刷过程相关的，则工艺方法、油墨的特性、纸张的特性等，不同的条件有不同的印刷结果。所以CMYK颜色空间称为与设备有关的表色空间。

同时CMYK具有多值性，也就是说对同一种具有相同绝对色度的颜色，在相同的印刷过程前提下，可以用分种CMYK数字组合来表示和印刷出来。这种特性给颜色管理带来了很多麻烦，同样也给控制带来了很多的灵活性。图5-7CMYK颜色模型知识链接（一）颜色模型4.XYZ颜色模型1931年CIE在RGB系统基础上，改用三个假想的原色X、Y、Z建立了一个新的色度系统。将它匹配等能光谱的三刺激值，定名为“CIE1931标准色度观察者光谱三刺激值”，简称为“CIE1931标准色度观察者”。这一系统叫做“CIE1931标准色度系统”或称为“视场XYZ色度系统”。CIEXYZ颜色模型稍加变换就可得到Yxy色彩空间，其中Y取三刺激值中Y的值，表示亮度，x、y反映颜色的色度特性。5.HSI颜色模型HSI模型：用H、S、I三参数描述颜色特性，其中H定义颜色的波长，称为色调；S表示颜色的深浅程度，称为饱和度；I表示强度或亮度。HSI颜色模型如图5-8所示。图5-8HSI颜色模型知识链接（二）码类概述1.条形码一维码即是条形码，它是由一组规则排列的条、空组成的标记来表示信息，如图5-9所示。2.二维码二维码（QR码）：是采用特定的几何图形按一定规律在平面（二维方向上）分布的黑白箱间的矩形方阵记录数据符号信息的新一代条码技术，如图5-10所示。注：二维码是在一维条码的基础上，扩展出多一维的具有可读性的条码，由于它在两个维度都携带了信息，所以能存储更多的数据和信息。它由一个二维码矩阵图形和一个二维码号，以及下方的说明文字组成，具有信息量大，纠错能力强，识读速度快，全方位识读等特点。图5-9条形码图5-10

二维码知识链接（三）机器视觉图像识别

机器视觉中图像识别功能：主要是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术。图像识别的发展：经历了三个阶段文字识别、数字图像处理与识别、物体识别。1文字识别23数字图像处理与识别

物体识别

文字识别的研究是从1950年开始的，一般是识别字母、数字和符号，从印刷文字识别到手写文字识别。文字识别的应用领域非常广泛，包括自动驾驶、产品检测等等研究开始于1965年。数字图像与模拟图像相比具有存储、传输方便，且在传输过程中不易失真，数据处理方便等巨大优势，这些都为图像识别技术的发展提供了强大的动力

指的是对三维世界的客体及环境的感知和认识，属于高级的计算机视觉范畴。以数字图像处理与识别为基础的结合人工智能系统学等学科的研究方向，其研究成果被应用在各种工业及探测机器人上。04核心素养核心素养（一）我国食品工业及其检测技术发展现状

1.食品行业发展现状（1）食品行业：食品工业成为我国国民经济的重要支柱产业，对推动农业发展、增加农民收改变农村面貌，推动国民经济持续、稳定、健康发展具有重要意义（2）食品行业发展：随着科学技术的发展，高新技术在食品工业中得到较好应用，我国食品机械设备制造水平正在逐步适应食品工业的发展和技术改造的要求。2.食品检测行业发展现状（1）食品检测：是指通过对食品进行系统性的检验、分析和评估，以确保其符合相关法规、标准和质量要求，从而保障消费者的健康和安全，如图5-11所示。

（2）食品检测技术：

随着科技的发展，食品检测行业采用了多种检测方法，如色谱法、电泳法、免疫分析法等，大大提高了检测精度和效率。

图5-11食品安全检测核心素养（二）机器视觉在食品加工及包装行业应用

机器视觉技术适用于大批量生产过程中的测量、检查和辨识的行业中，特别是包装、食品、饮料行业。当视像和传感技术得以进步、成本下降而性能增强时，大多数包装商可实现100%在线检测。机器视觉检测技术在食品与饮品包装领域的具体应用如图5-12。

图5-12

机器视觉检测饮品包装核心素养（三）安全规范1.每日使用过程中，关机程序等严格按照手册内容执行，不做强制开关行为。2.上机前做好充分准备，对各机器视觉组件和图形化编程软件平台熟悉，严格遵守光学或电气组件的相关操作要求，接线前一定要看清引脚定义和电压要求。3.上机时要遵守实验室的规章制度，爱护实验设备。要熟悉与实验相关系统软件的使用方法。4.按照实验要求，对软件流程作必要的改动，或者增加一些功能。5.对玻璃盘除尘，吹气或棉布除尘，保障产品检测精度，视觉检测对检测台清洁较高。6.定期维护视觉检测设备电脑，清理系统垃圾，及时更新软件，确保电脑稳定运行。7.专业技术人员管理视觉检测设备，防止非专业人员擅自移动镜头、光源、软件，影响检测精度。8.每天下班断电后，检查设备，打扫清理场地。

05项目实施项目实施（一）硬件选型及安装1.相机选型

根据任务要求，要完成液体试管识别，之后根据识别结果与定位坐标，对试管按要求进行分拣，必须采用彩色相机，检测区必须在光源范围内，选择型号为彩色2D相机（相机C）。像素2592x1944最大帧率23fps接口GigE,POE传感器类型CMOS颜色彩色靶面1/2.5"快门滚动位深10位像元2.2μm宽动态范围50dB增益X1-X32快门值40μS-1S尺寸29*29*42mm(不含镜头座和后壳接口)供电方式DC6V-26V，POE功耗≈2.8W@12V镜头接口C-mount工作温度-30°C~+50°CGPIO6芯

Hirose接口：1路光耦隔离输入，1路光耦隔离输出图像缓存支持

64MB存储通道支持

2组用户自定义配置保存2.工业镜头计算与选型表5-1

彩色2D相机（C相机）参数表（1）像长的计算根据像长计算公式：像长

L（mm）=像元尺寸（um）×

像素（长、宽）

即彩色2D相机内部芯片的像长L的长和宽分别为5.70mm、4.28mm。项目实施（一）硬件选型及安装

（2）焦距的计算

在选择镜头搭建一套成像系统时，需要重点考虑像长L、成像物体的长度H、镜头焦距f以及物体至镜头的距离D之间的关系，物像之间简化版的关系为：

根据任务要求，液体试管识别及分拣的工作距离为200mm-250mm，单个视野的长宽为200mm×150mm（允许正向偏差不超过20mm），取工作距离的最大值405mm为机械零件至镜头的距离D，80mm、60mm为成像物体的长度H，因此在焦距的计算中需要分别对长和宽进行计算。项目实施（一）硬件选型及安装表5-2HN-P-1228-6M-C2/3工业镜头参数（3）工业镜头的选型根据焦距计算公式，计算得出长边焦距f等于11.55mm，短边焦距f等于11.55mm，故选择的镜头焦距f应接近于11.55mm，根据设备所提供的3种镜头，选择型号为HN-P-1228-6M-C2/3焦距为12mm的镜头，相关参数如表5-2所示。3.光源选型

根据项目要求，需识别5个液体试管条形码并进行液位测量，为提高识别、需将外界环境的影响降至最低，故选择安装平行背光源和小号环形三色上光源4.硬件安装（1）将相机、镜头、光源、治具等在合理位置安装，保证安装稳固，镜头与相机连接螺纹圈须拧紧（2）镜头调试好之后，用顶丝锁紧对焦环及光圈环；记录硬件的安装参数等结果（3）完成相机、光源、旋转轴、通讯网络等电路接线，完成气路的连接，走线正确规范、整洁、牢固、物理接口选择正确。编号12mm镜头型号HN-P-1228-6M-C2/3靶面尺寸2/3"支持像元尺寸（um）最小2.4焦距（mm）12

±

5%光学总长（mm）55

±

0.2法兰距（mm）17.526±0.2光圈范围（F数）F2.8

-

F16视场角（H×V）39.00°×29.92°（47.50°）像质光学畸变±

1.2%

TV畸变0.51%聚焦范围0.1m

-

∞前螺纹M27

×

P0.5-7H接口C

口尺寸(D×L)

(mm)Φ33.0

×

41.2

(不含螺纹)项目实施（二）Kimage软件编程图5-13液体试管识别与分拣过程思维导图项目实施（二）Kimage软件编程1.回零打开Kimage软件，进入界面后点击配置按钮，新建文件名称为液体试管识别及分拣，并重命名工具组为回零，如图5-14所示。首先打开回零工具组，然后添加PLC控制，再次双击PLC控制，分别点击回零设置、解除中断以及执行按钮，即可完成回零设置。如图5-15所示。图5-14

新建回零工具组图5-15

回零设置项目实施（二）Kimage软件编程2.N点标定

点击添加工具组按钮，并重命名为N点标定，双击打开N点标定界面，添加PLC控制、光源控制以及相机，移动手柄，调节工作台在相机拍照视野范围内。

打开光源控制界面，设置光源参数，具体可参照图5-16。

点击相机按钮，调整拍照清晰度，添加定时器按钮，设置延时时间间隔200-500为宜，同时添加光源控制，在定位工具中选择添加查找特征点按钮，如图5-17所示。图5-16

光源设置图5-17

查找特征点项目实施（二）Kimage软件编程

双击打开查找特征点界面并进行参数设置，查找特征点执行结果如图5-18所示。

在标定工具栏中，添加N点标定工具，如图5-19所示。图5-18

查找特征点图5-19

查找特征点项目实施（二）Kimage软件编程

像素坐标需要绑定查找特征点里的输出关键点，通过调节工作台，使吸嘴在工作台获取坐标位置，N点标定结果如图5-20所示。N点标定总体程序流程包括PLC控制、光源控制、相机、定时器、光源控制、查找特征点以及N点标定7个部分，如图5-21所示。图5-20

N点标定结果图5-21

N点标定总体框架项目实施（二）Kimage软件编程3.液体试管条形码识别

首先新建工具组并命名为条形码识别，然后添加PLC控制、光源控制、相机、定时器以及光源控制，在图像处理工具中添加图像处理工具，如图5-22所示。然后在识别工具栏中添加条码检测工具，如图5-23所示。图5-22

添加图像处理工具图5-23

添加条码检测项目实施（二）Kimage软件编程

程序总体流程包括PLC控制、光源控制、相机、定时器、光源控制、图像处理工具以及条码检测7个部分，具体可参见图5-24。

继续点击相机按钮，在标定数据对话框设置标定数据为N点标定，如图5-25所示。图5-24

条形码识别总体流程界面图5-25

相机参数设置项目实施（二）Kimage软件编程点击图像处理工具，识别模式调整为彩色转灰度图，点击条码检测工具，显示结果如图5-26所示。4.颜色提取添加工具组按钮，命名为颜色提取，首先将条码检测里的PLC控制复制到该工具组，同时添加光源控制、相机以及定时器等工具。从图像处理工具栏中，添加2个颜色提取工具，并命名为颜色提取红和颜色提取蓝，如图5-27和图5-28所示。图5-26

条码检测结果图5-27

添加颜色提取图5-28

设置颜色提取红对话框项目实施（二）Kimage软件编程

从定位工具栏中，添加2个形状匹配工具，并命名为形状匹配红和形状匹配蓝，如图5-29所示。

颜色提取程序框架结构如图5-30所示。

图5-29

添加形状匹配工具图5-30

颜色提取程序框架结构项目实施（二）Kimage软件编程

通过调节颜色提取的RGB进行颜色提取，提取结果如图5-31所示。

设置形状匹配参数，绑定颜色提取红的输出图像，匹配结果如图5-32所示。图5-31

颜色提取结果图5-32

形状匹配结果项目实施（二）Kimage软件编程5.液位识别添加工具组按钮并命名为液位识别，首先将颜色提取里的PLC控制复制到该工具组，添加光源控制、相机、定时器、光源控制、颜色提取、图像处理、图像处理以及形状匹配等工具，然后在定位工具栏中添加查找特征点，如图5-33所示。图5-33

添加查找特征点项目实施（二）Kimage软件编程

在测量工具栏中添加6个点间距工具，并命名为正常液位、正常液位、正常液位、正常液位、少液位距离和多液位距离，如图5-34所示。图5-34

添加点间距项目实施（二）Kimage软件编程程序框架结构如图5-35所示。

图5-35

液位识别框架结构图5-35

液位识别框架结构项目实施（二）Kimage软件编程

完成形状匹配后，进行找点，完成图像注册，点击正常液位，将找点的坐标绑定在基本参数上面，设置结果判断区间，重复完成上述操作，液位测量结果如图5-36所示。

添加标签，绑定条形码扫描结果，需要把少液位和多液位，瓶盖颜色的不同分别进行标注，具体结果如图5-37所示。图5-36

液位测量结果图5-37

标注结果项目实施（二）Kimage软件编程6.颜色判断添加M模块中的判断，参数设置要引用颜色提取的具体结果，添加工具组，命名为抓取蓝色瓶盖液体，添加四个PLC控制，分别命名为抓取、上升、放置、上升，接下来返回到颜色提取中的拍照位，具体如图5-38所示。图5-38

程序结构项目实施（二）Kimage软件编程7.异常液位抓取与放置

添加M模块，并命名为异常液位抓取与放置，添加工具组，分别命名为少液位抓取与放置、多液位抓取与放置，分别添加四个PLC控制，分别命名为抓取、上升、放置、上升，接下来返回到颜色提取中的拍照位，执行前结果如图5-39（a）所示，执行后结果如图5-39（b）所示。

图5-39（a）

执行前

图5-39（b）

执行后项目实施（三）数据发送

添加工具组，并在工具组中添加用户变量并编辑输出参数，具体如图5-40所示。

设置少液位距离参数和多液位距离参数进行转换，设置判断是否红色对话框，如图5-41，通过计算，得出错误个数。

继续添加保存表格，绑定条形码的识别结果、多液位和少液位的坐标位置、蓝色瓶盖液体的位置以及NG个数，具体执行结果参见图5-42。图5-40

设置参数变量图5-41

设置判断是否红色对话框项目实施图5-42

判断结果显示（三）数据发送图5-43

液体试管识别与分拣完整的程序框架06思考与探索思考与探索1.二维码和条形码有何区别？2.机器视觉在食品与饮品包装领域有哪些应用？举例说明。3.XY标定的方法有几种？4.如何生产PCB测量报表？5.液体试管如何识别？6.根据项目实施完成项目评分表：完成时间

成绩评定

选用相机型号

选用镜头型号

选用光源及参数

主要选用工具

液体试管分拣结果粘贴处：项目实施过程中存在的问题及解决方案：

项目实施完成任务评价表项目评分表类型项目单项分自评得分小组评分教师评分硬件选型、安装及调试（20分）

相机选型正确2

镜头选型合理2

光源选型合理2

光源控制工具运行正常2

视