工业视觉系统应用 课件 项目七-智能车库分类停靠

工业视觉系统应用（项目七/智能车库分类停靠）包头职业技术学院目录学习目标01任务解析02知识链接03核心素养04思考与探索06岗课赛证要求07项目实施0501学习目标学习目标1.了解机器视觉的在智能车库中的应用；2.基本熟悉字符识别的概念、原理及应用。3.熟练掌握工业相机、镜头、光源的工作原理；4.掌握A型车辆入库占位判断参数设置方法；5.掌握智能车库分类停靠的编程及应用。1.树立理论与实践相结合的学习意识；2.养成规范操作、精益求精的岗位素养；3.提高安全意识、高效意识、节能环保意识；4.树立智能化管理、服务地方的专业理念

1.能够熟练完成相机、镜头、光源的选用和安装；2.能够熟练完成2D、3D的标定；

3.完成智能车库测量的参数设置；4.会进行智能车库程序的编写及应用；5.会进行智能车库测量数据的绑定和显示。

分析智能车库需搬运车的类型，对需搬运车辆进行分类。按照实施流程先完成C库和B库车辆的搬运，总结实施过程中出现的错误，完全掌握后，完成A库车辆的搬运。

在A库车辆搬运时，需要考虑A库车位的占位情况，再进行搬运。单步运行无误后，再进行整体程序联调。知识目标能力目标学习策略素养目标02任务解析/任务解析（一）样品规格说明

车辆模型说明：提供待搬运车辆模型三种规格，分别为：5个小型车辆（尺寸20mmx10mmx3mm），2个中型车辆（尺寸20mmx10mmx9mm），2个大型车辆（尺寸20mmx10mmx18mm）。其中，小型车辆表面贴有字符及数字标签信息，中型和大型物料上表面没有贴标，侧面箭头方向指向上方（指示信息是为告知车辆摆放姿态，不要求做识别），如图7-1所示。

车库布局如下图所示：分为A、B、C三个区，A区有1-5号车位，用于放置小型车辆；B区有B1和B2两个车位，用于放置中型车辆；C区有C1和C2两个车位，用于放置大型车辆，每种类型的车辆必须搬运到对应区域的车辆放置位，如图7-2所示。/任务解析（二）智能车库任务分析车库的初始状态为：5个小型车辆、2个中型车辆、以及2个大型车辆随机摆放在检测区。通过程序识别、定位和判断后，5个小型车辆分别放入A区车位中（摆放顺序无要求，车辆与车辆之间互相不得堆叠，堆叠则判定堆叠区所有车辆入库任务失败），2个中型车辆分别放入B区车位B1和B2中，2个大型车辆分别放入C区车位C1和C2中。（三）各个拍照位的硬件选型要求1.大中型车辆要求用3D测量模块，测量出中型、大型车辆的高度信息；2.小型车辆2D相机要求像素精度为0.1mm，视野大小要求：230mm*192mm，工作距离要求：370mm（工作距离范围允许一定偏差，最大不得超过±25mm），检测区必须在光源范围内。/任务解析（四）警示、显示和保存的要求1.警示要求在搬运大中小型车辆的过程中，点亮红色报警灯，搬运流程完成后，熄灭红色报警灯。2.界面显示窗口一显示初始状态（搬运前）检测区中所有小型车辆的中心坐标，中型和大型车辆的高度值和中心坐标；窗口二显示2D相机的初始拍照位图像（车辆搬运前）；窗口三显示车辆分拣完成后的车位2D图像。3.数据保存识别出小型车辆的标签信息、中型车辆的高度信息、大型车辆的高度信息，并将信息保存到指定文件中。03知识链接知识链接（一）字符识别的原理机器视觉字符识别，也被称为OCR（OpticalCharacterRecognition）技术，是机器视觉领域的一个重要组成部分。OCR技术主要利用图像处理和模式识别的方法，从扫描文档、图像或视频帧等来源中自动提取文本信息。字符识别的原理主要包括以下几个方面：1.光学字符识别技术（OCR）2.计算机视觉技术3.深度学习技术知识链接（二）字符识别的步骤字符识别通常通过一系列步骤来实现，主要包括图像预处理、特征提取和分类识别。以下是一个基本的字符识别实现流程。1.图像预处理2.特征提取3.分类识别04核心素养核心素养（一）智能车库智能车库是一种应用高科技技术管理车辆的停车系统，它利用机械、电子、传感器等技术，实现自动化存取车辆。我国智能车库的发展正在持续进行中，并且随着科技的进步，它正变得越来越智能化和自动化。1.智能化和自动化2.远程管理3.空间利用率最大化4.环保节能5.安全性和保护6.数据分析与优化

核心素养（二）视觉技术在智能车库中的应用视觉技术在智能车库中的应用十分广泛，主要体现在以下几个方面。1.车辆检测与识别2.车位检测与管理3.障碍物检测与避障4.导航与停车辅助5.数据分析与优化

05项目实施项目实施智能车库分类停靠实施思维导图项目实施（一）硬件选型及安装1.相机选型本项目中由于不需要采集颜色信息，故而选用黑白2D相机A或B。项目要求2D相机要求像素精度为0.1mm，视野大小要求：230mm×192mm。视野范围长宽比为：，相机A图像传感器长宽比为：，相机B图像传感器长宽比为：。若选用相机A，则应以宽度方向计算像素精度，即像素精度为：不符合选型要求。若选用相机B，则应以长度方向计算像素精度，即像素精度为：符合选型要求。故选择黑白2D相机B。根据项目要求，需要定位并测量出中大型车辆的高度信息，因此需要对中大型车辆进行3D检测。根据设备所提供的相机，选择唯一一款3D相机。项目实施2.工业镜头计算与选型1）像长的计算根据相机的选型，黑白2D相机B的像元尺寸为3.45um，像素为2448×2048，因此根据像长计算公式：像长

L（mm）=像元尺寸（um）×

像素（长、宽）L1

=3.45um×2448≈8.45mm

L2

=3.45um×2048≈7.07mm

黑白2D相机内部芯片的像长L的长和宽分别为8.45mm、7.07mm。项目实施2）焦距的计算在选择镜头搭建一套成像系统时，需要重点考虑像长L、成像物体的长度H、镜头焦距f以及物体至镜头的距离D之间的关系，物像之间简化版的关系为：

根据任务的要求，视野大小要求：230mm*192mm，工作距离要求：370mm（工作距离范围允许一定偏差，最大不得超过±25mm），取工作距离的最大值395mm为机械零件至镜头的距离D，因此在焦距的计算中需要分别对长和宽进行计算。f1=8.45mm×395mm÷230mm≈14.51mm

f2=7.07mm×395mm÷192mm≈14.55mm项目实施HN-P-2528-6M-C2/3工业镜头参数3）工业镜头的选型根据焦距计算公式，计算得出长边焦距f等于14.51mm，短边焦距f等于14.55mm，并考虑到实际误差、工业镜头±5%的焦距微调区间以及任务要求中允许的10mm视野范围正向偏差，故选择的镜头焦距f应小于14.51mm，根据设备所提供的3种镜头，选择型号为HN-P-1228-6M-C2/3焦距为12mm的镜头。

型号HN-P-1228-6M-C2/3靶面尺寸2/3"支持像元尺寸（μm）最小

2.4焦距（mm）12±5%光学总长（mm）55±0.2法兰距（mm）17.526±0.2光圈范围（F数）F2.8-F16视场角（H×V）39.00°×29.92°（47.50°）像质

光学畸变±1.2%TV畸变0.51%聚焦范围0.1m—∞前螺纹M27×P0.5-7H接口C口尺寸（D×L）（mm）Φ33.0×41.2（不含螺纹）项目实施3.光源选型因为需要识别小型车辆表面字符信息，且车辆模型不透光，所以选择从上方打光，根据小型车辆尺寸选择使用小号环形光源。根据项目要求，需要定位并测量大中型车辆体积，并按要求执行入库操作，故需添加3D手眼标定工具，实现3D图像坐标与机构坐标的转换。3D手眼标定操作中又需查找标定板中的特征点，为提高定位的精度、减少外界干扰，故选择安装平行背光源，使拍摄的图像更加清晰、精度更高。4.硬件安装接线将相机、镜头、光源、治具等在合理位置安装，保证安装稳固，镜头与相机连接螺纹圈须拧紧；镜头调试好之后，用顶丝锁紧对焦环及光圈环；记录硬件的安装参数等结果。完成相机、光源、旋转轴等电路接线，完成气路的连接，走线正确规范、整洁、牢固；物理接口选择正确。项目实施（二）新建智能车库项目打开KImage软件，点击新建项目图标，在产品名称中输入“智能车库”，点击新建按钮，如图7-4所示。（三）智能车库程序框架完整的智能车库视觉程序应包括：3D标定、3D相机采图、判断条件、表面拟合、分支、车辆入库等一系列软件操作。为方便程序的阅读和编写，在视觉程序中设置了一个回零工具组、一个标定模块、一个主程序模块和一个回零工具组。智能车库整体流程图，如图7-5所示。项目实施（四）回零程序开始前首先需要使设备回零，所以添加一个PLC控制，利用PLC控制工具将X、Y、Z三轴回零点，如图7-6所示。（五）标定智能仓储视觉程序中，包括3D标定和2D标定。在智能仓储视觉程序中，添加了一个3D标定工具组和一个2D标定工具组，如图7-7所示。项目实施1.3D标定3D标定工具用于实现标定图像的拍摄、仿射矩阵的变换及像素坐标与世界坐标的转换功能，按照操作的顺序需要依次用到拍照位的PLC控制、3D相机、点云处理、查找特征点、3D坐标获取、3D手眼标定等工具，如图7-8所示。2.2D标定2D标定工具用于实现标定图像的像素坐标与世界坐标的转换功能，按照操作的顺序需要依次用到拍照位的PLC控制、开启光源、相机、定时器、关闭光源、查找特征点、N点标定等工具，如图7-9所示。项目实施（六）主程序车辆入库为单独的模块，独立于标定工具组外可反复执行，而标定工具仅需内单部执行一次即可。车辆入库模块包括车辆入库前、窗口显示、大中型车辆入库、小型车辆入库、分拣、数据处理等6个工具组，如图7-10所示。1.初始状态车辆入库前初始状态，添加了车辆入库前工具组和窗口显示模块两部分，如图7-11所示。项目实施1）车辆入库前工具组需添PLC控制、开启光源、相机、定时器、关闭光源等，如图7-12所示。根据任务的要求，窗口二显示2D相机的初始拍照位的图像，如图7-13所示项目实施2）窗口显示窗口显示需添加小型车中心坐标、表面拟合、高度判断等，根据项目要求窗口显示小型车中心坐标、中大型车高度信息，如图7-14所示。窗口一显示初始状态（搬运前）检测区中所有小型车辆的中心坐标，中型和大型车辆的高度值和中心坐标，如图7-15所示。项目实施2.大中型车辆入库大中型车辆入库需添加：大中型车辆判断、表面拟合、判断条件、大型车辆分支、中型车辆分支、抓取与放置等，工具组如图7-16所示。1）大中型车辆判断大中型车辆判断工具组需添加：PLC控制、3D相机、点云处理、大型车辆体积测量、中型车辆体积测量体积测量、用户变量、3D坐标转换、累加工具，如图7-17所示。项目实施2）表面拟合表面拟合用于拟合基准平面，表面拟合完成后只需提供数据即可，不需要和其他工具一起反复执行。因此，在大中车辆判断中单独添加了一个表面拟合工具组，工具组中仅添加表面拟合工具，如图7-18所示。3）判断条件判断条件需要关联大中型车辆判断结果，击判断条件关联符号，如图7-19所示；跳转至下一界面：点击变量引用，点击流程图，点击主程序，点击大中型车辆入库，点击大中型车辆高度判断的结果，如图7-20所示。项目实施4）大型车辆分支大型车辆分支绑定完成之后的结果，中型车辆分支同样操作，如图7-21所示。5）大型车辆抓取与放置大型车辆抓取与放置工具组需添加PLC控制，主要功能包括：报警灯亮、抓取、上升、放置、上升、报警灯灭，如图7-22示。中型车辆分支、中型车辆抓取与放置参考大型车辆执行。项目实施3.小型车辆入库小型车辆入库需添加A1库占位判断、判断条件、A1库车辆定位、A1库车辆抓取与放置等工具组，如图7-23所示项目实施1）A1库占位判断A1库占位判断需添加：拍照位、光源开、相机、定时器、光源关、形状匹配，如图7-24所示。2）判断条件判断条件需要关联A1库判断结果。点击判断条件关联符号，如图7-25所示。跳转至下一界面：点击变量引用，点击流程图，点击主程序，点击小型车辆入库，点击A1库占位判断结果，如图7-26所示。项目实施3）A1库车辆定位A1库车辆定位工具组，需添加：拍照位、光源开、相机、定时器、光源关、形状匹配，如图所7-27示。4）A1库车辆抓取与放置A1库车辆抓取与放置需添加PLC控制，主要功能包括：报警灯亮、抓取、上升、放置、上升、报警灯灭，如图7-28所示。A1库判断入库完成，剩余4个位置按A1库程序循环执行。项目实施4.最终状态车辆入库