工业视觉系统应用技术 课件 第七章 图像识别与定位

工业视觉系统应用技术

第七章图像识别与定位

学习目标掌握工业视觉系统在检测中的目标识别、精确定位与标定等应用，通过实战案例完成从需求分析到完整解决工程问题的全流程设计；掌握从原理到选型、从设计到集成的核心逻辑，培养以工程思维解决实际问题的能力。工业视觉识别与定位技术1以微电子芯片制造为例：在芯片制造的复杂工艺流程中，视觉系统能够清晰地分辨出芯片上极其微小的电路图案；对芯片的微观电路结构进行高精度的识别、精准定位需要进行加工或检测的区域；通过快速读取产品二维码、条形码或其他标识信息，准确识别型号、生产批次、生产日期等关键数据，实现了对生产过程的全程追溯，为生产流程的自动化管理提供了有力支持。未来，工业视觉系统将借助深度学习与人工智能技术的深度融合，实现质的飞跃，具备自主学习和优化检测功能，灵活高效地自动适应不同的生产场景和产品变化；实现生产过程的全面检测和数据共享与交互，为企业的智能化生产转型注入强大动力，推动制造业向智能化、高效化、精细化方向迈进。2图像识别条码识别用于定位和识别指定区域内的条码条码识别模块支持CODE39码、CODE128码、库得巴码、EAN码、交替25码以及CODE93码等多种编码标准。二维码识别视觉二维码识别是一种利用图像处理技术来解码和读取二维码的信息的过程。二维码识别算法运行过程包括图像处理、二维码定位、图像矫正和解码等操作。字符识别字符识别工具主要用于自动识别和处理物品上的文字、数字和字符等，将图像中的这些字符信息转化为可编辑的数字文本。字符识别算法模块主要包括字符训练和字符识别两个核心部分，字符训练是构建一个高效字符识别系统的基础步骤，为系统提供所需的数据和模型。样例训练时应该尽可能覆盖所有可能出现的字符类型和字体风格，提高字符样例的一致性和质量，便于更准确地提取字符图像中的关键特征。3定位与标定图像定位是指通过分析图像数据来确定物体或特定特征在图像中的位置。常用的方法有模板匹配、特征匹配和位置修正等。图像标定（或称为相机标定）是指通过数学模型来校正图像（及相机）的内部参数（如焦距、光学中心）和外部参数（如位置、姿态），以去除图像中的畸变并获得准确的空间尺寸和形状。常用的方法有标定板标定和N点标定等。模板匹配模板匹配是一种在图像处理中用来查找和识别图像中与模板图像相匹配区域的技术。位置修正位置修正是一个辅助定位、修正目标运动偏移、辅助精准定位的工具，在识别或测量过程中，根据模板匹配结果中的匹配点和匹配框角度建立位置偏移的基准，针对误差或偏差对对象的位置进行调整。标定标定板标定是一种常见的相机校准方法，其主要目的是通过标定板上已知的几何特征（如棋盘格、圆点、或特定图案）来计算相机的内参和外参。棋盘格的特征点易于利用视觉算法检测且分布模式规则，拍摄时要确保棋盘格在图像中清晰可见，并覆盖图像的大部分区域。利用特征识别算法检测棋盘格的角点图像坐标，根据图像坐标位置和物理坐标拍摄时位置（即棋盘格实际尺寸或实际物理位置），计算相机内参数（如焦距、光学中心）和镜头畸变系数（径向和切向畸变），输出图像坐标系到物理坐标系的转换关系（即标定文件）。得到转换关系后，就可以将图像中标定板平面上的像素点坐标转换到对应的标定板的物理坐标系中。在工业检测中，标定相机可用于细致的缺陷检测和尺寸测量。同时，视觉标定也适用于多种计算机视觉任务的校准任务。例如，使用相机标定得到的畸变系数来校正原始图像中的畸变点,用于校正镜头畸变。4实战案例四：物料颜色分选项目需求分析在相机视野（50*30mm、精度约0.05mm）内放置不同颜色的物料，通过视觉系统准确识别对应物料颜色，分类并输出对应的位置坐标给上位机等通信设备，可以搭配机械手实现不同颜色物料的定位抓取功能（操作预留空间150~200mm）。硬件方案设计（1）相机选型计算长边像素数量为50÷0.05=1000，短边像素数量为30÷0.05=600，精度余量按照3倍计算，得出相机的长边像素数量为3000，短边像素数量为1800。选择3072×2048（600万）像素的相机MV-CS060-10GC（2）镜头选型根据镜头焦距计算公式计算得出镜头焦距约为22.11mm，选择匹配的镜头型号为MVL-HF2524M-10MP（3）光源选型结合定位逻辑选择低角度环形光源MV-LRDS-H-120-30-W，以约120～130mm高度进行架设。视觉流程设计1）图像采集2）创建产品匹配模板项目现场在拍摄时会随机出现多个不同颜色的产品，可以在视觉流程中利用组合模块，对视野内出现的所有目标逐个循环检测。3）颜色识别设置颜色模型，逐一添加所有需要识别的色彩模型视觉程序根据预设的颜色模板能够正确识别并显示拍摄视野内所有产品的对应颜色。最后，利用通讯模块将数据输出给上位机或机械手等设备，引导设备完成分拣抓取。5实战案例五：电容OCR字符识别项目需求分析具体检测需求如下：产线上电容器随机摆放，视觉系统能准确捕捉产品并正确识别产品上打印的产品编码和日期等字符；字符识别区域范围约为120mm*100mm，字符特征最小打印宽度为0.5mm；产线检测速度要求为每秒需要检测不少于10件产品；视觉系统能够实现异常剔除，可识别打印不清、残缺、倾斜、反码等不符合打印要求的产品硬件方案设计（1）相机选型根据视野大小（120mm*100mm）和定位精度±0.5mm的要求，进行面阵相机的选型。精度余量按照2倍计算，得出相机的长边像素数量为1920，短边像素数量为1600。经过综合评估，选择MV-CS050-10GM（500万像素）相机。相机型号MV-CS050-10GM传感器类型CMOS，全局快门像元尺寸3.45μm×3.45μm分辨率2448×2048靶面尺寸2/3''图像颜色黑白（2）镜头选型根据镜头焦距计算公式计算得出，镜头焦距约为24.63mm。结合现有镜头型号，选择匹配的镜头型号为MVL-MF2518M-5MPE。（3）光源及视觉硬件架设鉴于电容表面反光特效和表面打印的字符特征，综合考虑产品表面特性，选择MV-LGSS-175-W穹顶光源，有助于消除表面成像阴影和反光。视觉流程设计1.特征匹配模板和位置修正2.形态学处理添加形态学工具模块，对图中待识别的字符区域进行运算处理3.字符识别4.发送字符识别信息6实战案例六：PCB板综合检测项目需求分析正确读取电路板上印刷的产品ID和二维码信息；识别并判断电路板载元件有无漏插、错插，通过元件漏插筛查，剔除不良品；识别并对电路板元件进行定位测量，控制元器件的贴装位置准确性；根据所有检测内容，对PCB板进行综合检测合格判定。硬件方案设计硬件方案设计过程略，具体内容可参考案例一、案例五。视觉流程设计1.标定板标定视觉项目中需要进行定位测量，首先进行视觉标定操作。2.标定验证在完成相机标定之后，验证标定结果是确保准确性的一个关键步骤，通过视觉标定的验证过程，可以有效识别和修正潜在的标定误差。3.模板匹配位置修正4.PCB字符识别5.二维码读码6.工件缺失漏插检测利用BLOB分析模块工具实现PCB上元件的漏插检测根据图像特征选择阈值方式、BLOB个数等参数，可以通过面积使能功能筛选识别目标（如剔除一些较小的图像干扰）根据工件插装数设定BLOB个数，符合结果范围则模块状态为OK，否则输出