《机器视觉技术及应用》高职全套教学课件

机器视觉系统应用项目一：象棋图像采集视觉环境搭建项目1象棋图像采集视觉环境搭建项目2商品码制识别项目3电子元器件字符识别项目4器件缺陷检测项目5机械零件尺寸测量项目6彩色物块定位识别项目7饮料瓶盖识别项目8乳制品字符缺陷检测全套可编辑PPT课件

考核规则考核方式平时考勤10%签到+回答问题网络资源学习20%项目实践30%课程设计40%了解机器视觉系统定义、功能和应用掌握机器视觉系统的构成掌握机器视觉算法平台的使用具备视觉系统搭建的综合能力具备项目思维和迁移创新的能力树立技术强国和精益求精的信念学习目标实践和小结项目0造车项目1象棋图像采集项目0造车–项目描述“你作为一个科技公司董事长，突然接到一位朋友的电话，他说，“X总，你们被美国制裁了。”这个消息有如晴天霹雳，董事会上有董事提出：“如果受制裁影响不能造手机，能不能造车呢？”你将要如何造车呢？”技术强国项目0造车–项目实施实施步骤前期调研方案设计实际生产与改进调研公司->调研报告用户访谈讨论会核心技术自研具体方案讨论猜猜看上述哪个步骤会用到机器视觉系统呢？项目0造车–机器视觉系统定义机器视觉系统机器视觉就是用机器代替人眼来做测量和判断。机器视觉可以对所制造的部件和产品进行检测、测量和分类，从而大大增加工业自动化的效能和灵活性。请观看视频，找出其中哪里用到了机器视觉系统？项目0造车–机器视觉系统功能可以代替人眼识别，并指出缺陷，准确率超过99.9%。对不同类型、形状和尺寸的元件的快速识别检测可精确测量车身外覆盖件匹配处的间隙和面差，实时监控测量数据，指导前期装配工艺和后期返修工艺测量识别确定工件视觉坐标点，自动上料机器人完成车门抓取并搭建定位项目0造车–机器视觉系统功能提供部件追踪所需的持续准确高速读取ID信息：基于深度学习的OCR算法能适应复杂背景、低对比度、变形等字符的识别；一维码、二维码识别算法能够识别多种制式、不同位置、角度、光照的信息码，有效克服图像畸变带来的影响。识别项目0造车–机器视觉系统功能高效定位工具匹配工具，能够克服样品平移、旋转、缩放和光照不同所带来的差异，快速准确查找圆、直线、斑点、边缘、顶点等几何体的位置。提供位置信息和有无信息，可以应用于机器人引导和其它视觉工具中。定位项目0造车–机器视觉系统功能准确识别工件表面、形状、轮廓的缺陷：基于深度学习技术能检测细小的表面划痕、斑点，可克服工件表面纹理、颜色、噪点干扰；精确检测工件形态和轮廓缺陷，可克服毛刺、颜色、噪点的干扰。可靠的标准件比对工具，定位出工件微小差别。检测项目0造车–机器视觉系统功能3D测量不仅可以获取物体的平面尺寸，并且可以基于深度图及轮廓图实现平整度、段差、间隙、体积、夹角计算等功能。测量项目0造车–本课程配套项目项目二:商品码制识别项目三:电阻元器件字符识别项目六:彩色物块颜色识别与计数项目七:饮料瓶盖识别识别与定位配套项目检测配套项目项目四:边缘缺陷检测测量配套项目项目五:机械零件尺寸测量项目八:物流包裹测量项目0造车–机器视觉系统行业应用3C电子食品医药物流行业集成电路在产业链的某些环节，对产品身份ID信息进行识别确保食品包装正确装配、无缺陷且完整智能立体相机搭配机器人，引导机器人全时高效抓取检测IC芯片或PCB电路板的几何尺寸项目1象棋图像采集–项目描述“假设你负责了一个象棋生产厂家的机器视觉项目，检测所生产的象棋是否符合质量要求，那么如何搭建象棋图像采集系统呢？如何采集象棋图像？”163项目1象棋图像采集–机器视觉系统组成机器视觉与人类视觉的对比Visionmaster软件项目1象棋图像采集–机器视觉系统组成机器视觉系统组成典型的机器视觉系统主要包括相机、镜头、光源、图像采集卡（模拟相机）、视觉处理器/视觉软件、控制单元、执行机构及其他视觉配件。工件传感器LED光源产线PCPLC

执行机构工业相机镜头

光源控制器工业相机视觉系统（PCBase）项目1象棋图像采集–机器视觉系统组成工业相机：属于成像器件，工业相机按照其使用的CCD器件可以分为线阵式和面阵式两大类相机线阵相机面阵相机项目1象棋图像采集–机器视觉系统组成镜头的主要性能指标有焦距、光圈系数、倍率、接口等。根据被测目标的状态应优先选用定焦镜头。镜头选择应注意：焦距、目标高度、影像高度、放大倍数、影像至目标的距离、中心点等。选型时还应考虑镜头与相机的接口对应问题。镜头项目1象棋图像采集–机器视觉系统组成作为辅助成像器件，对成像质量的好坏往往能起到至关重要的作用。LED光源使用较为广泛，包括环形光源、背光源、条光、同轴光等。光源项目1象棋图像采集–机器视觉系统组成视觉处理器是机器视觉系统的控制中心，它通过光源接口调节视觉光源的亮度，通过网口接收工业相机传输过来的图像数据，通过内置的图像处理软件进行数据分析，然后将判定结果或数据通过IO接口、串行接口或网口传输至控制机构，由控制机构对检测对象作进一步处理。视觉处理器项目1象棋图像采集–项目方案设计项目1象棋图像采集–项目实施固定法兰座，安装延长杆拼接相机支架组装相机镜头固定相机接数据线束安装环境光源步骤1硬件搭建项目1象棋图像采集–项目实施安装机器视觉工业相机客户端MVS安装VisionMaster软件步骤2软件搭建项目1象棋图像采集–项目实施插好加密狗打开光源开关把象棋放在视觉检测区域内进入VisionMaster软件界面创建通用方案将采集子工具箱中的“图像源”工具拖拽到流程编辑区域步骤3图像采集项目1象棋图像采集–项目实施双击“0图像源1”进入参数设置界面，单击关联相机右下角的小三角符号，选择“1全局相机1”步骤3图像采集项目1象棋图像采集–项目实施点击快捷工具条上的连续执行工具，在连续执行的情况下,先把光圈调到2.8，然后进入关联相机的“相机管理”界面，对“全局相机1”的曝光时间进行调整。点击“曝光时间”后会出现拖动条，左右拉动拖动条可以减少或增加曝光时间，观察曝光时间长短对图像的影响步骤3图像采集项目1象棋图像采集–项目实施选取一个亮度较合适的曝光时间，然后调节镜头的对焦环（如图1-42所示）。可以通过滚动鼠标中键将图像显示区域的图像放大后，观察过渡像素的多少来进行评估。当过渡像素最少时，图像最清晰，锁紧对焦环，点击“停止执行”步骤3图像采集

精益求精项目1象棋图像采集–项目实施对焦环调整后，再对曝光时间进行微调整，使图像的亮度均匀，对比度高，图像采集结果如图所示步骤3图像采集

项目1象棋图像采集–项目实施将采集子工具箱中的“输出图像”工具拖拽到流程编辑区域，并与“0图像源1”相连双击“2输出图像1”进入参数设置界面，按照右图设置参数，然后点击“执行”、“确定”，之后，点击快捷工具条上的单次执行工具得到单张图像点击“文件”菜单下的“保存方案”，选择好保存路径，输入文件名，保存程序步骤4图像保存

实践和小结机器视觉系统定义、功能和应用机器视觉系统的构成象棋图像采集系统课后作业今日作业智慧职教上传今日采集的图像除了VisionMaster视觉软件外，上网搜索一下，还有哪些常用的机器视觉图像处理软件？谢谢聆听机器视觉系统应用项目2：商品码制识别作业项目分析项目实施项目2商品码制识别–项目领取“对商品包装盒上的条形码和二维码进行识别，视觉设备与工控机的安装位置为10m，系统检测精度为0.25mm，商品尺寸为120mm×55mm，工作距离为300mm。项目要求”项目2商品码制识别–项目调研图像采集码制识别相机成像的原理相机的类型和选型码制识别的应用码制发展的历史码制识别的原理项目2商品码制识别–项目调研相机的选型选择工业相机通常会考虑相机的类型、参数、品牌和性价比。用户需求相机的类型线阵相机和面阵相机黑白相机和彩色相机2D相机和3D相机CCD和CMOS相机其他特殊类型相机的参数分辨率帧率像素深度数据接口镜头接口触发方式相机的品牌和性价比项目2商品码制识别–项目调研相机的类型-线阵相机vs面阵相机面阵相机可直接获取图像，测量图像更快更直观，系统简洁易用，一般场景都能满足；线阵相机优势体现在更大的视野和更高分辨率，常应用于一维动态目标的测量，但其图像获取时间长，系统复杂，成本高。线阵相机面阵相机项目2商品码制识别–项目调研相机的类型-黑白相机vs彩色相机感光芯片中的黑白像元和彩色像元的区别仅仅在一个颜色滤镜真彩色相机每个像素由三个像元组成，3个像元分别装上RGB三种滤镜，就能得到三种光的亮度。合成即可得到彩色照片。项目2商品码制识别–项目调研相机的类型-黑白相机vs彩色相机伪彩色相机每个像素装上不同颜色的滤镜，每个像素的颜色，由周边的颜色一起合成。滤镜颜色的排列方式，一般采用byer色彩滤波阵列。每个绿点的四周，分布着2个红点、2个蓝点、4个绿点,因为研究显示人眼对绿色最敏感。项目2商品码制识别–项目调研相机的类型-黑白相机vs彩色相机什么时候用黑白相机，什么时候用彩色相机？通常机器视觉项目都选用黑白相机，只有实现的需求要求彩色图像时才会考虑彩色相机因为在工业相机应用里，彩色图像一般是以Bayer格式传输，最后再转变成RGB24的格式。对应每个像素，它的RGB色彩分量需要从附近的点来补充，这就导致，图像边缘处会出现伪彩色，精度会下降。因此，很多视觉工具都是在黑白图像上进行处理，同时黑白相机使用单色光源，成像质量也要优于使用复合白光的彩色相机。项目2商品码制识别–项目调研相机的类型-CCD相机vsCMOS相机项目2商品码制识别–项目调研相机的类型-CCD相机vsCMOS相机CCD传感器仅有一个（或少数几个）输出节点统一读出，电子沿着CCD的每一行向下移动，最终到达末端进行统一转换电压。适合固定样品成像，不可并行读取，缺乏速度和灵敏度。需要外加电压驱动电荷移动，耗电高，集成度低。光子读出寄存器输出节点想象一下，一个只有一个出口但有数百万个座位的剧院项目2商品码制识别–项目调研相机的类型-CCD相机vsCMOS相机CMOS传感器每个像素都有自己的读出电路，即电容器和放大器，这意味着光子被像素转换为电子，然后电子在像素上立即转换为可读电压。处理数据的速度比CCD快得多，甚至CMOS相机的寻址选通开关可以随机采样，实现子窗口输出由于每个放大器很难同步放大，噪声较多。由于其他元件的存在，感光度低于CCD。结构集成度高，价格便宜项目2商品码制识别–项目调研相机的类型-CCD相机vsCMOS相机CCDCMOS成像过程单一或少数几个放大器每个像素一个放大器噪声低高集成性低高传输速度慢快耗电量高低感光度高低快门只支持全局快门支持卷帘快门和全局快门项目2商品码制识别–项目调研相机的类型-CCD相机vsCMOS相机什么时候用CCD相机，什么时候用CMOS相机？选择CCD场景：对成像质量要求很高的场景，如专业摄影、航空航天、生物医学等领域。选择CMOS：需要快速采集图像，需要低成本、低功耗和高集成度场景，如工业自动化、机器人视觉、无人驾驶、医疗影像、瑕疵检测等领域。项目2商品码制识别–项目调研相机的类型-2D相机vs3D相机什么时候用2D相机，什么时候用3D相机？2D适用于需要二维特征信息，精度要求不高的场景，一般来说目标物体有序平铺且对成本有一定要求3D适用于需要三维信息如形状、体积、表面角度等，精度要求高的场景。项目2商品码制识别–项目调研相机的类型-其他特殊类型智能相机系统（嵌入式系统）：将相机、图像处理模块、处理器、存储器、通讯模块等集成于一体，具有结构紧凑、集成度高、性能稳定、故障率低等特点。可以直接在生产线上使用，无需额外的计算机支持，易于使用和安装。但由于硬件结构限制，通常只能处理1-2台相机的图像数据，程序开发也不够灵活。PC-Based系统：主要由个人计算机（PC）、光源、镜头、相机、图像采集卡以及图像处理软件等组成。结构相对复杂，但具有更高的灵活性和可扩展性，方便二次开发。能处理多个相机图形数据，实现复杂的图像处理算法，适用于高速度和高精度场景。但由于对PC的依赖程度较高，需要较高技术水平进行开发和维护。光谱响应描述了相机对不同波长光线的敏感程度。在选择相机时，需考虑光源的波长范围以及所需检测的目标特征，例如，在某些特殊光照条件下，如红外或紫外光检测，需要选择具有相应光谱响应特性的相机。项目2商品码制识别–项目调研相机的参数-相机的分辨率选择工业相机的分辨率时，需要根据测量对象的特征和测量精度要求来计算所需的像素数量。分辨率越高，能够捕捉到的细节越丰富，尺寸测量的精度越高，但也会增加数据处理量和成本，因此需要在成本和测量需求之间找到平衡。

项目2商品码制识别–项目调研相机的参数-相机的帧率帧率表示相机每秒捕获的图像数量（FPS或者Hz）。高帧率相机适用于快速运动物体的捕捉和分析。高帧率产生更多的数据，需要更高的数据传输带宽。项目2商品码制识别–项目调研相机的参数-相机的像素深度像素深度决定了图像的色彩范围和灰度级别。常见的有8bit、10bit、12bit。分辨率和像素深度共同决定了图像的大小。例如对于像素深度为8bit的500w像素图片，整张图的大小=2560*2048*8/8/1024/1024=5MB在需要高质量图像处理的场合，如颜色检测与识别，应选择高像素深度相机。项目2商品码制识别–项目调研相机的参数-相机的数据接口供业相机常用的数据接口包括千兆网（GigE）、USB3.0和CameraLink等，接口不同会影响采集速度；选择和接口相同的图像采集卡，GigE就配千兆网卡，

CameraLink

就配CameraLink卡；还需考虑相机的供电方式以及与其他设备的兼容性。项目2商品码制识别–项目调研相机的参数-相机的镜头接口相机的接口用于连接相机和镜头，主要有C口，CS口，F口，选择匹配的镜头接口即可。项目2商品码制识别–项目调研相机的参数-相机的触发方式软触发：通过相机内部的软件程序进行拍照操作，无需任何物理设备即可采集图像，适用于需要实时调整相机参数（如曝光时间、增益等）的场景。硬触发：通过物理装置手动触发相机进行拍照操作，适合需要人工干预且要求控制更为精准的应用：如质量检测、安全监控、机器人抓取、装配和焊接等场景。外部触发：通过外部信号或者传感器来触发相机进行拍照操作，适用于复杂环境下的定位、辨识、跟踪，也适合多相机同步拍摄。定时触发：通过相机内部设置时间间隔的方式来进行拍照操作，适合长时间监测任务和周期性数据采集场景。项目2商品码制识别–项目调研相机的品牌品牌在选择工业相机时的重要性不容忽视，它直接关系到相机的性能、质量、售后服务以及用户的使用体验。选知名公司的产品：知名品牌通常拥有先进的技术研发能力、严格的质量控制体系和较好的售后服务支持。选具备技术创新能力的公司：这样的公司或许不出名，但其通常有强大的研发团队和创新能力，能够不断推出新技术、新产品，满足市场的不断变化和发展。选虽不知名但却有用户口碑与信誉的公司：业内不乏专注产品力的公司，他们通过稳健的产品能力和售后服务能力在业内积累了良好口碑，可参考其他用户评价和反馈了解口碑和信誉。项目2商品码制识别–项目调研以海康为例如何选择相机项目2商品码制识别–项目调研码制识别的应用Q：生活中你在哪些场景用到了码制识别？在零售与支付、营销与广告、物流与仓储、教育与培训、媒体与娱乐、工业制造、医疗健康、农业与食品安全等方面，条码与二维码的应用无处不在，极大地提升了数据采集和信息管理的效率，改变了人们的生活方式。项目2商品码制识别–项目调研码制识别的历史–条形码19491949年美国乔·伍德兰德、伯尼·西尔沃发明了第一个条形码专利激光的出现为条码识别奠定了基础第一个标有通用产品代码（UPC）的产品被扫描条形码引入中国以便出口商品中国物品编码中心成立1960197419781988为数字中国建设注入新动力项目2商品码制识别–项目调研码制识别的原理–条形码条形码(barcode)是将宽度不等的多个黑条和空白，按照一定的编码规则排列，用以表达一组信息的图形标识符。编码原理：条码编码基于宽度不同的线条和空白组合，代表二进制数据，通过特定算法转换成数字或字符，实现信息存储和传输。项目2商品码制识别–项目调研码制识别的原理–条形码类型：国际广泛使用的条码种类有EAN（商品条码）、UPC码（商品条码）、Code39码（可表示数字和字母，在管理领域应用最广）、ITF25码（在物流管理中应用较多）、Codebar码（多用于医疗、图书领域）、Code93码、Code128码等等项目2商品码制识别–项目调研码制识别的历史–二维码二维码，是用某种特定的几何图形，按一定规律在平面（二维方向上）分布的、黑白相间的、记录数据符号信息的图形。1994年，日本电装公司（DensoWave）正式宣布公开首个QRCode。大容量、读取速度快、能处理汉字，拥有这些特性的QR码已成为世界主流的二维码技术标准。伴随着移动互联网的发展，第一个内置二维码扫描仪的手机在2002年生产，二维码开始成为网络生活重要的一部分无论从哪个方向切入都是1:1:3:1:1的黑白宽幅比率在二维码中，白色的小方块代表0，黑色的小方块代表1项目2商品码制识别–项目调研码制识别的原理–二维码堆叠式：传统条码在垂直方向上堆叠。堆叠式二维码由在一个矩形中按垂直方向堆叠的许多条码组成。普通激光扫描仪可读取堆叠式二维码，只要激光可穿透堆叠的所有条码。但是，位移不能超过±10°。（只有安装能读取二维码的软件的激光扫描仪能读取二维码）。矩阵式：数据在一个复杂图案中分布为白色和黑色模块。矩阵式二维码由一个方格网中排列的小方块或点（称为“模块”）组成。它们具有方框、L形框或位置探测图案（用于可靠地探测位置）。集成了二维CCD的相机或读取器可通过图像处理技术对模块排列进行解码。可从任何方向上读取。QR码

项目2商品码制识别–项目调研码制识别的原理–二维码扫描二维码常见的方案是结合相机与算法实现的扫描应用程序。主要流程如下:获取相机实时图像对图像进行预处理提取图像特征，定位二维码区域和朝向分块识别码字信息解码转换并校验，输出解码结果项目2商品码制识别–项目调研码制识别的原理–二维码Q：二维码污损还能识别吗？左边可以，右边不行项目2商品码制识别–项目调研码制识别的原理–二维码数据及容错密钥帮助扫描软件解码存储的数据版本信息帮助扫描软件识别版本号定时标志有助于确定扫描速度和正确解释QR码定位标志帮助扫描软件找到QR码的位置格式信息帮助扫描软件别内容的类型（链接/文本等）校正标志帮助扫描软件识别对齐参考点在容错密钥区，二维码拥有数据冗余的功能，能达到7%-30%的容错率。这大大提高了二维码的防破坏性。项目2商品码制识别–项目调研码制识别的原理–二维码QR码的版本号：版本1有21行和21列的模块版本2有25行和25列，依此类推版本号的范围介于1到40之间。项目2商品码制识别–项目调研码制识别的原理–二维码二维码具有储存量大、保密性高、追踪性高、抗损性强、备援性大、成本便宜等特性。储存量大：二维码在二维空间编码，能存储更多数据，如文本、网址等。保密性高：可通过加密保护信息，防止未授权访问。追踪性高：每个二维码独特，便于追踪产品或用户行为。抗损性强：具备错误校正功能，部分损坏仍可读取。备援性大：不同错误校正级别，提高数据恢复能力。成本便宜：生成和打印成本低，易于普及使用。项目2商品码制识别–项目调研码制识别的原理–二维码Q：25*25的二维码的矩阵有多少种组合？以平时使用的微信付款码为例，二维码矩阵中有25×25即625个小方块，除去一些定位、纠错等功能的方块，还剩478个方块，每个方块有黑白两种颜色，可以组成2的478次方个不同的二维码。假设全球每天使用100亿个付款二维码，一年使用36500亿个，经过计算，要使用完所有的付款二维码需要2.14×10¹³¹年。而宇宙诞生至今也就137亿年即1.37×10¹º年，远少于用完付款二维码的时间。所以，我们根本不需要担心二维码很快会被使用完。二维码虽然给我们的生活带来了巨大的便利，在使用的时候仍要时刻小心。二维码图像采集的问题问题忘记操作步骤光源有问题提交的结果有问题二维码图像采集的问题问题1：忘记操作步骤设置“0图像源1”参数。双击“0图像源1”进入参数设置界面，在基本参数界面，图像源选择“相机”二维码图像采集的问题问题1：忘记操作步骤添加相机-设置参数-关联相机

二维码图像采集的问题问题1：忘记操作步骤打开“存图使能”-配置渲染图路径-配置渲染图命名

二维码图像采集的问题打开了蓝色背光源问题2：光源有问题二维码图像采集的问题光源有4个通道问题2：光源有问题二维码图像采集的问题CH按钮用来选择通道上下箭头控制通道的开关H1.1表示通道1打开问题2：光源有问题二维码图像采集的问题下图展示了蓝色背光源关闭和打开的情况问题2：光源有问题二维码图像采集的问题亮度调节也是通过CH按钮，范围0-255如图1.249表示通道1的亮度调节到2491.021表示通道1的亮度调节到21问题2：光源有问题二维码图像采集的问题问题3：提交的结果有问题图像模糊、倒置，提交截图，提交工程文件项目2商品码制识别–项目实施采集二维码和条码样品图像打开VisionMaster，在左侧视觉功能模块中选择图像源，新建一个全局相机并且绑定已连接PC的相机。项目2商品码制识别–项目实施采集二维码和条码样品图像视觉单元环形光源视觉检测区光源控制器项目2商品码制识别–项目实施采集二维码和条码样品图像关联相机选型刚创建的全局相机，并且把输出Mono8使能，在图像显示区域选择图像源的灰度图像数据。项目2商品码制识别–项目实施2识别条形码选择条码识别功能模块，图像源数据引用，条码识别功能模块的输入源选择灰度图，然后根据实际情况选择参数。项目2商品码制识别–项目实施2识别条形码运行程序，成功识别。项目2商品码制识别–项目实施3识别二维码选择二维码识别功能模块，图像源数据引用，二维码识别功能模块的输入源选择灰度图，然后根据实际情况选择参数。项目2商品码制识别–项目实施3识别二维码运行程序，成功识别。项目2商品码制识别–项目实施4格式化输出项目2商品码制识别–项目实施4格式化输出课后作业今日作业智慧职教上传今日采集的4张截图，分别是条形码识别二维码识别格式化自带商品包装识别结果谢谢聆听机器视觉系统应用项目3：字符识别码制识别的问题问题均识别失败只能识别部分条形码只能识别部分二维码码制识别的问题问题1：均识别失败问题在于条码识别、二维码识别的输入源要和图像源的设置配套，选择灰度图码制识别的问题问题2：只能识别部分条形码降采样系数要调为2码制识别的问题问题2：只能识别部分条形码图像的降采样系数：一般来说，数值越大、算法的效率越高，识别率越低。降采样通过降低图像的分辨率，简化了图像的复杂度，使得条形码的黑白条和空白区域的边界更加清晰，有助于提高识别率‌。类似色盲测试图，反而离远了模糊一点能看清楚。码制识别的问题问题3：只能识别部分二维码码宽范围：二维码所占的像素宽度，包含最大、最小码的像素宽度。码制识别的问题问题3：只能识别部分二维码QR畸变：当要识别的二维码打印在瓶体上或者类似物流的软包上有褶皱时需要设置该参数。码制识别的问题问题3：只能识别部分二维码应用模式：正常采用普通模式，专家模式留给较难的二维码，当应用场景简单、二维码为单码、二维码清晰、静区大且干净时，可根据需要采用极速模式。作业项目启动项目实施项目3车牌字符识别–项目领取“系统的任务是对车牌的字符进行识别，视觉设备与工控机的安装位置为10m，系统检测精度为0.5mm，每个车牌的尺寸为60mm×20mm，工作距离为250mm。要求输出如下格式的识别结果：第一行：车牌1：xxxx第二行：车牌2：xxxx第三行：车牌3：xxxx项目要求”项目3车牌字符识别–项目调研图像采集字符识别镜头的类型和选型快速匹配的原理仿射变换的原理字符识别的原理及其应用项目3车牌字符识别–项目调研镜头的类型和选型–镜头简介人的眼睛有眼角膜，晶状体，视网膜神经等构造，人眼成像时需要角膜和晶状体对入射光进行折射、汇聚，在视网膜神经形成物体的倒像。与人眼成像类似，在机器视觉系统中，要用镜头将物体发光或反射的光折射、汇聚倒CCD/CMOS上成像。项目3车牌字符识别–项目调研镜头的类型和选型–镜头简介镜头作为系统关键光学器件，其品质好坏直接影响成像质量，对于定位、缺陷检测等应用，起到决定性作用。镜头包含许多性能参数，如焦距、光圈、畸变、相对照度、靶面等，这些参数直接决定了光学系统的成像质量。项目3车牌字符识别–项目调研镜头的类型和选型–镜头简介工业镜头与单反镜头及电影镜头不同。如图所示，工业镜头不像单反镜头或电影镜头带有机身马达及对焦功能接口，工业镜头需要手动调节聚焦位置与光圈，而且焦距固定。工业镜头的优点是耐冲击性好，寿命长，成像畸变小。项目3车牌字符识别–项目调研镜头的类型和选型–镜头简介镜头结构：相机镜头由多个透镜、光圈和对焦环组成，调整光圈和对焦环，以确保图像明亮清晰。项目3车牌字符识别–项目调研镜头的类型和选型–镜头简介镜头的光路结构：机器视觉的镜头一般由若干个具有一定厚度的透镜组成。但是在大多数情况下，可以将整个镜头等效为一片薄透镜来进行参数计算，并作为镜头选型的依据。镜头的光路结构如下图所示：项目3车牌字符识别–项目调研镜头的类型和选型–镜头简介镜头成像原理：（1）平行于主光轴的光线经过透镜后都会在像方焦点聚集。（2）经过物方焦点的光线通过透镜后都会平行于主光轴。（3）经过透镜中心点的光线通过透镜后方向不会改变。（4）F＜物距＜2f时，成倒立放大实像。（5）2f＜物距＜∞时，成倒立缩小实像。项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数工业镜头主要有一系列的参数，分别是焦距、放大倍率、视野、靶面尺寸、光圈、景深、分辨率、镜头畸变等。项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数（1）视场（FieldofView，FOV)指成像系统中图像传感器可以检测到的最大区域，通常用视野范围（相机实际拍到区域的尺寸）和视场角（成像最大范围构成的张角）来衡量。（2）工作距离（WorkingDistance，WD)被测物体到镜头前端机械面的距离。项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数（3）焦距（FocalLength）：对于简单的薄凸透镜头，焦距可以定义为镜头对无限远目标成像时，镜头到图像平面的距离。固定焦距镜头是机器视觉系统中最常用的一种镜头，该类镜头具有固定的视场角(AFOV，通常是指传感器水平尺寸对应的视场角)项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数（3）焦距（FocalLength）：定焦镜头上有一个数字，数字越小，焦距越短，视角越宽，取景范围越广，画面中所容纳的元素越多，每个元素所占的比列越小。项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数思考：如何调节视场（FOV）三个重要参数：工作距离（WD）、焦距、传感器尺寸结论：工作距离越大，视场角越大；焦距越大，视场角越小；传感器尺寸越小，视场角越小。项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数像面尺寸：如果镜头像面尺寸匹配图像传感器尺寸，成像为正常图像。如果镜头的成像圆小于相机的芯片对角线，四个角会出现黑边。项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数（4）光圈（Aperture）光圈值是用以描述镜头通光量的参数，光圈越大，镜头通光量越多。镜头的光圈值F与镜头中孔径光阑的直径D以及焦距f有关，F=f/D，镜头的孔径光阑是可以调节的，它可以扩大或者缩小，从而改变光圈值和光通量，如图所示。光圈越大，F越大？项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数（5）景深（DepthofField）景深是指在景物空间中，位于调焦平面前后一定距离内还能够清晰成像的纵深距离。镜头的景深随镜头的光圈值、焦距、拍摄距离而变化。光圈越大，景深越小；焦距越长，景深越小；距拍摄体越近，景深越小。项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数（6）放大倍率（PMAG）“放大倍率”指感光元件上所成影像与原物体的比例。放大倍率越高，相机/镜头的近摄能力越强。从左至右依次为1.0被、1.4倍、2.0倍放大倍率下的画面细节项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数靶面尺寸：靶面尺寸：镜头成像的本质，是将物方的圆形视野聚焦，并在像方成一个圆形像，这个像圆的直径，在镜头参数中叫做靶面尺寸。最大靶面尺寸也称芯片尺寸。镜头使用的芯片尺寸应与相机的传感器靶面尺寸相匹配，简单来说，就是镜头投射的图像面积应不小于相机的芯片尺寸，这样通过镜头捕捉到的图像就能够刚好覆盖相机传感器的区域。项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数分辨力：分辨力是评价镜头质量的一个重要参数，指在单位毫米内能够分辨开的黑白相间的条纹对数，表示能够通过成像系统分辨的物体的最小特征尺寸，需要分辨被测物体上的细节越小，则要求视觉系统的分辨率越高。下图表示线对黑白条纹和分辨率效果图。项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数镜头畸变：现实中因为设计和加工的原因，拍摄物体时是会产生形变的。被摄物平面内的主轴外直线，经光学系统成像后变为曲线，则此光学系统的成像误差称为畸变。畸变像差只影响成像的几何形状，而不影响成像的清晰度。畸变可以分为枕形畸变与桶形畸变。a正常图像b枕形畸变c桶形畸变项目3车牌字符识别–项目调研镜头的类型和选型–镜头参数思考：工业镜头参数都有哪些呢？项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头的分类工业镜头可以分为FA镜头和远心镜头。远心镜头：主要是为纠正传统镜头的视差而特殊设计的镜头，它可以在一定的物距范围内，使得到的图像放大倍率不会随物距的变化而变化，这对被测物不在同一物面上的情况是非常重要的应用。此外，远心镜头(Telecentriclens)相比普通镜头，还具有低畸变，高景深，高分辨力等特性。

普通镜头成像

远心镜头成像a普通镜头的成像效果B远心镜头的成像效果项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头的分类远心镜头特点：(1)远心度值小，透视误差为零或极小。(2)固定的工作距离和放大倍率。远心镜头针对固定的工作距离和放大倍率进行设计和优化，行业内常用的工作距离有65mm、110mm、150mm、250mm等。(3)畸变较小。远心镜头一般应用于高精度测量场景，对畸变要求也较高。(4)只有平行光线才能进入光学系统，对补光的要求高。(5)可装配同轴落射光源，采用无限远平行光入射时，可实现无阴影照明。同轴落射照明结构可使入射光照射分布更均匀。项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头的选型1.镜头选型步骤：（1）确定相机连接镜头的接口类型，如C口或F口等，这个接口决定了镜头的接口。（2）确定镜头的最大靶面尺寸与相机相匹配。（3）确定焦距。首先测量工作距离和目标物体的大小，得到图像的宽或高；然后确定相机的安装位置，从相机的拍摄角度推测视角，最后根据二者的几何关系计算相机的焦距。（4）根据现场的拍摄要求，考虑光圈、价格等其他因素。项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头的选型2.镜头计算方法：镜头的选型计算（普通镜头）

项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头的选型镜头的选型计算（普通镜头）例：给定要拍摄的物体是正方形，尺寸为100mm*100mm。相机分辨率为1920*1200，像元尺寸为4.8um，则图像传感器大小为9.2mm*5.8mm，因相机芯片为长方形，而物体为正方形，那么需要相机的短边罩住物体投影的像，才能对整个物体成像。如果指定工作距离为500mm，根据公式

可得

应选择与计算值接近但比计算值小的镜头项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头的选型选择35mm镜头，所拍摄得到的图像如下：选择12mm镜头，所拍摄得到的图像如下，可见12mm镜头所拍得到的图像视野较35mm镜头所拍的图像大很多。项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头的选型镜头的选型计算（远心镜头）远心镜头不存在焦距的概念，主要参数为放大倍率、工作距离、像面尺寸、畸变率等。其中，放大倍率决定镜头的视野范围。例：已知相机分辨率1920*1200，像元尺寸为4.8um，拍摄的视野范围是18.4mm*11.6mm，选用什么放大倍率的镜头呢？y'y

首先计算出相机芯片的大小为9.2mm*5.8mm，代入公式可得。项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头的选型思考：机器视觉实际应用中，如何选择合适的工业镜头？项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例镜头参数含义：MVL-HF0628M-6MPE项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例判断步骤：1.工业镜头的类型；2.镜头兼容最大靶面尺寸；3.接口类型；4.求出定焦镜头的焦距，或求出定倍镜头的倍率；5.镜头分辨率要大于等于相机分辨率；6.光圈、价格等项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例案例导入：产品情况：长边为75mm的连接器，来料方向基本不变；区域大小：PIN针所在区域为67mm*8mm;公差：两个PIN针之间距离允许上下变化的公差为±0.5mm。项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例案例导入相机的选型：视野（FOV）:72mm*54mm像素精度：0.1mm/pixel分辨率：至少为720*540,130万像素工业相机项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例（1）镜头类型：测量类项目，PIN针精度要求高，首选低畸变的远心镜头，为定倍镜头。（2）倍率：通过公式得到放大倍率公式：β=h/H=f/WD相机芯片尺寸为：12.8mm*9.6mm，及芯片长边h=12.8mm，视野长边H=72mm放大倍率β=h/H=12.8/72≈0.18项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例（3）远心镜头：根据放大倍率=0.18，相机芯片尺寸为1"，可以选取放大倍率为0.184的远心镜头，兼容最大靶面尺寸1"。（4）工作距离：根据选取的镜头，通客户确定可以安装的工作距离WD=208±3mm。项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例练习：产品情况：普通带螺纹工件，放在固定机械治具内同方向流过，需要测量产品长度；区域大小：18mm*10mm精度要求：0.1mm/pixel项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例相机选型：视野(FOV):20mm*15mm像素精度：0.01mm/pixel分辨率：500万像素工业相机靶面尺寸：2/3"（8.4mm*7.1mm）项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例镜头选型：（1）镜头类型：测量产品长度，定焦镜头会发生畸变，影响测量结果，故选用远心镜头。（2）倍率-远心镜头：视野长边H=20mm，芯片长边h=8.4mm放大倍率β=h/H=8.4/20=0.42可以选择放大倍率为0.42左右的远心镜头。项目3车牌字符识别–项目调研镜头的类型和选型–工业镜头选型实例

通过工业镜头选型案例，你对镜头各项参数的运用是否更加熟练了呢？项目3车牌字符识别–项目分析车牌字符识别自然要采集图像和进行字符识别结果，并根据题目要求输出识别信息。但是三个车牌如何分别进行识别呢？通常可以通过视觉定位技术（如快速匹配）+仿射变换得到单个需要识别的车牌。任务划分项目3车牌字符识别–项目分析经过对项目任务的分析，设计出车牌字符识别工作流程如图所示：任务划分项目3车牌字符识别–项目分析根据相机的检测范围和工作距离进行布局规划。然后根据已知条件和现场环境，选择系统所需的相机、镜头和光源。方案设计–视觉平台架构FA镜头项目3车牌字符识别–项目分析

方案设计–相机选型项目3车牌字符识别–项目分析

方案设计–相机选型项目3车牌字符识别–项目分析步骤4：确定相机接口类型。相机与工控机之间的数据传输距离为10m，因此选择选择GigE接口的相机。步骤5：确定相机型号。先根据性价比等因素选择使用海康相机，再根据海康选型手册，进行参数匹配，确定相机型号是MV-CS004-10GM。方案设计–相机选型产品型号传感器型号传感器类型靶面尺寸像元尺寸快门类型分辨率最大帧率接口黑白MV-CS004-10GMSonyIMX297CMOS6.9μm×6.9μmGlobal720×540125.2fpsGigE√项目3车牌字符识别–项目分析

方案设计–镜头选型产品型号传感器型号传感器类型靶面尺寸像元尺寸快门类型分辨率最大帧率接口黑白MV-CS004-10GMSonyIMX297CMOS6.9μm×6.9μmGlobal720×540125.2fpsGigE√项目3车牌字符识别–项目分析步骤4：确定镜头型号。因相机选择的是海康的相机，因此镜头也选择海康的。根据海康选型手册，进行参数匹配，确定镜头型号为MVL-HF3028M-6MPE。镜头的技术参数如所示。方案设计–镜头选型型号焦距像面尺寸F数镜头接口MVL-HF3028M-6MPE30mmF2.8~F16C-Mount项目3车牌字符识别–项目实施1采集车牌样品图像打开VisionMaster，在左侧视觉功能模块中选择图像源，新建一个全局相机并且绑定已连接PC的相机。项目3车牌字符识别–项目实施1采集车牌样品图像关联相机选型刚创建的全局相机，并且把输出Mono8使能，在图像显示区域选择图像源的灰度图像数据。此时车牌样品要竖直摆放，不要有明显的倾斜。项目3车牌字符识别–项目实施2快速匹配在工具箱的“定位”子工具箱中选择“快速匹配”工具，拖动到流程编辑区与“0图像源1”相连。项目3车牌字符识别–项目实施2快速匹配双击“2快速匹配1”进入参数设置界面，点击“特征模板”，创建特征模板。单击“创建”按钮，进入模板配置界面，单击“创建矩形掩模”按钮，拖动生成矩形掩模覆盖某一车牌。项目3车牌字符识别–项目实施2快速匹配双击“2快速匹配1”进入参数设置界面，点击“特征模板”，创建特征模板。单击“创建”按钮，进入模板配置界面，单击“创建矩形掩模”按钮，拖动生成矩形掩模覆盖某一车牌。在右下角配置参数，根据实际情况设置适当的粗糙尺度和对比度阈值。单击“生成模板”。项目3车牌字符识别–项目实施2快速匹配双击“2快速匹配1”进入参数设置界面，点击“特征模板”，创建特征模板。单击“创建”按钮，进入模板配置界面，单击“创建矩形掩模”按钮，拖动生成矩形掩模覆盖某一车牌。在右下角配置参数，根据实际情况设置适当的粗糙尺度和对比度阈值。单击“生成模板”。项目3车牌字符识别–项目实施2快速匹配利用“擦除轮廓点”去掉不必要的轮廓点。可以点击“擦除轮廓点”旁边的小三角调整橡皮擦的大小。项目3车牌字符识别–项目实施2快速匹配擦除后，再次单击“生成模型”按钮生成特征模型。可反复擦除直到只剩下车牌的外轮廓。单击“确定”按钮保存特征模板。创建好的特征模板。项目3车牌字符识别–项目实施2快速匹配在运行参数界面，最小匹配分数设置为“0.7”，最大匹配个数的设置为“3，修改角度范围为“-45”至“45”，其他参数保存默认。点击“执行”，图像显示框中显示模板匹配的结果项目3车牌字符识别–项目实施2快速匹配模板匹配结果项目3车牌字符识别–项目实施2快速匹配让车牌倾斜一定角度，仍然可以匹配项目3车牌字符识别–项目实施3仿射变换增加“仿射变换”工具。在工具箱区域，将图像处理子工具箱中的“仿射变换”工具拖拽到流程编辑区域，与“2快速匹配1”相连。由于样品有3个车牌，所以一共新建3个仿射变换工具。项目3车牌字符识别–项目实施3仿射变换设置“3仿射变换1”参数。双击“3仿射变换1”，在基本参数界面，ROI区域创建选择“继承”，继承方式选择“按区域”，区域为“2快速匹配1.匹配框[]”在三个仿射变换模块，区域分别手动修改为匹配框[0]、匹配框[1]、匹配框[2]输入选图像而非灰度图项目3车牌字符识别–项目实施3仿射变换单击“执行”，仿射变换的图像如图所示。课后作业今日作业智慧职教上传今日采集的2张截图，分别是快速匹配结果某一张车牌的仿射变换的结果谢谢聆听机器视觉系统应用项目4：器件缺陷检测车牌识别的问题问题单车牌的识别结果错误格式化的结果是错误的车牌识别的问题问题1：单车牌的识别结果错误车牌识别的问题问题1：单车牌的识别结果错误车牌识别的问题问题1：单车牌的识别结果错误车牌识别的问题问题2：格式化结果错误作业项目启动项目实施项目4：器件缺陷检测–项目背景看完这则新闻，你有什么感悟？项目4：器件缺陷检测–项目背景缺陷检测的意义在工业生产领域，产品质量管理是至关重要的环节，而缺陷检测则是保证产品质量的重要手段之一。随着工业制造的升级转型，基于机器视觉的工业缺陷检测方法因其能显著降低成本并满足高精度、高准确率的检测需求而变得尤为重要。质量控制核心产品质量直接关系到企业声誉与市场竞争力，缺陷检测是质量管理的核心环节。成本与效率传统人工检测成本高昂，效率低下，难以满足大规模生产的需求。精度与一致性人工检测受主观因素影响，精度与一致性难以保证，影响产品质量稳定性。非接触与监控无需物理接触即可完成检测，避免对产品造成损伤。连续监测生产线，即时反馈异常。项目4：器件缺陷检测–项目背景缺陷检测的意义项目4：器件缺陷检测–项目背景缺陷检测的典型任务胶路检测表面缺陷检测项目4：器件缺陷检测–项目背景胶路检测胶路检测的目的是确保点胶无断、偏、漏现象，保障产品品质与性能。在工业生产中，特别是在3C、汽车制造等领域尤其关键。在汽车制造过程中，涂胶质量直接关系到车身的密封性、安全性和美观度。在3C行业，胶路检测能够确保电子元件的精准定位和牢固连接，避免因涂胶不均或遗漏导致的性能下降或故障。项目4：器件缺陷检测–项目背景表面缺陷检测在工业生产过程中，表面缺陷检测关注的是样品表面诸如划痕、破损、异物遮挡、脏污、颜色污染、扭曲皱褶等缺陷。划痕与破损

生产过程中的机械摩擦或碰撞造成，降低产品耐用性与美观度。异物遮挡与脏污 灰尘、油渍等外来物质附着，影响产品清洁度与功能表现。颜色污染与皱褶 染色不均或材料变形，导致产品一致性下降，影响品牌形象。项目4：器件缺陷检测–项目背景表面缺陷检测在3C产品、汽车零部件等领域，表面缺陷是产品质量受影响的最直观体现。为了保证合格率和产品的可靠性，必须进行严格的产品表面缺陷检测。然而，不同类型的缺陷以及同一类型缺陷之间的差异给检测带来了难度。因此，确保表面无缺陷同样是工业生产中的一大挑战，而机器视觉技术的进步为实现高效、精确的表面缺陷检测提供了有力支持。项目4：器件缺陷检测–项目领取“请为器件缺陷检测搭建一个视觉检测系统，编写视觉程序对器件内胶路缺陷和内表面缺陷进行检测。系统检测精度为0.2mm，器件尺寸为125mm×96mm，工作距离为800mm，最终分别输出内胶路缺陷检测和内表面缺陷检测结果。项目要求”项目4：器件缺陷检测–项目分析经过对项目任务的分析，设计出器件缺陷检测工作流程如图所示：任务划分器件识别定位？内胶路缺陷检测内表面缺陷检测输出合格性信息项目4：器件缺陷检测–项目调研位置修正逻辑判断位置修正的原理分支判断条件检测缺陷检测边缘缺陷检测表面缺陷检测项目4器件缺陷检测–项目调研位置修正的原理请同学们观看视频，仔细观察空中加油时运油机和战斗机的飞行情况。项目4器件缺陷检测–项目调研位置修正的原理位置修正常用于修正目标的运动偏移，实现精确定位。具体来说，位置修正是指在检测过程中，调整图像中的目标物体的位置，使其符合预设的标准位置或姿态。空中加油缺陷检测在空中加油的过程中，战斗机需要实时调整飞机的高度和角度，保证和运油机相对位置固定。在自动化生产线上，物品的位置和姿态可能因传送带或其他机械装置的误差而发生微小变化，位置修正模块能够有效确保后续检测任务的一致性和可重复性。项目4器件缺陷检测–项目调研位置修正的原理Q：在缺陷检测中待测物体相当于空中加油中的哪个角色？A：相当于运油机。项目4器件缺陷检测–项目调研位置修正的原理位置修正模块的算法工作流程包括以下三个主要步骤：(1) 获取模板匹配输入的位置信息。(2) 基于输入的位置信息，在基准图像中创建基准点。(3) 计算出待修正图像中的目标相对于基准图像的位姿变化信息。项目4器件缺陷检测–项目调研位置修正和仿射变换的区别位置修正仿射变换应用场景用于纠正图像中的对象相对于预期位置的偏移通常是从一个大图中找一个小目标，适用于更广泛的图像处理需求，包括但不限于旋转、缩放、倾斜等几何变换操作性质对图像中的对象进行简单的平移，以达到期望的检测位置除了平移，还可以可以改变图像的几何属性，如旋转、缩放等项目4器件缺陷检测–项目调研位置修正模块的使用在流程中，位置修正模块的前序模块通常为图像源模块和模板匹配相关模块，后序模块通常为圆查找、直线查找、卡尺工具或图像修正等模块。位置修正可为这些后序模块修正ROI，实现精确定位查找目标对象。项目4器件缺陷检测–项目调研位置修正模块的使用注意事项如果前序模块为快速匹配或灰度匹配，上表中的X方向尺度和Y方向尺度无需订阅，此情况下无法实现同分辨率图像中不同大小目标的位置修正。如果前序模块为轮廓匹配或高精度匹配，位置修正模块自动订阅前者输出的尺度数据，实现同分辨率图像中不同大小目标的位置修正。项目4器件缺陷检测–项目调研位置修正模块的使用示例中，位置修正对轮廓匹配输出的ROI的位置进行修正后，圆查找通过修正后的ROI实现了对部件上的圆孔的精确查找。项目4器件缺陷检测–项目调研缺陷检测方法分类频域分析法图像处理法通过边缘检测、模板匹配及特征提取等技术来识别和定位缺陷。频域分析法则借助傅里叶变换和小波变换等技术，从频率视角分析图像，识别那些在空间域中不易察觉的缺陷特征。统计分析法统计分析法利用直方图分析和纹理分析等手段，通过对图像的统计特性进行研究来发现异常。图像处理法项目4器件缺陷检测–项目调研边缘缺陷检测边缘缺陷检测属于图像处理法中的边缘检测技术，它通过对图像的边缘轮廓进行检测，找到工件或产品上边缘缺陷，如断裂、凹陷、凸点、磨损等问题。在VisionMaster软件中，使用的边缘提取手段是基于卡尺工具的。项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具卡尺模块的算法工作流程可概括为：将图像区域内数据沿一个方向投影之后得到一维数据，对该数据进行滤波处理，选择局部极值，并对这些极值按照预设的方式计算得分，最终输出符合得分要求的亚像素极值点。项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤1：输入ROI从前序模块获取ROI输入。步骤2：投影（即一维信号提取）在图像中选取感兴趣区域，即投影区域。该区域的处理相当于沿着某特定方向上的均值滤波处理。一般情况下，有角度的矩形投影区域不与像素网格对齐，卡尺工具通过插值的方法获取采样区域。投影区域的形状目前支持任意角度的矩形。卡尺工具放置的投影区域可能会超出图像的边界。超出图像边界的区域，则填充其他灰度值。项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤3：一维差分滤波一维投影获取到的ROI的一维信息，既包含ROI边缘，也包含其他的边缘和噪声。使用差分滤波可以对一维图像起到增强ROI边缘和抑制噪声的作用。如下两张示意图为不同滤波核大小的滤波结果对比。一般情况下，滤波核越大，抑制噪声的能力越强，但极值点位置的精度可能会越差。一维差分滤波（滤波核尺寸=3）项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤3：一维差分滤波一维投影获取到的ROI的一维信息，既包含ROI边缘，也包含其他的边缘和噪声。使用差分滤波可以对一维图像起到增强ROI边缘和抑制噪声的作用。如下两张示意图为不同滤波核大小的滤波结果对比。一般情况下，滤波核越大，抑制噪声的能力越强，但极值点位置的精度可能会越差。一维差分滤波（滤波核尺寸=5）项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤4：极值点查找算法根据边缘极性类型的不同，选取合适的极值点查找目标，如下表所示。极性类型极值点查找目标白到黑极小值（谷值）黑到白极大值（峰值）任意极性极大值（峰值）、极小值（谷值）如下图所示，绿色箭头所示的边缘极性为“白到黑”，红色箭头所示为“黑到白”。此处的“黑”和“白”是表示灰度值高低的相对概念。经过滤波后，边缘极性将转换成另一种展现形式，即极小值（谷值）和极大值（峰值），分别如上文的图：滤波核尺寸=3和图：滤波核尺寸=5所示。项目4器件缺陷检测–项目调研边缘缺陷检测–卡尺工具步骤5：极值点插值对提取极值点进行插值，得到亚像素精度的边缘位置。步骤6：极值点评分评分方法类型按评分准则分为位置评分、间距评分和对比度评分三大类。步骤7：边缘输出输出符合要求的边缘轮廓。在流程中，卡尺工具主要与图像源、模板匹配、位置修正组合调用，以便在图像指定区域内精确定位边缘点或边缘点对。通过模板匹配和位置修正做粗定位，卡尺工具做精定位，可实现对指定边缘点或边缘点对的高精度检测。项目4器件缺陷检测–项目调研边缘缺陷检测–边缘对缺陷检测边缘对模型缺陷检测模块可将实际提取到的边缘对与预先建立的边缘对模型作比较，分析边缘对的存在性、位置、宽度等信息，判断是否存在边缘断裂等边缘对缺陷。该模块常用于待检边缘区域呈现不规则分布的情况，例如呈曲线分布。该模块算法包括宽度缺陷检测、位置缺陷检测、断裂缺陷检测、阶梯缺陷检测和气泡缺陷检测。宽度缺陷检测位置缺陷检测项目4器件缺陷检测–项目调研边缘缺陷检测–边缘对缺陷检测边缘对模型缺陷检测模块可将实际提取到的边缘对与预先建立的边缘对模型作比较，分析边缘对的存在性、位置、宽度等信息，判断是否存在边缘断裂等边缘对缺陷。该模块常用于待检边缘区域呈现不规则分布的情况，例如呈曲线分布。该模块算法包括宽度缺陷检测、位置缺陷检测、断裂缺陷检测、阶梯缺陷检测和气泡缺陷检测。断裂缺陷检测阶梯缺陷检测气泡缺陷检测项目4器件缺陷检测–项目调研边缘缺陷检测–圆弧边缘缺陷检测弧边缘缺陷检测模块可检测工件或产品上的弧边缘缺陷，如断裂、凹陷、凸点、磨损等问题。模块的主要检测途径是在圆弧上自动创建一定数量的卡尺，比对相邻卡尺中部分圆弧中心点x轴、y轴和角度偏移，并根据预设的阈值大小判断缺陷是否成立。如下图所示，检测结果中红框标注部分即圆弧缺陷，绿点即正常的圆弧边缘。项目4器件缺陷检测–项目调研边缘缺陷检测–圆弧边缘缺陷检测在流程中，圆弧边缘缺陷检测模块的前后序模块详情如下：前序模块：通常为图像源，为圆弧边缘缺陷检测提供图像输入。前序模块还可包括圆查找，以实现更精确的目标定位。后序模块：无特定要求。圆弧边缘缺陷检测具体的配置方法如下图所示，当圆轮廓比较模糊时建议开启标准输入。项目4：器件缺陷检测–项目分析经过对项目任务的分析，设计出器件缺陷检测工作流程如图所示：任务划分器件识别定位快速匹配位置修正内胶路缺陷检测内表面缺陷检测输出合格性信息项目4器件缺陷检测–项目实施1.器件识别定位–图像采集新增“图像源”工具，双击“0图像源1”进入参数设置界面，在基本参数界面，图像源选择“本地图像”，像素格式设为“MONO8”，在右侧的图像源一栏，点击+号按键，添加本地器件图像。注意：test1-new.jpg重命名为test1-new组长姓名.jpg项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配在工具箱的“定位”子工具箱中选择“快速匹配”工具，拖动到流程编辑区与“0图像源1”相连。单击“单次执行”确保图像传入到快速匹配模块。项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配双击“1快速匹配1”进入参数设置界面，点击“特征模板”选项卡，单击“创建”按钮，创建特征模板。在配置界面，单击“创建多边形掩模”按钮，拖动生成多边形掩模覆盖工件边缘局部区域。在右下角配置参数，单击“生成模板”按钮生成特征模板。项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配单击“确定”按钮保存特征模板。创建好的特征模板。项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配运行参数设置。角度范围改为“-30”至“30”，其他参数保存默认。项目4器件缺陷检测–项目实施1.器件识别定位–快速匹配点击“单次执行”，图像显示框中显示模板匹配的结果。项目4器件缺陷检测–项目实施1.器件识别定位–位置修正在工具箱的“定位”子工具箱中选择“位置修正”工具，拖动到流程编辑区与“1快速匹配1”相连。项目4器件缺陷检测–项目实施1.器件识别定位–位置修正双击“2位置修正1”进入参数设置界面。在基本参数界面，原点选择“1快速匹配1.匹配点[]”，角度选择“1快速匹配1.角度[]”。项目4器件缺陷检测–项目实施1.器件识别定位–位置修正选择其中改变了器件位置的图片test1-new.jpg，点击“单次执行”，图像显示区域显示“2位置修正1”执行结果，其中绿色点表示创建基准时的特征匹配点，红色表示目标图像进行特征匹配时的匹配点。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测工具箱的“缺陷检测”子工具箱中选择“边缘对模型缺陷检测”工具，拖动到流程编辑区与“2位置修正1”相连。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测双击“3边缘模型缺陷检测1”进入参数设置界面。在边缘模型界面点击“新增”，进入模版配置界面。单击“创建轨迹”按钮，然后在图像显示区域，沿着器件内胶路直线部分轮廓绘制轨迹，建议避开左右端点以免影响模板生成；“训练参数”中“边缘0极性“设置为“从白到黑”，“边缘1极性”设置为“从黑到白”，参考右图调整训练参数；然后点击“生成模型”。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测单击“确定”按钮保存边缘轮廓模型。创建好的边缘轮廓模型如图所示。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测点击“运行参数”，检测参数要与边缘模型的训练参数一致，缺陷参数根据实际情况进行设置。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测点击“单次执行”，图像显示区域显示“4边缘模型缺陷检测1”执行结果如图所示。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–边缘对缺陷检测选择一个有缺陷的器件图片，点击“单次执行”，图像显示区域显示“3边缘对模型缺陷检测1”执行结果如图所示。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–圆弧边缘缺陷检测在工具箱的“缺陷检测”子工具箱中选择“圆弧边缘缺陷检测”工具，拖动到流程编辑区与“3边缘对模型缺陷检测1”相连。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–圆弧边缘缺陷检测双击“4圆弧边缘缺陷检测1”进入参数设置界面。基本参数保存默认。单击“扇形”按钮，然后在图像显示区域，沿着圆弧区域绘制轮廓模型。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–圆弧边缘缺陷检测点击“运行参数”，缺陷参数根据实际情况进行设置。为便于观察，可点击“结果显示”，关闭“检测区域”和“标准圆”的显示。项目4器件缺陷检测–项目实施2.内胶路缺陷检测–圆弧边缘缺陷检测选择一个有缺陷的器件图片，点击“单次执行”，图像显示区域显示“4圆弧边缘缺陷检测1”执行结果如图所示。课后作业今日作业智慧职教上传今日采集的3张截图，分别是test1-new组长姓名、test2和test4的边缘缺陷检测结果Q：若无快速匹配和位置修正，