工业视觉系统应用技术 课件 第5-9章 工业视觉软件算法基础-图像识别与定位

工业视觉系统应用技术

第五章工业视觉软件算法基础

学习目标掌握工业视觉软件的基本架构，理解图像采集、预处理、特征提取、分析决策的基本流程；掌握主要图像处理功能模块的基本原理、作用及其在典型任务中的应用。工业视觉助力制造业转型升级1工业视觉软件作为人工智能在工业领域的关键应用，其发展是对科技强国战略的有力践行，有助于提升我国在全球科技竞争中的地位，增强国家核心竞争力，为实现中华民族伟大复兴的中国梦提供科技支撑。2VisionMaster视觉算法平台数字图像数字图像中包含丰富的信息，这些信息可以通过像素的位置、颜色值和排列方式来表达，如颜色信息、亮度信息、空间信息等。数字图像中的每个像素都有特定的位置坐标，包括像素的位置、大小和排列方式，描述图像中物体或区域的尺寸和大小等信息，通常以像素数或实际物理尺寸表示。视觉图像空间信息对于图像理解、处理和分析都具有重要意义，是计算机视觉和图像处理领域的核心内容之一。VisionMaster算法平台VisionMaster算法平台集成机器视觉多种算法组件，支持多种图像采集设备，适用多种应用场景，可快速组合算法，能满足视觉定位、尺寸测量、缺陷检测以及信息识别等工业视觉应用需求。视觉方案说明通用方案用户可根据项目内容自由选择算法工具，搭建检测流程定位测量通过定位、测量工具进行设计，基于轮廓图及深度图实现高效定位匹配、轮廓及特征测量和引导等功能缺陷检测借助检测工具查找工件形态和轮廓缺陷用于识别：通过识别工具进行方案设计，读取多种制式的信息码、字符等ID信息在VisionMaster算法开发平台中，提供了千余种图像处理算子和开发工具,以及深度学习算法包，优化后的算法能够对常见的各类工业检测都有良好的适应性，在安装基础工具模块之后可根据自己需求选择是否安装深度学习等增强工具包。在VisionMaster的启动界面，提供了多种典型工业应用示例方案，方便用户参考设计工业检测项目。3图像处理工具集图像二值化图像二值化是图像处理中的一种基本操作，其目的是将灰度图像转换为只有黑白两种颜色的二值图像。二值化图像的像素值只有0和1（或者0和255），分别代表黑色和白色。图像滤波图像滤波是一种用于去除图像噪声或提取特定特征的图像处理技术，旨在改善图像的质量、增强特定的图像特征或去除图像中的噪声。滤波器通常是一种矩阵或函数，选择滤波器类型和参数取决于所需的图像处理目标和应用场景。1.均值滤波（MeanFilter）均值滤波也称为线性滤波或均值平滑，通过用一个窗口内所有像素的平均值来替代窗口中心像素的值，常用于去除图像中的高斯噪声或平滑图像。2.中值滤波（MedianFilter）中值滤波是一种非线性滤波方法，其原理是选择邻域像素值中的中间值作为输出来替代窗口中心像素的值，常用于去除图像中的椒盐噪声或斑点噪声。3.高斯滤波（GaussianFilter）高斯滤波是一种常用的线性平滑滤波器，通过对图像进行卷积操作,利用高斯函数来对图像进行加权平均，达到平滑图像的目的。图像增强图像增强是通过图像处理技术改善图像的质量、增强图像的特定特征或提高图像的可视化效果的技术，旨在改善图像的视觉效果或增强某些感兴趣的特征以改善图像的观感、清晰度、对比度等方面。1．对比度增强——通过调整图像的像素值范围来增加图像的对比度，使图像的视觉效果更加鲜明和清晰。2.锐化图像锐化是是增强图像细节和边缘的一种技术，通过突出图像中的边缘等显著特征，来增强图像的清晰度和细节度。3.亮度调整亮度调整是通过改变图像的亮度值来调整图像的整体明暗程度，使其更符合视觉需求和具体应用场景。形态学处理形态学处理是一种基于图像形状的数学理论，通过使用特定的结构元素对图像中的目标形态进行操作，用于图像的边缘检测、噪声去除、小目标填充、对象连接等。形态学方法主要包括形态学腐蚀、形态学膨胀、开运算、闭运算、形态学梯度等运算操作。1.图像腐蚀图像腐蚀是一种局部操作，通过将图像中的前景像素减小或腐蚀来进行处理，主要用来去除图像中的小的噪声和分离不相连的结构或区域，从而使目标变得更小或更平滑。2.膨胀形态学膨胀是形态学腐蚀的逆过程。主要作用是增大图像中前景（白色）像素的面积，扩张图像中物体的边界、或增强图像中的目标区域等。3.开运算和闭运算在图像处理领域，常常将图像腐蚀和膨胀组合使用，可以有效地改进图像处理效果。其中，开运算和闭运算是膨胀与腐蚀操作的不同序列组合。闭运算是先对图像进行膨胀操作，然后进行腐蚀操作。膨胀扩展前景对象的大小，然后腐蚀去除膨胀操作中扩展的部分，但保持填补后对象的原始形状。开运算则是通过先进行腐蚀再进行膨胀来处理图像，主要功能是去除小的前景对象（例如白色噪声斑点），同时不会影响到较大的前景对象。图像运算图像运算是指对输入图像进行逻辑和数据运算。1.算术运算算数运算有加法、减法、乘法和除法几种类型。2.逻辑运算逻辑运算有逻辑与、或、非和异或四种常用方法3.几何变换图像几何变换是指对图像的位置、形态或结构进行更改的运算。常见的几何变换包括平移、旋转、镜像、缩放、仿射变换和透视变换等。仿射变换是一种线性变换，通过几何变换操作，将图像中的坐标变换成新的坐标，同时能够保持二维图形在变换前后的平行关系及图形局部不变性。4系统数据通讯在工业自动化领域，工业视觉数据通讯主要涉及工业相机、视觉系统与其他设备（如计算机、PLC等）之间的数据传输，主要内容包括通讯接口、通讯协议和数据内容格式等。通讯接口1.以太网接口以太网接口是目前工业视觉系统中最常用的通讯接口之一。它基于IEEE802.3标准网络协议进行数据传输，通过网络协议（如TCP/IP）进行数据传输，支持多种拓扑结构。特点是传输速度快、传输距离长，能够满足工业视觉系统中大量图像数据的快速传输需求；而且以太网接口具备良好的兼容性和通用性。2.USB接口USB接口具有即插即用、热插拔、兼容性强等特点，并且在短距离内可以提供较高的数据传输速率；USB3.0的理论传输速度可达5Gbps，USB3.1Gen2的速度可达10Gbps，能满足高分辨率图像的实时传输需求。3.CameraLink接口CameraLink是一种高速、高性能的串行接口标准，采用了LVDS（低压差分信号）技术，其标准支持的最高数据传输率可达680MB/s，CameralinkFull模式有效带宽最高可达6.4Gbps，具有良好的抗干扰能力，较多应用在对图像传输速度和质量要求极高的场合，如高分辨率图像采集、高速生产线的产品检测等应用领域。4.GigEVision接口GigEVision是一种基于以太网通信协议开发的工业相机接口标准，其优势在于可以利用现有的以太网基础设施，并且支持长距离传输。可以根据具体需求选择符合GigEVision标准的不同品牌、型号的相机、图像采集卡等设备，基于以太网的基础设施进行系统集成和扩展，构建灵活多样的工业视觉系统。通讯协议工业视觉系统的通讯及通讯协议是实现设备间数据交互、指令控制与系统集成的核心技术，其设计需满足高实时性、可靠性和兼容性要求。1.TCP/IP协议——传输控制协议/因特网协议，是一组用于在互联网及计算机网络（如内联网、外联网）中互连网络设备的基础通信协议。2.ModbusTCP协议——基于TCP/IP网络的Modbus通讯协议，继承了ModbusRTU和ModbusASCII的优点，克服了它们在距离和速度上的限制，能够实现跨网络的设备通信，通信速度快，适合实时数据传输。3.UDP协议——即用户数据报协议，是一种无连接的协议。将数据封装成数据包独立传输，无需建立连接和进行复杂的确认机制，能够快速传输数据。4.西门子S7协议——西门子专为其可编程逻辑控制器（PLC）产品系列设计的通信协议协议。5.串口通讯协议——是一种按位发送和接收字节的通信协议。数据传输1.传输内容工业视觉系统数据传输的内容丰富多样，包括图像数据、测量数据、识别结果、控制指令和系统运行状态等数据。2.接收发送数据接收数据模块主要用于获取外部通信设备、全局变量和数据队列的数据，并将这部分数据在流程中使用。发送数据模块主要用于将视觉流程中的数据发送给数据队列、外部通信设备、全局变量和视觉控制器。5脚本功能工业视觉脚本是工业视觉系统中用于实现特定功能和逻辑控制的重要组成部分。在VisionMaster中，脚本模块使用

编程，可在VisualStudio进行代码的编写和调试，脚本支持int、flaot、string、Bytes和Image五种数据类型的输入输出。在脚本中，用户可自行编译所要实现的功能，也可调用第三方工具库。工业视觉脚本开发1.Halcon——Halcon提供了丰富的用于图像处理、分析和工业视觉应用函数库。语言简洁高效，其内部算法经过高度优化，能够在短时间内处理大量的图像数据，能够快速实现各种复杂的视觉检测算法。2.OpenCV——开源的计算机视觉库，包含了大量用于图像处理和计算机视觉任务的算法。支持多种编程语言，可以结合Python或

等编程语言使用。Python的优势在于代码简洁、开发速度快，适合快速原型开发和实验性的视觉检测项目。3.VisualStudio——VisualStudio是一款功能强大的集成开发环境（IDE），能够很好地与各种工业视觉库集成，例如：在VisualStudio项目中添加对Halcon库的引用，就可以在

或

脚本中使用Halcon提供的强大图像处理和分析功能。同样，对于OpenCV等其他工业视觉库，也可以通过适当的配置来实现集成，从而在VisualStudio环境中充分利用这些库的优势。Thankyou

工业视觉系统应用技术

第六章视觉测量与检测技术

学习目标掌握工业视觉在尺寸精确测量和产品特征/缺陷检测领域应用的技术原理和方法流程；通过案例学习，理解不同行业典型测量与检测任务的解决方案架构。工业制造领域中的视觉检测应用1视觉硬件系统技术的积累和突破为智能制造提供了更强大的感知能力。从电子产品制造到汽车零部件生产，从食品包装到航空航天部件加工，视觉检测技术广泛渗透于各个细分领域。以汽车制造工业为例，工业机器人利用视觉检测系统能够快速且精准的定位和安装各种复杂形状的汽车零部件，极大地提升了检测的准确性与稳定性，为汽车的安全性能与整体质量提供了坚实保障。工业制造领域中的视觉检测应用前景广阔，但也面临诸多挑战。只有通过不断创新与突破，才能充分发挥视觉检测技术的优势，推动工业制造向更高质量、更智能化的方向发展，为我国制造业的转型升级与经济的可持续发展注入强大动力。2产品尺寸测量工业视觉尺寸测量过程一般包括图像采集、图像处理和数据分析三个步骤。根据测量需求和精度选定合适的工业相机、镜头、光源等设备组件采集图像；然后对图像进行必要的预处理，如噪声滤波、边缘增强、灰度处理等；然后，使用边缘检测算法，如Canny、Sobel等方法识别物体的边缘，提取所需的几何特征；最后通过计算机视觉算法进行尺寸测量和数据分析。卡尺工具卡尺工具是一种测量目标边缘及边缘对的位置、特征或相互之间距离的视觉工具，通常用于检测和测量物体的几何特征，如长度、宽度、直径、间距等。视觉算法会根据边缘极性类型的不同，选取合适的极值点查找目标。点线圆查找1.点查找特征点检测算法是计算机视觉和图像处理中的核心技术之一，用于从图像中提取具有显著特征的点，例如查找两条边缘线的交点。2.线查找线查找工具在计算机视觉和图像处理领域中用于识别和提取图像中的线性结构，常用于图像分析、形状检测和模式识别。3.圆查找圆查找是在图像中指定区域内基于边缘检测和拟合的方法确定符合特定要求的圆周及相关数据，如圆中心点坐标、圆半径、拟合误差等。点圆测量测量点到圆心的连线长度实现点到圆距离的测量，通常用于工业生产中测量精度、位置校准和质量检测等场合。线线测量线线测量是测量图像中两条直线之间的几何关系，通过向量点积公式计算两条直线之间的相交点（如有）、线间距离和夹角等参数。圆圆测量圆圆测量模块涉及到检测图像中的圆，一般与圆查找模块配合使用，计算它们之间的几何关系（如距离、相交面积等）。3特征检测线边缘缺陷检测线边缘缺陷检测模块的设计旨在检测产品或材料中线状结构（如直线、曲线）上的缺陷。这种检测经常应用于检测电缆、管道、轨道或印刷电路板等产品的边缘是否有瑕疵、缺口或不规则性。圆弧缺陷检测圆弧缺陷检测模块用于识别和分析工业产品中圆弧形特征的缺陷，模块可以识别诸如裂缝、咬边、凹陷和表面不平等缺陷。4实战案例一：三极管引脚尺寸测量项目需求分析具体测量需求如下：产品材质：金属、塑料尺寸范围：2mm-10mm测量精度：0.1mm视野确定：50mm*50mm（视野范围要比样品大，并保证有充分的移动冗余空间）成像系统工作距离：200mm硬件方案设计根据视野大小（50mm*50mm）和测量精度±0.1mm等检测要求，选择面阵相机

相机像素=（长边像素数×n）×（短边像素数×n）精度余量按照3倍计算，得出相机的长边像素数量为1500，短边像素数量为1500。选择MV-CS032-10GM（320万像素黑白相机、分辨率2048×1536、CMOS芯片、像元尺寸3.45μm×3.45μm、C-Mount接口）根据镜头焦距计算公式：

焦距=工作距离×CCDSensor尺寸÷视野计算得出镜头焦距约为21.2mm

，结合现有镜头型号，选择MVL-HF1628M-6MPE（600万分辨率）镜头。根据检测需求分析和设备选型，视觉采集硬件系统架设方案视觉测量流程设计5实战案例二：光伏电池片制造缺陷质检项目需求分析现有某光伏电池系列产品，需对电池片边缘破损和断裂等制造缺陷进行识别检测。其中，产品材质为硅基半导体材料，电池片来料位置固定、视野范围约为100mm*100mm，崩边破损识别精度0.5mm，视觉采集系统工作距离约为250mm。硬件方案设计根据工件材质及边缘识别检测特点，打光方案选择背光源，可以呈现对比明显的边缘效果；相机及镜头选型可参考案例一。视觉检测流程设计具体流程步骤如下：

1）调用特征匹配（高精度匹配）工具模块2）利用位置修正模块建立基准点3）利用直线边缘检测模块分别查找四条直线边的缺陷4）利用格式化整理检测结果，按照项目检测要求将边缘缺陷区域的中心坐标输出5）条件检测判断。使用条件检测模块通过判断缺陷个数判断工件是否合格。6）完成缺陷检测流程，使用发送数据模块，将上述四个条件分支的检测结果格式化处理后别发送至相应的控制或通信设备6实战案例三：齿轮测量案例硬件方案设计硬件方案设计过程略，具体内容可参考案例一。视觉流程设计1）采集图像后，分别调用特征匹配（快速匹配）和位置修正工具模块进行特征定位操作2）检测齿轮轮毂圆心和轮齿顶点。使用圆查找工具模块检测轮毂轴孔利用组合模块，搜索所有匹配的轮齿，逐一测量每个轮齿顶点到齿轮轮毂圆心的距离；利用位置修正工具定位匹配的轮齿，逐一确定后续视觉工具模块运行时所对应的轮齿位置利用顶点检测工具模块检测所有的轮齿齿顶顶点3）使用点圆测量工具，分别调用前述视觉流程中检测到的轮毂圆心和轮齿顶点，计算出每个轮齿顶点到轮毂圆心的距离根据需要汇总视觉流程中测量得到的所有圆心、顶点和距离等数据信息，后续可以搭配逻辑运算、数据发送等模块，进行界面显示和输出等操作。利用格式化工具整理数据内容，使用数据发送工具将数据信息发送给相应的设备。Thankyou

工业视觉系统应用技术

第七章图像识别与定位

学习目标掌握工业视觉系统在检测中的目标识别、精确定位与标定等应用，通过实战案例完成从需求分析到完整解决工程问题的全流程设计；掌握从原理到选型、从设计到集成的核心逻辑，培养以工程思维解决实际问题的能力。工业视觉识别与定位技术1以微电子芯片制造为例：在芯片制造的复杂工艺流程中，视觉系统能够清晰地分辨出芯片上极其微小的电路图案；对芯片的微观电路结构进行高精度的识别、精准定位需要进行加工或检测的区域；通过快速读取产品二维码、条形码或其他标识信息，准确识别型号、生产批次、生产日期等关键数据，实现了对生产过程的全程追溯，为生产流程的自动化管理提供了有力支持。未来，工业视觉系统将借助深度学习与人工智能技术的深度融合，实现质的飞跃，具备自主学习和优化检测功能，灵活高效地自动适应不同的生产场景和产品变化；实现生产过程的全面检测和数据共享与交互，为企业的智能化生产转型注入强大动力，推动制造业向智能化、高效化、精细化方向迈进。2图像识别条码识别用于定位和识别指定区域内的条码条码识别模块支持CODE39码、CODE128码、库得巴码、EAN码、交替25码以及CODE93码等多种编码标准。二维码识别视觉二维码识别是一种利用图像处理技术来解码和读取二维码的信息的过程。二维码识别算法运行过程包括图像处理、二维码定位、图像矫正和解码等操作。字符识别字符识别工具主要用于自动识别和处理物品上的文字、数字和字符等，将图像中的这些字符信息转化为可编辑的数字文本。字符识别算法模块主要包括字符训练和字符识别两个核心部分，字符训练是构建一个高效字符识别系统的基础步骤，为系统提供所需的数据和模型。样例训练时应该尽可能覆盖所有可能出现的字符类型和字体风格，提高字符样例的一致性和质量，便于更准确地提取字符图像中的关键特征。3定位与标定图像定位是指通过分析图像数据来确定物体或特定特征在图像中的位置。常用的方法有模板匹配、特征匹配和位置修正等。图像标定（或称为相机标定）是指通过数学模型来校正图像（及相机）的内部参数（如焦距、光学中心）和外部参数（如位置、姿态），以去除图像中的畸变并获得准确的空间尺寸和形状。常用的方法有标定板标定和N点标定等。模板匹配模板匹配是一种在图像处理中用来查找和识别图像中与模板图像相匹配区域的技术。位置修正位置修正是一个辅助定位、修正目标运动偏移、辅助精准定位的工具，在识别或测量过程中，根据模板匹配结果中的匹配点和匹配框角度建立位置偏移的基准，针对误差或偏差对对象的位置进行调整。标定标定板标定是一种常见的相机校准方法，其主要目的是通过标定板上已知的几何特征（如棋盘格、圆点、或特定图案）来计算相机的内参和外参。棋盘格的特征点易于利用视觉算法检测且分布模式规则，拍摄时要确保棋盘格在图像中清晰可见，并覆盖图像的大部分区域。利用特征识别算法检测棋盘格的角点图像坐标，根据图像坐标位置和物理坐标拍摄时位置（即棋盘格实际尺寸或实际物理位置），计算相机内参数（如焦距、光学中心）和镜头畸变系数（径向和切向畸变），输出图像坐标系到物理坐标系的转换关系（即标定文件）。得到转换关系后，就可以将图像中标定板平面上的像素点坐标转换到对应的标定板的物理坐标系中。在工业检测中，标定相机可用于细致的缺陷检测和尺寸测量。同时，视觉标定也适用于多种计算机视觉任务的校准任务。例如，使用相机标定得到的畸变系数来校正原始图像中的畸变点,用于校正镜头畸变。4实战案例四：物料颜色分选项目需求分析在相机视野（50*30mm、精度约0.05mm）内放置不同颜色的物料，通过视觉系统准确识别对应物料颜色，分类并输出对应的位置坐标给上位机等通信设备，可以搭配机械手实现不同颜色物料的定位抓取功能（操作预留空间150~200mm）。硬件方案设计（1）相机选型计算长边像素数量为50÷0.05=1000，短边像素数量为30÷0.05=600，精度余量按照3倍计算，得出相机的长边像素数量为3000，短边像素数量为1800。选择3072×2048（600万）像素的相机MV-CS060-10GC（2）镜头选型根据镜头焦距计算公式计算得出镜头焦距约为22.11mm，选择匹配的镜头型号为MVL-HF2524M-10MP（3）光源选型结合定位逻辑选择低角度环形光源MV-LRDS-H-120-30-W，以约120～130mm高度进行架设。视觉流程设计1）图像采集2）创建产品匹配模板项目现场在拍摄时会随机出现多个不同颜色的产品，可以在视觉流程中利用组合模块，对视野内出现的所有目标逐个循环检测。3）颜色识别设置颜色模型，逐一添加所有需要识别的色彩模型视觉程序根据预设的颜色模板能够正确识别并显示拍摄视野内所有产品的对应颜色。最后，利用通讯模块将数据输出给上位机或机械手等设备，引导设备完成分拣抓取。5实战案例五：电容OCR字符识别项目需求分析具体检测需求如下：产线上电容器随机摆放，视觉系统能准确捕捉产品并正确识别产品上打印的产品编码和日期等字符；字符识别区域范围约为120mm*100mm，字符特征最小打印宽度为0.5mm；产线检测速度要求为每秒需要检测不少于10件产品；视觉系统能够实现异常剔除，可识别打印不清、残缺、倾斜、反码等不符合打印要求的产品硬件方案设计（1）相机选型根据视野大小（120mm*100mm）和定位精度±0.5mm的要求，进行面阵相机的选型。精度余量按照2倍计算