工业视觉系统应用技术 课件 第五章 工业视觉软件算法基础

工业视觉系统应用技术

第五章工业视觉软件算法基础

学习目标掌握工业视觉软件的基本架构，理解图像采集、预处理、特征提取、分析决策的基本流程；掌握主要图像处理功能模块的基本原理、作用及其在典型任务中的应用。工业视觉助力制造业转型升级1工业视觉软件作为人工智能在工业领域的关键应用，其发展是对科技强国战略的有力践行，有助于提升我国在全球科技竞争中的地位，增强国家核心竞争力，为实现中华民族伟大复兴的中国梦提供科技支撑。2VisionMaster视觉算法平台数字图像数字图像中包含丰富的信息，这些信息可以通过像素的位置、颜色值和排列方式来表达，如颜色信息、亮度信息、空间信息等。数字图像中的每个像素都有特定的位置坐标，包括像素的位置、大小和排列方式，描述图像中物体或区域的尺寸和大小等信息，通常以像素数或实际物理尺寸表示。视觉图像空间信息对于图像理解、处理和分析都具有重要意义，是计算机视觉和图像处理领域的核心内容之一。VisionMaster算法平台VisionMaster算法平台集成机器视觉多种算法组件，支持多种图像采集设备，适用多种应用场景，可快速组合算法，能满足视觉定位、尺寸测量、缺陷检测以及信息识别等工业视觉应用需求。视觉方案说明通用方案用户可根据项目内容自由选择算法工具，搭建检测流程定位测量通过定位、测量工具进行设计，基于轮廓图及深度图实现高效定位匹配、轮廓及特征测量和引导等功能缺陷检测借助检测工具查找工件形态和轮廓缺陷用于识别：通过识别工具进行方案设计，读取多种制式的信息码、字符等ID信息在VisionMaster算法开发平台中，提供了千余种图像处理算子和开发工具,以及深度学习算法包，优化后的算法能够对常见的各类工业检测都有良好的适应性，在安装基础工具模块之后可根据自己需求选择是否安装深度学习等增强工具包。在VisionMaster的启动界面，提供了多种典型工业应用示例方案，方便用户参考设计工业检测项目。3图像处理工具集图像二值化图像二值化是图像处理中的一种基本操作，其目的是将灰度图像转换为只有黑白两种颜色的二值图像。二值化图像的像素值只有0和1（或者0和255），分别代表黑色和白色。图像滤波图像滤波是一种用于去除图像噪声或提取特定特征的图像处理技术，旨在改善图像的质量、增强特定的图像特征或去除图像中的噪声。滤波器通常是一种矩阵或函数，选择滤波器类型和参数取决于所需的图像处理目标和应用场景。1.均值滤波（MeanFilter）均值滤波也称为线性滤波或均值平滑，通过用一个窗口内所有像素的平均值来替代窗口中心像素的值，常用于去除图像中的高斯噪声或平滑图像。2.中值滤波（MedianFilter）中值滤波是一种非线性滤波方法，其原理是选择邻域像素值中的中间值作为输出来替代窗口中心像素的值，常用于去除图像中的椒盐噪声或斑点噪声。3.高斯滤波（GaussianFilter）高斯滤波是一种常用的线性平滑滤波器，通过对图像进行卷积操作,利用高斯函数来对图像进行加权平均，达到平滑图像的目的。图像增强图像增强是通过图像处理技术改善图像的质量、增强图像的特定特征或提高图像的可视化效果的技术，旨在改善图像的视觉效果或增强某些感兴趣的特征以改善图像的观感、清晰度、对比度等方面。1．对比度增强——通过调整图像的像素值范围来增加图像的对比度，使图像的视觉效果更加鲜明和清晰。2.锐化图像锐化是是增强图像细节和边缘的一种技术，通过突出图像中的边缘等显著特征，来增强图像的清晰度和细节度。3.亮度调整亮度调整是通过改变图像的亮度值来调整图像的整体明暗程度，使其更符合视觉需求和具体应用场景。形态学处理形态学处理是一种基于图像形状的数学理论，通过使用特定的结构元素对图像中的目标形态进行操作，用于图像的边缘检测、噪声去除、小目标填充、对象连接等。形态学方法主要包括形态学腐蚀、形态学膨胀、开运算、闭运算、形态学梯度等运算操作。1.图像腐蚀图像腐蚀是一种局部操作，通过将图像中的前景像素减小或腐蚀来进行处理，主要用来去除图像中的小的噪声和分离不相连的结构或区域，从而使目标变得更小或更平滑。2.膨胀形态学膨胀是形态学腐蚀的逆过程。主要作用是增大图像中前景（白色）像素的面积，扩张图像中物体的边界、或增强图像中的目标区域等。3.开运算和闭运算在图像处理领域，常常将图像腐蚀和膨胀组合使用，可以有效地改进图像处理效果。其中，开运算和闭运算是膨胀与腐蚀操作的不同序列组合。闭运算是先对图像进行膨胀操作，然后进行腐蚀操作。膨胀扩展前景对象的大小，然后腐蚀去除膨胀操作中扩展的部分，但保持填补后对象的原始形状。开运算则是通过先进行腐蚀再进行膨胀来处理图像，主要功能是去除小的前景对象（例如白色噪声斑点），同时不会影响到较大的前景对象。图像运算图像运算是指对输入图像进行逻辑和数据运算。1.算术运算算数运算有加法、减法、乘法和除法几种类型。2.逻辑运算逻辑运算有逻辑与、或、非和异或四种常用方法3.几何变换图像几何变换是指对图像的位置、形态或结构进行更改的运算。常见的几何变换包括平移、旋转、镜像、缩放、仿射变换和透视变换等。仿射变换是一种线性变换，通过几何变换操作，将图像中的坐标变换成新的坐标，同时能够保持二维图形在变换前后的平行关系及图形局部不变性。4系统数据通讯在工业自动化领域，工业视觉数据通讯主要涉及工业相机、视觉系统与其他设备（如计算机、PLC等）之间的数据传输，主要内容包括通讯接口、通讯协议和数据内容格式等。通讯接口1.以太网接口以太网接口是目前工业视觉系统中最常用的通讯接口之一。它基于IEEE802.3标准网络协议进行数据传输，通过网络协议（如TCP/IP）进行数据传输，支持多种拓扑结构。特点是传输速度快、传输距离长，能够满足工业视觉系统中大量图像数据的快速传输需求；而且以太网接口具备良好的兼容性和通用性。2.USB接口USB接口具有即插即用、热插拔、兼容性强等特点，并且在短距离内可以提供较高的数据传输速率；USB3.0的理论传输速度可达5Gbps，USB3.1Gen2的速度可达10Gbps，能满足高分辨率图像的实时传输需求。3.CameraLink接口CameraLink是一种高速、高性能的串行接口标准，采用了LVDS（低压差分信号）技术，其标准支持的最高数据传输率可达680MB/s，CameralinkFull模式有效带宽最高可达6.4Gbps，具有良好的抗干扰能力，较多应用在对图像传输速度和质量要求极高的场合，如高分辨率图像采集、高速生产线的产品检测等应用领域。4.GigEVision接口GigEVision是一种基于以太网通信协议开发的工业相机接口标准，其优势在于可以利用现有的以太网基础设施，并且支持长距离传输。可以根据具体需求选择符合GigEVision标准的不同品牌、型号的相机、图像采集卡等设备，基于以太网的基础设施进行系统集成和扩展，构建灵活多样的工业视觉系统。通讯协议工业视觉系统的通讯及通讯协议是实现设备间数据交互、指令控制与系统集成的核心技术，其设计需满足高实时性、可靠性和兼容性要求。1.TCP/IP协议——传输控制协议/因特网协议，是一组用于在互联网及计算机网络（如内联网、外联网）中互连网络设备的基础通信协议。2.ModbusTCP协议——基于TCP/IP网络的Modbus通讯协议，继承了ModbusRTU和ModbusASCII的优点，克服了它们在距离和速度上的限制，能够实现跨网络的设备通信，通信速度快，适合实时数据传输。3.UDP协议——即用户数据报协议，是一种无连接的协议。将数据封装成数据包独立传输，无需建立连接和进行复杂的确认机制，能够快速传输数据。4.西门子S7协议——西门子专为其可编程逻辑控制器（PLC）产品系列设计的通信协议协议。5.串口通讯协议——是一种按位发送和接收字节的通信协议。数据传输1.传输内容工业视觉系统数据传输的内容丰富多样，包括图像数据、测量数据、识别结果、控制指令和系统运行状态等数据。2.接收发送数据接收数据模块主要用于获取外部通信设备、全局变量和数据队列的数据，并将这部分数据在流程中使用。发送数据模块主要用于将视觉流程中的数据发送给数据队列、外部通信设备、全局变量和视觉控制器。5脚本功能工业视觉脚本是工业视觉系统中用于实现特定功能和逻辑控制的重要组成部分。在VisionMaster中，脚本模块使用

编程，可在VisualStudio进行代码的编写和调试，脚本支持int、flaot、string、Bytes和Image五种数据类型的输入输出。在脚本中，用户可自行编译所要实现的功能，也可调用第三方工具库。工业视觉脚本开发1.Halcon——Halcon提供了丰富的用于图像处理、分析和工业视觉应用函数库。语言简洁高效，其内部算法经过高度优化，能够在短时间内处理大量的图像数据，能够快速实现各种复杂的视觉检测算法。2.OpenCV——开源的计算机视觉库，包含了大量用于图像处理和计算机视觉任务的算法。支持多种编程语言，可以结合Python或

等编程语言使用。Python的优势在于代码简洁、开发速度快，适合快速原型开发和实验性的视觉检测项目。3.VisualStudio——Visual