工业机器视觉与应用 课件 第2章 机器视觉系统及成像原理

机器视觉系统及成像原理1.1机器视觉系统认识1.1.1机器视觉系统概述机器视觉是一种利用光学装置和非接触式传感器获取图像，并通过图像处理与智能算法将视觉信息转化为可操作数据的技术系统。它结合了图像处理、模式识别、人工智能和自动化控制等多学科技术，能实现物体识别、尺寸测量、缺陷检测、位置定位等任务。其核心可概括为“视”（硬件成像与采集）和“觉”（软件处理与分析）。机器视觉系统硬件部分主要由照明光源、镜头、相机、图像采集/处理卡、图像处理系统、其他外部设备等组成，其工作流程见图1。1.1机器视觉系统认识图1机器视觉系统工作流程1.照明光源照明光源（见图2）是视觉系统的输入核心，能增强目标特征对比度、减少环境干扰，直接影响成像质量；需根据具体应用选择，如LED环形光源、同轴光源等。根据光源发光类型可分为LED灯、卤素灯、荧光灯、激光灯等。1.1机器视觉系统认识图2常见的机器视觉光源2.工业相机工业相机（见图3）在机器视觉系统中最重要的作用是将光信号转换为电信号，生成数字图像，还可以通过接口将采集到的图像即时传输到图像处理系统或计算机中，确保数据的实时性和准确性。1.1机器视觉系统认识图3工业相机3.工业镜头工业镜头（见图4）在机器视觉系统中扮演着“眼睛”的角色，将产品检测的情况反馈给工业相机。它将目标物体反射的光线聚焦到相机传感器上形成图像，对成像质量至关重要，其参数和质量会直接影响机器视觉系统整体性能和结果精度。1.1机器视觉系统认识图4工业镜头4.图像采集卡图像采集卡是机器视觉系统中连接工业相机与计算机的核心硬件（见图5），负责将相机输出的图像转换为计算机可以处理的数字信号。1.1机器视觉系统认识图5图像采集卡5.机器视觉软件机器视觉软件是机器视觉系统中自动化处理的关键部件，它根据具体应用需求，进行二次开发，可自动完成图像的采集、显示、存储和处理等操作。常见的机器视觉软件见图6。1.1机器视觉系统认识图6常见的机器视觉软件1.1.2相机基础知识及工作原理工业相机是机器视觉系统中的一个关键部分，是决定整个系统成本、速度和精度的关键组件。工业相机一般安装在机器流水线上，代替人眼来做测量和判断，选择合适的相机也是机器视觉系统设计中的重要环节。工业相机在机器视觉系统中的本质功能是将光信号转换为电信号，与普通相机相比，它具有更高的传输能力、抗干扰能力和稳定的成像能力，工业相机的基本结构（见图7）。1.1机器视觉系统认识图7工业相机的基本结构1.工业相机主要参数工业相机的主要参数包含图像传感器类型、像元尺寸、分辨率、帧率、曝光方式、接口类型、位深等。1）传感器类型图像传感器是将光学图像转换为电子信号，进而生成数字图像的设备，它直接影响到图像的质量、分辨率、灵敏度和噪声水平。传感器的性能决定了相机在不同光照条件下的表现，以及能否捕捉到清晰、准确的图像。2）像元尺寸像元尺寸即单个像素的物理尺寸，是反映影像特征的重要标志，是同时具有空间特征和波谱特征的数据元。其几何意义是数据值所代表的地面面积，物理意义是波谱变量所代表的其在某一特定波段中波谱响应的强度，即同一像元内的物体只有一个共同灰度值。像元尺寸决定了数字影像的分辨率和信息量。像元小，数字影像分辨率高，信息量大；反之，数字影像分辨率低，信息量小。1.1机器视觉系统认识3）分辨率相机分辨率是指相机能够分辨的细节程度，通常用水平和垂直方向上所能分辨的像素数量来表示，如常见的1920×1080表示水平方向有1920个像素，垂直方向有1080个像素。分辨率越高，相机可以捕捉到的细节越多，图像越清晰。相机分辨率高低主要取决于其感光芯片（CCD或CMOS）上的像素数量。4）帧率帧率指相机每秒钟能够捕捉并输出的图像数量，单位为fps，通常受带宽、曝光时间、像素格式等因素影响。相机帧率高意味着相机能够更连续地捕捉运动物体，生成的视频也更流畅。相机帧率（FPS）的计算如式（1）所示。"帧率"（FPS）="拍摄图像数量"/"时间（s）"（1）例如，相机在1s内捕捉了30幅图像，则其帧率为30fps。1.1机器视觉系统认识5）曝光方式曝光方式有全局曝光和行曝光两种，见图8。全局曝光是让整幅图像在同一时间曝光，所有像素同时开始曝光，并在相同的时刻结束曝光，这种类型确保整幅图像在同一时间被捕捉，避免了逐行曝光导致的运动模糊或畸变。适用于需要精确时间控制的场景，如高速运动物体的拍摄。CCD和CMOS都支持全局曝光方式。行曝光逐行进行曝光，从第一行像素开始，依次曝光，直到最后一行像素结束。这种类型在曝光过程中，每一行图像都有一个微小时间差，导致运动物体在图像中可能出现扭曲变形或拖影，因此不适合运动物体的拍摄。CMOS支持行曝光方式，CCD不支持。1.1机器视觉系统认识图8曝光方式6）接口类型常见的工业相机接口，见表1。1.1机器视觉系统认识表1常见的工业相机接口接口名称千兆网口GigEUSB3.0CameraLinkCoaXPress万兆网口10GigE传输速度1000Mb/s3000Mb/s6.8Gb/s72Gb/s10Gb/s传输距离(m)100530100100最大带宽1Gb/s5Gb/s6.8Gb/s72Gb/s10Gb/s采集卡千兆网卡USB3.0采集卡CameraLink采集卡CoaXPress采集卡万兆网卡7）位深位深是指每个像素的灰度值或颜色信息所用的位数，决定了图像的灰度级数或颜色数量，例如，8位深的图像每个像素有256（28）个灰度级，16位深的图像每个像素有65536（216）个灰度级。位深越高。2.相机分类1）按输出图像信号格式分类工业相机按输出信号分为模拟相机和数字相机：模拟相机输出模拟视频信号，需采集卡转换，分辨率低、抗干扰差，但延时小、成本低，适用于低要求或短距离场景。数字相机直接输出数字信号，分辨率高、抗干扰强、接口多，适合高精度检测和复杂图像处理，但成本相对较高。1.1机器视觉系统认识2）按图像传感器类型分类按照图像传感器类型的不同，工业相机可分为CCD相机和CMOS相机。CCD相机是使用CCD感光芯片为图像传感器的工业相机，集光电转换及电荷存储、电荷转移、信号读取于一体，是典型的固体成像器件。CMOS相机用CMOS感光芯片作图像传感器，将光敏元阵列、图像信号放大器、信号读取电路、模数转换电路、图像信号处理器及控制器集成在一块芯片上。3）按像素排列分类按照像素排列方式，工业相机可分为线阵相机和面阵相机两种。线阵相机通过逐行扫描获取图像，每次采集一行像素数据，再拼接成完整图像，常用于高分辨率连续检测场景面阵相机由二维像素阵列组成，可一次性捕捉完整图像，分辨率高、细节丰富，适用于静态或动态场景的全面检测与分析。1.1机器视觉系统认识1.1.3镜头基础知识及工作原理工业镜头的基本功能是实现光束变换。在机器视觉系统中，工业镜头的作用是将目标物体成像在图像传感器的光敏面上，工业镜头的质量会直接影响机器视觉系统的整体性能，合理地选择工业镜头是机器视觉系统设计的重要环节。1.镜头的基本参数镜头是基于折射原理构造的，通常由多个透镜组（凸透镜、凹透镜）组成，利用光的折射原理改变光路，目标物体发出的光线通过镜头后，在传感器平面形成倒立实像。工业镜头涉及的主要参数有：焦距、光圈、景深（DepthofField，DOF）、工作距离和视野，下文将分别进行介绍。1.1机器视觉系统认识1）焦距当与光轴平行的光线射入凸透镜时，理想的镜头情况下，所有的光线经过透镜折射后将汇聚在主轴上清晰一点，再以锥状扩散开，这个汇聚光线的点叫作焦点（见图9和图10），镜头中心到焦点的距离称为焦距。1.1机器视觉系统认识图9焦距示意图图10物体成像示意图2）光圈光圈是相机镜头内部的一个机械装置，又称孔径光阑，通常由多个可调节叶片组成，这些叶片可以开合，从而改变光阑的孔径大小，从而改变进光量，大光圈表明孔径大，进入的光线也就越多。光圈的主要作用是控制进入相机的光线量，达到影响图像的亮度、景深和成像质量的目的。大小光圈效果对比（见图11）。1.1机器视觉系统认识图11大、小光圈效果对比3）景深景深指聚焦后，焦点前后能够生成清晰图像的距离，简单说来就是镜头能够看清楚的“厚度”。景深和镜头的焦距、光圈、物距等参数有关（见图12），光圈越小，景深越大；物距越大，景深越大；焦距越小，景深越大。1.1机器视觉系统认识图12景深示意图4）

工作距离工作距离指镜头到目标拍摄物体之间的距离，也称作物距，用s表示。5）视野视野就是镜头能看到的范围，也就是镜头正常工作时能够覆盖的最大工作空间，用2h表示。2.镜头的分类镜头的结构复杂多样，分类的方法也很多，下面将介绍几种常见的分类方法。1）按焦距分类在机器视觉系统中，按照镜头焦距是否可调节可分为定焦镜头和变焦镜头两大类。其中，变焦镜头又可分为手动变焦镜头和电动变焦镜头两大类；定焦镜头按照其等效焦距不同又可细分为：鱼眼镜头、广角镜头、标准镜头、长焦镜头等。1.1机器视觉系统认识2）按成像方式分类基于镜头与相机的配合方式以及成像原理，工业镜头可分为线阵镜头和面阵镜头两类。线阵镜头配合线阵相机使用，采用扫描式工作方式。线阵相机的传感器呈“线”状，通过逐行扫描的方式获取图像，每次采集完一条线后，物体或相机移动到下一个位置，继续下一条线的采集，最终拼合成一张完整的二维图像。面阵镜头则与面阵相机搭配使用，传感器呈“面”状，每个像素点同时捕捉图像，一次性获取整个图像。3）按镜头功能分类对于使用在特定任务情况下的镜头，称其为特殊种类镜头，如远心镜头、微距镜头、显微镜头等。1.1机器视觉系统认识3.镜头畸变畸变是在图像采集时，由于镜头的设计、加工或安装等，采集到的图像与实际物体之间存在一定变形的现象。这种现象是光线在不同镜头位置的折射角度不同或放大倍率不同而导致的，但它只影响成像的几何形状，对清晰程度不会产生影响。4.镜头的选择镜头的基本光学性能由焦距、相对孔径（光圈数）和视野三个参数表征，因此，在选择镜头时，首先需要确定这三个参数，最主要的是确定焦距，然后再考虑分辨率、景深、畸变、接口等其他因素。1.1机器视觉系统认识1.1.4光源基础知识及选型原则机器视觉系统的核心功能是图像采集和图像处理，而光源可以提供稳定的照明条件，在拍摄过程中采用适当的光源进行补光，可以使被拍摄物特征具备明显而稳定的灰度值差异，并降低环境及其他杂散光的干扰，以得到高对比度的特征图像，图像中的目标信息与背景信息就可以得到更好的分离，提高机器视觉系统的精度和可靠性。1.照明技术基础知识基于物理知识，我们可以了解到光传播的一些基本特质，如光在真空中呈直线传播，光在传播过程中会发生反射、折射、透射、吸收的现象。1.1机器视觉系统认识图13中入射光线照在被测物体表面后，产生反射、吸收和透射的现象。1.1机器视觉系统认识图13光线与被测物之间的关系2.打光方式不同的用途对采集图像有不同的要求，且不同被测物体之间材料、大小、形状特点的不同也会影响采集图像的效果，不同的光源照射方式可以着重突出图像的部分特性，对后续处理过程产生较大影响，因此选择合适的打光方式在机器视觉系统中也至关重要。1）高角度打光（明视野）2）低角度打光（暗视野）3）背向打光4）透射打光1.1机器视觉系统认识3.光源的种类光源的正确选择是机器视觉检测应用成功的关键因素之一，对于机器视觉系统，理想的光源应该是明亮、均匀、稳定的。目前视觉系统中常见的光源类型主要有：LED灯、卤素灯、荧光灯、激光灯等。根据不同应用场景的特性和要求测得参数的差异，测量中用到的光源类型需要结合具体情况分析选择。1）LED灯LED灯指利用发光二极管（即LED）作为光源的灯具。在机器视觉应用领域，由于LED光源的突出优势，应用范围最广。2）卤素灯卤素灯是一种填充气体内含有部分卤族元素或卤化物（通常为碘或溴）的充气白炽灯。卤素灯具有使用寿命长、显色性好、高亮度高效率等特点，适用于需要高亮度照明的场合。1.1机器视觉系统认识3）荧光灯荧光灯又称为日光灯，传统荧光灯即低压汞灯，是利用低气压汞蒸气在通电后释放紫外线，从而使荧光粉发出可见光的原理发光的。其具有扩散性好，适合大面积均匀照射；发热少，使用寿命约1500～3000h，适用于彩色图像视觉检测场景。4）激光灯激光是可使用范围内最亮的光源，激光灯正是利用激光进行照明的。通常应用于精度要求极高的精密测量和检测场景。1.1.5图像采集卡及图像处理组件图像采集卡又称图像捕捉卡，其主要功能是将来自相机的模拟信号或数字信号转换为所需的图像数据流并发送到计算机端，是实现相机与计算机间连接的重要组件。1.1机器视觉系统认识1.图像采集卡种类（1）按照接收信号的种类，图像采集卡可以分为模拟信号图像采集卡和数字信号图像采集卡。模拟信号图像采集卡主要用于处理模拟信号，通常将模拟视频信号通过A/D转换器转换为数字信号，然后传输到计算机进行处理。数字信号图像采集卡处理的是来自数字相机的数字信号，其通过数字接口接收来自数字相机的图像数据，然后将这些数据传输到计算机的内存中进行进一步处理。（2）按照接口适用性，可分为专用接口采集卡（如CameraLink、模拟视频接口等）和通用接口采集卡（如GigE、USB3.0等）。（3）按照支持的颜色，可以分为彩色图像采集卡和黑白图像采集卡。（4）按照性能作用，可以分为电视卡、图像采集卡、DV采集卡、高清采集卡、VCD卡等。1.1机器视觉系统认识2.主要技术参数1）图像传输接口与数据格式2）图像格式（像素格式）3）传输通道数4）分辨率5）带宽6）采样频率1.1机器视觉系统认识3.图像采集卡的选型在选择图像采集卡前，需要先明确应用场景具体功能要求，如分辨率、带宽、传输频率等要求，以及所用相机的具体参数，选用的图像采集卡应该与相机进行匹配，主要有以下几方面。（1）支持接口模式，如CameraLink接口的相机支持的模式有Base模式、Medium模式、Full模式，在选择图像采集卡时也应当与这些模式匹配。（2）支持的分辨率。在选择时应该考虑图像采集卡的分辨率是否能满足输入图像的要求。（3）其他因素：要考虑硬件的可靠性，如是否有过电压保护、散热性能如何等。除硬件外，还需要考虑配套软件的易用性，图像采集卡一般有配套的开发包，如SDK、开发平台等，需要根据实际情况和功能侧重进行选用。1.1机器视觉系统认识1.2图像处理技术的基本原理图像处理技术的本质是通过数学与算法工具对原始像素数据进行重构与解析，将无序的光信号转换为可量化、可分析的视觉信息。从工业检测中的缺陷定位到自动驾驶的环境感知，这一过程涵盖五大关键阶段：图像生成与表示奠定数字图像的数学基础，基本变换实现几何与灰度的规范化表达，滤波与增强抑制噪声并强化目标特征，特征提取提炼高阶语义信息，通过2D和3D图像匹配完成物体识别与空间定位。本节内容将深入解析这一技术链条的底层逻辑，揭示像素操作如何驱动机器视觉从“看见”迈向“理解”。1.2.1图像生成与表示1.图像获取图像获取（或称为图像采集）是图像处理的第一步，指的是通过各种传感器（如相机、扫描仪等）捕捉现实世界场景的光信息或其他形式的能量信息，并将其转换为可以被计算机处理的数字信号，以便后续处理和分析。1.2图像处理技术的基本原理2.图像数字化图像数字化是将连续的模拟图像转换为离散的数字图像的过程。它主要包括采样(sampling)和量化(quantization)两个步骤。采样：将连续的图像在空间上离散化，即把图像分割成一个个小的区域，每个小区域称为像素(pixel)。像素是数字图像的基本单位。每个像素的位置由其在图像中的坐标(m,n)决定，其中m代表行数，n代表列数。采样间隔越小，图像的分辨率越高，图像质量越好。量化：将每个像素的亮度值转换为离散的灰度或颜色值。每个像素的亮度值通常用整数表示，这个整数的范围称为灰度级(graylevel)。常见的灰度级有256级（0~255），对应于8bit量化。图像数字化后，就成为计算机可以处理的数字图像。常见的图像格式如下。（1）灰度图像：每个像素只有一个灰度值，表示图像的亮度。（2）彩色图像：每个像素有多个颜色分量，如RGB图像有红色(R)、绿色(G)和蓝色(B)三个分量。（3）二值图像：每个像素只有两个值，通常为0和1，分别表示黑色和白色。1.2图像处理技术的基本原理1.2.2图像的基本变换图像基本变换作为预处理的核心环节，通过重塑像素的空间分布与强度关系，实现三大关键目标。（1）信息强化：线性变换调节亮度/对比度，凸显目标区域细节。（2）特征聚焦：二值化压缩信息维度，分离前景与背景。（3）几何校正：空间变换消除成像畸变，建立标准化观察视角。以下是线性变换、图像二值化相关概述。1.线性变换在图像处理领域，线性变换是基础且广泛应用的工具，其核心在于通过矩阵运算改变图像的空间结构或像素值分布。线性变换满足叠加性和齐次性，即变换前后的线性组合关系保持不变。1.2图像处理技术的基本原理2.图像二值化图像二值化（imagebinarization）将灰度或彩色图像转换为仅包含两种像素值（通常为0和255，即纯黑和纯白）的二值图像（见图14）。图像二值化的基本原理是通过设定阈值，将像素的灰度值与该阈值进行比较，高于阈值的像素被归为前景（白），低于阈值的像素被归为背景（黑）。1.2图像处理技术的基本原理图14二值化前后图像对比（左右图片分别为原始图片和二值化处理后的图片）3.几何变换几何变换，本质上是通过建立不同观察视角下的空间映射关系，实现图像数据的结构化重组。这个过程需要满足两个核心要求：保持视觉信息的拓扑不变性，以及适应计算机的数值计算特性。如同建筑师需要精确的测绘工具构建建筑模型，几何变换为计算机视觉提供了构建数字世界的坐标量尺。1.2.3图像滤波与增强在完成图像数字化与基础变换后，原始图像仍受噪声干扰、细节模糊或对比度不足等问题的制约。图像滤波与增强作为预处理的关键阶段，通过重构像素的邻域关系与强度分布，实现三大核心目标。1.2图像处理技术的基本原理（1）噪声抑制：空域滤波消除脉冲噪声与高斯噪声，如中值滤波通过排序统计保护边缘完整性，高斯滤波利用加权平均平滑高频干扰。（2）特征增强：频域方法分离高频细节与低频背景，傅里叶变换结合带通滤波强化目标轮廓，直方图均衡化扩展灰度动态范围以提升对比度。（3）数据优化：自适应算法融合物理先验与深度学习，如小波变换联合卷积神经网络增强微结构特征，为后续特征提取与匹配提供高信噪比输入。下面简要描述了空域与频域滤波的数学原理，探讨自适应增强的策略设计，并引入多尺度融合与智能化处理的前沿方向，为高阶视觉任务奠定算法基石。1.2图像处理技术的基本原理1.灰度修正灰度修正主要针对独立的像素点进行处理，由输入像素点的灰度值来决定相应输出像素点的灰度值，通过改变原始图像所占据的灰度范围而使图像在视觉上得到改观，但这种变换没有利用像素点之间的相互空间关系，属于最简单的一类图像处理变换方法，因而这种处理方法也称为点运算。2.中值滤波中值滤波作为一种非线性滤波技术，凭借其独特的噪声抑制机制脱颖而出：通过使用一个滑动窗口遍历图像的每个像素，取邻域窗口内像素值的中位数替代中心像素值，并将中心像素的值替换为窗口内所有像素值的中值。1.2图像处理技术的基本原理在机器视觉系统中，中值滤波常作为重要的预处理步骤，为后续处理提供更清晰的输入（见图15）。1.2图像处理技术的基本原理（a）原始图像（b）高斯滤波处理后图像（c）中值滤波处理后图像图15两栖动物血液图像处理对比3.傅里叶变换(2D)傅里叶变换是图像处理中非常经典的工具。它通过将图像从空间域转换到频率域，为图像处理和分析提供了全新的视角。在傅里叶变换背景下，松鼠背后的灰色背景主要“包含”低频，因为像素的强度从一个像素到另一个像素缓慢变化。相反，尾巴部分需要高频来显示毛发和背景之间的快速交替，见图16。1.2图像处理技术的基本原理图片图16松鼠图像的DFT。振幅以对数刻度显示，以清晰区分细节DFT幅值DFT相位1.2.4图像特征提取图像特征提取属于图像分析的范畴，是数字图像处理的高级阶段，也是图像识别的开始。从图像中提取有用的数据或信息，得到图像的“非图像”的表示或描述，如数值、向量和符号等，这一过程就是特征提取，而提取出来的这些“非图像”的表示或描述就是特征。有了这些数值或向量形式的特征就可以通过训练过程教会计算机如何懂得这些特征，从而使计算机具有了识别图像的本领。图像特征提取的实施遵循系统化的处理链条（见图17）。1.2图像处理技术的基本原理图17图像特征提取流程1.特征的基本概念在计算机视觉中，特征是指关于图像内容的一段信息，通常用于描述图像中某个区域是否具有特定的属性。这些特征可以是图像中的边缘、角点、斑点或特定纹理等，它们携带着图像的本质信息，能够帮助系统理解图像内容。2.特征检测方法特征检测是低级图像处理操作，通常作为图像处理的第一步，检查每个像素以确定该位置是否存在特征。特征检测方法多种多样，根据检测的特征类型不同，可以分为边缘检测、角点检测、斑点检测和脊检测等。3.特征提取方法选择合适的特征提取方法需综合考虑应用需求、数据特性、计算资源和解释性要求等因素。传统方法在计算资源有限、数据量小或需要清晰理解特征含义的场景中具有优势，深度学习方法则在处理复杂图像、大规模数据集和高精度要求的任务中表现出色。未来的机器视觉系统将能自动选择和组合最优特征提取策略，为各行业视觉智能应用提供更强大支持。1.2图像处理技术的基本原理1.2.52D和3D图像匹配图像匹配的本质是在两幅或多幅图像中识别和关联对应的像素、特征或区域。从广义上讲，图像匹配旨在寻找图像A中的某个元素在图像B中的位置。图像匹配可分为密集匹配和稀疏匹配两种主要范式。密集匹配尝试为图像中的每个像素找到对应点，而稀疏匹配则仅关注特定的兴趣点或特征。无论采用哪种范式，图像匹配的核心挑战都在于应对各种复杂情况，