工业机器视觉与应用 课件 3.1 工业机器视觉技术概述

工业机器视觉基础应用实践

--3.1工业机器视觉技术概述1.1工业机器视觉技术概述1.1.1工业机器视觉的技术原理工业机器视觉（industrialmachinevision）是一种利用光学、传感器、图像处理和计算机技术，在工业环境中实现自动化测量、定位、识别和检测的技术。其核心是通过模拟人类视觉功能，结合算法和硬件系统，实现对目标物体的快速、精准分析。工业机器视觉技术的工作流程通常分为以下四个步骤。（1）图像采集与标定：图像采集与标定是机器视觉系统中至关重要的步骤，其将物理世界转换为数字图像，并准确建立了物理世界到数字图像之间的映射，从而能够进行精确的测量和分析，为后续的图像处理和分析提供基础。图像采集是系统的“眼睛”，决定了数据质量；标定是系统的“尺子”，决定了物理精度。1.1工业机器视觉技术概述（2）图像预处理：在工业机器视觉系统中，图像预处理是介于图像采集与特征分析之间的关键步骤，其核心意义在于优化原始图像的质量，使后续算法能够更高效、更准确地提取目标信息。预处理不仅直接影响系统的检测精度和鲁棒性，还能显著降低计算复杂度，是工业应用中不可忽视的技术环节。（3）图像特征提取与分析：在工业机器视觉中，图像特征提取是从预处理后的图像中识别并抽取出关键信息的过程，这些信息能够表征目标物体的本质属性（如形状、纹理、颜色等），为后续的检测、分类、测量或定位提供数据基础。其意义不仅在于简化数据，更在于将图像转换为可量化、可分析的语义信息。图像特征分析的核心任务是将图像特征（如边缘、纹理、颜色）转化为可理解的工业参数（如缺陷类型、尺寸偏差、坐标位置），是连接“感知”与“决策”的核心环节，直接影响系统的检测精度、效率和智能化水平。1.1工业机器视觉技术概述（4）决策与控制：在工业机器视觉系统中，决策与控制是流程的最终环节，其实将分析结果转化为可执行的工业指令，其核心意义在于将图像特征提取与分析的结果转化为物理世界的具体动作，完成从“感知”到“行动”的闭环，赋予机器视觉系统真正的应用价值——发现问题、量化问题并解决问题，是确保机器视觉真正落地工业应用、实现自动化的关键。1.图像采集与标定图像采集与标定是机器视觉系统中至关重要的步骤，它们确保了从物理世界到数字图像的准确映射，从而能够进行精确的测量和分析。本节将介绍图像获取的原理与过程，以及相机标定的重要性和常见方法。1.1工业机器视觉技术概述1）图像采集系统图像采集是机器视觉系统与物理世界之间的唯一接口，所有后续的算法、模型和决策都依赖于采集到的图像数据。如果原始图像信息缺失或失真，后续处理（如缺陷检测、尺寸测量）将失去可靠依据。合理设计的图像采集方案能够突出目标物体的关键特征（如边缘、纹理、颜色、缺陷），为后续处理提供“高价值数据”。（1）相机传感器：工业相机通常采用CCD（电荷耦合器件）传感器或CMOS（互补金属氧化物半导体）传感器。这些传感器通过接收光线，将光信号转换为模拟电信号，然后通过模数转换器将模拟电信号转换为数字信号，见图1。1.1工业机器视觉技术概述光源相机传感器镜头被测工件图1图像采集系统示例（2）镜头：镜头的主要功能是将物体的光线聚焦到图像传感器上。镜头的参数（如焦距、光圈、畸变等）决定了图像的质量和视场大小。选择合适的镜头对于图像质量至关重要。（3）光源：光源在图像采集中至关重要，合理的光照条件能够提高物体的对比度和细节，使得特征提取更加准确。常见的光源有LED、激光、点光源等，光源的布置会影响图像的亮度、阴影和反射。2）图像采集过程光学成像：通过镜头将目标物体的光学信息聚焦到图像传感器上。光电转换：图像传感器（如CCD或CMOS）将光信号转换为电信号。信号处理与传输：采集卡将电信号转换为数字信号，并通过接口（如USB、GigE）传输到计算机或其他处理设备。图像存储与初步处理：采集到的图像数据通常会进行初步处理，如去噪、对比度增强等。1.1工业机器视觉技术概述3）相机标定相机标定（CameraCalibration）是将图像中的二维像素坐标（O-xy）映射到物理世界的三维坐标系（Ow-XwYwZw）中的过程，如图2所示，其中，包括世界坐标系（Ow-XwYwZw）到相机坐标系（Oc-XcYcZc）的转换，相机坐标系（Oc-XcYcZc）到图像物理坐标系（O-xy）的映射，以及图像物理坐标（O-xy）到像素坐标（O’-uv）的转换，见图2。1.1工业机器视觉技术概述图2相机标定原理示意图相机标定的目的是建立相机的内部参数（如焦距、主点、畸变系数）和外部参数（相机的位置与姿态）与图像坐标系之间的数学关系，其中获取相机的内参的过程称为内参标定，获取相机的外的过程称为外参标定。（1）外参：描述相机坐标系与世界坐标系之间的关系，通常由旋转矩阵（描述相机姿态）和平移向量（描述相机位置）来表示。旋转矩阵：描述相机坐标系相对于世界坐标系的旋转。平移向量：描述相机坐标系相对于世界坐标系的平移位置。1.1工业机器视觉技术概述（2）内参：描述相机的内部几何结构，包括相机的焦距、主点坐标、像素尺寸、畸变等。对于一个具有固定镜头的相机，内参可认为是固定不变的。内参的精确获取能确保在不同的拍摄条件下，图像中的像素能准确地表示世界空间中的点。焦距：相机镜头的焦距，决定了图像的放大程度。主点：图像的光轴与图像传感器的交点，通常是图像中心。像素尺寸：指每个像素在现实世界中的物理大小，影响图像的分辨率。畸变系数：由于相机镜头的物理限制，镜头可能导致图像出现径向或切向畸变，影响图像的精度。在工业视觉测量的相机中，畸变系数实际上是非常小的，可以忽略。1.1工业机器视觉技术概述（3）外参标定是要将世界坐标系（Ow-XwYwZw）转换为相机坐标系（Oc-XcYcZc），见图3，此过程属于刚体变换，即物体不会发生形变只需要进行旋转和平移，因此，通过旋转和平移可得到在世界坐标系（Ow-XwYwZw）中P点在相机坐标系的坐标：1.1工业机器视觉技术概述表达式1其中，R为3×3的旋转矩阵，T为3×1的平移向量。因此，通过外参标定就可以确定相机的外参，即旋转矩阵和平移向量。1.1工业机器视觉技术概述图3外参标定原理示意图（4）内参标定是要将相机坐标系（Oc-XcYcZc）转换为像素坐标系（O’-uv），此过程包含相机坐标系（Oc-XcYcZc）到图像物理坐标系（O-xy），图像物理坐标（O-xy）到像素坐标（O’-uv）两个转换。对于第一个转换（见图4），空间中的一点P(Xc,Yc,Zc)在摄像机成像平面上对应到点p(x,y)，相机光心Oc和空间物点P的连线与相机成像面相交于点p。光点为摄像机的光轴与成像面的交点，也表示图像物理坐标系的原点，若用f表示相机的焦距，则可利用光学三角原理可以得到：1.1工业机器视觉技术概述表达式2图4相机坐标系到图像物理坐标系转换原理对于第二个转换（见图5），以图像平面的左上角或者左下角为原点建立图像像素坐标系，假设成像平面坐标原点位于图像左上角，水平向右为u轴，垂直向下为v轴，均以像素为单位。以像平面与光轴的交点O1为原点建立图像物理坐标系，水平向右为x轴，垂直向下为y轴，原点O1(u0,v0)一般位于图像中心处，由此可得到：1.1工业机器视觉技术概述其中，dx和dy分别为相机CCD/CMOS感光芯片中单个像素的长度和宽度。表达式3综合公式（表达式2）和（表达式3）可得：1.1工业机器视觉技术概述表达式4一般来说，除了焦距，相机内参是在相机制造完成时就已经被固定。当采用不同的镜头采集图像时，相机的焦距也会发生改变。1.1工业机器视觉技术概述图5图像物理坐标到像素坐标原理示意图2.图像预处理图像预处理是机器视觉系统中至关重要的步骤，旨在对采集到的原始图像进行优化和处理，从而提高后续分析和计算的效率和精度。图像预处理的具体内容包括图像去噪、图像增强、几何变换、图像分割等。不同的应用场景可能需要不同的预处理方法，下面我们将介绍常见的图像预处理技术。1）图像去噪图像去噪的目的是去除图像中的噪声干扰，使得图像更加清晰、可用。噪声通常来源于多种因素，如传感器缺陷、环境光照变化、相机本身的噪声等。常见的噪声类型包括高斯噪声、椒盐噪声等。常见的去噪方法有均值滤波（meanfilter）、中值滤波（medianfilter）和高斯滤波（Gaussianfilter）等。1.1工业机器视觉技术概述（1）均值滤波：均值滤波是最简单的去噪方法之一，它通过将图像中每个像素值替换为其邻域像素的均值来平滑图像，从而去除随机噪声。均值滤波会导致图像模糊，尤其是对于边缘和细节部分。（2）中值滤波：中值滤波是针对椒盐噪声特别有效的去噪方法。通过将每个像素值替换为其邻域像素的中位数，可以有效去除异常值（如椒盐噪声）而不会过多损失图像细节。（3）高斯滤波：高斯滤波是一种通过加权平均邻域像素的方法，其中权重由高斯分布决定，能够平滑图像并去除高频噪声。高斯滤波虽然也会导致图像模糊，但相较于均值滤波，高斯滤波在去噪的同时能够保留更多的图像细节。1.1工业机器视觉技术概述2）图像增强图像增强的目的是增强图像中的重要特征，如边缘、对比度等，从而使得图像更适合后续的分析任务。常见的图像增强方法包括直方图均衡化（histogramequalization）和边缘增强等。（1）直方图均衡化是一种图像处理技术，通过调整图像的灰度分布来增强图像的对比度。其基本思想是将图像的灰度值映射到一个新的灰度值，使得输出图像的灰度直方图更加均匀，从而提高图像的视觉效果。（2）边缘增强通过突出图像中灰度值变化显著的区域来强化边缘信息，以提高图像中物体轮廓的清晰度和辨识度。其基本思想是通过检测图像中灰度值的不连续性（如梯度变化），并增强这些区域的对比度，使得输出图像的边缘特征更加突出，从而提升图像的视觉效果和分析价值。1.1工业机器视觉技术概述3.图像特征提取与分析1）图像特征提取在机器视觉系统中，图像中的点、线、区域或纹理等，能够有效地描述物体的形状、纹理、颜色等有意义信息的属性可以被称为特征，提取的图像特征为后续的图像分析、识别和处理提供基础。特征提取方法包含基于边缘的特征提取、基于区域的特征提取、基于纹理的特征提取、基于关键点的特征提取、基于颜色的特征提取和基于形状的特征提取等方法。（1）基于边缘的特征提取是一种通过检测图像中灰度值变化显著的区域，来识别物体边界和形状的技术。常用的边缘特征提取方法包括Sobel算子、Canny算子和拉普拉斯算子等。1.1工业机器视觉技术概述（2）基于区域的特征提取是一种通过分析图像中具有相似像素特征的区域，以识别和描述物体形状、纹理和其他属性的方法。与基于边缘的特征提取方法不同，基于区域的特征提取方法侧重于整体区域的特征分析，常用于图像分割、物体识别和场景理解等任务。（3）基于纹理的特征提取是计算机视觉和图像处理领域中的重要技术，旨在从图像中识别和描述表面纹理特征，以支持图像分类、分割和检索等任务。（4）基于关键点的特征提取是计算机视觉和图像处理中用于描述和识别图像局部特征的重要技术。通过在图像中检测和描述关键点，可以实现图像匹配、物体识别和三维重建等任务。1.1工业机器视觉技术概述（5）颜色是图像中最重要的视觉信息之一，通常在图像分析中用于物体识别、图像分类、目标跟踪等任务。基于颜色的特征提取方法通过分析图像中各个像素的颜色信息，提取能够代表图像或物体颜色特性的特征。这些特征可以用来区分不同的物体或场景，广泛应用于计算机视觉、工业视觉、遥感图像处理等领域。（6）基于形状的特征提取是图像处理和计算机视觉中的重要技术，它旨在从图像中提取物体的几何形状信息，从而实现物体的识别、分割、检测等任务。形状特征通过分析图像中物体的轮廓、边界、区域等几何属性，可以有效地描述物体的结构。基于形状的特征提取方法广泛应用于物体识别、医学影像分析、自动驾驶、工业检测等领域。1.1工业机器视觉技术概述2）图像特征分析图像特征分析是对提取出的特征进行深入分析、识别和分类的过程。通过特征分析，系统能够提取更多关于图像的有价值信息，帮助解决复杂的视觉任务。（1）统计与规则方法是图像特征分析中的经典技术，旨在通过数学统计和预设逻辑对图像特征进行量化判断，从而实现物体的分类、缺陷检测和过程控制。（2）机器学习方法是图像特征分析中的核心技术，旨在通过数据驱动的模型从所提取的特征中自动学习和提取高维特征，从而实现物体的分类、识别、检测等任务。（3）深度学习方法是图像特征分析中的革命性技术，它通过多层神经网络自动学习图像的分层特征表示，从而实现物体的识别、分割、检测等复杂任务。1.1工业机器视觉技术概述4.决策与控制在机器视觉系统中，决策与控制主要用于根据从图像中提取到的特征信息与分析结果，作出合理的判断，并根据决策结果控制系统的行为。它的作用可以分为以下几方面。自动化决策：机器视觉通过分析图像数据，自动判断图像中的物体、特征或区域，执行相应的决策任务。例如，检测到生产线