工业机器视觉与应用 课件 第3章工业机器视觉基础应用实践

工业机器视觉基础应用实践

--3.1工业机器视觉技术概述1.1工业机器视觉技术概述1.1.1工业机器视觉的技术原理工业机器视觉（industrialmachinevision）是一种利用光学、传感器、图像处理和计算机技术，在工业环境中实现自动化测量、定位、识别和检测的技术。其核心是通过模拟人类视觉功能，结合算法和硬件系统，实现对目标物体的快速、精准分析。工业机器视觉技术的工作流程通常分为以下四个步骤。（1）图像采集与标定：图像采集与标定是机器视觉系统中至关重要的步骤，其将物理世界转换为数字图像，并准确建立了物理世界到数字图像之间的映射，从而能够进行精确的测量和分析，为后续的图像处理和分析提供基础。图像采集是系统的“眼睛”，决定了数据质量；标定是系统的“尺子”，决定了物理精度。1.1工业机器视觉技术概述（2）图像预处理：在工业机器视觉系统中，图像预处理是介于图像采集与特征分析之间的关键步骤，其核心意义在于优化原始图像的质量，使后续算法能够更高效、更准确地提取目标信息。预处理不仅直接影响系统的检测精度和鲁棒性，还能显著降低计算复杂度，是工业应用中不可忽视的技术环节。（3）图像特征提取与分析：在工业机器视觉中，图像特征提取是从预处理后的图像中识别并抽取出关键信息的过程，这些信息能够表征目标物体的本质属性（如形状、纹理、颜色等），为后续的检测、分类、测量或定位提供数据基础。其意义不仅在于简化数据，更在于将图像转换为可量化、可分析的语义信息。图像特征分析的核心任务是将图像特征（如边缘、纹理、颜色）转化为可理解的工业参数（如缺陷类型、尺寸偏差、坐标位置），是连接“感知”与“决策”的核心环节，直接影响系统的检测精度、效率和智能化水平。1.1工业机器视觉技术概述（4）决策与控制：在工业机器视觉系统中，决策与控制是流程的最终环节，其实将分析结果转化为可执行的工业指令，其核心意义在于将图像特征提取与分析的结果转化为物理世界的具体动作，完成从“感知”到“行动”的闭环，赋予机器视觉系统真正的应用价值——发现问题、量化问题并解决问题，是确保机器视觉真正落地工业应用、实现自动化的关键。1.图像采集与标定图像采集与标定是机器视觉系统中至关重要的步骤，它们确保了从物理世界到数字图像的准确映射，从而能够进行精确的测量和分析。本节将介绍图像获取的原理与过程，以及相机标定的重要性和常见方法。1.1工业机器视觉技术概述1）图像采集系统图像采集是机器视觉系统与物理世界之间的唯一接口，所有后续的算法、模型和决策都依赖于采集到的图像数据。如果原始图像信息缺失或失真，后续处理（如缺陷检测、尺寸测量）将失去可靠依据。合理设计的图像采集方案能够突出目标物体的关键特征（如边缘、纹理、颜色、缺陷），为后续处理提供“高价值数据”。（1）相机传感器：工业相机通常采用CCD（电荷耦合器件）传感器或CMOS（互补金属氧化物半导体）传感器。这些传感器通过接收光线，将光信号转换为模拟电信号，然后通过模数转换器将模拟电信号转换为数字信号，见图1。1.1工业机器视觉技术概述光源相机传感器镜头被测工件图1图像采集系统示例（2）镜头：镜头的主要功能是将物体的光线聚焦到图像传感器上。镜头的参数（如焦距、光圈、畸变等）决定了图像的质量和视场大小。选择合适的镜头对于图像质量至关重要。（3）光源：光源在图像采集中至关重要，合理的光照条件能够提高物体的对比度和细节，使得特征提取更加准确。常见的光源有LED、激光、点光源等，光源的布置会影响图像的亮度、阴影和反射。2）图像采集过程光学成像：通过镜头将目标物体的光学信息聚焦到图像传感器上。光电转换：图像传感器（如CCD或CMOS）将光信号转换为电信号。信号处理与传输：采集卡将电信号转换为数字信号，并通过接口（如USB、GigE）传输到计算机或其他处理设备。图像存储与初步处理：采集到的图像数据通常会进行初步处理，如去噪、对比度增强等。1.1工业机器视觉技术概述3）相机标定相机标定（CameraCalibration）是将图像中的二维像素坐标（O-xy）映射到物理世界的三维坐标系（Ow-XwYwZw）中的过程，如图2所示，其中，包括世界坐标系（Ow-XwYwZw）到相机坐标系（Oc-XcYcZc）的转换，相机坐标系（Oc-XcYcZc）到图像物理坐标系（O-xy）的映射，以及图像物理坐标（O-xy）到像素坐标（O’-uv）的转换，见图2。1.1工业机器视觉技术概述图2相机标定原理示意图相机标定的目的是建立相机的内部参数（如焦距、主点、畸变系数）和外部参数（相机的位置与姿态）与图像坐标系之间的数学关系，其中获取相机的内参的过程称为内参标定，获取相机的外的过程称为外参标定。（1）外参：描述相机坐标系与世界坐标系之间的关系，通常由旋转矩阵（描述相机姿态）和平移向量（描述相机位置）来表示。旋转矩阵：描述相机坐标系相对于世界坐标系的旋转。平移向量：描述相机坐标系相对于世界坐标系的平移位置。1.1工业机器视觉技术概述（2）内参：描述相机的内部几何结构，包括相机的焦距、主点坐标、像素尺寸、畸变等。对于一个具有固定镜头的相机，内参可认为是固定不变的。内参的精确获取能确保在不同的拍摄条件下，图像中的像素能准确地表示世界空间中的点。焦距：相机镜头的焦距，决定了图像的放大程度。主点：图像的光轴与图像传感器的交点，通常是图像中心。像素尺寸：指每个像素在现实世界中的物理大小，影响图像的分辨率。畸变系数：由于相机镜头的物理限制，镜头可能导致图像出现径向或切向畸变，影响图像的精度。在工业视觉测量的相机中，畸变系数实际上是非常小的，可以忽略。1.1工业机器视觉技术概述（3）外参标定是要将世界坐标系（Ow-XwYwZw）转换为相机坐标系（Oc-XcYcZc），见图3，此过程属于刚体变换，即物体不会发生形变只需要进行旋转和平移，因此，通过旋转和平移可得到在世界坐标系（Ow-XwYwZw）中P点在相机坐标系的坐标：1.1工业机器视觉技术概述表达式1其中，R为3×3的旋转矩阵，T为3×1的平移向量。因此，通过外参标定就可以确定相机的外参，即旋转矩阵和平移向量。1.1工业机器视觉技术概述图3外参标定原理示意图（4）内参标定是要将相机坐标系（Oc-XcYcZc）转换为像素坐标系（O’-uv），此过程包含相机坐标系（Oc-XcYcZc）到图像物理坐标系（O-xy），图像物理坐标（O-xy）到像素坐标（O’-uv）两个转换。对于第一个转换（见图4），空间中的一点P(Xc,Yc,Zc)在摄像机成像平面上对应到点p(x,y)，相机光心Oc和空间物点P的连线与相机成像面相交于点p。光点为摄像机的光轴与成像面的交点，也表示图像物理坐标系的原点，若用f表示相机的焦距，则可利用光学三角原理可以得到：1.1工业机器视觉技术概述表达式2图4相机坐标系到图像物理坐标系转换原理对于第二个转换（见图5），以图像平面的左上角或者左下角为原点建立图像像素坐标系，假设成像平面坐标原点位于图像左上角，水平向右为u轴，垂直向下为v轴，均以像素为单位。以像平面与光轴的交点O1为原点建立图像物理坐标系，水平向右为x轴，垂直向下为y轴，原点O1(u0,v0)一般位于图像中心处，由此可得到：1.1工业机器视觉技术概述其中，dx和dy分别为相机CCD/CMOS感光芯片中单个像素的长度和宽度。表达式3综合公式（表达式2）和（表达式3）可得：1.1工业机器视觉技术概述表达式4一般来说，除了焦距，相机内参是在相机制造完成时就已经被固定。当采用不同的镜头采集图像时，相机的焦距也会发生改变。1.1工业机器视觉技术概述图5图像物理坐标到像素坐标原理示意图2.图像预处理图像预处理是机器视觉系统中至关重要的步骤，旨在对采集到的原始图像进行优化和处理，从而提高后续分析和计算的效率和精度。图像预处理的具体内容包括图像去噪、图像增强、几何变换、图像分割等。不同的应用场景可能需要不同的预处理方法，下面我们将介绍常见的图像预处理技术。1）图像去噪图像去噪的目的是去除图像中的噪声干扰，使得图像更加清晰、可用。噪声通常来源于多种因素，如传感器缺陷、环境光照变化、相机本身的噪声等。常见的噪声类型包括高斯噪声、椒盐噪声等。常见的去噪方法有均值滤波（meanfilter）、中值滤波（medianfilter）和高斯滤波（Gaussianfilter）等。1.1工业机器视觉技术概述（1）均值滤波：均值滤波是最简单的去噪方法之一，它通过将图像中每个像素值替换为其邻域像素的均值来平滑图像，从而去除随机噪声。均值滤波会导致图像模糊，尤其是对于边缘和细节部分。（2）中值滤波：中值滤波是针对椒盐噪声特别有效的去噪方法。通过将每个像素值替换为其邻域像素的中位数，可以有效去除异常值（如椒盐噪声）而不会过多损失图像细节。（3）高斯滤波：高斯滤波是一种通过加权平均邻域像素的方法，其中权重由高斯分布决定，能够平滑图像并去除高频噪声。高斯滤波虽然也会导致图像模糊，但相较于均值滤波，高斯滤波在去噪的同时能够保留更多的图像细节。1.1工业机器视觉技术概述2）图像增强图像增强的目的是增强图像中的重要特征，如边缘、对比度等，从而使得图像更适合后续的分析任务。常见的图像增强方法包括直方图均衡化（histogramequalization）和边缘增强等。（1）直方图均衡化是一种图像处理技术，通过调整图像的灰度分布来增强图像的对比度。其基本思想是将图像的灰度值映射到一个新的灰度值，使得输出图像的灰度直方图更加均匀，从而提高图像的视觉效果。（2）边缘增强通过突出图像中灰度值变化显著的区域来强化边缘信息，以提高图像中物体轮廓的清晰度和辨识度。其基本思想是通过检测图像中灰度值的不连续性（如梯度变化），并增强这些区域的对比度，使得输出图像的边缘特征更加突出，从而提升图像的视觉效果和分析价值。1.1工业机器视觉技术概述3.图像特征提取与分析1）图像特征提取在机器视觉系统中，图像中的点、线、区域或纹理等，能够有效地描述物体的形状、纹理、颜色等有意义信息的属性可以被称为特征，提取的图像特征为后续的图像分析、识别和处理提供基础。特征提取方法包含基于边缘的特征提取、基于区域的特征提取、基于纹理的特征提取、基于关键点的特征提取、基于颜色的特征提取和基于形状的特征提取等方法。（1）基于边缘的特征提取是一种通过检测图像中灰度值变化显著的区域，来识别物体边界和形状的技术。常用的边缘特征提取方法包括Sobel算子、Canny算子和拉普拉斯算子等。1.1工业机器视觉技术概述（2）基于区域的特征提取是一种通过分析图像中具有相似像素特征的区域，以识别和描述物体形状、纹理和其他属性的方法。与基于边缘的特征提取方法不同，基于区域的特征提取方法侧重于整体区域的特征分析，常用于图像分割、物体识别和场景理解等任务。（3）基于纹理的特征提取是计算机视觉和图像处理领域中的重要技术，旨在从图像中识别和描述表面纹理特征，以支持图像分类、分割和检索等任务。（4）基于关键点的特征提取是计算机视觉和图像处理中用于描述和识别图像局部特征的重要技术。通过在图像中检测和描述关键点，可以实现图像匹配、物体识别和三维重建等任务。1.1工业机器视觉技术概述（5）颜色是图像中最重要的视觉信息之一，通常在图像分析中用于物体识别、图像分类、目标跟踪等任务。基于颜色的特征提取方法通过分析图像中各个像素的颜色信息，提取能够代表图像或物体颜色特性的特征。这些特征可以用来区分不同的物体或场景，广泛应用于计算机视觉、工业视觉、遥感图像处理等领域。（6）基于形状的特征提取是图像处理和计算机视觉中的重要技术，它旨在从图像中提取物体的几何形状信息，从而实现物体的识别、分割、检测等任务。形状特征通过分析图像中物体的轮廓、边界、区域等几何属性，可以有效地描述物体的结构。基于形状的特征提取方法广泛应用于物体识别、医学影像分析、自动驾驶、工业检测等领域。1.1工业机器视觉技术概述2）图像特征分析图像特征分析是对提取出的特征进行深入分析、识别和分类的过程。通过特征分析，系统能够提取更多关于图像的有价值信息，帮助解决复杂的视觉任务。（1）统计与规则方法是图像特征分析中的经典技术，旨在通过数学统计和预设逻辑对图像特征进行量化判断，从而实现物体的分类、缺陷检测和过程控制。（2）机器学习方法是图像特征分析中的核心技术，旨在通过数据驱动的模型从所提取的特征中自动学习和提取高维特征，从而实现物体的分类、识别、检测等任务。（3）深度学习方法是图像特征分析中的革命性技术，它通过多层神经网络自动学习图像的分层特征表示，从而实现物体的识别、分割、检测等复杂任务。1.1工业机器视觉技术概述4.决策与控制在机器视觉系统中，决策与控制主要用于根据从图像中提取到的特征信息与分析结果，作出合理的判断，并根据决策结果控制系统的行为。它的作用可以分为以下几方面。自动化决策：机器视觉通过分析图像数据，自动判断图像中的物体、特征或区域，执行相应的决策任务。例如，检测到生产线上出现缺陷时，系统自动作出剔除不合格品的决策。实时反应与控制：机器视觉技术通常需要与控制系统联动，确保系统能在识别到变化或检测到目标后实时作出反应。例如，在自动化生产线中，机器视觉可以实时检测到工件位置，控制机械臂进行精准的抓取与装配。优化与调整：基于视觉数据的决策不仅能够完成当前任务，还能通过持续监控与反馈优化系统的行为。例如，在自动驾驶中，机器视觉系统可以不断评估交通环境并调整车辆的行驶策略。1.1工业机器视觉技术概述1.1.2工业机器视觉的技术应用工业机器视觉技术随着自动化、智能化生产要求的不断提高，已经在多个领域得到了广泛应用，工业机器视觉技术应用的典型例子（见图6），1.1工业机器视觉技术概述图6工业机器视觉的技术应用涵盖了测量、定位、识别和检测等方向，因此，机器视觉技术根据应用方向大致可分为机器视觉测量应用、机器视觉定位应用、机器视觉识别应用和机器视觉检测应用等。虽然这些技术应用的实现步骤大致相同，通常包括图像采集与标定、图像预处理、图像特征提取与分析、决策与控制等关键环节，但在图像特征提取与分析的具体方法上，不同的技术应用方向所采用的技术有所不同，其他环节的技术和方法则通常较为相似。因此，在本章的后续部分将详细说明不同技术应用的基本原理、图像特征提取与分析常用方法及典型应用场景。1.1工业机器视觉技术概述ThankYou华航科技·致真唯实HUAHANGKEJI·ZHIZHENWEISHI工业机器视觉基础应用实践

--3.2机器视觉测量应用1.1机器视觉测量应用机器视觉测量是用机器代替人眼来测量和判断，通过机器视觉产品（即图像采集装置，分CMOS和CCD两种）将被测量目标转换为图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转换为数字化信号；然后通过图像处理算法对图像进行分析获取目标物体的相关信息。机器视觉测量具有非接触、速度快、精度高、易于自动化等优势，广泛应用于工业生产、质量检测、医疗影像等领域。1.1.1机器视觉测量的基本原理在机器视觉中，测量技术是指通过视觉系统获取图像信息，然后利用图像处理和计算机视觉算法，从图像中提取物体的几何尺寸、位置、形状等物理参数的过程。1.1.2机器视觉测量的常用技术机器视觉定位技术是通过计算机视觉系统来确定物体或目标在空间中的精确位置和姿态。定位技术广泛应用于工业自动化、机器人引导、物体检测和自动化生产等领域。1.1机器视觉测量应用霍夫变换（HoughTransform，HT）是一种通过在参数空间中通过投票(累加空间的局部最大值)来确定形状的方法。霍夫变换最早是用来检测直线的，霍夫变换对组成直线的两个像素点进行统计，统计数最高的直线便是目标直线。之后霍夫变换又用来检测圆形，根据三个点确定一个圆的原理，霍夫变换对轮廓上的点进行统计，找出统计数最高的圆形，便是目标圆形。之后，霍夫变换又被开发改善，能够识别椭圆形等一系列图形，并且具有较好的稳定性。霍夫变换的核心思想是将图像空间中的几何特征映射到参数空间，通过累加投票的方式在参数空间中寻找局部极大值，从而识别出图像中的特定形状。这种方法对噪声和边缘断裂具有较强的鲁棒性，因此在尺寸测量与缺陷识别等领域得到了广泛应用，如检测机械零件的几何形状（如圆孔、直线边缘）。1.1机器视觉测量应用1.1.3机器视觉测量应用典型场景机器视觉测量技术广泛应用于各个行业，尤其在自动化生产、质量控制、精密测量等领域具有重要作用。机器视觉通过摄像设备获取图像信息，结合图像处理技术进行分析，从而对物体的尺寸、形状、表面缺陷等进行精确的测量。以下是几个典型的机器视觉测量应用场景。1）工业自动化与生产线质量控制在工业生产中，机器视觉测量技术被广泛应用于产品质量检测、自动化装配、零件尺寸测量等任务。（1）零件尺寸检测：在生产线上，机器视觉系统通过摄像机采集产品图像，分析零件的尺寸、形状和位置等，以保证产品符合规范，并通过自动化检测，提高生产效率和精度。（2）表面缺陷检测：机器视觉可以精确检测产品表面是否有裂纹、划痕、气泡等缺陷。在LCD显示屏制造中，机器视觉系统能够快速检测屏幕表面是否存在瑕疵，保证产品的质量。（3）自动化装配与定位：机器视觉技术也应用于自动化装配过程中，确保零件按正确的位置和顺序装配。例如，机器人使用机器视觉技术来精确抓取、定位和装配零件。1.1机器视觉测量应用2）精密测量与三维扫描机器视觉在精密测量和三维扫描中发挥了重要作用，尤其是在需要高精度、高分辨率的场景中。（1）3D物体测量：通过立体视觉、结构光或激光扫描等技术，机器视觉能够获得物体的三维信息，并进行高精度的尺寸测量。该测量技术在航空航天、精密制造等领域尤为重要。在航空零件制造过程中，使用机器视觉进行三维扫描，可以精确测量零件的表面形状、孔位等，确保部件的质量和装配精度。（2）表面轮廓测量：机器视觉通过高精度相机和专用光源，检测物体表面微观形状和轮廓。在机械加工领域，机器视觉可以检测零件表面的光滑度、平整度、形状误差等，以保证零件的几何精度。1.1机器视觉测量应用3）医学影像分析机器视觉测量在医学领域的应用主要集中在医疗影像分析和疾病诊断方面，能够辅助医生进行更加精准的诊断和治疗。（1）肿瘤检测与分析：机器视觉测量技术可以通过对CT、MRI、X光图像的分析，帮助医生检测肿瘤的位置、大小和形状，提供定量的参考数据。在癌症早期筛查中，机器视觉能够帮助医生分析影像中的肿瘤区域，自动检测肿瘤的生长情况、位置和体积。（2）血管分析与器官测量：在医学影像中，机器视觉测量技术可以帮助分析血管、心脏和其他器官的形态，帮助医生判断病情。在心血管疾病诊断中，机器视觉可以帮助分析心脏CT图像中的冠状动脉形态，为医生提供精准的测量数据。1.1机器视觉测量应用综合实验——利用机器视觉实现工件尺寸测量1.1.4综合实验——利用机器视觉实现工件尺寸测量本实验基于机器视觉技术，实现对工件尺寸的测量。实验过程如下：首先，通过工业相机进行图像采集，获取工件的原始视觉数据；随后，利用图像预处理技术方法，提高图像质量并减少噪声干扰；接着，采用边缘检测算法，提取工件的轮廓和关键尺寸信息，以确保测量的准确性和稳定性；最后，通过像素尺寸与实际物理尺寸的比例换算，计算工件的具体尺寸数值，最终实现了通过机器视觉技术来测量工件尺寸的目标。1.1机器视觉测量应用【实验目的】知识目标（1）理解机器视觉系统中的图像处理算法和尺寸检测方法。（2）掌握基于机器视觉算法在工件测量领域的实际应用。能力目标（1）能够使用机器视觉软件工具进行工件图像采集及预处理。（2）能够基于模块化思维，使用软件工具进行工件的目标检测、尺寸测量。素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。1.1机器视觉测量应用【实验原理】本实验利用机器视觉技术进行工件尺寸测量，主要通过图像采集和处理、边缘检测和轮廓拟合提取工件关键特征。然后，基于检测到的线段计算实际尺寸，并通过像素与物理尺寸之间的比例关系进行换算。最终，测量数据通过软件界面呈现，实现了测量工件尺寸值。【实验过程】使用机器视觉技术实现工件尺寸测量：首先，利用机器视觉软件采集工件图像，并通过图像预处理的环节增强关键特征：随后，采用边缘检测和直线拟合方法提取工件的关键轮廓信息，以获取测量所需的特征数据，并计算线段间的距离：最后，通过像素与实际尺寸之间的比例换算，实现对工件尺寸的测量。1.1机器视觉测量应用1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装好了相关的工业视觉软件，无须进行环境配置。2.图形化代码结构本实验的图形化代码结构见图1，通过图中每个图形化模块，可以了解到本实验中用到的各个模块及其功能。1.1机器视觉测量应用图1整体图形化代码结构

读取图像模块:读取待测工件图像。

步骤组合模块：多个步骤为一个模块，用于线段测量或保存图片。

数值运算模块：对输入数值进行加、减、乘、除等运算。

输出模块：将实验结果输出。1.1机器视觉测量应用图1整体图形化代码结构3.场景搭建固定相机位置（见图2），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。1.1机器视觉测量应用图2实验整体场景相机轴承底座4.实验流程以下为具体的实验流程。1）创建工程通过机器视觉软件，基于完全图形化的界面，无须编写代码即可完成工件测量的机器视觉应用。（1）单击软件界面菜单下的“文件”→“新建工程”按钮，以创建一个新工程，并命名为“轴承底座尺寸测量”（见图3）。1.1机器视觉测量应用图3创建工程（2）在软件界面的左下角位置的步骤库中搜索“读取图像V2”模块（见图3.2.6左图），并拖动到右侧工程面板。该模块可从文件或文件夹中读取2D图像，作为后续处理的输入（见图4右图）。操作含义：该模块的主要功能是加载图像，使后续的图像处理步骤能够基于输入图像进行计算。模块本身无输入端，模块的输出包括读取的图像、读取的图像文件名。作用：用于从指定的文件或文件夹中导入2D图像，为后续的机器视觉处理提供数据输入。1.1机器视觉测量应用图4操作1另外，可以暂时通过连接“接受所有参数”模块并双击绿色连接线查看输出的当前图像（图5），以此来确认图像是否成功读取，并能够正确地传输到下游处理模块。1.1机器视觉测量应用图5操作22）预处理图像（1）在步骤库中搜索“步骤组合”模块（见图6），并拖动到右侧工程面板。操作含义：该模块的主要功能是将多个相关的处理步骤整合在一起，以实现更复杂的功能。使用“步骤组合”可以减少主流程的复杂度，使逻辑更加直观。在具体应用中，该模块可以接收任意类型的数据作为输入，并输出计算得到的距离信息和可视化图像结果，从而为后续的处理步骤提供更清晰的分析数据。1.1机器视觉测量应用图6操作3作用：将多个单独的步骤组合成一个集合，使工程结构更加清晰，便于管理和复用，提高工程的可读性和可维护性。本过程输出的是被检测对象的像素距离（见图7）。1.1机器视觉测量应用图7操作4（2）双击进入步骤组合模块，在步骤库中搜索“输入分配器”模块（见图8），并拖动到右侧。双击分配器的输入，获取图像信息。操作含义：该模块的主要功能是减少步骤组合的输入端口数量，简化数据传递流程，使步骤组合更易管理。在实际应用中，可以在步骤组合内添加“输入分配器”，并通过它接收从外部传递的数据，如图像信息等，再将数据分配给内部的不同处理步骤。该模块的输入（任意数据类型）和输出数据类型需保持一致。作用：用于在“步骤组合”内部分配输入端口，使数据能够从外部传递到步骤组合内部，并合理分配到各个子模块，从而优化流程结构。1.1机器视觉测量应用图8操作53）检测工件边缘（1）在步骤库中搜索“检测并测量直线”模块，并拖动到右侧工程面板。然后与“输入分配器”模块连接（见图9）。1.1机器视觉测量应用图9操作6操作含义：该模块用于识别物体边缘的线段，并确定其在图像中的位置（单位为像素）。在操作过程中，需手动选择感兴趣区域（RegionofInterest，ROI），系统会在ROI内生成多个边缘检测框，并基于灰度变化检测边缘点，最终拟合出直线。其输入包括ROI范围和2D变换信息，以确保ROI能正确定位。输出结果包括可视化图像、检测到的直线信息（端点、中点坐标）以及直线与水平方向的夹角（范围为-180°~180°）。作用：用于在手动设置的ROI内检测直线，并输出直线的相关信息，如两端点坐标、中点坐标，与水平方向的夹角。该模块通过边缘检测技术识别物体边缘，并拟合出精确的直线，为后续计算物理尺寸提供基础数据。1.1机器视觉测量应用通过查看线段信息（在图像像素坐标系下），可知该线段的起始点坐标、终点坐标、线段与水平方向的夹角、中心点坐标（见图10）。1.1机器视觉测量应用图10操作7（2）单击界面左上角“标准模式”，切换到测量模式（见图11）。操作含义：“标准模式”是软件的默认操作模式，适用于一般的图像处理任务。而“测量模式”提供了针对测量任务的专用功能，如标定、尺寸计算、角度测量等。当需要进行精准测量时，切换到“测量模式”即可。作用：切换软件界面模式，从“标准模式”转换为“测量模式”，以便使用专门的测量工具模块进行图像分析和尺寸测量。1.1机器视觉测量应用图11操作8（3）选中“检测并测量直线”模块，设置右侧的ROI区域为工位（见图12）。ROI默认在图片左上角位置，需要手动拖出。操作含义：ROI用于限定检测范围，提高检测精度，减少计算量。默认情况下，ROI位置在图像的左上角，需要手动拖动或调整其大小，使其覆盖实际需要检测的工位区域。正确设置ROI可以确保系统仅在相关区域内进行边缘检测和直线测量，提高测量精度和稳定性。作用：在“检测并测量直线”模块中，手动设置ROI，确保检测和测量发生在指定的工位区域。1.1机器视觉测量应用图12操作9（4）复制“检测并测量直线”模块（见图13），每个模块测量一条边，均需要设置ROI。操作含义：在测量多个边缘时，每个“检测并测量直线”模块只能处理一条边，因此需要复制多个该模块，分别测量不同的边。每个模块的ROI需要单独设置，以确保检测区域正确覆盖待测边缘，避免干扰，提高测量精度和稳定性。这种方法可以用于测量矩形、工件边界等多个直线特征的尺寸和角度。作用：复制“检测并测量直线”模块，使每个模块分别用于测量一条边，并在每个模块中单独设置ROI。1.1机器视觉测量应用图13操作10（5）分别选中两个“检测并测量直线”模块（见图14），框选ROI，边长的ROI可以框选大一些，保证不同大小的轴承底座的边都能框进去（注意ROI框上方旋转标志和边长垂直）。操作含义：在测量轴承底座的边长时，需要确保ROI能够覆盖所有可能的尺寸变化，因此ROI框的范围应适当扩大，以适应不同大小的轴承底座，从而保证测量的准确性。作用：调整“检测并测量直线”模块的ROI，确保测量时能够涵盖不同尺寸的轴承底座边缘，并保证ROI框的方向与边长垂直。1.1机器视觉测量应用图14操作114）计算尺寸（1）在步骤库中搜索“测量线段间距离”模块，并拖动到右侧工程面板。并与“检测并测量直线”模块连接（见图15）。操作含义：模块用于计算两条线段之间的垂直或最近距离。该模块需要输入检测到的线段信息，以输出实际测量单位（如毫米）。其输出包括可视化图像、计算出的距离以及表示该距离的线段信息。作用：在图像中测量两条线段之间的距离，并输出可视化结果及计算出的数值。1.1机器视觉测量应用图15操作12（2）双击“可视化彩色图”“距离”（见图16），将结果输出到步骤组合外部。操作含义：在步骤组合内部处理完图像并计算距离之后，需要将这些结果传递到步骤组合外部，以便在整个工程中使用或进一步处理。

通过双击“可视化彩色图”和“距离”模块，可以将这些结果设置为步骤组合的输出，使外部模块能够访问和利用这些数据。作用：将距离结果输出到步骤组合的外部。1.1机器视觉测量应用图16操作13（3）在步骤库中搜索“数值运算”模块，并拖动到软件界面右侧（见图17）。操作含义：通用的数值运算步骤，第一个操作数会被加上、减去、乘上、或除以第二个操作数，适用于各种通用的计算需求。该模块输入端接收第一、第二个操作数（可选，如果端口没有输入，则会使用参数中设定的数值），输出为数值运算后的结果。1.1机器视觉测量应用图17操作14作用：执行基本的数值运算（加、减、乘、除）并输出计算结果。图18的左图和右图分别展示了数值计算模块输入端和输出端的计算示意说明。1.1机器视觉测量应用图18操作15（4）在步骤库搜索，拖动到面板，按照图19连接“数值运算”，单击“操作类型”，选择“乘”。然后，用游标卡尺测量轴承底座的实际边长为30mm。操作含义：该模块用于对输入的数值进行数值运算，当前设置为“乘”操作，即将第一个输入数值乘以第二个输入数值，以实现单位换算或计算调整。作用：此步骤的作用是通过“数值运算”模块，计算出工件实际的物理长度。1.1机器视觉测量应用图19操作16（5）修改“距离”下方“数值运算”的指定操作数，然后复制“数值运算”模块，单击复制后的“数值运算”模块，在“步骤参数”选择“四舍五入”，进行数值优化。（见图20、图21和图22）。1.1机器视觉测量应用图20比例系数计算图21操作17图22命令操作17操作含义：在图像测量中，像素尺寸与实际尺寸之间的比例系数用于将图像中的像素距离转换为实际物理距离。例如本实验中用游标卡尺测量到工件实际边长为30mm。该系数的计算方法是：比例系数=实际测量长度30（例如使用游标卡尺测量）÷图像中对应的像素长度642。一旦确定了比例系数，就可以将图像中测量的像素长度转换为实际长度。通过将“数值运算”模块添加到工程中，并设置其操作类型为“乘”，将相机捕捉到的像素尺寸与比例系数相乘，就可以实现像素尺寸转换为实际物理尺寸。作用：用于将像素尺寸转换为实际物理尺寸，从而实现对工件实际尺寸的测量。1.1机器视觉测量应用5）输出测量结果（1）在步骤库搜索“输出”，并将“输出”模块拖动到右侧工程面板（见图23）。操作含义：在步骤库中搜索“输出”模块，并将其拖动到工程面板的右侧。作用：“输出”模块用于将步骤组合或整个工程中的计算结果传递到外部，使数据可以被其他模块或系统读取和使用，从而完成完整的数据流传递。1.1机器视觉测量应用图23操作18（2）选择“输出”模块，并单击右侧“步骤参数”中“端口类型”，修改为“自定义”（见图24）。单击“打开编辑器”按钮，双击自定义通信键，双击修改通信键名称，单击“确定”按钮；如果没有自定义通信键，选择“添加”，双击修改通信键名称，接收边长数值（见图25）。操作含义：将“输出”模块添加到工程中，以便将处理结果发送至后台服务。作用：“输出”模块可以将视觉工程的结果输出，例如本实验的工件边长数值，发送到机器视觉软件的后台服务，实现数据的进一步处理或应用。1.1机器视觉测量应用图25操作20图24操作19（3）按照图26所示连接“数值运算”模块和“输出”模块。输出工件尺寸测量的结果。操作含义：通过连接“数值运算”模块和“输出”模块，保证计算结果能够正确传递至输出端。作用：连接“数值运算”模块和“输出”模块，确保计算出的工件尺寸能够正确传输并在日志中输出，同时支持生成可视化结果进行上报。1.1机器视觉测量应用图26操作21当单击运行之后，可见界面中的日志输出（见图27），其中的计算结果为num1：30，该结果为当前检测出的工件一条边的边长尺寸（mm），见图28中的[30]。1.1机器视觉测量应用图27计算结果输出界面图28工件尺寸测量数值另外，系统可以将测量得到的工件两条边的可视化结果合并成一幅图，在同一幅图像上进行可视化显示，以便直观呈现测量结果（见图29），1.1机器视觉测量应用图29测量结果可视化【实验结果与总结分析】本实验通过机器视觉技术实现工件尺寸的非接触式测量（见图30），成功验证了从图像采集到实际尺寸输出的完整流程，体现了机器视觉在自动化检测中的高效性与可靠性。实验结果表明以下结论。1.1机器视觉测量应用图30基于机器视觉实现工件尺寸测量（1）利用机器视觉技术成功实现了工件尺寸测量。通过工业相机获取并预处理图像，采用边缘检测等技术提取工件边界，并结合像素比例换算进行高效、准确的工件尺寸测量。并且，测量结果可以在软件界面可视化展示，直观可读。（2）验证了机器视觉技术在工件尺寸测量中的有效性，本机器视觉系统能够有效识别并给出准确的测量值。并通过此方法，提高了测量的自动化程度和精度。测量的结果直观易读，提高了工业检测的实用性。1.1机器视觉测量应用ThankYou华航科技·致真唯实HUAHANGKEJI·ZHIZHENWEISHI工业机器视觉基础应用实践

--3.3机器视觉引导定位应用1.1机器视觉引导定位应用1.1.1机器视觉定位的基本原理机器视觉定位的基本原理是利用计算机视觉技术，通过图像采集、处理和分析，精确地确定物体在空间中的位置和姿态。机器视觉定位的核心任务是从图像中提取物体的特征，并结合已知的参考信息（如相机参数、物体模型等），计算出物体相对于相机或其他坐标系统的位置（如平移和旋转）信息。该过程主要包括图像采集、特征提取、特征匹配和位置解算等步骤。1.1.2机器视觉定位的常用技术基于点云匹配的视觉定位技术是计算机视觉和机器人学中的核心技术，广泛应用于自动驾驶、机器人导航、三维重建等领域，其主要目标是通过对不同视角或时间点获取的点云数据进行匹配，估计物体或机器人在空间中的位置和姿态。点云配准可以分为粗匹配和精匹配两步。粗匹配指的是在两幅点云之间的变换完全未知的情况下进行较为粗糙的匹配，目的主要是为精匹配提供较好的变换初值；精匹配则是给定一个初始变换，进一步优化得到更精确的变换。目前应用最广泛的点云精配准算法是迭代最近点算（IterativeClosestPoint，ICP）算法。1.1机器视觉引导定位应用1）关键点FPFH描述符快速点特征直方图（FastPointFeatureHistogram，FPFH）是一种高效的三维点云局部特征描述符，广泛应用于点云匹配、物体识别和姿态估计等任务。使用FPFH特征进行点云匹配的核心思想是通过特征匹配来找到源点云和目标点云中的对应点对。FPFH通过简化特征直方图的计算，可为高效、精确的点云分析提供可靠的工具，

2）RANSAC粗匹配在点云配准中，会遇到点云的稀疏性和噪声的干扰，易造成匹配的点对出现错误匹配，进而影响粗配准的效果。可以采用RANSAC对应关系拒绝算法，在估计初始位姿的同时排除误匹配点对，提高配准的成功率。1.1机器视觉引导定位应用3）ICP精匹配ICP算法是一种广泛应用于三维点云精匹配的经典方法。其核心思想是通过迭代优化，使源点云与目标点云在空间上尽可能精确地对齐。ICP算法的目标是找到一个刚性变换（包括旋转矩阵

和平移向量

），使得源点云经过该刚性变换后，与目标点云的对应点之间的距离最小。（1）找最近对应点。（2）求解最优变换。（3）迭代。1.1机器视觉引导定位应用1.1.3机器视觉定位应用典型场景机器视觉定位技术在多个行业中被广泛应用，特别是在自动化生产、质量控制、精密测量和机器人引导等领域。通过视觉传感器获取图像信息并进行定位，机器视觉定位能够精确地识别和定位目标物体的位置和姿态，从而提高生产效率和精度。以下是几个典型的机器视觉定位测量应用场景。1）工业自动化与生产线定位机器视觉定位技术在工业生产线中有着广泛应用，特别是在自动化装配、零件定位、质量控制等任务中。通过高精度定位，机器视觉可以实时监测和调整生产过程。（1）零件定位与抓取：在自动化生产线中，机器视觉通过实时获取零部件的图像，精确定位零部件的位置，并驱动机器人进行抓取和装配。（2）自动化焊接与装配：通过机器视觉系统实时定位焊接点、螺丝孔或其他装配点，自动化系统能够高效地进行焊接或组装操作，确保零件在精确位置上对接。1.1机器视觉引导定位应用2）机器人引导与定位在机器人导航和自动化操作中，机器视觉定位技术被广泛应用于实时环境感知、路径规划和目标跟踪等任务。视觉定位能够帮助机器人精确地识别目标物体的位置并进行操作。（1）自主导航与避障：在室内外环境中，机器人依靠机器视觉定位技术获取周围环境信息，进行自主导航并避免障碍物。（2）物体抓取与精准定位：在工业自动化领域，机器视觉系统能够通过定位技术精确抓取物体，确保机器人能够从目标位置精准取物并进行后续操作，如装配或包装。1.1机器视觉引导定位应用基础实验——手眼标定1.1.4基础实验——手眼标定本实验通过机器视觉软件进行相机参数设置，确保图像清晰并满足标定要求。随后，安装标定板并调整机器人姿态，采集多组标定图像，并记录对应的机器人坐标。最终，计算并验证外参精度，成功完成相机与机器人之间的手眼标定，为后续视觉引导任务提供精准的坐标转换关系。1.1机器视觉引导定位应用【实验目的】知识目标（1）掌握如何设置相机的参数并进行优化，保证相机能够获得清晰的图像。（2）掌握手眼标定的基本概念和原理，理解相机与机器人之间的位姿关系。能力目标（1）学会使用机器视觉软件进行相机参数设置，并调整曝光、深度范围等参数。（2）能够通过标定工具进行相机与机器人之间的位姿标定，并验证标定结果。素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。1.1机器视觉引导定位应用【实验原理】本实验基于手眼标定技术，通过标定工具确定相机与机器人之间的空间关系。手眼标定过程包括：相机参数设置、标定板安装、相机拍摄图像采集、机器人坐标输入、图像采集并检测标定板上的圆点位置，最终计算相机与机器人之间的外参关系。这些步骤可以使机器人在执行任务时准确定位相机的位置和方向，从而保证机器人与相机的协同工作。【实验过程】相机参数设置及手眼标定：首先，通过机器视觉软件进行相机参数设置，确保图像清晰并适应实验需求。随后，安装标定板并调整机器人姿态，手动输入坐标并拍摄标定图像；接着，通过该软件采集多张图像，记录机器人坐标，确保标定圆点准确识别；最后，计算并验证外参精度，成功完成相机与机器人之间的手眼标定。1.1机器视觉引导定位应用1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装了相关的工业视觉软件，无须进行环境配置。2.场景搭建固定相机位置以及标定板（见图1），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。同时，标定板固定位置，确保计算相机与机器人之间的空间关系，保证标定的准确性。1.1机器视觉引导定位应用相机标定板图1实验整体场景3.实验流程以下为具体的实验流程。1）相机参数设置Mech-EyeViewer（见图2）是用于Mech-Eye3D相机的可视化调试软件，主要用于相机连接、参数调整和图像预览。它支持调整曝光时间、深度范围等参数，以优化点云数据质量。软件可实时查看2D图像、深度图和点云信息，并提供工具对点云数据进行基本处理。通过该软件可以快速配置相机参数，为后续的3D视觉应用提供高质量的数据输入。1.1机器视觉引导定位应用图2Mech-EyeViewer（1）打开Mech-EyeViewer软件。操作含义：Mech-EyeViewer是Mech-Mind相机的官方软件，用于管理和调试相机。打开软件后，可以连接相机、调整参数并获取图像数据。作用：启动Mech-EyeViewer软件，进入相机控制界面，为后续的操作做准备。（2）选择对应的相机，单击“连接”按钮。进入相机参数设置页面（见图3）。操作含义：选择当前使用的相机并建立通信连接。成功连接后，用户可以对相机参数进行调整，以优化拍摄效果。作用：建立软件与相机的连接，获取实时数据及进入相机的参数配置界面。1.1机器视觉引导定位应用图3相机参数设置（3）单击拍照按钮，可以预览相机所拍摄的2D图、深度图、点云信息（见图4）。操作含义：单击拍照按钮后，软件会采集相机实时拍摄的数据，并可视化显示2D图（像素图像组成的平面图像）、深度图（每个像素点包含深度（距离）信息的图像，表示场景中物体与相机的距离）和点云（三维坐标点集合）。作用：获取并显示当前相机拍摄的2D图像、深度图和点云数据，以便检查成像质量。1.1机器视觉引导定位应用图4相机拍照界面（4）调整参数，优化相机所拍摄的图像质量，以用于后续的环节。①例如，通过调整曝光时间（见图5），可以控制2D图像亮度。在光线稳定的环境下，可以使用固定曝光模式。在光线变化较大的环境下，可以使用自动曝光模式。操作含义：调整曝光时间、增益、对比度等参数，以优化2D和深度图像的清晰度，使相机能够在不同环境下稳定工作。作用：优化相机参数，以满足实际应用需求，确保图像质量符合检测要求。1.1机器视觉引导定位应用图5操作1②深度范围设置（见图6），其会影响相机获取深度数据的范围，非常重要。一定要检查设置正确。也可以推荐使用下限200mm，上限1000mm参数配置。操作含义：深度范围参数决定了相机能够检测的最小和最大距离。标定时推荐使用200mm到1000mm的范围，以保证深度数据的准确性和可靠性。作用：设定相机采集深度数据的范围，以确保测量精度和数据完整性。1.1机器视觉引导定位应用图6操作2（5）感兴趣区域（见图7），建议不设置特定的区域，让相机采集整个视野范围内的全部数据。操作含义：若设置了ROI，相机只会拍摄选定的区域，可能导致数据缺失。一般建议清空ROI，以获取完整的2D和3D数据。作用：确保相机获取完整的图像和深度信息，不受ROI限制。1.1机器视觉引导定位应用图7操作3（6）单击“保存”按钮，确认参数组名称（见图8）。操作含义：设置完成后，需保存参数，确保下次启动相机时能够直接应用相同的参数配置，提高工作效率并保证数据一致性。作用：保存所有调整后的相机参数，以便后续使用相同设置进行拍摄。1.1机器视觉引导定位应用图8操作42）手眼标定（1）准备标定板工具。安装标定板。拧下夹爪上的一颗螺丝，并使用M4X25螺丝安装标定板（见图9）。一定要确保标定板安装后螺丝拧紧，标定板不会随机械臂的移动而晃动。含义：使用M4X25螺丝将标定板固定到夹爪上。需拧紧螺丝，防止标定板晃动导致的标定误差。作用：通过一个已知结构的参考物，用于计算相机与机器人之间的空间关系。1.1机器视觉引导定位应用图9准备标定板（2）机器人姿态调整。①控制机器人到指定位置。通过机器人点动控制页面，遥控机器人到示意姿态（见图10）。通过相机拍照2D图像，确保标定板圆点完全清晰可见。操作含义：使用机器人控制软件，点动机械臂至相应姿态，并拍摄2D图像。作用：确保相机视野内标定板的圆点清晰可见，以便进行精确标定。1.1机器视觉引导定位应用图10操作5②手动输入机器人RX、RY、RZ坐标。如果三个坐标值趋近0，就改为0，如果三个坐标值趋近于±180，就改为180或-180，根据现场机器人姿态调整。调整完机器人的RX、RY、RZ坐标后，再次拍照，确认2D图像标定板上所有圆点清晰可见（见图11）。操作含义：调整机器人姿态后，拍摄2D图像，确保标定板圆点完整。作用：通过验证拍摄后的标定板图像原点是否清晰，为后续的相机标定做铺垫。1.1机器视觉引导定位应用图11操作6（3）准备相机标定。①打开Mech-Vision软件，单击页面的“相机标定（标准）”进入相机标定环节（见图12）。然后，选择新的标定任务，并单击选择机器人型号，选择“机器人品牌”HANS，可动轴数“6”，最后单击“选择”按钮，选择“HANSELFINEO3”机器人（见图13）。操作含义：通过打开Mech-Vision软件并进入相机标定流程，创建新的标定任务并选择机器人型号及配置。作用：选择相应机器人，为标定环节做准备。1.1机器视觉引导定位应用图12操作7图13操作8②选择EyetoHand模式。然后通过此项选择、手动标定、标定板多个随机位姿之后，单击开始标定（见图14）。操作含义：设定EyetoHand模式，并采用手动标定方式输入机器人坐标。作用：确保相机与机器人之间的空间关系准确建立，使机器人能够正确理解视觉信息。1.1机器视觉引导定位应用图14操作9（4）标定数据记录。①选择标定板型号，采集图像。进入标定页面后，先链接相机，鼠标放到对应的相机上，会出现链接按钮，单击链接按钮进行相机的链接（见图15左图）。然后进入标定设置，先在1位置选择标定板型号，本次设备配备的是CGB-20（5x4-20mm），具体型号可在标定板上查看。单击2位置的连续采集按钮采集图像（见图15右图）。采集到图像后，单击“停止采集并检测位置”。1.1机器视觉引导定位应用图15操作10②检查内参。如提示通过，则说明内参无误（见图16），然后，单击确定准备开始标定。如果提示有问题，内参检查不通过，则可以检查相机参数设置，深度范围和感兴趣区域是否正确进行调整（见图17）。操作含义：检查相机内部参数是否准确。作用：通过检查相机内参是否正确，确保相机参数合理。1.1机器视觉引导定位应用图16操作11图17操作12③添加图像并记录法兰位姿。先单击预览采集图像，确定图像中标定板上的每个圆点都能够被识别（见图18中图），然后单击“添加图像并记录法兰位姿”（见图18左图）。然后，在弹出的窗口中，抄写刚刚机器人点动界面中的坐标值（手动输入界面中，机器人的X、Y、Z、RX、RY、RZ六个坐标值）。初始点位输入完成后（point_bd1），单击“确定”按钮（可参考图18右图中的数值）。操作含义：每次调整机器人位置后拍摄标定图像，并手动输入机器人X、Y、Z、RX、RY、RZ坐标。作用：建立机器人坐标系和相机坐标系之间的对应关系。1.1机器视觉引导定位应用图18操作12④采集足够数量的标定点（平移）。在记录完之前的一组数据后，继续通过+或-点动操作（见图19左图），调整机器人X坐标值，调整后再次单击“预览采集图像”（见图19右图），确保预览图像中，标定板圆点都被识别到。然后单击“添加图像并记录法兰位姿”。在弹出的窗口中，抄写协作机器人点动页面，手动输入界面，协作机器人的X、Y、Z、RX、RY、RZ六个坐标值。输入完成后单击确定。重复通过点动的方式，再分别调整机器人Y、Z坐标值及输入六个坐标值。此处，需要确保平移方式采集的标定圆数量为绿色，且≥60。1.1机器视觉引导定位应用图19操作13可以参考图20的建议点位point_bd2、point_bd3、point_bd4。操作含义：获取足够数量的标定圆点（平移）。作用：保证X、Y、Z方向上的标定数据足够多，提高最终精度。1.1机器视觉引导定位应用图20命令操作14⑤采集足够数量的标定点（旋转）。在平移采集标定点后，保持X、Y、Z不动，分别调整RX、RY、RZ（见图21）。并“添加图像并记录法兰位姿”。确保通过旋转方式采集到的标定圆数量为绿色，且≥60（见图22）。可以参考图20的建议点位point_bd5、point_bd6、point_bd7。操作含义：获取足够数量的标定圆点（旋转）。作用：保证RX、RY、RZ方向上的标定数据足够多，提高最终精度。1.1机器视觉引导定位应用图21操作15图22操作16通过鼠标左键长按各个点位的“角度”按钮（见图23），自动调整到相应点位，以确保标定流程的继续进行（确保外参精确度）。1.1机器视觉引导定位应用图23操作17（5）计算外参并保存标定结果。在获取足够多的标定数据之后，单击“计算外参”按钮，等待计算外参结果，确保100%精度＜2mm（见图24），如果＞2mm，请重新标定。单击“保存”按钮，保存标定结果。最后，卸掉标定板，并将夹爪螺丝装回，以供后续使用。操作含义：执行计算，确定相机和机器人坐标系之间的转换矩阵。并存储标定数据，供后续机器视觉定位使用。作用：计算相机到机器人的相对位置，确保后续机器视觉引导准确。1.1机器视觉引导定位应用图24操作18【实验结果与总结分析】本实验通过手眼标定的方式来确定两者之间的空间关系，成功验证了从相机参数设置到手眼标定的完整流程（图25）。实验结果表明如下结论。（1）成功完成了相机参数设置及手眼标定，确保图像清晰并满足实验需求。标定过程中，标定板安装稳固，机器人姿态调整准确，采集的标定图像清晰可识别。最终计算得到的外参精度小于2mm，符合实验要求，标定过程顺利完成。（2）通过合理设置相机参数、准确调整机器人姿态以及多次采集标定数据，实现了高精度的手眼标定。正确的相机参数和精确的标定对于机器人视觉系统的稳定性和准确性至关重要。通过调整机器人姿态并反复标定，能够提升标定精度，从而优化机器人在实际应用中的性能。1.1机器视觉引导定位应用图25手眼标定拓展实验——利用机器视觉实现工件定位1.1.5拓展实验——利用机器视觉实现工件定位本实验基于机器视觉技术，实现对工件的定位。基于3D机器视觉技术，通过机器视觉软件完成工件识别与位姿确定。依次进行图像采集、数据预处理、特征提取、点云预处理、模板创建与匹配等操作，然后通过处理点云数据，精确识别与定位工件。最终，为机器人提供准确的位姿信息。【实验目的】知识目标（1）理解3D相机的基本参数及其对成像质量的影响。（2）理解3D视觉在工件引导定位中的基本原理，包括图像采集、预处理、特征提取、空间匹配和位姿计算。（3）了解机器视觉在工件识别和定位中的应用。1.1机器视觉引导定位应用能力目标（1）能够调整3D相机参数进行成像质量的优化。（2）掌握基于工件定位的基本流程，利用机器视觉软件完成连杆坐标的获取。素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。【实验原理】本实验基于3D视觉技术，通过手眼标定实现工件的精确定位和位姿输出。系统图像采集、预处理、特征提取、空间匹配和位姿计算等步骤，以确保机器人能够精准识别并定位连杆工件。首先，利用深度相机获取点云数据，并进行点云预处理。然后，创建工件模板并进行匹配，以实现对目标工件的精确识别。最终，计算并输出工件的三维位姿信息。1.1机器视觉引导定位应用【实验过程】使用机器视觉技术实现工件定位：首先，在Mech-Vision软件中创建识别工程，配置相机参数并进行点云预处理，以获取清晰的3D点云数据；接着，建立料框点云模板，并通过3D粗匹配和精匹配算法识别并剔除料框点云，确保后续步骤仅关注连杆工件；随后，采集并处理连杆的点云数据，创建连杆模板，并进行匹配以获取其精确位姿；然后，通过点云聚类、获取最高层点云等操作，优化目标工件的识别效果，并计算其空间坐标；最后，进行路径规划并输出结果，实现连杆的精准定位。1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装了相关的工业视觉软件，无须进行环境配置。1.1机器视觉引导定位应用2.图形化代码结构本实验的图形化代码结构可见图26，通过图中每个图形化模块，可以了解到本实验中用到的各个模块及其功能。1.1机器视觉引导定位应用图26整体图形化代码结构●点云预处理模块：对原始点云数据进行去噪、滤波和数据优化等处理，提升后续匹配和识别的准确性。●3D粗匹配V2模块：对点云进行初步匹配，提供工件的大致位姿。●3D精匹配（易用版）模块：在粗匹配的基础上，计算更加精确的工件位姿。●拆包且合并数据模块：将来自不同步骤或数据源的点云信息解析并合并，形成统一的数据结构。●删除点云中的部分点模块：去除指定范围或干扰区域的点云数据。●点云聚类模块：对点云数据进行分组，区分多个物体或不同区域的点云。●获取最高层点云模块：提取点云数据中位于最高层的部分，常用于抓取策略。●调整位姿模块：对目标位姿进行偏移、旋转或修正等，以优化抓取。●限制输出的个数模块：控制输出的目标数量，避免处理多余的点云对象。●路径规划模块：计算机械臂的运动路径，确保避障并精确到达目标。●输出模块：将处理结果传递给下游模块或外部系统。●步骤组合模块：封装多个处理步骤，形成可复用的视觉处理流程。1.1机器视觉引导定位应用3.场景搭建固定相机位置（见图27），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。1.1机器视觉引导定位应用相机料框图27实验整体场景

4.实验流程以下为具体的实验流程。1）创建工件识别工程通过机器视觉软件，基于完全图形化的界面，无须编写代码即可完成工件定位的机器视觉应用。（1）单击软件界面菜单下的“文件”→“新建方案”，以创建一个新方案（见图26），并命名为“轴承底座尺寸测量”（见图28）。1.1机器视觉引导定位应用图28创建方案（2）右键单击方案，选择重命名方案，给方案重命名（见图29左图）。右键单击工程，给工程重命名（见图29右图）。1.1机器视觉引导定位应用图29命令操作1（3）在操作界面左下角步骤库中，找到“从相机获取图像”模块，按住鼠标左键将该模块拖入右方工程面板（见图30左图）。单击“从相机获取图像”模块，在步骤参数中，单击选择“相机”按钮（见图30右图）。1.1机器视觉引导定位应用图30命令操作2（4）在弹窗中找到相机，并单击连接按钮（见图31左图）；选择相机参数组，并单击“确定”按钮（见图31右图）。然后，在弹出的确认所选相机和参数组的弹窗中，单击“是”。1.1机器视觉引导定位应用图31操作4（5）单击“从相机获取图像”模块，在步骤参数中选择相机标定参数组（见图32）。打开右上角调试输出开关。1.1机器视觉引导定位应用图32操作6（6）在步骤库中查找“点云预处理”模块，按住鼠标并拖动到右边工程面板中，并分别通过连线，来连接两个模块的“相机深度图”和“相机彩色图”（见图33）。操作含义：添加点云数据的预处理功能模块，建立图像数据流的连接。作用：点云预处理可以去除噪声、优化数据质量，便于后续匹配和识别。将相机采集的深度图和彩色图传递给点云预处理模块，确保数据流畅通。1.1机器视觉引导定位应用图33操作7（7）双击进入“点云预处理”模块，在其内部步骤中搜索“点过滤”模块，添加“点过滤”模块到“提取3DROI内点云”模块上方，并连线（见图34左图）。选中“点过滤”模块，修改步骤参数（见图34右图）。操作含义：通过点过滤可以剔除无效点，提高点云数据的准确性。合适的参数设置能提高点云数据的质量，为后续匹配和位姿计算提供保障。作用：调整点云过滤的参数，使得数据符合需求。1.1机器视觉引导定位应用图34操作8（8）返回主工程面板，选中“点云预处理”模块，在步骤参数中单击“工程助手”，选择“用于参考的场景点云”按钮。单击“选择步骤组合/步骤的输出端口”（见图35左图）。在弹出的窗口中，选择点云（Cloud（XYZ）),单击“确定”按钮（见图35右图）。操作含义：用于建立标准点云模板，后续用于匹配和定位。XYZ格式的点云数据包含三维空间信息，是3D视觉处理的基础。作用：设置点云数据作为参考场景，并确认点云数据的格式和类型。1.1机器视觉引导定位应用图35操作9（9）保持选中“点云预处理”模块，在步骤参数中，单击“打开编辑器”按钮（见图36左图）。然后，长按CTRL键，出现点位后，左击鼠标拖动3DROI区域，需要设置ROI为料框区域。设置完成后，单击“确定”按钮（见图36右图）。1.1机器视觉引导定位应用图36操作102）创建料框点云模板（1）单击“匹配模板与抓取点编辑器”按钮（见图37）。操作含义：进入“匹配模板与抓取点编辑器”环节。作用：进入匹配模板编辑模式，创建识别模板。1.1机器视觉引导定位应用图37操作11（2）在mech-vison主界面中，单击采集点云按钮，在弹窗中选择采集点云（见图38）。在弹窗中，取消“使用边缘点云”的勾选框，然后单击“采集物体”按钮（见图39）。当采集点云数据后，单击“完成”按钮（见图40）。操作含义：采集当前工件的3D点云数据，用于匹配和识别，并且仅采集核心区域的点云，避免不必要的干扰。最后，确保点云数据被正确保存并应用。作用：采集点云数据。1.1机器视觉引导定位应用图38操作12图39操作13图40操作14（3）导入点云数据后（见图41左图），可通过鼠标滚轮放大或缩小点云，长按鼠标滚轮翻转点云。然后，分别使用（见图41中图）红框1所示按钮选择点云，以及红框2所示按钮删除点云。将点云数据处理到只剩下料框的边缘数据（见图41右图）。操作含义：调整视角，方便处理点云数据。同时，只保留料框的边缘点云，提高匹配精度。作用：通过使用鼠标滚轮放大/缩小点云，长按鼠标滚轮翻转点云。通过使用“选择点云”按钮选择多余点云，“删除点云”按钮清除。1.1机器视觉引导定位应用图41操作15（4）单击添加位姿按钮，给模板添加位姿（见图42左图）。然后双击模板文件名称，可以修改模板名称，改为“料框面”，最后单击文件进行保存（见图42右图）。操作含义：使系统识别出工件的具体位置和方向，修改模板名称是为了便于管理模板数据，确保匹配的准确性。

作用：为模板添加位姿信息。1.1机器视觉引导定位应用图42操作163）删除料框点云（1）从步骤库中分别搜索“3D粗匹配V2”和“3D精匹配（易用版）”模块，并拖动到工程面板与“点云预处理”模块进行连接（见图43）。操作含义：3D粗匹配是基于点云数据进行快速匹配，以识别料框的整体位置，为后续的精匹配提供参考。3D精匹配是基于粗匹配的结果，采用更高精度的匹配算法，使料框的检测更加准确。作用：3D粗匹配模块用于初步匹配场景中的点云与已创建的模板，以便后续精准识别。而3D精匹配模块用于更精确地匹配点云，提高识别准确性。1.1机器视觉引导定位应用图43操作17（2）选中“3D粗匹配V2”模块，在步骤参数中，设置模型选择为创建的“料框面”模板，设置匹配模式参数为面匹配（见图44）。操作含义：通过面匹配模式，系统会将点云数据与模板进行表面特征对齐，提高匹配效果。作用：指定匹配的模板，并选择适合的匹配模式（面匹配）。1.1机器视觉引导定位应用图44操作18（3）选中“3