工业机器视觉与应用 课件 3.2 机器视觉测量应用

工业机器视觉基础应用实践

--3.2机器视觉测量应用1.1机器视觉测量应用机器视觉测量是用机器代替人眼来测量和判断，通过机器视觉产品（即图像采集装置，分CMOS和CCD两种）将被测量目标转换为图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转换为数字化信号；然后通过图像处理算法对图像进行分析获取目标物体的相关信息。机器视觉测量具有非接触、速度快、精度高、易于自动化等优势，广泛应用于工业生产、质量检测、医疗影像等领域。1.1.1机器视觉测量的基本原理在机器视觉中，测量技术是指通过视觉系统获取图像信息，然后利用图像处理和计算机视觉算法，从图像中提取物体的几何尺寸、位置、形状等物理参数的过程。1.1.2机器视觉测量的常用技术机器视觉定位技术是通过计算机视觉系统来确定物体或目标在空间中的精确位置和姿态。定位技术广泛应用于工业自动化、机器人引导、物体检测和自动化生产等领域。1.1机器视觉测量应用霍夫变换（HoughTransform，HT）是一种通过在参数空间中通过投票(累加空间的局部最大值)来确定形状的方法。霍夫变换最早是用来检测直线的，霍夫变换对组成直线的两个像素点进行统计，统计数最高的直线便是目标直线。之后霍夫变换又用来检测圆形，根据三个点确定一个圆的原理，霍夫变换对轮廓上的点进行统计，找出统计数最高的圆形，便是目标圆形。之后，霍夫变换又被开发改善，能够识别椭圆形等一系列图形，并且具有较好的稳定性。霍夫变换的核心思想是将图像空间中的几何特征映射到参数空间，通过累加投票的方式在参数空间中寻找局部极大值，从而识别出图像中的特定形状。这种方法对噪声和边缘断裂具有较强的鲁棒性，因此在尺寸测量与缺陷识别等领域得到了广泛应用，如检测机械零件的几何形状（如圆孔、直线边缘）。1.1机器视觉测量应用1.1.3机器视觉测量应用典型场景机器视觉测量技术广泛应用于各个行业，尤其在自动化生产、质量控制、精密测量等领域具有重要作用。机器视觉通过摄像设备获取图像信息，结合图像处理技术进行分析，从而对物体的尺寸、形状、表面缺陷等进行精确的测量。以下是几个典型的机器视觉测量应用场景。1）工业自动化与生产线质量控制在工业生产中，机器视觉测量技术被广泛应用于产品质量检测、自动化装配、零件尺寸测量等任务。（1）零件尺寸检测：在生产线上，机器视觉系统通过摄像机采集产品图像，分析零件的尺寸、形状和位置等，以保证产品符合规范，并通过自动化检测，提高生产效率和精度。（2）表面缺陷检测：机器视觉可以精确检测产品表面是否有裂纹、划痕、气泡等缺陷。在LCD显示屏制造中，机器视觉系统能够快速检测屏幕表面是否存在瑕疵，保证产品的质量。（3）自动化装配与定位：机器视觉技术也应用于自动化装配过程中，确保零件按正确的位置和顺序装配。例如，机器人使用机器视觉技术来精确抓取、定位和装配零件。1.1机器视觉测量应用2）精密测量与三维扫描机器视觉在精密测量和三维扫描中发挥了重要作用，尤其是在需要高精度、高分辨率的场景中。（1）3D物体测量：通过立体视觉、结构光或激光扫描等技术，机器视觉能够获得物体的三维信息，并进行高精度的尺寸测量。该测量技术在航空航天、精密制造等领域尤为重要。在航空零件制造过程中，使用机器视觉进行三维扫描，可以精确测量零件的表面形状、孔位等，确保部件的质量和装配精度。（2）表面轮廓测量：机器视觉通过高精度相机和专用光源，检测物体表面微观形状和轮廓。在机械加工领域，机器视觉可以检测零件表面的光滑度、平整度、形状误差等，以保证零件的几何精度。1.1机器视觉测量应用3）医学影像分析机器视觉测量在医学领域的应用主要集中在医疗影像分析和疾病诊断方面，能够辅助医生进行更加精准的诊断和治疗。（1）肿瘤检测与分析：机器视觉测量技术可以通过对CT、MRI、X光图像的分析，帮助医生检测肿瘤的位置、大小和形状，提供定量的参考数据。在癌症早期筛查中，机器视觉能够帮助医生分析影像中的肿瘤区域，自动检测肿瘤的生长情况、位置和体积。（2）血管分析与器官测量：在医学影像中，机器视觉测量技术可以帮助分析血管、心脏和其他器官的形态，帮助医生判断病情。在心血管疾病诊断中，机器视觉可以帮助分析心脏CT图像中的冠状动脉形态，为医生提供精准的测量数据。1.1机器视觉测量应用综合实验——利用机器视觉实现工件尺寸测量1.1.4综合实验——利用机器视觉实现工件尺寸测量本实验基于机器视觉技术，实现对工件尺寸的测量。实验过程如下：首先，通过工业相机进行图像采集，获取工件的原始视觉数据；随后，利用图像预处理技术方法，提高图像质量并减少噪声干扰；接着，采用边缘检测算法，提取工件的轮廓和关键尺寸信息，以确保测量的准确性和稳定性；最后，通过像素尺寸与实际物理尺寸的比例换算，计算工件的具体尺寸数值，最终实现了通过机器视觉技术来测量工件尺寸的目标。1.1机器视觉测量应用【实验目的】知识目标（1）理解机器视觉系统中的图像处理算法和尺寸检测方法。（2）掌握基于机器视觉算法在工件测量领域的实际应用。能力目标（1）能够使用机器视觉软件工具进行工件图像采集及预处理。（2）能够基于模块化思维，使用软件工具进行工件的目标检测、尺寸测量。素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。1.1机器视觉测量应用【实验原理】本实验利用机器视觉技术进行工件尺寸测量，主要通过图像采集和处理、边缘检测和轮廓拟合提取工件关键特征。然后，基于检测到的线段计算实际尺寸，并通过像素与物理尺寸之间的比例关系进行换算。最终，测量数据通过软件界面呈现，实现了测量工件尺寸值。【实验过程】使用机器视觉技术实现工件尺寸测量：首先，利用机器视觉软件采集工件图像，并通过图像预处理的环节增强关键特征：随后，采用边缘检测和直线拟合方法提取工件的关键轮廓信息，以获取测量所需的特征数据，并计算线段间的距离：最后，通过像素与实际尺寸之间的比例换算，实现对工件尺寸的测量。1.1机器视觉测量应用1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装好了相关的工业视觉软件，无须进行环境配置。2.图形化代码结构本实验的图形化代码结构见图1，通过图中每个图形化模块，可以了解到本实验中用到的各个模块及其功能。1.1机器视觉测量应用图1整体图形化代码结构

读取图像模块:读取待测工件图像。

步骤组合模块：多个步骤为一个模块，用于线段测量或保存图片。

数值运算模块：对输入数值进行加、减、乘、除等运算。

输出模块：将实验结果输出。1.1机器视觉测量应用图1整体图形化代码结构3.场景搭建固定相机位置（见图2），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。1.1机器视觉测量应用图2实验整体场景相机轴承底座4.实验流程以下为具体的实验流程。1）创建工程通过机器视觉软件，基于完全图形化的界面，无须编写代码即可完成工件测量的机器视觉应用。（1）单击软件界面菜单下的“文件”→“新建工程”按钮，以创建一个新工程，并命名为“轴承底座尺寸测量”（见图3）。1.1机器视觉测量应用图3创建工程（2）在软件界面的左下角位置的步骤库中搜索“读取图像V2”模块（见图3.2.6左图），并拖动到右侧工程面板。该模块可从文件或文件夹中读取2D图像，作为后续处理的输入（见图4右图）。操作含义：该模块的主要功能是加载图像，使后续的图像处理步骤能够基于输入图像进行计算。模块本身无输入端，模块的输出包括读取的图像、读取的图像文件名。作用：用于从指定的文件或文件夹中导入2D图像，为后续的机器视觉处理提供数据输入。1.1机器视觉测量应用图4操作1另外，可以暂时通过连接“接受所有参数”模块并双击绿色连接线查看输出的当前图像（图5），以此来确认图像是否成功读取，并能够正确地传输到下游处理模块。1.1机器视觉测量应用图5操作22）预处理图像（1）在步骤库中搜索“步骤组合”模块（见图6），并拖动到右侧工程面板。操作含义：该模块的主要功能是将多个相关的处理步骤整合在一起，以实现更复杂的功能。使用“步骤组合”可以减少主流程的复杂度，使逻辑更加直观。在具体应用中，该模块可以接收任意类型的数据作为输入，并输出计算得到的距离信息和可视化图像结果，从而为后续的处理步骤提供更清晰的分析数据。1.1机器视觉测量应用图6操作3作用：将多个单独的步骤组合成一个集合，使工程结构更加清晰，便于管理和复用，提高工程的可读性和可维护性。本过程输出的是被检测对象的像素距离（见图7）。1.1机器视觉测量应用图7操作4（2）双击进入步骤组合模块，在步骤库中搜索“输入分配器”模块（见图8），并拖动到右侧。双击分配器的输入，获取图像信息。操作含义：该模块的主要功能是减少步骤组合的输入端口数量，简化数据传递流程，使步骤组合更易管理。在实际应用中，可以在步骤组合内添加“输入分配器”，并通过它接收从外部传递的数据，如图像信息等，再将数据分配给内部的不同处理步骤。该模块的输入（任意数据类型）和输出数据类型需保持一致。作用：用于在“步骤组合”内部分配输入端口，使数据能够从外部传递到步骤组合内部，并合理分配到各个子模块，从而优化流程结构。1.1机器视觉测量应用图8操作53）检测工件边缘（1）在步骤库中搜索“检测并测量直线”模块，并拖动到右侧工程面板。然后与“输入分配器”模块连接（见图9）。1.1机器视觉测量应用图9操作6操作含义：该模块用于识别物体边缘的线段，并确定其在图像中的位置（单位为像素）。在操作过程中，需手动选择感兴趣区域（RegionofInterest，ROI），系统会在ROI内生成多个边缘检测框，并基于灰度变化检测边缘点，最终拟合出直线。其输入包括ROI范围和2D变换信息，以确保ROI能正确定位。输出结果包括可视化图像、检测到的直线信息（端点、中点坐标）以及直线与水平方向的夹角（范围为-180°~180°）。作用：用于在手动设置的ROI内检测直线，并输出直线的相关信息，如两端点坐标、中点坐标，与水平方向的夹角。该模块通过边缘检测技术识别物体边缘，并拟合出精确的直线，为后续计算物理尺寸提供基础数据。1.1机器视觉测量应用通过查看线段信息（在图像像素坐标系下），可知该线段的起始点坐标、终点坐标、线段与水平方向的夹角、中心点坐标（见图10）。1.1机器视觉测量应用图10操作7（2）单击界面左上角“标准模式”，切换到测量模式（见图11）。操作含义：“标准模式”是软件的默认操作模式，适用于一般的图像处理任务。而“测量模式”提供了针对测量任务的专用功能，如标定、尺寸计算、角度测量等。当需要进行精准测量时，切换到“测量模式”即可。作用：切换软件界面模式，从“标准模式”转换为“测量模式”，以便使用专门的测量工具模块进行图像分析和尺寸测量。1.1机器视觉测量应用图11操作8（3）选中“检测并测量直线”模块，设置右侧的ROI区域为工位（见图12）。ROI默认在图片左上角位置，需要手动拖出。操作含义：ROI用于限定检测范围，提高检测精度，减少计算量。默认情况下，ROI位置在图像的左上角，需要手动拖动或调整其大小，使其覆盖实际需要检测的工位区域。正确设置ROI可以确保系统仅在相关区域内进行边缘检测和直线测量，提高测量精度和稳定性。作用：在“检测并测量直线”模块中，手动设置ROI，确保检测和测量发生在指定的工位区域。1.1机器视觉测量应用图12操作9（4）复制“检测并测量直线”模块（见图13），每个模块测量一条边，均需要设置ROI。操作含义：在测量多个边缘时，每个“检测并测量直线”模块只能处理一条边，因此需要复制多个该模块，分别测量不同的边。每个模块的ROI需要单独设置，以确保检测区域正确覆盖待测边缘，避免干扰，提高测量精度和稳定性。这种方法可以用于测量矩形、工件边界等多个直线特征的尺寸和角度。作用：复制“检测并测量直线”模块，使每个模块分别用于测量一条边，并在每个模块中单独设置ROI。1.1机器视觉测量应用图13操作10（5）分别选中两个“检测并测量直线”模块（见图14），框选ROI，边长的ROI可以框选大一些，保证不同大小的轴承底座的边都能框进去（注意ROI框上方旋转标志和边长垂直）。操作含义：在测量轴承底座的边长时，需要确保ROI能够覆盖所有可能的尺寸变化，因此ROI框的范围应适当扩大，以适应不同大小的轴承底座，从而保证测量的准确性。作用：调整“检测并测量直线”模块的ROI，确保测量时能够涵盖不同尺寸的轴承底座边缘，并保证ROI框的方向与边长垂直。1.1机器视觉测量应用图14操作114）计算尺寸（1）在步骤库中搜索“测量线段间距离”模块，并拖动到右侧工程面板。并与“检测并测量直线”模块连接（见图15）。操作含义：模块用于计算两条线段之间的垂直或最近距离。该模块需要输入检测到的线段信息，以输出实际测量单位（如毫米）。其输出包括可视化图像、计算出的距离以及表示该距离的线段信息。作用：在图像中测量两条线段之间的距离，并输出可视化结果及计算出的数值。1.1机器视觉测量应用图15操作12（2）双击“可视化彩色图”“距离”（见图16），将结果输出到步骤组合外部。操作含义：在步骤组合内部处理完图像并计算距离之后，需要将这些结果传递到步骤组合外部，以便在整个工程中使用或进一步处理。

通过双击“可视化彩色图”和“距离”模块，可以将这些结果设置为步骤组合的输出，使外部模块能够访问和利用这些数据。作用：将距离结果输出到步骤组合的外部。1.1机器视觉测量应用图16操作13（3）在步骤库中搜索“数值运算”模块，并拖动到软件界面右侧（见图17）。操作含义：通用的数值运算步骤，第一个操作数会被加上、减去、乘上、或除以第二个操作数，适用于各种通用的计算需求。该模块输入端接收第一、第二个操作数（可选，如果端口没有输入，则会使用参数中设定的数值），输出为数值运算后的结果。1.1机器视觉测量应用图17操作14作用：执行基本的数值运算（加、减、乘、除）并输出计算结果。图18的左图和右图分别展示了数值计算模块输入端和输出端的计算示意说明。1.1机器视觉测量应用图18操作15（4）在步骤库搜索，拖动到面板，按照图19连接“数值运算”，单击“操作类型”，选择“乘”。然后，用游标卡尺测量轴承底座的实际边长为30mm。操作含义：该模块用于对输入的数值进行数值运算，当前设置为“乘”操作，即将第一个输入数值乘以第二个输入数值，以实现单位换算或计算调整。作用：此步骤的作用是通过“数值运算”模块，计算出工件实际的物理长度。1.1机器视觉测量应用图19操作16（5）修改“距离”下方“数值运算”的指定操作数，然后复制“数值运算”模块，单击复制后的“数值运算”模块，在“步骤参数”选择“四舍五入”，进行数值优化。（见图20、图21和图22）。1.1机器视觉测量应用图20比例系数计算图21操作17图22命令操作17操作含义：在图像测量中，像素尺寸与实际尺寸之间的比例系数用于将图像中的像素距离转换为实际物理距离。例如本实验中用游标卡尺测量到工件实际边长为30mm。该系数的计算方法是：比例系数=实际测量长度30（例如使用游标卡尺测量）÷图像中对应的像素长度642。一旦确定了比例系数，就可以将图像中测量的像素长度转换为实际长度。通过将“数值运算”模块添加到工程中，并设置其操作类型为“乘”，将相机捕捉到的像素尺寸与比例系数相乘，就可以实现像素尺寸转换为实际物理尺寸。作用：用于将像素尺寸转换为实际物理尺寸，从而实现对工件实际尺寸的测量。1.1机器视觉测量应用5）输出测量结果（1）在步骤库搜索“输出”，并将“输出”模块拖动到右侧工程面板（见图23）。操作含义：在步骤库中搜索“输出”模块，并将其拖动到工程面板的右侧。作用：“输出”模块用于将步骤组合或整个工程中的计算结果传递到外部，使数据可以被其他模块或系统读取和使用，从而完成完整的数据流传递。1.1机器视觉测量应用图23操作18（2）选择“输出”模块，并单击右侧“步骤参数”中“端口类型”，修改为“自定义”（见图24）。单击“打开编辑器”按钮，双击自定义通信键，双击修改通信键名称，单击“确定”按钮；如果没有自定义通信键，选择“添加”，双击修改通信键名称，接收边长数值（见图25）。操作含义：将“输出”模块添加到工程中，以便将处理结果发送至后台服务。作用：“输出”模块可以将视觉工程的结果输出，例如本实验的工件边长数值，发送到机器视觉软件的后台服务，实现数据的进一步处理或应用。1.1机器视觉测量