工业机器视觉与应用 课件 3.4 机器视觉检测应用

工业机器视觉基础应用实践

--3.4机器视觉检测应用1.1机器视觉检测应用1.1.1机器视觉检测的基本原理机器视觉检测的基本原理是通过计算机视觉技术，自动识别和定位图像中的物体，检测其位置、形状及类别等特征。目标检测的核心任务不仅是识别物体的种类，还要精确地定位物体在图像中的位置，通常通过边界框（boundingbox）来表示物体的位置和尺寸。目标检测广泛应用于自动驾驶、安防监控、工业检测等多个领域。首先，图像采集是检测的第一步。通过相机或其他视觉传感器，系统获取待检测图像。这些图像包含了物体的颜色、形状、纹理、位置等信息，系统需要处理这些图像以识别并定位目标物体。接下来，图像预处理步骤将对图像进行增强和优化，以便提高目标检测的准确性。常见的预处理操作包括噪声去除、对比度增强、图像平滑、边缘检测等。通过这些方法，系统可以有效地突出图像中的目标物体特征，并减少环境噪声和不必要的背景信息，从而确保后续的检测过程更加精确。1.1机器视觉检测应用特征提取是目标检测的关键步骤。该过程通过从图像中提取有意义的视觉特征，如边缘、角点、纹理等，来描述物体的形状、结构和其他关键属性。在目标检测中，深度学习算法，尤其是卷积神经网络（CNN），通过自动学习图像中的特征来进行有效的物体识别和定位。此外，传统方法如HOG（梯度方向直方图）和SIFT（尺度不变特征变换）也常用于特征提取，但在复杂场景中，深度学习方法由于其强大的特征学习能力，已成为主流技术。目标识别与定位是在完成特征提取后进行的。在这个步骤中，系统通过检测到的特征，应用分类和定位算法识别图像中的物体，并通过回归模型确定物体的边界框位置。当前，基于深度学习的目标检测方法，已经能够实现端到端的物体检测，即同时进行物体分类和位置回归。这些算法通过对大量标注数据的训练，能够自动学习到物体的外观特征和定位信息。后处理与决策是目标检测的最后步骤。在此过程中，系统会对检测结果进行进一步优化，如应用非极大值抑制（NMS）来过滤掉冗余的边界框，保留最准确的检测结果。系统最终输出目标的类别及其位置，通常以边界框和标签的形式呈现。如果物体不符合预定标准，系统可以触发相关操作，如报警、剔除不合格品或进行进一步的质量控制。1.1机器视觉检测应用1.1.2机器视觉检测的常用技术目标检测是将图像（或视频帧）中的目标物体从背景中分离出来，并给出其位置（通常以边界框、掩膜或关键点形式表示）。近些年基于深度学习的目标检测算法形成两大类别：基于候选区域和基于回归。基于候选区域的目标检测算法也称为双阶段方法，将目标检测问题分为两个阶段：一是生成候选区域，二是把候选区域放入分类器中进行分类并修正位置，典型代表包括R-CNN、FastR-CNN及FasterR-CNN系列算法；基于回归的目标检算法只有一个阶段，又称为单阶段目标检测，直接对预测的目标物体进行回归，如YOLO实时检测框架和SSD（SingleShotMultiBoxDetector）多尺度检测模型。双阶段目标检测的基本流程见图1，双阶段目标检测算法通过显式的区域建议将检测问题转化为对生成的建议区域内局部图片的分类问题。1.1机器视觉检测应用首先，双阶段目标检测算法采用选择性搜索算法提取成百上千个候选区域，然后对每个候选区域进行归一化，并逐个输入卷积神经网络中提取特征，最后训练传统分类器进行分类预测，同时借助回归算法对目标边界进行补偿和修正，以减小感兴趣区域与实际目标的偏差。双阶段目标检测算法的确定比较明显，其选择性搜索依赖低级的视觉信息，在背景复杂时很难生成有效的候选框，且该过程无法通过GPU等并行计算设备进行加速；不仅如此，在特征抽取将图像缩放、裁切至固定尺寸，可能会造成信息丢失；另外，利用卷积神经网络方法分别提取每个感兴趣区域中图像的特征，每一个候选区域都需要输入到CNN中提取特征，占用大量磁盘空间，时间复杂度高，产生大量的重复计算。1.1机器视觉检测应用图1双阶段目标检测的基本流程单阶段目标检测的基本流程见图2，单阶段目标检测算法不直接生成感兴趣区域而将目标检测任务看成是对整幅图像的回归任务。单阶段目标检测算法不需要候选区域生成分支，对给定输入图像，直接采用卷积神经网络等深度网络在图像的多个位置回归出目标的候选框和类别，并采用非极大值抑制(Non-MaximumSuppression，NMS)算法过滤冗余边界框以获得最优结果。单阶段目标检测算法可以直接从图像中提取目标的位置和类别，不需要额外的候选框生成过程，因此速度比较快。

常见的单阶段目标检测算法有YOLO、SSD等。由于单阶段目标检测算法需要在整个图像上进行密集的预测，因此在目标尺度和方向的变化上相对较弱。此外，没有候选框生成的过程，单阶段目标检测算法不能够很好地处理目标之间的重叠和遮挡问题，这可能导致误检和漏检。1.1机器视觉检测应用图2单阶段目标检测的基本流程单阶段目标检测方法通过一次计算完成物体位置估计和类别分类，速度较快，但在小目标的定位和检测上容易产生较高的误检率。而双阶段目标检测方法通过两个独立的网络模型实现，精度较高，尤其在大目标和复杂场景中有较好的性能，但速度较慢。在实践中，根据不同的需求和应用场景，可以选择适合的目标检测方法。目标检测数据集的质量和数量直接影响模型的训练效果和最终的检测精度。一般来说，一个完整的数据集应该包括训练集、测试集和验证集。通常，数据集会被划分为训练集和测试集，比如将数据集的70%用作训练集，30%用作测试集。在进行训练时，可以使用交叉验证的方法将训练集再次划分为训练子集和验证子集，用于模型的训练和验证。其中，训练集是用于模型的训练的数据集。在训练过程中，模型使用训练集中的样本进行学习和参数调整，通过不断迭代优化模型的参数，使模型能够更好地拟合训练集中的数据。测试集是用于模型的评估的数据集。在训练完成后，使用测试集中的样本来评估模型的性能和泛化能力。测试集中的样本是模型没有看到过的样本，可以用来判断模型是否过拟合了训练集，以及模型在真实场景中的表现如何。验证集是用于模型的调优的数据集。在训练过程中，可以使用验证集对模型进行调参，比如选择合适的模型结构、调整超参数等。验证集的作用是帮助选择最佳的模型，并避免使用测试集对模型进行过度调优。1.1机器视觉检测应用在利用制作的数据集训练目标检测模型的时候，如果数据量少并且为了提升训练效果，通过数据增强的方法让已有的数据扩增是一种有效的方法。数据增强可以通过应用一系列随机变换（如翻转、裁剪、旋转、缩放、颜色调整、平移等）到原始训练图像上，生成大量具有不同视点、尺寸、光照条件和背景的新样本。这些变换模拟了现实世界中物体可能出现的各种形态和环境变化，使得模型在训练阶段就能接触到更多样化的场景，从而提高了模型对不同情况的适应性。因此，数据增强在目标检测中具有重要作用，它通过增加训练数据多样性防止模型过拟合，促使模型学习通用特征以提升泛化能力，使其面对未见数据时仍能准确检测；引入噪声与变化增强模型鲁棒性，使其适应图像质量变化、光照波动等复杂环境；通过复制或优先增强少数类样本缓解样本不均衡问题，平衡数据分布以提升对各类别（尤其是稀有类别）的检测准确性；借助多尺度训练策略优化模型对尺度变化的适应性，提升不同尺度目标的检测效果；同时，有效利用现有数据生成新样本，减少对大量标注数据的依赖，降低数据获取成本，充分利用有限数据资源。1.1机器视觉检测应用1.1.3机器视觉检测应用典型场景机器视觉检测技术在各个行业中扮演着重要角色，主要用于自动化的质量控制、缺陷检测、尺寸测量等任务。通过图像采集、图像处理和模式识别，机器视觉检测系统能够检测产品的外观质量、形状、尺寸等，从而确保产品符合标准并提高生产效率。以下是一些典型的机器视觉检测应用场景：1）工业生产线质量检测在工业生产线上，机器视觉检测系统广泛应用于产品质量检测、零件测量、缺陷识别等任务。通过视觉系统，生产线能够实现高效的自动化检测，并减少人为错误。（1）表面缺陷检测：机器视觉用于检测产品表面是否有缺陷，如裂纹、划痕、气泡、凹陷等。在金属加工中，机器视觉检测系统可实时检测金属零件表面是否存在划痕、裂纹或其他缺陷。（2）装配检测：机器视觉检测系统可以验证生产线上的装配过程，确保所有组件都按正确的位置组装，并检测是否有遗漏。在电子产品组装中，机器视觉系统检测电路板上的元件是否正确放置和焊接，避免人为疏忽或错误安装。1.1机器视觉检测应用2）食品与药品行业检测在食品和药品生产过程中，机器视觉检测技术被广泛应用于质量控制、异物检测、包装完整性检查等任务，确保产品符合标准并保证安全。（1）食品缺陷与异物检测：机器视觉检测系统用于食品生产线，检查食品表面是否有裂纹、污点、变色或其他不符合标准的缺陷。此外，它还可用于检测食品中是否存在异物（如玻璃、金属颗粒等）。（2）包装检测：机器视觉用于检查产品包装的完整性和准确性，确保每个包装的标签、日期、密封性等符合要求。在药品生产中，机器视觉系统检查药品瓶的封口是否完好无损，标签是否正确无误，包装是否符合要求。1.1机器视觉检测应用3）电子元件检测在电子元件制造过程中，机器视觉检测技术用于检测元件的外观质量、尺寸、位置等，确保元件符合质量标准。（1）元件缺陷检测：机器视觉系统用于检测电子元件表面是否存在缺陷，如断线、短路、裂纹等，确保每个元件的可靠性。在电路板的生产过程中，机器视觉检测系统检测电路板上的每个焊接点是否有缺陷，是否存在虚焊或漏焊现象。（2）元件位置检测：机器视觉检测用于检查元件的准确位置，确保元件放置正确。在智能手机生产中，机器视觉系统能够检测每个元件（如电容、电阻等）的正确位置，避免元件错位或安装错误。1.1机器视觉检测应用基础实验——工件完整性检测1.1.4基础实验——工件完整性检测本实验利用2D工业相机和深度学习模型进行工件完整性检测。通过采集图像并进行预处理后，深度学习模型识别缺陷区域并判定工件是否合格，实现了智能制造中的自动化检测功能。【实验目的】知识目标（1）了解2D相机的工作方式，包括参数调整、焦距调节、光圈控制等。（2）熟悉Mech-Vision与Mech-DLK软件的基本操作，掌握深度学习模型在缺陷检测中的训练与推理方法。1.1机器视觉检测应用能力目标（1）能够正确操作机器人，使其移动至指定检测位置，并控制光源。（2）能够完成2D相机的调试与图像采集，并调整参数优化图像质量。（3）能够完成标注缺陷数据、并利用Mech-Vision和Mech-DLK软件完成工件缺陷检测模型的训练与部署。素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。1.1机器视觉检测应用【实验原理】本实验基于工业机器视觉技术，利用2D工业相机采集工件图像，并通过深度学习模型检测其完整性。图像采集后，先进行预处理，再使用深度学习算法识别缺陷区域。Mech-DLK训练的目标检测模型能够精准定位缺陷，并在Mech-Vision中实现自动化检测。最终，系统根据检测结果判定工件是否合格，实现工业智能制造中的自动检测功能。【实验过程】工件完整度检测：首先通过2D工业相机采集工件图像，并调整相机参数确保清晰成像。接着，在Mech-DLK软件中标注缺陷数据，训练深度学习模型以识别不同类型的缺陷。训练完成后，将模型部署至Mech-Vision，结合相机数据进行实时检测。最终，系统输出检测结果，判断工件是否完整，并优化参数提升检测精度。1.1机器视觉检测应用1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装了相关的工业视觉软件，无须进行环境配置。2.图形化代码结构本实验的图形化代码结构见图3，通过图中每个图形化模块，可以了解到本实验中用到的各个模块及其功能。1.1机器视觉检测应用图3整体图形化代码结构●2D相机模块：连接2D工业相机并采集图像数据，作为图像处理流程的输入源。●深度学习模型包推理模块：加载并执行训练好的深度学习模型，并进行推理。●保存图像模块：将当前流程中的图像数据保存到本地指定路径，用于记录或分析。●快捷创建位姿模块：根据检测结果快速生成标准化的机器人位姿数据，用于动作控制。●快捷创建标签列表模块：快速创建自定义标签列表，常用于设置默认输出或控制流程走向。●限制输出的个数模块：控制模型输出结果的数量上限，防止数据冗余或干扰后续处理。●输出模块：将流程中提取的关键数据（如位姿、标签等）输出给外部系统或用于流程控制。1.1机器视觉检测应用3.场景搭建固定相机位置（见图4），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。同时，将单个工件摆放于检测位，以进行工件完整性检测。1.1机器视觉检测应用图4实验整体场景工位检测位废料框相机取料框4.实验流程以下为具体的实验流程。1）数据拍照采集（1）操作机器人至点位并打开环形光源。在机器人点动界面，遥控机器人的机械臂到检测工位上方（见图5），使2D相机对准检测工位。然后在机器人操作页面，单击“监测”按钮，勾选工具输出中的EndDO0选项，用来打开环形光源。操作含义：操作机器人，使其移动到指定的检测工位位置，并确保2D相机对准检测工位。并通过工具输出端口，打开环形光源。作用：确保2D相机能够准确拍摄工件，提供高质量的图像数据供后续分析。通过提供稳定均匀的照明，减少环境光干扰，提高拍摄图像质量。1.1机器视觉检测应用图5操作1（2）连接2D相机并开始采集图像。打开MVS软件，单击红色框按钮链接2D相机，调试2D相机参数（见图6左图）。如果2D相机显示不可链接，则该相机被Mech-Vision软件占用中，需完全退出Mech-Vision软件后再重试。在右侧触发选项下，调整触发模式为关闭。单击左侧的播放按钮。开启采集图像（见图6右图）。操作含义：连接相机并开始采集图像。作用：确保2D相机正确连接，并能够正常使用MVS软件进行参数调试和图像采集。1.1机器视觉检测应用图6操作2（3）调整相机参数以优化采集图像的质量。如调整右侧常用属性中亮度值，确保采集图像亮度（见图7）。如果2D相机对焦不准，可通过旋转相机镜头上的旋钮调整焦距，也可以通过旋转相机光圈儿增加或减少亮度。操作含义：调整亮度值，使拍摄图像亮度适中。旋转镜头上的红色旋钮调整焦距进行对焦。调整光圈，以增加或减少图像亮度。作用：保证图像曝光适中，避免过暗或过曝，提高检测效果。确保相机对焦清晰，使后续缺陷检测更准确。控制相机光圈的产量亮度，确保图像亮度合适，提高视觉检测效果。1.1机器视觉检测应用图7操作3（4）保存相机参数。调整好相机图像参数后，单击保存按钮（见图8左图），在弹窗中单击“用户集1”保存设置（见图8中图和右图），然后退出MVS软件（需完全退出，否则会影响其他软件链接相机）。操作含义：调整相机参数，并进行保存。作用：保存相机参数，确保后续采集数据一致，同时释放相机设备，避免端口占用问题。1.1机器视觉检测应用图8操作4（5）在Mech-Vision中创建工程。命令含义：新建一个2D图像采集工程，并为其命名。作用：创建用于图像采集的工程，以便后续管理和使用2D相机采集数据。。（6）从步骤库中搜索2D相机，将“2D相机”模块拖到工程面板。选中“2D相机”模块，设置右侧步骤参数中相机类型为“MvsCamera”（见图9左图）。设置相机IP地址为192.168.0.77（见图9右图）,不同设备相机IP地址可能不同。操作含义：配置相机类型和IP地址。作用：配置2D相机，使其能够正常采集图像。1.1机器视觉检测应用图9操作5（7）从步骤库中搜索保存图像，将“保存图像”模块拖到右侧工程面板。并与“2D相机”模块连线（见图10左图）。然后，选择“保存图像”模块，设置右侧步骤参数，设置“保存路径”“子文件夹名”“保存内容设定”（见图10右图）。操作含义：连接2d相机和保存图像模块，并设置保存图像模块的参数。作用：将采集到的图像保存到指定文件夹，以便后续标注和训练模型。确保采集的图像按类别存储，方便后续的训练模型。1.1机器视觉检测应用图10操作6（8）单击运行按钮运行工程，在设置路径中可以看到保存的图片。将缺陷的连杆工件摆放在检测工位采集照片，每种缺陷工件需要拍摄10张以上照片，不同照片可以调整连杆姿态（见图11）。如果有多种缺陷，每种缺陷的工件都需要采集。操作含义：在设置路径中查看是否成功保存图像。将缺陷工件放置在检测工位，采集缺陷工件的图像。作用：验证相机采集数据是否正常，并确保数据存储正确。通过收集不同缺陷类型的工件图像，用于深度学习训练，并确保训练数据多样性，提高模型泛化能力。1.1机器视觉检测应用图11操作72）模型训练（1）打开Mech-DLK软件，单击“新建工程”按钮，创建工程。在弹窗中输入工程名称，选择工程路径（注意，工程路径不能包含中文，请使用全英文路径），最后在软件界面右上角选择添加模块。在添加模块弹窗中选择目标检测（见图12）。命令含义：新建模型训练工程。作用：创建用于缺陷检测的深度学习训练工程。将采集的图像导入Mech-DLK，用于缺陷标注和训练。1.1机器视觉检测应用图12创建工程（2）单击“导入/导出”按钮，选择导入文件夹，选择上一步存储数据集的文件夹。等待导入成功（见图13）。操作含义：选择导入文件夹，选取上一步存储的图像数据集。作用：将采集的图像导入Mech-DLK，用于缺陷标注和训练。1.1机器视觉检测应用图13操作8（3）使用“智能标注工具”对每一张图片进行标注，左键添加标注信息，右键移除标注信息（见图14左图）。单击“智能标注工具”后，在弹窗中确认建立缺陷分类，每种缺陷建立一个分类即可，类别名不要修改。在右侧可以添加缺陷种类，本实验有三种工件缺陷，需要再添加两个缺陷种类。同样不能修改类别名（见图14右图）。操作含义：使用“智能标注工具”，逐张标注缺陷。每种缺陷建立一个分类，名称不能修改。作用：为模型训练提供正确的标签，提高识别精度。1.1机器视觉检测应用图14操作9（4）根据每张图片的缺陷种类，使用“智能标注工具”标注缺陷，缺陷标注位置（见图15左图）。标注完缺陷后，单击左上角的“应用”按钮保存（见图15右图）。操作含义：保存各类别缺陷的图像数据。作用：为模型训练提供正确的标签，提高识别精度。1.1机器视觉检测应用图15操作10（5）检查所有图片是否已标注（见图16左图），然后单击界面右侧训练标签栏，再单击底部训练按钮开始训练（见图16中图）。并且，可单击顶部菜单“工具”→“训练中心”可以查看训练进度。单击验证标签，切换到验证菜单，单击底部验证按钮，等待验证完成（见图16右图），然后会出现“模型转化中”的窗口提示。操作含义：进行模型的训练、验证，并导出模型。作用：训练及验证深度学习模型，并用于后续检测工程。1.1机器视觉检测应用图16操作11（6）单击导出模型，将模型保存到电脑中，“推理时最大目标个数”为100即可（见图17）。操作含义：导出模型并保存至本地。作用：确保模型精度满足要求，并用于后续检测工程。1.1机器视觉检测应用图17操作123）工件完整性检测工程（1）机器人保持上一环节的姿态不变，并保持环形光源打开。创建一个新工程，重命名为“缺陷检测”（见图18）。操作含义：保持相机拍摄视角和光照条件不变，在系统中新建一个工程文件并命名。作用：保证图像采集的一致性，避免因角度或光线变化而影响缺陷识别准确率。组织当前项目中所有步骤与模块，便于缺陷检测流程的配置与管理。1.1机器视觉检测应用图18操作13（2）从步骤库中搜索“2D相机”模块，拖入右侧工程面板。选中“2D相机”模块，设置右侧步骤参数中相机类型为MvsCamera。设置相机IP地址为192.168.0.77,不同设备相机IP地址可能不同。操作含义：指定所用相机型号与连接方式。作用：使软件与相机连接成功，以获取图像数据流。（3）从步骤库中搜索“深度学习模型包推理”模块，拖入右侧工程面板，并与“2D相机”模块连接（见图19）。然后，选择“深度学习模型包推理”模块，在右侧的步骤参数模块单击“打开编辑器，”在弹出的窗口中单击导入模型包，选择上一步训练的模型文件夹。然后在步骤参数中，选择导入的模型包（见图20左图）。最后设置运行标志中“可视化输出”和“无输出时触发控制流”两个选项后面勾选框选中（见图20右图）。操作含义：加载深度学习模型处理模块，连接图像输入。设置推理模块参数，加载模型，配置可视化与控制行为。作用：将采集到的图像输入模型进行工件完整性识别，使用训练好的模型进行推理并可视化检测结果，同时在无输出时触发后续动作处理逻辑。1.1机器视觉检测应用1.1机器视觉检测应用图19操作14图20操作15（4）在步骤库搜索“限制输出的个数”，并将“限制输出的个数”模块拖入右侧工程面板。并与“深度学习模型包推理”模块连接（见图21）。操作含义：控制推理模块输出的对象数量。作用：限制模型输出信息，确保输出数据可控，以便后续处理。1.1机器视觉检测应用图21操作16（5）在步骤库搜索“输出”，并将“输出”模块拖入软件界面右侧工程面板。选择“输出”模块，并单击右侧步骤参数中端口类型，修改为自定义（见图22左图）。然后，单击“打开编辑器”按钮。勾选poses和labels两个选项（见图22中图）。最后，按照连接“限制输出的个数”模块和“输出”模块（见图22右图）。操作含义：添加数据输出接口，并自定义输出内容。建立模块数据传递路径。作用：将模型处理的结果信息（如位姿、标签）输出给后续模块。将处理后的有效输出结果传递给输出模块进行后续利用。1.1机器视觉检测应用图22操作17（6）在步骤库搜索“快捷创建位姿”模块，拖动到右侧工程面板。并与“输出”模块连接（见图23），注意Poses和labels的连接。操作含义：根据输出内容快速生成标准位姿信息。作用：将图像识别结果转化为机器人能理解的动作控制格式。1.1机器视觉检测应用图23操作18（7）在步骤库搜索“保存图像”模块，拖动到右侧工程面板。成为“保存图像1”模块。然后，选择“保存图像1”模块，在右侧步骤参数中选择保存路径，并将子文件夹名设置为color。取消“保存相机参数”、“保存法兰位姿”、“使用虚拟相机时不保存”后面的选框。最后，将“保存图像1”模块与“深度学习模型包推理”模块连接（见图24）。操作含义：插入图像保存功能模块，设置保存目录等，将推理结果关联到图像保存。作用：记录推理后的结果，以图像形式保存。

1.1机器视觉检测应用图24操作19（8）再次在步骤库搜索“保存图像”模块，拖动到软件界面右侧工程面板，成为“保存图像2”模块。然后，选择“保存图像2”模块，在右侧步骤参数中选择保存路径，并将子文件夹名设置为“color”、取消“保存相机参数”、“保存法兰位姿”和“使用虚拟相机时不保存”后面的选框（见图25左图）。最后，将“保存图像”模块与“深度学习模型包推理”模块和“2D相机”模块连接（见图25右图）。操作含义：添加第二个图像保存模块，设置路径及参数，将推理结果关联到图像保存。作用：双重记录，与图像1保持统一设置，确保图像保存一致性。保证缺陷检测前后图像都被记录，方便比对与分析。1.1机器视觉检测应用图25操作20（9）在步骤库搜索“快捷创建标签列表”模块，拖动到软件界面右侧工程面板。选中“快捷创建标签列表”模块，在步骤参数中，取消掉“运行标志”里所有的选框勾选，修改字符串列表中的值为100（见图26左图）。最后，将“快捷创建标签列表”模块与“深度学习模型包推理”模块和“输出”模块连接（见图26右图）。操作含义：生成一个标签值列表模块，定义未检测到缺陷时的输出值为[100]。作用：设定工件无缺陷时的默认标签结果。连接数据流，当未识别到缺陷时仍有信息输出，保障流程连续与稳定。1.1机器视觉检测应用图26操作21（10）单击运行，测试检测缺陷效果。在输出日志中，“poses”:[“2”]表示检测出缺陷种类为2（见图27左图），对应深度学习训练中的缺陷标签1。（深度学习训练中标签123对应检测结果012）。如果没有检测到缺陷，产品质量为合格，日志输出结果为“poses”:[“100”]（见图27右图）。操作含义：启动检测流程。作用：测试系统是否能准确识别缺陷，验证模型部署与流程正确性。例如日志中出现"poses":["2"]表示检测出缺陷种类为“2”（模型标签1），日志中出现"poses":["100"]表示无缺陷，产品合格。1.1机器视觉检测应用图27操作22【实验结果与总结分析】本实验成功完成了从采集工件的图像，到深度学习模型训练、并最终基于模型实现工件完整性识别的完整流程（见图28）。实验结果表明以下结论。（1）成功采集了工件的2D图像，并通过深度学习模型识别了缺陷类型。训练完成的模型在Mech-Vision软件中运行后，能够准确检测工件的完整性，并输出检测结果。实验过程中，调整相机参数和优化数据标注对提高检测精度起到了重要作用。最终，系统能有效区分合格与缺陷工件，实现自动化检测功能。（2）验证了工业机器视觉在工件完整性检测中的可行性和准确性。通过合理的图像采集、标注和深度学习模型训练，系统可以高效地识别工件不同类型的缺陷。而且，良好的数据质量和模型参数优化对检测精度至关重要。1.1机器视觉检测应用【实验结果与总结分析】本实验成功完成了从采集工件的图像，到深度学习模型训练、并最终基于模型实现工件完整性识别的完整流程（见图28）。实验结果表明以下结论。1.1机器视觉检测应用图28工件完整性检测（1）成功采集了工件的2D图像，并通过深度学习模型识别了缺陷类型。训练完成的模型在Mech-Vision软件中运行后，能够准确检测工件的完整性，并输出检测结果。实验过程中，调整相机参数和优化数据标注对提高检测精度起到了重要作用。最终，系统能有效区分合格与缺陷工件，实现自动化检测功能。（2）验证了工业机器视觉在工件完整性检测中的可行性和准确性。通过合理的图像采集、标注和深度学习模型训练，系统可以高效地识别工件不同类型的缺陷。而且，良好的数据质量和模型参数优化对检测精度至关重要。并且，可以进一步优化检测算法，提高模型的泛化能力，以适应更多种类的工件检测任务。1.1机器视觉检测应用拓展实验——利用机器视觉实现工件分拣1.1.5拓展实验——利用机器视觉实现工件分拣本实验通过图像模板匹配方法实现工件分拣。利用工业相机采集工位图像并与预先创建的模板进行匹配，生成识别结果，并通过串口测试工具查看待抓取物体的抓取点坐标，并将坐标信息传送至机械臂，为机械臂分拣工件提供了标准化视觉信息支持。【实验目的】知识目标（1）理解机器视觉模板创建的基本流程，包括图像采集、模板制作等关键步骤。（2）掌握模板匹配在视觉检测中的实际应用。1.1机器视觉检测应用能力目标（1）能完成图像模板的创建、图像保存等视觉检测流程的基本搭建方法。（2）能够配置模板匹配模块、输出模块等，实现从视觉检测到位姿信息输出的流程。素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。【实验原理】本实验基于机器视觉，通过模板创建与图像匹配技术实现工位占用状态的识别。首先，利用2D相机采集标准工位图像并制作模板和掩膜，用于建立参考模型。随后通过模板匹配模块对实际图像与模板进行比对，判断工位是否被占用。串口测试软件可查看工件点位信息，为后续机械臂分拣提供数据支持。1.1机器视觉检测应用【实验过程】使用机器视觉技术实现工件定位及分拣：首先，先在Mech-Vision中创建模板采集工程，采集工位图像并保存为标准模板与掩膜图；随后，建立工位占用检测工程，加载模板并设置模板匹配与ROI区域。接着，将匹配结果与标签模块连接，并输出检测标签和位姿信息；最后，通过串口测试软件查看工件点位信息，为后续机械臂分拣任务提供了完整的数据支持，以进行工件的分拣（本教材预先提供了机械臂运动控制json文件）。

1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装好了相关的工业视觉软件，无须进行环境配置。1.1机器视觉检测应用2.图形化代码结构本实验的图形化代码结构见图29，通过图中每个图形化模块，可以了解到本实验中用到的各个模块及其功能。1.1机器视觉检测应用图29整体图形化代码结构●2D相机模块：连接2D相机并采集图像数据，作为图像处理流程的输入源。●2D模板匹配模块：在图像中查找与给定模板图像相似的目标区域，并输出其位姿信息。●保存图像模块：将当前流程中的图像数据保存到本地指定路径，用于记录或分析。●快捷创建位姿模块：根据检测结果快速生成标准化的机器人位姿数据，用于动作控制。●快捷创建标签列表模块：快速创建自定义标签列表，常用于设置默认输出或控制流程走向。●输出模块：将流程中提取的关键数据（如位姿、标签等）输出给外部系统或用于流程控制。1.1机器视觉检测应用3.场景搭建固定相机位置（见图30），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。同时，将单个工件置于工位1至3的任一位置，以进行工位占用检测并获取工件点位信息。1.1机器视觉检测应用图30实验整体场景相机工位检测位废料框相机4.实验流程以下为具体的实验流程，请同时参看视频讲解。1）创建工位占用检测2D模板（1）在机器人操作页面的点动界面下，调整机器人到“工位”上方，确保2D相机可以采集到“工位”图像，并保持环形光源打开（见图31）。操作含义：通过机器人控制界面，将末端移动至工位的正上方。作用：确保2D相机能准确采集工位区域图像，为后续模板创建提供清晰视图。保持光源开启可以提高图像清晰度和边缘识别效果。1.1机器视觉检测应用图31操作1（2）单击文件，新建工程，创建一个新工程，重命名为“工位检测2D模板创建”。操作含义：新建一个工程。作用：创建一个新的视觉项目工程，用于模板创建。（3）从步骤库中搜索“2D相机”模块，拖入右侧工程面板。选中“2D相机”模块，设置右侧步骤参数中相机类型为MvsCamera。设置相机IP地址为192.168.0.77,不同设备相机IP地址可能不同。操作含义：配置相机类型和IP地址。作用：配置2D相机，使其能够正常采集图像。1.1机器视觉检测应用（4）在步骤库中搜索“制作2D模板”模块，并拖动到右侧工程面板。并与“2D相机”模块连接（见图32）。操作含义：添加“制作2D模板”模块并连接至“2D相机”模块。作用：将采集图像作为输入，进行模板制作，形成目标工位的特征模板，用于后续匹配检测。1.1机器视觉检测应用图32操作2（5）在步骤库中搜索“保存图像”模块，并拖动两个“保存图像”模块到软件界面右侧工程面板。选择“保存图像1”模块，在右侧步骤参数中选择保存路径，并将子文件夹名设置为color。取消“保存相机参数”“保存法兰位姿”“使用虚拟相机时不保存”后面的选框。设置自定义图片文件名前缀为“模板”（见图33左图）。选中“保存图像2”模块，在右侧步骤参数中选择保存路径，并将子文件夹名设置为color。取消“保存相机参数”“保存法兰位姿”“使用虚拟相机时不保存”后面的选框。设置自定义图片文件名前缀为“掩膜”（见图33右图）。最后连接“保存图像1”模块、“保存图像2”模块和“制作2D模板”模块（见图34）。操作含义：添加两个“保存图像”模块到流程图中。配置“保存图像1”和“保存图像2”模块。模块之间进行连接。作用：用于保存两类图像，一个是实际彩色图像，另一个是掩膜图像。“保存图像1”模块用于保存实际图像用于后续模板训练，文件命名和路径规范有助于后续读取和管理。“保存图像2”模块用于保存掩膜图像，用于模板与背景的分离处理，确保匹配准确性。然后，通过建立模块间数据流连接，确保在采集图像之后能够自动保存并传递给模板制作模块使用。1.1机器视觉检测应用1.1机器视觉检测应用图33操作3图34操作4（6）单击界面左上角“标准模式”，并切换到测量模式（见图35）。操作含义：将“标准模式”切换为“测量模式”。作用：进入“测量模式”进行图像处理和模板配置模式，如手动设置模板参数、ROI等。1.1机器视觉检测应用图35操作5（7）选中“制作2D模板”模块，设置右侧的ROI为工位。（ROI默认在图36左图中左上角1位置，需要手动拖出）。操作含义：选中“制作2D模板”模块，在右侧界面设置ROI区域，覆盖目标工位区域。作用：通过ROI调整定义模板的作用区域，只关注工位部分，避免多余图像干扰。1.1机器视觉检测应用图36操作6（8）将工件放置在工位上，单击软件界面中工程页面上方的运行按钮，可以看到保存图像设置的路径文件夹内自动生成两张图片即创建模板成功（见图37）。在此过程通过后，将上一步的“制作2D模板”“保存图像1”和“保存图像2”模块都删除。操作含义：将实际工件放入工位，单击“运行”按钮，开始执行图像采集与模板保存。作用：实际执行图像采集流程，并生成模板与掩膜图片文件，完成模板创建。1.1机器视觉检测应用图37操作72）工位占用工程（1）单击文件，新建工程，创建一个新工程，重命名为“工位占用检测”。命令含义：新建一个工程。作用：创建一个新的视觉项目工程，用于工位占用检测。（2）从步骤库中搜索“2D相机”模块，拖入右侧工程面板。选中“2D相机”模块，设置右侧步骤参数中相机类型为MvsCamera。设置相机IP地址为192.168.0.77,不同设备相机IP地址可能不同。操作含义：配置相机类型和IP地址。作用：配置2D相机，使其能够正常采集图像。1.1机器视觉检测应用（3）在步骤库中搜索“2D模板匹配”模块，拖动到工程面板两次，分别生成“2D模板匹配1”和“2D模板匹配2”模块。选中“2D模板匹配1”模块，设置右侧步骤参数中123选项勾选。在位置4，设置模板特征文件路径到文件夹（模板文件会存储在此文件夹）。在后面两个选项中设置上一步2D模板创建的模板文件和掩膜文件路径（见图38左图）。选中“2D模板匹配2”模块，设置右侧步骤参数中123选项勾选。在位置4，设置模板特征文件路径到文件夹（模板文件会存储在此文件夹）。在后面两个选项中设置上一步2D模板创建的模板文件和掩膜文件路径（见图38右图）。最后连接“2D相机”模块、“2D模板匹配1”和“2D模板匹配2”模块（见图39）。操作含义：插入两个2D模板匹配模块，通过匹配判断对应工位有或无工件。

作用：2个模板匹配模块分别用于检测工位是否有工件的情况，匹配工位有工件和无工件时的特征匹配模板。1.1机器视觉检测应用1.1机器视觉检测应用图38操作8图39操作9（4）单击软件界面左上角“标准模式”，并切换到测量模式（见图40）。操作含义：将“标准模式”切换为“测量模式”。作用：进入“测量模式”可进行ROI设置，框选匹配区域以提高检测效率与精度。1.1机器视觉检测应用图40操作10（5）分别选择“2D模板匹配1”和“2D模板匹配2”模块，并单击运行。然后，分别在右侧拖动ROI区域（蓝色小方块）到目标检测位置（见图41）。操作含义：设置模板匹配的感兴趣区域。作用：限定检测范围，提高匹配准确性和速度。1.1机器视觉检测应用图41操作11（6）在步骤库中搜索“快捷创建标签列表”模块，拖动到工程面板两次。生成“快捷创建标签列表1”和“快捷创建标签列表2”模块。选中“快捷创建标签列表1”模块，勾选1、2选项，设置位置3的值为200（见图42左图）。选中“快捷创建标签列表2”模块，勾选1、2选项，设置位置3的值为300（见图42右图）