工业机器视觉与应用 课件 3.5 机器视觉识别应用

工业机器视觉基础应用实践

--3.5机器视觉识别应用1.1机器视觉识别应用1.1.1机器视觉识别的基本原理机器视觉中的识别技术是指通过视觉传感器获取图像信息，并通过图像处理和计算，识别和分类图像中的目标物体。通过机器视觉识别，系统能够提取图像中的关键特征，如颜色、纹理、形状、边缘等信息，并通过这些特征对物体进行分类、识别或检测。该过程包括图像采集、预处理、特征提取、模式匹配、分类与决策等步骤，目标是从图像中提取信息并与已知的模型或类别进行对比，最终实现对物体、场景或目标的识别与分类。图像采集是机器视觉识别的第一步，通常使用相机对物体或场景拍摄，获取颜色、形状、纹理、位置等信息。采集设备的分辨率、光照条件、拍摄角度都会影响识别效果，因此需根据场景选择合适的硬件和策略。随后进行图像预处理，常见操作有去噪声、增强对比度、灰度化、平滑、边缘检测等，用于消除干扰、突出目标特征，为后续处理提供清晰信息。特征提取是关键步骤，用于描述物体的形状、纹理、颜色、结构等，常见特征有边缘、角点、纹理、局部特征，也可用SIFT、SURF、HOG等高级方法。提取的特征将用于匹配和分类。最后，通过模式匹配与分类，将特征与已知模型比对，得到识别结果，如分类标签、空间位置、姿态信息等。这些结果可应用于自动化生产、机器人路径规划或安防监控。1.1机器视觉识别应用1.1.2机器视觉识别的常用技术特征点匹配是机器视觉识别常用技术之一，主要用于在不同图像中寻找相同或相似的特征点，以实现图像配准、三维重建、目标跟踪、物体识别等任务。通过匹配图像中的特征点，可以进行图像变换估计、视角变换估计或运动估计。特征点匹配是一种通过在图像中提取关键点（如角点、特征点等）并与参考模板或模型进行匹配，从而确定物体位置和姿态的技术。SIFT（ScaleInvariantFeatureTransform）和RANSAC（RandomSampleConsensus）是两种在特征点匹配中至关重要的算法。SIFT算法能够稳定地提取图像特征，而RANSAC算法能够提高匹配结果的鲁棒性。通过结合这两种算法，可以使得图像匹配更加精准，为计算机视觉领域的研究和应用提供有力支持。1.1机器视觉识别应用特征点匹配的过程就是对比这些特征点的过程（见图1）。SIFT算法的实质是在不同的尺度空间上查找关键点（特征点），计算关键点的大小、方向、尺度信息，利用这些信息组成关键点对特征点进行描述的问题。SIFT算法的步骤可以表示为以下4个部分。1）

检测尺度空间极值SIFT的第一步是通过高斯模糊构建尺度空间。通过对图像进行多次高斯模糊，并分别调整不同的模糊参数来得到一系列不同尺度的图像，形成一个尺度空间。小尺度对应于图像的细节特征，大尺度对应于图像的概貌特征。1.1机器视觉识别应用图1特征点匹配尺度空间在实现时使用高斯尺度金字塔表示，这一过程涉及将原始图像逐步模糊（高斯平滑）并下采样，形成一系列不同尺度的图像（见图2）。将原始图像不断降阶采样，得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型。原图像为金字塔的第一层，每次下采样所得到的新图像为金字塔的一层(每层一张图像)。随后，计算相邻尺度图像之间的高斯差分（DifferenceofGaussian，DoG）图像，这些差分图像能够凸显出图像中的潜在特征点。1.1机器视觉识别应用图2高斯差分金字塔的生成2）

极值点检测在尺度空间中，每个尺度层都会与其上下相邻的尺度层进行比较，寻找局部的极值点（即局部最大值或最小值），见图3。这些极值点代表了图像中的潜在特征点。具体地说，每个像素点将会与其在当前层、上一层和下一层的相邻像素点进行比较，若像素点在当前尺度及其相邻尺度的邻域中是最大或最小值，则这个点被认为是一个潜在的特征点。由于大多数采样点在前几次比较后就会被淘汰，因此这种检测的成本相对较低。

1.1机器视觉识别应用图3DoG空间极值检测3）

关键点定位极值点检测的结果中，可能会有一些不稳定的特征点，因为某些极值点响应较弱，而且DoG算子会产生较强的边缘响应。因此，在这一阶段，需要通过进一步的筛选来精确定位特征点。筛选方法如下。（1）低对比度点：极值点可能位于对比度较低的区域，这类点往往不具备显著的局部特征，不适合作为稳定的特征点。为了去除这类低对比度点，SIFT通过计算关键点的对比度来筛选。（2）边缘响应去除：极值点有一些是边缘点，而不是目标角点，为此，通过计算Hessian矩阵的特征值比来判断一个点是否位于边缘上。对于边缘点来说，Hessian矩阵会具有一个较大的特征值和一个接近零的特征值，根据此可去除边缘点。（3）精确定位：为了提高关键点的稳定性，SIFT对检测到的潜在关键点进行精确定位，并去除不稳定的点。1.1机器视觉识别应用4）

方向分配在特征点的坐标和尺度确定后，SIFT算法会为每个特征点分配一个主方向，使得特征点对旋转具有不变性。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。分配给关键点的方向并不直接是关键点的梯度方向，而是按照一种梯度方向直方图的方式给出的。具体的方法是：计算以关键点为中心的邻域内所有点的梯度方向，当然梯度方向一定是在0~360°范围内，对这些梯度方向归一化到36个方向内，每个方向代表了10°的范围。然后累积落到每个方向内的关键点个数，以此生成梯度方向直方图，见图4。1.1机器视觉识别应用图4梯度方向直方图5）生成SIFT特征矢量（关键点的描述子）对关键点的描述是后续实现匹配的关键步骤，描述其实就是一种以数学方式定义关键的过程。描述子不但包含关键点，也包括关键点周围对其有贡献的邻域点，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。对关键点周围像素区域分块，计算块内梯度直方图，生成具有独特性的向量（见图5），这个向量是该区域图像信息的一种抽象表述，具有唯一性。1.1机器视觉识别应用图5生成关键点的描述子1.1.3机器视觉识别应用典型场景机器视觉识别技术广泛应用于各行各业，特别是在自动化、工业生产、医疗影像分析、机器人控制等领域。通过图像采集、处理、特征提取和模式识别，机器视觉识别能够实现目标的自动化检测、分类、识别与定位。以下是几种典型的机器视觉识别应用场景。1）机器人引导与定位机器视觉识别技术在机器人领域有着重要的应用，特别是在路径规划、物体抓取与放置等任务中。通过视觉识别，机器人能够高效、准确地进行任务执行。（1）物体抓取与放置：机器人通过机器视觉系统识别物体的位置、形状和姿态，精确控制机械臂进行抓取、放置和装配操作。。（2）自主导航与避障：机器人利用机器视觉技术进行环境感知，识别周围的障碍物、行人和其他物体，并进行导航和避障。1.1机器视觉识别应用2）自动驾驶与交通监控在自动驾驶和智能交通领域，机器视觉识别技术是实现自动驾驶车辆感知环境、识别交通标志、行人、障碍物等的核心技术之一。（1）自动驾驶车辆的环境感知与定位：自动驾驶汽车通过机器视觉系统实时采集路面信息，识别周围环境中的交通标志、车道线、行人等，进行导航决策、并决定行驶速度、方向和刹车。（2）交通违章检测与车流监控：通过安装在路口或交通监控点的机器视觉系统，实时监控道路交通情况，自动识别违章行为（如闯红灯、逆行、违停等）。交通摄像头通过机器视觉系统自动识别闯红灯的车辆，并记录车牌信息，进行罚款处理。1.1机器视觉识别应用3）医学影像识别与分析机器视觉识别技术在医学影像领域的应用，主要体现在辅助医生进行疾病检测、影像分析、病变定位等任务。（1）肿瘤检测与分析：通过对医学影像（如CT、MRI、X光等）进行分析，机器视觉系统可以自动识别和分析肿瘤或其他病变区域，帮助医生进行早期诊断。（2）器官与组织分析：机器视觉技术能够从医学影像中提取器官、组织的特征，如形状、大小、位置等，帮助医生对器官健康状态进行分析。1.1机器视觉识别应用基础实验——条形码识别1.1.4基础实验——条形码识别本实验通过构建视觉识别流程，完成了对箱体条形码信息的准确提取。涵盖了图像采集、图像预处理、ROI设定、条形码识别等关键步骤。采用模块化的软件操作方式，提升了识别的效率与可维护性。1.1机器视觉识别应用【实验目的】知识目标（1）掌握条形码图像识别的基本流程与关键技术。（2）了解条码识别算法的基本原理和工业视觉系统模块化流程。能力目标（1）能够设置工业相机参数、指定识别区域并获取识别结果。（2）能够使用Mech-Vision软件完成条形码识别流程的搭建与调试，并为后续自动化控制提供数据支持。素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。1.1机器视觉识别应用【实验原理】本实验通过工业相机采集包含条形码的图像，并对图像进行缩放等预处理操作，提升识别精度。通过设定感兴趣区域聚焦条码位置，减少干扰信息，提高效率。条形码识别模块调用内置解码算法，对图像中的条形码内容进行提取和识别。最终将识别结果转化为位姿等可用于后续设备控制的数据格式。【实验过程】条形码识别：首先新建条形码识别工程，并添加“2D相机”模块完成图像采集与连接设置。接着添加图像缩放和条码识别模块，并设置ROI区域聚焦目标区域。通过“保存图像”模块记录识别图像，“快捷创建位姿”模块用于输出结构化识别结果。最后运行流程，查看日志确认条码是否正确识别与输出。1.1机器视觉识别应用1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装了相关的工业视觉软件，无须进行环境配置。2.图形化代码结构本实验的图形化代码结构可见图6，通过图中每个图形化模块，可以了解到本实验中用到的各个模块及其功能。1.1机器视觉识别应用图6整体图形化代码结构●2D相机模块：连接2D工业相机并采集图像数据，作为图像处理流程的输入源。●缩放2DROI内的图像模块：用于对选定的二维图像区域进行缩放处理，以提高后续识别或分析的精度。●读取条形码模块：用于从图像中识别并读取条形码信息，实现条码内容的自动提取。●快捷创建位姿模块：根据检测结果快速生成标准化的机器人位姿数据，用于动作控制。●保存图像模块：将当前流程中的图像数据保存到本地指定路径，用于记录或分析。●输出模块：将流程中提取的关键数据输出给外部系统或用于流程控制。1.1机器视觉识别应用3.场景搭建固定相机位置（见图7），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。同时，将带有条形码的箱体摆放至相机周围，以进行条形码的识别。1.1机器视觉识别应用图7实验整体场景相机4.实验流程以下为具体的实验流程。1）创建工程（1）单击软件界面菜单下的“文件”→“新建方案”，以创建一个新方案。（2）右键单击方案，选择重命名方案，给方案重命名。右键单击工程，给工程重命名为“条形码识别”。2）图像采集从步骤库中搜索“2D相机”模块，拖入右侧工程面板。选中“2D相机”模块，设置右侧步骤参数中相机类型为MvsCamera。设置相机IP地址为192.168.0.77，不同设备相机IP地址可能不同。1.1机器视觉识别应用3）图像预处理与条形码识别（1）在步骤库中搜索“缩放2DROI内的图像”和“读取条形码”模块，拖动模块到右侧工程面板，然后进行模块间的连接（见图8）。操作含义：添加模块，并进行连接。作用：“缩放2DROI内的图像”模块可以缩放感兴趣区域图像以增强识别效果，提升识别准确率。“读取条形码”模块可以对处理后的图像进行条形码信息提取与解析。1.1机器视觉识别应用图8操作1（2）单击“缩放2DROI内的图像”模块，查看右侧的“步骤参数”，单击“打开编辑器”，选择ROI（见图9）。操作含义：设置图像中用于处理的区域（ROI）。作用：聚焦图像中条形码所在区域，减少干扰信息，提高识别效率。1.1机器视觉识别应用图9操作24）保存识别结果与输出（1）在步骤库中搜索“保存图像”模块，拖动模块到右侧工程面板，并进行参数设置（见图10）。操作含义：调用图像保存模块并设置路径与参数。作用：记录采集图像和处理结果，便于后续查看与分析。1.1机器视觉识别应用图10操作3（2）在步骤库搜索“快捷创建位姿”模块，拖动到右侧工程面板，并与“输出”模块连接（见图11）。操作含义：生成用于输出给机械臂的位姿数据结构。作用：将条码识别结果转化为可用于机械臂控制的结构化信息。1.1机器视觉识别应用图11操作4（3）单击“运行”（在调试状态下），查看日志是否有输出（见图12）。操作含义：执行整个流程，并检查模块运行情况。作用：验证各模块是否正常工作，检查条形码是否正确识别。1.1机器视觉识别应用图12操作5【实验结果与总结分析】本实验成功完成了本实验通过图像采集、ROI区域设定、读取条形码等步骤，实现了基于工业视觉系统的条形码识别完整流程（见图13）。实验结果表明以下结论。1.1机器视觉识别应用图13条形码识别（1）成功完成了条形码的图像采集与识别流程。通过2D相机采集图像，结合ROI缩放和条形码读取模块，实现了对目标条形码的有效识别。系统正确输出了条形码的内容信息并显示在日志中。图像处理过程稳定，识别率较高。（2）验证了工业机器视觉在条形码识别领域的可行性与识别准确性。通过完成从图像采集到条形码识别的完整流程，进一步加深了对工业视觉软件模块化操作流程的理解。图像预处理与ROI的精准设定是实现高效识别的关键环节。为后续开展智能分拣等相关应用提供了技术基础与实践参考。1.1机器视觉识别应用拓展实验——利用机器视觉实现纸箱拆垛1.1.5拓展实验——利用机器视觉实现纸箱拆垛本实验基于工业机器视觉平台，构建纸箱拆垛识别流程。通过相机采集点云数据，并结合深度学习模型，实现纸箱的精准识别与定位。最终完成纸箱识别结果的上报与验证，从而提升拆垛作业的智能化水平。此外，通过在仿真环境中模拟纸箱拆垛过程，进一步验证系统的有效性和稳定性。1.1机器视觉识别应用【实验目的】知识目标（1）掌握工业视觉软件Mech-Vision与Mech-DLK的基本使用方法与操作流程。（2）理解纸箱拆垛应用中各模块的基本原理与功能。（3）熟悉视觉检测流程中的数据采集、模型训练、模型导入、结果验证与IOT数据上报过程。能力目标（1）能够完成纸箱拆垛的项目搭建，包含案例加载、图像采集、参数配置与步骤调试。（2）能够掌握实例分割模型的数据标注、训练与部署流程，实现对纸箱目标的识别与位姿检测。（3）能够利用虚拟仿真环境完成纸箱的拆垛。1.1机器视觉识别应用素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。【实验原理】本实验通过工业相机采集纸箱图像与点云数据，利用图像预处理和ROI设定提取目标区域。结合深度学习实例分割技术，实现纸箱的精准识别与掩膜生成。随后对点云进行聚类与位姿计算，输出纸箱的三维位置信息。最后，将识别结果图像上报至指定路径用于后续分析或控制系统使用。【实验过程】使用机器视觉技术实现纸箱拆垛：首先在Mech-Vision中搭建纸箱识别工程，加载案例并配置相机与标定参数。接着进行图像数据采集，保存用于后续深度学习模型的训练。然后在Mech-DLK中进行纸箱的图像标注、模型训练与导出，并导入至识别工程中。最后运行整体方案并完成图像识别、位姿输出与IOT图片上报功能的调试验证，并在仿真环境中模拟纸箱拆垛过程。1.1机器视觉识别应用1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装好了相关的工业视觉软件，无须进行环境配置。2.图形化代码结构本实验的图形化代码结构见图14，通过图中每个图形化模块，可以了解到本实验中用到的各个模块及其功能。1.1机器视觉识别应用图14整体图形化代码结构●从相机获取图像模块：连接相机并实时采集图像或点云数据，作为整个识别流程的输入。●使用深度学习分割单个箱子掩膜模块：基于预训练的深度学习模型，对图像中的纸箱进行语义分割，提取每个箱子的掩膜区域。●点云预处理与获取最高层掩膜模块：对采集到的点云进行降噪、裁剪和滤波处理，并提取出最高层的箱子区域用于后续分析。●计算箱子位姿模块：根据分割结果和点云数据，计算每个纸箱在三维空间中的位置和朝向（位姿）。●调整位姿模块：对已计算出的箱子位姿进行修正，使其更适用于实际抓取任务，如调整角度或坐标。●限制输出的个数模块：控制输出目标的数量，例如只输出置信度最高或位置最优的前几个箱子，提升效率。●路径规划模块：根据目标箱子的位姿信息，规划机械臂的抓取路径。●输出模块：将流程中提取的关键数据（如位姿、标签等）输出给外部系统或用于流程控制。1.1机器视觉识别应用3.场景搭建固定相机位置（见图15），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。同时，将带有条形码的箱体摆放至相机周围，以进行条形码的识别，并在侧方摆放好物料框用于放置纸箱。1.1机器视觉识别应用相机吸盘物料框图15整体实验场景4.实验流程以下为具体的实验流程，请同时参看视频讲解。1）创建工程具体的条形码识别流程，请同时参看视频讲解。（1）单击软件界面菜单下的文件→新建方案按钮，以创建一个新方案。命令含义：Mech-Vision软件用于视觉处理，新建方案用于创建一个新的视觉任务。作用：启动Mech-Vision软件，并创建新的视觉方案。（2）右键单击方案，选择重命名方案，用于方案重命名。右键单击工程，给工程重命名为“条形码识别”命令含义：方案是整个视觉任务的集合，工程是其中的具体实现，合理命名可以提高可读性和可维护性。作用：为方案和工程命名，以便后续管理和调用。1.1机器视觉识别应用（3）选中“从案例库新建”，跳转案例库界面，单击“拆码垛”，单击“获取更多资源”，单击“是”（此时需要连接Wi-Fi无线网络）。选择“单品类纸箱”，单击右上角标识下载（按图16左图）。注意填写方案名和路径（按图16右图），等待下载完成即可。操作含义：加载官方模板案例作用：快速搭建基础识别流程。1.1机器视觉识别应用图16操作1（4）单击“从相机获取图像”模块，在右侧的步骤参数中（见图17左图），单击关闭虚拟模式，然后单击选择相机按钮（见图17右图）。操作含义：关闭虚拟数据输入，启用真实图像采集，并手动指定用于采集图像的相机设备。

作用：确保后续处理数据来自真实相机采集，及绑定相机设备。1.1机器视觉识别应用图17操作2（5）在弹窗中找到相机，并单击链接按钮（见图18左图）。选择相机参数，单击确定（见图18右图）。在弹出的确认参数组弹窗，单击“是”。最后，在该模块右侧的步骤参数中，选择“相机标定参数组”（见图19），并打开右上角调试输出开关。操作含义：完成软件与相机之间的通信，使用已有手眼标定参数组并开启调试信息。

作用：保证图像采集效果。实现相机坐标到机械臂坐标的转换调试。1.1机器视觉识别应用图18操作3图19命令操作4（6）复制无序抓取标定的文件。根据路径找到对应的标定文件（“RUM7024AB500C004-EyeToHand-2024-11-13”），并复制到路径“D:\纸箱拆垛\拆垛\Vis_Single-Case_Cartons_V2\calibration”下（见图20）。操作含义：将已有的标定文件用于本实验中。

作用：复用标定结果，避免重复标定，提高效率。1.1机器视觉识别应用图20操作5（7）双击进入“点云预处理与获取最高层掩膜”模块内部，双击“点云预处理”模块。然后，保持选中“点云预处理”模块的前提下，在“步骤参数”中单击“打开编辑器”按钮（见图21左图），框选范围（见图21右图）。操作含义：进入模块内部查看处理细节，并设定处理区域，只处理特定范围的点云。作用：排除背景干扰，提升识别效率和准确性。1.1机器视觉识别应用图21操作6（8）单击“获取最高层点云”模块，查看界面右侧是否有输出（见图22），如果无输出，则重新检查相机参数，相机标定，以及3DROI的框选范围。操作含义：验证预处理是否成功获取目标数据。

作用：如果无输出，提示检查采集或标定问题。1.1机器视觉识别应用图22操作7（9）双击“使用深度学习分割单个箱子掩膜”模块，查看“深度学习模型包”有无推理结果（见图23），若无推理结果，则需进行模型训练。操作含义：查看模型推理是否成功。

作用：若没有推理结果，则需进入模型训练流程。1.1机器视觉识别应用图23操作8（10）双击“计算箱子位姿”模块，查看其内部步骤是否输出正常。然后，单击“验证箱形目标物体掩膜”模块（见图24左图），查看“步骤参数”，并设置参数（见图24右图）。操作含义：判断箱子定位功能是否正常，以及设置模块参数。

作用：确保抓取任务有准确的位姿输入，并使掩膜验证标准与实际纸箱特征匹配。1.1机器视觉识别应用图24操作9（11）单击“计算平面点云的位姿和尺寸”模块，查看右侧“步骤参数”，并选择“计算位姿中心的方法”模块进行参数设置（见图25）。然后单击“点云聚类,并输出符合条件的点云”模块，在右侧“步骤参数”中更改聚类点数，进行参数设置（见图26）。操作含义：配置识别逻辑关键参数。作用：优化聚类效果和位姿计算准确性。1.1机器视觉识别应用图25操作10图26操作11（12）单击“验证箱子尺寸是否有效”模块，并修改“箱子尺寸信息类型”为“未知箱子尺寸”，将“箱子尺寸误差范围”修改为“50mm”,重新连接“计算平面点云的位姿和尺寸”和“验证箱子尺寸是否有效”模块（见图27）。操作含义：

设置尺寸误差范围，连接上下模块。作用：允许识别轻微误差，提高实际兼容性。1.1机器视觉识别应用图27操作12（13）在“步骤库”中搜索“使用位姿的XYZ值排序”模块，连接“计算平面点云的位姿和尺寸”与“使用位姿的XYZ值排序”模块，单击“使用位姿的XYZ值排序”模块，在右侧“步骤参数”中修改排序的值为Y。在“步骤库”中搜索“限制输出个数”，并进行模块间的连接（见图28）。操作含义：对识别出的箱子按位置排序并限制输出个数。

作用：优先处理靠前的目标，提高操作效率。1.1机器视觉识别应用图28操作13（14）打开“调试输出”后单击“运行”，运行完毕之后查看右侧输出（见图29）。操作含义：启动整个流程。验证是否能顺利识别纸箱位姿。作用：验证是否能顺利识别纸箱位姿。1.1机器视觉识别应用图29操作14（15）通过仿真软件，进行仿真模拟验证纸箱拆垛（见图30和图31）。操作含义：通过仿真可以检查路径规划和位姿信息的准确性，确保机器人能够正确识别、定位，并进行纸箱拆垛。在实际执行前发现并修正可能的问题，提高系统的稳定性和成功率。作用：在机器视觉软件内使用仿真功能，模拟机器人执行抓取任务，验证纸箱拆垛是否正确。1.1机器视觉识别应用图30操作15图31操作162）数据采集（1）打开Mech-Vision软件，单击文件，并新建工程。命令含义：新建一个工程。作用：创建一个新的视觉项目工程，用于数据采集。（2）复制本实验之前基础实验步骤中已设定好参数的“从相机获取图像”模块到本工程中，从步骤库中搜索保存图像模块，并将其拖到右侧工程面板，并进行模块间的连线（见图32左图）。选择“保存图像”模块，设置右侧步骤参数中的“保存路径”“设置子文件夹名”“保存内容”（见图32中图）。最后，单击运行按钮运行工程，在设置路径中可以看到保存的图片（拍摄二十几张即可），见图32右图。1.1机器视觉识别应用操作含义：插入“从相机获取图像”和“保存图像”模块，进行参数设置，拍照保存图像数据。作用：通过复制“从相机获取图像”模块，复用已有的相机配置，减少重复设置操作。添加“保存图像”模块是为了将相机拍摄到的图像保存到本地文件夹，供后续模型训练使用。图像数据从相机传递至保存模块，实现拍照并有序存储，便于后续模型训练导入。1.1机器视觉识别应用图32操作173）模型训练（1）打开Mech-DLK软件，单击新建工程按钮，创建工程。并且，在新建工程弹窗中输入工程名称，选择工程路径，注意，工程路径不能包含中文（请使用全英文路径）。最后，在创建工程后，在右上角选择添加模块。在添加模块弹窗中选择实例分割选项（见图33）。操作含义：新建工程，并选择“实例分割”作为任务类型。作用：创建一个新的训练项目，规范命名和路径并指定训练任务类型。1.1机器视觉识别应用图33操作18（2）单击“导入/导出”按钮，选择导入文件夹，选择上一步存储数据集的文件夹，并等待导入成功（见图34）。操作含义：导入之前保存的图像数据。作用：将采集的纸箱图像数据加载到项目中，作为模型训练样本。1.1机器视觉识别应用图34操作19（3）使用“智能标注工具”对每一张图片进行标注，左键添加标注信息，右键移除标注信息。单击“智能标注工具”后，在弹窗中确认建立缺陷分类，每种缺陷建立一个分类即可，且类别名不要修改（见图35）。最后，使用“智能标注工具”标注纸箱。标注完后，单击左上角的“应用”按钮保存（见图36）。操作含义：单击“智能标注工具”，创建缺陷类别并开始标注，在标注完成之后应用。作用：为模型提供有标签的训练数据，帮助模型学习纸箱边界和形状。保存标注结果，确保所有人工标注数据记录到工程中。1.1机器视觉识别应用图35操作20图36操作21（4）检查所有图片已标注，然后单击右侧训练标签栏，再单击底部训练按钮开始模型训练。然后，通过单击顶部菜单“工具”→“训练中心”查看模型训练进度（见图37）。单击验证标签，切换到验证菜单，单击底部验证按钮，等待验证完成（见图38）。操作含义：确认所有图像已标注的情况下，进行模型的训练和验证。作用：启动模型训练过程，使模型学习纸箱的特征信息，并实时查看模型训练的进度，评估模型在测试数据上的表现，检验训练质量。1.1机器视觉识别应用图37操作22图38操作23（5）导出训练完成的模型包。单击导出模型，将模型保存到电脑中，并设置推理最大个数100即可（见图39）。操作含义：导出模型并设置最大推理个数。作用：将训练好的模型保存为模型包，用于后续在实验中加载和推理识别。1.1机器视觉识别应用图39操作244）导入模型（1）双击“使用深度学习分割单个箱子掩膜”进入该模块内部，然后单击“深度学习模型包推理”，在“步骤参数”中单击“打开编辑器”。然后，单击“导入模型包”，单击导入刚才训练好的模型，然后单击右上角关闭。最后，通过单击“模型包名称”，即可导入模型包（见图40）。操作含义：进入模型配置界面，导入模型。作用：将训练好的纸箱分割模型导入当前实验中，并启用该模型。1.1机器视觉识别应用图40操作25（2）运行并验证模型效果。单击“运行”按钮（见图41），查看