工业机器视觉与应用 课件 3.3 机器视觉引导定位应用

工业机器视觉基础应用实践

--3.3机器视觉引导定位应用1.1机器视觉引导定位应用1.1.1机器视觉定位的基本原理机器视觉定位的基本原理是利用计算机视觉技术，通过图像采集、处理和分析，精确地确定物体在空间中的位置和姿态。机器视觉定位的核心任务是从图像中提取物体的特征，并结合已知的参考信息（如相机参数、物体模型等），计算出物体相对于相机或其他坐标系统的位置（如平移和旋转）信息。该过程主要包括图像采集、特征提取、特征匹配和位置解算等步骤。1.1.2机器视觉定位的常用技术基于点云匹配的视觉定位技术是计算机视觉和机器人学中的核心技术，广泛应用于自动驾驶、机器人导航、三维重建等领域，其主要目标是通过对不同视角或时间点获取的点云数据进行匹配，估计物体或机器人在空间中的位置和姿态。点云配准可以分为粗匹配和精匹配两步。粗匹配指的是在两幅点云之间的变换完全未知的情况下进行较为粗糙的匹配，目的主要是为精匹配提供较好的变换初值；精匹配则是给定一个初始变换，进一步优化得到更精确的变换。目前应用最广泛的点云精配准算法是迭代最近点算（IterativeClosestPoint，ICP）算法。1.1机器视觉引导定位应用1）关键点FPFH描述符快速点特征直方图（FastPointFeatureHistogram，FPFH）是一种高效的三维点云局部特征描述符，广泛应用于点云匹配、物体识别和姿态估计等任务。使用FPFH特征进行点云匹配的核心思想是通过特征匹配来找到源点云和目标点云中的对应点对。FPFH通过简化特征直方图的计算，可为高效、精确的点云分析提供可靠的工具，

2）RANSAC粗匹配在点云配准中，会遇到点云的稀疏性和噪声的干扰，易造成匹配的点对出现错误匹配，进而影响粗配准的效果。可以采用RANSAC对应关系拒绝算法，在估计初始位姿的同时排除误匹配点对，提高配准的成功率。1.1机器视觉引导定位应用3）ICP精匹配ICP算法是一种广泛应用于三维点云精匹配的经典方法。其核心思想是通过迭代优化，使源点云与目标点云在空间上尽可能精确地对齐。ICP算法的目标是找到一个刚性变换（包括旋转矩阵

和平移向量

），使得源点云经过该刚性变换后，与目标点云的对应点之间的距离最小。（1）找最近对应点。（2）求解最优变换。（3）迭代。1.1机器视觉引导定位应用1.1.3机器视觉定位应用典型场景机器视觉定位技术在多个行业中被广泛应用，特别是在自动化生产、质量控制、精密测量和机器人引导等领域。通过视觉传感器获取图像信息并进行定位，机器视觉定位能够精确地识别和定位目标物体的位置和姿态，从而提高生产效率和精度。以下是几个典型的机器视觉定位测量应用场景。1）工业自动化与生产线定位机器视觉定位技术在工业生产线中有着广泛应用，特别是在自动化装配、零件定位、质量控制等任务中。通过高精度定位，机器视觉可以实时监测和调整生产过程。（1）零件定位与抓取：在自动化生产线中，机器视觉通过实时获取零部件的图像，精确定位零部件的位置，并驱动机器人进行抓取和装配。（2）自动化焊接与装配：通过机器视觉系统实时定位焊接点、螺丝孔或其他装配点，自动化系统能够高效地进行焊接或组装操作，确保零件在精确位置上对接。1.1机器视觉引导定位应用2）机器人引导与定位在机器人导航和自动化操作中，机器视觉定位技术被广泛应用于实时环境感知、路径规划和目标跟踪等任务。视觉定位能够帮助机器人精确地识别目标物体的位置并进行操作。（1）自主导航与避障：在室内外环境中，机器人依靠机器视觉定位技术获取周围环境信息，进行自主导航并避免障碍物。（2）物体抓取与精准定位：在工业自动化领域，机器视觉系统能够通过定位技术精确抓取物体，确保机器人能够从目标位置精准取物并进行后续操作，如装配或包装。1.1机器视觉引导定位应用基础实验——手眼标定1.1.4基础实验——手眼标定本实验通过机器视觉软件进行相机参数设置，确保图像清晰并满足标定要求。随后，安装标定板并调整机器人姿态，采集多组标定图像，并记录对应的机器人坐标。最终，计算并验证外参精度，成功完成相机与机器人之间的手眼标定，为后续视觉引导任务提供精准的坐标转换关系。1.1机器视觉引导定位应用【实验目的】知识目标（1）掌握如何设置相机的参数并进行优化，保证相机能够获得清晰的图像。（2）掌握手眼标定的基本概念和原理，理解相机与机器人之间的位姿关系。能力目标（1）学会使用机器视觉软件进行相机参数设置，并调整曝光、深度范围等参数。（2）能够通过标定工具进行相机与机器人之间的位姿标定，并验证标定结果。素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。1.1机器视觉引导定位应用【实验原理】本实验基于手眼标定技术，通过标定工具确定相机与机器人之间的空间关系。手眼标定过程包括：相机参数设置、标定板安装、相机拍摄图像采集、机器人坐标输入、图像采集并检测标定板上的圆点位置，最终计算相机与机器人之间的外参关系。这些步骤可以使机器人在执行任务时准确定位相机的位置和方向，从而保证机器人与相机的协同工作。【实验过程】相机参数设置及手眼标定：首先，通过机器视觉软件进行相机参数设置，确保图像清晰并适应实验需求。随后，安装标定板并调整机器人姿态，手动输入坐标并拍摄标定图像；接着，通过该软件采集多张图像，记录机器人坐标，确保标定圆点准确识别；最后，计算并验证外参精度，成功完成相机与机器人之间的手眼标定。1.1机器视觉引导定位应用1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装了相关的工业视觉软件，无须进行环境配置。2.场景搭建固定相机位置以及标定板（见图1），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。同时，标定板固定位置，确保计算相机与机器人之间的空间关系，保证标定的准确性。1.1机器视觉引导定位应用相机标定板图1实验整体场景3.实验流程以下为具体的实验流程。1）相机参数设置Mech-EyeViewer（见图2）是用于Mech-Eye3D相机的可视化调试软件，主要用于相机连接、参数调整和图像预览。它支持调整曝光时间、深度范围等参数，以优化点云数据质量。软件可实时查看2D图像、深度图和点云信息，并提供工具对点云数据进行基本处理。通过该软件可以快速配置相机参数，为后续的3D视觉应用提供高质量的数据输入。1.1机器视觉引导定位应用图2Mech-EyeViewer（1）打开Mech-EyeViewer软件。操作含义：Mech-EyeViewer是Mech-Mind相机的官方软件，用于管理和调试相机。打开软件后，可以连接相机、调整参数并获取图像数据。作用：启动Mech-EyeViewer软件，进入相机控制界面，为后续的操作做准备。（2）选择对应的相机，单击“连接”按钮。进入相机参数设置页面（见图3）。操作含义：选择当前使用的相机并建立通信连接。成功连接后，用户可以对相机参数进行调整，以优化拍摄效果。作用：建立软件与相机的连接，获取实时数据及进入相机的参数配置界面。1.1机器视觉引导定位应用图3相机参数设置（3）单击拍照按钮，可以预览相机所拍摄的2D图、深度图、点云信息（见图4）。操作含义：单击拍照按钮后，软件会采集相机实时拍摄的数据，并可视化显示2D图（像素图像组成的平面图像）、深度图（每个像素点包含深度（距离）信息的图像，表示场景中物体与相机的距离）和点云（三维坐标点集合）。作用：获取并显示当前相机拍摄的2D图像、深度图和点云数据，以便检查成像质量。1.1机器视觉引导定位应用图4相机拍照界面（4）调整参数，优化相机所拍摄的图像质量，以用于后续的环节。①例如，通过调整曝光时间（见图5），可以控制2D图像亮度。在光线稳定的环境下，可以使用固定曝光模式。在光线变化较大的环境下，可以使用自动曝光模式。操作含义：调整曝光时间、增益、对比度等参数，以优化2D和深度图像的清晰度，使相机能够在不同环境下稳定工作。作用：优化相机参数，以满足实际应用需求，确保图像质量符合检测要求。1.1机器视觉引导定位应用图5操作1②深度范围设置（见图6），其会影响相机获取深度数据的范围，非常重要。一定要检查设置正确。也可以推荐使用下限200mm，上限1000mm参数配置。操作含义：深度范围参数决定了相机能够检测的最小和最大距离。标定时推荐使用200mm到1000mm的范围，以保证深度数据的准确性和可靠性。作用：设定相机采集深度数据的范围，以确保测量精度和数据完整性。1.1机器视觉引导定位应用图6操作2（5）感兴趣区域（见图7），建议不设置特定的区域，让相机采集整个视野范围内的全部数据。操作含义：若设置了ROI，相机只会拍摄选定的区域，可能导致数据缺失。一般建议清空ROI，以获取完整的2D和3D数据。作用：确保相机获取完整的图像和深度信息，不受ROI限制。1.1机器视觉引导定位应用图7操作3（6）单击“保存”按钮，确认参数组名称（见图8）。操作含义：设置完成后，需保存参数，确保下次启动相机时能够直接应用相同的参数配置，提高工作效率并保证数据一致性。作用：保存所有调整后的相机参数，以便后续使用相同设置进行拍摄。1.1机器视觉引导定位应用图8操作42）手眼标定（1）准备标定板工具。安装标定板。拧下夹爪上的一颗螺丝，并使用M4X25螺丝安装标定板（见图9）。一定要确保标定板安装后螺丝拧紧，标定板不会随机械臂的移动而晃动。含义：使用M4X25螺丝将标定板固定到夹爪上。需拧紧螺丝，防止标定板晃动导致的标定误差。作用：通过一个已知结构的参考物，用于计算相机与机器人之间的空间关系。1.1机器视觉引导定位应用图9准备标定板（2）机器人姿态调整。①控制机器人到指定位置。通过机器人点动控制页面，遥控机器人到示意姿态（见图10）。通过相机拍照2D图像，确保标定板圆点完全清晰可见。操作含义：使用机器人控制软件，点动机械臂至相应姿态，并拍摄2D图像。作用：确保相机视野内标定板的圆点清晰可见，以便进行精确标定。1.1机器视觉引导定位应用图10操作5②手动输入机器人RX、RY、RZ坐标。如果三个坐标值趋近0，就改为0，如果三个坐标值趋近于±180，就改为180或-180，根据现场机器人姿态调整。调整完机器人的RX、RY、RZ坐标后，再次拍照，确认2D图像标定板上所有圆点清晰可见（见图11）。操作含义：调整机器人姿态后，拍摄2D图像，确保标定板圆点完整。作用：通过验证拍摄后的标定板图像原点是否清晰，为后续的相机标定做铺垫。1.1机器视觉引导定位应用图11操作6（3）准备相机标定。①打开Mech-Vision软件，单击页面的“相机标定（标准）”进入相机标定环节（见图12）。然后，选择新的标定任务，并单击选择机器人型号，选择“机器人品牌”HANS，可动轴数“6”，最后单击“选择”按钮，选择“HANSELFINEO3”机器人（见图13）。操作含义：通过打开Mech-Vision软件并进入相机标定流程，创建新的标定任务并选择机器人型号及配置。作用：选择相应机器人，为标定环节做准备。1.1机器视觉引导定位应用图12操作7图13操作8②选择EyetoHand模式。然后通过此项选择、手动标定、标定板多个随机位姿之后，单击开始标定（见图14）。操作含义：设定EyetoHand模式，并采用手动标定方式输入机器人坐标。作用：确保相机与机器人之间的空间关系准确建立，使机器人能够正确理解视觉信息。1.1机器视觉引导定位应用图14操作9（4）标定数据记录。①选择标定板型号，采集图像。进入标定页面后，先链接相机，鼠标放到对应的相机上，会出现链接按钮，单击链接按钮进行相机的链接（见图15左图）。然后进入标定设置，先在1位置选择标定板型号，本次设备配备的是CGB-20（5x4-20mm），具体型号可在标定板上查看。单击2位置的连续采集按钮采集图像（见图15右图）。采集到图像后，单击“停止采集并检测位置”。1.1机器视觉引导定位应用图15操作10②检查内参。如提示通过，则说明内参无误（见图16），然后，单击确定准备开始标定。如果提示有问题，内参检查不通过，则可以检查相机参数设置，深度范围和感兴趣区域是否正确进行调整（见图17）。操作含义：检查相机内部参数是否准确。作用：通过检查相机内参是否正确，确保相机参数合理。1.1机器视觉引导定位应用图16操作11图17操作12③添加图像并记录法兰位姿。先单击预览采集图像，确定图像中标定板上的每个圆点都能够被识别（见图18中图），然后单击“添加图像并记录法兰位姿”（见图18左图）。然后，在弹出的窗口中，抄写刚刚机器人点动界面中的坐标值（手动输入界面中，机器人的X、Y、Z、RX、RY、RZ六个坐标值）。初始点位输入完成后（point_bd1），单击“确定”按钮（可参考图18右图中的数值）。操作含义：每次调整机器人位置后拍摄标定图像，并手动输入机器人X、Y、Z、RX、RY、RZ坐标。作用：建立机器人坐标系和相机坐标系之间的对应关系。1.1机器视觉引导定位应用图18操作12④采集足够数量的标定点（平移）。在记录完之前的一组数据后，继续通过+或-点动操作（见图19左图），调整机器人X坐标值，调整后再次单击“预览采集图像”（见图19右图），确保预览图像中，标定板圆点都被识别到。然后单击“添加图像并记录法兰位姿”。在弹出的窗口中，抄写协作机器人点动页面，手动输入界面，协作机器人的X、Y、Z、RX、RY、RZ六个坐标值。输入完成后单击确定。重复通过点动的方式，再分别调整机器人Y、Z坐标值及输入六个坐标值。此处，需要确保平移方式采集的标定圆数量为绿色，且≥60。1.1机器视觉引导定位应用图19操作13可以参考图20的建议点位point_bd2、point_bd3、point_bd4。操作含义：获取足够数量的标定圆点（平移）。作用：保证X、Y、Z方向上的标定数据足够多，提高最终精度。1.1机器视觉引导定位应用图20命令操作14⑤采集足够数量的标定点（旋转）。在平移采集标定点后，保持X、Y、Z不动，分别调整RX、RY、RZ（见图21）。并“添加图像并记录法兰位姿”。确保通过旋转方式采集到的标定圆数量为绿色，且≥60（见图22）。可以参考图20的建议点位point_bd5、point_bd6、point_bd7。操作含义：获取足够数量的标定圆点（旋转）。作用：保证RX、RY、RZ方向上的标定数据足够多，提高最终精度。1.1机器视觉引导定位应用图21操作15图22操作16通过鼠标左键长按各个点位的“角度”按钮（见图23），自动调整到相应点位，以确保标定流程的继续进行（确保外参精确度）。1.1机器视觉引导定位应用图23操作17（5）计算外参并保存标定结果。在获取足够多的标定数据之后，单击“计算外参”按钮，等待计算外参结果，确保100%精度＜2mm（见图24），如果＞2mm，请重新标定。单击“保存”按钮，保存标定结果。最后，卸掉标定板，并将夹爪螺丝装回，以供后续使用。操作含义：执行计算，确定相机和机器人坐标系之间的转换矩阵。并存储标定数据，供后续机器视觉定位使用。作用：计算相机到机器人的相对位置，确保后续机器视觉引导准确。1.1机器视觉引导定位应用图24操作18【实验结果与总结分析】本实验通过手眼标定的方式来确定两者之间的空间关系，成功验证了从相机参数设置到手眼标定的完整流程（图25）。实验结果表明如下结论。（1）成功完成了相机参数设置及手眼标定，确保图像清晰并满足实验需求。标定过程中，标定板安装稳固，机器人姿态调整准确，采集的标定图像清晰可识别。最终计算得到的外参精度小于2mm，符合实验要求，标定过程顺利完成。（2）通过合理设置相机参数、准确调整机器人姿态以及多次采集标定数据，实现了高精度的手眼标定。正确的相机参数和精确的标定对于机器人视觉系统的稳定性和准确性至关重要。通过调整机器人姿态并反复标定，能够提升标定精度，从而优化机器人在实际应用中的性能。1.1机器视觉引导定位应用图25手眼标定拓展实验——利用机器视觉实现工件定位1.1.5拓展实验——利用机器视觉实现工件定位本实验基于机器视觉技术，实现对工件的定位。基于3D机器视觉技术，通过机器视觉软件完成工件识别与位姿确定。依次进行图像采集、数据预处理、特征提取、点云预处理、模板创建与匹配等操作，然后通过处理点云数据，精确识别与定位工件。最终，为机器人提供准确的位姿信息。【实验目的】知识目标（1）理解3D相机的基本参数及其对成像质量的影响。（2）理解3D视觉在工件引导定位中的基本原理，包括图像采集、预处理、特征提取、空间匹配和位姿计算。（3）了解机器视觉在工件识别和定位中的应用。1.1机器视觉引导定位应用能力目标（1）能够调整3D相机参数进行成像质量的优化。（2）掌握基于工件定位的基本流程，利用机器视觉软件完成连杆坐标的获取。素养目标（1）培养学生严谨细致的工作态度，提高问题解决能力。（2）通过小组合作完成任务，提高学生团队协作能力。（3）提高学生对人工智能技术在实际工程中的理解与应用能力。【实验原理】本实验基于3D视觉技术，通过手眼标定实现工件的精确定位和位姿输出。系统图像采集、预处理、特征提取、空间匹配和位姿计算等步骤，以确保机器人能够精准识别并定位连杆工件。首先，利用深度相机获取点云数据，并进行点云预处理。然后，创建工件模板并进行匹配，以实现对目标工件的精确识别。最终，计算并输出工件的三维位姿信息。1.1机器视觉引导定位应用【实验过程】使用机器视觉技术实现工件定位：首先，在Mech-Vision软件中创建识别工程，配置相机参数并进行点云预处理，以获取清晰的3D点云数据；接着，建立料框点云模板，并通过3D粗匹配和精匹配算法识别并剔除料框点云，确保后续步骤仅关注连杆工件；随后，采集并处理连杆的点云数据，创建连杆模板，并进行匹配以获取其精确位姿；然后，通过点云聚类、获取最高层点云等操作，优化目标工件的识别效果，并计算其空间坐标；最后，进行路径规划并输出结果，实现连杆的精准定位。1.环境配置实验环境推荐使用Windows环境，需配置至少RTX3060（12GB）及以上显存的GPU一块。本实验基于Windows系统完成开发，并已提前预置安装了相关的工业视觉软件，无须进行环境配置。1.1机器视觉引导定位应用2.图形化代码结构本实验的图形化代码结构可见图26，通过图中每个图形化模块，可以了解到本实验中用到的各个模块及其功能。1.1机器视觉引导定位应用图26整体图形化代码结构●点云预处理模块：对原始点云数据进行去噪、滤波和数据优化等处理，提升后续匹配和识别的准确性。●3D粗匹配V2模块：对点云进行初步匹配，提供工件的大致位姿。●3D精匹配（易用版）模块：在粗匹配的基础上，计算更加精确的工件位姿。●拆包且合并数据模块：将来自不同步骤或数据源的点云信息解析并合并，形成统一的数据结构。●删除点云中的部分点模块：去除指定范围或干扰区域的点云数据。●点云聚类模块：对点云数据进行分组，区分多个物体或不同区域的点云。●获取最高层点云模块：提取点云数据中位于最高层的部分，常用于抓取策略。●调整位姿模块：对目标位姿进行偏移、旋转或修正等，以优化抓取。●限制输出的个数模块：控制输出的目标数量，避免处理多余的点云对象。●路径规划模块：计算机械臂的运动路径，确保避障并精确到达目标。●输出模块：将处理结果传递给下游模块或外部系统。●步骤组合模块：封装多个处理步骤，形成可复用的视觉处理流程。1.1机器视觉引导定位应用3.场景搭建固定相机位置（见图27），确保相机的固定位置有助于准确地操作和数据采集，保证系统运行时的稳定性和一致性。1.1机器视觉引导定位应用相机料框图27实验整体场景

4.实验流程以下为具体的实验流程。1）创建工件识别工程通过机器视觉软件，基于完全图形化的界面，无须编写代码即可完成工件定位的机器视觉应用。（1）单击软件界面菜单下的“文件”→“新建方案”，以创建一个新方案（见图26），并命名为“轴承底座尺寸测量”（见图28）。1.1机器视觉引导定位应用图28创建方案（2）右键单击方案，选择重命名方案，给方案重命名（见图29左图）。右键单击工程，给工程重命名（见图29右图）。1.1机器视觉引导定位应用图29命令操作1（3）在操作界面左下角步骤库中，找到“从相机获取图像”模块，按住鼠标左键将该模块拖入右方工程面板（见图30左图）。单击“从相机获取图像”模块，在步骤参数中，单击选择“相机”按钮（见图30右图）。1.1机器视觉引导定位应用图30命令操作2（4）在弹窗中找到相机，并单击连接按钮（见图31左图）；选择相机参数组，并单击“确定”按钮（见图31右图）。然后，在弹出的确认所选相机和参数组的弹窗中，单击“是”。1.1机器视觉引导定位应用图31操作4（5）单击“从相机获取图像”模块，在步骤参数中选择相机标定参数组（见图32）。打开右上角调试输出开关。1.1机器视觉引导定位应用图32操作6（6）在步骤库中查找“点云预处理”模块，按住鼠标并拖动到右边工程面板中，并分别通过连线，来连接两个模块的“相机深度图”和“相机彩色图”（见图33）。操作含义：添加点云数据的预处理功能模块，建立图像数据流的连接。作用：点云预处理可以去除噪声、优化数据质量，便于后续匹配和识别。将相机采集的深度图和彩色图传递给点云预处理模块，确保数据流畅通。1.1机器视觉引导定位应用图33操作7（7）双击进入“点云预处理”模块，在其内部步骤中搜索“点过滤”模块，添加“点过滤”模块到“提取3DROI内点云”模块上方，并连线（见图34左图）。选中“点过滤”模块，修改步骤参数（见图34右图）。操作含义：通过点过滤可以剔除无效点，提高点云数据的准确性。合适的参数设置能提高点云数据的质量，为后续匹配和位姿计算提供保障。作用：调整点云过滤的参数，使得数据符合需求。1.1机器视觉引导定位应用图34操作8（8）返回主工程面板，选中“点云预处理”模块，在步骤参数中单击“工程助手”，选择“用于参考的场景点云”按钮。单击“选择步骤组合/步骤的输出端口”（见图35左图）。在弹出的窗口中，选择点云（Cloud（XYZ）),单击“确定”按钮（见图35右图）。操作含义：用于建立标准点云模板，后续用于匹配和定位。XYZ格式的点云数据包含三维空间信息，是3D视觉处理的基础。作用：设置点云数据作为参考场景，并确认点云数据的格式和类型。1.1机器视觉引导定位应用图35操作9（9）保持选中“点云预处理”模块，在步骤参数中，单击“打开编辑器”按钮（见图36左图）。然后，长按CTRL键，出现点位后，左击鼠标拖动3DROI区域，需要设置ROI为料框区域。设置完成后，单击“确定”按钮（见图36右图）。1.1机器视觉引导定位应用图36操作102）创建料框点云模板（1）单击“匹配模板与抓取点编辑器”按钮（见图37）。操作含义：进入“匹配模板与抓取点编辑器”环节。作用：进入匹配模板编辑模式，创建识别模板。1.1机器视觉引导定位应用图37操作11（2）在mech-vison主界面中，单击采集点云按钮，在弹窗中选择采集点云（见图38）。在弹窗中，取消“使用边缘点云”的勾选框，然后单击“采集物体”按钮（见图39）。当采集点云数据后，单击“完成”按钮（见图40）。操作含义：采集当前工件的3D点云数据，用于匹配和识别，并且仅采集核心区域的点云，避免不必要的干扰。最后，确保点云数据被正确保存并应用。作用：采集点云数据。1.1机器视觉引导定位应用图38操作12图39操作13图40操作14（3）导入点云数据后（见图41左图），可通过鼠标滚轮放大或缩小点云，长按鼠标滚轮翻转点云。然后，分别使用（见图41中图）红框1所示按钮选择点云，以及红框2所示按钮删除点云。将点云数据处理到只剩下料框的边缘数据（见图41右图）。操作含义：调整视角，方便处理点云数据。同时，只保留料框的边缘点云，提高匹配精度。作用：通过使用鼠标滚轮放大/缩小点云，长按鼠标滚轮翻转点云。通过使用“选择点云”按钮选择多余点云，“删除点云”按钮清除。1.1机器视觉引导定位应用图41操作15（4）单击添加位姿按钮，给模板添加位姿（见图42左图）。然后双击模板文件名称，可以修改模板名称，改为“料框面”，最后单击文件进行保存（见图42右图）。操作含义：使系统识别出工件的具体位置和方向，修改模板名称是为了便于管理模板数据，确保匹配的准确性。

作用：为模板添加位姿信息。1.1机器视觉引导定位应用图42操作163）删除料框点云（1）从步骤库中分别搜索“3D粗匹配V2”和“3D精匹配（易用版）”模块，并拖动到工程面板与“点云预处理”模块进行连接（见图43）。操作含义：3D粗匹配是基于点云数据进行快速匹配，以识别料框的整体位置，为后续的精匹配提供参考。3D精匹配是基于粗匹配的结果，采用更高精度的匹配算法，使料框的检测更加准确。作用：3D粗匹配模块用于初步匹配场景中的点云与已创建的模板，以便后续精准识别。而3D精匹配模块用于更精确地匹配点云，提高识别准确性。1.1机器视觉引导定位应用图43操作17（2）选中“3D粗匹配V2”模块，在步骤参数中，设置模型选择为创建的“料框面”模板，设置匹配模式参数为面匹配（见图44）。操作含义：通过面匹配模式，系统会将点云数据与模板进行表面特征对齐，提高匹配效果。作用：指定匹配的模板，并选择适合的匹配模式（面匹配）。1.1机器视觉引导定位应用图44操作18（3）选中“3D精匹配”，在步骤参数中，设置模型选择为创建的“料框面”模板，设置匹配模式参数为面匹配（见图45）。操作含义：采用高精度匹配算法，确保料框点云的识别精度。作用：确保精匹配模块使用正确的匹配模板。1.1机器视觉引导定位应用图45操作19（4）从步骤库中搜索“拆包且合并数据”模块，拖入工程面板并连线（见图46）。操作含义：将输入的数据流按照一定规则拆分为多个小数据块并重新组合成新的数据结构。作用：分解复杂数据并重新整合，以便后续模块更高效地处理和使用这些数据。1.1机器视觉引导定位应用图46操作20（5）从步骤库中搜索“删除点云中部分点”，拖入工程面板并连线（见图47）。操作含义：通过删除无关点云，只保留连杆相关数据，以提高后续匹配效率。作用：用于去除不必要的点云数据，只保留需要的部分。1.1机器视觉引导定位应用图47操作214）创建连杆模板（1）单击“匹配模板与抓取点编辑器”按钮（见图48）。操作含义：该界面用于编辑匹配模板及抓取点，确保机器人可以正确识别和抓取连杆。作用：进入模板编辑界面，以便创建新的连杆模板。1.1机器视觉引导定位应用图48操作22（2）将连杆放置在上料框中（见图49），然后单击右上角添加模型按钮，选择“采集点云”，在弹窗中，取消“使用边缘点云”的勾选框（见图50左图），然后单击“采集物体”按钮（见图3.3.54右图），最后单击“完成”按钮，完成点云信息采集（见图51）。操作含义：通过标准化放置位置，保证点云数据采集的一致性。然后获取连杆的点云信息，为后续匹配提供数据支持。通过取消边缘点云选项，确保采集到完整的连杆点云数据，提高匹配精度。采集完成后，将数据存储到系统中。作用：确保连杆处于正确位置，以便进行点云采集。然后，采集当前场景的点云数据，生成连杆的3D模型。为了不局限于连杆边缘部分，而采集完整的连杆点云。最后保存采集到的点云数据，供后续处理。1.1机器视觉引导定位应用图49连杆工件放置于上料框1.1机器视觉引导定位应用图50操作23图51操作24（3）左击右上角“料框面”右侧的小眼睛图标，将其关掉，这样右侧只会显示最新采集的点云信息（见图52）。操作含义：通过隐藏料框数据，确保连杆点云的清晰度，提高模板创建的精确性。作用：只显示连杆的点云数据，避免与其他混淆。1.1机器视觉引导定位应用图52操作25（4）（见图53左图）选择连杆点云（红框按钮1），以及删除点云（红框按钮2）去除无关点云，将点云数据处理至只剩连杆的点云数据即可（见图53右图）。操作含义：清理点云数据，确保模板只保留连杆相关部分，提高匹配精度。作用：过滤点云数据，确保只包含连杆的点云信息。1.1机器视觉引导定位应用图53操作26（5）通过单击添加位姿按钮，为模板添加位姿（见图54左图）。按住“CTRL”键，调整位姿按钮到所示位置（见图54中图和右图）。操作含义：通过位姿设定，确保机器人在匹配时能够正确识别连杆的位置和方向。作用：设定连杆在3D空间中的参考姿态，为机器人识别提供基准。1.1机器视觉引导定位应用图54操作27（6）双击模板文件名称，修改模板名称，改为“连杆面”（见图55）。最后单击文件，进行保存。操作含义：通过命名模板，便于在工程中调用。作用：保存模板，以便后续使用。1.1机器视觉引导定位应用图55操作285）获取连杆坐标（1）搜索步骤库“点云聚类”模块，长按鼠标左键拖到工程面板，并进行连线（见图56）。操作含义：点云聚类用于分离多个可能的目标物体，减少干扰，为后续的工件识别做好准备。作用：对输入的点云数据进行聚类，将这些点归为不同的类别，以便后续提取工件。1.1机器视觉引导定位应用图56操作29（2）选中“点云聚类”模块，在步骤参数面板设置所示参数（见图57）。可根据输出结果对类的最小点数调整，减少非连杆物体的输出目标。操作含义：调整点云聚类算法的参数，以优化识别效果。作用：调整“类的最小点数”可以减少非连杆的误识别，确保只输出符合尺寸要求的目标物体。1.1机器视觉引导定位应用图57操作30（3）搜索步骤库“获取最高层点云”模块，长按鼠标左键拖到工程面板，并进行连线（见图58）。1.1机器视觉引导定位应用图58操作31（4）选择“获取最高层点云”模块，并在参数面板中设置Z值为-1.000，设置层高为5.000mm。另外，-1的含义是靠近相机侧点云方向。操作含义：用于去除多余的点云数据，保留目标物体的最上层，以减少计算复杂度并提高识别精度。作用：筛选点云数据，仅保留最高层的点云，用于识别工件的顶面。（5）从步骤库中搜索“3D粗匹配V2”模块，拖动到工程面板，并与“获取最高层点云”模块连接（见图59）。操作含义：使用预设的连杆模板与点云进行比对，快速定位目标工件。作用：对获取的点云进行粗匹配，初步识别目标工件。1.1机器视觉引导定位应用图59操作33（6）搜索“3D精匹配（易用版）”模块，拖动到工程面板，并与“获取最高层点云”模块和“3D粗匹配V2”模块连接。操作含义：精匹配可进一步优化工件的识别结果，确保最终的位姿输出更加准确。作用：对粗匹配的结果进行精确匹配，提升识别精度。1.1机器视觉引导定位应用图60操作34（7）选中“3D粗匹配V2_2”模块，并按图61中步骤参数面板中选择模板“连杆面”和模板类型“面匹配”。操作含义：该参数确保匹配过程基于工件的特定表面特征，提高匹配的可靠性。作用：选择匹配模板“连杆面”并设置模板类型为“面匹配”。1.1机器视觉引导定位应用图61操作35（8）选中“3D精匹配”模块，并按图62中步骤参数面板中选择模板“连杆面”和模板类型“面匹配”。1.1机器视觉引导定位应用图62操作36（9）从步骤库中搜索“限制输出的个数”模块，拖动到工程面板，并与“3D精匹配”模块连接。操作含义：如果识别到多个目标，该模块确保只输出最符合要求的目标，提高系统稳定性。作用：限制最终输出的识别目标数量，避免多余干扰。1.1机器视觉引导定位应用图63操作37（10）从步骤库中搜索“调整位姿V2”模块，拖动到工程面板，并与“限制输出的个数”模块连接（见图64）。操作含义：调整目标工件的坐标和旋转角度，以符合机器人操作要求。作用：用于对齐工件的姿态，使其适用于后续的路径规划和抓取。1.1机器视觉引导定位应用图64操作38（11）从步骤库中搜索“路径规划”模块，拖动到工程面板，并与“调整位姿V2”模块连接（见图65）。操作含义：路径规划根据工件的位姿信息，计算合理的运动路径，避免碰撞并优化执行效率。作用：为机器人生成最佳运动轨迹，确保抓取过程顺畅。1.1机器视觉引导定位应用图65操作39（12）单击“路径规划”模块后，再单击该模块中的“打开编辑器”选项，就可以在仿真软件中单击仿真按钮，进行仿真模拟验证抓取连杆（见图66）。操作含义：通过仿真可以检查路径规划和位姿信息的准确性，确保机器人能够正确识别、定位并抓取连杆，在实际执行前发现并修正可能的问题，提高系统的稳定性和成功率。作用：在机器视觉软件内使用仿真功能，模拟机器人执行抓取任务，验证连杆的位姿获取是否正确。1.1机器视觉引导定位应用图66操作41（13）在上面一步验证正确的前提下，选中“路径规划”模块，单击“打开编辑器”，单击图67中红色框所示的1至4模块，将这几个模块中的选项-是否发送到机器人设置为“规划但不发送”，仅保留视觉目标模块（视觉目标）的设置为“规划并发送”。操作含义：规划但不发送代表机器人不会立即执行路径规划，仅进行模拟仿真。作用：在