工业机器视觉技术 课件 第5-9章 经典三维视觉处理算法- -机器视觉系统应用案例

工业机器视觉技术第五章

经典三维视觉处理算法第五章

经典三维视觉处理算法5.1三维数据基本概念5.2点云数据预处理5.3点云特征提取5.4点云分割5.5点云配准三维数据表现形式有点云、网格、体素、多视图等。

点云

网格

体素

多视图5.1.1三维数据表现形式典型三维数据格式5.1.2典型三维数据格式格式核心特点适用场景PLY支持点/面/颜色/法线，ASCII/二进制双格式科研、三维扫描OBJ兼容材质库，纯文本易编辑建模、动画、3D打印STL由三角面片组成，无材质信息三维打印、快速原型PCD专为点云设计，支持高效读写机器人、计算机视觉BIN二进制存储，读写速度快自动驾驶、激光雷达XYZ文本格式，仅存坐标（可选附加信息）科研、简单数据交换点云格式转换工具开源库：PCL（PointCloudLibrary）可视化软件：MeshLab、CloudCompare定制脚本：针对特殊格式（如BIN）的专属解析程序5.1.2典型三维数据格式第五章

经典三维视觉处理算法5.1三维数据基本概念5.2点云数据预处理5.3点云特征提取5.4点云分割5.5点云配准5.2点云数据预处理核心目标：去除噪声、补全缺失、优化数据，为后续处理提供可靠支撑三大关键步骤：点云降噪点云数据补全法向量估计5.2.1点云降噪点云降噪

传感器噪声环境干扰数据配准误差噪声来源有哪些？5.2.1点云降噪点云降噪

常用点云降噪方法：统计滤波（SOR）均值滤波（MLS）离群点过滤密度滤波离群点剔除前离群点剔除后5.2.1点云降噪统计滤波流程设定近邻点数

k和标准差加权系数

β。用kd树查找每个点的

k

近邻，计算平均距离

dᵢ求所有dᵢ的均值

μ

和标准差

σ设定阈值

dₛ=μ+β・

σ，剔除

dᵢ

>dₛ的离群点

5.2.2点云数据补全点云数据补全

常用点云数据补全策略：基于插值的补全：线性插值、多项式插值基于曲面拟合的补全：最小二乘法、隐函数表示法基于邻域搜索的补全：K近邻法、密度估计法基于深度学习的补全：自编码器、生成对抗网络5.2.2点云数据补全基于插值的补全:插值方法是一种常见的补全策略，通过已知数据点之间的关系推测缺失点的位置。线性插值流程图多项式插值流程图5.2.2点云数据补全基于曲面拟合的补全：曲面拟合方法通过拟合局部曲面来填补缺失点。最小二乘法选择邻域点拟合曲面估算缺失点隐函数表示法定义隐函数拟合隐函数估算缺失点5.2.2点云数据补全基于邻域搜索的补全:邻域搜索方法通过分析缺失点邻域内的已知点来估计其位置。k近邻法补全

密度估计法补全5.2.2点云数据补全基于深度学习的补全自编码器模型训练数据编码数据解码生成对抗网络模型训练生成补全点云结果判别5.2.3法向量估计法向量估计在点云数据处理过程中，法向量估计和方向一致性调整是构建精确模型、进行三维重建和表面分析的关键步骤。法向量估计：领域搜索、主成分分析方向一致性调整5.2.3法向量估计法向量估计：为点云中的每个点计算一个与局部表面垂直的向量。邻域搜索：常用方法有固定半径搜索、固定数量邻居搜索主成分分析邻域点集协方差矩阵特征值分解法向量确定5.2.3法向量估计方向一致性调整：确保法向量的方向一致性。法向量方向的初步判断：云中心法、摄像机法。最小生成树方法进行调整。构建图生成最小生成树方向传播法线调整前

法线调整后

第五章

经典三维视觉处理算法5.1三维数据基本概念5.2点云数据预处理5.3点云特征提取5.4点云分割5.5点云配准5.3.1局部特征与全局特征点云特征提取核心目标：从点云数据中提取具有辨识度的几何/属性特征，为目标识别、点云配准、场景理解提供核心依据。点云特征分为局部特征和全局特征两大类。局部特征

全局特征5.3.2局部特征描述符局部特征描述符：

描述图像中局部区域的特征点特征直方图（PFH）快速点特征直方图（FPFH）方向直方图签名（SHOT）点对特征（PPF）5.3.2局部特征描述符点特征直方图（PFH）核心原理：基于点与其K邻域点的法向量关系，计算

α、ϕ、θ三个参数，构建直方图；计算复杂度：O(K²)，K为邻域点数；优势：几何信息丰富，识别精度高；劣势：计算耗时，不适用于大规模点云5.3.2局部特征描述符快速点特征直方图（FPFH）核心原理：简化PFH计算，仅考虑查询点与直接邻域点的关系，通过加权平均融合邻域点的简化直方图（SPFH）。计算复杂度：O(nk)，n为点云总数，k为邻域点数；优势：计算速度快，保留核心几何特征；劣势：局部细节描述精度略低于PFH。5.3.2局部特征描述符点对特征（PPF）核心定义：基于两点间的相对位置和法向量关系，构建四维特征：匹配流程：通过哈希表存储模型点对特征，在线查询场景点对特征，结合霍夫投票机制估计目标位姿；优势：对噪声、遮挡鲁棒，适用于全局匹配；劣势：存储量大，需下采样减少点对数量。5.3.3全局特征计算全局特征计算：

涉及对图像或数据集整体属性的提取和分析，具体取决于所需提取的特征类型。数据预处理：去噪、下采样、对齐与标准化特征提取：统计特征、形状特征、颜色/纹理特征（针对图像）、空间特征（针对点云）特征选择与优化：特征选择与优化5.3.3全局特征计算常见的全局特征计算方法

颜色直方图：统计图像中颜色分布的特征表示方法纹理特征：以灰度共生矩阵为例第五章

经典三维视觉处理算法5.1三维数据基本概念5.2点云数据预处理5.3点云特征提取5.4点云分割5.5点云配准5.4点云分割核心目标：

识别和分离出具有相似特征或属于同一类别的点云子集分割方法

基于边缘的分割基于区域增长的分割基于模型拟合的分割基于属性聚类的分割5.4.1基于边缘的分割利用点云数据中点的局部几何特征，特别是曲率、法向量和距离等信息，来识别和提取点云中的边缘或边界部分的过程。基于法向量的点云分割基于曲率的点云分割基于深度的点云分割5.4.2基于区域增长的分割通过合并相邻点的策略来识别点云中连续的、同质的区域的技术。一般而言，区域增长的策略可以基于点之间的几何特征（如欧几里得距离、法向量）、属性（如颜色、强度）或者它们的组合来定义准则。种子点的选择生长条件的定义生长过程区域标记后处理5.4.3基于模型拟合的分割通过拟合数学模型来识别和分割点云中的不同对象或部分。通常采用的模型可以是平面、球体、圆柱体等几何体，也可以是更复杂的曲面或非线性形状。Hough变换随机抽样一致性5.4.4基于属性聚类的分割利用点云中每个点的属性信息（如位置、颜色、法向量等）进行聚类，以识别并分割出具有相似属性的点云部分。K-means方法Mean-shift模糊聚类第五章

经典三维视觉处理算法5.1三维数据基本概念5.2点云数据预处理5.3点云特征提取5.4点云分割5.5点云配准5.5点云配准核心目标：

将多帧点云统一到同一坐标系，构建完整三维模型配准方法

迭代最近点算法（ICP）正态分布变换算法（NDT）基于特征的配准三维模板匹配5.5.1迭代最近点算法不断通过点与点之间进行匹配来旋转和平移，利用最小二乘法作为衡量标准，直至点与点之间的距离达到预先设定的阈值。本质是计算出源点云和目标点云的变换矩阵，通过旋转和平移的方式使两个点云的配准误差最小，达到最佳的配准效果。5.5.2正态分布变换算法把每个三维栅格内的点云空间信息建模成一个连续可微的概率分布函数，体素格内的点云应该属于物体表面的某个部分，对这个部分表面建立正态分布模型，通过正态分布表示栅格中每个点云测量样本的位置信息概率分布栅格化：将模型点云划分为三维栅格（如0.2m×0.2m×0.2m）；模型构建：计算每个栅格的q和C；位姿优化：初始化场景点云位姿T0，变换后计算每个点在对应栅格的匹配概率，通过牛顿法优化T使总概率最大；收敛判断：位姿变化量<阈值，停止迭代。5.5.3基于特征的配准主要依赖于图像中的特征点。通过特征点的匹配，可以完成图像间的关联和匹配，进而实现图像配准。图像预处理特征提取特征匹配变换模型估计重采样与插值5.5.4三维模板匹配通过比较模板数据和场景中对象的形状、大小和位置等特征来确定匹配度，进而可以获得匹配目标在场景中的三维位置和姿态等信息。模板生成：基于Harris3D算法提取特征点，构建模板点云的PPF特征库；匹配流程：场景点云特征提取哈希表查询霍夫投票位姿优化主要内容回顾5.1三维数据基本概念5.2点云数据预处理5.3点云特征提取5.4点云分割5.5点云配准谢谢！第六章基于深度学习的机器视觉处理算法主讲人：2025年12月31日第六章基于深度学习的机器视觉处理算法6.1深度学习基础6.2图像目标信息处理6.3目标点云信息处理6.4多模态信息处理6.1深度学习基础-深度学习的兴起深度神经网络的兴起与ImageNet挑战赛和AlexNet的出色表现密不可分。AlexNet是2012年ImageNet挑战赛冠军的获奖模型，由Hinton和他的学生AlexKrizhevsky设计。AlexNet的出色表现引起了广泛的关注，成为深度神经网络发展的重要里程碑。AlexNet的特点深度结构ReLU激活函数Dropout技术多图形处理器（GraphicProcessUnit，GPU）训练深度神经网络的兴起得益于：计算机硬件的发展大数据和云计算的兴起研究人员的不断探索和创新6.1深度学习基础-深度学习的发展历程1.早期探索阶段（1940年-1980年）深度学习的发展历程可以大致分为以下几个阶段：2.神经网络复兴（1980年-1990年）3.深度学习的崛起（2000年-2010年）4.深度学习的应用与普及（2010年-至今）1943年：WarrenMcCulloch和WalterPitts提出了神经元模型，奠定了神经网络的基础。1958年：FrankRosenblatt提出了感知机（Perceptron），这是一个简单的线性分类器。1969年：MarvinMinsky和SeymourPapert在《Perceptrons》一书中指出了感知机的局限性，导致神经网络研究的热潮减退。1980年：GeoffreyHinton、DavidRumelhart和RonaldWilliams等人提出了反向传播算法（BackPropagation），解决了多层神经网络的训练问题。1989年：YannLeCun等人成功应用反向传播算法训练CNN，用于手写数字识别。2006年：GeoffreyHinton提出了深度信念网络（DeepBeliefNetwork，DBN），引发了对深度学习的广泛关注。2012年：AlexNet在ImageNet图像分类挑战赛中取得了显著成绩，标志着深度学习在视觉领域的突破。2014年：IanGoodfellow提出了生成对抗网络（GenerativeAdversarialNetwork，GAN），进一步推动了深度学习的发展。2015年：残差网络（ResNet）被提出，这一创新解决了深层神经网络训练中的退化问题。2016年：谷歌的AlphaGo在围棋比赛中击败了世界冠军李世石2020年：OpenAI推出了GPT-3，这是一个具有1750亿参数的语言模型。2023年：多模态大模型的出现标志着人工智能领域的又一次重大突破。6.1深度学习基础-深度学习基本术语深度学习在工业缺陷检测等工业机器视觉应用任务中的一般流程通常包括数据准备、模型构建、模型训练与测试、模型迁移以及部署五个阶段。这些阶段涉及多个基本术语和概念，了解这些术语和概念有助于更好地理解和应用深度学习技术。1.数据准备阶段2.模型构建阶段3.模型训练与测试阶段4.模型迁移阶段5.部署阶段训练集（TrainingSet）：用于训练模型的样本数据集合。测试集（TestSet）：用于评估模型在未见过的数据上的性能。验证集（ValidationSet）：在模型训练过程中，用于调整模型的超参数和初步评估模型的能力。参数化特征模型：特征模型是目前大多数参数化设计软件的基础。上下文依赖：在深度学习模型中，综合考虑输入数据前后的相关信息（即上下文）。判别模型：是一种对未知数据y与已知数据x之间关系进行建模的方法。生成模型：是指能够随机生成观测数据的模型有监督学习（SupervisedLearning）：使用带有标签的数据集来训练模型。无监督学习（UnsupervisedLearning）：使用没有标签的数据集进行训练。半监督学习（Semi-SupervisedLearning）：结合有监督学习和无监督学习的方法。超参数：超参数是在开始学习过程之前所设置的参数。过拟合：过拟合是指模型在训练数据集上表现良好，但在新数据上表现不佳的情况。泛化：泛化能力是指模型对新数据（即未见过的数据）的预测能力。选择合适的预训练模型。数据准备：收集并整理工业缺陷检测任务所需的数据集。迁移学习阶段：一次迁移阶段将预训练模型迁移到目标数据集上。少样本学习（Few-shotLearning）：使用极少量的带标签样本来训练模型。零样本学习（Zero-shotLearning）：没有任何关于新类别的训练样本。模型评估与优化模型转换与部署硬件与软件集成接口与交互设计性能监控与优化数据管理与更新安全性与可靠性维护与更新6.1深度学习基础-卷积神经网络的基本结构尽管卷积神经网络的结构随着深度学习的发展而不断丰富，但构成网络的基本要素仍保持一致。为便于理解，利用当前卷积神经网络的基本要素构建了卷积神经网络简化图。当前卷积神经网络主要包括卷积层、特征归一化层、非线性激活层、池化层、分类层五个组成要素。卷积过程示意图卷积网络的基本结构与基本要素

6.1深度学习基础-卷积神经网络的基本结构a)平均池化卷积网络的基本结构与基本要素

b)最大池化6.1深度学习基础-注意力机制注意力机制是一种对输入特征进行调整和加权的方法，它可以帮助模型在处理序列数据、图像数据等任务时更加关注重要的信息部分，如图所示为注意力机制原理图。注意力机制的核心思想是通过计算输入特征与某种权重之间的乘积，得到加权后的特征表示。这个权重可以根据不同的上下文信息和任务要求进行动态调整，从而使模型能够自适应地关注感兴趣的特征部分。注意力机制通常包含以下几个关键步骤：计算注意力权重：根据输入特征和上下文信息（即其周围特征），计算每个上下文特征对输入特征影响的注意力权重。归一化注意力权重：为了确保注意力权重的和为1，需要对计算得到的注意力权重进行归一化处理。加权特征融合：将计算得到的注意力权重与输入特征进行加权融合，得到调整后的特征表示。通过以上步骤，注意力机制可以根据不同的任务和上下文信息，自动学习并调整输入特征的重要程度，使得模型能够更加灵活地关注与任务相关的特征部分。6.1深度学习基础-视觉Transformer的基本结构Transformer是一种基于注意力机制的深度学习模型，其核心特点是能够有效建模序列数据中的全局依赖关系。Transformer主要由编码器（Encoder）和解码器（Decoder）组成，在特征转换中最重要的是其注意力机制，如图所示为基于注意力机制的Transformer模型架构图。

6.1深度学习基础-目标损失函数的构造在深度学习模型的训练与优化过程中，目标损失函数（ObjectiveLossFunction）起着至关重要的作用。损失函数定义了模型预测值与真实值之间的差距，并指导模型参数的优化。

6.1深度学习基础-目标损失函数的优化深度学习模型的训练与优化即模型的学习阶段主要是通过优化目标损失函数来调整模型参数，使得模型的预测性能达到最佳。在目标损失函数的优化过程中，各种优化算法和策略的选择与应用至关重要。以下将详细描述一些常用的优化方法及其原理。（1）参数初始化策略：参数初始化对深度学习模型训练速度和性能有重要影响。常见的参数初始化策略包括：零初始化（ZeroInitialization）：所有参数初始化为零。随机初始化（RandomInitialization）：参数初始化为随机值，通常从均匀分布或正态分布中采样。例如，Glorot初始化和He初始化：Glorot初始化，也称为Xavier初始化，适用于Sigmoid和Tanh激活函数He初始化，适用于ReLU激活函数（2）优化算法随机梯度下降（StochasticGradientDescent，SGD）是深度学习中最常用也是最经典的优化算法，后续介绍的各类优化算法均属于其改进型。动量梯度下降是一种加速梯度下降的方法，通过在更新参数时考虑之前梯度的累积，来平滑更新路径并加速收敛。AdaGrad（AdaptiveGradientAlgorithm）通过对每个参数适应性调整学习率，使得在训练过程中对稀疏特征具有更大的影响。RMSProp（RootMeanSquarePropagation）是对AdaGrad的改进，通过引入指数衰减平均来避免学习率随着训练过程不断减小。Adam（AdaptiveMomentEstimation）结合了动量和RMSProp的优点，通过计算梯度的一阶矩和二阶矩的指数加权移动平均来调整学习率。（3）如何选择正确的优化算法：选择正确的优化算法取决于具体的任务和数据特点。以下是一些选择优化算法的建议：SGD：适用于大规模数据集和需要较高泛化性能的任务，通常结合动量或Nesterov动量使用。Adam：适用于大多数深度学习任务，因其结合了动量和自适应学习率的优点，具有较快的收敛速度和较好的性能。第六章基于深度学习的机器视觉处理算法6.1深度学习基础6.2图像目标信息处理6.3目标点云信息处理6.4多模态信息处理6.2图像目标信息处理-目标检测任务常用数据集图像目标检测是视觉领域的重要任务，在工业领域中发挥着至关重要的作用。在工业应用场景下，图像目标检测使工业机器人能够实时监控和调整操作，以应对复杂和多变的生产任务。例如，它可以帮助工业机械臂识别并移除有缺陷的产品，确保每个生产环节的高精度和一致性。T-LESS数据集:该数据集采集的目标为工业应用中纹理稀疏且颜色区分度低的目标，目标具有对称性和互相关性。PASCALVOC:这是一个广泛使用的目标检测数据集，包含约10,000张图像，分为20个类别，如人、动物、车辆和室内物品等。MSCOCO(CommonObjectsinContext):这是一个大规模的数据集，包含80个类别，超过120,000张训练和验证图像，以及超过40,000张测试图像。6.2图像目标信息处理-目标检测任务经典方法经过RCNN和FastRCNN的沉淀，RossGirshick团队在2016年提出了FasterRCNN。整个结构可以分为四个部分：用于特征抽取的卷积层，用于决定候选框的锚框提取网络，用于整合候选区域特征的感兴趣区域池化层以及用于分类的分类层。FasterRCNN整体结构特征金字塔（FeaturePyramidNetworks，FPN），该方法能在增加极小的计算量的前提下，处理好特征中多尺度变化的问题。FPN于2017年被提出，设计了上采用和跳跃连接的方法，利用该方法，即使是大尺度的特征也依然保留深层的特征，并且还保有浅层中未丢失的小尺度的目标信息。a)单一特征图b)图像特征金字塔c)次化特征金字塔d)特征金字塔6.2图像目标信息处理-YOLO架构尽管FasterRCNN极大地提高了目标检测的精度，但是由于其两阶段的结构（特征提取与检测框回归分类），影响了该网络的推理速度。YOLO将物体目标检测当作一个回归问题进行求解，基于一个端到端的网络，完成从原始图像输入到物体位置和类别的输出。YOLO从2015年提出v1版本至今，已经更新到了v10版本。YOLOv1的网络结构采用了改进的GoogleNet的前20层网络：将GoogleNet中的Inceptionmodule特征提取模块改进为1×1的卷积和3×3的卷积组合加上四层卷积和两层全连接层最后的输入再reshape成一个7×7×30的张量与FasterRCNN相比，YOLO的训练和检测均是在一个单独网络中进行的，将物体检测作为一个回归的问题求解。输入的图像经过一次推理，便能得到图像中所有物体的位置和其所属类别以及相应的置信度。6.2图像目标信息处理-语义分割任务常用数据集图像语义分割技术是工业视觉应用中的一项重要创新。通过精确地识别和区分图像中每个像素的类别，图像语义分割为工业自动化、质量检测、生产线监控、设备维护和故障检测等领域带来了革命性的应用。COCO-Stuff:COCO数据集的一个扩展，专注于室内场景的语义分割，提供了大量的日常物品分割注释。Cityscapes数据集:为城市场景理解而设计。它具有30个类，其中只有19个类用于场景解析评估。ADE20K：一个大规模的语义分割数据集，包含20,210张图像和80个类别，提供了详细的像素级注释。6.2图像目标信息处理-语义分割任务经典方法全卷积网络由图像分类网络发展而来。为输出密集预测，全卷积网络取消了图像分类网络中的二维空间特征至一维全局特征的映射。因此，对每一空间位置实施语义分类可得到稀疏语义分割结果，进而通过上采样可获取与输入同分辨率的语义分割。全卷积网络结构为捕获更多的上下文信息以促进具有相似局部特征语义类的区分，Zhao等人设计了金字塔池化模块以进一步扩大网络的感受野。金字塔池化模块对卷积网络输出特征进一步实施不同尺度的池化，最后，通过上采样与池化前的特征串联形成像素级语义表征。PSPNet网络架构与特征金字塔6.2图像目标信息处理-目标运动信息建模目标运动信息是视觉领域中一个重要的研究方向，它涉及对图像序列中物体运动的检测、跟踪和分析。这项技术在众多应用领域中扮演着核心角色：在自动驾驶汽车中，它帮助车辆理解周围环境的动态变化，实现安全导航等。典型的RNN如图所示，由循环的神经网络单元组成，每个单元会包含一个或多个神经元。在序列的每个时间步长上，RNN都会处理一个输入值，并产生一个输出值。同时，RNN会维护一个内部状态（Hiddenstate），这个状态会跨时间步传播，允许网络捕获序列中的信息。循环神经网络示意图LSTM可用于解决RNN中上述梯度消失的问题。不同于RNN存储每一时刻的隐藏层信息（即记忆单元），长短期记忆网络通过门控机制有选择地存储有效信息。LSTM由多个LSTM单元组成，每个LSTM单元包含三个门：输入门（InputGate）、遗忘门（ForgetGate）和输出门（OutputGate）。长短期记忆网络结构图第六章基于深度学习的机器视觉处理算法6.1深度学习基础6.2图像目标信息处理6.3目标点云信息处理6.4多模态信息处理6.3目标点云信息处理-点云数据点云数据提供了物理世界中对象的精确三维表示，成为了连接真实世界与数字世界的桥梁。然而，尽管点云数据蕴含丰富的空间信息，其无序性和非结构性的特点却给数据处理与分析带来了巨大挑战。因此，如何有效处理点云目标信息，提取关键属性特征，已成为研究的热点。三维缺陷检测散乱零件抓取汽车发动机隔板配准6.3目标点云信息处理-典型点云处理网络PointNet整体网络架构面向点云的目标分类与语义分割任务由CharlesR.Qi等人在2017年提出的PointNet是一个开创性的深度学习架构，它是首个直接处理点云数据进行三维形状识别和分类的神经网络，发表于CVPR2017。PointNet不仅解决了三维数据处理中的核心问题，也开启了后续研究的全新方向。PointNet网络的三个关键模块如下：对称函数。点级信息与全局信息提取。联合对齐网络。PointNet首创了直接使用MLPs处理无序、非结构化的点云数据，并通过对称函数来克服点云的无序性以获得全局描述符。PointNet的目标分类网络部署于由普林斯顿大学的视觉与图形组发布公开的数据集ModelNet40。语义分割网络在由斯坦福大学主持开发的大规模三维室内点云数据集S3DIS进行部署与验证。目标分类网络与语义分割网络共享特征提取过程6.3目标点云信息处理-层级特征提取网络PointNet采用MLPs处理点云中的单个点，导致难以有效的有效捕捉局部结构中的复杂模式，缺乏在局部邻域内进行卷积或聚集操作的能力。因此，PointNet++针对PointNet的上述不足进行了改进。SA模块：PointNet++网络中的SA（SetAbstraction）模块是其核心组件之一，主要负责提取输入点云数据的层次化特征。目标分类网络：与PointNet相似，PointNet++的模型结构也包括目标分类网络和语义分割网络。语义分割网络：在语义分割任务中，PointNet++采用“编码-解码”结构为输入点云每个点分配语义标签，识别出不同的部分或对象。多样化分组策略：按照分组方式的不同，PointNet++使用的分组策略分为单一尺度分组、多尺度分组以及多分辨率分组。PointNet++整体网络架构6.3目标点云信息处理-三维目标检测网络三维目标检测旨在从三维场景中实现目标的精准定位与识别。受经典的几何形状检测技术——霍夫投票（HoughVoting）的启发，CharlesR.Qi等人提出VoteNet以实现端到端的三维目标检测。主干网络：主干网络采用PointNet++结构，其中的SA（SetAbstraction）模块使用SSG分组结构。VoteHead：VoteHead是用来生成投票并对空间位置的种子点调整，使其更加靠近物体中心的关键组件，目的在于改善目标检测的准确性。损失函数：损失函数用于在训练过程中评估模型预测的准确性，包括投票损失、投票目标损失、中心点损失、方向损失及尺寸损失等。常用目标检测数据集：VoteNet分别部署于典型公开数据集ScanNetv2和SUNRGB-D。VoteNet模型结构6.3目标点云信息处理-三维点云配准网络三维点云刚性配准旨在求解一个刚性变换来对齐两帧完全或者部分重叠的点云。为解决传统Transformer在点云配准任务上缺乏点云几何结构信息的问题，ZhengQin等人提出Geotransformer以实现快速且鲁棒的点云配准。VoteNet模型结构

第六章基于深度学习的机器视觉处理算法6.1深度学习基础6.2图像目标信息处理6.3目标点云信息处理6.4多模态信息处理6.4多模态信息处理-多模态信息处理定义随着大型语言模型（LLM）和ChatGPT等前沿技术的崛起，标志着迈入了一个由多模态及对话式AI驱动的新时代。这些技术不只限于理解和创造自然语言文本，还具备处理包括图像、音频和视频在内的多种媒介数据的能力。这种对多模态数据的处理能力，极大地增强了AI系统理解和与现实世界信息交互的能力。多模态信息处理概念：当讨论多模态交互时，人们不可避免地会想到人类的感知能力。它通常涉及五种感官的协同工作：视觉、听觉、触觉、嗅觉和味觉。“模态”是一种细粒度的信息表示概念。为了使计算机能够理解和处理这些复合型数据，多模态信息处理技术应运而生，这一技术领域致力于探索如何利用计算机来分析和生成包含多种信息类型的数据，是人工智能研究的前沿领域之一。多模态信息处理的难点：在综合分析不同模态的信息时，面临的主要挑战在于这些信息之间存在本质的差异和异质性。长期以来，各模态领域的研究工具和技术基础大相径庭，这些差异体现在数据采集、特征分析、模型选择等机器学习的不同阶段，导致多模态信息处理的研究进展相对缓慢。多模态信息处理的步骤：多模态学习的核心概念是如何将这些不同类型的数据相互关联，并利用这些关联关系来提高机器学习模型的性能。数据预处理：在利用数据传感器获取多模态数据后需要将不同类型的数据进行预处理，以便在同一模型中处理和学习这些数据。特征提取：特征提取的目标是从原始数据中提取出最具代表性的特征，以便机器学习算法能够更好地学习和预测目标。特征融合：通过策略如早期融合、特征层融合和决策层融合，以生成一个综合的特征表示，从而提升对多维数据的理解和处理能力。模型训练：将预处理后的数据和特征提取后的数据进行模型训练，以便在同一模型中处理和学习这些数据。6.4多模态信息处理-多模态信息处理技术根据多模态信息处理的理念，任何结合了至少两种不同类型的数据模态的任务都可被归类为多模态信息处理任务。多模态信息处理领域涵盖了广泛而多样化的任务，大多数多模态任务所依赖的核心基础技术通常可以概括为四种主要类型：表示、对齐、融合和转换多模态信息处理的基础技术多模态表示：多模态表示（MultimodalRepresentation）涉及将多种类型的数据——比如文本、图像、声音和视频——合并到一个统一的数据表示框架中。多模态表示的方法可以分为两大类：共享表示学习和独立表示增强。多模态对齐：多模态对齐（MultimodalAlignment）涉及到将来自不同感官或数据源的信息（如文本、图像、音频和视频）在语义层面上进行匹配和整合。多模态对齐的方法可以分为两大类：显式对齐和隐式对齐。多模态转换：多模态转换（MultimodalTranslation）指的是在多模态系统中将不同模态的数据转换到一个共同的表示空间的过程。多模态融合：多模态融合（MultimodalFusion）是指在多模态系统中将来自不同数据源或感官通道的信息（如文本、图像、声音、视频等）整合到一个统一的框架中。多模态融合的方法可以分为两大类：模型无关的融合方法与基于模型的融合方法。6.4多模态信息处理-多模态预训练模型随着对通用深度模型的迫切需求，人们推出了许多预训练大模型，如双向编码器表示(BERT)、视觉变换器(ViT)、生成预训练转换器(GPT)等。多模态深度学习也开始采用更为通用的模型架构和多模态表示来执行多样化的多模态任务，这些方法被统称为多模态预训练方法。Flickr30数据集示例多模态预训练模型定义：多模态预训练大模型架构与GPT和BERT类似，是基于自注意力机制Transformer深度学习模型，其最大特点是模型的输入由单一模态的文本拓展到文本、语音、图像、视频等多个模态数据同时作为输入。预训练数据集：由于缺乏多模态成像设备，收集多模态数据比单模态要困难得多。大多数当前的多模态预训练大模型都是视觉语言模型，因为可以从互联网轻松访问图像和文本数据。例如PascalSentence数据集、Flickr30k数据集、WebVid2M数据集和CC3M数据集等。多模态大模型发展趋势：(1)从专门强调多模态理解到特定模式的生成；(2)包含多样化的模态扩展；(3)整合高质量的培训数据集。WebVid2M数据集示例6.4多模态信息处理-典型的多模态大模型近年来，多模态大模型领域取得了显著进展，涌现出一批具有代表性的经典模型。例如，CLIP、BLIP、LLaVA、X-LLM等，这些模型代表了多模态学习领域的最新进展，它们在图像分类、图像描述、视觉问答、视频分析、情感分析等多种应用中都有广泛的应用。CLIP的预训练模型CLIP（ContrastiveLanguage-ImagePre-training）模型是OpenAI2021年推出的采用对比学习的文本-图像预训练模型，在由4亿张图文对构成的大型数据集上进行训练实现的。它通过对比学习的方式，将图像和文本映射到共享的向量空间中，使得模型能够理解图像内容和相关文本之间的联系。BLIP的预训练模型BLIP（BootstrappingLanguage-ImagePre-training）是一种统一视觉语言理解与生成的预训练模型。它是一种新的VLP框架，与现有的方法相比，它可以实现更广泛的下游任务。BLIP提出了一种编码器-解码器混合架构(MultimodalmixtureofEncoder-Decoder,MED)，可以在三种功能之一运行的多任务模型。第六章基于深度学习的机器视觉处理算法总结本章系统探讨了基于深度学习的机器视觉处理算法，展示了深度学习在工业机器人领域的广泛应用和巨大潜力。本章内容涵盖了深度学习基础知识、图像目标信息处理、点云目标信息处理以及多模态目标信息处理等多个方面。我们首先介绍了深度学习的基本概念和发展历程。接着，我们详细阐述了图像处理的核心算法，涵盖了从基础的卷积神经网络到更复杂的多层结构和优化策略。作为三维视觉的核心部分，点云处理章节探讨了经典的点云处理模型，还展示了其在三维目标检测和配准等实际应用中的重要性。最后，本章还探讨了多模态目标信息处理方法，强调多源数据融合在提升模型表现力和适应性方面的作用。谢谢！工业机器视觉技术第七章机器视觉系统标定主讲人：2025年12月15日第七章机器视觉系统标定7.1成像器件标定7.2机械臂标定7.3手眼标定7.1成像器件标定成像器件标定是指确定相机的内部参数和外部参数的过程，以便将图像坐标映射到世界坐标或相机坐标。本节主要介绍：单目相机标定投影仪标定立体视觉标定7.1.1单目相机标定在解释单目相机标定之前，需要先明确相机内部参数和外部参数。

1）相机内部参数是描述相机自身特性的参数，用于在相机坐标系与图像坐标系之间转换。通常，相机内参在出厂时就已固定。2）相机外部参数是在世界坐标系下相机的位姿，其用于相机坐标系与世界坐标系之间的转换。7.1.1单目相机标定

图1小孔成像模型截面图图2成像平面镜像图7.1.1单目相机标定

7.1.1单目相机标定

7.1.1单目相机标定

7.1.1单目相机标定相机标定相机标定的作用主要体现在两个方面：1）首先，它用于去除图像畸变。由于相机的图像传感器安装时可能存在的误差以及透镜组引起的图像偏移，会导致定位误差的产生。2）相机标定还用于获取目标物体在世界坐标系中的姿态，需要通过相机标定来确定相机与世界坐标系之间的转换关系。相机标定要点1）相机标定必须已知世界坐标系中足够多三维空间点的坐标，找到这些空间点在图像中的投影点的二维图像坐标，并建立对应关系。2）因此标定板一般都尽量使确定对应关系的过程更简单。如右图所示，使用规则的矩阵布局很容易确定标志点和图像坐标之间的对应关系。标定板图片7.1.1单目相机标定标定方法通常包括四个主要步骤：1）单应性矩阵的估计，用于建立图像坐标与世界坐标之间的初步关系；2）计算相机的内参和外参，确定相机内部的光学特性和相机在世界坐标系中的位置和姿态；3）计算畸变系数，以校正图像中的畸变；4）进行参数联合优化，以提高标定的准确性和鲁棒性。相机标定示意图7.1.1单目相机标定

1）单应性矩阵估计7.1.1单目相机标定

7.1.1单目相机标定

2）计算相机内参和外参7.1.1单目相机标定

3）计算畸变系数7.1.1单目相机标定

4）参数联合优化7.1.1单目相机标定

检测出的角点图案示意图拍摄的标定板图案示意图7.1.2投影仪标定投影仪是利用凸透镜成像的原理而实现，因此投影仪投射的过程与相机拍摄的过程正好相反，可以将投影仪看作一个逆向的相机，采用与摄像机模型类似的数学模型来表达投影仪的投影变换关系。7.1.2投影仪标定

7.1.2投影仪标定

7.1.2投影仪标定

7.1.3立体视觉标定立体视觉标定涉及对两个或多个相机进行精确配置和校准，这一过程包括确定每个相机的内部参数以及它们之间的相对位置和方向。通过立体视觉标定，可以建立从二维图像坐标到三维世界坐标的精确映射关系，从而实现对场景中物体的深度感知、三维重建等高级视觉任务。7.1.3立体视觉标定

双目相机标定坐标示意图7.1.3立体视觉标定

双目相机标定坐标示意图7.1.3立体视觉标定

7.1.3立体视觉标定

立体校正前示意图立体校正后示意图第七章机器视觉系统标定7.1成像器件标定7.2机械臂标定7.3手眼标定7.2.1机械臂运动学建模机械臂是自动化技术中的一种重要设备，广泛应用于制造业、医疗、服务等领域。它模仿人类手臂的结构和功能，能够完成复杂的操作任务。机械臂的基本组成通常包括多个关节和连杆，通过电机和控制系统实现精确的运动。右图直观的介绍了机械臂的基本结构，主要是基座关节、肩关节、肘关节、腕关节、夹抓关节组成。7.2.1机械臂运动学建模Denavit-Hartenberg（DH）参数法1）DH参数法一种标准化的运动学建模方法，用于描述和表示机械臂各连杆之间的相对运动关系。DH参数法通过四个参数来描述两个相邻关节之间的变换矩阵。这四个DH参数的定义如下：连杆长度a：第i个连杆的长度，定义为第i关节轴和第i+1关节轴在第i连杆上的投影之间的距离连杆扭转角α：第i个连杆的扭转角，定义为第i关节轴相对于第i+1关节轴绕第i连杆轴的旋转角连杆偏移量d：第i个连杆的偏移量，定义为第i关节在第i关节轴上的位置。关节角θ：第i个关节的旋转角，定义为第i关节相对于第i+1关节轴的旋转角。7.2.1机械臂运动学建模

7.2.1机械臂运动学建模

7.2.1机械臂运动学建模

7.2.2机械臂运动参数的标定方法实际使用中，由于装配和机械结构加工问题，导致机械臂移动的目标位置与实际位置之间产生误差。这些误差可能源自于运动系统的参数、控制系统的响应等方面。为了校准这种误差，必须对机械臂进行参数标定。本节只讨论机械臂DH参数标定方法7.2.2机械臂运动参数的标定方法

7.2.2机械臂运动参数的标定方法

7.2.2机械臂运动参数的标定方法

7.2.2机械臂运动参数的标定方法

7.2.3工具坐标系标定机械臂的工具坐标系标定其标定过程主要包括工具坐标系姿态标定（TCF:ToolCenterFrameCalibration）和位置标定(TCP：ToolCenterPointCalibration)两部分。1)TCF标定用于确定工具坐标系在空间中的相对姿态。2)TCP标定用于确定工具坐标系中心点的准确位置。7.2.3工具坐标系标定姿态标定的基本步骤包括：1）在机械臂动作范围内找一个固定点作为参考点；2）在工具上确定工具中心点；3）手动操纵机械臂的方法移动工具坐标系中心点，分别以四种不同的姿态将末端执行器的尖端与工具点P的位置重合。4）通过前4个点的位置数据即可计算出工具坐标系中心点的位置，通过后2个点即可确定工具坐标系的姿态。工具坐标系姿态标定7.2.3工具坐标系标定工具坐标系姿态标定

7.2.3工具坐标系标定工具坐标系位置标定

7.2.3工具坐标系标定工具坐标系位置标定

第七章机器视觉系统标定7.1成像器件标定7.2机械臂标定7.3手眼标定7.3.1手眼标定系统建模1）基坐标系（BASE）2）相机坐标系(CAMERA)3）目标坐标系(TARGET)4）末端执行器(TOOL)手眼标定系统用于建立视觉感知与机械臂运动控制之间的空间映射关系，从而实现目标物体的精确定位与操作。主要由四个坐标系组成：7.3.1手眼标定系统建模1）基坐标系：设于机械臂底座，是系统的全局参考坐标系。2）相机坐标系：用于描述视觉系统获取的图像与空间位置信息。3）目标坐标系：用于描述目标在空间中的位置与姿态。4)末端坐标系：建立于机械臂末端执行器。如何定义每个坐标系？7.3.1手眼标定系统建模

如何表示每个坐标系之间的相对关系？

相机末端标定板

基座

7.3.1手眼标定系统建模

如何进行手眼标定？

相机末端标定板

基座

7.3.2空间手眼标定1）空间手眼标定2）平面手眼标定在建立手眼标定系统并明确各坐标系及其关系后，根据标定过程中所利用的空间信息维度不同，手眼标定方法可进一步分为以下两类：7.3.2空间手眼标定眼在手上眼在手外根据相机与机械臂的空间中的安装位置关系，手眼标定可分为以下两种形式：1）眼在手上（Eye-in-Hand）2）眼在手外（Eye-to-Hand）7.3.2空间手眼标定眼在手外的手眼标定

多取几组代值，移项可得，

7.3.2空间手眼标定眼在手上的手眼标定

多取几组代值，移项可得，

7.3.3平面手眼标定在大量的工业场景，如传送带上的分拣机械臂在平面上进行定位和操作，此时只需进行平面手眼标定。平面手眼标定主要涉及二维场景下机械臂末端执行器和视觉系统之间的关系。7.3.3平面手眼标定

2）代入一个MARK点展开后表示，

九点标定法7.3.4多机械臂坐标系标定多机械臂标定是实现多机械臂协同作业的关键基础，其目标在于建立各机械臂之间及其与视觉系统之间的统一坐标关系，从而保证多臂在同一空间参考下实现精确感知与协调控制。7.3.4多机械臂坐标系标定如右图，相机安装于机械臂1末端，标定板安装于机械臂2末端来建立多机械臂的坐标系，因两种不同坐标转换路径结果相同，故有AXB=YCZ从而分别求解出关系矩阵X和Y。谢谢！工业机器视觉技术主讲人：2025年12月15日第9章机器视觉系统应用案例9.1酒瓶标签印刷缺陷视觉检测系统9.2车灯外观缺陷视觉检测系统9.3高铁接触网视觉检测系统9.43D视觉引导的汽车发动机曲轴瓦盖自动送料系统9.5散乱工件的6D位姿估计9.6基于深度学习的散乱工件6D位姿估计9.1酒瓶标签印刷缺陷视觉检测系统酒瓶标签印刷缺陷检测系统设计检测对象标签缺陷类型1.未印、漏印：瓶颈标签没有印刷、漏印图案、底油或字体至少一种以上没有印刷2.图案残缺：指图案或字体不完整缺少其中部分3.沙眼、划痕：图案或字体平视或透视看到孔状（短线条状）亮点检测需求9.1.1酒瓶标签印刷缺陷检测系统设计酒瓶标签印刷缺陷检测系统总体设计主要由自动上料、视觉检测、分拣机构三大部分组成，在流水线上实现自动上料，通过视觉检测进行判断产品是否合格，不合格进行通过分拣机构进行剔除。9.1.1酒瓶标签印刷缺陷检测系统设计酒瓶标签印刷缺陷检测系统总体设计对于特定的检测物品，要根据被检测的物体形状、材质、颜色以及检测目标各方面进行打光方案的设计。线光源打光效果条形光源打光效果背部面光源打光效果9.1.2酒瓶标签印刷缺陷图像处理与识别算法酒瓶标签印刷缺陷图像处理与识别算法总体设计图像预处理未印印刷图案的缺陷检测已印输入图像输出结果9.1.2酒瓶标签印刷缺陷图像处理与识别算法酒瓶标签图像预处理（1）图像滤波

拍摄图像时或多或少都会产生噪声，如相机成像过程中产生的噪声点，瓶子本身的一些杂点，这些噪声对后面图像会有些小的影响，所以首先要对图像进行去噪的处理。通过实验，将均值滤波，高斯滤波，中值滤波进行对比后，中值滤波可以做到既去除噪声又能保护图像的边缘，处理时间快。采用中值滤波滤波进行预处理。（2）直方图均衡化直方图均衡化的思想是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布，利用图像直方图对对比度进行调整。9.1.2酒瓶标签印刷缺陷图像处理与识别算法酒瓶标签是否印刷图案的检测

计算图片的标准差和平均值，若平均值>210&标准差<55,则酒瓶未进行瓶口印刷，直接进行剔除，无需进行后续检测。酒瓶图片序号平均值mean灰度标准差stdA181.9969.8953B18765C18765D17673.4E176.273.649F17576G18766.0021H186.866.48I189.4467.1647J19067K18965L18568M18568N18467未印1236.45547.7479未印2233.545.1未印已印9.1.2酒瓶标签印刷缺陷图像处理与识别算法酒瓶标签印刷图案缺陷检测对印刷的整体情况检测完成后，对有印刷图案的产品进行缺陷检测，常用的方法是待检测图像与良品标准图像的对比。9.1.2酒瓶标签印刷缺陷图像处理与识别算法酒瓶标签印刷图案缺陷检测模板匹配是在一幅图像中实现对目标物体的搜索的算法，通过计算模板所有相关位姿与图像各个位置之间的相似度S，找到模板的位置关系。本项目选用基于形状的模板匹配，利用边缘点的坐标位置和梯度方向作为匹配的相似度量的计算，该方法不受遮挡、光照变换的影响，稳定性高。9.1.2酒瓶标签印刷缺陷图像处理与识别算法酒瓶标签印刷图案缺陷检测通过图像变换和配准后，可以对待检测图像进行图像差分的计算，设模板图像为h(x，y)，待检图像为f(x,y),匹配相减后的图像差分图像为g(x,y),则有:9.1.2酒瓶标签印刷缺陷图像处理与识别算法酒瓶标签印刷图案缺陷检测差分之后的图像边缘会有些误差，并不是缺陷，需要去除这些杂边，进行形态学处理得到较好的差分结果图。选择闭运算对差分结果进行处理，闭运算能够连接临近的物体，填补比结构元小的小空洞，连接临近的物体，平滑其边界的同时并不明显改变其面积。9.1.2酒瓶标签印刷缺陷图像处理与识别算法酒瓶标签印刷图案缺陷检测Blob分析的主要内容包括：图像分割、连通域分析、特征斑点计算三部分。3124506缺陷序号面积质心周长圆形度延伸率023678（552,2128）7261.323.2714395（568,1935）6092.47245.923135（585,1901）4392.19139.6832997（543,1962）4612.34229.0742401（517,1987）3071.8456.525940（487,2010）1511.5314.29653（667,1977）251.121.329.2车灯外观缺陷视觉检测系统车灯外观缺陷检测系统设计检测需求卡口式车灯分为三个部分：灯头、玻璃外壳和灯丝，常见的外观缺陷通常有：顶锡饱和不足顶部脏污压伤灯耳缺失灯耳脏污压伤灯耳角度不良侧面脏污压伤歪头标签缺失9.2.1车灯外观缺陷检测系统设计车灯外观缺陷视觉检测系统总体设计该装置集机电设备、照明成像模块、处理和控制模块于一体。9.2.1车灯外观缺陷检测系统设计车灯外观缺陷视觉检测系统设计顶部相机固定在相机支架正上方，四个侧面相机均匀固定在相机支架四个侧面的镂空处。低角度环形光源作为顶部光源以保证高亮度和均匀扩散光照射，条形光源作为侧面光源。四个三菱镜分别被放置在各个侧面相机视角正下方。9.2.2车灯外观缺陷图像处理与识别算法车灯外观缺陷图像处理与识别算法总体设计9.2.2车灯外观缺陷图像处理与识别算法车灯外观缺陷图像处理与识别算法总体设计顶部图像中的缺陷检测区检测区标准半径顶部图像缺陷检测区示意图灯头顶部区域划分A为顶锡饱和度缺陷检测区B、C为顶部脏污压伤检测区

D为灯耳缺陷检测区E为C区靠外侧的白色部分F为C区靠内侧的灰色部分灯头侧面区域划分侧面图像缺陷检测区示意图9.2.2车灯外观缺陷图像处理与识别算法车灯检测区域定位图像去背景边缘检测输入顶部图像输出顶部定位结果外边界圆拟合灯头顶部定位流程输入顶部图像最大信息熵去背景Canny边缘检测最小二乘法拟合圆9.2.2车灯外观缺陷图像处理与识别算法车灯检测区域定位灯头侧面定位流程灯头侧面边缘检测区侧面区域定位示意图侧面区域定位预先设定灯头边缘检测区Canny算子分别在设定的检测区内检测下侧、上侧、右侧边缘Hough变换拟合出检测区内边缘所在直线9.2.2车灯外观缺陷图像处理与识别算法车灯外观缺陷识别顶部脏污压伤和顶锡饱和度缺陷检测9.2.2车灯外观缺陷图像处理与识别算法车灯外观缺陷识别灯耳缺陷检测左右灯耳相对锐夹角可能出现的四种情形灯耳缺失、脏污灯耳脏污压伤灯耳角度不良9.2.2车灯外观缺陷图像处理与识别算法车灯外观缺陷识别歪头检测9.3高铁接触网视觉检测系统高铁接触网开口销视觉检测系统设计检测需求9.3.2高铁接触网开口销深度学习检测网络高铁接触网开口销检测网络结构多尺度RPN损失函数9.3.2高铁接触网开口销深度学习检测网络高铁接触网开口销检测网络结构多尺度RPNRPN结构锚框(1：1，2：1，1：2，128*128，256*256，512*512)9.3.2高铁接触网开口销深度学习检测网络高铁接触网开口销检测网络结构损失函数9.3.2高铁接触网开口销深度学习检测网络高铁接触网开口销检测结果高铁接触网开口销区域定位9.3.2高铁接触网开口销深度学习检测网络高铁接触网开口销检测结果高铁接触网开口销区域定位9.3.2高铁接触网开口销深度学习检测网络高铁接触网开口销检测结果高铁接触网开口销区域定位9.3.2高铁接触网开口销深度学习检测网络高铁接触网开口销检测结果高铁接触网开口销区域定位为证明多尺度RPN在寻找开口销候选区域和抑制负样本数量方面的有效性，将本节方法与SSD和FasterR-CNN进行了比较。三种方法的训练损失曲线如图所示。9.3.2高铁接触网开口销深度学习检测网络高铁接触网开口销检测结果高铁接触网开口销缺陷识别为了展示我们的开口销缺陷检测模型的优势，我们将其与LeNet、AlexNet、VGG-16和VGG-19这四种传统的CNN模型进行了比较。9.3.2高铁接触网开口销深度学习检测网络高铁接触网开口销检测结果高铁接触网开口销缺陷识别对1440张开口销图像进行了缺陷识别，通过精确率、召回率和准确率三项指标进行定量评估。9.43D视觉引导的汽车发动机曲轴瓦盖自动送料系统汽车发动机曲轴瓦盖自动送料系统设计检测需求曲轴瓦盖(Crankshaftbearingcap,CBC)是汽车发动机的一种关键零部件，用于紧固曲轴和发动机气缸。一台汽车发动机需要在不同的位置装配多个曲轴瓦盖。9.43D视觉引导的汽车发动机曲轴瓦盖自动送料系统汽车发动机曲轴瓦盖自动送料系统设计检测需求反向瓦盖顺序错误瓦盖遮挡瓦盖正向瓦盖自动装配过程中从料框中取料时，必须对当前一组曲轴瓦盖从三个方面检查：整组曲轴瓦盖的放置方向。正向放置或反向放置。组内顺序的异常。曲轴瓦盖组内的各个曲轴瓦盖是否按照装配顺序依次摆放。是否有遮挡。即整组瓦盖是否被保护用的薄膜全部或部分覆盖。