《工业大数据与人工智能》 课件 第四章-4.2 工业机器视觉

工业大数据与人工智能HFUT1教材简介2机器视觉基本概念工业图像信号采集技术第四章

工业中的感知智能

工业相机镜头图像增强他图像特征提取基于深度学习的目标检测工业图像处理技术4.2工业机器视觉光源传统目标检测目标检测自动定位3工业机器视觉-机器视觉基本概念4工业机器视觉-机器视觉基本概念机器视觉的工作流程根据判断结果生成控制指令；指导机器人手臂、驱动器等执行精确操作。图像采集利用高性能工业相机与精密镜头捕捉高清晰度图像。图像处理将模拟信号转换为数字信号；分析图像的亮度、颜色与尺寸等关键特征。特征提取与决策运用复杂算法提取目标特征；采用模式识别与机器学习技术做出智能判断。控制与执行5工业机器视觉-工业图像信号采集技术工业相机作为图像采集系统的“眼睛”，相机负责捕捉并记录被测物体的光学影像。其分辨率、动态范围、帧率等因素均对图像细节表现、色彩还原度及运动场景捕捉能力产生显著影响。6工业机器视觉-工业图像信号采集技术工业相机CCD相机CMOS相机功能:光电转换、电荷存储、转移及信号读取工作原理:光线→光电效应→电荷转移→放大→图像信号组件:光学镜头、时序与同步信号发生器、垂直驱动电路、模拟/数字信号处理电路优点:无灼伤、响应快、低功耗功能:高度集成（光敏元件、信号放大器、模数转换器等）工作原理:光线→电荷→电压→数字信号优点:集成性好、低功耗、高速数据传输、宽动态范围7工业机器视觉-工业图像信号采集技术镜头镜头在机器视觉系统中的功能类似于人眼中的晶状体，负责将被观察物体的光线聚焦并投射到图像传感器上形成清晰、准确的图像。机器视觉系统的镜头选择和配置直接影响到系统的分辨率、成像质量、工作范围以及对环境变化的适应能力8工业机器视觉-工业图像信号采集技术镜头选择工业检测镜头的关键因素工作波长与变焦需求波长:根据应用光谱范围选择合适镜头（如近红外用于穿透表面反射检测）。变焦:根据是否需要调整观测尺度选择定焦或变焦镜头。景深管理作用:对于动态生产线或有位置偏差的应用场景。实现:通过精确计算焦距保证足够景深，即使目标移动也保持清晰。焦距选择依据:工作距离、目标尺寸、所需分辨率和传感器规格。目的:优化视场覆盖和图像细节。综合考虑其他参数光圈大小:影响曝光时间和图像亮度。畸变控制:保持图像真实无扭曲。镜头材质与镀膜:提高透光率和图像纯净度。接口兼容性:确保与现有系统兼容。成本效益:平衡性能与价格。9工业机器视觉-工业图像信号采集技术光源1.塑造图像质量：光源直接影响图像的清晰度与对比度。2.增强特征识别：适当的照明能突出目标特征，简化图像处理。3.维持检测稳定性：稳定的照明确保系统在不同条件下的一致表现。10工业机器视觉-工业图像信号采集技术光源LED光源的优势实用性:易于安装与维护。经济性:能耗低、寿命长。灵活性:可定制形状与颜色。关键指标对比度:增强特征与背景之间的差异。亮度:保证良好的信噪比与景深。鲁棒性:确保图像质量的一致性。照明方式:根据需求选择最佳策略。其他考量:利用单色光源、滤镜、偏振技术等。照明策略暗场照明:突出轮廓。侧光:增强纹理。垂直光照:确保均匀性。11工业机器视觉-工业图像处理技术图像增强12工业机器视觉-工业图像处理技术图像增强-单点运算方法灰度变换在得到灰度图像的基础上进一步对每个像素的灰度级进行调整的过程。对于图像中的任意一点s，其在增强后的灰度图像t中的对应灰度值可通过一个预定义的灰度映射函数E来决定，该函数可能呈现为线性变换、非线性变换或分段线性变换等形式。线性灰度变换-图像反转灰度线性变换最常见的就是图像反转，在灰度图像灰度级[0,L-1]范围中，其反转的公式如下所示：

s=L-1-r

其中r表示原始图像的灰度级s表示变换后的灰度级。13工业机器视觉-工业图像处理技术图像增强-单点运算方法非线性灰度变换经典的非线性变换有对数变换，一般表示如下所示：r表示原始图像的灰度级s表示变换后的灰度级c为常数14工业机器视觉-工业图像处理技术图像增强-单点运算方法直方图修正法直方图修正法是图像处理中用于调整图像对比度和亮度的一种方法。该方法的核心在于细致分析图像中各个灰度层次的分布特性，通过以灰度级别为横轴，像素出现的频率为纵轴绘制直方图，直观展示每种灰度级与其对应像素数量的关系。这样不仅能够清晰揭示出图像的明暗分布特征及对比度强弱，还能总体上勾勒出图像的视觉概貌。此步骤是后续图像处理工作的关键基础，为深入分析与优化提供了不可或缺的信息依据。对像素的灰度级作归一化处理，即将像素灰度级为L(0~255)归一化为0<=L<=1，0代表黑，1代表白。灰度直方图的计算公式为式中，x是像素的灰度级，n是具有灰度r的像素的个数，N是图像中像素总个数，p(x)称为概率质量函数.其纵轴是概率，其归一化的累积直方图称为累积分布函数15工业机器视觉-工业图像处理技术图像增强-单点运算方法直方图修正法低亮度图像：这类图像的直方图特征表现为灰度级分布集中在较低（暗）区域。这意味着图像中的大部分像素点具有较低的灰度值，整体色调偏暗。在直方图中，左侧（代表较暗区域）的柱状高度较高，显示了像素数量较多，而右侧高灰度区域的柱状高度则相对较低。正常亮度图像：对于这样的图像，其直方图显示了像素灰度值在中间区域的密集分布特性，意味着图像中的大部分像素灰度均衡地介于高亮与昏暗之间，既不过分偏向极亮也不侧重极度阴暗，展现了良好的灰度平衡。直方图上的峰值出现在中间灰阶部分，两端（最暗和最亮）的灰度级所对应的像素数量相对适中。16工业机器视觉-工业图像处理技术图像增强-邻域运算方法17工业机器视觉-工业图像处理技术图像增强-频率域法低通滤波与高通滤波在频率域中，低频成分对应于图像中的缓慢变化区域（如大面积的均匀颜色、平滑过渡的渐变等）以及图像的全局结构信息，而高频成分则对应于快速变化的细节（如边缘、纹理、噪声等）。18工业机器视觉-工业图像处理技术图像增强-频率域法在图像处理中，低频通常对应于变化缓慢的部分，如大面积的颜色区域；而高频则对应于边缘和细节等快速变化的部分。因此，低通滤波器主要用于以下方面：去除噪声：由于图像中的随机噪声通常是高频成分，低通滤波可以平滑图像，减少噪声的影响。模糊效果：通过模糊图像可以达到平滑的效果，常用于预处理步骤以减少后续处理的复杂性。高通滤波器允许高频成分通过，而抑制或减弱低频成分。在图像处理中，这有助于突出边缘和细节，其主要应用包括：边缘检测：高通滤波器能够增强图像中的边缘和轮廓，这对于特征提取非常有用。锐化图像：通过增强高频成分，可以使图像看起来更加清晰，细节更丰富。19工业机器视觉-工业图像处理技术图像增强-图像特征提取边缘特征提取-Sobel算子模板基于图像灰度梯度的变化来确定图像中的边缘位置。具体来说，Sobel算子由两个3x3的卷积核组成，分别用于计算图像在水平方向（x轴）和垂直方向（y轴）上的梯度强度。20工业机器视觉-目标检测目标检测概述机器视觉自动检测人工检测效率效率高效率低速度速度快速度慢精度高精度易受主观因素影响，精度一般可靠性检测效果稳定不易保持检测效果工作时间可24小时不停工作容易疲劳、工作时间有限信息采集可实现信息集成不易实现信息集成成本成本低人工成本高环境可适用于危险检测环境不适用于危险检测环境教材简介21目标检测发展历程2012年，AlexNet网络提出，是卷积神经网络发展也是深度学习发展的分水岭。2014年，深度学习正式用于目标检测任务。教材简介22传统目标检测教材简介23传统目标检测1.区域选择：基于候选区域的目标检测算法主要思想是在图像中提取潜在的目标区域，通过利用图像的低级特征，如纹理、颜色和边缘信息，提取具有潜在目标的区域。2.特征提取：确认了目标物体在图像上的位置之后，接下来的步骤是对该区域实施特征提取，图像特征的选择直接关系到目标检测的准确性，因此是一个核心环节。3.分类器：提取得到的特征将被输入到分类器中进行分类处理，分类器的效能直接影响到目标区分的速度与准确度，在实践中，常用的目标检测分类器有支持向量机(SVM)和Haar分类器等。教材简介24深度学习在目标检测中的应用教材简介25深度学习在目标检测中的应用卷积神经网络结构主要包含：输入层、卷积层、池化层、全连接层。卷积神经网络是人类视觉原理的一种体现，即可视皮层是分级的。视网膜输入原始信号->摄入像素

大脑皮层初步处理->边缘和方向

抽象->形状

进一步抽象->物体教材简介26深度学习在目标检测中的应用卷积层是卷积网络的核心组件，其主要作用是从输入中提取特征。

特点：局部连接、权值共享局部连接：CNN的基本组成单元是卷积层，其中的滤波器（或称卷积核）只关注输入图像的一小块区域，这反映了生物视觉系统中神经元对局部输入敏感的特性。通过滑动窗口操作，滤波器可以遍历整个图像，捕捉局部特征，如边缘、纹理等。权值共享：卷积层中的每个滤波器在整个图像上使用的权重是相同的，这意味着一个特征如果在一个位置被识别，那么在其他位置也能被同样识别。这不仅减少了模型参数的数量，还增强了模型的泛化能力。教材简介27双阶段目标检测双阶段目标检测算法是计算机视觉领域中一类经典且影响力深远的检测模型，它将目标检测任务分为两个明确的步骤来执行：提案生成（RegionProposalGeneration）和目标分类及定位（ClassificationandLocalization）。这种分阶段处理的方式旨在提高检测的准确性和效率，尤其是在处理复杂场景时。第一阶段：区域生成这一阶段的目标是从原始图像中提出一系列潜在包含目标对象的区域，即候选区域。这些候选区域应该尽可能覆盖所有真实目标，并且数量要足够多以减少漏检，同时也要避免过多的冗余，以减轻后续处理的负担。第二阶段：目标分类及定位在获得候选区域后，第二阶段的任务是对每个提案进行两方面的评估：一是判断该区域是否确实包含感兴趣的目标类别（分类任务），二是精确定位目标的边界框（回归任务）。教材简介28双阶段目标检测-RCNN1.

利用选择性搜索(SelectiveSearch)算法对输入图像进行区域选择，提取2000个左右的候选区域。2.由于网络结构中存在全连接层，需要将提取出的候选区域统一尺寸，此处将尺寸缩放至227x227像素，再适当扩大以获取更多上下文信息。3.使用卷积网络对每个归一化后的候选区域做特征提取操作，从每个候选区域提取

4096维的特征向量。4.使用SVM或其他分类器对提取到的特征进行分类识别。5.使用边框回归(BoundingBoxRegression)微调边框位置基于区域的卷积神经网络(R-CNN)(CVRP2014)教材简介29双阶段目标检测-FastRCNN(ICCV-2015)R-CNN的第一个升级版本是FastR-CNN，通过使用了2次增强，大大提了检测速度：在建议区域之前进行特征提取，因此在整幅图像上只能运行一次卷积神经网络；用一个softmax层代替支持向量机，对用于预测的神经网络进行扩展，而不是创建一个新的模型。FastR-CNN的运行速度要比R-CNN快的多，因为在一幅图像上它只能训练一个CNN。但是，择性搜索算法生成区域提议仍然要花费大量时间。教材简介30双阶段目标检测-FasterR-CNN(NIPS2015)继FastR-CNN后，在CPU上实现的RegionProposal的算法SelectiveSearch成了物体检测速度提升上的最大瓶颈。FasterR-CNN改进：设计RegionProposalNetwork（RPN），利用CNN卷积操作后的特征图生成候选框，代替了SelectiveSearch方法，速度上提升明显（10ms）。训练RPN与FastR-CNN共享卷积层，大幅提高网络的检测速度。实现了端到端的检测。从候选区域的产生->分类->定位都在一个系统下完成，实现端到端实时检测RPN教材简介31双阶段目标检测R-FCN(CVPR2016)该模型针对感兴趣局域的分类过程进行完善。

动机：目标检测不仅需要检测还需要定位，当网络层数越来越深时，优点是可以增加语义信息，使分类更加准确，缺点是会丢失位置信息，定位精度下降。那么该如何利用好分类网络性能，解决这一矛盾？R-FCN提出了位置敏感得分图（Position-sensitivescoremaps）来解决这一问题。基本理念：位置敏感得分图是针对每个类别和每个预定义的子区域（例如，一个目标可能被划分为上、下、左、右、中心等部分），独立学习一个得分图。这样，每个子区域都有专门的分数来表示该区域是否包含目标的特定部分。目标：通过这种方式，模型不仅能够识别出图像中是否存在某个类别对象，还能更加精确地定位这个对象的各个部分，从而提高了边界框的定位精度。工作原理32双阶段目标检测R-FCN(CVPR2016)特征图细分：首先，输入图像经过卷积神经网络处理后得到特征图。然后，这个特征图会被进一步分割成多个较小的、重叠的网格，每个网格对应一个或多个子区域（例如，3x3的网格可以为一个目标定义9个不同的位置敏感区域）。位置敏感滤波器：为每个类别和每个子区域设计特定的滤波器（或称为分类器）。这些滤波器会在特征图的对应子区域上滑动，产生一系列响应，即位置敏感得分图。每个得分图反映了输入图像在特定位置和特定子区域中存在该类别目标的可能性。融合与预测：最后，对于每个候选区域，会从相应的得分图中提取相应的得分，并根据这些得分来调整候选框的位置，或者直接对候选框内的每个子区域打分，进而决定最佳的边界框位置和类别。教材简介33单阶段目标检测单阶段目标检测算法将目标检测任务视为直接回归问题，通过一个统一的网络结构同时完成目标的分类和位置回归，省略了两阶段算法中的区域生成和目标识别两个步骤。这样的设计简化了整体流程，减少了计算开销。经典的单阶段目标检测算法有：YOLO（YouOnlyLookOnce）、SSD（SingleShotMultiboxDetector）、RetinaNet等。简洁高效：单阶段算法省去了候选区域生成的步骤，直接在特征图上进行密集采样，每个采样点都对应一个或多个预定义的锚框（AnchorBoxes），用于预测目标类别和边界框。快速推理：由于仅需一次网络前向传播，单阶段算法能够实现非常高的处理速度，适合对实时性要求高的应用场景，如自动驾驶、视频监控等。设计灵活性：这类算法在架构设计上有较高的自由度，可以通过增加网络深度、采用特征金字塔网络（FPN）等方式来提升检测性能。核心特点教材简介34单阶段目标检测-YOLOYOLO（YouOnlyLookOnce）检测算法将目标检测任务视为单阶段的回归问题，通过学习从图像像素到边框坐标和类别概率的映射。图像预处理：YOLO首先将输入图像的大小调整为448x448像素，为后续处理做准备。实现步骤神经网络处理：YOLO使用一个卷积神经网络对图像进行处理，同时预测图像中多个边框以及它们所属的目标类别。NMS处理：为了消除重复的边框，YOLO使用非极大值抑制（NMS）的方法。NMS会保留具有高类别概率的边框，并消除与这些边框交并比（IntersectionoverUnion,IoU）高于阈值的其他边框，以确保最终的检测结果具有高度准确性。教材简介35单阶段目标检测-YOLOYOLO的方案有几个问题：针对小目标的检测效果会不太好，因为7*7的网格的划分可能太粗糙了；经过多层卷积和pooling的操作，图像的边缘特征可能丢失较多了，而回归boundingbox参数的只使用了高层的卷积层特征，会导致boundingbox不准确；当两个目标同时落入7*7的某一个网格中的时候，对应位置只能检测到一个物体。YOLO方案的输入是比如448*448的图片，输入是一个7*7的网格，每个网格的信息包含:1.存在某个类别的物体的概率，比如有20类目标需要检测，那就是20类+1类(backgroud);2.对应物体的boundingbox参数，使用4个数字描述;3.对应目标的概率。这个问题就被format成一个回归问题，448*448*3作为输入;7*7*(b*5+c)作为回归的参数然后进行end-to-end的学习教材简介36单阶段目标检测-Yolov2YOLOv2相对YOLOv1进行了多项关键优化，这些改进旨在提高检测精度的同时保持或提升运行速度。高分辨率分类器：YOLOv2在训练初期使用较大的图像分辨率（如416x416），然后微调时逐步减小分辨率，以提高对小物体的检测精度。特征图尺寸设计为奇数（如13x13），这样可以更准确地定位物体的中心点。网络结构改进：引入了Darknet-19作为骨干网络，替代了YOLOv1中的网络结构，提升特征表达能力去除了YOLOv1中的全连接层，转而使用全局平均池化(GAP)，允许输入图像尺寸更加灵活，不再受限于固定大小。在网络中增加了批量归一化(BatchNormalization)，提升训练速度并稳定学习过程，实验证明这能提高约2%的mAP。移除了Dropout，因为与批量归一化一起使用时，Dropout的效果并不明显，有时甚至会降低性能。教材简介37单阶段目标检测-Yolov2多尺度预测：采用了不同尺度的特征图进行检测，即在多个特征层上预测边界框，有助于检测不同大小的对象，增强模型的多尺度适应能力。锚框机制：引入了锚框(AnchorBoxes)的概念，预先定义了一系列不同比例和大小的边界框，用来匹配不同形状的目标，这是对目标框预测的一种改进。教材简介38对比方法PASCALVOC数据集COCO数据集mAPFPSmAPFPSRCNN58.5%0.531.4%0.5FastRCNN70.0%235.9%2FasterRCNN73.2%742.7%7R-FCN77.6%945.0%9YOLOv163.4%4521.6%45YOLOv278.6%4044.0%40教材简介39总结RCNN(RegionswithCNNfeatures):这是一种两阶段的目标检测方法，首先生成候选区域，然后在每个候选区域上运行卷积神经网络。RCNN的处理速度较慢，但检测精度相对较高。FastRCNN:在RCNN的基础上进行了改进，将候选区域生成和特征提取结合起来，大幅提高了检测速度。Fast