工业机器视觉技术与应用 课件 第1-3章-概述、工业机器视觉硬件系统-工业视觉异常图像分类

工业机器视觉技术与应用—概述提纲工业机器视觉的基本概念工业机器视觉系统的组成工业机器视觉的研究内容工业机器视觉的应用领域工业机器视觉的基本概念工业机器视觉通过模拟人类视觉系统，利用摄像头、图像传感器和专用图像处理算法，对生产线上的产品进行实时检测、测量和分析，从而实现高效、精确的自动化操作工业机器视觉已经从最初的简单检测工具，发展成为智能制造系统中不可或缺的核心技术，广泛应用于各类复杂的工业场景1.1机器视觉与工业机器视觉机器视觉旨在通过计算机视觉系统模拟人类视觉功能，以实现对目标物体的检测、定位以及其他复杂的视觉任务工业机器视觉专为工业环境设计，其利用计算机视觉技术、光学成像设备、图像处理算法和自动化控制系统，来模拟和替代人类视觉在工业生产中的作用工业机器视觉系统1.1机器视觉与工业机器视觉工业机器视觉与计算机视觉的区别工业机器视觉计算机视觉应用场景工业生产环境中的自动化检测、质量控制、精密测量、机器人引导等任务应用范围更加广泛，涵盖了从消费级应用到研究领域的各个方面系统设计高度定制化，针对特定的工业任务和环境进行优化设计相对灵活，硬件选择多样，通常使用消费级摄像头和通用计算平台性能要求对性能有极高的要求，特别是在精度、速度和稳定性方面性能要求通常取决于具体应用算法复杂性算法设计通常以效率和鲁棒性为主，追求在特定环境下的最优解算法设计往往更加复杂和多样化，涉及广泛的技术领域成本与部署定制化设计和部署，硬件设备多为工业级别，部署周期较长，成本较高成本通常较低，尤其是在消费级应用中，硬件和软件的获取成本都更低1.2工业机器视觉的发展历程工业机器视觉早期的发展与起源光学识别系统数字计算三维图像处理工业应用复杂度20世纪50年代光学字符识别（OCR）技术逐渐开始形成，并成为工业机器视觉发展的一个重要里程碑

图像处理逐渐从模拟技术过渡到数字技术，这标志着数字图像处理的开端随着计算机硬件性能的提升，图像处理技术逐渐从科研领域向工业应用过渡图像处理技术从二维平面图像扩展到三维图像和视频处理20世纪60年代20世纪70年代20世纪80年代1.2工业机器视觉的发展历程早期发展的技术局限与瓶颈1）计算能力的限制早期的图像处理系统通常只能处理简单的任务，如二值化处理和基本的形状识别，限制了其在工业场景中的应用范围和处理深度2）成像设备的性能局限早期工业机器视觉摄像头的分辨率和感光度较低，导致图像质量不高。早期的光学镜头容易产生畸变和像差，影响图像的准确性和稳定性3）图像处理算法的局限性早期的图像处理算法大多相对简单，主要包括基本的滤波、边缘检测和形态学处理，难以应对多样化和复杂的工业应用4）系统集成和实时性挑战：早期的机器视觉系统在与自动化设备集成时常常遇到接口兼容性问题和控制响应滞后的问题，这影响了系统的整体性能和可靠性5）成本与普及性问题成像设备、计算硬件和定制化软件的高成本使得这些系统仅能在特定高附加值行业中应用

6）硬件与软件的局限早期工业机器视觉系统的硬件与软件之间缺乏有效的协同优化

1.2工业机器视觉的发展历程现代工业机器视觉的进展深度学习与智能化发展：CNN改变了图像处理方式，使机器视觉在复杂场景的应用成为可能多模态融合与3D视觉技术：多种感知数据的能够实现更高精度的检测和定位边缘计算与工业物联网：分布式计算架构使机器视觉系统能够更好地适应工业现场的高要求大数据与预测性维护：基于数据驱动的预测性维护不仅可以减少停机时间，还可以降低维护成本，提高生产效率提纲工业机器视觉的基本概念工业机器视觉系统的组成工业机器视觉的研究内容工业机器视觉的应用领域2.1工业机器视觉系统的硬件组成工业机器视觉系统的硬件部分主要负责图像的采集、转换、传输和存储工业机器视觉系统硬件工业摄像头光源工业摄像头图像处理器运动控制系统2.2工业机器视觉系统的软件组成工业机器视觉系统的软件部分主要负责图像处理、分析、数据管理和系统控制工业机器视觉系统软件图像处理机器学习与深度学习数据分析与可视化系统开发工具系统控制与集成软件提纲工业机器视觉的基本概念工业机器视觉系统的组成工业机器视觉的研究内容工业机器视觉的应用领域工业机器视觉研究内容工业机器视觉是一项跨学科的技术，涉及图像处理、计算机视觉、机器学习、人工智能等多个领域。其研究内容包括：图像分类、图像分割、目标检测与跟踪3.1异常图像分类异常图像分类是工业机器视觉中的关键任务，旨在识别和分类生产过程中出现的各种异常情况，如表面瑕疵、颜色偏差、形状畸变等基于统计学习的分类方法

基于深度学习的分类方法

3.2图像分割图像分割旨在将图像划分为若干具有独立含义的区域，从而提取出感兴趣的目标物体，在精密检测、自动化生产和质量控制等场景中至关重要传统工业图像分割方法基于深度学习的图像分割方法

3.3目标检测目标检测是工业机器视觉中的关键任务，涉及在图像中定位并识别目标物体传统目标检测方法基于深度学习的目标检测方法

3.4目标跟踪工业目标跟踪技术是自动化生产、智能监控和机器人导航中的核心任务，其主要挑战包括目标快速运动、遮挡、多目标干扰、光照变化以及形变等问题传统目标跟踪方法基于深度学习的目标跟踪方法

提纲工业机器视觉的基本概念工业机器视觉系统的组成工业机器视觉的研究内容工业机器视觉的应用领域4.1智能制造业中的应用工业机器视觉技术在智能制造业中扮演着至关重要的角色，凭借其高精度、高效率和自动化特性，正在推动传统制造业向智能化、自动化转型质量控制与缺陷检测

工业机器视觉通过高分辨率相机和图像处理算法，能够自动识别生产过程中产生的各种缺陷，确保产品质量

自动化分拣与识别

工业机器视觉通过对产品进行实时识别和分类，实现高效、精准的自动化分拣

智能监控与安全管理

工业机器视觉系统能够为智能制造提供实时监控数据，帮助生产管理者及时发现异常，防止潜在问题扩大化

4.2工业机器人中的应用工业机器视觉技术赋予工业机器人“视觉感知”能力，使得机器人不仅能够执行预定的任务，还能够根据视觉反馈实时调整动作，增强了其灵活性和智能化水平机器人引导与精准定位

机器视觉系统通过相机获取目标物体的图像，并使用图像处理算法对目标物体的形状、位置和姿态进行分析，从而为机器人提供精准的引导信息机器人装配与装载

工业机器视觉技术极大地提高了机器人的装配能力，尤其是在复杂、多变的环境中机器人视觉导航与避障

机器视觉技术为机器人提供了视觉引导和环境感知能力，使其能够在动态环境中安全、高效地执行任务4.3其他领域中的应用通过高精度的图像采集和处理技术，机器视觉为医疗、交通等领域提供了智能化、自动化的解决方案，提升了效率、精度和安全性医疗领域的应用

机器视觉能够通过处理和分析医学影像，帮助医生进行早期疾病诊断、手术引导以及治疗规划

交通领域的应用在交通领域，机器视觉技术被广泛应用于智能交通系统，通过实时监控和数据分析来提高交通管理效率，增强道路安全，降低事故率电力场景的应用

工业视觉技术在电力场景中的应用，充分利用了分类、目标检测、语义分割和3D感知技术，来提升电力系统的智能化水平和运行效率本章总结小结工业机器视觉的基本概念机器视觉的定义和基本工作原理工业机器视觉的发展历程，从早期起源到现代发展的历程工业机器视觉系统的组成硬件部分包括摄像头、镜头、光源、图像采集卡软件部分则涵盖了图像处理算法、机器学习模型、系统控制软件等工业机器视觉的研究内容异常图像分类、图像分割、目标检测与跟踪等工业机器视觉的应用领域智能制造、工业机器人以及其他行业中的广泛应用思考与习题1.请结合本章内容，解释工业机器视觉与计算机视觉的区别。在实际应用中，工业机器视觉为什么要具备更高的实时性和可靠性？2.工业机器视觉经历了从传统图像处理方法到现代深度学习的演变过程。请简述工业机器视觉技术发展的关键节点，并讨论现代深度学习技术对工业机器视觉的影响。3.结合工业机器视觉系统的硬件和软件组成部分，讨论各部分在系统中的具体功能及相互之间的配合。为什么硬件的选择对于机器视觉系统的性能表现如此重要？4.异常图像分类、图像分割、目标检测与跟踪是工业机器视觉的核心研究方向。请分析这些技术在工业环境中的具体应用场景，并讨论各自的技术挑战。5.工业机器视觉技术已广泛应用于智能制造和工业机器人领域。请结合智能制造和工业机器人中的应用实例，分析工业机器视觉技术如何提升生产效率和产品质量。第二章工业机器视觉硬件系统工业机器视觉硬件系统机器视觉硬件系统在整个机器视觉应用中具有至关重要的地位,其设计和配置直接影响到系统的性能、精度和可靠性。硬件系统主要由成像系统、光源和运动控制系统三部分组成,这些组件的选择和优化决定了图像的质量,从而影响到系统的检测能力。在本章中,我们将对机器视觉系统中硬件系统组成部分分别进行简单介绍,详细的设计流程和案例将在第8章讲解。2.1节对相机的主要组成部分———镜头和图像传感器分别进行介绍,并介绍主要的相机类型和其关键参数。2.2节对机器视觉中的照明系统进行介绍,介绍照明系统设计的主要原则和常见光源类型。2.3节以玻璃盖板检测系统为案例,介绍线扫拍摄系统和面扫拍摄系统的工作过程2.1相机及镜头相机是机器视觉系统中最为关键的组件之一,其作用是将光信号转为有序的电信号，最终以数字信号的形式生成图像。相机的主要组成部分分为镜头和图像传感器两部分。工业相机镜头传感器（图像质量、视角、景深和应用灵活性）（图像的分辨率、动态范围和噪声水平）2.1.1镜头的关键参数和类型1)焦距(FocalLength)焦距,也称为焦长,是光学系统中衡量光的聚集或发散的度量方式,指从透镜中心到光聚集之焦点的距离,亦是照相机中从镜片光学中心到底片、CCD或CMOS等成像平面的距离。具有短焦距的光学系统比长焦距的光学系统有更佳聚集光的能力。2)最大/最小工作距离(WorkingDistance,WD)相机的工作距离是指相机与被拍摄物体之间的实际距离。在摄影中,相机工作距离的确定对于拍摄出清晰、准确的成像至关重要,如果相机与被拍摄对象离开了相机的工作距离,就会导致成像模糊,失焦等问题。3)景深(DepthOfField,DoF)相机的视野指的是横向的范围,景深DoF指的是纵深的范围。在最小工作距离到最大工作距离之间的范围就被称为景深,景深内的物体都可以清晰成像。景深一般可以通过光圈调节,光圈越小,景深越大。1.基本参数2.1.1镜头的关键参数和类型4)视场/视野范围(FieldofView,FoV)视野范围FoV指的是镜头能够看到的最大范围,也就是镜头所能够覆盖的有效区域。对于镜头而言,可观察到的视场跟镜头放大倍率及相机芯片选择有关。因此通常建议根据被观察物体的尺寸,先确定所需的视场,再确定相机芯片尺寸及镜头放大倍率。在实际工程项目中,考虑到机械误差等问题,视场通常要大于待观测物体的实际尺寸,以确保在机械误差的范围内,物体始终位于视觉系统的可视范围内。以上参数的选择应该遵循式(2.1),如图2.1所示。1.基本参数图2.1相机参数匹配示意图公式2.12.1.1镜头的关键参数和类型镜头按结构特点可以分为定焦镜头、变焦镜头、远心镜头、广角镜头、长焦镜头、鱼眼镜头、显微镜头、双远心镜头、沙姆镜头等。1)定焦镜头拥有固定的焦距和简单的光学结构,能够在低光环境下提供良好的图像质量,适用于固定距离的检测场景,如生产线上的零件检测和条码识别。由于其可靠性高,定焦镜头常用于需要高分辨率和高对比度的工业任务中。2)变焦镜头允许用户调整焦距,以适应不同的视角和拍摄距离,虽然光圈通常较小,但其灵活性高,适合需要覆盖多个不同工位的工业检测任务,如生产线的多功能检测和远程监控。3)远心镜头在物体移动时保持放大倍率和视场角不变,极小的几何失真使其成为高精度测量和精确对位的理想选择,适用于机器视觉测量和光学检查等高精度要求的场景。4)广角镜头提供较宽的视角,适合需要覆盖大视野的工业检测场景,如仓库监控和大型设备的检测。尽管广角镜头在图像边缘可能存在畸变,但其在大面积场景中的应用非常广泛。2.不同镜头类型的特点2.1.1镜头的关键参数和类型5)长焦镜头通过长焦距放大远处物体,适用于远距离或细小物体的检测任务,如远程监控和交通检测。然而,由于其对震动敏感,长焦镜头通常需要稳定的安装环境。6)鱼眼镜头以其超广角视角捕捉大范围图像,通常用于全景监控系统。虽然图像存在明显的畸变,但鱼眼镜头在覆盖极大视角的应用中表现出色,适合安全监控和空间探测。7)显微镜头通过高放大倍率拍摄微小物体,适用于芯片检查和微电子设备检测等需要高精度显微视觉检测的场景。显微镜头需要精确的对焦机制和稳定的安装环境,以保证图像质量。8)双远心镜头具备物侧和像侧双远心设计,确保在一定范围内放大倍率不变,几乎没有畸变,是高精度尺寸测量和计量的理想选择,适用于需要绝对精度的测量任务。9)沙姆镜头是一种结合了折射和反射的光学系统,具有短焦距和长焦深的特点,通常用于需要在较大视野下观察细节的场景,如精密工业检测和天文观测。沙姆镜头能够在紧凑的结构中实现较高的光学性能,非常适合需要大视野和高分辨率的应用。2.不同镜头类型的特点2.1.1镜头的关键参数和类型2.不同镜头类型的应用场景定焦镜头以其固定焦距和高图像质量适合固定检测任务;变焦镜头则提供灵活性,适合多工位检测;远心镜头在物体移动时保持精度,适合高精度测量;广角镜头覆盖大视野,但可能存在边缘畸变。长焦镜头适合远距离检测；鱼眼镜头则用于全景监控,尽管畸变明显;显微镜头专注于微小物体的高精度检查；双远心镜头确保放大倍率恒定,适用于精确测量;沙姆镜头结合了折射和反射,适合在大视野下观察细节；这些不同类型的镜头各具特点,满足各种工业应用的需求。2.1.2相机图像传感器的关键参数和类型图像传感器负责将通过镜头的光线转换为电信号。这些电信号随后被处理为数字图像,主要分为CCD传感器和CMOS传感器。图像传感器的参数决定了相机的关键参数,在相机的实际选型时,需要关注分辨率、像元深度、最大帧率、曝光时间、像元尺寸、靶面大小、光谱响应等参数,以适配实际的应用场景。CMOS传感器CCD传感器2.1.2相机图像传感器的关键参数和类型1)分辨率图像传感器的分辨率就是传感器靶面上行列物理像元的个数,如一块传感器的分辨率为1920×1080,那么这款传感器宽度方向的物理像元个数就是1920个,高度方向的像元个数就是1080个。传感器的分辨率决定了位图图像细节的细腻程度,一般情况下,图像的分辨率越高,所包含的像素就越多,图像就越清晰,同时占用的存储空间也就越大。2)像元的深度像元的深度是指存储每个像素灰阶值所占用的存储空间位数,最常见的像元位深有8bit、10bit、12bit、16bit。像元的深度决定着彩色图像每个像元能够表现的颜色数,或者确定灰度图像每个像元可能得灰阶级数。3)最大帧率最大帧率就是相机采集图像的速率,对于面阵相机,一般为每秒采集的帧数,对于线阵相机为每秒采集的行数。4)曝光方式/快门速度工业线阵相机采用的都是逐行曝光的方式,可以选择固定行帧和外触发同步的方式,曝光时间与行周期一致,也可以设定一个固定的时间.面阵相机有帧曝光、场曝光和滚动曝光几种常见方式,工业相机一般都提供外触发采图的功能,快门速度一般可到10ms,高速相机还会更快。5)像元尺寸像元尺寸即表示一个像元的大小,像元的大小和像素数(传感器的分辨率)共同决定了靶面的大小。目前工业相机像元尺寸一般为3~10μm,一般像元尺寸越小,制造难度就越大。1.图像传感器的关键参数2.1.2相机图像传感器的关键参数和类型6)传感器的靶面尺寸传感器的靶面尺寸表示图像传感器感光区域的面积大小,直接决定着整个系统光学放大率,如式(2.2)。1.图像传感器的关键参数

公式2.27)像元的光谱响应像元的光谱响应是指芯片对不同波长光线的感应能力,通常通过光谱响应曲线来表示。如图2.2所示,相机采集的RGB三种颜色的光强与每个像元对不同波段光的感应效率密切相关。其中,RGB像元的光谱响应曲线在红、绿、蓝三种波长上分别达到峰值,这决定了它们对各自颜色的最佳响应能力。图2.2红黄蓝光谱响应曲线图像传感器的体积小型化及高像素化(单位面积传感器像素的个数)仍是业界积极研发的目标像素尺寸小分辨率越高清晰度越好2.1.2相机图像传感器的关键参数和类型1)电荷耦合元件(ChargeCoupledDevice,CCD)图像传感器CCD图像传感器广泛应用于数字相机、医疗成像和科学仪器中。其核心结构包括光电二极管阵列、电荷存储与转移通道、读出节点以及控制电极。其核心结构包括光电二极管阵列、电荷存储与转移通道、读出节点以及控制电极。光电二极管阵列负责将入射光转化为电荷,而这些电荷通过电荷转移通道被传输到读出节点,最终形成图像信号。2.图像传感器的类型2)互补金属氧化物半导体(ComplementaryMetalOxideSemiconductor,CMOS)图像传感器CMOS图像传感器广泛应用于数码相机、手机摄像头和监控设备中。CMOS传感器的核心结构包括光电二极管阵列、读出电路和模数转换器(ADC)3)

CCD和CMOS传感器的对比CCD传感器通过将光信号转换为电信号,具有低噪声、高灵敏度和良好的色彩还原能力的优点,适用于高精度成像任务,但在制造成本、传输速度和功耗方面存在劣势。相对而言,CMOS传感器在功耗、集成度和帧率上具备显著优势,能够实现快速信号处理,广泛应用于消费电子和实时成像领域。本小节将从图像传感器的排列方式、成像波段、采集波段数量等方面介绍不同类型的相机的特点,更好地选择适合特定应用需求的相机2.1.3相机类型和应用场景工业相机的特点：工业相机通过高精度成像捕捉目标物体的详细信息,为后续的图像处理和分析提供基础数据。工业相机具有更高的分辨率、稳定性和耐用性,能够在复杂的工业环境中长期稳定工作。工业相机的高帧率和快速数据传输能力确保了系统能够实时检测和处理生产线上的快速移动物体。此外,工业相机与不同光源、镜头、图像处理算法结合使用,可以应对各种复杂的检测任务,如尺寸测量、缺陷检测和自动化识别。2.1.3相机类型和应用场景相机的排列方式指的是感光元件在感光芯片上的布局方式。1)面阵相机结构特征：面阵相机采用矩阵排列的方式工作,其中包含多个像素元件组成的阵列。成像特性：光线通过镜头进入相机后,照射到感光芯片上的每个像素元件。每个像素元件会将光信号转换为电荷,并通过模数转换器转换为数字信号。这些数字信号经过进一步的处理和分析,最终形成完整的图像,面阵相机的工作方式使其能够一次性输出整幅图像,捕捉到全局信息。2)线阵相机结构特征：线阵相机通过单行排布,一次只能采集一列信号,通过多次采集和拼接来形成完整的图像。成像特性：线阵相机的成像特性,要求被拍摄的目标处于匀速运动的状态(如传送带上的运输物品),以展现目标的真实状态。线阵相机具有快速的图像捕捉能力,能够捕捉到高速运动物体的细节,还具有较低的图像畸变和较高的灵敏度。1.根据图像传感器上感光元件的排列方式分类2.1.3相机类型和应用场景根据传感器对不同波段的感知能力,可以将相机分为可见光相机、红外相机和X光相机。2.相机按成像波段分类图2.3光谱分布图2.1.3相机类型和应用场景根据传感器对不同波段的感知能力,可以将相机分为可见光相机、红外相机和X光相机。2.相机按成像波段分类可见光相机波长范围：可见光谱包括人眼可以感知的光线范围,大约在380~750nm的波长范围内。成像特性：可见光相机利用透镜将可见光聚焦到感光元件上;光线经过透镜后,形成一个聚焦的图像;感光元件上的像素记录光的强度和颜色信息,生成可见光图像。优缺点：优点是易使用和操作,同时价格相对较低,相机选择丰富;缺点是无法穿透密集物质,无法获取内部信息。

2)红外相机结构特征：红外光谱的波长范围通常在750nm到1mm,超出了人眼的感知范围。成像特性：红外相机通过检测物体发出的红外线,生成一个显示温度差异的图像;红外相机通常由透镜和红外传感器组成;透镜将红外光聚焦到传感器上,传感器记录红外线的强度和分布信息,生成热成像图像;该图像通常以伪彩色显示,其中不同的颜色代表不同的温度区间。2.1.3相机类型和应用场景根据传感器对不同波段的感知能力,可以将相机分为可见光相机、红外相机和X光相机2.相机按成像波段分类2)红外相机优点：a.能够黑暗或低光环境中工作;b.能够检测物体的温度分布,发现热异常和隐藏问题;c.

在恶劣天气条件下依然可以有效工作;d.能够穿透烟雾、薄雾等遮挡物质。缺点：a.成本通常较高;b.不能呈现出物体的可见光图像细节;c.分辨率通常较低,无法与可见光相机媲美;d.过高的背景温度可能会影响红外相机的精确度。图2.4红外相机成像示例2.1.3相机类型和应用场景根据传感器对不同波段的感知能力,可以将相机分为可见光相机、红外相机和X光相机2.相机按成像波段分类3)X光相机特点：高能量的电磁辐射,具有较短的波长。成像：不同组织和材料对X射线的吸收程度有所不同，X射线的强度在不同区域会有所差异，从而生成X射线图像优点：能够穿透物体,可获得内部结构的信息。缺点：

X射线对人体有潜在的辐射危险应用：可用于安检的行李检查和安全筛查,或者检测人体内骨骼损伤、肿瘤和其他异常情况。图2.5X光相机成像示例2.1.3相机类型和应用场景根据采集波段数量的不同,相机可以分为灰度相机、多光谱相机和高光谱相机。3.相机按成像采集波段数量分类灰度相机成像特性：采用单色图像传感器,只捕捉光的强度信息,不记录颜色。能更高效地利用光线,在低光条件下表现更优,并提供更高的图像分辨率和对比度。图像特点：只包含亮度值,不需复杂的颜色处理,因此,数据处理相对简单,常用于模式识别、形状检测和边缘检测等场景。通过处理这些亮度信息,可以精确提取物体的形状、纹理和轮廓。优点：结构简单、数据处理快速,适合高精度图像分析,能更专注于物体的细节和形状,低光环境下表现出色缺点：无法提供颜色信息,在需要颜色识别的应用中局限性明显;此外,灰度相机捕捉的信息量较少,可能不足以满足某些复杂的图像分析需求。应用场景：广泛应用于工业检测和机器视觉2.1.3相机类型和应用场景根据采集波段数量的不同,相机可以分为灰度相机、多光谱相机和高光谱相机。3.相机按成像采集波段数量分类2）多光谱相机成像特性：由一个标准图像传感器和多波段滤光片阵列组成,可以获取2~100个波段的数据。滤光片可以选择性地通过不同的波长范围，相机获取多个离散波长下的图像数据。图像特点：带有多个波段的图像数据集,每个波段代表一个特定波长范围下的图像。可以提取出特定波长范围下的图像特征,并进行分类、分析和识别。优点：能够获取超出可见光范围的信息,提供更全面的图像数据,数据处理也相对较简单,可以通过离散波长数据的处理来获得结果。缺点：捕捉的波长范围较窄,可能无法提供足够的光谱信息。2.1.3相机类型和应用场景根据采集波段数量的不同,相机可以分为灰度相机、多光谱相机和高光谱相机。3.相机按成像采集波段数量分类3）高光谱相机成像特性：高光谱相机一般能采集100个以上的波段数,它使用光谱分离的技术,将入射的光按照不同波长进行分解和记录。当光通过光谱分离器时,它会根据波长的差异而发生偏折。光谱分离器将光分解成多个波长通道,针对每个波长通道,都有一个相应的光敏元件来记录光的强度，同时获取不同波长下的图像数据图像特点：图像通常是一个数据立方体,其中的每个像素都包含了在光谱范围内的强度信息;通过分析和处理这个数据立方体,可以提取出目标物体的光谱特征,实现物质的识别和定量分析优点：整个光谱范围内连续地获取数据,因此可以提供详细和丰富的光谱信息缺点：数据处理较为复杂,需要专门的算法和软件支持。2.1.3相机类型和应用场景4.其他特殊类型相机3D相机相机组成：由一个标准的图像传感器和一个多个额外的深度感知组件组成,

3D相机通过将深度数据与二维图像结合,生成包含三维坐标的图像或点云数据二维图像获取：当光线进入3D相机时,镜头会将光线聚焦到图像传感器上,生成标准的二维图像;深度信息获取：同时,深度感知组件通过发射光信号或捕捉多个角度的图像,测量光信号返回的时间或角度差异,从而计算出场景中每个像素的深度信息。优点：捕捉场景的三维信息,提供更丰富的空间数据,可以在复杂环境中进行物体检测和识别缺点：更为复杂和昂贵,数据处理也更加繁重；工作距离和精度可能受环境光线、反射率和表面特性的影响;庞大数据量对存储和计算能力提出了更高的要求。应用场景：机器人导航、工业检测、虚拟现实(VR)和增强现实(AR)等领域。2.1.3相机类型和应用场景4.其他特殊类型相机2)智能相机相机组成：智能相机通常由一个标准的图像传感器、处理器和内置算法组成,能够在相机内部直接进行图像分析和处理,而不依赖外部计算机或服务器。算法内置：标准的图像传感器负责捕捉图像数据,而内置的处理器则运行预设的算法,对这些数据进行实时分析和解读,从而直接输出处理结果,如识别、分类、检测等。优点：a.能够独立工作,无须依赖外部计算设备,简化了系统架构和安装成本;b.能够实时处理和响应,提高了系统的效率和响应速度;c.具有高度的灵活性,可以根据具体需求进行编程和定制化。缺点：a.

能力通常受限于相机内的硬件资源;

b.升级和维护可能相对复杂;c.成本通常也比普通相机高;d.应用范围受限于内置算法的功能和精度。应用场景：工业自动化、安防监控、交通管理和质量检测等。2.1相机及镜头不同类型的相机,各自具备独特的功能和应用场景本节小节以上相机都为各类机器视觉任务提供了丰富的选择。选择合适的相机类型将直接影响到成像质量和数据处理的效果,在科学研究、工业检测及其他领域中至关重要分类方式相机类型成像方式面阵相机、点阵相机波段感应可见光相机、红外相机、X光相机信息采集灰度相机、多光谱相机、高光谱相机2.2工业视觉照明光源在工业视觉检测系统中，光源起着至关重要的作用，它直接影响到成像质量和检测效果。本节我们将从两个方面展开：首先介绍工业视觉照明的基本原理，帮助理解光照对目标成像的影响机制；随后分析常用光源的类型及其典型应用场景，使大家能够在不同的检测任务中选择合适的光源方案。通过学习本节内容，学生将掌握光源选型的基本思路，并为后续工业视觉系统设计和实践打下坚实基础。2.2.1工业视觉照明的基本原则2.2.2常用光源类型和应用场景本节导学2.2.1工业视觉照明的基本原则核心要求：照明应尽可能均匀，确保整个视场亮度一致作用与好处：避免光照不均导致的阴影、热点或反射干扰；提高图像的可用性应用场景：检测平整表面，检测大面积物体效果：减少伪影，增强图像清晰度与对比度1.均匀照明核心要求：增加待检测特征与背景之间的对比度作用与好处：更容易识别和分离不同的图像特征、提高系统在处理细节时的准确性和效果应用场景：检测边缘、瑕疵，检测颜色变化调节方法：调节光源的角度、调整光源的类型2.高对比度2.2.1工业视觉照明的基本原则问题：高光泽表面容易产生镜面反射，反射可能掩盖重要特征，导致检测错误解决方法：选择合适的照明角度，使用斜射光、偏振光或漫射光应用场景：金属表面检测，塑料表面检测效果：减少反射干扰，保证特征清晰可见3.避免反射干扰问题：阴影可能遮挡特征，影响检测精度解决方法：调整光源的位置和角度，使用环形光源，使用多点光源应用场景：复杂形状的物体，需要全面特征检测的场景效果：减少或消除不必要阴影、确保所有特征都能被准确检测4.控制阴影2.2.1工业视觉照明的基本原则原则：光源颜色应根据物体表面特性和检测目标来选择作用：不同颜色光源可以突出或隐藏特定特征提高检测效果，减少干扰示例：红色光源减少绿色表面的反射。蓝色光源增强对红色物体的检测效果效果：提升特征对比度和可见性优化检测准确性5.避免反射干扰6.光源的方向性要求核心概念：光源方向性决定了如何照射物体以突出其特征两种典型方式：直射光强调物体表面细节突出细小纹理、表面缺陷；漫射光减少表面纹理的影响提供柔和的照明应用场景：直射光→检测划痕、微小瑕疵漫射光→需要整体均匀照明时效果：根据检测需求选择方向性，提升图像的清晰度与适用性2.2.1工业视觉照明的基本原则核心要求：光源应保持高度稳定在不同时间、环境或物体位置变化时，仍能提供一致照明重要性：保证自动化检测系统在长时间运行中的精度避免检测结果因光照波动而失真应用示例：IC卡缺陷检测（图2.6）、文字检测（图2.7）7.稳定性和鲁棒性效果：提升检测系统的稳定性和鲁棒性确保检测结果的一致性和可靠性图2.6红色光源成像效果(左)和红外光源成像效果(右)图2.7面光源成像效果(左)和环形光源成像效果(右)2.2.2常用光源类型和应用场景1.按形状分类1)点光源结构特点：由大功率LED灯珠组成，发光强度高，但照明范围较小应用方式：常与远心镜头配合使用，提供集中、方向性强的照明典型应用：微小元器件检测，精密结构细节的成像图2.8点光源2)点光源结构特点：长度范围大、颜色可按需求选择、可灵活组合多个光源应用方式：照明范围广，适合大尺寸成像方向性强典型应用：包装破损检测液晶元件检测，大面积表面划痕检测优缺点：覆盖范围大，组合灵活图2.9条形光源2.2.2常用光源类型和应用场景1.按形状分类3)平板光源结构特点：由高密度LED阵列+光学扩散组成，发出均匀的扩散光安装限制：有时需定制中心开孔光源体积较大，需双边固定典型应用：外形轮廓检测、尺寸测量、透明物体表面划痕/污渍检测图2.10平板光源4)环形光源结构特点：由LED优化阵列设计而成性能稳定，安装方便优势：消除阴影，保证均匀照明突显目标成像特征可配合漫射板使用，使光线更柔和典型应用：表面缺陷检测条码识别、文字印刷质量检测、曲面或复杂形状物体成像图2.11环形光源2.2.2常用光源类型和应用场景1.按形状分类5)穹顶光源结构特点：通过漫反射实现均匀照明LED呈环形安装在底部→向上打光光线经球形穹顶反射后照射目标优势：消除对角照射产生的阴影对小目标（如螺纹）成像效果佳适用于高反光、不平整表面局限性：照射范围有限中心光线较强，边缘较弱大目标需配更大尺寸的穹顶光源典型应用：IC表面字符检测、电容器表面破损检测、电路板电容极性检测图2.12穹顶光源2.2.2常用光源类型和应用场景2.按拍摄角度分类斜射光源结构特点：光线从物体侧面，以一定角度照射、形成明显的光影对比应用方式：突出表面纹理和细节、特别适合凸起或凹陷部分的检测、边缘特征更加清晰典型应用：表面缺陷检测（划痕、裂纹）边缘检测（形状轮廓识别）纹理分析（表面结构差异）优缺点：优点为能增强细节、提升对比度；缺点为不适合大面积均匀成像，可能产生局部阴影图2.13斜射光源2.2.2常用光源类型和应用场景2.按拍摄角度分类2）低角度环形光源结构特点：环形光源以极低角度照射物体表面、光线几乎平行于物体表面、对表面微小高度差非常敏感优势：突出表面凸起与凹陷有效增强细小缺陷的对比度成像清晰，适合高精度检测典型应用：平整表面的划痕检测微小表面缺陷检测（如微裂纹、刻痕）优缺点：优点为对微小缺陷敏感，细节增强明显；缺点为仅适合平整表面，不适合复杂或高低起伏物体图2.14低角度环形光源2.2.2常用光源类型和应用场景2.按拍摄角度分类3）远心光源结构特点：通过远心镜头内部发出的平行光照射物体，确保物体各部分在视场中具有相同放大倍率，有效减少成像畸变优势：保持尺寸比例一致，成像精准减少边缘失真，提升测量精度与远心镜头配合使用效果最佳典型应用：高精度尺寸测量工件几何形状检测、对焦要求严格的检测任务优缺点：优点为高精度、低畸变，适合精密测量；缺点为成本较高，适用场景相对专一图2.15远心光源2.2.2常用光源类型和应用场景2.按拍摄角度分类4）散射光源(漫射光源)结构特点：光线经过散射材料处理，从多个角度均匀照射物体表面提供柔和、均匀的照明优势：消除或减少阴影、降低反射和高亮点干扰、成像效果自然稳定典型应用：高光泽表面检测（如金属、玻璃、塑料）；需要均匀、无阴影照明的场景；表面缺陷检测（划痕、污渍、微小凹凸）优缺点：优点光照柔和、无阴影，适合反光表面；缺点为光强较弱，不适合需要高亮度的场合图2.16散射光源(漫射光源)2.2.2常用光源类型和应用场景2.按拍摄角度分类5）同轴光源结构特点：光源与相机镜头同轴排列、光线通过半透镜或棱镜垂直照射物体表面、反射光沿同一轴线进入相机优势：提供一致、稳定的垂直照明有效减少高光泽物体的反射干扰成像清晰，对比度高典型应用：高反射率表面检测（如金属、玻璃、晶圆）、平整表面缺陷检测、高对比度要求的检测任务优缺点：优点为消除杂散反射，提升对比度；缺点为照射范围有限，不适合大尺寸或不平整物体图2.17同轴光源2.2.2常用光源类型和应用场景2.按拍摄角度分类6）背光源结构特点：光源位于物体背面产生均匀透射光，在图像中形成清晰的物体轮廓优势：轮廓边缘清晰，适合高精度识别。有助于突出透射特征背景干净，对比度高典型应用：物体轮廓检测、透明物体检测、边缘轮廓识别、精确尺寸测量优缺点：优点为成像简洁，边缘清晰，测量精度高；缺点为只能获取物体轮廓，难以显示表面细节图2.18背光源2.2.2常用光源类型和应用场景3.按波长分类看“里面”→穿透检测1）红外光源波长特点：较长，穿透性强适用场景：材料内部缺陷检测半透明物体检测高反射率、低对比度环境典型应用：塑料、硅片、IC卡等内部缺陷检测2）紫外光源波长特点：较短，可激发荧光适用场景：表面涂层检测裂纹、微小缺陷检测典型应用：电子元件、印刷品、化工产品检测3）可见光源波长特点：涵盖红、绿、蓝适用场景：常规检测最常见颜色识别、物体分类表面检查典型应用：包装、食品、日用品外观检测看“里面”→穿透检测看“表面”→荧光特征看“外观”→形态检测2.3机器视觉成像平台在机器视觉成像平台的设计与应用中，核心目标是实现高效、精准的图像获取与处理，以满足工业检测和自动化生产的需求。平台通常由相机、镜头、光源和图像处理软件组成，共同构建完整的视觉系统。本节将以手机盖板检测系统为例，介绍视觉成像平台的组成与应用。盖板玻璃与液态光学胶的贴合工艺对精度要求极高，若存在异物或位置偏差，将直接导致显示异常。因此，必须在贴合前完成缺陷检测与筛选，以提升产线良率、降低成本。在这一系统中，主要采用了两种常见的光学成像方式：面阵式成像系统与线扫式成像系统。通过实例分析，帮助理解机器视觉平台在实际生产中的结构与作用。本节导学2.3.1基于面阵拍摄平台的夹层异物检测异物类型图2.19含夹层异物待检产品侧面示意图在手机盖板玻璃贴合工艺中，产品可能存在两类异物：原料来料异物（来源于上游工艺，可在后续去除，产品仍可继续流转）贴合制程异物（来源于贴合过程，会造成显示异常，属于不良品，需及时筛除）因此，需要通过面阵拍摄平台实现对贴合后产品的拍照分层识别，准确区分异物！2.3.1基于面阵拍摄平台的夹层异物检测光源与成像对夹层异物检测的影响成像质量是关键：所有异物的识别依赖于采集的原始图像。光源选择重要：光源类型、照射方式直接决定图像质量。风险：光源不合适→倒影、反光→异物模糊甚至无法成像。解决办法：合适的光源+合理的照射角度→异物清晰呈现。常用光源：点光源、环形光源、条形光源、散射光源。目标：获得背景干扰小、对比明显的图像→提升异物分类准确率。2.3.1基于面阵拍摄平台的夹层异物检测同轴光源原理与应用图2.20同轴光源照射原理图(左)和实物图(右)原理：光源从侧面进入，经半反射镜反射，垂直照射待检产品→再次反射到相机成像。优势：适合玻璃类产品，能减少表面反光干扰，保证清晰成像。局限：若有凹凸异物→会产生漫反射，导致对比度下降、边缘模糊。要点：产品离光源越近，图像对比度与清晰度越高。2.3.1基于面阵拍摄平台的夹层异物检测光源与相机参数选择光源颜色：蓝光：波长短，适合捕捉细微划痕。红外光：穿透性强，检测内部异物相机的任务与要求：工业相机用于图像采集，要比普通相机更稳定、更高分辨率。成像质量直接决定检测精度。检测精度公式：分辨率=视野/检测精度（视野90mm，要达到0.02mm精度，至少需要4500像素)实际相机选择：本案例选用：300万像素CMOS面阵相机参数：像元尺寸3.45μm，分辨率6464×4852，曝光时间3μs–10s。合适的光源和相机配置，是保证夹层异物检测精度的前提!2.3.1基于面阵拍摄平台的夹层异物检测主要光学结构设计结构思路：光源、相机与产品需要合理布局，保证异物清晰成像常见方案：1）正面相机+正面光源：直接照射检测目标；2）正面相机+背面光源：形成透射图像，突出异物背面相机+正面光源：辅助检测，提升对比度关键点：多视角、多光源组合→异物更容易被识别。图2.23夹层异物检测拍摄图例图2.22主要光学结构图(左)和设计图(右)2.3.1基于面阵拍摄平台的夹层异物检测主要光学结构设计结构思路：光源、相机与产品需要合理布局，保证异物清晰成像常见方案：1）正面相机+正面光源：直接照射检测目标；2）正面相机+背面光源：形成透射图像，突出异物背面相机+正面光源：辅助检测，提升对比度关键点：多视角、多光源组合→异物更容易被识别。图2.23夹层异物检测拍摄图例图2.22主要光学结构图(左)和设计图(右)2.3.2基于线扫拍摄平台的贴合精度检测贴合精度检测原理检测动机：液态光学胶与盖板玻璃对位偏差→显示异常/大量不良品检测方法：1)在玻璃边缘布置检测框（如图a）;2)检查油墨区与光学胶边缘的相对位置（如图b）;3)通过多个检测点（通常8个）判断是否在标准范围内判定结果：偏差在允许范围内→合格产品流入下游。偏差超标→剔除图2.24贴合精度检测框位置及局部放大示意图2.3.2基于线扫拍摄平台的贴合精度检测贴合精度测量的光学结构检测原理：液态光学胶（OCA）的4条边应与盖板玻璃4条边平行对齐。以玻璃边缘的黑色油墨区作为参考线→测量位置偏移量=贴合精度。对相机的要求：需要高分辨率，才能精确测量边缘偏差。方案选择：采用线扫相机+同轴光源→在扫描方向上比面阵相机精度更高图2.25贴合精度测量主要光学结构图2.4本章小节相机系统介绍相机的主要组成部分（镜头、图像传感器、信号处理电路）探讨不同类型相机及关键参数（分辨率、帧率、快门类型）照明系统光源的类型与特点如何根据应用需求选择合适光源检测案例基于面阵拍摄平台的夹层异物检测基于线扫拍摄平台的贴合精度检测2.5思考与习题焦距(FocalLength)对镜头视角的影响是什么?短焦距镜头一般适用于什么场景?光圈(Aperture)如何影响成像亮度和景深?较大光圈在什么情况下使用较为合适?定焦镜头和变焦镜头的区别是什么?在机器视觉应用中,通常会优先选择哪种类型的镜头?为什么?相机的分辨率(Resolution)是如何定义的?高分辨率相机在哪些应用场景中更具优势?

相机的帧率(FrameRate)和曝光时间之间有什么关系?在高速运动目标检测中,如何调整帧率与曝光参数?2.5思考与习题6.全局快门(GlobalShutter)和滚动快门(RollingShutter)有什么区别?在高速成像时,为什么全局快门通常是更好的选择?7.光源的色温(ColorTemperature)对图像质量有什么影响?在何种场景下需要使用高色温光源?8.光源的均匀性(Uniformity)为什么在机器视觉中至关重要?如何选择能够提供均匀照明的光源类型?9.常见的直射光和散射光有什么区别?在高反光表面检测时,为什么通常选择散射光源?10.在选择机器视觉光源时,为什么需要考虑光源的亮度(Intensity)?在弱光或高反光环境下,应如何调整光源的亮度?工业机器视觉技术与应用提纲3.1图像预处理技术3.2图像特征提取3.3工业异常图像分类方法3.4工业异常图像分类的应用案例本章小结图像预处理技术概述01●技术定义:改善图像质量、增强关键信息的基础技术,为后续图像处理做准备●核心作用:提升图像信噪比,突出目标特征,减少噪声干扰。●应用价值:保障工业检测准确性,推动智能制造高质量发展。●技术体系:

涵盖灰度变换、二值化、去噪滤波、图像增强大类方法。目前一些基于深度学习的图像预处理效果提纲3.1图像预处理技术3.1.1灰度变换技术与二值化原理3.1.2图像去噪与滤波技术3.1.1灰度变换技术与二值化原理●基本概念:通过函数映射

调整像素灰度值,实现图像增强。●核心作用:改善对比度、亮度,校正设备失真,突出关键特征。主要方法:线性变换、分段线性变换、对数变换、幂律变换。

●线性变换:a控制对比度,b控制亮度幂律变换:通过γ值调整暗部/亮部细节γ<1增强暗部,γ>1增强亮部

灰度变换●工业应用场景:电子元器件纹理增强、金属表面缺陷检测。●效果对比:线性变换(整体调整)、对数变换(压缩动态范围)、幂律变换(针对性增强)。●最佳实践:分段线性变换对金属纹理结构突出效果最佳。●技术选型原则:根据检测目标特性选择最优变换方法。3.1.1灰度变换技术与二值化原理3.1.1灰度变换技术与二值化原理●基本概念:将灰度图像转换为仅包含黑白两种颜色的二值图像

●核心作用:简化图像信息、减少数据存储量、突出目标与背景的区别。主要方法:固定阈值法、Otsu阈值法、自适应阈值法●二值化(a)原图

(b)阈值二值化的图经过阈值处理后的图像变成了一幅黑白二值图。

其中f(x,y)是原始图像在坐标(x,y)处的灰度值，T是阈值，g(x,y)是二值化后图像相应位置的值。值255通常表示白色（前景），0表示黑色（背景）3.1.1灰度变换技术与二值化原理使用固定与之和Otsu阈值法，对元件和背景进行了较好的分割，但损失了金属不同的纹理结构特征。使用自适应阈值法保留了部分的纹理信息，同时对原器件的边缘进行了较好的分割3.1.2图像去噪与滤波技术去噪是一种常见的图像处理任务，旨在降低图像噪声水平，提高图像质量和清晰度。工业环境中存在噪声和干扰，这些干扰源导致图像质量降低和后续分析的准确性受到影响。内部元件：随机电子波动或热噪声引起的环境噪声：则来自电磁干扰、电源波动、光照不均匀或强烈光源等因素。压缩传输：过程中的压缩噪声也会影响图像质量3.1.2图像去噪与滤波技术常用的评估去噪效果的指标是信噪比（Signal-to-NoiseRatio，SNR），它衡量了信号与噪声的强度比例。信噪比的计算公式为：

其中，PS是去噪后图像的信号能量，可以使用去噪后图像的像素值计算平均值、总和或其他统计量作为信号能量。PN是去噪后图像中的噪声能量，可以通过去噪前后图像的差异计算噪声能量。●均值滤波:邻域像素平均值替代,平滑效果好但易模糊细节

3.1.2图像去噪与滤波技术●中值滤波:使用像素邻域内的中值来替代每个像素的原始值，在处理图像中的椒盐噪声等突发性噪声时具有较好的效果，并能保留图像细节。3.1.2图像去噪与滤波技术中值滤波器的核心思想是通过选择中间值来替代邻域内的异常像素，从而减少噪声的影响。特别是对于椒盐噪声这类突发性噪声，中值滤波器表现出较好的去噪效果。椒盐噪声是一种随机出现的亮或暗像素点的噪声，类似于盐和胡椒粉的颗粒。中值滤波器通过选择中间值来替代这些异常值，从而减少了噪声的影响。相对于线性滤波方法（如均值滤波），中值滤波器具有一个主要优点，即能够在去噪的同时保留图像的边缘和细节。这是因为中值滤波器不依赖于平均值，而是通过选择中间值来更新像素值。因此，它可以有效地去除图像中的噪声，并在保持图像细节方面具有优势。然而，中值滤波器也存在一些限制。首先，它对于均值较接近的噪声（如高斯噪声）效果不理想。其次，在处理具有细线条或细节的图像时，中值滤波器可能引入一些模糊效果。此外，中值滤波器的计算复杂度较高，特别是在较大的窗口大小和高分辨率图像上。●频率域滤波：是一种图像增强技术，通过将图像从空域转换到频域，对图像的频率成分进行滤波操作，然后再将图像从频域转换回空域，以实现图像的增强效果。频率域滤波通常包括低通滤波和高通滤波两种常见的操作。3.1.2图像去噪与滤波技术常见的低通滤波器——高斯滤波器

3.1.2图像去噪与滤波技术（a）原始测试图像（d）经低通滤波后的图像经过低通滤波过后，图像的边缘变模糊，细节丢失3.1.2图像去噪与滤波技术双边滤波：是一种常用的非线性滤波方法，用于平滑图像并保持边缘细节。它结合了空间域和灰度值域的信息，能够降低噪声的同时保留图像的边缘和纹理细节。相比于线性滤波方法，双边滤波能够更好地处理图像中的噪声。

●3.1.2图像去噪与滤波技术均值和中值滤波在一定程度上减小了噪声，但图像变得模糊；高斯滤波的结果较为清晰，但是仍然残留了一些噪声；双边滤波在去除噪声的同时保持图像的边缘信息3.1.2图像去噪与滤波技术深度学习滤波：深度学习滤波（DeepLearningFiltering）是一种基于深度学习技术的图像滤波方法。与传统的线性或非线性滤波方法不同，深度学习滤波使用神经网络模型来学习图像滤波器的参数，以实现更精确的图像处理和增强。●3.1.2图像去噪与滤波技术网络结构：输入为噪声图像Noisy，头(head)为Conv+ReLU，中间(body)为若干个Conv+BN+ReLU，尾(Tail)为Conv，输出是残差图，即学习到的噪声；网络深度：卷积大小均为3×3，无池化层，感受野为35×35，网络深度一般为17或20（可调）；残差学习RL和批归一化BN：实验证明RL+BN的可以加快和稳定训练，还能提高去噪性能；损失函数：学到的残差和实际噪声之间的L2损失，当损失最小时模型学到了最优参数；噪声图像y-干净图像x对之间的残差被网络学习3.1.2图像去噪与滤波技术深度学习滤波大幅超过了现有传统方法的去噪、滤波模型，性能更优提纲3.2图像特征提取3.2.1边缘检测与角点检测3.2.2纹理特征与颜色特征3.2.3高阶特征的提取方法3.2图像特征提取特征是用于图像工业检测应用的关键，本节将主要介绍一些常见的图像特征提取技术，主要包括对图像的边缘和角点，颜色和纹理等基本特征的提取方法角点特征边缘特征3.2.1边缘检测与角点检测常见的边缘包括三种类型，阶梯状、脉冲状，以及屋顶状

阶梯状

脉冲状

屋顶状Sobel算子使用两个3x3的卷积核分别计算水平和垂直方向的梯度。它对噪声具有一定的平滑作用，但可能会导致边缘位置的轻微偏移。Sobel算子的数学表达式：水平方向：[-101][-202][-101]垂直方向：[-1-2-1][000][121]3.2.1边缘检测与角点检测Canny边缘检测器：首先使用高斯滤波器平滑图像，然后计算图像梯度的幅值和方向。然后对梯度幅值进行非最大抑制，细化边缘。最后使用双阈值法检测和连接边缘。使用Canny边缘检测器可以很好的提取图像的边缘特征3.2.1边缘检测与角点检测LoG算子结合了高斯平滑和拉普拉斯边缘检测。它首先使用高斯滤波器平滑图像，然后应用拉普拉斯算子检测边缘。LoG对噪声比较敏感，但能够检测边缘的位置和方向。

3.2.1边缘检测与角点检测在工业数据集上展示了各个方法的检测效果，Sobel方法达到了较好的边缘检测效果，Canny边缘检测算法在边缘过于平滑，出现了部分图形检测失败的结果。LOG边缘检测由于对噪声比较敏感，效果较差3.2.1边缘检测与角点检测角点是图像中两个或多个边缘相交的点，它们在图像匹配、目标跟踪等任务中起着重要作用角点特征角点检测3.2.1边缘检测与角点检测Harris角点检测的步骤，首先计算图像在x和y方向的梯度。对每个像素，构造自相关矩阵M。计算角点响应函数R，后进行非最大抑制，选择局部最大值点作为角点Harris响应分数R自相关矩阵M阈值处理：只有R分数高于特定阈值的像素才被视为潜在的角点候选。非极大值抑制：只保留区域中R分数最高的像素，抑制其他像素3.2.1边缘检测与角点检测FAST角点定义为：若某像素点与其周围领域内足够多的像素点处于不同的区域，则该像素点可能为角点FAST算法步骤从图片中选取一个像素P，下面我们将判断它是不是一个特征点。我们首先把它的亮度值设为Ip;设定一个合适的阈值t;考虑以该像素点为中心的一个半径等于3像素的离散化的Bresenham圆，这个圆的边界上有16个像素；现在，如果在这个大小为16个像素的圆上有n个连续的像素点，他们的像素值要么都比Ip+t大，要么都比Ip−t小，那么他就是一个角点3.2.1边缘检测与角点检测使用三种角点检测方法的结果如图所示，使用SIFT算法在小型电子元器件的角点检测的效果中较好，但仍然存在对平滑器件部分的误检。其他两类方法也可以检测出部分角点特征，但存在多数的漏检。3.2.1边缘检测与角点检测3.2.2纹理特征与颜色特征纹理具有三个基本特性：重复性：某种局部序列性不断重复非随机排列：纹理特征保持特定的分布方向尺度性：纹理区域内大致为均匀的统一体纹理和颜色是描述图像内容的重要中级特征，它们为图像分类、分割和检索等任务提供了重要的信息纹理作为图像的基本视觉特征之一，在计算机视觉和图像处理领域扮演着至关重要的角色。纹理特征描述了图像表面结构的空间排列和灰度分布规律，反映了物体表面的同质视觉模式，这种模式通常由颜色或灰度的某种局部变化重复排列所形成。1.纹理特征3.2.2纹理特征与颜色特征灰度共生矩阵(GLCM)是最常用的纹理特征的统计方法之一GLCM的构建步骤：

1）确定距离d和方向θ（通常为0°,45°,90°,135°）。2）统计满足距离和方向条件的像素对的灰度值出现频率。3）将统计结果归一化，得到概率矩阵。GLCM中可以提取多种统计量，对比度：反映图像的清晰度和纹理的沟纹深浅。相关性：反映图像的局部灰度相关性。能量：反映图像灰度分布的均匀性和纹理的粗细。同质性：反映图像纹理的局部变化情况。3.2.2纹理特征与颜色特征共生矩阵的大小：在不对原图像灰度级别进行压缩的情况下，共生矩阵的大小为原图像灰度的级数的平方

基准窗口：当前像素为中心的某一个窗口，尺寸通常为奇数方阵，大小可设为3*3,5*5,7*7等

移动窗口：以基准窗口为参考窗口，通过设定的移动方向和步长进行移动的窗口。尺寸大小与基准窗口的一样，位置由移动方向与步长决定

移动方向：基准窗口与移动窗口的相对方向。移动方向可以任意设定，通常为0°，45°，90°，135°

移动步长：基准窗口中心像元和移动窗口中心像元的距离（用像素表示）3.2.2纹理特征与颜色特征纹理滤波器：组为了能提取图像中不同的纹理，可以用不同形态、不同尺寸的滤波器（核）分别对图像进行卷积，实现不同类型的特征提取和描述3.2.2纹理特征与颜色特征采用不同滤波器对图像的纹理提取效果3.2.2纹理特征与颜色特征不同图片采用不同滤波器提取的平均化特征图也不同平均特征图的展示3.2.2纹理特征与颜色特征根据不同的纹理特征，可以用于地物分类，以及人体组织的检测定位显示了二级腔静脉（图片下三分之一处的暗区）的超声图像。肝脏的一部分被白色斑点包裹，以便于简单区分，显示出与周围组织相比独特的纹理。3.2.2纹理特征与颜色特征2.颜色特征颜色特征指图像中与物体或场景相关的视觉特征，具有对尺寸、方向变化的鲁棒性，广泛应用于图像检索。其表达需通过颜色空间转换实现量化，描述方法包括颜色直方图、颜色矩、颜色聚合向量等HSIHue-Saturation-IntensityRGB3.2.2纹理特征与颜色特征量化颜色直方图主要操作包括颜色空间量化，单元bin由中心单元表示统计落在量化单元上的像素数量正常图像过渡曝光图像天空的细节丢失了3.2.2纹理特征与颜色特征颜色矩颜色矩是以数学方法为基础的，通常颜色矩直接在RGB颜色空间计算，也可以在其他颜色空间计算。颜色主要信息分布在低阶矩，因此常用一阶矩、二阶矩。其定义如下：

其中i代表R、G、B三个颜色通道，j表示像素值，N表示像素数量。从定义可以看出，一阶矩表示每个颜色通道的平均值；二阶矩表示颜色方差。3.2.3高阶特征的提取方法1.卷积神经网络(CNN)CNN通过多层卷积和池化操作自动学习图像的层次化特征表示。这种层次化结构使得CNN能够捕捉从简单到复杂的特征，非常适合处理图像数据。1）卷积层：使用不同的滤波器（卷积核）提取局部特征。每个滤波器在整个输入图像上滑动，执行卷积操作。数学表达式：

这个公式描述了离散卷积运算：(f*g)[n]表示输出序列在n点的值，由输入序列f[m]与经过翻转平移的冲激响应g[n-m]在所有m点乘积的总和∑（从m=-∞到∞）3.2.3高阶特征的提取方法2）激活函数：通常在卷积层后应用非线性激活函数，如ReLU（RectifiedLinearUnit）。它的作用是引入非线性，增强网络的表达能力。ReLU函数通常可以表述为：

3）池化层：降低特征图的空间维度，提高模型的平移不变性。池化层减少了参数数量，控制过拟合。常用的池化操作包括最大池化和平均池化。4）全连接层：综合学习到的特征，用于最终的分类或回归任务。全连接层的操作可以表示为：

3.2.3高阶特征的提取方法使用CNN通过多层卷积和池化操作自动学习图像的层次化特征表示。可以用于多种图像处理任务，如分类、分割、图像恢复等在分类任务上使用神经网络突破了传统手工设计的特征提取方法在分割任务上实现了精细化的图像分割3.2.3高阶特征的提取方法2.迁移学习迁移学习是一种有效利用预训练CNN模型的方法。它允许我们将在大规模数据集（如ImageNet）上学到的知识迁移到新的、可能较小的数据集上。通过“迁移学习”，我们可以利用预先存在的模型，例如训练有素的狗与猫的分类。使用预先训练的模型，我们可以打开CNN，然后将“迁移学习”应用到另一个完全不同的数据集（例如熊）3.2.3高阶特征的提取方法迁移学习的优势：1.减少训练数据需求，利用预训练模型的知识，可以在较小的数据集上取得好结果2.加快训练速度，从一个好的初始点开始，可以更快地收敛到最优解。3.提高泛化能力，预训练模型已经学习了丰富的特征表示，有助于提高模型在新任务上的泛化能力。

3.2.3高阶特征的提取方法3.2.2高阶特征的提取方法左侧的图像表示在目标域中的有标注数据非常稀少,不足以训练一个可靠的分类器;如果能找到像右图中那些红色的辅助数据。那么就可以训练出一个高精度的分类器。源域数据和目标域数据分布不同，所以存在一些数据会“误导”分类器，比如左图中的“被分错了提纲3.3工业异常图像分类方法3.3.1基于统计学习的分类方法3.3.2基于深度学习的分类方法3.3.3异常检测与分类模型的评价指标3.3.1基于统计学习的分类方法1.贝叶斯定理条件概率公式，定义:设A,B是试验E的两个随机事件，且P(B)>0,则称在B条件下A发生的概率=AB同时发生的概率/B发生的概率3.3.1基于统计学习的分类方法一般化贝叶斯公式推导定理(全概率公式):

设A1,A2,…,An是样本空间Q的一个划分，P(Ai)>0,i=1,2,…,n,B是任一事件，则有全概率公式证明

3.3.1基于统计学习的分类方法1.贝叶斯分类器在特征提取完成后，需要利用训练数据来构建贝叶斯分类器模型。该模型可以通过以下步骤实现：

3.3.1基于统计学习的分类方法1.贝叶斯分类器用贝叶斯定理如式所示：

3.3.1基于统计学习的分类方法

3.3.1基于统计学习的分类方法​场景引入：半导体晶圆生产线​•​背景​：在半导体制造中，晶圆需要在一个精密的蚀刻机​中进行加工。机台内部的两个关键参数：•​温度​(单位:°C)•​腔室压力​(单位:mTorr)•​问题​：机台运行久了可能发生轻微异常（如某个传感器漂移、气体管路轻微泄漏），这些异常会导致产品良率下降。我们需要根据温度和压力的读数，实时判断机台当前处于​​“正常”​​还是​​“异常”​​状态。3.3.1基于统计学习的分类方法假设我们从历史数据中统计了如下信息，这些构成了我们的先验知识​：​先验概率(PriorProbability)​​：•P(正常)=0.90（90%的时间机台是正常的）•P(异常)=0.10（10%的时间机台存在异常）​条件概率/似然度(Likelihood)​​：我们观察到，在“正常”和“异常”两种状态下，温度和压力的读数分布不同。为简化计算，我们假设特征之间相互独立（即朴素的假设），并得到以下概率：状态(Class)特征(Feature)概率值含义​正常​温度=偏高P(温度=偏高\|正常)=0.05在正常状态下，温度读数为“偏高”的概率是5%压力=偏高P(压力=偏高\|正常)=0.10在正常状态下，压力读数为“偏高”的概率是10%​异常​温度=偏高P(温度=偏高\|异常)=0.80​在异常状态下，温度读数为“偏高”的概率高达80%​​压力=偏高P(压力=偏高\|异常)=0.60​在异常状态下，压力读数为“偏高”的概率是60%​3.3.1基于统计学习的分类方法一次新的观测到来！​​现在，蚀刻机的一个新读数来了：​温度=偏高​​压力=偏高​​请问：这台机台当前更可能处于“正常”状态还是“异常”状态？​贝叶斯分类器的核心是计算后验概率，并选择概率最大的那个类别。我们要比较两个后验概率：P(正常|温度=偏高,压力=偏高)P(异常|温度=偏高,压力=偏高