先进成形与智能技术 课件 7.2 视觉检测技术

7.2视觉检测技术基础理论战略性新兴领域教材建设团队-重型高端装备制造目录CONTENTS7.2.1计算机视觉检测系统7.2.2数字图像处理与

计算机视觉技术基础理论7.2.3视觉检测技术的应用案例7.2.1计算机视觉检测系统应用范围广泛战略性新兴领域教材建设团队-重型高端装备制造1尺寸测量与定位视觉检测系统在工业制造中用于精确测量工件尺寸和位置，确保产品符合设计要求，提升生产效率和产品质量。表面缺陷检测通过高清摄像头捕捉图像，视觉检测系统能够识别并分析工件表面的微小缺陷，有效减少不良品率，提高产品质量。物料处理与跟踪视觉检测系统在物流和生产流程中扮演关键角色，实现对物料的自动识别、分类和跟踪，优化资源分配，降低人力成本。123尺寸测量与定位表面缺陷检测物料处理与跟踪战略性新兴领域教材建设团队-重型高端装备制造2组成部分介绍在视觉检测系统中，相机与光源是获取图像信息的关键硬件，它们负责将实际场景转换为数字图像，为后续的图像处理提供原始数据。相机与光源的作用镜头作为连接相机和拍摄对象的桥梁，其质量直接影响到图像的清晰度和细节表现，是确保视觉检测准确性的重要因素。镜头的重要性图像采集卡是实现图像从模拟信号到数字信号转换的关键部件，它负责将通过镜头和相机捕获的图像数据传输给计算机进行进一步处理。图像采集卡功能7.2.1计算机视觉检测系统战略性新兴领域教材建设团队-重型高端装备制造37.2.1.1图像传感器7.2.1计算机视觉检测系统CCD相机CMOS相机高质量图像输出低光环境表现好高速图像捕捉低功耗性能高速读取能力灵活性与应用广泛按照图像传感器的排列方式来分:面阵相机线阵相机采用面阵传感器捕获高分辨率图像清晰细节高质成像使用线阵传感器捕捉一维动态对象高速连续成像主要考虑图像分辨率、成像速度以及成像维度战略性新兴领域教材建设团队-重型高端装备制造47.2.1.2光源照明系统7.2.1计算机视觉检测系统光源选择重要性影响图像质量光源的选择直接影响视觉检测系统中输入图像数据的质量，合理的光源能显著提高图像清晰度和对比度，为后续图像处理打下坚实基础。适应不同应用需求不同的工业应用对照明方式和光源的发光机理有特定要求，如环形光源适用于成像和检测任务，而同轴光源则更适合表面缺陷检测。综合考量因素在选择光源时，需考虑其对图像质量、功耗、成本和速度的影响，确保所选光源在满足特定应用需求的同时，也符合经济性和实用性原则。123战略性新兴领域教材建设团队-重型高端装备制造57.2.1.2光源照明系统7.2.1计算机视觉检测系统钨丝白炽灯钨丝白炽灯通过加热钨丝使其发光，是最早的电光源之一，以其成本低廉和连续光谱输出而被广泛使用。卤素灯卤素灯在传统白炽灯的基础上加入卤素气体，提高了灯泡的寿命和光效，常用于需要高亮度和色温稳定性的场合。发光二极管（LED）LED是一种半导体光源，具有高效节能、长寿命和环保的特点，广泛应用于显示技术、照明和信号指示等领域。性能卤素灯LED激光亮度较亮较亮亮响应速度慢快慢单色性差好好聚光性差中好频闪不可频闪可频闪不可频闪常用光源对比战略性新兴领域教材建设团队-重型高端装备制造87.2.1.3视觉检测系统7.2.1计算机视觉检测系统视觉检测系统的组成高性能硬件配置在视觉检测系统设计时，选择高性能的工业相机和服务器是确保实时性的关键，这些硬件设备能够快速获取图像数据，满足在线检测的需求。软件系统的实时性软件系统的实时性对于视觉检测系统至关重要，需要设计高效的图像处理算法，以确保数据处理速度与硬件获取速度相匹配，实现实时检测。系统检测速度保障通过优化硬件和软件的实时性，可以有效保证视觉检测系统的检测速度，满足在线检测对实时性的高要求，提高整个系统的检测效率和准确性。战略性新兴领域教材建设团队-重型高端装备制造77.2.1.3视觉检测系统7.2.1计算机视觉检测系统图像分类物体检测语义分割视频分析软件系统在视觉检测中的作用软件系统作为视觉检测的核心，负责处理和分析图像数据，通过预处理、分类、目标检测和分割等模块，为实时在线检测提供精确的数据支持主要功能模块软件系统包括图像预处理、分类算法、目标检测算法和分割算法等关键模块，每个模块都承担着特定的任务，共同确保图像信息的有效处理和精准分析。第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造9图像预处理方法1卷积神经网络2图像检测算法3图像分割算法4第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造11图像预处理方法-滤波算法滤波算法空间域滤波频率域滤波直接对图像的像素进行操作均值滤波高斯滤波中值滤波在图像的频率域进行处理低通滤波高通滤波带阻滤波第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造12图像预处理方法-边缘检测算法任务：识别图像中物体之间的边界或边缘信息图像的边缘：图像中物体或场景之间像素强度突然变化的地方，如果将图像的灰度值看作是函数的话，那么在图像的边缘处梯度通常是最大的。可以通过这一性质来确定图像中边缘的位置。第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造13图像预处理方法-边缘检测算法边缘检测算法主要包括基于梯度的算子：Sobel、Prewitt、Laplacian算子、Canny边缘检测算法。原图Robert算子Sobel算子Laplacian算子第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造14卷积层池化层全连接层卷积神经网络的一般构成第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造15卷积层-ConvolutionLayer

W和H分别表示图像的宽度和高度，下标filter表示卷积核的相关参数，S表示卷积核步长，P表示填充数第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造16池化层-PoolingLayer作用：缩小数据规模，收集关键特征，提高计算速度

输入卷积层池化层第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造17池化-Pooling第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造18激活层-ActivationLayer线性关系非线性关系第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造19激活函数-Sigmoid将输入值映射到0-1范围内第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造20适用于多分类任务，将神经网络的输出转换为概率分布，输出节点的概率总和为1激活函数-Softmax0.20.050.75第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造21将输入值映射到-1-1范围激活函数-ReLU第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造1全连接层-FullyConnectedLayer全连接层的主要作用：将卷积和池化层的输出转换为最终的分类或回归结果。它通过在网络的最后一层引入全连接操作，将之前层级提取的特征映射转化为类别概率或数值预测。第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造22目标检测算法有无区域提案阶段？目标：对待检测物体的定位和分类YesNo第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造23目标检测的应用车辆检测行人检测第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造24目标检测算法-FasterR-CNN创新点：提出了区域选择网络用于生成候选框，能极大提升检测框的

生成速度。第一个端到端，最接近于实时性能的深度学习检测算法

首先输入图像到卷积网络中，生成该图像的特征映射。在特征映射上应用RegionProposalNetwork（RPN），返回ObjectProposals（OP）和相应分数。应用Rol池化层，将所有proposals修正到同样尺寸。最后，将proposals传递到完全连接层，生成目标物体的边界框。第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造25图像分割算法图像分割算法传统图像分割算法语义分割算法阈值分割：根据色彩或灰度特征设置阈值，把图像像素点分为若干类别区域分割：根据区域特征的相似性将图像划分成不同的区块边缘分割：根据边缘特征（像素的灰度等级或结构突变的地方）将图像划分成不同的区块完成在像素点上对各类目标的分类任务第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造26语义分割应用街景分割医学图像分割第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造27深度学习语义分割算法的发展现状第7章先进成形智能检测技术7.2.2数字图像处理与计算机视觉技术基础理论战略性新兴领域教材建设团队-重型高端装备制造28语义分割算法-UNetEncoder-Decoder结构编码阶段：设计了一个23层的卷积网络，用于提取图像中上下文信息。解码阶段：采用跳级连接融合不同阶段的特征图，逐层恢复目标的细节信息，将深层特征图和编码器中对应的浅层特征通过特征级联的方式进行融合，逐级恢复待分割对象的细节信息，最终输出分割结果。Skip-Connection战略性新兴领域教材建设团队-重型高端装备制造301板带表面缺陷在线检测技术检测系统概述7.2.3视觉检测技术的应用案例光源照射过程光源发出的光以一定角度照射到运行状态的带钢表面上，为后续图像采集提供光照条件。反射光强度转换线阵CCD摄像机采集从钢板表面反射的光，并将反射光的强度转换成灰度图像，为后续图像处理提供数据基础。二维图像构建原理线阵CCD相机完成横向一维扫描，而带钢的运行实现纵向扫描，从而构成二维图像，便于后续缺陷检测和识别。缺陷检测中的光线变化如果钢板表面存在缺陷，会对入射光产生吸收或散射作用，导致进入摄像机光线的强度发生变化。反射光强度与缺陷关系带钢表面的缺陷会改变反射光的强度，通过检测反射光强度的变化，可以判断钢板表面是否存在缺陷。战略性新兴领域教材建设团队-重型高端装备制造311板带表面缺陷在线检测技术系统架构组成：硬件系统介绍7.2.3视觉检测技术的应用案例上下表面检测单元由光源和摄像机组成，用于获取带钢表面的图像信息。通过采集带钢表面的反射光，并将其转换成灰度图像，实现对带钢表面缺陷的检测。并行计算机处理系统通过实现多台计算机对图像的并行处理，可以显著提高系统的数据处理能力。通过实现多台计算机对图像的并行处理，可以显著提高系统的数据处理能力。服务器与控制台服务器与多台控制台终端相连，用来显示和记录带钢的缺陷图像和数据。服务器与多台控制台终端通过有线或无线的方式连接，实现数据的实时传输和显示。是表面缺陷检测系统的重要组成部分。战略性新兴领域教材建设团队-重型高端装备制造321板带表面缺陷在线检测技术系统架构组成：软件系统介绍7.2.3视觉检测技术的应用案例图像处理图像处理步骤包括目标检测、图像分割、特征提取和缺陷分类，这四个步骤是带钢表面缺陷在线检测系统的核心流程。简化识别算法简化识别算法可以提高系统的实时数据处理能力，保证带钢表面缺陷检测的高效性和准确性。战略性新兴领域教材建设团队-重型高端装备制造331板带表面缺陷在线检测技术检测效果展示：特殊缺陷处理7.2.3视觉检测技术的应用案例图像处理热轧生产中，由于节奏快、图像数据量大，所以在表面检测过程中需要滤掉大量的非缺陷，比如水印、成片氧化铁皮等，显示对质量有较大影响的缺陷，比如氧化铁压入、辊印、划伤、异物压入、裂纹等，尤其对于连续性或周期性缺陷，比如矫直辊压痕、轧辊印、严重连续划伤等需要及时报警。战略性新兴领域教材建设团队-重型高端装备制造342高速铁路重轨表面缺陷检测系统基于双目线阵相机的多维视觉感知实时数据采集与分析处理系统7.2.3视觉检测技术的应用案例多维视觉感知系统概述多维视觉感知系统是一种基于双目线阵相机的实时数据采集与分析处理系统，用于高速铁路重轨表面缺陷检测。该系统的组成两台高分辨工业彩色线阵相机和两台高亮度线型LED光源组成的图像数据采集装置，以及重轨线性运动平台。数据集构建构建了一套全新的多维重轨表面缺陷图像数据集，既有二维彩色图像，又有三维深度图像。该数据集是国际上首个公开的工业级多维表面缺陷图像数据集123战略性新兴领域教材建设团队-重型高端装备制造353H型钢尺寸测量技术H型钢概述7.2.3视觉检测技术的应用案例热轧H型钢的重要性热轧H型钢是大型工程的重要建材与构件，具有较高的抗弯和抗压性能、比强度高、生产率高、安装便利、轻质、绿色可循环等优点。H型钢的应用领域热轧H型钢广泛应用于建筑、石油化工、船舶、电力、交通运输等领域助力绿色制造热轧H型钢相比焊接H型钢可以降低生产过程中的能耗和物耗。12345热轧H型钢生产趋势产正朝着智能化、高质量方向发展，实时获取型钢断面尺寸信息H型钢尺寸测量技术太原理工大学团队提出了一种基于结构光的视觉测量技术，满足高温生产环境下的测量需求。战略性新兴领域教材建设团队-重型高端装备制造363H型钢尺寸测量技术：难点7.2.3视觉检测技术的应用案例高温环境对测量的影响热轧H型钢的高温生产环境使得传统接触式测量方法不能满足测量需求，这是当前测量技术面临的主要挑战之一。断面尺寸在线测量的难题实现H型钢断面全尺寸在线测量是另一个技术挑战，需要解决实时获取型钢断面尺寸信息和数据拼接等问题。高精度、抗干扰测量的需求基于结构光的视觉测量技术虽然具有高精度、抗干扰能