基于机器视觉的测控技术模板PPT课件

.,1,第5章基于机器视觉的测控技术,主要内容机器视觉测控系统数字图像处理图像融合技术典型应用HALCON简介,.,2,介绍机器视觉测控系统、数字图像处理方法以及图像信息融合术，简要介绍应用作者研制的ZM-VS1300视觉智能测控系统平台研制开发自己专用视觉测控系统方案，最后给出了作者研制的机器视觉测控系统典型应用案例。,第5章基于机器视觉的测控技术,第5章基于机器视觉的测控技术,.,3,5.1机器视觉测控系统,本节从机器视觉测控系统的基本概念出发，综合机器视觉测控系统原理、技术和应用进行介绍。典型的视觉检测系统的构成：,.,4,.,5,5.1.1机器视觉检测系统硬件,光源照度要适中亮度要均匀亮度要稳定不应产生阴影照度可调,.,6,.,7,5.1.1机器视觉检测系统硬件,图像传感器CCD电荷耦合器件摄像机（ChargeCoupledDevice）:感光像元在接收输入光后，产生电荷转移，形成输出电压。分为线阵和面阵两种。性价比高，受到广泛应用。CMOS摄像机（ComplementaryMetalOxideSemiconductor）:体积小、耗电少、价格低，在光学分辨率、感光度、信噪比和高速成像等已超过CCD。,.,8,5.1.1机器视觉检测系统硬件,图像传感器其他：飞点扫描器（FlyingPointScanner）、扫描鼓、扫描仪、显微光密度计等。遥感图像获取设备：光学摄影：摄像机、多光谱摄像机等；红外摄影：红外辐射计、红外摄像仪、多通道红外扫描仪等；,.,9,5.1.1机器视觉检测系统硬件,图像采集卡:将视频图像以模拟电信号方式输出标准视频信号：黑白视频（RS-170、RS-330、RS-343、CCIR）、复合视频（NTSC、PALSECAM制式）、分量模拟视频、S-Video等。非标准视频信号：非标准RGB信号、线扫描信号、逐行扫描信号。,.,10,5.1.1机器视觉检测系统硬件,图像采集卡的设计基于PCI总线的图像采集卡的设计,.,11,5.1.1机器视觉检测系统硬件,基于USB总线的图像采集卡的设计,.,12,5.1.2机器视觉检测系统软件,近年来，机器视觉工作者在研究视觉测控系统硬件的同时，也对机器视觉检测处理的共性软件进行了研究开发，出现了很多机器视觉测控系统组态软件平台，如最具代表性的机器视觉软件HALCON。,.,13,5.1.3视觉检测系统应用,缺陷检测尺寸测量PCB焊点检测与分类,.,14,5.2数字图像处理,数字图像处理技术是一门跨学科的前沿高科技，是在信号处理、计算机科学、自动控制理论及其他应用领域基础上发展起来的边缘学科，是认识世界、改造世界的重要手段。目前图像处理与识别技术已应用于许多领域，成为21世纪信息时代的一门重要的高新科学技术。,.,15,5.2.1平滑和滤波,邻域平均,一般实际情况中，考虑到运算的计算量，为33的模板,.,16,5.2.1平滑和滤波,中值滤波法将模板在图中漫游，并将模板中心与图中某个像素位置重合；读取模板下各对应像素的灰度值；将这些灰度值从小到大排成1列；找出这些值里排在中间的1个；将这个中间值赋给对应模板中心位置的像素。,.,17,空域滤波实现,5.2.1平滑和滤波,.,18,5.2.2边缘检测,梯度算子实际操作中，用下面式子取代微分：,.,19,梯度算子用标准的模板来计算梯度：（a）Roberts（b）Prewitt（c）Sobel,5.2.2边缘检测,.,20,拉普拉斯算子对一个连续函数，它在位置处的拉普拉斯值定义如下：,5.2.2边缘检测,.,21,拉普拉斯算子计算函数的拉普拉斯值也可以借助各种模板实现，它要求模板的中心像素系数应该是正的，而对应中心像素的邻近像素的系数应是负的，且它们之和应该是零。,5.2.2边缘检测,.,22,Marr-Hildreth边缘检测算子,5.2.2边缘检测,此算子有无限长拖尾，在具体实现卷积时，应取一个NN的窗口。同时，为了减小卷积运算的计算量，可用两个不同带宽的高斯曲面之差（DOG）来近似。,.,23,Marr-Hildreth边缘检测算子,5.2.2边缘检测,考虑到M-H算子的对称性，可采用分解的方法来提高运算速度。即把一个二维滤波器分解为独立的行、列滤波器。,.,24,将方程改写为其中:,5.2.2边缘检测,.,25,Canny边缘检测法Canny给出了评价边缘检测性能优劣的三个指标（1）低失误概率（2）高定位精度（3）对单一边缘仅有唯一响应设n为任意方向，Gaussian函数在这个方向上的一阶导数为：,5.2.2边缘检测,.,26,Canny边缘检测法当一个像素满足以下三个条件时，则被认为是图像的边缘点：（1）该点的边缘强度大于沿该点梯度方向的两个相邻像素的边缘强度；（2）与该点梯度方向上相邻两点的方向差小于45；（3）以该点为中心33的邻域中的边缘强度极大值小于某个闭值。,5.2.2边缘检测,.,27,Canny边缘检测法Canny算子的算法实现（1）对要处理的图像I作高斯光滑，则新的图像为，其次对求的方向导数（2）细化M中所有的边（3）双阈值操作,5.2.2边缘检测,.,28,5.2.3图像分割,灰度阈值法图像阈值化处理的变换函数表达式为：阈值的选取间接阈值法多阈值法p尾法确定阈值,.,29,阈值的选取间接阈值法多阈值法p尾法确定阈值最大类间方差确定阈值假定图像的灰度区间为，设以灰度k为阈值将图像分为两个区域，灰度为1k的像素和灰度为k+1L的像素分别属于区域A和B，则区域A和B的概率分别为：,5.2.3图像分割,.,30,最大类间方差确定阈值区域A和B的平均灰度为：其中为全图的平均灰度：两个区域的方差为：,5.2.3图像分割,.,31,最大类间方差确定阈值按照最大类间方差的准则：组间方差越大，则两组的差别越大。即k值越大，表明分割效果越好。从1至L改变k，并计算类间方差，使式最大的k,即是区域分割的阈值。最佳熵自动阈值法峰谷法,5.2.3图像分割,.,32,区域生长,5.2.3图像分割,在实际应用区域生长法时需要解决3个问题：选择或确定1组能正确代表所需区域的种子像素；确定在生长过程中能将相邻像素包括进来的准则；制定使生长停止的条件或规则。,.,33,区域生长实现步骤对图像进行光栅扫描，求出不属于任何区域的像素。当寻找不到这样的像素时结束操作。把这个像素灰度同其周围（4-邻域或8-邻域）不属于其他区域的像素进行比较，若灰度差值小于阈值，则合并到同一区域，并对合并的像素赋予标记。,5.2.3图像分割,.,34,从新合并的像素开始，反复进行步骤的操作。反复进行步骤、的操作，直至不能再合并。返回步骤的操作，寻找新区域出发点的像素。,5.2.3图像分割,.,35,分裂合并利用分裂合并算法对图像进行分割的步骤生成图像的四叉树结构。,5.2.3图像分割,.,36,根据经验和任务需要，从四叉树的某一层开始，合并满足一致性属性的共根的4个子块。重复对图像进行操作，直到不能合并为止。考虑上一步中没有合并的子块，如果它的子节点不满足一致性准则，将这个节点永久地分为4个子块。如果分出的子块仍不满足一致性准则，继续划分，直到所有的子块都满足为止。,5.2.3图像分割,.,37,由于人为地将图像进行四叉树分解，可能会将同一区域的像素分在不能按照四叉树合并的子块内，因此需要搜索所有的图像块，将邻近的未合并的子块合并为一个区域。由于噪声影响或者按照四叉树划分区域边缘未对准，进行上述操作后可能仍存在大量的小的区域，为了消除这些影响，可以将它们按照相似性准则归入邻近的大区域内。,5.2.3图像分割,.,38,5.2.4特征提取,线提取Hough变换原理在图像空间XY里，设所有过点（x,y）的直线都满足方程：式中，p为直线的斜率，q为直线的截距。也可以写成：式中表示参数空间PQ中过点（p,q）的一条直线。图像空间到参数空间之间的转换可以用图表示：,.,39,Hough变换原理在实际使用哈夫变换时，要在上述基本方法的基础上根据图像具体情况采取一些方法以提高精度和速度，在实际中常用的是极坐标直线方程。,5.2.4特征提取,.,40,Hough变换原理图像平面上的一个点就对应到参数平面上的一条正弦曲线上。哈夫变换最适合于检测较简单曲线,5.2.4特征提取,.,41,直线提取以下是用Hough变换检测直线的算法过程：初始化变换域空间的数组，表示图像对角线方向的像素数，方向上角度初始化数目为90。顺序搜索图像中所有的物体点，对每一个物体点，按照变换域的各个点加1。求出变换域的值大于一定阈值的点并记录。根据这些点在原空间内画出直线。,5.2.4特征提取,.,42,骨架提取中轴变换原理具有边界B的区域R的MAT是如下确定的：对每个R中的点P，在B中搜寻与它最近的点。如果对P能找到多于1个这样的点（即有2个或以上的B中的点与P同时最近），就可认为P属于R的中线或骨架，或者说P是1个骨架点,5.2.4特征提取,.,43,简化的中轴变换算法：根据对二值图像特点的分析，经过实验，采用了一种简单而且效果很好的算法。可以根据一个像素的8个相邻点的情况来判断该点是否应该删除内部点不能删除；孤立点不能删除；直线端点不能删除；如果P是边界点，去掉P后，如果连通分量不增加，则P可以删除。,5.2.4特征提取,.,44,每次对整幅图像逐行扫描一遍，对于每个点（不包括边界点），计算它对应在表中的索引，若为0，则保留，否则删除该点。如果这次扫描没有一个点被删除，则循环结束，剩下的点就是骨架点，如果有点被删除，则进行新的一轮扫描，如此反复，直到没有点被删除为止。,5.2.4特征提取,可以根据上述的判据，事先做出一张表，每个元素不是0，就是1。根据某点（即目标点）的8个相邻点的情况查表，若表中的元素是1，则表示该点可删，否则保留。查表的方法是：设白点为1，黑点为0；位置关系如图，按这样组成的8位数去查表即可。,.,45,轮廓提取与跟踪在目标跟踪中，通过轮廓提取或轮廓跟踪技术确定目标的轮廓参数。轮廓跟踪的最基本方法是：先根据某些严格的“探测准则”找出物体轮廓上的像素，再根据这些像素的某些特征用一定的“跟踪准则”找出目标物体上的其他像素。这里介绍一种二值图像的轮廓跟踪。首先找第一个边界点像素：按照从左到右，从下到上的顺序搜索，找到的第一个黑点一定是最左下方的边界点，记为A。点A的右、右上、上。,5.2.4特征提取,.,46,左上四个邻点中至少有一个边界点，记为B。从边界点B开始，定义初始的搜索方向为左方；如果左方的点为黑点，则为边界点，否则搜索方向顺时针旋转45。这样一直找到第一个黑点为止。然后把这个点作为新的边界点，在当前的搜索方向上逆时针旋转90，继续用同样的方法搜索下一个黑点，直到返回初始的边界点为止。,5.2.4特征提取,.,47,在一些工业生产的领域，被检测的物体图像的缺陷往往表现为破损形状，这样会引起物体的角点变化，这也可以称为检测缺陷的依据。图像中的角点是指图像中具有高曲率的点，它由物体边缘曲率较大的地方或者多条边缘的交点形成，角点也可以作为物体识别、检测和定位的一个重要特征。,5.2.4特征提取,角点提取,.,48,Harris法是角点检测的常用方法，它的原理是利用水平、竖直两个差分算子Ix、Iy,求得如图中m的4个元素值，并对图像每个像素进行滤波，最后根据求得的角点阵cim的值来确定每个点是否为角点,5.2.4特征提取,.,49,角点最直观的印象就是在水平、竖直两个方向上变化均较大的点，即Ix、Iy都较大。Ix、Iy是沿着水平和垂直方向的差分算子。这也是把角点和图像上的边缘已经平坦地区区分的依据。边缘：仅在水平、或者仅在竖直方向有较大的变化量，即Ix、Iy只有其一较大。平坦地区：在水平、竖直方向的变化量均较小，即Ix、Iy都较小。,5.2.4特征提取,.,50,纹理特征提取相位编码法实部为：虚部为:,5.2.4特征提取,.,51,纹理特征提取多通道Gabor的特征提取法假设每一通道滤波器的数字模型为：其中，为滤波器输入的图像，和分别为偶对称和奇对称的Gabor滤波器。,5.2.4特征提取,.,52,纹理特征提取多通道Gabor的特征提取法实际操作中，我们用FFT来实现：,5.2.4特征提取,.,53,5.3图像融合技术,本节从图像融合技术的概念出发，介绍3种具有代表性的图像融合方法，分别是Laplacian算法、RoLP算法和小波变换方法。,.,54,5.3.1图像融合概述,图像融合的基本过程,.,55,设图像元素的横、纵坐标分别用，表示，则级间的运算可以表示为：Laplacian金字塔技术:对比度金字塔技术:,5.3.2Laplacian金字塔方法,.,56,融合算法获取每一路图像的Gaussian金字塔序列；获得每一路图像的Laplacian金字塔；Laplacian金字塔序列对应级融合：融合算子取对应各级的“或”运算或加权平均等；重构图像。,5.3.2Laplacian金字塔方法,.,57,获取每一路图像的Gaussian金字塔序列；获得每一路图像的对比度金字塔；对比度金字塔序列对应级融合，融合对比度金字塔有以下标准法则即：,5.3.3RoLP金字塔方法,图像的细节变化可以认为是对比度的变化。由于人类视觉系统对图像的对比度变化较为敏感，且不同图像传感器对同一目标所成图像的对比度分布不同，融合不同图像的细节可以设法通过融合对比度来实现，具体操作如下：,.,58,式中、和分别为待融合图像、融合图像的对比度金字塔序列中的第L级。重构图像。,5.3.3RoLP金字塔方法,.,59,二维离散小波变换,5.3.4二维小波变换方法,.,60,对于图像处理，需要将连续小波变换与逆变换离散化，在此给出经典Mallat算法的离散形式,5.3.4二维小波变换方法,.,61,图像融合,5.3.4二维小波变换方法,.,62,二维离散小波图像重构,5.3.4二维小波变换方法,.,63,小波变换的图像融合应用,5.3.4二维小波变换方法,.,64,本节介绍作者研制的电子枪扭弯曲特性视觉检测系统、背投电视会聚特性视觉测控系统，以及ZM-VS1300视觉测控系统平台，通过其软硬件系统的实现，充分展示基于机器视觉测控技术在工业测控领域的迅速发展和广泛应用。,5.4典型应用,.,65,5.4.1电子枪扭弯曲特性智能检测系统,电子枪与其基座通过焊接连成一个整体。但是，在焊接时不可避免地会出现误差，表现为基座中心与电子枪中心不在同一垂直线上，出现弯曲误差；电子枪与其基座将产生一定的旋转角度，这就是扭曲误差。,.,66,电子枪扭曲、弯曲检测原理,5.4.1电子枪扭弯曲特性智能检测系统,.,67,图像采集与图像处理结构图,5.4.1电子枪扭弯曲特性智能检测系统,.,68,扭弯曲检测图像处理算法图像预处理基于改进遗传算法的图像分割M-H算子简化的中轴变换算法改进的Hough算法,5.4.1电子枪扭弯曲特性智能检测系统,.,69,软件技术系统应用软件主界面系统实物图,5.4.1电子枪扭弯曲特性智能检测系统,.,70,系统工作原理图,5.4.2背投电视会聚特性视觉检测测控系统,.,71,图像处理：测控结果图1图2,5.4.2背投电视会聚特性视觉检测测控系统,.,72,系统工作原理ZM-VS1300平台简介应用领域图像处理功能库系统操作,5.4.3ZM-VS1300视觉智能测控系统平台,.,73,HALCON是德国MVtec公司推出的图像处理软件，是世界公认具有最佳效能的机器视觉软件。实际上是一套图像处理库，由1000多个各自独立的函数，以及底层的数据管理核心构成。,5.5HALCON简介,.,74,5.5.1HALCON的基本结构,.,75,5.5.4利用HALCON进行应用开发,.