基于机器视觉的测控技术

1、第第5章章 基于机器视觉的测控技术基于机器视觉的测控技术 p数字图像处理数字图像处理p图像融合技术图像融合技术 p典型应用典型应用pHALCON简介简介 介绍机器视觉测控系统、数字图像处理方法以及图像信息融合术，简要介绍应用作者研制的ZM-VS1300视觉智能测控系统平台研制开发自己专用视觉测控系统方案，最后给出了作者研制的机器视觉测控系统典型应用案例。 第第5章章 基于机器视觉的测控技术基于机器视觉的测控技术第第5章章 基于机器视觉的测控技术基于机器视觉的测控技术5.1 机器视觉测控系统机器视觉测控系统 本节从机器视觉测控系统的基本概念出发，综合机器视觉测控系统原理、技术和应用进行介绍 。

2、典型的视觉检测系统的构成：45.1.1 机器视觉检测系统硬件机器视觉检测系统硬件 光源光源 照度要适中 亮度要均匀 亮度要稳定 不应产生阴影 照度可调5.1.1 机器视觉检测系统硬件机器视觉检测系统硬件 图像传感器图像传感器 CCD电荷耦合器件摄像机（Charge Coupled Device）:感光像元在接收输入光后，产生电荷转移，形成输出电压。分为线阵和面阵两种。性价比高，受到广泛应用。CMOS摄像机（Complementary Metal Oxide Semiconductor）:体积小、耗电少、价格低，在光学分辨率、感光度、信噪比和高速成像等已超过CCD。 5.1.1 机器视觉检测系统

3、硬件机器视觉检测系统硬件 图像传感器图像传感器 其他：飞点扫描器（Flying Point Scanner）、扫描鼓、扫描仪、显微光密度计等。遥感图像获取设备： 光学摄影：摄像机、多光谱摄像机等； 红外摄影：红外辐射计、红外摄像仪、多通道红外扫描仪 等； 5.1.1 机器视觉检测系统硬件机器视觉检测系统硬件 图像采集卡: 将视频图像以模拟电信号方式输出 标准视频信号：黑白视频（RS-170、 RS-330、RS- 343、CCIR）、复合视 频（NTSC、PALSECAM 制式）、分量 模拟视频、S-Video等。 非标准视频信号：非标准RGB信号、线扫描信号、 逐行扫描信号。5.1.1 机器

4、视觉检测系统硬件机器视觉检测系统硬件 图像采集卡的设计图像采集卡的设计基于PCI总线的图像采集卡的设计 5.1.1 机器视觉检测系统硬件机器视觉检测系统硬件 基于基于USB总线的图像采集卡的设计总线的图像采集卡的设计 5.1.2 机器视觉检测系统软件机器视觉检测系统软件 近年来，机器视觉工作者在研究视觉测控系统硬件的同时，也对机器视觉检测处理的共性软件进行了研究开发，出现了很多机器视觉测控系统组态软件平台，如最 具代表性的机器视觉软件HALCON。5.1.3 视觉检测系统应用视觉检测系统应用缺陷检测缺陷检测 尺寸测量尺寸测量PCB焊点检测与分类焊点检测与分类 5.2 数字图像处理数字图像处理数

5、字图像处理技术是一门跨学科的前沿高科技，是在信号处理、计算机科学、自动控制理论及其他应用领域基础上发展起来的边缘学科，是认识世界、改造世界的重要手段。目前图像处理与识别技术已应用于许多领域，成为21世纪信息时代的一门重要的高新科学技术。 5.2.1 平滑和滤波平滑和滤波 邻域平均 SyxnmfMyxg,1,一般实际情况中，考虑到运算的计算量，为33的模板5.2.1 平滑和滤波平滑和滤波 中值滤波法 将模板在图中漫游，并将模板中心与图中某个像素 位置重合；读取模板下各对应像素的灰度值；将这些灰度值从小到大排成1列；找出这些值里排在中间的1个；将这个中间值赋给对应模板中心位置的像素。 空域滤波实现

6、 881100skskskR5.2.1 平滑和滤波平滑和滤波5.2.2 边缘检测边缘检测 梯度算子 实际操作中，用下面式子取代微分：TTyxyfxfGGyxf,yxfyxfyxfx, 1,1,yxfyxfyxfy 梯度算子 用标准的模板来计算梯度：（a）Roberts （b）Prewitt （c）Sobel100-101-10-10-10-1-1-10-1110010-1-1-1-10-2-112-102120010-1-2-15.2.2 边缘检测边缘检测 拉普拉斯算子 对一个连续函数，它在位置处的拉普拉斯值定义 如下： 22222yfxff5.2.2 边缘检测边缘检测拉普拉斯算子 计算函数的

7、拉普拉斯值也可以借助各种模板实现，它要求模板的中心像素系数应该是正的，而对应中心像素的邻近像素的系数应是负的，且它们之和应该是零 。0-1-140-10-10-1-1-18-1-1-1-1-15.2.2 边缘检测边缘检测Marr-Hildreth边缘检测算子 2222242211rerrG5.2.2 边缘检测边缘检测此算子有无限长拖尾，在具体实现卷积时，应取一个NN的窗口 。同时，为了减小卷积运算的计算量，可用两个不同带宽的高斯曲面之差（DOG）来近似 。 Marr-Hildreth边缘检测算子 2222221221212exp212exp21,yxyxDOG5.2.2 边缘检测边缘检测考虑到

8、M-H算子的对称性，可采用分解的方法来提高运算速度。即把一个二维滤波器分解为独立的行、列滤波器。 将方程改写为 其中 :y, xHy, xHG21122 yhxhy, xH2112 yhxhy, xH1221 2222121expKh 2222expKh5.2.2 边缘检测边缘检测 Canny边缘检测法 Canny给出了评价边缘检测性能优劣的三个指标 （1）低失误概率 （2）高定位精度 （3）对单一边缘仅有唯一响应设n为任意方向，Gaussian函数在这个方向上的一 阶导数为： GnnGGn5.2.2 边缘检测边缘检测 Canny边缘检测法 当一个像素满足以下三个条件时，则被认为是图像的边缘点

9、： （1）该点的边缘强度大于沿该点梯度方向的两个相邻像素的边缘强度； （2）与该点梯度方向上相邻两点的方向差小于 45； （3）以该点为中心33的邻域中的边缘强度极大值小于某个闭值。 5.2.2 边缘检测边缘检测 Canny边缘检测法 Canny算子的算法实现 （1）对要处理的图像I作高斯光滑，则新的图像为 ，其次对求的方向导数 （2）细化M中所有的边 （3）双阈值操作IGf*,)*(xxIGf yyIGf)*(5.2.2 边缘检测边缘检测5.2.3 图像分割图像分割 灰度阈值法 图像阈值化处理的变换函数表达式为： 阈值的选取间接阈值法 多阈值法 p尾法确定阈值 TyxfTyxfyxg, 25

10、5, 0, 阈值的选取间接阈值法 多阈值法 p尾法确定阈值 最大类间方差确定阈值 假定图像的灰度区间为，设以灰度k为阈值将图像分为两个区域，灰度为1k的像素和灰度为k+1L的像素分别属于区域A和B，则区域A和B的概率分别为： LkiiBkiiApp11,5.2.3 图像分割图像分割最大类间方差确定阈值 区域A和B的平均灰度为： 其中为全图的平均灰度： 两个区域的方差为： kiiAAkkpi11 LkiiBBkkpi111BBAALiipi15.2.3 图像分割图像分割2222221111 , , ，方差为，灰度平均值为像素数为，方差为，灰度平均值为像素数为mwtjifcmwtjifc最大类间方

11、差确定阈值 按照最大类间方差的准则：组间方差越大，则两组 的差别越大。即k值越大，表明分割效果越好。从1至L 改变k，并计算类间方差，使式最大的k,即是区域分割 的阈值。 最佳熵自动阈值法 峰谷法 5.2.3 图像分割图像分割 区域生长 5.2.3 图像分割图像分割在实际应用区域生长法时需要解决3个问题：选择或确定1组能正确代表所需区域的种子像素；确定在生长过程中能将相邻像素包括进来的准则；制定使生长停止的条件或规则。 区域生长 实现步骤对图像进行光栅扫描，求出不属于任何区域的像素。当寻找不到这样的像素时结束操作。把这个像素灰度同其周围（4-邻域或8-邻域）不属于其他区域的像素进行比较，若灰度

12、差值小于阈值，则合并到同一区域，并对合并的像素赋予标记。5.2.3 图像分割图像分割从新合并的像素开始，反复进行步骤的操作。反复进行步骤、的操作，直至不能再合并。返回步骤的操作，寻找新区域出发点的像素。10475104770155520565225641155511555115551155511555115751157711555215552255511111111111111111111111115.2.3 图像分割图像分割分裂合并 利用分裂合并算法对图像进行分割的步骤生成图像的四叉树结构。 黑白灰0级1级2级2级0级1级EDCBA43218765BDEAACC132468575.2.3 图

13、像分割图像分割根据经验和任务需要，从四叉树的某一层开始，合并满足一致性属性的共根的4个子块。重复对图像进行操作，直到不能合并为止。考虑上一步中没有合并的子块，如果它的子节点不满足一致性准则，将这个节点永久地分为4个子块。如果分出的子块仍不满足一致性准则，继续划分，直到所有的子块都满足为止。5.2.3 图像分割图像分割由于人为地将图像进行四叉树分解，可能会将同一区域的像素分在不能按照四叉树合并的子块内，因此需要搜索所有的图像块，将邻近的未合并的子块合并为一个区域。由于噪声影响或者按照四叉树划分区域边缘未对准，进行上述操作后可能仍存在大量的小的区域，为了消除这些影响，可以将它们按照相似性准则归入邻

14、近的大区域内。 5.2.3 图像分割图像分割5.2.4 特征提取特征提取 线提取 Hough变换原理 在图像空间XY里，设所有过点（x,y）的直线都满足方程： 式中，p为直线的斜率，q为直线的截距。也可以写成： 式中表示参数空间PQ中过点（p,q）的一条直线。图像空 间到参数空间之间的转换可以用图表示：qpxyypxq Hough变换原理 在实际使用哈夫变换时，要在上述基本方法的基础上根据图像具体情况采取一些方法以提高精度和速度，在实际中常用的是极坐标直线方程。 XYPQOO11,yx22, yx11ypxq22ypxqpqsincosyx5.2.4 特征提取特征提取Hough变换原理图像平面

15、上的一个点就对应到参数平面上的一条正弦曲线上。哈夫变换最适合于检测较简单曲线 ymxb0.51.000.51.0 xyxy11010012345-15.2.4 特征提取特征提取 直线提取 以下是用Hough变换检测直线的算法过程： 初始化变换域空间的数组，表示图像对角线方向的像 素数，方向上角度初始化数目为90。 顺序搜索图像中所有的物体点，对每一个物体点，按 照变换域的各个点加1。 求出变换域的值大于一定阈值的点并记录。 根据这些点在原空间内画出直线。 5.2.4 特征提取特征提取 骨架提取中轴变换原理 具有边界B的区域R的MAT是如下确定的：对每个R中 的点P，在B中搜寻与它最近的点。如果

16、对P能找到多于1 个这样的点（即有2个或以上的B中的点与P同时最近）， 就可认为P属于R的中线或骨架，或者说P是1个骨架点5.2.4 特征提取特征提取简化的中轴变换算法：根据对二值图像特点的分析，经过实验，采用了一种简单而且效果很好的算法。可以根据一个像素的8个相邻点的情况来判断该点是否应该删除 内部点不能删除；孤立点不能删除；直线端点不能删除；如果P是边界点，去掉P后，如果连通分量不增加，则P可以删除。 5.2.4 特征提取特征提取 每次对整幅图像逐行扫描一遍，对于每个点（不包括边界点），计算它对应在表中的索引，若为0，则保留，否则删除该点。如果这次扫描没有一个点被删除，则循环结束，剩下的点

17、就是骨架点，如果有点被删除，则进行新的一轮扫描，如此反复，直到没有点被删除为止。 124356785.2.4 特征提取特征提取 可以根据上述的判据，事先做出一张表，每个元素不是0，就是1。根据某点（即目标点）的8个相邻点的情况查表，若表中的元素是1，则表示该点可删，否则保留。查表的方法是：设白点为1，黑点为0；位置关系如图，按这样组成的8位数去查表即可。 轮廓提取与跟踪 在目标跟踪中，通过轮廓提取或轮廓跟踪技术确定目标的轮廓参数。 轮廓跟踪的最基本方法是：先根据某些严格的“探测准则”找出物体轮廓上的像素，再根据这些像素的某些特征用一定的“跟踪准则”找出目标物体上的其他像素。这里介绍一种二值图像

18、的轮廓跟踪。 首先找第一个边界点像素：按照从左到右，从下到上的顺序搜索，找到的第一个黑点一定是最左下方的边界点，记为A。点A的右、右上、上。5.2.4 特征提取特征提取 左上四个邻点中至少有一个边界点，记为B。从边界点B开始，定义初始的搜索方向为左方； 如果左方的点为黑点，则为边界点，否则搜索方向顺时针旋转45。这样一直找到第一个黑点为止。然后把这个点作为新的边界点，在当前的搜索方向上逆时针旋转90， 继续用同样的方法搜索下一 个黑点，直到返回初始的边 界点为止。 AB5.2.4 特征提取特征提取 在一些工业生产的领域，被检测的物体图像的缺陷往往表现为破损形状，这样会引起物体的角点变化，这也可

19、以称为检测缺陷的依据。图像中的角点是指图像中具有高曲率的点，它由物体边缘曲率较大的地方或者多条边缘的交点形成，角点也可以作为物体识别、检测和定位的一个重要特征。 5.2.4 特征提取特征提取 角点提取 Harris法是角点检测的常用方法，它的原理是利用水平、竖直两个差分算子Ix、Iy, 求得如图中m的4个元素值，并对图像每个像素进行滤波，最后根据求得的角点阵cim的值来确定每个点是否为角点 xxxyyyyyxyxxIIIIIIIIIIIIm2222,其中2222expyxGauss22222yxyxyxIIIIIIcim5.2.4 特征提取特征提取 角点最直观的印象就是在水平、竖直两个方向上变

20、化均较大的点，即Ix、Iy 都较大。 Ix、Iy是沿着水平和垂直方向的差分算子。这也是把角点和图像上的边缘已经平坦地区区分的依据。 边缘：仅在水平、或者仅在竖直方向有较大的变化量， 即Ix、Iy只有其一较大。 平坦地区：在水平、竖直方向的变化量均较小，即 Ix、Iy都较小。 5.2.4 特征提取特征提取 纹理特征提取 相位编码法 实部为： 虚部为 : y , xiidxdyy, xfy, xGhy , xiiyyxxsinyycosxxfcosey, xfre_hi0022020y , xiiyyxxsinyycosxxfsiney, xfim_hi00220205.2.4 特征提取特征提取

21、纹理特征提取 多通道Gabor的特征提取法 假设每一通道滤波器的数字模型为： 其中， 为滤波器输入的图像， 和 分别为偶对称和奇对称的Gabor滤波 器。 y, xf, f , y, xGy, xfy, xf, f , y, xGy, xfy, xfy, xfy, xfooeeoe22yxf,fyxGe, f , y, xGo5.2.4 特征提取特征提取 纹理特征提取 多通道Gabor的特征提取法 实际操作中，我们用FFT来实现： , f , v ,uGv ,ufFFTy, xf, f , y, xGy, xf, f , v ,uGv ,ufFFTy, xf, f , y, xGy, xfoo

22、oeeey, xf, f , y, xGy, xfy, xf, f , y, xGy, xfy, xfy, xfy, xfooeeoe225.2.4 特征提取特征提取5.3 图像融合技术图像融合技术 本节从图像融合技术的概念出发，介绍3种具有代表性的图像融合方法，分别是Laplacian算法、RoLP算法和小波变换方法。5.3.1 图像融合概述图像融合概述图像融合的基本过程 输入预处理融合抽取特征辨识去噪配准输出解释 设图像元素的横、纵坐标分别用，表示，则级间的运算可以表示为： Laplacian金字塔技术: 对比度金字塔技术: *1lllGGLnjmiGnmjiGlmnl 2 ,2,1222

23、2*1lllGGC5.3.2 Laplacian金字塔方法金字塔方法融合算法获取每一路图像的Gaussian金字塔序列；获得每一路图像的Laplacian金字塔；Laplacian金字塔序列对应级融合：融合算子取对应 各级的“或”运算或加权平均等；重构图像。5.3.2 Laplacian金字塔方法金字塔方法获取每一路图像的Gaussian金字塔序列；获得每一路图像的对比度金字塔；对比度金字塔序列对应级融合，融合对比度金字塔有以下标准法则即： 5.3.3 RoLP金字塔方法金字塔方法 图像的细节变化可以认为是对比度的变化。由于人类视觉系统对图像的对比度变化较为敏感，且不同图像传感器对同一目标所成

24、图像的对比度分布不同，融合不同图像的细节可以设法通过融合对比度来实现，具体操作如下：式中 、 和 分别为待融合图像、融合图像的对比度金字塔序列中的第L级。重构图像。1,1, ,1,1, ,jiCBjiCAjiCBjiCBjiCAjiCjiCFlllllAlljiCAl,jiCBl,jiCFl,5.3.3 RoLP金字塔方法金字塔方法 二维离散小波变换 2 1h1 2h1 2g2 11 2h1 2gg按行按列从两列中取一列2 1从两行中取一行1 2lAlA11lD21lD31lD5.3.4 二维小波变换方法二维小波变换方法 对于图像处理，需要将连续小波变换与逆变换离散化，在此给出经典Mallat

25、算法的离散形式 ZnmllnjmiAnhmhjiA,12 ,221, ZnmllnjmiAngmhjiD,112 ,221, ZnmllnjmiAnhmgjiD,122 ,221, ZnmllnjmiAngmgjiD,132 ,221,5.3.4 二维小波变换方法二维小波变换方法 图像融合 其它 , ,1,1,1,1,1,jiDjiDjiDjiDjiDBlBlAlAlFl其它 , ,2,2,2,2,2,jiDjiDjiDjiDjiDBlBlAlAlFl其它 , ,3,3,3,3,3,jiDjiDjiDjiDjiDBlBlAlAlFl5.3.4 二维小波变换方法二维小波变换方法 二维离散小波图像

26、重构 1 2X2在相邻两列中插入一列零按列按行lA1lD2lD3lDh1 2X2g2 1X2h1 2X2h1 2X2g2 1X2g1 2在相邻两行中插入一行零2 11lA5.3.4 二维小波变换方法二维小波变换方法 小波变换的图像融合应用 5.3.4 二维小波变换方法二维小波变换方法 本节介绍作者研制的电子枪扭弯曲特性视觉检测系统、背投电视会聚特性视觉测控系统，以及ZM-VS1300视觉测控系统平台，通过其软硬件系统的实现，充分展示基于机器视觉测控技术在工业测控领域的迅速发展和广泛应用。5.4 典型应用典型应用5.4.1 电子枪扭弯曲特性智能检测系统电子枪扭弯曲特性智能检测系统 电子枪与其基座

27、通过焊接连成一个整体。但是，在焊接时不可避免地会出现误差，表现为基座中心与电子枪中心不在同一垂直线上，出现弯曲误差；电子枪与其基座将产生一定的旋转角度，这就是扭曲误差。电子枪扭曲、弯曲检测原理 dABCdBCA5.4.1 电子枪扭弯曲特性智能检测系统电子枪扭弯曲特性智能检测系统图像采集与图像处理结构图电子枪镜头及CCD相机图像实时处理图像采集图像实时显示图像误差计算及结果显示RGB5.4.1 电子枪扭弯曲特性智能检测系统电子枪扭弯曲特性智能检测系统 扭弯曲检测图像处理算法 图像预处理 基于改进遗传算法的图像分割 M-H算子 简化的中轴变换算法 改进的Hough算法 5.4.1 电子枪扭弯曲特性

28、智能检测系统电子枪扭弯曲特性智能检测系统 软件技术 系统应用 软件主界面系统实物图5.4.1 电子枪扭弯曲特性智能检测系统电子枪扭弯曲特性智能检测系统l系统工作原理图会聚图像摄入图像处理电视机屏幕数据处理会聚电路板投影电视5.4.2背投电视会聚特性视觉检测测控系统背投电视会聚特性视觉检测测控系统 图像处理： 测控结果图1 图2交叉点坐标交叉点提取窄缝连接骨架提取闭运算中值滤波三色分离原图像5.4.2背投电视会聚特性视觉检测测控系统背投电视会聚特性视觉检测测控系统 系统工作原理ZM-VS1300平台简介 应用领域 图像处理功能库 系统操作 5.4.3 ZM-VS1300视觉智能测控系统平台视觉智能测控系统平台 HALCON是德国MVtec公司推出的图像处理软件，是世界公认具有最佳效能的机器视觉软件。实际上是一套图像处理库，由1000多个各自独立的函数，以及底层的数据管理核心构成。5.5 HALCON简介简介5.5.1 HALCON的基本结构的基本结构HALCON/CHALCON/C+HALCON/COMFrameGrabberInterfacesHALCONImage Processing LibraryExtensionPackages5.5.4 利用利用HALCON进行应用开发进行应用开发 C 下列的程序代码说明了如何读取一幅