机器视觉产品研发方案

机器视觉产品研发方案

刘风光（开发部）

2023.8.21

目录

第一章概论..........................................................3

§1.1机器视觉技术的发展...........................................3

§1.2机器视觉原理及系统构成.......................................4

§1.3机器视觉系统的行业应用........................................4

§1.3机器视觉系统日勺应用现实状况...................................5

§1.4本文案章节安排...........................................5

第二章轴承生产线机器视觉检测技术方案................................6

§2.1轴承视觉检测系统概述..........................................6

§2.2轴承图像灰度转换及增强处理....................................7

§2.3未插入连接器轴承H勺缺陷检测....................................8

§2.4插入连接器轴承H勺缺陷检测.....................................13

§2.5轴承润滑油注入量日勺检测.......................................15

§2.6轴承视觉检测系统总结.........................................16

第三章智能交通车牌汉别技术方案.....................................17

§3.1车辆牌照识别系统的发展及现实状况..............................18

§3.2车牌识别系统工作原理与流程....................................18

§3.3车牌定位算法的分析与设计......................................19

§3.4车牌字符分割算法设计..........................................25

§3.5车牌字符识别算法设计..........................................27

§3.6车牌识别系统方案总结..........................................32

第四章总结与展望...................................................33

参照文献............................................................35

第一章概述

§1.1机器视觉技术的发展

机器视觉是指运用摄像机和计算机替代人类视觉对目的进行识别、跟踪和测

量等。它是一种相称新且发展十分迅速日勺研究领域，并已成为计算机科学的重要

研究领域之一。机器视觉是在20世纪50年代从记录模式识别开始啊，当时的工

作重要集中在二维图像分析和识别上。20世纪60年代，Roberts(1965)通过计

算机程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的I三维构造,

并对物体形状及物体的空间关系进行描述。到了70年代，已经出现了某些视觉

应用系统。70年代中期，麻省理工学院(MIT)人工智能(AI)试验室正式开设“机

落视觉“(MachineVision)课程，由国际著名学者B.K.P.Horn专家讲授.同

步，MITAI试验室吸引了国际上许多著名学者参与机器视觉日勺理论、算法、系

统设计日勺研究，DavidMarr专家就是其中的一位.他于1973年应邀在MITAI试

验室领导一种以博士生为主体的研究小组，1977年提出了不一样于“积木世

界"分析措施的计算视觉理论(computationalvision),该理论在80年代成为

机器视觉研究领域中的一种十分重要日勺理论框架.1977年提出不一样于“积木

世界”分析措施的1计算视觉理论(computationalvision)。人们对机器视觉时全

球性研究热潮基本上是从20世纪80年代开始时，到了80年代中期，机器视觉

获得了蓬勃发展。20世纪90年代，伴随光电自动化和计算机技术的高速发展，

运用机器视觉的迅速性、可反复性、智能化和可现场性的特点，机器视觉在汽车

零配件批量加工日勺尺寸椅杳和自动装配日勺完整件枪杳、电子装配线的元件定位、

IC上的字符识别、PCB电路板的检查等工业场所得到了详细日勺应用。

§1.2机器视觉原理及系统构成

机器视觉系统一般由光源部分、CCD图象传感器、图象采集卡、

计算机和图像分析处理软件构成。如图1所示。

通过CCD图像传感器采集图像（目H勺），把目日勺的三维图像采集为二维图像,

通过光信号转化为电信号，即所谓的模拟信号；再由图像采集卡把模拟信号转化

为数字信号，供计算机处理。一般来说，机器视觉系统为了防止环境自然光或

灯光对其工作状态日勺影响，光源应亮度大、亮度可调、均匀性好及稳定性高，以

克制外界环境多种光对图像质量产生较大影响而导致机器视觉系统的故障或误

判行为。常用的CCD图像传感器有两种形式，一种为线性CCD,一种为面阵CCD。

基于PC机的机器视觉系统，图像采集卡具有图像信号接受与A/D转换、协调摄

像机进行同步或异步重置拍摄和定期拍摄，通过PC总线进行高精度数据传播，

由图像分析处理软件完毕对图像日勺分析和理解。

§1.3机器视觉系统的行业应用

机器视觉系统可以提高生产日勺柔性和自动化程度。在某些不适合于人工作业

的危险工作环境或人工视觉难以满足规定日勺场所，常用机器视觉来替代人工视

觉；同步在大批量工业生产过程中，用人工视觉检杳产品质量效率低且精度不高,

用机器视觉检测措施可以大大提高生产效率和生产的）自动化程度。并且机器视觉

易于实现信息集成，是实现计算机集成制造日勺基础技术。

正是由于机潜视觉系统可以迅速获取大量信息，并且易于自动处理，也易于

同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机

器视觉系统广泛地用于工况监视、成品检查和质量控制等领域。机器视觉系统的I

应用重要分布在如下几种行业。1.电子与电气制造（包括半导体）；2.机械工

程；3.汽车工业；4.食品、饮料、药物和化妆品；5.其他（包括木材加工，

纸浆利纸产品,化工，纺织品等等）如图6所示。

在电子制造领域的应用重要是引导机器人进咛高精度PCB定位和S.MT元件放

置，尚有表面检测。在机械领域重要是部件识别和在线质量检测，通过反馈控制

来提高产品日勺产量和成品率。在汽车领域重要是装配时在线检测和零部件的离线

检测，尚有表面检测。在食品饮料领域重要有包装检测和分类识别方面的应用。

在纸产品领域重要是表面检测和均匀度检测，同步优化生产流程。在医药领域重

要是包装检测和标签识别。其他领域重要是部件识别和表面检测方面应用。

§1.3机器视觉系统的应用现实状况

机器视觉自起步发展到目前，已经有23年的发展历史。应当说机器视觉作

为一种应用系统，其功能特点是伴随工业自动化的发展而逐渐完善和发展的。目

前全球整个视觉市场总量大概在60、70亿美元，重要集中在欧美和日本，在中国

大概有广2亿美元的市场。按照我国日勺GDP增长速度8%来说，其中工业增长的

份额为20Q30蛤按照保守日勺估计，视觉的增长速度不应低于o

在国外，机器视觉时应用普及重要体目前电子电气制造、机械工程、汽车工

业以及食品医疗等行业。其中大概40%〜60%都集中在电子电气制造和汽车行业。

而在中国，由于机器视觉产业起步较晚，目前尚处在上升期，市场尚未饱和与成

熟。伴随国内配套基础建设日勺完善，技术、资金的积累，各行各业对采用图像和

机器视觉技术的工业自动化、智能化需求开始广泛出现，国内有关高等院校、研

究因此及企业近几年在图像和机器视觉技术领域进行了积极思索和大胆的尝试，

逐渐开始了工业现场的应用。其重要应用于制药、印刷、PCB板、瓶口检测等领

域。不过，这些应用大多集中在中低端市场，真正高端日勺应用还很少。因此，以

上有关行业的应用空间还比较大。

§1.4本文章节安排

本文日勺构造安排如下：第一章：概述。简要简介了机器视觉日勺原理、发展以

及应用。粗略分析了机器视觉系统日勺行业应用以及市场需求等。第二章：轴承生

产线视觉检测技术方案。是作者目前正在研究向一种机器视觉产品。方案中提出

一种合用于轴承自动化生产线的轴承缺陷视觉检测系统。作为机器视觉产品的一

种案例，此章简介了通过对轴承图像进行增强、滤波、边缘检测、分割、测量以

及匹配等处理完毕轴承视觉检测系统H勺设计。第三章：智能交通车牌识别技术方

案。也是作者正在研究日勺课题，方案中详细描述了车牌识别算法各个构成部分，

包括车辆图片时预处理、车牌定位、车牌字符分割以及字符识别等算法。且前,

虽然车牌识别技术已经十提成熟，但也存在许多局限性之处。基于此作者对该技

术进行了探讨，设计一套完整的算法方案。第四章：总结与展望。是本文的结束

部分，总结了本文方案的特点以及需要改善H勺地方，并讨论了机器视觉产品的开

发及其未来的发展。

第二章轴承生产线视觉检测技术方案

§2.1轴承视觉检测系统概述

目前'国内大多数轴承生产厂家在轴承缺陷检测方面仍然靠人工来完毕，占

用大量人力资源，且检测效率低、成本高、易于引入人为误差。伴随现代制造业

的发展，老式的检测技术已不能满足其需要，现代制造强调实时、在线、非接触

检测，因而对轴承时缺陷检测提出了越来越高的规定。为了适应轴承制造业大批

量生产、质量规定严格、检测任务繁重的特点以及自动化流水线作业日勺规定，需

要研究新型H勺产品检测技术。机器视觉检测技术具有非接触、速度快、检杳效率

高、现场抗干扰能力强等突出日勺长处，能很好地满足轴承自动化生产日勺需要。本

文提出了基于机器视觉日勺轴承缺陷检测方案。

轴承缺陷机器视觉检测系统重要由CCD传感器、光学系统、图像采集单元、

图像预处理单元、轴承图像分割、定位、计算单元以及机械运动平台等部分构成。

见图2-1。CCD摄像头、图像采集卡属于轴承缺陷检测系统口勺前置装置。负责轴

承图像的采集工作，CCD摄像头与采集卡的好坏直接影响系统的检测精度以及性

能。图像预处理单元重要对轴承图像进行灰度变换、图像增强、滤波去噪等处理,

是后续轴承图像分割、定位、计算的前提。轴承图像分割、定位以及计算单元是

本章的重点，也是轴承缺陷检测系统关键技术，重要包括轴承滚珠、连接器等图

像日勺分割、匹配以及轴承图像的定位、图像相对转角日勺计算等。

图2-1轴承缺陷视觉检测系统

被检轴承在机械运动工作平台上，在计算机的控制下，以一定日勺速度和节拍

在传播带上运动，轴承在光源H勺照射下，其影像被投射到光学成像系统，经透镜

放大聚焦在CCD的光敏阵列面上,CCD摄像头将其接受H勺光学影像转换成视频信

号输出到图像采集卡，图像采集卡再将视频信号转换成数字图像信息供计算机

处理。计算机运用多种算法对图像数据进行预处理、轴承图像分割、定位以及计

算等，最终判断所检轴承与否为合格品，为合格品者则计算并输出图像日勺相对转

角，由机械执行机构（机械臂）根据此转角完毕轴承生产日勺下一工序。

本方案是针对轴承的自动化生产而设计H勺，合用于轴承生产自动化妆配线。

对轴承H勺缺陷检测共分三项，根据轴承生产工序，首先对未插入连接器轴承H勺检

测检，测内容重要是判断滚珠与否缺乏以及各滚珠之间日勺夹角与否相等？假如滚

珠完整并且各滚珠之间日勺夹角均相等，鉴定为合格品，反之为不合格品。对于合

格品则计算该轴承图像H勺相对转角，生产设备根据该转角使用机械臂插入轴承连

接器，然后再对插入连接器日勺轴承进行缺陷检测。检测日勺内容重要是判断滚珠之

间的连接器与否出现断裂。假如未检测到连接器断裂则判断为合格品，反之为不

合格品。对于合格品则计算该轴承图像日勺相对转角，生产设备根据该转角使用机

械臂对轴承进行注入涧滑油。最终对注入润滑油后的轴承再进行缺陷检测，检测

内容重要是判断输事涧滑油注入量与否满足规定。假如检测不满足规定则计算轴

承图像日勺相对转角，生产设备根据该转角使用机械臂再此注入润滑油。

§2.2轴承图像灰度转换及增强处理

本方案使用日勺是基于灰度图像的轴承缺陷检测算法。这是考虑到灰度图只具

有亮度信息，比彩色图像简朴愈加易于使用；且灰度图日勺每个像素只需用一种字

节（8bit）表达，处理信息量小、速度快，占用的存储空间小。根据系统采集设

备的不一样，采集得到的原始图像也许是彩色图像或灰度图像，针对本算法，之

前必须将车辆图像转化为灰度图。为了消除实际应用中环境原因的不利影响，还

需要对原始图像进行清除噪声和增强图像质量等处理。

对图像进行灰度变换通过公式2-1实现H勺，式中R为红色分量、G为绿色分

量、B为蓝色分量。

Y=0.299/?4-0.587G4-0.114B公式2-1

图像灰度化之后，下一步工作就是对图像进行增强处理。轴承缺陷检测的精

度与获取图像的j质量有着很大的关系。由于原始图像受到种种条件限制和随机干

扰，必须在视觉的初期阶段进行灰度校正、躁声过滤等图象增强处理。目前，常

用时图像增强措施重要有灰度拉伸、直方图均衡叱、平滑处理以及锐化处理等。

由于需要获取丰富H勺轴承边缘细节信息，因此本方案采用一阶微分图像增强处理

措施。在图像处理中，一阶微分是通过梯度法来实现日勺。对于函数/（匚山，在

其坐标（x,y）上的梯度是通过一种二维列向量来定义时:

or

▽"="公式2-2

LGy0f

梯度处理常用于工业检测、辅助人工检测缺陷，或者是更为通用的自动检测口勺预

处理等。常用的梯度增强算子有Robert算子、Sobel算子、Prewitt算子等，本

文采用的是Robert交叉算子。Robert算子具有克制躁声、锐化边缘等功能。使

用该算子对轴承图像进行增强处理，图象日勺对比度增强、轮廓清晰、边界灰度跳

变明显，包括丰富日勺轴承边缘信息。便于下一步对轴承图像进行分割、定位、计

算等处理。

§2.3未插入连接器轴承的缺陷检测

在轴承生产过程中，对未插入连接器日勺轴承进行缺陷检测是很关键的一步。

它影响到下一步连接器日勺插入，润滑油日勺注入等。对未插入连接器轴承日勺检测内

容重要是判断轴承内滚珠与否缺失；滚珠之间的夹角与否相等；假如滚珠有缺失

或各滚珠之间夹角不相等则判断为不合格品，反之为合格品，假如为合格品则输

出图像相对旋转角度。操作设备（机械臂）根据此转角插入滚珠之间日勺连接器。

b.Canny边缘检测

图2-1-a是摄像头背光状况下采集到的未插入连接器轴承图像。判断轴承内

滚珠与否缺失，前提是将滚珠图像从整个图像中分割出来，然后通过计算滚珠图

像口勺个数来确定。首先运用Robert交叉算子对轴承图象进行增强处理.，然后进

行边缘检测。目前常用口勺边缘检测算子诸多，重要有Roberts检测算子、Sobel

检测算子、Prewitt检测算子、Laplacan二阶检测算子、LoG二阶检测算子以及

Canny边缘检测算子等。以上算子各有不一样的特点，通过反复试验发现Canny

算子对轴承图象边缘的检测效果最为明显。见图2T-b。Canny边缘检测算法是

高斯函数的一阶导数，是对信躁比与定位之乘积的最优化迫近算子。该算法日勺特

点是1.用高斯滤波器平滑图像；2.用一阶偏导的有限差分来计算梯度的幅值和

方向；3.对梯度幅值应用非极大值克制;4.用双阈值算法检测和连接边缘。通过

对轴承图象进行Canny运算，我们得到了完整的轴承图象边缘。见图

判断轴承内滚珠与否缺失，只对轴承图象进行边缘检测还不够，还必须将滚

珠从轴承边缘图象中分离出来。考察该轴承边缘图象，可以发现轴承的内圆和外

圆日勺边缘都卜分明显。假如将原图象中两个外圆之间以及两个内圆之间日勺像素和

边缘像素去掉，那么就可以得到一种个不持续H勺滚珠图象。根据此设想，首先要

获取外圆图象（2个圆）及内圆图象（2个圆）的边缘信息，然后去掉圆内像素

以及圆日勺边缘。目前，对圆日勺检测重要采用Hougo变换措施。Hough变换适合检

测图象中的某些给定形状的曲线并用参数方程描述出来，其重要长处是，检出曲

线日勺能力较少受曲线中的断点等干扰日勺影响，是一种迅速形状检测措施。Hough

变换是对图象进行坐标变换，使之在另一坐标空间的特定位置上出现峰值，检出

曲线既是找出峰值欧I位置问题。因此很轻易检出轴承图象的内外圆边缘。

见图2-2-。使用Hough变换得到轴承图象日勺内外圆边缘后，再去掉两个外

圆之间以及两个内圆之间的像素和边缘像素，就可以分割出一种个不持续的滚珠

图象。见图2-2f。考虑到分割后口勺滚珠一值图象各像素之间存在不持续的状况

以及各个滚珠图象也许出现粘连影响滚珠个数、各滚珠之间夹角口勺计算等状况，

有必要对滚珠图象进行数学形态学运算处理。

图2-2aHough变换b.滚珠分割

形态学图像处理是图像处理日勺一种重要研究领域，数学形态学日勺应用几乎涵

盖了诸如噪声克制、特性提取、边缘检测、图像分割、文字识别等图像处理几乎

所有的领域。数学形态学处理的对象重要是二值图像，数学形态学基本运算还可

以构造许多有效的图像处理与分析措施，其中最基本的形态运算是腐蚀和膨胀。

按照定义，二值图像上目的边界点是指位于目的I内部、且至少有一种邻点位

于目的之外日勺像素。若用B代表构造元素，A代表图像集合，则用构造元素B

对图像集合A进行膨胀和腐蚀运算分别定义为：

膨胀：A㊉8={x|x="+。,对于部分“£入&"£8}公式2-4

腐蚀：AG)8={x|(x+〃)£人对于每一公式2-5

腐蚀具有使目日勺缩小、目日勺内孔增大，消除外部孤立噪声的效果，膨胀则是

将图像中与目的物体接触的背景点合并到物体中的过程，成果使目的增大、孔洞

缩小、可弥补目的中的孔洞，使其形成连通域。图像A被构造元素B膨胀，膨胀

后A的形状与构造元素B的形状有很大关系，同样，腐蚀的成果也与构造元素的I

选用有关，选用不一样的构造元素B,也许会得到截然不一样的膨胀或腐蚀成果。

本方案采用先膨胀后腐蚀的措施对滚珠图象进行形态学操作。运算成果如图

2-3卷所示，可以看到通过形态学处理后滚珠图像轮廓较为清晰，滚珠边缘像素

较为密集，滚珠之间也许出现H勺粘连状况也得有效H勺改善，更有助于滚珠个数的

计算以及各滚珠之间夹角的I计算等。滚珠图象形态学处理再通过连通区域标识，

即可得到每个滚珠图像口勺大小、位置和像素的个数。滚珠个数确实定是根据滚珠

图像的性质对其进行有效性鉴别，然后对再有效向滚珠图像进行计数，得出滚珠

个数°各滚珠之间的夹角确定：先求出滚珠图象和内外圆图象之间的交叉点.然

后分别交叉连接这些交叉点，如图2-3-b所示，即可计算出滚珠之间的夹角。

图2-3a形态学操作b夹角计算

通过以上过程计算出滚珠个数以及滚珠之间夹角，就可以判断被检轴承与否

为合格产品？假如检出的轴承滚珠个数与原则轴承滚珠个数相等以及检出各滚

珠夹角均相等则判断为合格品。对于合格品则计算该图像的相对转角，生产设备

根据此转角使用机械臂插入滚珠之间的连接器。

图像相对■转角H勺计算较为复杂，波及图像相似度计算、模板匹配以及图像旋

转计算等，是本方案着重处理的问题之一。详细措施是：以一幅原则轴承图像做

为检测模板，被检轴承图像旋转一定角度后与该模板进行相似度比较，取被检图

像与模板图像相似度最大时候的角度作为该图像旋转角度。由于内外圆图像对求

取图像相对旋转角度有影响，因此需要把被检图像以及原则图像中H勺内外圆图像

去掉。这样轴承图像中只包括滚珠信息，图像日勺相似度计算量以及对图像进行旋

转运算量相对来说要小诸多。此外波及图像相似度的计算也相对简朴某些。

在进行图像相似度比较时候，由于要考虑图像旋转、缩放、噪声等原因日勺影

响，采用老式日勺模板匹配算法不能获得良好的效果。因此，本方案采用一种计算

图像归一化转动惯量的措施对图像特性进行匹配，在对轴承图像的匹配上可以获

得很好的效果。在数字图像处理中，可以将二维数字化灰度图像(MxN)当作是

二维XOY平面上MxN个像素点（乂），），每个像素点【灯灰度值为/（x,y）。根据物

理学上重心日勺概念，定义灰度图像/（匹力的质心C，9）如下:

MNMN

/3,）'）ZZyx/（x,y）

x=ly=lx=ly=l

cxMNMN公式2-6

Hf（x9y）

.v=ly=l.r=ly=1

图像围绕质心（C，J）的转动惯量为

M•»/NIV,

J（J，C）.）=£Z［（苍）'）一（C,Cy）丁/（X,y）

x=\y=l

公式2-7

wNJ

=ft[（x-q）2+（y-cj]/（3）

x=ly=l

根据图像日勺质心和转动惯量的定义，可给出灰度图像绕质心（心.与）的归一化

转动惯量M〃为:

/（%4•、.）

NMI=N__

m

MNr,

££[（x-q）2+（y_q）2]f（x,y）公式2-8

X=lY=l

MN

x=lv=l

JWN

其中，为图像质量，代表图像所有像素灰度之和。

x=ly=l

仿真试验表明，同一张图像无论进行怎样的旋转、缩放、平移操作，其NM/

值的变化都应当不不小于1%,也就是说，假如比较两张图像日勺附//值，就可以

大体得到其相似度H勺值。

为了计算两张图像H勺旋转角度，可以采用的一种措施是旋转图像的措施，对

其中一幅图像旋转指定力度之后再与此外一张图像进行相似度比较，最终取相似

度最大时候H勺角度作为旋转角度。由于图像旋转要做浮点数运算，因此这种措施

的计算量比较大，假如视频检测的速度很快，系统的处理速度就很难到达实时。

本方案采用一种完全不一样的措施，是基于傅立叶变换日勺处理措施（频域处理措

施），相对于上述措施来说，具有速度快、计算量小和精确度高的特点，可以满

足轴承检测日勺实时需要。傅立叶变换在图像处理令页域有着重要日勺地位，由于平移、

旋转、缩放等变形在频域中均有对应变换，因此完全可以运用傅立叶措施在频域

中进行多种图像处理。它具有对图像噪声的I不敏感性，计算效率上日勺高性能等长

处。基于频域日勺图像的一种经典处理措施是相位有关算法，可以用来计算两张图

像日勺相对位移。根据傅立叶变换的平移不变性，对于两张图像人和乙，假如只存

在平移亿人），即满足：

/2（x,>'）=Z|（x-/v,^-Zv）公式2-9

那么它们相对应的傅立叶变换耳和E满足如下关系：

耳（〃,丫）=6一C41—公式2-10

也就是说，这两张图像在频域中具有相似口勺幅值，只是相位不一样。它们之

间n勺相位差可以等效的表达为互功率谱的相位：

飞（〃"（",川公式2-11

这里*是复共规运算符。对互功率谱口勺相位进行傅立叶逆变换（见公式2-12）,

就可以得到在位移处&人）获得冲击函数的最大值。

（utx+vty）

IFT（e）=^（x-tx,y-ty）公式2-12

基于频域的相位有关法和直接法的空域rr关法相比，这种措施不需要搜索图

像空间，除去首尾日勺傅立叶变换和傅立叶逆变换外，时间开销为。⑴；而由于存

在迅速傅立叶变换，整个算法的效率得到极大的提高，完全可以做到实时。

假如一张二维图像人(x,y)是由图像/*,)，)通过平移(%,%)和旋转角度0。

而得到日勺，

人(X，)')二/(XCOS4+ysin/90-x0,-xsin%+ycos%-%)公式2-13

根据傅立叶变换的性质可以得到：

(，3gx£(£cos4+〃sin%,-£sin%+〃cos%)公式2-14

设M和也分别为F1和F2的幅值：

M=M(ecosq)+0访4,一£sinq)+〃cos4)||,M?=|优

那么：何?(£,〃)=/%(£cos%+〃sin-£sin。)+"cos%)公式2T5

很明显它们的幅值是相似的，只是做了一种旋转变换。由于直接求取旋转角

度比较困难，因此再对式7作极坐标变换，使旋转变成简朴的平移：

M<p,e)=M\(p,6-ej

其中P=产帚，，=tanT(〃/£)，这样使用式2-11的互有关函数可以很

轻易得到旋转角度必。根据上述算法，图像旋转角度的计算流程可以如下图所示:

图2-4图像旋转角度计算流程

图中的傅立叶变换使用迅速傅立叶变换法方。目前该变换算法比较成熟，且

具有计算最小、性能稳定等长处。

§2.4插入连接器轴承的缺陷检测

由于滚珠与连接器之间配合也许存在偏差，使用机械臂插入连接器时，也许

会出现连接器断裂状况。因此有必要对插入连接器的轴承再进行缺陷检测，重要

检测内容是滚珠之间的连接器与否出现断裂。假如未检测到连接器断裂认为是合

格品，反之为不合格品。对于合格品则计算该轴承图像的相对转角，生产设备根

据该转角对轴承注入涧滑油。

图2-4a原灰度图象b.Canny边缘检测

图2-4-a是摄像头背光状况下采集到的插入连接器轴承图像。判断轴承内连

接器与否出现断裂，前提是将连接器图像从整个图像中分割出来，然后再对连接

器图像进行特性检测来确定。不失一般性，首先运用Robert交叉算子对轴承图

象进行增强处理，然后使用Canny边缘检测算子获取轴承图像的边缘信息。有关

Canny算子在§2.3节中已经有简介，这里不再赘述。通过对轴承图象进行Canny

边缘检测运算，我们得到了完整H勺轴承边缘图像.见图2-4-卜。

为了把连接错图像从原图像中分离出来，必须先把内外圆图像去掉。而怎样

检测内外圆图像，成为这个环节中日勺关键。由于插入连接器之后的图像具有更复

杂日勺构造和更多日勺边缘信息，运用中上一节日勺措施来检测内外圆显然是很难实现

时。因此本节对内外圆检测日勺措施做了尤其日勺处理。首先根据边缘检测日勺措施得

到外圆日勺外层图像，然后根据上一节Hough变换检测区I内外圆得到日勺内外圆大小

的比例（半径的比例），通过该比例可得到其他3个圆日勺位置。轴承图像欧I内外

圆检出后，就可以把内外圆之间的图像部分清除掉，从而得到连接器和滚珠相连

的图像，见图2-5-@所示。连接涔及滚珠分割后再对图像进行形态学膨胀、腐蚀

处理。处理成果见2-5-b。

图2-5a连接器及滚珠分割b形态学处理

对轴承图像进行分割、形态学处理后，再进行联通区域标识，这样可以得到

连接器和滚珠之间空白部分图像日勺性质。根据空白部分图像H勺性质（位置、大小、

像素个数、长宽比等），即可判断出连接器与否出现裂纹。对包括连接器和滚珠

的图像，按上节图像近似度计算以及旋转运算的）措施与原则图像进行比较，以计

算出图像的旋转角度。生产设备再根据此转角使用机械臂对轴承注入润滑油。

§2.5轴承润滑油注入量的检测

轴承插入连接器并检查合格后，生产设备根据计算出欧I图像相对转角使用机

械臂为轴承注入润滑油。由于是自动化生产，润滑油时注入量也许出现注入不均

匀或注入不完全日勺状况，因此有必要对注入润滑油的I轴承再次进行缺陷检测。重

要检测润滑油注入量的状况，判断轴承中润滑油注入量与否满足规定。假如检测

不满足规定则计算轴承图像日勺相对转角，生产设备根据该转角使用机械臂再次注

入润滑油，直到满足注入量规定为止。

图2-6a原灰度图象b.二值化处理

图2-6-a是摄像头正光状况下采集到的未注入润滑油日勺轴承图像。由于润滑

油分布于轴承内外环之间，内外环之间空隙被覆盖日勺程度与润滑油日勺注入量有很

大日勺关系。因此通过判断轴承图像二值化后大圆和小圆之间日勺阴影部分面积即可

得知润滑油日勺注入状况。假如阴影面积将整个区域都填满，认为润滑油注入量比

较合适。反之则认为注入量不符合规定。假如润滑油注入量不满足规定则计算该

图像的相对旋转角度，生产设备根据此转角定位，重新注入润滑油。前面提到对

轴承图像进行二值化处理。所谓二值化，就是将原始的灰度图像转化成二值图像,

使图像内仅有灰度值为0（黑）和灰度值为1（白）时点欧I过程。由于轴承图像

的边缘信息对于最终日勺识别成果起着关键的作用，因此在对轴承图像二值化处理

时必须要尽量地保留轴承图像的几何特性。设人力表达图像在伍力位置处H勺灰度

值，二值化过程可表达为公式2-16：

1

加/=

0公式2-16

其中7成为二值化的阈值，怎样选择合适的阈值丁是二值化的关键。当了值

过小时，也许会增长许多虚假信息，而丁值过大又也许会丢失有用信息。比较常

见口勺阈值分割法有全局阈值法、局部阈值法和动态阈值法等。其中全局阈值法算

法简朴，对于目的背景分离明显的图像效果良好，然而一旦图像有光照不均、噪

声干扰状况时二值化效果明显减少；局部阈值法考虑了邻域点对考察点的影响，

但实现速度较慢，旦对于复杂或干扰多口勺图像难以应用；而动态阈值法是一种自

适应的二值化措施，充足运用了像素自身及其邻域的灰度变化特性，本方案采用

后者。通过对轴承图像进行自适应阀值后处理后，可得到清晰的轴承二值图像，

见图26-bo然后根据釉承图像二值化后大圆和小圆之间的阴影部分面积来判断

润滑油口勺注入状况。假如阴影面积没有将整个区域都填满，则认为润滑油注入量

不合适，需要计算轴承图像口勺相对转角。

旋转角度的计算必须在轴承二值化后进行。首先根据背景的灰度，把背景部

分去掉，然后对剩余部分日勺图像进行二值化，这样由于物体反光的不一样，致使

滚珠与内外圆和连接器日勺灰度不一样，二值化就可以把滚珠图像从周围物体中分

离出来。将分割后滚珠图像与原则化日勺滚珠图像进行比较，再采用§2.3中计算

旋转角度的措施，就可以计算出相对旋转角度。

§2.6轴承视觉检测系统总结

本章简介了轴承视觉检测系统的各个检测环节以有关的检测算法等，现将本

方案各个检测环节及其检测措施总结如下：

1）对未插入连接器轴承的检测检，测内容重要是判断滚珠与否缺乏以及各

滚珠之间的夹角与否相等？假如滚珠完整并且各滚珠之间的夹角均相等，鉴定为

合格品，反之为不合格品。对于合格品则计算该轴承图像H勺相对转角，生产设备

根据该转角使用机械臂插入轴承连接器；详细环节如下：a.对原轴承灰度图像进

行边缘增强，然后运用Canny算子得到边缘二值图像。b.考察边缘图像，应当可

以看到轴承H勺内圆和外圆的边缘都很明显。采用Rough变换的措施可以得到外圆

图像（2个圆）和内圆的图像（2个圆）。从原图像中把2个外圆之间的像素和

边缘像素去掉，从原图像中把2个内圆之间的像素和边缘像素去掉，就可以得到

一种个不持续的滚珠图像。c.对滚珠图像进行2值化后进行腐蚀和膨胀操作，最

终通过连通区域标识，可以得到每个滚珠图像FI勺大小、位置和像素的个数。d.

根据滚珠图像的性质XT其讲行有效性鉴别，对有效的滚珠图像讲行计数，这样就

可以得到原图像中滚珠的个数。e.根据第2步和第3步H勺图像，可以求得滚珠图

像和内外圆图像之间的交叉点。分别交叉相连这些交差点，就可以得到滚珠之间

的夹角。f.根据滚珠个数和滚珠之间夹角，可以判断此轴承与否为合格产品。g.

由于内外圆图像对求取图像相对旋转角度有影响，因此在原图像中和原则图像中

都要把内外圆图像去掉。最终用来求取旋转角度的图像只有滚珠的图像。图像旋

转角度口勺计算采用§2.3节简介的措施。

2）对插入连接器的轴承进行缺陷检测。检测的内容重要是判断滚珠之间口勺连接器

与否出现断裂。假如未检测到连接器断裂则判断为合格品，反之为不合格品。对

于合格品则计算该轴承图像日勺相对转角，生产设备根据该转角使用机械臂对轴承

进行注入润滑油。详细环节如下：a.为了把连接器图像从原图像中分离出来，就

必须首先把内外圆图像去掉，而怎样检测内外圆图像，成为这个环节中的关键。

由于插入连接器之后的图像具有更复杂的构造和更多的边缘信息，运用§2.3节

的措施来检测内外圆显然是很难实现的I。b.这里可以根据第一种环节得到的数

据，在第2个环节中进行使用。即首先根据边缘检测的措施得到外圆的外层图像,

然后根据第一种环节中得到的内外圆大小的比例（半径的比例），可以得到其他

3个圆的位置。这样就可以把内外圆之间H勺图像部分清除掉，从而得到连接器和

滚珠相连的图像。c.对剩余的图像进行联通区域标识，这样可以得到连接器和滚

珠之间空白部分图像的性质。d.根据空白部分图像的性质（位置、大小、像素个

数、长宽比等），可以判断出连接器与否有裂纹。e.对包括连接器和滚珠口勺图像,

按照§2.3节简介的措施与原则图像进行比较，以计算出旋转角度的大小。

3）对注入润滑油三口勺轴承再讲行缺陷检测，检测内容重要是判断输出润滑

油注入量与否满足规定。假如检测不满足规定则计算轴承图像的相对转角，生产

设备根据该转角使用机械臂再此注入润滑油。详细检测措施是：根据二值化之后

大圆和小圆之间的阴影部分面积来判断，假如阴影面积将整个区域都填满，则认

为润滑油注入量比较合适。图像的旋转角度口勺计算必须在二值化后进行。首先根

据背景口勺灰度，把背景部分去掉，然后对剩余部分的图像进行二值化，这样由于

物体反光的不一样，致使滚珠与内外圆和连接器的灰度不一样，二值化就可以把

滚珠图像从周围物体中分离出来。分离出滚珠图像之后，将其与原则化的滚珠图

像进行比较，再采用§2.3节计算旋转角度的措施，就可以计算出相对旋转角度。

第三章智能交通车牌识别技术方案

§3.1车辆牌照识别系统的发展及现实状况

车牌识别技术产生于上世纪末开始的I智能交通革命，智能交通系统通过十数

年的推广、试行和发展，目前已成功地应用于若干经济发达及较为发达国家H勺都

市及都市高速公路系统中。而车牌识别系统正是在这种应用背景下研制出来的，

可以自动实时检测车辆通过和识别汽车牌照日勺智能交通管理系统。

车牌识别系统是一种以车牌为对象的专用机器视觉系统，它可以从一幅图像

中提取分割并识别出车辆牌照，运用图像处理、模式识别和人工智能技术，通过

对图像日勺采集和处理完毕车辆牌照时自动识别，识别成果可按需求分别包括车牌

的字符、数字、牌照图像，以至牌照颜色、坐标、字体颜色等。

实时识别出行驶车辆的牌照号码并与车辆管理数据库相结合，就可以有针对

性地实现车辆检查，自动化管理等工作，可以大大简化人工劳动。伴随车辆数目

的迅猛增长，对于车辆及交通管理智能化的规定越来越高，牌照自动识别技术的

发展日趋成熟，应用也日趋广泛，重要包括高速公路、桥梁、隧道的监控；收费

管理、都市交通车辆管理；电子警察、海关边境交通监控；智能小区、智能停车

场管理等多种智能化交通领域。

§3.2车牌识别系统工作原理与流程

一种完整的车牌识别系统重要由触发、图像采集、图像识别、辅助光源和通

信模块构成。触发和图像采集是车牌识别系统的前置装置。运行时触发模块负责

在车辆抵达合适位置时给出触发信号，控制抓拍。图像采集模块包括光学镜头、

光电转换器件和模数转换器件，图像采集的质量与识别效果直接有关，其前端硬

件的性能直接影响车牌识别软件口勺应用和推广。在捕捉并获取图像后，要对得到

的图像进行识别。车牌识别一般要通过图像预处理、牌照定位、字符分割、字符

识别几种环节，如图37所示。

原始图像iL图像预处理牌定国L_

图37车牌识别系统流程

图像预处理程序充抓拍口勺图像进行流波、边界增强等处理，清除噪声对图像

的干扰，进行参数调整，以便进行后续的处理。车牌定位模块从获得的图像中找

到车牌区域日勺位置并进行标识，将车牌区域从复杂日勺背景中分割出来，是车牌字

符识别日勺前提，也是车牌识别欧I关键技术。字符分割是将已提取出日勺车牌区域分

割成单个的字符。字符识别模块是车牌识别系统的关键模块之一，其算法的I优劣

直接影响到系统识别率的高下。在字符识别过程中，由于实际使用条件存在诸多

干扰原因，这些对识别算法提出了很高日勺规定。目前常用的字符识别算法有模板

匹配、轮廓匹配、拓扑特性检测、模糊模式、神经网络识别等。

§3.2车牌定位算法的分析与设计

车牌定位是车牌字符识别的前提，是车牌识别系统H勺关键技术之一。车牌的

定位算法一般由图像预处理、车牌区域搜索几种环节构成，其功能从整个车牌图

像中找到并提取出车牌区域，为其切提成单独的字符和字符识别做准备。

车牌定位措施时一种共同出发点是通过牌照区域的特性来判断牌照。可运用

日勺车牌特性重要有车牌区域内的边缘灰度直方图记录特性、车牌几何特性、车牌

区域的灰度分布特性、车牌区域水平或垂直投影特性、车牌形状特性和频谱特性

等，可以概括如下：

1车牌区域内的I边缘灰度直方图记录特性：有两个明显且分离时分布中心。

2车牌的儿何特性：车牌的宽、高比例在一定范围内。

3车牌区域灰度分布特性：穿过车牌U勺水平直线其灰度展现持续的峰、谷、峰的分布。

4车牌形状特性和字符排列格式特性：车牌有矩形边框，字符位于矩形框中且有间隔。

5频谱特性：对图形作行或列的DFT变换，其频谱图中包括车牌位置信息。

表3-1车牌特性

目前经典欧I牌照定位措施重要有基于水平线嗖寻日勺定位算法，基于DFT变换

时频域分析措施，基于Niblack二值化算法及自适应边界搜索算法，基于数字图

像处理日勺灰度阈值化、边缘提取和区域生长日勺图像分割措施，基于颜色日勺车牌提

取措施等。根据不一样日勺实现措施，大体可将既有日勺车牌定位算法分为直接基于

特性的车牌定位法，运用形态学、小波分析、神经网络等数学工具进行定位日勺车

牌定位法，彩色图像车牌定位法，基于矢量量化口勺车牌定位法等。

本方案使用的是基于灰度图像的车牌定位算法。这是考虑到灰度图只具有亮

度信息，比彩色图像简朴愈加易于使用；且灰度图日勺每个像素只需用一种字节

（8bit）表达，处理信息量小、速度快，占用的存储空间小。根据系统采集设备

的不一样，采集得到的原始图像也许是彩色图像或灰度图像，针对本算法，之前

必须将车辆图像转化为灰度图。为了消除实际应用中环境原因的不利影响，还需

要对原始图像进行清除噪声和增强图像质量等处理。

对图像进行灰度变换通过公式3-1实现日勺，式中R为红色分量、G为绿色分

量、B为蓝色分量。

Y=0.299R+0.587G+0.1146公式3T

图像灰度化之后，下一步工作就是对图像进行增强处理。车牌识别率与获取

图像的质量有着很大的关系，由于车牌识别系统全天候进行工作，天气及光照度

的变化有时会引起牌照图像口勺对比度减少、图像质量下降、甚至出现图像中牌照

字符辨别不清，完全无法进行定位口勺状况。因此人们提出了多种增强图像对比度

的措施，如灰度拉伸、直方图均衡化、使用线性滤波器对车辆图像进行滤波等。

这些措施不仅可以增强图像日勺对比度与车牌区域H勺可识别度、消除图像噪声，还

对后续车牌区域的定位有着很大的影响。

当导致图像灰度失衡和失真日勺原因是由于曝光局限性导致图像灰度变化范

围较窄，或由于被摄物体的远近导致中央区域和边缘区域灰度差异较大时，可采

用灰度校正口勺措施来处理。这种处理会增强灰度的变化范围，丰富灰度层次，以

到达增强图像对比度和辨别率的目日勺。灰度拉伸和直方图均衡是图像增强技术中

比较简朴但十分实用的措施。

当图像日勺对比度不高时，将图像数据映射到整个灰度范围内会大大增强图像

时对比度，这种措施就是灰度拉伸。它可以扩展或压缩灰度的J动态范围，还可以

进行灰度的分段处理、如根据在某段区间中进行压缩而在此外的区间中进行扩

展。假设输入图像的灰度范围是但愿拉伸后图像的灰度

范围是[n,N],则灰度拉伸可以表达为下面H勺数学变换：

N—n

g(%田=7；——"(儿田一〃力+n

M-m小#Q-o

变换关系曲线图如下所示:

fmax

fmin

------!--------------!-----►

.g

图3.严发度线性姆线

不过若对所有得到的车辆灰度图像使用同一系数进行灰度拉伸，有时候不仅

不会起到增强对比度的效果，尚有也许使车牌区域变暗、对比度下降。因此，对

于实际得到日勺图片不可以采用固定的I模式进行拉伸，拉伸范围应当有动态变化，

或者使用不-一样的图像增强手段。

直方图均衡化针对的是自然图像在低值灰度区间频率较大、图像中较暗的区

域细节不清晰的状况。这时为使图像清晰可以拉开图像n勺灰度范围，让灰度频率

较小的灰度级变大，即让灰度直方图在较大的动态范围内趋于一致。假设原灰度

图像总像素为N,灰度级个数为L,第k个灰度级出现日勺频率为,若原图八/，）'）

在像素点处灰度为〜，则直方图均衡化后的图像gay）在该处的灰度先为:

k

sk=Z

Z=ON公式3.2

通过直方图均衡化日勺图像细节愈加清晰，各灰度等级的比例愈加平衡，不过

由于直方图均衡没有考虑图像的内容知识简朴地将图像进行均衡化，因此也许出

现调整后图像亮度过高的状况。在实际使用中，应当分不一样的状况应用不一样

的图像增强措施。

当环境光照度很好、拍摄到的图像较为清晰的状况下，车辆图像的灰度直方

图在（）到255范围之间分布较为均匀，没有尤其集中于低灰度值区或相邻象元灰

度级过于靠近的状况，此时截取图像［50,150］间H勺灰度范围并拉伸到［0,255］的整

个灰度范围之中可以使图像的对比度得到增强（见图3-2）；而当环境光线较弱，

但有车灯或辅助光源等其他光源刺激时，图像的灰度值也许集中在较低的区域，

这时假如仍截取图像在50到150间的灰度范围做灰度拉伸反而会使低灰度级上

H勺像素丢失，严重时甚至会湮没整个车牌区域，这时运用动态选择灰度范围进行

拉伸可以获得很好欧I效果，但比较简洁日勺措施是使用直方图均衡化，提高整体亮

度，车牌区域也会得到突出（见图3-5）。

图3-2灰度拉伸后的效果图3.3直方图均衡化的效果

图3-4灰度拉伸后的效果图3-5直方图均衡化口勺效果

通过灰度化和增强处理之后，接下来要做的是根据车牌特性找出车辆图片中

日勺车牌区域并分割出来，这一环节直接关系到系统的识别速度和精度。通过对不

一样算法的模拟和测试，笔者发现车牌字符H勺垂直纹理相对集中，且不受车牌倾

斜的影响。若使用适合字符纹理特性的垂直边缘检测法对车牌图像进行运算，不

一样环境中拍摄车辆图像的车牌区域都可以得到很好的增强。

所谓边缘检测实际上就是寻找图像中变换比较剧烈的像素位置，即检测图像

特性发生变化的位置。边缘检测有不一样的边缘算子，常用的垂直边缘检测算子

有Sobel垂直算子和Prewitt垂直算子，但试验显示，上述算子无法清除非字符

日勺垂直纹理，不利于复杂背景下的车牌分割。本方案使用的垂直边缘检测算子运

用的是灰度图像中车牌区域字符垂直纹理相对集中的I特性，首先将灰度图像转化

为垂直纹理图，然后结合边缘检测算法有效地突出字符纹理区域，同步在保留字

符区域垂直边缘的基础上清除大量非字符垂直边2彖。

算法环节如下：

1.应用一阶差分运算获取垂直纹理图。

设原灰度图像为了（"'）,该灰度图像的垂直纹理图为g@，）'），则一阶差公式为

+公式3.3

其中i=123,.”,J=L2,3…卬；/?与卬分别为待分割灰度图像H勺高度和宽度;

为像素点伍力的灰度值，*色力为垂直纹理图中像素点亿力的灰度值。

2.计算垂直纹理图整体均值avg,如公式3-4

hW