（光学工程专业论文）智能相机相关技术的研究.pdf

摘要 在检测、控制各领域，需要图像检测设备来检测条码或其它特征图像。传统 的方法是：使用相机、图像采集卡和p c 机等组合，然后再通过p c 机进行软件编 程，得到图像处理结果。但是，随着工业的发展，在一些应用领域，这种方式显 现出了其弊端：p c 机结构复杂，体积也相对庞大，不宜于安装。在这种形势下， 出现了工业上的智能相机，它具有体积小、多功能、方便易用等特点，十分适合 工业检测、控制领域。目前，针对不同检测应用的智能相机正在逐步取代p c 机， 在工业上图像处理占据了重要的地位。为此，本文完善了手持式裂缝仪系统，并 且根据智能相机的要求，实现了对裂缝和条码图形的识别与计算。 本文主要完成以下几个方面的工作： ( 1 ) 完成了手持式裂缝仪系统的机械结构设计和硬件调试。分析和改善了光 学成像部分，使得图像质量得到了很好的改善，从而减少了后续计算量。 ( 2 ) 在设计方案的基础上，完成了亮度自动调节，图形显示等设计与调试 ( 3 ) 解决了之前仅能测竖向且平滑裂缝的缺陷，完成了新的算法，可以测量 几乎各种形状的裂缝。算法中，首先对图像进行二值化后，采用分块处理搜索裂 缝边缘；之后利用基本形态学与链表组合的方法对提取的边缘进行了拟合，得到 平滑的边缘；最后通过快速矢量分层的方法计算出裂缝宽度。 ( 4 ) 设计了手持式二维条码阅读仪的p d f 4 1 7 识别系统，完成了条码的定位、 二值化、识别等运算，并将该算法嵌入到d s p 中。从而使得该系统有更多的针对 性。 ( 5 ) 完成了手持式裂缝仪和手持式二维条码阅读仪整体系统软件，包括系统 b o o t 与配置，功能单元软件等各模块程序的设计。 关键词：智能相机裂缝二维条码图像处理 a bs t r a c t i nt h ed e t e c t i o na n dc o n t r o la r e a s ，t h ee q u i p m e n tf o rd e t e c t i o no ft h ec h a r a c t e r i s t i c so f t h ec o d ei m a g e sa n do t h e ri m a g e si sn e e d e d t r a d i t i o n a lm e t h o di s ：u s i n gc a m c r a s ， i m a g ea c q u i s i t i o nc a r d sa n dp c ，p r o g r a m m i n gs o f t w a r ei np c ，a n dt h er e s u l to fi m a g e p r o c e s s i n gc a nb eo b t a i n e d h o w e v e r , a st h ed e v e l o p m e n to ft h ei n d u s t r y , t h i sm e t h o d s h o w si t sd r a w b a c k s ：t h es t r u c t u r eo fp ci sc o m p l e x ，t h ev o l u m ei sr e l a t i v e l yl a r g e ， a n dt h ei n s t a l l a t i o ni sn o tc o n v e n i e n t u n d e rt h i ss i t u a t i o n i n d u s t r i a ls m a r tc a m e r a si s a p p a r e n t ，i th a ss m a l l ，m u l t i f u n c t i o n a l ，e a s y t o - u s ef e a t u r e sa n dv e r ys u i t a b l ef o r i n d u s t r i a li n s p e c t i o n ，c o n t r o la r e a s r e c e n t l y , s m a r tc a m e r a sa r eg r a d u a l l yr e p l a c i n g t h ep c ，a n dp l a y i n ga ni m p o r t a n tp o s i t i o ni ni m a g ep r o c e s s i n gi nt h ei n d u s t r y s o ，t h e m a i nt a s ko ft h i st h e s i si si m p r o v i n gt h eh a n d s e td e v i c ef o rm e a s u r i n gb u i l d i n g c r a c k , a n dc o m p l e t i n gt h ed e t e c t i o no ft h ew i d t ho ft h ec r a c k sa n dr e c o g n i t i o no ft h e b a r c o d e t h em a j o rw o r ko ft h i st h e s i si sa sf o l l o w s ： i t h em e c h a n i c a ls t r u c t u r ed e s i g na n dh a r d w a r ed e b u g g i n go ft h eh a n d s e td e v i c e f o rm e a s u r i n gb u i l d i n gc r a c ka r ec o m p l e t e d t h r o u g ha n a l y z i n ga n di m p r o v i n gt h e o p t i c a ls y s t e m ，t h eq u a l i t yo ft h ei m a g eh a sb e e ni m p r o v e dg r e a t l ya n dt h e c o m p u t a t i o no ft h ei m a g ep r o c e s s i n gh a sb e e nr e d u c e d 2 t h ea u t o m a t i ca d j u s t m e n to fb r i g h t n e s s ，g r a p h i c ss h o wd e s i g na n dd e b u g g i n ga r e c o m p l e t e d 3 t h ep r o b l e mt h a tt h ed e v i c eo n l yc a nd e t e c t e dt h ev e r t i c a lc r a c k si ss o l v e d t h e n e wa l g o r i t h mc a nm e a s u r et h ec r a c k so fa l m o s ta l lk i n d ss h a p e a f t e ri m a g e b i n a r i z a t i o n ，s e a r c h e st h ee d g eo ft h ec r a c kb ym e a n so fs u b b l o c k ；t h e n ，u s i n gt h e b a s i cm o r p h o l o g i c a lo p e r a t i o n sa n dc h a i nt os m o o t ht h ee d g e ，t h e no b t a i n st h ec o r r e c t e d g eo ft h ec r a c k f i n a l l y , g e tt h ew i d t ho ft h ec r a c k st h r o u g h “f a s th i e r a r c h i c a l v e c t o r 4 t h eh a n d s e td e v i c ef o rr e c o g n i t i o no ft h et w o d i m e n s i o n a lb a r c o d ep d f 417i s d e s i g n e dw i t hi m a g ep r o c e s s i n gs o f t w a r e t h ef u n c t i o no fs o f t w a r ei n c l u d e s ：t h e p o s i t i o n i n g ，b i n a r i z a t i o na n dr e c o g n i t i o no ft h eb a r c o d e t h e n ，i th a sb e e ne m b e d d e d i nd s ea v a r i e t yo fs p e c i f i cf u n c t i o n sa r ea c h i e v e d 5 t h es o f t w a r ef o rc o n t r o l l i n ga l ls y s t e mi sc o m p l e t e d ，i n c l u d i n gb o o ta n d c o n f i g u r a t i o no ft h es y s t e m ，a n do t h e rf u n c t i o n a ls o f t w a r em o d u l e s k e yw o r d s ：s m a r tc a m e r a ，c r a c k ，b a r c o d e ，i m a g ep r o c e s s i n g i n 独创性声明 本人声硬所翌交的学位论文是本人在导师指导下进行的研究工作裥取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得天津大学或其他教育机构的学位或证 书已使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名癃今函 签字日期：年月 日 学位论文版权使用授权书 本学位论文作者完全了解天津大学有关保留、使用学位论文的规定。 特授权天津大学可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：劣金晶 导师签名： 签字e t 期：年月日签字日期：章月 心峨 亭籼年 第一章绪论 1 1 研究背景及现实意义 第一章绪论 典型的机器视觉系统是一种基于个人计算机的视觉系统。一般由光源、c c d 或c m o s 相机、图像采集卡、图像处理软件及一台p c 机构成。其中，图像的采集 功能由c c d c m o s 相机及图像采集卡完成；图像的处理则是在图像采集处理卡的 支持下，由软件在p c 机上完成。基于p c 机的机器视觉尺寸庞大、结构复杂，其 应用系统的开发周期长、成本高。而智能相机的出现，向传统的基于p c 的机器 视觉系统提出了挑战。 智能相机( s m a r tc a m e r a ) 并不是一台简单的相机，而是一种高度集成化的 微小型机器视觉系统。他将图像采集、处理与通信功能集成于单一相机内，从而 提供了具有多功能、模块化、高可靠行、易于实现的机器视觉解决方案。同时， 由于应用了最新的d s p ，f p g a 及大容量存储技术，其智能化程度不断提高，可满 足多种机器视觉的应用需求【l 】。 智能相机一般有图像采集单元、图像处理单元、图像处理软件、网络通信装 置等构成，各部分功能如下： 图像采集单元：在智能相机中，图像采集单元相当于普通意义上的c c d c m o s 相机和图像采集卡。他讲光学图像转换为模拟数字图像，并输出至图像处理单 元 图像处理单元：图像处理单元类似于图像采集处理卡。它可对图像采集单 元的图像数据进行实时存储，并在图像处理软件的支持下进行图像处理。 图像处理软件：图像处理软件主要在图像处理单元硬件环境的支持下，完成 图像处理功能。如几何边缘提取、b l o b 、灰度直方图、o c v o c r 、简单的定位和 搜索等。在智能相机中，以上算法均封装在固定的模块，用户可直接应用而无需 编程。 网络通信装置：网络通信装置是智能相机的重要组成部分，主要完成控制信 息、图像数据的通信任务。智能相机一般均匀内置以太通信借口，并支持多种标 准网络和总线协议，从而十多台智能相机构成更大的机器视觉系统。 在与使用p c 或v m e 能用计算机的机器视觉系统相比，智能相机的优势主要 体现在系统集成和使用的方便性上。若构造一套基于p c 的视觉系统，要选择摄 像机、图像采集卡、计算机和相应的软件系统，要在计算机上安装采集卡驱动程 序，在这个过程中，使用者要考虑到摄像机到采集卡的距离、采集卡是否支持和 第一章绪论 选定的摄像机、采集卡是否与计算机兼容等问题，所有这些，对于一定经验的用 户是个障碍。而一体化的智能相机则没有这些问题。使用者不需要懂得复杂的图 像处理原理，不需要掌握c 语言编程技能，就可以进行操作。从而大大缩短了系 统的研发时间和对人员的要求。尤其是在工业应用场合，一些针对性强的功能单 一、性价比高的智能相机是可能的，并且有着良好的市场前景。 智能相机与基于p c 的视觉系统在功能和技术上差别主要表现为： ( 1 )体积比较。智能相机与普通相机体积相当，易于安装在生产线和各 种设备上，全球装卸和移动，而基于p c 的视觉系统相比来说，结构就较为复杂。 ( 2 )硬件比较。智能相机集成了图像采集单元、图像处理单元、图像处 理软件、网络通信装置等，经过可靠性设计，其效率与稳定性也较高。但由于硬 件电路已固定，缺少了设计的灵活性；基于p c 的视觉系统的设计灵活性较大。 ( 3 )软件比较。智能相机作为一种能用的机器视觉产品，它主要解决的 是工业领域的常规检测与识别应用，软件功能有一定的能用性。由于智能相机已 固化了成熟的机器视觉算法，用户无需编程，就可实现表面缺陷检查、边缘提 取、灰度直方图和条码识别等功能。基于p c 的视觉系统的软件一般完全或部分 由用户直接开发，用户可针对特定应用开发适合自己的专用算法。另方面，由 于用户的软件研发水平及硬件支持的不同，导致由不同用户开发的同一种应用系 统的差异较大。智能相机的与基于p c 的视觉系统的基本特性比较由下表所示： 表1 - 1智能相机与p c 视觉系统的对比 基于p c 的视觉系统智能相机 可靠性 有限较好 体积很大微小型、结构紧凑 网络通信有限较好 设计灵活性很好有限 功能 可扩展有限 软件需要编程无需编程 智能相机作为一种低能耗，低成本，高性能的嵌入式系统广泛应用于工业 控制，智能交通，安全门禁等各个领域，是各系统中监控部分的核心器件。智能 相机在各种工业检测应用非常广泛，例如：汽车制造业、制药生产流程、各种产 品包装、印刷质量检测、p c b 板安装检测、手机按键检测、机器人导航定位等。 智能相机是机器视觉设备的发展方向之一，在检测精度、速度等方面与p c 平台差距将会越来越小。其发展趋势是速度更高，性能更齐全，集成度更高，成 2 第一章绪论 本更低，软件傻瓜性更强。另外，能用性和专业化两极性也会更强。 目前在国外，有很多知名公司，包括德国v i s i o n c o m p o n e n t s 公司，美国国 家仪器公司等，都在推出应用于从包装检测系统、封装验证系统到读码系统在内 的各种工业用途的智能相机。而国内的一些公司如：凌云公司、汉王科技等也开 始加大了在智能相机方面的研究【2 】。 1 2 本项目的需求背景与任务 该论文以嵌入式手持式仪器为最终开发目标，根据嵌入式系统设计原理，以 智能相机的要求评价和设计了嵌入式手持式图像处理仪器系统开发方案，此开发 平台由多个相互独立的功能模块组成，可以方便地进行硬件上的剪裁来适应多种 项目的要求。 在智能相机中，比较重要的是结构设计的合理，还有软件的识别能力。在本 论文中，为了能完成特定的功能，首先对于结构的光学部分进行了设计和分析， 其次针对于裂缝探测与二维条码p d f 4 1 7 的识别，提出了算法。 论文中首先要解决的问题是测量建筑物的裂缝宽度问题。 裂缝问题是一个普遍存在而又难于解决的工程实际问题，微裂缝通常是一种 无害裂缝，对混凝土的承重、防渗及其他一些使用功能不产生危害。但是在混凝 土受到荷载、温差等作用之后，微裂缝就会不断的扩展和连通，最终会对建筑物 造成极大的危害。因此准确识别裂缝的信息是指导、评价工程施工的重要前提。 在施工中对裂缝检查项目通常包括表面缝宽、缝深、缝长、裂缝方向、所在部位 等。而裂缝宽度作为其中一个重要组成部分，它可以反映构件当前实际状态，是 评定构件适用性的重要依据【3 】。裂缝宽度一般指表面上的最大宽度，因为表面宽 度便于观察测量，并且裂宽多是入内变窄的，这些情况多发生在受弯裂缝和表面 裂缝中4 】【5 1 。 对于裂缝检测来说，目前工程中对于裂缝的宽度检测常用的仍然是用目测 法，即用裂缝刻度尺和放大镜量测裂缝宽度，当裂缝宽度超过0 1 m m 时，均可用 肉眼看到，当要查到更细的裂缝就比较困难。为了能让施工人员降低劳动强度， 并且能提高裂缝计算的精度。所以本文设计出一种手持便携式的智能相机完成这 一功能。 同时，对于需要用手持式设备进行采集和识别的特定二维条码p d f 4 17 这一 要求。可通过在本平台上，移植关于二维条码的算法，满足相关功能。从而达到 在一种设备上实现两种不同特定目的。 第一章绪论 1 3 本文所完成的主要工作 本文主要完成以下几个方面的工作： ( 1 ) 完成了手持式裂缝仪系统的机械结构设计和硬件调试。分析和改善了光 学成像部分，使得图像质量得到了很好的改善，从而减少了后续计算量。 ( 2 ) 在设计方案的基础上，完成了亮度自动调节，图形显示等设计与调试 ( 3 ) 解决了之前仅能测竖向且平滑裂缝的缺陷，完成了新的算法，可以测量 几乎各种形状的裂缝。算法中，首先对图像进行二值化后，采用分块处理搜索裂 缝边缘；之后利用基本形态学与链表组合的方法对提取的边缘进行了拟合，得到 平滑的边缘；最后通过快速矢量分层的方法计算出裂缝宽度。 ( 4 ) 设计了手持式二维条码阅读仪的p d f 4 1 7 识别系统，完成了条码的定位、 二值化、识别等运算，并将该算法嵌入到d s p 中。从而使得该系统有更多的针对 性。 ( 5 ) 完成了手持式裂缝仪和手持式二维条码阅读仪整体系统软件，包括系统 b o o t 与配置，功能单元软件等各模块程序的设计。 4 第一章智能相机的理论基础 第二章智能相机的相关理论 2 1 图像采集相关理论 图像的获取实际上是将被测物体的可视化图像和内在特性转换成能被计算 机处理的数据，它将直接影响到系统的稳定性和可靠性。一般利用光源、光学系 统、相机、图像采集卡来得到被测物体的图像。 2 1 1 光源与照明设计理论 光源是影响机器视觉系统输入的重要因素，因为它直接影响到输入数据的质 量和至少3 0 的应用效果。由于没有通用的机器视觉照明设备，所以针对每个特 定的应用实例要选择相应的照明装置，以达到最佳效果。常用的几种可见光源是 白帜灯、日光灯、水银灯和钠光灯。但是，这些光源的一个最大缺点是不能保持 稳定。以日光灯为例，在使用的第一个1 0 0 小时内，光能将下降1 5 ，随着时间 的增加，光能将不断下降。此外，环境光将改变这些光源照射到物体上的总光能， 使输出的图像数据存在噪声6 】。 在体积较小的智能相机中，常用到的光源是发光二级管l e d 光源。它的发光 机理：p - n 结处于平衡时，存在一定的势垒区，当加正偏压时，p - n 结势垒降低， 从扩散区注入的大量非平衡载流子不断复合发光，并主要发生在p 区。p - n 结发 光器件有g a a s 发光二级管发射红外光，g a p 发光二级管发射红光等。 电流密度l ( m c m 2 ) 图2 - 1g a p 发光二级管的发光强度与电流密度的关系 5 m 8 6 4 2 o 莨黎。芸竺oli一掣惹裂裂 第二章智能相机的理论基础 发光二极管在通以正向电流时，因注入载流子主要在p 区复合发光，发光强 度i v 与电流i f 成正比，n l ，即i v = 1 1 vi f ，式中r lv 为发光效掣。7 1 。图2 - 1 是 g a p 发光二级管的发光强度与电流密度i v 的关系。由于发光二极管的正向伏安 特性i = i oe x p ( q u n k t ) ，i 边缘捉墩 ，弋 豁徽汁铭 r ( 3 ) 之后得到新的阐值； p ：生当( 4 - 9 ) ( 4 ) 之后如果r “。= 则结束否则重复上述步骤。 考虑到特定性根据实验发现阈值在平均灰度的5 6 附近居多。所以初始 闻值设为t = a v e r a g e x5 6 ，这样可以很快达到真实的阈值。 对采集到的裂缝图像使用5 x 5 做闭运算后图像中小部分的噪声可以披去 掉。酗4 - 】0 是两幅裂缝图像效果显示。8 2 、b 2 分别是对a 1 、b 2 的二值化图像 a 3 、b 3 是去噪后图像。 _ 滋团 _ 同 4 23 边缘提取 围 1 0 二值化和去喽 因为裂缝的走向是任意的，并且会有较大的“孤岛”噪声，为了简化运算 将其分块处理。建立一个子图像s e g m e n t ( x ，y ) ，子圈像的每个像索点都代表原图 像中对应的6 4 x 6 4 块后续处理时只需处理有裂缝的块即可。对于完全为背 景色的块，则将相应的f ( x ，y ) 置为1 ，否女崾为0 。在下式中，s 表示对应块的 像素之和。 - 咆i 删 s ( m n ) = ，( f + m + 6 4 , j + n “) ( 4 。1 0 ) 一， ， 第四章软件与算法实现 s 唧矾川= 置描篓 件 在进行分块之后： ( 1 ) 通过对连通域进行分析，找到最大的连通域，便是所需要的裂缝。为 了避免某些含着裂缝细节的部分被删掉，在以下的处理中，把含有裂缝的块进行 膨胀，然后对膨胀后的块进行处理即可。 ( 2 ) 找到与边框的交接位置，便可以得到裂缝的走向。 对于包含裂缝的块，对其进行边缘搜索，因为已经是二值化的图像，所以只 需对每个像素点f ( x ，y ) 进行扫描，对于像素值为0 的点，如果其四领域g ( x ，y ) 有包含2 5 5 的像素，则判断其为边界，像素值保持不变。反之，若某像素的四领 域均为0 ，则为裂缝内部，将其置为2 5 5 。 f ，、f0 i f “五 2 t 2 5 5 矿 g ( x ，少) 不全为0 g ( x ，j ，) 全为0 ( 4 1 2 ) 根据分块后的信息，对该部分图像进行处理。对裂缝提取边缘，然后设置链 表，将边缘的点放置到结构体中。针对于一些临近裂缝区域的气泡，采用了如下 方法：因为裂缝区域肯定不可能在一个较小的区域，所以对链表的长度进行判断： 如果某链表小于某一阈值，则可以判定它为裂缝内部或者临近裂缝的气泡，将其 除去。最后剩下的两个最长链表即为裂缝边缘。 a 子图像b 子图像中最大联通域c 要处理的部分 d 对应的裂缝图像e 对其取边缘f 得到实际边缘 图4 - 1 1 边缘获取过程 第四章软件与算法实现 4 2 4 边缘平滑 实际情况中，会出现影响处理结果的毛刺，毛刺的方向基本是与裂缝走向垂 直的。这些问题是由于裂缝边缘有部分灰尘、杂质和成像等问题造成的。在工程 中，微小裂缝的走向基本是平滑的。测量小于l m m 的裂缝宽度时，也常常是将 一种很细的尺子但到裂缝中，即测量的裂缝是有一定深度的。这些毛刺往往浮于 裂缝边缘，造成了边缘的不平滑。 在以往的算法中，将两条边缘放置在两个数组中。每个数组定义为n 3 的 二维数组，第一列存放边界的行地址，第二列存放边界的列地址，第三列对该像 素进行标记。从一条边界的第一点开始，通过下式的计算来判断距离小于某值的 所有点，其中：d 2 = ( x i - x j ) 2 + ( y i y j ) 2 j - i 是距离d 内包含的像素个数，如果像素个 数大于给定的阂值t ，则将这两点重新连接。这种算法，关键是如何取合适的d 和t 。如图4 1 2 所示，在a 与d 之间有个毛刺，需要除去。真实情况中，应该 将a 与d 连接，所以取得d 值应与a d 值差不多。当毛刺不突出时，距离为d 内的像素数包括了从a 到d 点的所有像素，所以可以连接a d 点。但如果毛刺 突出，如图b 所示，当a b 大于a d 时，那么根据以上判据，距离小于d 的像素 数并不会达到阈值，因为以a 为圆点，d 为半径画的圆内，几乎没有迂回的点。 此时如果选取足够大的d ，那么对计算的精度又有影响。所以在边缘平滑上选取 了另一种方法。 ab 图4 一1 2 边缘的两种情况 首先对单边缘边界进行开运算。 曰o s = ( b o s ) o s 开运算即是先腐蚀后膨胀的过程。它具有消除细小物体、在纤细点处分离物 体、和平滑较大物体的边界时又不明显改变其面积的作用 。为了减少裂缝走向 第网章软件与算法实现 对变换的影响，选择各向同性的圆模板。根据形态学理论可知，模板尺寸的选择 对背景噪声的去除和裂缝信息的保留非常重要。 在实际计算中把小于0 1 砌的突起，认为是毛刺，所以根据图像的放大倍 率b ，可以所以得到模板大小为： 刀：型 ( 4 1 3 ) 刀= 一 l 珥- l l 其中，i n 为传感器像元的大小，n 为开运算中圆盘结构元素的半径。在本系 统中，1 3 = - 0 1 5 3 ，取1 3 为2 0 。如下图所示，原图中a 与b 之间有毛刺，在膨胀 运算后，毛刺部位就会连接，再对其取边界，选取边界较小的进行连接，可以得 到平滑的曲线。经过处理后，得到图4 1 2 平滑的曲线。在进行边缘平滑之后， 再用方法2 ，对宽度进行计算。 具体的步骤如下： 裂缝的边缘为单像素，在对该单像素图形做完开运算后，结果如图4 - 1 6 所 示。有毛刺的部分均连接成为一个“黑块”。 p 1 p 2 p 3 p 4 p o p 5 p 6 p 7 p 8 图4 1 3 像素示意图 ( 1 ) 取边界：如图4 - 1 3 所示： 采用边界搜索，对“黑块”的内部点置2 5 5 ，边界置0 。 ( 2 ) 经过上一步后，某些像素会有如图4 - 1 4 的情况出现。为使其为单像素 边缘。处理步骤为： 若p o = o ，且p 2 = p 4 = p 5 = p 7 = 2 5 5 ，记录下所用满足条件的p o 点，之后将p 0