(测试计量技术及仪器专业论文)自动对准系统图像处理技术的研究.pdf_第1页
(测试计量技术及仪器专业论文)自动对准系统图像处理技术的研究.pdf_第2页
(测试计量技术及仪器专业论文)自动对准系统图像处理技术的研究.pdf_第3页
(测试计量技术及仪器专业论文)自动对准系统图像处理技术的研究.pdf_第4页
(测试计量技术及仪器专业论文)自动对准系统图像处理技术的研究.pdf_第5页
已阅读5页,还剩63页未读, 继续免费阅读

(测试计量技术及仪器专业论文)自动对准系统图像处理技术的研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

湖北工业大学硕士学位论文 摘要 视觉自动对准技术是集成电路后封装设备中的一项重要单元技术。视觉自动 对准系统由光学照明系统、光学成像系统、c c d 摄像器件、图像处理软件和运动 控制系统等部分组成,其中图像处理算法对视觉自动对准系统的精度起着决定性 的作用。本文研究了相关的图像处理算法,实现由粗到精的高精度视觉对准定位, 全文主要包括以下几个方面的内容: ( 1 ) 根据机器视觉原理和自动对准技术,建立了自动对准系统的构架,实现 图像自动采集,自动定位的目的。 ( 2 ) 根据自动对准系统精度的需要,对c c d 摄像机的比例系数、光学中心以 及系统的像素转换当量等参数进行了标定。 ( 3 ) 分析了定位标记的作用和特征,将其分为两类,一类是粗定位标记,另 一类为精定位标记。同时,运用一系列图像处理技术,例如:灰度直方图分析、 图像平滑、域值分割、有效区域提取( r o i ) 、边缘提取等,将两组定位标记分别 提取出来。 ( 4 ) 结合图像定位标记的分类,运用图像匹配算法实现由粗到精的自动对准 过程。首先,利用形心与重心匹配算法找到粗定位标记,实现粗定位;然后对粗 定位后图像进行r o i 提取,在r o i 区域采用当前视觉测量的一种较先进的点模式 匹配的方法实现精确定位。在实现精定位之前,为了有效突出定位标记的特征, 提高整个系统的定位精度和定位效率,运用基于空间矩的亚像素边缘提取方法, 实现定位标记边缘的亚像素级跟踪提取,再利用s u s a n 角点提取的方法对亚像素 级的边缘进行特征点的有效提取。 ( 5 ) 运用仿真分析的方法对边缘提取的精度和匹配的精度进行了实验分析 实验表明,该系统具有较高的精度、较强的鲁棒性和实用性。 关键词:自动对准系统标定点模式匹配亚像素边缘提取 湖北工业大学硕士学位论文 a b s t r a c t v i s i o na u t o m a t i ca l i g n m e n tt e c h n i q u ei so n eo ft h em o s ti m p o r t a n tt e c h n i q u e si n i ce n c a p s u l a t i o n t h ev i s i o na u t o m a t i ca l i g n m e n ts y s t e mc o m p r i s e so p t i c a ll i g h t i n g s y s t e m ,o p t i c a li m a g i n gs y s t e m ,c c dc a m e r ad e v i c e ,i m a g ep r o c e s s i n gs o f t w a r e , c o n t r o ls y s t e ma n ds oo n ,i nw h i c ht h eh l i g hp r e c i s i o ni m a g e p r o c e s s i n ga l g o r i t h m sa r e t h ed e t e r m i n a n tp a r tf o rt h ef i n a la c c u r a c yo fa l i g n m e n t i n t h i st h e s i s ,t h ec o r r e l a t i v ei m a g e p r o c e s s i n ga l g o r i t h m sa r ep r e s e n t e dt or e a l i z e r o u 曲p o s ee s t i m a t i o na n de x a c tp o s ee s t i m a t i o no fh i g hp r e c i s i o nv i s i o na l i g n m e n t ,a n d t h ef o l l o w i n gp a r t sa r es t u d i e d : ( 1 ) b a s e do nt h em a c h i n ev i s i o nt h e o r ya n da u t o m a t i ca l i g n m e n tt e c h n i q u e ,t h e t r u s so ft h ea u t o m a t i ca l i g n m e n ts y s t e mi sb u i l tt or e a l i z et h ea u t o m a t i cg r a b b i n gi m a g e a n da l i g n m e n t ( 2 ) s o m ep a r a m e t e r sa r ec a l i b r a t e d ,s u c ha s ,t h ed i m e n s i o np r o p o r t i o no fxa x i s a n dya x i s ,t h eo p t i c a lc e n t e ro ft h ec c dc a m e r aa n dt h ep i x e lt r a n s f o r mq u a n t u mo ft h e i m a g i n gs y s t e m ,e r e ( 3 ) t h ea l i g n m e n tm a s k sa r ep a r t i t i o n e dt ot w og r o u p s o n eg r o u pi sr o u g hp o s e e s t i m a t i o nm a r k s ,a n dt h eo t h e rg r o u pi se x a c tp o s ee s t i m a t i o nm a r k s a n dt h e nt h e m a r k sw e r ee x t r a c t e df r o mt h ei m a g eb yas e r i e so fi m a g ep r o c e s s i n ga l g o r i t h m s ,s u c h a s ,h i s t o g r a ma n a l y s e s ,i m a g ef i l t e r , b i n a r i z a t i o n ,r e g i o no fi n t e r e s t ,e d g ed e t e c t i o na n d s o o n ( 4 ) t h e r ea r et w os t e p st of i n i s ht h ea l i g n m e n ta n do b t a i nh i g hp r e c i s i o n f i r s t l y f e a t u r ep a t t e r nm a t c h i n ga l g o r i t h mi sp r o p o s e dt of i n i s hr o u g hp o s ee s t i m a t i o n a n d s e c o n d l y ,p o i n tp a t t e r nm a t c h i n g , w h o s es p e e di sf a s t e ra n dm a t c h i n gp r e c i s i o ni sh i g h e r , i sa p p l i e dt oe x a c tp o s ee s t i m a t i o n b e f o r ee x a c tp o s ee s t i m a t i o n ,t h es u b p i x e le d g e d e t e c t i o nt h a tu s e st h es p a t i a lm o m e n t so fag r a yl e v e lt od e t e r m i n et h el o c a t i o no fe d g e , a n dt h es u s a nc o m e rd e t e c t o rh a sb e e na t t a c h e di m p o r t a n c e ( 5 ) w i t ht h eh e l po ft h es i m u l a t e de x p e r i m e n t s ,t h ep r e c i s i o n so ft h ee d g e d e t e c t o ra n dt h em a t c h i n ga r es t u d i e d t h er e s u l t so fe x p e r i m e n t si n d i c a t et h a tt h e s y s t e mi sp r o v i d e dw i t hh i g h e rp r e c i s i o n ,s t r o n g e rr e l i a b i l i t ya n dp r a c t i c a b i l i t y k e yw o r d s :a u t o m a t i ca l i g n m e n ts y s t e m ;c a l i b r a t i o n ;p o i n tp a t t e r nm a t c h i n g ; s u b - p i x e le d g ed e t e c t i o n l i 佩:l 亡工繁火浮 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明:所呈交的学位论文,是本人在导师指导下,独立进行研究工作所取 得的研究成果。除文中己经标明引用的内容外,本论文不包含任何其他个人或集体已经 发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体,均已在文中以明确方 式标明。本声明的法律结果由本人承担。 学位论文作者签名:二谤丸吼。占年加弘 学位论文版权使用授权书 本学位论又作者元全角牟字投有夭保留、便用学位论文的捌定,即:字校有权保割 并向困家有关部门或机构送交沦文的复印件和电子版,允许论文被查阅和借阅。本人授 权湖北:i :, l k 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采 用影印、缩印或扫描等复制于段保存和汇编本学位论文。 学位论文作者签名:f 溺勿指导教师签名:钟茹专 日期:d 占年占月- 7 曰 日期:以年占月7 日 湖北工业大学硕士学位论文 1 1课题来源 第1 章绪论 本课题得到以下项目的资助: 武汉市科技攻关计划项目“高精度贴片机自动对准系统的开发研究”( 项目编 号:2 0 0 4 1 0 0 1 0 1 2 ) : 湖北省教育厅优秀中青年科技创新团队资助计划项目“基于实时机器视觉信 息的微细定位与控制技术研究”。 1 2 课题的目的与意义 微电子制造业是集国家利益、人类智慧和最新科技于一体的战略性产业,是 当今世界竞争最激烈、发展最迅速的领域,其产业规模和技术水平己成为衡量一 个国家综合国力的重要标志之一。一些高精密的集成电路( i c ,i n t e g r a t e d c i r c u i t ) 制造装备成了一些发达国家垄断电子行业的核心武器。 随着i c 芯片的不断发展,芯片的集成度越来越高,先进的超大规模集成电路 ( v l s i ) 和甚大规模集成电路( u l s i ) 对不断增加输入输出( i o ) 连接的能力和可靠 性出更严格的要求。随着市场对微小芯片以及微小半导体器件的要求急速增长, 芯片接线的间距和焊球的直径一直减小,因此对封装设备和器件的准确性、可靠 性和封装速度都提出了新的要求。目前i c 后封装设备能达到的定位精度为2 5 微 米,并仍在进一步发展,预计下一代i e 后封装设备必须具有1 0 - 3 0 0 纳米的高速 定位精度。 作为微电子制造业的关键技术之一,高精度自动对准系统在m c m 、m e m s 、m o e m s 、 三维封装、红外传感器、射频器件、图像探测器等领域也有极其广泛的应用,并 成为这些高科技产品的产业化瓶颈。 利用光测进行各种精密测量时,主要有三个环节对测量精度起到关键的影响: 摄影系统的物面分辨率;摄影系统的标定精度和误差修正精度;图像中目 标的定位精度。 在测量视场一定的条件下,提高光测系统精度最直接的方法就是提高ccd 摄像机分辨率,即增加像素点阵数。然而这种提高硬件分辨率的代价是相当昂贵 的。如将常用的512x512 相机系统提高到1024xl024 的系统, 湖北工业大学硕士学位论文 价格上面差几倍甚至几十倍。并且在图像传输速度和图像存储容量方面都大大增 加了对系统的要求。总之,通过提高硬件分辨率的方法来提高测量精度是不经济 的和有限制的。 近二十年来,在光测数字图像处理领域许多研究者试图利用软件处理的方法 来解决图像中目标的高精度定位问题“1 。如果能用软件方法将图像上的特征目标定 位在亚像素级别,就相当于提高了系统的测量精度。例如,当算法的精度为0 1 个像素,则相当于测量系统的硬件分辨率提高了十倍。因此,对图像中目标进行 高精度的定位就成为提高光测系统测量精度的最重要的环节之一。这种亚像素定 位技术具有十分重要的理论意义和实践意义,是光测数字图像分析中的重要特色 技术之一。 1 3 国内外发展现状与趋势 m e m s 是一个迅速发展的领域,以其独特的优点已经引起各国的极大关注。近 年来,很多国家纷纷成立专门的研究机构进行微电子封装技术的研究与开发,并 在政策、资金上给予极大扶持。美、日本等国,都将微电子封装作为一个单独的 行业来发展,美国国防部已经把微电子封装业列为国家高度优先发展的三大领域 之一;而新加坡、台湾等亚洲国家和地区,更是把微电子封装及组装技术作为他 们的工业支柱,处于优先发展地位。国际上微型机电系统技术刚走向全面发展。“。 当前我国微电子封装工业几乎为零,迅速发展我国封装工业、大力开发及生 产高性能封装设备已成为发展我国微电子工业的当务之急”1 。 目前最先进的组装方式是使用高精度自动设备将芯片直接准确放置到基底上 的指定位置并同时键合。所有高精度的对准都由放置芯片的贴装头和承载基底的 工作台完成。其中,键合头沿z 方向上下直线运动,工作台在x 、y 方向运动,对 准过程靠视觉对准系统完成。 视觉对准系统对最终的对准精度有着至关重要的影响。视觉对准系统由光学 成像系统、光学照明系统、c c d 镜头、图像捕捉卡、计算机及图像处理软件等组成。 其中,光学成像系统的分辨率和图像处理算法的性能对视觉系统的精度起着决定 性的作用,通过使用高倍率光学放大和高分辨率c c d 传感器,视觉对准系统可以 达到亚微米甚至纳米级的对准精度。但是过高的放大倍数会影响光学系统的视场 范围和输出信号的强度,因此在一定的硬件条件下,图像处理算法及其软件起着 决定对准精度的关键作用。 从7 0 年代起,就有不少专家陆续提出了一些有效的亚像素边缘定位的方法, 湖北工业大学硕士学位论文 如h u e c k e l “1 用拟和参数方程的方法达到亚像素定位;a h u e r t a sa n dg m e d i o n i 5 1 用l a p l a c i a n g a u s s i a n 模板合成边缘局部表面模型的方法构造了自己的亚像素检 测算子;e n g l a n d e r ”1 基于w h i t t a k e r s 定理对图像重新抽样,提出了一种亚像 素的检测算子;k j e n s e na n dd a n a t a s s i o u s ”3 采用非线性插值的方法达到亚像 素检测精度;对二进制( 二值化) 的图像,x i a n g d o n gl i ua n dr w e h r i c h 提出用抖动技术达到亚像素的边缘:章毓晋9 等针对已知形状的目标,利用切线方 向信息来检测亚像素边缘等。在众多的亚像素细分算法中,空间矩亚像素细分算 法以最高的细分精度( 理想情况下可以达到像素的2 0 细分“”) 得到了广泛的重 视。 空间矩是来自力学中矩的概念,应甩于图像分析中,把图像的灰度对应与力 学中物体的质量“。该算法中,将图像的灰度值看作是一个二维的函数,从而使 空间矩的方法可用于图像分析领域并应用于图像边缘的提取,为后续图像的高精 度匹配技术提供平台。 传统的对准精度匹配技术主要是归一化灰度相关( n g c ,n o r m a l i z e d g r a y s c a l ec o r r e l a t i o n ) “2 1 分析。在n g c 分析方法中,微视觉系统获得具有实际 模式的图像( 输入图像) ,与存储在计算机内存中具有同样模式的参考图像进行栅 格比较,从而计算出使两幅图像匹配的信息。这种方法可靠性高,方法简单,所 以广泛应用于工业视觉检测、机器视觉定位等领域中“”,但是计算量较大,为改 进这一缺点,出现了一些减少匹配计算量的方法。分级匹配就是其中一种,它可 以显著减少栅格比较的次数。 为了进一步提高计算速度,b a r n e a 等提出了序列相似性检测算法( s s d a ) “, 它能快速地确定出参考图像在输入图像中以像素为单位的位置。不同于n g c 分析 方法,s s d a 方法为每一次栅格比较设定了一个阈值,在参考图像中随机选取一个 像点,计算它同输入图像中对应点的误差,并将之与其他像点对应的误差累加, 当累计误差超过设定的阈值时,结束此次栅格比较,转向输入图像中下一位位置。 若使用单调增长的阈值序列替代不变阂值,则只需较少的计算就能判别非匹配点 并丢弃。此外,分级匹配和边缘匹配的方法稍加改变后也能用于s s d a 中,此后又 出现许多灰度相关的算法,如幅度排序相关算法,分层搜索的序列判断算法等。 这些方法能将参考图像定位到输入图像中以像素为单位的位置,但这还不能 满足组装光电器件对对准精度的要求。为了使定位精度到亚像素水平,t i a n 等在 s s d a 的基础上,提出了利用插值确定参考图像亚像素位置的方法“。对输入图像 插值并以更高的分辨率进行重采样,再对新得出的图像进行s s d a 。在使用不同的 插值方法、不同的系统噪声和不同的量化位数的情况下,算法的平均误差为0 0 1 3 湖北工业大学硕士学位论文 到0 0 5 像素。然而回顾此算法不难发现,对每一幅输入图像都进行插值和重采样 将极大地增加计算所需的时间,这将是实时处理所不能接受的。f r i s c h h o l z 等提 出了一种实时的亚象素s s d a 算法“。此算法和t i a n 等提出的算法最大的不同就 是插值和重采样的对象不同,它对参考图像而不是输入图像进行插值和重采样, 从而使得这一处理过程可以预先完成。此外,为进一步提高精度和减小计算量, f r i s c h h o l z 等又引入抛物线插值误差修正方法和低通滤波。试验表明,此算法1 秒钟能进行3 0 次测量,最大误差为0 1 像素。 经过改进后,这些算法的计算速度和精度虽有了显著的提高,但是在角度、 照度、对比度变化等复杂情况下,这些基于灰度统计信息的算法有可能匹配失败。 基于特征的匹配方法则可以克服上述的缺点,目前也是研究的热点。基于特征的 匹配不是直接利用图像灰度,而是通过灰度所导出的符号特征来实现匹配,可以 包括点特征、边沿、曲线和表面,也可以是统计特征,如不变矩、重心等。这种 匹配方法抽取了图像的特征属性,计算的时空复杂程度要小的多,并且在特征点 的提取过程中可以减少噪声的影响,对灰度变化,图像形变以及遮挡等都有较好 的适应能力。一些著名的机器视觉图像处理软件公司在基于图像特征的匹配方法 中走在了前列,如比利时e u r e s y s 公司开发的基于点特征的图像分析软件 e a s y f i n d ,可以实现线性位移精确到1 3 0 亚象素,旋转角度精确到1 4 度,缩放 系数精确到1 2 。美国的c o g n e x 公司研发的基于几何模式匹配技术的软件 8 ,称 为p a t m a x ,宣称其算法可以实现1 4 0 亚象素定位精度,并将其作为下一代图像对 准工具,应用于工业检测中“”。 但是基于图像特征的匹配方法利用了待匹配的图像的本身的一些特性,也就 是说这种匹配方法一般只适用于较为具体的应用,应在针对不同的应用选择合适 的图像特征进行匹配。 1 4 论文的主要研究内容 由于芯片体积越来越小,芯片上引线的触点问距也越来越小,随之产生了很 多新的技术难题,如:如何提高贴片精度、效率等。视觉定位采用了高放大倍数 成像系统及图像处理技术,使得定位精度和贴片效率大大提高。本项目深入研究 了贴片机的自动对准系统原理和基于机器视觉信息的图像处理理论和方法,进行 了视觉自动对准系统的硬件结构设计,并提出强鲁棒性模式匹配定位等新算法, 丌发一套面向视觉的对准系统,运用模式识别技术实现芯片和基底的自动对准。 湖北工业大学硕士学位论文 具体研究内容分布如下: 第一章介绍了课题来源、目的、现有技术的国内外发展现状以及本论文的主 要研究内容。 第二章介绍了自动对准系统的基本原理和整体结构流程,包括硬件成像部分 和图像处理算法实现部分。 第三章主要介绍了摄像机的标定原理,以及自动对准系统中摄像机和系统参 数的部分标定。 第四章分析了对准系统中所处理图像的定位标记特征,并用图像预处理算法 实现对图像定位标记的提取,为后续的匹配定位做基础。其中相关的图像预处理 算法包括:直方图分析、滤波、二值化处理、r o i 提取等等。 第五章基于高精度的对准系统,研究了相应的图像匹配算法,采用两步匹配 的方法提高系统的对准精度。首先,运用形心匹配法实现粗定位;然后对定位标 记进行亚像素边缘的提取,对所得边缘提取特征点,运用点模式匹配方法实现高 精度的匹配。 第六章对自动对准系统的软件进行介绍,同时进行实验分析。通过仿真图像 对系统的精度和误差进行评价。 第七章总结与展望 湖北工业大学硕士学位论文 第2 章视觉自动对准系统结构 随着计算机技术、数字图像处理、模式识别技术等学科的发展与融合,计算 机视觉作为一种快速、准确、可靠的对准定位手段越来越引起人们的重视,并逐 步形成一种新的定位技术计算机视觉自动定位技术。本文旨在根据两副图像 的定位特征,运用计算机视觉自动定位技术实现微细物体的高精度自动对准。 2 1 视觉自动对准系统基本原理 计算机视觉自动定位技术是一种以机器视觉为基础,综合运用光学传感、数 字图像处理、模式识别、人工智能等技术的非接触定位方法;其基本原理是利用 视觉传感器获取景物的二维图像,通过视觉图像处理、分析和解释,得到有关景 物的符号描述,并为特定的任务提供有用信息,用于指导机械手动作。 视觉定位对准按其所处理的数据类型可分为二值图像、灰度图像、彩色图像 和深度图像的视觉检测。其中,二值图像视觉检测系统采用的检测算法简单,图 像精度要求不高,常用于检测那些没有表面特征的平面物体或仅用边缘轮廓就可 表示出来的物体,同时,由于二值图像的格式数据量小,有助于满足系统速度和 成本要求。灰度图像视觉检测对光照条件要求较高,通常便于计算机分析物体的 表面特性,如边缘、角点等“。彩色图像的格式数据量大,对系统的速度和成本 要求比较高。对二值、灰度或彩色图像进行分析一般只能观察到物体的二维( 2 d ) 特征,若要检测物体的3 d 特征通常采用深度图像,它最显著的特征是清晰描述了 物体的表面信息。对于本课题而言,由于定位标记存在同一个平面区域,只需二 维信息即可,并且颜色信息对于定位来说不是很重要,再根据系统本身的成本和 工业速度来考虑,利用灰度图像进行分析比较合适。 2 1 1 视觉自动对准系统硬件组成原理 视觉自动对准系统。”是以计算机为主体的实时图像定位系统,由光学照明系 统、光学成像系统、c c d 摄像器件、图像处理软件等部分组成,如图2 一l 所示。 先由c c d 摄像机测试出在给定视觉范围内目标的光强度分布的模拟电信号, 再a d 转换成数字图像。数字图像被分割成一定数量的网络( 像素) ,每个数据表 示给定点的平均光强度。计算机将所获得的数字图像与事先输入的模板图像进行 匹配分析计算,并将结果输入到主控计算机,控制工作台和贴装头的运动和贴装。 其中,贴装头可在z 方向上下运动,主工作台可在x 、y 方向移动并可绕z 轴 湖北工业大学硕士学位论文 转动,对准系统工作台在x 、y 、z 方向移动。自动对准系统的工作流程如图2 2 所 刁io 一山 基 图2 1 视觉自动对准系统结构示意图 硬件光路系统部分由高分辨率的c c d 相机加上较高数值孔径和放大倍率的显 微物镜组成定焦距定光圈的镜组来获取高精度的图像。 元件 输入 图2 - 2自动对准系统的工作流程图 2 1 2 视觉自动对准算法原理 设备 输出 视觉自动对准系统的对准原理图如图2 3 所示,在光路系统中,对光源进行 控制,利用两个c c d 摄像机分别提取芯片上的定位标记图像a ,和基底上的定位标 记图像b 。 在获取的芯片图像和基底图像中,以基底图像作为模板,首先分析其定位标 记特征,进行相应的图像处理,提取出定位标记;然后,对芯片图像进行相同步 骤的图像处理,提取得到定位标记;最后运用图像匹配算法确定出两个定位标记 湖北工业大学硕士学位论文 的相对位置量( 标记的相对偏转角度和相对偏移量) 。图像处理系统将对准所得参 数传递给计算机控制系统,从而驱动主工作台沿x ,y 方向平移一定的距离和绕z 轴转动一定的角度,使两个定位标记在图像中的位置重合,最终实现自动对准的 目的。 2 - 3 视觉自动对准系统原理图 2 2 视觉自动对准系统硬件组成 视觉自动对准系统的硬件部分主要由光学照明系统、成像系统、图像采集卡、 计算机系统等部分组成。 ( 1 ) 光学照明系统 光学照明是影响图像采集效果的最重要的因素之一。照明的主要标准是以合 适的方式将光线投射到被测物体上,突出被测特征部分对比度。好的设计能够改 善整个系统的分辨率,简化软件的运算,直接关系到整个系统的成败。不合适的 照明,会引起很多问题,例如花点和过度暴光会隐藏很多重要的信息;阴影会引 起边缘的误检;而信噪比的减低以及不均匀的照明会导致图像处理阈值选择的困 难等等。 照明包括光源和照明方式的选择。光源的区分方式有多种,一般根据发光器 件可以分为l e d 、氙灯、石英灯、高频荧光灯等;根据发出光线的特征可以分为点 光源、线光源、面光源等等;其中对于l e d 光源,有许多颜色可供选择,有红色、 绿色、蓝色、紫色等等。红色l e d 的发光波长接近c c d 的灵敏度峰值,寿命长, 比较稳定,所以如果使用黑白摄像机,且对被测物体的颜色选择没有特殊的要求, 红色l e d 是最合适的选择。一般的c c d 对紫色和蓝色的光很不敏感。根据照明方 湖北工业大学硕士学位论文 式的差异可以分为直射式、间接式、背光、黑背景、掠射式、同轴式、平行光等 等。 在本文中,由于目标对象比较小,我们采用红色l e d 点光源通过透镜和反射 镜的汇聚作用直接照射到:吝片图像上,另外由于芯片的表面为光滑的金属表面, 在照射的时候为了防止反光,需要使用到偏振片。 ( 2 ) 成像系统 图像的分辨率( 一幅图像中的像素数目) 取决于摄像头的传感器数目,同一类 型的摄像头采集到的图像的分辨率是固定的,调整图像的尺寸可以通过调整摄像 头与被检测物体之间的距离来实现。摄像头与被检测物体之间距离越小,摄像头 采集到的图像尺寸就越小,系统的检测精度就越高。通过调整摄像头与被测物体 间的距离和改变光学镜头放大倍数来保证视觉对准所需的精度。高倍数的镜头的 物镜焦深范围小,依靠人眼手动调焦误差太大,影响定位精度。为尽量减少图像 的扭曲,变形和分辨率的损失,应从下面五方面选择摄像镜头:分辨率要求、视场 大小、图像深度、物距和对比度要求。 本系统采用的是面阵c c d 摄像头。由于颜色信息对定位不是很重要,为了减 少数据处理时问和降低系统的成本,系统采用的是黑白摄像头。 ( 3 ) 图像采集卡 图像采集卡放置在与摄像头相连的计算机中,其作用是将摄像头采集到的视 频信号( 模拟信号或数字信号) 转换成计算机能处理的信息( 即数字化) ,并且通 过计算机总线传送给计算机,以便软件能够对数字化后的图像进行分析。图像的 数字化包含采样与量化两个过程。采样是对图像空间坐标的离散化,采样后图像 中的每个空间点被称为图像的像素,图像的像素数目被称为图像的分辨率。而量 化是对图像每个像素灰度值的离散化,图像处理中一般将图像量化为2 5 6 个灰度 级别。本系统中采用的是m a t r o x 公司研制的m e t e o r i i d i g i t a l 采集卡。 ( 4 ) 计算机平台 计算机是机器视觉的关键组成部分。由摄像头采集到的视频图像信号传送给 计算机。系统的所有算法都在此计算机机巾完成,并且通过软件实现。一般图像 处理的数据量相当大,处理的复杂性也很高,须选择速度高、内外存储量大的计 算机进行图像处理。一般来讲,计算机的速度越快,视觉系统处理每一张图片的 时间就越短。在制造现场中,经常有振动、灰尘、热辐射等等,因此一般需要工 业级的计算机。 本课题用到的硬件资源型号如表2 - i 所示: 9 湖北工业大学硕士学位论文 表21 硬件型号统计表 器件型号 光源 c c i ) 摄像器件 图像采集卡 显微光学镜头 计算机 h l v 一2 4 b l 一3 w u n l 0 一l 】 i 一2 0 1 ( c c i r ) 7 6 8 * 5 7 6 4 5 1 4 04 5 x p c 机 c p u :p 42 6 g h z 内存:2 5 6 m 由光学照明系统和成像系统搭建的对准系统实物图如图2 4 所示。 图2 4 对准系统实验装置图 2 3 视觉自动对准系统图像处理技术及软件实现 视觉对准的信息基础是视觉图像的特征,视觉对准的正确性和精度直接依赖 于特征提取的精度和模板的选择。为了获得高的定位精度,图像处理技术及模式 匹配算法很重要。为此,需要研究满足实时要求的亚像素级特征提取技术和以此 为基础的模式匹配定位技术,使之对灰度变化、比例变化、旋转和扭曲及遮挡都 有较好的适应能力。所以,视觉系统的软件部分对自动对准的实现起着关键的作 用,不仅涉及图像的一般功能( 如显示、保存、删除等) ,还应该包括图像预处理 ( 如去噪、二值化、阈值分割、边缘提取等) 和图像定位模块等部分。 视觉检测和定位软件系统一般分为基于w i n d o w s 和d o s 操作系统的。考虑到 现在和将来的流行软件都是基于w i n d o w s 系统,为了提高软件的兼容性和可扩展 性,作者开发了基于w i n d o w s 系统的图像处理软件,实现各种图像处理、分析、 识别、定位算法。 l o 湖北工业大学硕士学位论文 2 3 1 图像与数字图像 数字图像处理是视觉系统的关键,它包括利用计算机和其它电子设备进行和 完成的一系列工作,例如图像的采集、获取、编码、存储和传输,图像的分割和 产生,图像的显示和输出,图像的变换、增强、恢复( 复原) 和重建,图像的分割, 目标的检测、表达和描述,特征的提取和测量,序列图像的校正,三维景物的重 建,图像数据库的建立、索引和抽取,图像的分类、表示和识别,图像模型的建 立和匹配,图像和场景的解释和理解,以及基于它们的判断决策和行为规划等等 2 0 一2 t o 一幅图像可以用一个二维函数f ( x ,y ) 来表示,这里的x 和y 表示二维空 间x y 中一个坐标点的位置,而f 则代表图像在点( x ,y ) 的某种性质f 的数值。 例如,常用的图像一般都是灰度图像,这时f 表示灰度值,它常对应客观景物被 观察到的亮度。 图像f ( x ,y ) 经数字化( 取样和量化) 进入计算机后,计算机中的数字图像可 以用i ( r ,c ) 来表示。i 代表离散化后的f ,( r ,c ) 代表离散化后的( x ,y ) ,其 中r 代表图像的行( r o w ) ,c 代表图像的列( c o l u m n ) 。这里i ,c ,r 的值都是整 数。本文讨论的是数字图像,在不至于引起混淆的情况下用f ( x ,y ) 代表数字图 像,f ,x ,y 都在整数集合中取值。不同的处理就是用不同的算法对i ( r ,c ) 进 行运算。 图像处理技术用于视觉对准系统中,具有操作简便、精度高、图像代表性好 等优点,其精度和测量范围将随摄像机和计算机图像处理技术的提高而提高,因 此具有较大的应用前景。 2 3 2 图像处理算法流程 自动对准软件系统的图像处理算法流程如图2 5 所示,系统的对准分两步实 现。第一步粗定位。首先由硬件部分分别获取芯片图像a ,和基底图像b 。以基底 的图像作为对准的模板图像,提取出定位标记,并保存模板中定位标记的信息。 同时,判断芯片图像中是否存在定位标记,进行定位标记的搜索。然后,对两幅 图像经过预处理,去除噪声干扰,改善图像质量,利用定位标记的形心特征实现 粗定位。第二步精定位。两幅图像经过粗定位后,位置基本接近,此时,利用有 效区域提取的算法,将精定位标记的位置提取出来,为了提高匹配的精度,对定 位标记的边缘进行亚像素提取,然后进行特征点的提取,最后利用点模式匹配的 算法实现精定位。在两步匹配定位完成后,分别将定位结果传递给控制系统。 1 1 湖北工业大学硕士学位论文 其中,基底的图像可进行离线操作,提取匹配模板。 芯片定 位标识 图像a 基底定 位标识 图像b 标记的 搜寻 模板标 记的提 取 2 3 3 软件系统的实现 图像 预处 理 图像 预处 理 粗 定 位 有效 区域 提取 有效 区域 提取 图2 - 5 图像处理算法的流程 像素 边缘 提取 亚像素 边缘 提取 精 定 位 ( 1 ) 开发工具 ( a ) w i n d o w 3 2a p i m i c r o s o f tw i n 3 2a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ) 是w i n d o w s 的 应用编程接口,包括窗口信息、窗口管理函数、图形设备接口函数、系统服务函 数、应用程序资源等。w i n 3 2a p i 是m i c r o s o f t3 2 位w i n d o w s 操作系统的基础, 所有3 2 位w i n d o w s 应用程序都运行在w i n 3 2 a p i 之上,其功能是由系统的动态 链接库提供的。 ( b ) m f c m f c ( m i c r o s o f tf o u n d a t i o nc l a s s ) 是m i c r o s o f t 公司用c 十十语言开发的一 套基础类库。直接利用w i n 3 2 a p i 进行编程是比较复杂的,且w i n 3 2 a p i 不是面 向对象的;m f c 封装了w i n 3 2a p i 的大部分内容,并提供了一个应用程序框架用 于简化和标准化w i n d o w s 程序的设计。m f c 是v i s u a le + + 的重要组成部分,并 且以最理想的方式与其集成为一体。主要包括以下各部分:w i n 3 2 a p i 的封装、应 用程序框架、o l e 支持、数据库支持、通用类等。 ( c ) v i s u a lc 十十6 0 v i s u a lc + + 6 0 是一个用c 或c + + 语言开发w i n 3 2 应用程序的集成开发 环境。包含了开发w i n d o w s 应用程序的完整工具集:文本编辑器、资源编辑器、 项目管理器、优化编辑器、增量连接器、集成的调试器和联机文档阅读工具等, 所有工具都可以在v i s u a lc + + 工作平台上启动运行,同时又紧密地集成在一起 协同工作。v i s u a lc + + 6 0 的a p p w i z a r d 工具可以快速创建一个应用程序的框 架,自动生成一个应用程序的源代码文件及资源文件。c l a s sw i z a r d 是一个c + 湖北工业大学硕士学位论文 + 类管理工具,用于支持m f c 窗口和应用程序框架类,可以控制类成员的创建和 删除,自动将窗口消息映射到相应的消息处理函数。a p p w i z a r d 和c l a s s w i z a r d 的应用大大简化了w i n d o w s 应用程序的开发过程。 ( d ) 界面应用程序的文档视图体系结构 当创建多文档界面( m d i ) 应用程序时,将为m d i 应用程序创建若干个类,其 中的每一个类在m d i 应用程序中都有自己特殊的作用。如果不考虑a b o u t 对话 框窗口类的话,m d i 应用程序由四个特定的类构成:由c w i n a p p 派生的类、由 c f a m e v i e w 派生的类、由c d o c u m e n t 派生的类、由c v i e w 派生的类。 在应用程序中,c w i n a p p 类创建所有的其他组件。该类接收所有的事件消息, 然后将这些消息传递给c f r a m e v i e w 类和c v i e w 类。c f r a m e v i e w 类是窗口框架。 它包括菜单、工具条、滚动条和所有其他与该框架相关联的可视对象。这个类决 定在任意时刻有多少文档是可见的。对于前两个类来说,在编程中几乎不需要修 改添加代码。c d o c u m e n t 类是存储文档的类。将在这个类中创建数据结构,并且 乖用这些数据结构存储和处理构成文档的数据。该类从c v i e w 类得到输入并将要 显示的信息输出到c v i e w 类。该类还负责存盘和从文件中检索文档数据的工作。 c v i e w 类向用户显示可视化文档。该类将用户输入信息传送至c d o c u m e n t 类,并 从c d o c u m e n t 类接收显示信息。在该类中所需要做的大部分代码工作包括绘制用 户的文档和处理用户的输入。 上述四个类共同构成了m d i 应用程序的全部功能,利用这种结构的优越性, 可以比较容易地建立功能强大的以文档为中心的视觉自动对准软件。 ( 2 ) 图像处理中算法的实现 本文使用v i s u a lc + + 6 0 对自动对准系统完成了编程和对准工作。考虑到复 杂性、可扩展性和易维护性,系统采用模块化的程序设计思想和面向对象的编程 技术。”2 ,并分成如下几个主要模块。 ( a ) 图像处理基本类( c d i b 类) 这是一个提供w i n d o w sd i b 图像访问、常用的图像处理类。本类是整个软件 系统中最基础的模块,主要提供以下功能: 图像基本操作:d i b 图像的读取、保存、创建、复制和显示等; 图像基本信息显示:利用m a k e p a l e t t e0 实现调色板功能,显示图像的基本信 息,包括位置信息,颜色信息等。 ( b ) 图像处理核心类( c l m a g e v i e w 类) 这是一个提供常用的图像处理类。本类是整个软件系统中最关键、最核心的 模块,主要提供以下功能: 湖北工业大学硕士学位论文 常见图像处理:直方图分析、二值化处理、图像的滤波、r o i 处理、数学形态 学运算、边缘检测( 包括亚象素边缘检测处理函数0 n s u b p i x e l e d g e0 ) 、噪声仿真 和特征空间分析等等。 ( c ) 特殊处理类( c s u s a n f i l t e r 、c s u s a n c o r n e r 、c p o i n t p a t t e r n m a t c h 等类) 这些类辅助图像处理核心类c l m a g e v i e w 完成图像的自动对准,它们主要功能 为: c s u s a n f i l t e r 类:实现s u s a n 滤波功能; c s u s a n c o r n e r 类:利用s u s a n 角点检测方法,实现图像特征空间的提取功能; c p o i n t p a t t e r n m a t c h 类:利用点模式匹配方法实现芯片图像和基底图像的高 精度对准。 ( d ) 主控模块和用户界面类( c m a i n f r a m e 、c d l g h i s t s h o w 、c d l g p o i n t m a t c h 、 c d l g r e g 等类 这些类提供友好的用户交互界面,调度各个模块协调运行,显示图片的处理。 2 4 本章小结 本章介绍了视觉自动对准系统的基本原理及工作流程,概述了系统的硬件组 成以及具体的实验实现,同时,对自动对准系统的软件流程和实现原理及工具进 行了简单的介绍。 1 4 湖北工业大学硕士学位论文 第3 章摄像机的标定原理 在计算机视觉中,往往需要对景物进行定量分析或对物体完成精确定位的处 理。这些内容都涉及到一个基本问题,即景物是如何形成到图像的像素点。了解 成像模型的同时,还要知道模型中各种参数的精确值,确定这些参数值的过程就 称作摄像机标定。 摄像机标定就是确定世界坐标系、摄像机坐标系、图像坐标系以及像素坐标 系之间的坐标转换关系,计算摄像机的外部参数和内部参数,亦称为外方位元素 和内方位元素。摄像机标定的精度和可靠程度将直接影响到对准结果的精确程 度。 3 1 摄像机基本模型 根据几何光学原理摄像机成像模型。”如图3 1 所示。 图3 1 摄像机成像模型 图中:d ,一w 一像素坐标系,即数字图像坐标系,以像素为单位: 仇一x s b 图像坐标系,可将像素坐标系中的像素转化为物理单 位;在理想的光学系统中,成像平面的原点位于光轴上,但实际中存在着一定的 偏移量; d m ,z 摄像机坐标系;其原点o 为摄像机光心,位于镜头的物 湖北工业大学硕士学位论文 方主点上,z 轴与镜头光轴重合,方向由镜头指向物方: 0 w x w k z 一一世界坐标系,又称为三维物空间坐标系。 其中,u 轴,

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论