（测试计量技术及仪器专业论文）高精度贴片机自动对准算法的研究.pdf

湖北工业大学硕士学位论文 摘要 自动对准系统是自动贴片机的关键部件之一，由光学成像系统、光学照明系 统、c c d 摄像器件等硬件和图像处理软件部分组成。通过使用高倍率光学放大和高 分辨率c c d 传感器，视觉对准系统可以达到亚微米甚至纳米级的对准精度。但是 过高的放大倍数会影响光学系统的视场范围和输出信号的强度，因此在一定的硬 件条件下，图像处理算法及其软件起着决定对准精度的关键作用。 自动对准算法用来输出芯片与基底上的标记的相对位置，然后反馈给控制系 统引导定位。针对其具体情况，本文对其进行了详细的研究。 针对贴片机可能存在的强噪声干扰，本文首先研究了图像噪声的平滑，讨论 了各种线性滤波器与非线性滤波器的特点以及局限性，并针对定位标志图像进行 了实验分析，选用了s u s a n 滤波方法；接着采用了基于标记边缘的分割方法来提 高对准精度，在r o b e r t 边缘提取方法粗定位边缘之后，采用亚像素矩法方法进行 边缘精定位及分割，并通过定位标志图像进行了实验分析：然后对常见的特征点 提取方法迸行了分析研究，采用s u s a n 角点提取方法提取特征点。 本文对匹配方法进行了研究，将其分为三类，基于像素灰度的匹配方法，基 于变换域的匹配方法以及基于特征的匹配方法，针对定位标记的具体特性，采取 了基于特征角点的点模式匹配方法。通过对点模式匹配方法的比较，采用基于邻近 点的点模式匹配算法实现了快速匹配。 最后采用所述方法，本文构建了软件系统，对标记图像进行了实验分析，对 全文进行了总结和展望。 关键词：自动对准，图像匹配，图像平滑，特征点提取，点模式匹配，亚像素边 缘分割 湖北工业大学硕士学位论文 a b s t r a c t a u t o m a t i ca l i g n m e n ts y s t e mi so n eo ft h ec o r ec o m p o n e n t si na u t o m a t i cf l i pc h i p b o n d e r , w h i c h i sc o n s i s t e do fi l l u m i n a t i o n s y s t e m ，o p t i c a li m a g i n gs y s t e m ，c c dc a m e r a , a n di m a g ep r o c e s s i n gs o f t w a r e ，e t c v i s i o na l i g n m e n ts y s t e mc a nr e a c hs u b m i c r o n ， e v e nn a n o m e t e r b yu s i n gh i 豳m a g n i f i c a t i o no b j e c t i v ea n dh i 曲r e s o l u t i o nc c d s e n s o r h o w e v e r , h i g hm a g n i f i c a t i o nw i l li n f l u e n c et h ef i e l do fv i e wi nt h eo p t i c a ls y s t e ma n d i n t e n s i t y o f o u t p u ts i g n a l t h u s u n d e rac e r t a i nh a r d w a r e c o n d i t i o n ，t h ei m a g e p r o c e s s i n ga l g o r i t h m sa r et h ed e t e r m i n a n tp a r tf o rt h ef i n a la c c u r a c yo f a l i g n m e n t t h em a i np o i n to fa u t o m a t i ca l i g n m e n ti st oo u t p u tt h er e l a t i v ep o s i t i o no ft h ed i e a n dt h es u b s 订a t e t h i st h e s i sc o n t a i n st h ei n t e n s i v er e s e a r c ho nt h ea u t o m a t i ca l i g n m e n t a l g o r i t h m s a tf i r s t ，a c c o r d i n gt ot h ed i s t u r b a n c eo f n o i s e ，i m a g es m o o t h i n gi ss t u d i e d t h e a d v a n t a g e sa n dd e f e c to f i i n e a rf i l t e ra n dm e d i a nf i l t e ra r ed i s c u s s e d t h e ns u s a n f i l t e ri ss e l e c t e db yt h ea n a l y s i so ft h ee x p e r i m e n t s e c o n d l y , i m a g es e g m e n t a t i o nb a s e d o nt h ee d g eo ft h em a r ki ss t u d i e dt oi m p r o v et h ep r e c i s i o no f a l i g n m e n t r o b e r to p e r a t o r i su s e dt of i n dt h ee d g ea n dm o m e m - b a s e d o p e r a t o ri sa p p l i e d t oo b t a i ns u b - p i x e ir e s o l u t i o n t h i r d l y , a l g o r i t h m so f f e a t u r ep o i n te x t r a c t i o na r ca n a l y z e da n ds u s a n p r i n c i p l ei su s e d a tl a s t ，i m a g em a t c h i n gi ss t u d i e da n dc l a s s i f i e da st h r e et y p e s t h o s ea r eb a s e do n i m a g ep i x e l s ，t r a n s f o r m a t i o nf i e l da n di m a g ec h a r a c t e r i s t i c s a n dt h ei m a g em a t c h i n g m e t h o d sb a s e do nt h ec h a r a c t e r i s t i co ft h ec o r n e ra r cu s e da c c o r d i n gt ot h ep r o p e r t yo f t h em a r k t h e nv a nw a m e l e na l g o r i t h mi s c o m p a r e da n dc o m p i l e dt o r e a l i z et h ea u t o m a t i c l o c a t i o n b a s e do nt h em e t h o dd e s c r i b e da b o v e ，t h es o f t w a r e s y s t e mi sp r o g r a m m e da n d e x p e r i m e n t sa r et a k e no nt h em a r ki m a g e t h e nas u m m a r yo ft h et h e s i sa n dt h en e x t w o r ka r eg i v e n k e y w o r d s ：a u t o m a t i ca l i g n m e n t ，i m a g em a t c h i n g ，i m a g e s m o o t h i n g ，p o i n t e x t r a c t i o n p o i n tp a t t e mm a t c h i n g s u b - p i x e le d g ed e t e c t i o n 湖北3 - 业大学硕士学位论文 - - - _ _ _ _ - _ _ _ - - - _ _ - _ _ _ _ _ _ m i l li 一i i _ - - _ - _ - 1 1 课题来源 第1 章绪论 本论文研究贴片机自动对准算法，得到以下科研项目的资助： 武汉市科技攻关计划项目“高精度贴片机自动对准系统的开发研究”，项目编 号：2 0 0 4 1 0 0 1 0 1 2 湖北省教育厅优秀中青年科技创新团队资助计划项目“基于实时机器视觉信 息的微细定位与控制技术研究”。 1 2 课题的目的与意义 微电子制造业是集国家利益、人类智慧和最新科技于一体的战略性产业，是 当今世界竞争最激烈、发展最迅速的领域，其产业规模和技术水平己成为衡量一 个国家综合国力的重要标志之一。一些高精密的集成电路( i c ，i n t e g r a t e d c i r c u i t ) 制造装备成了一些发达国家垄断电子行业的核心武器。 作为微电子制造业的关键技术之一，集成电路( i c ，i n t e g r a t e dc i r c u i t ) 后 封装技术有几个关键的生产过程，包括芯片粘接( d i eb e n d i n g ) 、引线键合( w i r e b o n d i n g ) 等。其中，引线键合是最通用的芯片封装技术，它以其单个连接成本最 低、制作工艺灵活、适应性强等特性而占领微电子封装约9 5 的市场。随着i c 芯 片的不断发展，芯片的集成度越来越高，先进的超大规模集成电路( v l s i ) 和甚大 规模集成电路( u l s i ) 对不断增加输入输出( i o ) 连接的能力和可靠性提出更严格 的要求。随着市场对微小芯片以及微小半导体器件的要求急速增长，芯片接线的 间距和焊球的直径一直减小，因此对封装设备和器件的准确性、可靠性和封装速 度都提出了新的要求。目前i c 后封装设备能达到的定位精度为2 5 微米，相应的 空间运动精度和生产率分别为4 0 微米和1 5 线秒，并仍在迸一步发展，预计下一 代i c 后封装设备必须具有l o 一3 0 0 纳米的高速定位精度。 高精度自动贴片机在m c m 、m e m s 、m o e m s 、三维封装、红外传感器、射频器件、 图像探测器等领域也有极其广泛的应用，并成为这些高科技产品的产业化瓶颈。 可以说自动贴片机是当前和未来各国在高新技术领域竞争的焦点之一。自动贴片 湖北工业大学硕士学位论文 _ - _ _ - _ _ _ - _ _ - _ _ _ _ l - _ _ - l _ - - _ _ - _ l - _ _ - - - - _ i i ii i i _ i _ - 机是一个典型的集机、电、液、气、光等为一体的复杂高科技产品。目前世界上 只有少数几个国家中不多的几个大公司可以生产自动贴片机整机，价格极其昂贵， 例如高精度自动贴片机的价格超过i 0 0 万美元，而离精度手动贴片机的价格也高 达3 5 万美元。 本课题的研究成果将为高精度贴片机自动定位系统提供自动对准的算法单元 技术，促进集成电路制造装备水平的提高，推动我国贴片机和自动对准技术的发 展。 1 3 国内外发展现状与趋势 贴片机的自动对准系统由光学成像系统、光学照踞系统、c c d 摄像器件等硬件 和图像处理软件部分组成。其中，光学成像系统的分辨率和图像处理算法的性能 对视觉系统的精度起着决定性的作用。机械运动部分根据视觉系统反馈的信息进 行运动，从而实现芯片和基底的自动对准。由此可见，自动对准系统的定位精度 对最终的贴片精度的影响至关重要。 目前最先迸的组装方式是使用高精度自动贴片机将芯片直接准确放置到基底 上的指定位置并同时键合。所有高精度的对准都由放置芯片的贴装头和承载基底 的工作台完成。其中，键合头沿z 方向上下直线运动，工作台在x 、y 方向运动， 对准过程靠视觉对准系统完成。 视觉对准系统对最终的对准精度有着至关重要的影响。视觉对准系统由光学 成像系统、光学照明系统、c c d 镜头、图像捕捉卡、计算机及图像处理软件等组成。 通过使用高倍率光学放大和高分辨率c c d 传感器，视觉对准系统可以达到亚微米 甚至纳米级的对准精度。但是过高的放大倍数会影响光学系统的视场范围和输出 信号的强度，因此在一定的硬件条件下，图像处理算法及其软件起着决定对准精 度的关键作用。 传统的对准精度技术主要采用归一化灰度相关( n g c ，n o r m a l i z e dg r a y s c a i e c o r r e l a t i o n ) ”1 分析。在n g c 分析方法中，视觉系统获得具有实际模式的图像( 输 入图像) ，与存储在计算机内存中具有同样模式的参考图像进行栅格比较，从而计 算出使两幅图像匹配的信息。这种方法可靠性高，方法简单所以广泛应用于工 、监视觉检测、机器视觉定位等领域中i 劲。但是计算嚣较大，为改进这一缺点，出现 了一些减少匹配计算量的方法。分级匹配就是其中一种，它可以显著减少栅格比 湖北工业大学硕士学位论文 - - - _ _ _ _ - _ _ _ - - - _ _ - _ _ _ _ _ _ _ _ _ 一i 一i i _ - - _ - _ - 较的次数。 为了进一步提高计算速度，b a r n e a 等提出了序列相似性检测算法( s s d a ) 口 ， 它能快速地确定出参考图像在输入图像中以像素为单位的位置。不同于n g c 分析 方法，s s d a 方法为每一次栅格比较设定了一个闽值，在参考图像中随机选取一个 像点，计算它同输入图像中对应点的误差，并将之与其他像点对应的误差累加， 当累计误差超过设定的闽值时，结束此次栅格比较，转向输入图像中下一位位置。 若使用单调增长的阈值序列替代不变阈值，则只需较少的计算就能判别非匹配点 并丢弃。此外，分级匹配和边缘匹配的方法稍加改变后也能用于s s d a 中，此后又 出现许多灰度相关的算法，如幅度排序相关算法，分层搜索的序列判断算法等 这些方法能将参考图像定位到输入图像中以像素为单位的位鬣，但这还不能 满足组装光电器件对对准精度的要求。为了使定位精度到亚像素水平，t ia n 等在 s s d a 的基础上，提出了利用插值确定参考图像亚像素位置的方法【4 】。对输入图像插 值并以更高的分辨率进行重采样，再对新得出的图像进行s s d a 。在使用不同的插 值方法、不同的系统噪声和不同的量化位数的情况下，算法的平均误差为0 0 l 到 0 0 5 像素。然而回顾此算法不难发现，对每一幅输入图像都进行插值和重采样将 极大地增加计算所需的时间，这将是实时处理所不能接受的。f r i s c h h o l z 等提出 了一种实时的亚像素s s d a 算法【5 】。此算法和t i a n 等提出的算法最大的不同就是插值 和重采样的对象不同，它对参考图像而不是输入图像进行插值和重采样，从而使 得这一处理过程可以预先完成。此外，为进一步提高精度和减小计算量， f r i s c h h o l z 等又引入抛物线插值误差修正方法和低通滤波。试验表明，此算法1 秒 钟能进行3 0 次测量，最大误差为0 1 像素。 经过改进后，这些算法的计算速度和精度虽有了显著的提高，但是在角度、 照度、对比度变化等复杂情况下，这些基于灰度统计信息的算法有可能匹配失败。 基于特征的匹配方法则可以克服上述的缺点，目前也是研究的热点。基于特征的 匹配不是直接利用图像灰度，而是通过灰度所导出的符号特征来实现匹配，可以 包括点特征、边沿、曲线和表面，也可以是统计特征，如不变矩、重心等。这种 匹配方法抽取了图像的特征属性，在特征点的提取过程中可以减少噪声的影响， 对灰度变化，图像形变以及遮挡等都有较好的适应能力。一些著名的机器视觉图 像处理软件公司在基于图像特征的匹配方法中走在了前列，如比利时e u r e s y s 公 司开发的基于点特征的图像分析软件e a s y f i n d ，可以实现线性位移精确到1 3 0 亚 像素，旋转角度范围到9 0 度，缩放系数精确到i 2 。美国的c o g n e x 公司研发的基 湖北工业大学硕士学位论文 - - - _ _ _ _ - _ _ _ - - - _ _ - _ _ _ _ _ _ r o l li 一i i _ - - _ - _ - 于几何模式匹配技术的软件【6 】，称为p a t m a x ，宣称其算法可以实现1 4 0 亚像素定 位精度，并将其作为下一代图像对准工具，应用于工业检测中f 6 】。 但是基于图像特征的匹配方法利用了待匹配的图像的本身的一些特性，也就 是说这种匹配方法一般只适用于较为具体的应用，应在针对不同的应用选择合适 的图像特征进行匹配。 1 4 论文的研究内容 本论文的主要工作内容为研究贴片机自动定位视觉系统中的自动对准算法。 贴片机的自动对准功能主要是通过视觉系统得到芯片与基底的位置，通过对其中 标记的位置的判断，得出其相对的平移位移和旋转角度，从而控制芯片和基底键 合。自动对准算法就是要将芯片和基底上的标记匹配定位，针对其视觉处理的过 程，本文提出了自动对准的算法流程如图1 1 所示，并对组成算法的各部分进行 了详细的研究分析。 图1 一l 贴片机自动对准算法流程 本文的第一章为绪论，介绍了课题来源、目的、现有技术的国内外发展现状以 及本论文的主要研究内容。 湖北工业大学硕士学位论文 第二章研究了图像平滑的各种方法，包括均值滤波器，高斯滤波器，中值滤波 器和s u s a n 滤波方法，并对各种滤波方法进行实验分析比较。 第三章研究了图像分割方法，主要研究了基于边缘的图像分割，其中包括常用 边缘提取方法r o b e r t s 算子、p r e w i t t 算子，s o b e l 算子，l o g 算子和c a n n y 算 子以及统计型方法和小波方法。同时对亚像素边缘提取方法进行了研究，包括形 心重心法，插值方法，拟合方法以及矩法，并进行了对比分析。 第四章研究了特征点提取方法，提出了以角点作为标记图像的特征点，并对 各类角点提取方法进行研究分析。 第五章对现有的图像匹配方法进行了分类介绍，针对其方法特点进行了分析 比较，提出采用基于图像点特征进行匹配，对点模式匹配方法做了回顾，详细研 究了相对快速的基于最近邻点的点模式匹配方法。 第六章介绍了软件程序流程以及各部分的算法流程，并进行了实验分析。 湖北工业大学硕士学位论文 _ _ - _ _ _ l _ _ _ - l _ _ _ l _ l - _ l - - _ _ - _ l - _ _ - l l l _ _ i - - - _ - _ _ _ - - l - _ _ _ _ - - _ _ l - _ i - 第2 章图像平滑 消除图像噪声的工作称之为图像平滑或滤波。平滑的目的有两个：改善图像 质量和抽出对象特征。 任何一副未经处理的原始图像，都存在一定程度的噪声干扰。贴片机定位标 记图像在采集过程中不可避免的引入了来自光路扰动、系统失真和电路噪声等干 扰，在标记和背景的渐进过渡区域影响尤为明显，此外，掩模和硅片标记图形上 的尘埃，图像采集中的量化误差等也使最终的标记图像产生较大的外界噪声。 因此在贴片机定位系统中，与标记图像进行匹配之前，必须先进行图像平滑， 增强图像中有用的信息，减少或去除图像中无用或有害的成分。 一般来说，噪声在图像中都表现为高频信号，因此一般的滤波器都是通过减弱 或消除傅立叶空间中的高频分量来达到滤波的目的。滤波可分为时域和频域的滤 波。本文主要讨论时域的滤波。 时域的滤波又通常分为线性和非线性滤波。 2 1 线性滤波器 线性滤波器就是用连续函数内像素加权和来实现，去除商斯噪声效果比较好，但 是在去除了高频噪声的同时也去除了图像的锐化细节，有可能使图像中的尖锐不 连续部分变得模糊。 常用的有均值滤波器【_ 7 】即每个像素灰度值用其局部邻域内所有值的均值来替 换，可以利用卷积模板的等权值卷积来实现。邻域的选取通常有两种方式，以单位 距离为半径或单位距离的2 倍为半径。这种方法有力地抑止了噪声，同时也出现 了因平均作用而引起的模糊( 加宽) 现象，模糊程度与邻域半径成正比。 高斯滤波器和移动平均滤波器的原理类似，3 x 3 模板示例如图2 一l ，它利用 二维的高斯函数给模板中不同位置的系数赋予了不同的值，而且这个值是随该点 于中心点的距离单调增减的。它对于高斯噪声有很好的抑止效果。因此具有更好 的滤波效果，而且能抑止振铃效应。 湖北工业大学硕士学位论文 2 2 非线性滤波器 去 | 最常用的是中值滤波器，这种方法始于t u k e y 的开创性工作【7 】，主要思想是用 像素点邻域灰度值的中值来代替该像素的灰度值。主要工作步骤为： ( 1 ) 将模板在图像中移动，并将模板中心与图中的某个像素重合； ( 2 ) 读取模板下各对应像素的灰度值； ( 3 ) 对这些灰度值进行从小到大排序，找出排在中间的灰度值： ( 4 ) 将这个中间值赋给图像中对应模扳中心位置的像素。 二维中值滤波的窗口形状有多种，如线性，方形，十字形，圆形，菱形等，不 同形状的窗口产生不同滤波效果，方形或圆形窗口适宜于外轮廓线较长的物体图 像，而十字窗口优选于有顶角的图像。 中值滤波不依赖于邻域中那些与典型值差别很大的值，对椒盐噪声和脉冲噪声 有较好的抑止作用，同时又能较好地保持图像的边缘特性。但是中值滤波对高斯 噪声的效果不够理想，而且有可能使二维图像中的细线和尖锐的边角丢失，破坏 图像的几何结构，这是中值滤波的不足之处。 相比之下，s u s a n ( s m a l l e s tu n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s ) 滤波【8 】可以 较好地保持图像的结构信息，由于这种方法不用对图像进行求导，对噪声也有很 好的抑止作用。 2 2 1s u s a n 方法的基本原理 图2 2 为白色背景中的灰色矩形，将一圆形模板置于图中a , b ，c ，d ，e 五个位置， 模板的中心被称之为“核”。用模板在图像上移动，将模板中每个像素的灰度与“核” 的灰度进行比较，若模板内像素的灰度与模板中心核值的差值小于一定闽值，则 湖北工业大学硕士学位论文 - - - _ _ _ _ - _ _ _ - - - _ _ - _ _ _ _ _ _ m i l li 一i i _ - - _ - _ - 认为该点与核具有相同( 或相近) 的灰度，由满足这样条件的像素组成的区域称为 u s a n ( u n i v a l u es e g m e n t a s s i m i l a t i n g n u c l e u s ) ，如图2 - - 3 引，其中每个窗口里的白 色区域就是图2 - - 1 中对应u s u a n 区。图2 - - 4 8 l 显示了u s a n 区域的三维形貌。 图2 - 2s u s a n 原理图 捌2 - 3u s a n 区域 如图2 3 所示，不同位置的模板产生不同的u s u a 区，每个像素的u s a n 区域的面积包含了该像素周围与物体结构有关的信息。在物体图像目标或是背最 内部，如c ，u s a n 区域最大，移向边缘时，u s a n 区域逐渐变小，如6 ，最小的 u s a n 区一般出现在角点处，如a 。不同大小的u s a n 区域实质上表示了不同的图 像特征结构。这就是s u s a n 方法的基本原理，包括s u s a n 滤波、s u s a n 边缘 一l 一 湖北工业大学硕士学位论文 i i i i i i i i i 检测以及s u s a n 角点提取。 图2 4u s a n 区域三维形貌图 s u s a n 检测原则有一个突出的优点就是对局部噪声不敏感，抗噪能力强这 是由于s u s a n 特征检测原则不依赖于前期图象分割的结果并避免了梯度计算， 另外，u s a n 区域是由模板内与模板中心像素灰度具有相似灰度的像素累加而得， 这实际上是一个积分的过程，对于高斯噪声有很好的抑制作用。 2 2 2s u s a n 滤波方法 s u s a n 滤波 8 增有效地保护边缘和角点，基本思想是取在模板中与核值点相 似的像素进行处理，其实质是利用相似比较函数作为权重的加投均值滤波。式( 2 1 ) 定义了相似比较函数，它衡量了像素f i x ，y 】与其邻域内各像素z + i ，y + 力( i ， ，为偏移量) 之间的相似程度。它不仅比较了l x ，y 】和x + f ，y + 月灰度值的差 异，而且还考虑了距离的影响。 r 2 ( x + ，y + ，卜l x ，y 】) 2 c ( x ，y ) ：e 2 0 - 2r 2 ( 2 一1 ) 其中1 ( x ，y ) 和f o + f ，y + ，) 分别是像素和邻城内像素的灰度值，r = 可， a 是高斯平滑滤波器的方差，o 越大，图像越平滑，越小，表现的细节越多，一 般取4 0 就有较好的效果。r 是衡量灰度值相似程度的阈值，一般情况下取2 5 。 湖北工业大学硕士学位论文 ! ! ! = ! ! ! 竺! ! = = ! ! ! ! = ! = r o l l = = = = = = = = i i ! ! ! ! = ! s u s a n 滤波算法公式为式( 2 2 ) ： m + f ，y + 仆舌幽乒 m 川= 业业t z 五互五函广( 2 - 2 ) y 口一万一_ r 一 其中，y ( x ，j ，) 是像素i ( x ，y ) 滤波后的灰度值。由式( 2 2 ) 可知，相似度大的像 素的权值就大，因此对滤波结果的影响较大，相反则影响较小。s u s a n 滤波不包 括中心点本身，可以有效地滤除脉冲噪声。对于孤立的噪声点，式( 2 2 ) 的分 母可能会很小，这时可以用中值滤波来得到该点的输出。s u s a n 滤波的效果要优 于现有的许多算法，图2 5 【8 l 和图2 6 嘲是作者对s u s a n 滤波和其他滤波方法对 比图。 图2 5s u s a n 滤波与其他方法对比效果图 从图中可以看出s u s a n 滤波方法不但能有效邋滤掉各种噪声，而且能有效地 保持和改善图像的结构，经过迭代，该算法对边缘和角点没有模糊、劣化效应， 优予其他滤波方法所得的结果。 一i 口一 湖北工业大学硕士学位论文 图2 6s u s a n 滤波与其他方法对比效果图 2 3 实验分析对比 用均值滤波，高斯滤波，中值滤波和s u s a n 滤波对贴片机定位标志进行噪声 平滑，效果如图( 2 7 ) 所示： ( 1 ) 输入图像 ( 2 ) 均值滤波( 3 ) 高斯滤波 ( 4 ) 中值滤波( 5 ) s u s a n 滤波 湖北工业大学硕士学位论文 ( 6 ) 输入图像2 ( 7 ) 中值滤波 湖北工业大学硕士学位论文 - - - _ _ _ _ - _ _ _ - - - _ _ - _ _ _ _ _ _ _ _ _ 一l 一i i _ - - _ - _ - ( 8 ) s u s a n 滤波 图2 7 效果对比 从图中可以看出均值滤波和高斯滤波都对图像有一定程度的模糊，中值滤波 和s u s a n 滤波对边缘保护的比较好，但是中值滤波对图像的角点有一定的破坏和 模糊，影响后面的匹配定位精度，s u s a n 滤波能较好地还原图像的几何结构，抗 噪能力很强，可见s u s a n 滤波的效果相对较好。 2 4 本章总结 滤波能在很大程度上抑止噪声的影响，在贴片机定位系统中如何选择一种合 适的滤波方法是首先需要讨论的问题。本章主要研究了时域里的线性和非线性滤 波，重点研究了s u s a n 滤波。从实验分析可以看出，s u s a n 滤波相比与其他的 滤波方法，更易于保持图像的几何结构，抑止噪声，使得后麓的特征提取能获得 更为精确的特征点。 湖北工业大学硕士学位论文 ! ! = ! ! = = = ! ! = = ! ! ! ! = = = ! 竺! ! = ! i= = = = ! i i ! ! ! ! ! ! 竺 第3 章基于标记边缘的分割 图像分割的任务是把图像分成互不交叠的有意义的区域，以便进一步地处理、 分析和应用。它的困难在于图像数据的模糊和噪声的干扰，目前，没有一种或者 几种完善的分割方法，可以准确的分割出任何一种图像。在实际的图像处理中， 需要根据实际的情况选择合适的分割方法。 图像分割的方法可以大致分为两类：基于灰度阈值的图像分割( 有时也称为 区域分割) 和基于边界特征的图象分割。基于闽值的图像分割根据灰度值区分图 形和背景，相当于对图像进行二值化。此方法适合对前景与背景有较强对比的图 像进行分割。阈值可以由图像的灰度直方图计算得到。基于边界的图像分割利用 图形的边界将其和背景分割开。一般是先提取图像的边界，获得完整的边界线， 再根据边界进行分割。其中通过提取边缘进行分割是一个重要途径。 对于在自动贴片奉几定位这种精度要求较高的场合，通过提取边缘进行分割使 得而后的特征点提取能获得更为精确的特征点，同时在贴片机视觉对准系统中， 采用亚像素边缘分割提取的方法，在一定的硬件条件下，可以提高系统的对准精 度。 3 1 常见的边缘提取方法 所谓边缘是指其周围像素呈灰度阶跃变化或屋顶状变化的那些像素的集台【9 】 它存在于目标与背景、目标与目标、区域与区域，基元与基元之间。 常用的边缘检测的方法主要有以下4 种。 3 1 1 检测梯度的最大值 边缘的锐利程度由图像灰度的梯度决定。梯度是一个向量，它指出灰度变化的 最快的方向和数量。由于边缘发生在图像灰度值变化比较大的地方，对应连续情形 就是说是函数梯度较大的地方，所以研究比较好的求导算子就成为一种思路。 r o b e r t s 算子、p r e w i t t 算子、s o b e l 算予和k i t s c h 算予等就是比较简单而常用的 例子。 湖北工业大学硕士学位论文 梯度定义为矢量g ( x ，y ) 2 ( 篆，善 ，幅值由下式给出： 1 g ( x ，y ) i = g ，2 + g ，2 ，方向为0 = a r c t a i l ( g ，g ，) ( 3 1 ) ( 1 ) r o b e r t 算予【1 0 】是个2 x 2 算子，根据任意一对互相垂直方向上的差分可用来 g ( i j ) = l 厂【f ，_ ，】一 f + l ，_ ，+ 1 】| + i ， f + 1 ，- ，】- f i ，_ ，+ 1 1 i ( 3 2 ) 用卷积模板表示，g i d 2 i g ：t + 1 g ，i ，其中j 对应于x 轴正方向，i 对应于y 轴负方 g ：= ( ：爿卟( ( 2 ) s o b e l 算子【1 1 】是个3 x3 梯度算子，对数字图像厂( f ，) 的每个像素，考虑它 m = 虬2 + 0 2 ( 3 3 ) 其中偏导数s , y - ( a z + c a 3 + a 4 ) ( a o + e a t + a 6 ) ，s y = ( a o + c a l + a 2 ) ( a 6 + c a 5 + a 4 ) s x 一雕驴三。 ( 3 ) p r e w i t t t l 2 1 算子和s o b c l 算子的方程完全一样，只是常数c - = - - - 1 。 ( 4 ) k i t s c h 算子 1 3 】使用了8 个模板来确定梯度和梯度的方向，对数字图像 f ( i ，肼的每一像素( f ，) ，考察它八个邻点的灰度变化，以其中三个相邻邻点的加 权和减去剩下五个邻点的加权和令三个邻点环绕( f ，) 不断移位，取其中差值的 湖北工业大学硕士学位论文 a 3a 2a 1 缸 嘲1 a o a 5 a 6 a 7 边缘的梯度大小为 m ( i , j ) = m a x 1 ，m a x j 5 s l 一3 i ：k = o ，1 ，7 ) )( 3 4 ) 其中s k ：a k + a k + l + a k + 2 t l c = a k + 3 + a k 十4 + + a k + 7 上面的下标如果超过7 就用8 去除取余数。 还有一种比较喜观的方法就是利用当前像素邻域中的一些像素值拟合一个曲 面，然后求这个连续曲面在当前像素处梯度。从统计角度来说，可以通过回归分析得 到一个曲面，然后也可以做类似的处理。 ( 5 ) c a r m y 算予【1 4 】实质上并不是简单地进行梯度运算，在决定一个像素是否为 边缘点时，要考虑其他像素的影响。 c a n n y 给出了评价边缘检测性能优劣的三个指标： 1 ) 好的检测结果，或者说对边缘的错误检测率要尽可能低：就是在图像上边 缘出现的地方检测结果中不应该没有；另一方面也不要出现虚假的边缘。 2 ) 对边缘的定位要准确，即检测出来的边缘点要要尽可能在图像上真正边缘 的中心。 3 ) 对单一边缘仅有唯一响应，即单个边缘产生多个响应的概率要低。 c a n n y 边缘提取算法为： 1 ) 首先用2 d 高斯滤波模板进行卷积以消除噪声； 2 ) 利用导数算子( 比如p r e w i t t 算子、s o b e l 算子) 找到图像灰度的沿着两个方 向的偏导数( g x ，g ，) ，并求出梯度的大小； 3 ) 计算出梯度的方向；一旦知道了边缘的方向，就可以把边缘的梯度方向大致 地分为四种( 水平，竖直，4 5 方向，1 3 5 度方向) 。也就是把o 1 8 0 分为5 个 部分：o 2 2 5 以及1 5 7 5 1 8 0 算做是水平方向；2 2 5 - 6 7 5 算做4 5 方向：6 7 5 1 1 2 5 算是竖直方向；1 1 2 5 1 5 7 5 记为1 3 5 度方向。通过梯度的方向，就可以找到这个 像素梯度方向的邻接像素： 4 ) 非极大值抑制：遍历图像，若某个像素的灰度值与其梯度方向上前后两个像 湖北工业大学硕士学位论文 素的灰度值相比不是最大的，那么这个像素值置为0 ，即不是边缘： 5 ) 使用累计直方图计算两个阀值并且连接边缘。凡是大于高阀值的一定是边 缘：凡是小于低阀值的一定不是边缘：如果检测结果大于低阀值但又小于高阀值， 那就要看这个像素的邻接像素中有没有超过高阀值的边缘像素：如果有那么它就 是边缘了，否则它就不是边缘。 3 1 2 检测二阶导数的零交叉点 因为边缘处的梯度取得最大值( 正的或者负的) ，也就是灰度图像的拐点是边缘， 所以可以通过检测二阶导数的零交叉点来提取边缘。最经典的算予就是l o g 算子 【1 5 】。 函数f ( x ，y ) 的拉普拉斯算子公式为： v 2 厂= 警+ 舅 b s ， 用差分表示为 昙：；( 厂 f ，+ l 】_ 2 f f ，】) + 九f ，一1 d x 舅可 f + 1 】一2 邝棚) + f 1 棚 ( 3 - 6 ) 常用的模板 1 由于利用图像强度的二阶导数的零交叉点对噪声十分敏感，因丽更不稳定。 所以希望在边缘增强前滤除噪声，为此m a r t 和h i l d m t h 将高斯滤波和拉普拉斯边 缘检测结合在一起，形成l o g 算法。 这种算法的基本特点是图像首先与高斯滤波器进行卷积，又因为卷积是可结 合可交换的，所以先做赢斯卷积然后用l 算子做卷积就等价于对原图像用高斯函 数的l a p l a c i a n 变换后的滤波器做卷积是一样的。 在实际中先使用l o g 模板做卷积，然后寻找那些零交叉像素：如果一个像素 一i ，一 n叫j 一 一 一 i l 一8 一； 一 一 一 ，。，l、lllll o 1 o o 0 o l o o ，l 湖北5 - 业大学硕士学位论文 _ - - _ _ _ - _ _ _ - _ _ - - i i - l - - i _ _ _ l _ r o l li 一i i _ - - _ - _ l - 处值小于一0 0 。而且其它周围的各个邻接8 个像素都是大于岛，o o 是一个正数， 那么这个像素就是零交叉点。 l o g 算子的缺点是对一些小尺度边缘、边缘角落和t 形边缘效果不好，而且 对噪声比较敏感，它检测出的是梯度图像具有局部最大值和最小值的点，但实际 上边缘只是那些梯度为局部最大的点。 3 1 3 统计型方法 一般从概率统计的角度对边缘检测进行了讨论。如用假设检验来检测边缘， d h m a r i m o n t 在文献【1 6 】中利用对二阶零交叉点的统计分析得到了图像中各个像 素是边缘的概率，并进而得到边缘检测的方案。 3 1 4 小波多尺度边缘检测 九十年代，随着小波分析的迅速发展，小波开始用于边缘检测。基于小波理论 的边缘检测方法因小波理论时频分析的优越性而优于一般的传统图像边缘检测方 法它可检测出图像在不同尺度下的边缘特征。 而多尺度边缘检测方法是先磨光原信号，再由磨光后信号的一阶或者二阶导 数检测出原信号的剧变点( 也就是边缘了) 。 3 2 实验分析对比 将上述常用算子r o b e r t s 算子、p r e w i t t 算子，s o b e l 算子，l o g 算子和c a n n y 算子应用于自动贴片机的定位标记，进行处理比较，如图3 1 所示，输入的定位标 记为没有经过滤波处理的标记图像： o0 ( 1 ) 输入图像 ( 2 ) r o b e r t s( 3 ) s o b d( 4 ) p r e w i t t 湖北5 - 业大学硕士学位论文 ( 5 ) c a n n y ( 6 ) l o g 图3 1 未滤波标记提取图 用s u s a n 滤波方法对定位标记进行滤波处理，然后再用上述常用算予进行处 理，效果如图3 2 所示： 0 0 ( 1 ) 输入图像 ( 2 ) r o b e r t s ( 3 ) s o b e l( 4 ) p r e w i t t ( 5 ) c a n n y ( 6 ) l o g 图3 2滤波标记处理图 从图3 一l 、图3 2 可以看出c a n n y 算子，l o g 算予抗噪声能力较差，r o b e r t s 算 子、p r e w i t t 算子和s o b e l 算子的抗噪声能力相对较强，但是p r e w i t t 算子和 s o b e l 算子检测出了一些伪边缘，r o b e r t s 算子的效果相对较好。 3 2 亚像素边缘提取方法 通过使用高倍率光学放大和高分辨率c c d 传感器，视觉对准系统可以达到亚 微米甚至纳米级的对准精度。但是过高的放大倍数会影响光学系统的视场范围和 输出信号的强度，因此在一定的硬件条件下，图像处理算法及其软件起着决定对 准精度的关键作用。采用亚像素无疑能提高匹配对准精度。 亚像素是在经典算法的基础上发展起来的，通常先用上述的边缘提取方法进 行初步定位，得到像素级的精度，称为粗定位，再用亚像素定位分析，称为细定 一1 9 一 湖北工业大学硕士学位论文 - _ _ _ _ - _ _ _ - _ _ _ _ - - _ _ _ _ _ - _ _ _ _ _ - _ 一i 一i i _ _ - - _ _ - _ _ _ - 位。最早应用的亚像素定位算法是重心法和形心法，其后发展起来的亚像素边缘 提取方法有拟合、插值方法，矩法，最小二乘方法和基于已知形状的物体的信息 的算法等。 3 3 1 基于l o g 算子的插值算法 这种方法的原理主要是把原始图像和l o g 算子做卷积检测零交叉点，然后使 用平面模型获得像素级边缘【1 7 1 。最后，经过多项式插值在亚像素精度上再次确定 零交叉点，得到了精确到亚像素级的边缘。 l o g 边缘检测算子见前述。 具体的方法如下： ( 1 ) 卷积 把原始图像同l o g 算子做卷积得到卷积图像，( x ，y ) ，在边缘处出现零交叉 点，在卷积图像中检测零交叉点即是边缘点。 ( 2 ) 边缘模板运算 在得到卷积图像后，一般的方法是扫描整幅图像的数据，如相邻2 个像素点 为不同符号或连续3 个像素点中间为零，另外2 个具有符号相反的情况都为边缘， 取其像素绝对值最小的点为边缘点。但这种做法有可能检测出一些无关的不必要 的边缘。 这里还使用一种判决性的算法把卷积后的数据中每一个3 x3 的邻域，与给 定的1 1 种零交叉点模板逐个比较，看是否与这1 1 个模式之一匹配，如果匹配， 就可以在正确的像素位置上确定出边缘，并可以计算出边缘的幅度和方向。 对整幅图像扫描判断一遍之后，得到边缘图像，这时图像的精度只是精确到 像素级。 ( 3