（机械电子工程专业论文）计算机视觉在半导体封装上的应用研究.pdf

哈尔滨工业大学工学硕士学位论文 摘要 随着半导体工艺技术的发展进步，各种新型的封装技术的出现，芯片晶体 的图形也更加复杂，精度要求也越来越高，而我国在半导体的生产上尚处于较 落后状态，因此研究半导体封装技术，提高其生产自动化水平变得很有实际意 义。 本文对目前可应用于半导体封装中常用的计算机视觉方法进行了介绍，然 后通过研究半导体封装中的实际问题，应用计算机视觉理论，实现了在芯片封 装中产品缺陷的无损检测以及芯片安装时的匹配定位技术，并尝试进行了基于 特征的模式匹配方法的研究。 在芯片的缺陷无损检测中，研究了对图像进行分割的方法。在比较了几种 常用的图像分割方法的效果后，设计了一个基于己知面积大小的动态阈值的算 法，该算法能够将缺陷特征和背景分离。接着讨论了图像在光照变化情况下的 处理方法以及对缺陷特征分离后的噪音清除方法。 在研究芯片定位的过程中，采用了基于矩形特征的模式匹配方法，减少了 计算量，有效地解决了大模板的匹配速度问题。在该研究中系统地将匹配过程 分为多个模块进行处理，分别有图像预处理、特征提取和匹配以及特征定位计 算。在预处理中进行了光照预处理，并改进了中值滤波算法，设计了一个动态 阈值算法，通过轮廓提取和特征细化获得特征线：在特征的提取中对所得到的 特征图进行特征的搜索，并且自定义了特征的数据结构来对特征进行描述；在 特征匹配中研究了角点的提取方法和制定匹配的参数，在获得匹配结果后又研 究了特征位置信息的计算方法。 本文的研究内容，可以作为计算机视觉在半导体封装中应用的研究参考， 也可以作为其他自动化生产工程中视觉部分的参考资料。 关键词计算机视觉：特征匹配；无损检测；半导体封装 箜查堡三些查耋三兰塑圭茎鲁篁奎 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h et e c h n i q u e sa b o u ts e m i c o n d u c t o r p r o d u c t i o n ，m a n y n e w t e c h n i q u e sa b o u tp a c k a g i n gc o m ef o r t h ，a n dt h ef i g u r eo f t h e d i eb e c o m e sm o r e c o m p l e x n l er e q u e s tf o rp r e c i s i o ni n t h ep r o d u c t i o no fs e m i c o n d u c t o rb e c o m c s h i g h e rt o o w jh a v eb e e nl e f t b e h i n da f t e rt h e d e v e l o p m e n tc o u n t r i e so nt h e p r o d u c t i o n ，s o i t s v e r ys i g n i f i c a n t t o s t u d yt h et e c h n i q u e s o fp a c k a g i n ga b o u t s e m i c o n d u c t o r p r o d u c t i o n t h ep a p e ri n t r o d u c e st h eg e n e r a lm e t h o d so ft h ec o m p u t e rv i s i o nw h i c ha r c u s e di np a c k a g i n go fs e m i c o n d u e t o r , t h e nd os o m er e s e a r c ha b o u t 也eh a r m l e s s d e t e c t i o no ft h ed i ea n dt h et e c h n o l o g i e sa b o u tp a r e mr e c o g n i t i o n , a n dt r yt os t u d y t h ep a t t e r nm a t c h i n gb a s e do nf e a t u r e i i it h eh a r m l e s sd e t e c t i o no ft h ed i e , t h em e t h o da b o u ti m a g ei n t e r s e c t e dj s r e s e a r c h e da n da na l g o r i t h mo fa u t ot h r e s h o l db a s e do nt h em a s so ff l a wa r e ai s d e s i g n e d 1 1 1 ea l g o r i t h mc a ns e p a r a t et h ef l a wr e g i o nf r o mt h eb a c k g r o u n d s t h e nt h e w a y so f h o wt op r o c e s st h ev a r i e t yo f l i g h ta n dh o w t oc l e a rt h en o i s e si nt h et w o v a l u ei m a g ea r ed i s c u s s e d i nt h er e s e a r c ho f t h e p a r e mr e c o g n i t i o n f o rt h ec h i p , a p a r e mm a t c h i n gb a s e d o nt h et a r g e t sf e a r l r ei sa d o p t e d t 扯sm e t h o dc a nd e c r e a s ea m o u n to f t a l c u l a t i o n si n p a r t e mr e c o g n i t i o na n dm e e tt h er e q u e s to fp a r e ms p e e dw h e n t h et e m p l a t ei sv e r y l a r g e n l i sr e s e a r c hi n c l u d e ss e v e r a lp a r t sa b o u tt h ec o u r s eo fp a a e mm a t c h i n g ：t h e p r e t r e a t m e n to f 也e s o u r c ei m a g e p a t t e r nm a t c h i n ga n dt h ec a l c u l a t i o no ft h e f e a t u r e so n e n m t i o n s i nt h ep r e t r e a l m e n t ，t h ea f f e c t so ft h ev a r i a b l e i i g h t a r c r e m o v e d a n dt h em i d d l ef i l t e ri sa d v a n c e d a na u t ot h r e s h o i da l g o d t h mi sd e s i g n e d t os e p a r a t et h ef e a t u r ef r o mt h eb a c k g r o u n d s ，a n dt h e nt h em e t h o do fc o n t o u ra n d t h i n n i n g a r cu s e dt o p i c ku pt h ee d g eo ft h et a r g e t a f t e r 仃a n s f e r t h e p i x e l i n f o r m a t i o no ft h ef e a t u r et ot h ec u s t o m e rd e f i n e dd a t as t r u c t u r e ，t h ef e a t u r ec a l lb e d e s c r i b e db yu s e r t h e nc o m e rp o i n tc a nb eg o t t e nf r o mt h ef e a t u r ei n _ f o r m a t i o na n d t h eo b j e e t si o c a t i o nc a l lb ec a l c u l a t e dw i t ham e t h o da f t e rm a t c h i n gs u c c e s s n l ec o n t e n to ft h ep a p e r , c a nb ea st h er e s e a r c hi n f o r m a t i o no ft h ec o m p m e r v i s i o n sa p p l i c a t i o ni nt h ep a c k a g i n go f t h es e m i c o n d u c t o r , a n dc a nb et h er e f e r e n c e a st h ep a r to f c o m p u t e rv i s i o ni no t h e rr o b o t i c i z e d p r o d u c t i o n s k e y w o r d sc o m p m e rv i s i o n , p a t t e mm a t c h i n g ，h a r m l e s sd e t e c t i o n ，s e m i c o n d u c t o r p a c k a g i n g i i 路尔滨工业大学工学碗士学位论文 第1 章绪论 1 1 课题背景 1 1 1 半导体封装技术的发展 芯片封装不仅是将晶片安放、固定、密封到芯片载体上，而且还是沟通芯 片内部世界与外部电路的桥梁。芯片上的接点用导线连接到封装外壳的引脚 上，这些引脚又通过印制板上的导线与其他器件建立连接。因此，半导体封装 对于集成电路起着重要的作用。 我国半导体产业的建设始于二十世纪六十年代，经过长期发展，已经建立 起包括集成电路设计、集成电路制造、封装测试、半导体分立器件、半导体设 各和材料等产业的基本架构，近几年的加速发展缩短了与国外先进技术的差 距，有了一定的产业规模。2 0 0 0 以来，集成电路设计企业如雨后春笋蓬勃成 长，许多家有较大产业规模和先进技术水平的芯片制造企业和封装测试企业投 入远行，中国大陆呈现出前所未有的半导体投资热潮和产业快速发展的态势。 在中国电子信息产业高速增长的需求牵引和世界半导体产业向亚洲转移的大趋 势下，中国的半导体产业正面临蓬勃发展的大好机遇，同时也面对着严峻的挑 战。i c 设计业在当前我国集成电路产业发展中起着重要的先导作用，加快i c 设计业的发展是集成电路产业的发展需要，也是信息产业的发展需要。 通过一些数据也可班看出我国半导体产业的发展速度和规模：1 9 9 0 年，我 国的半导体分离器件产量仅为3 1 1 亿只，集成电路产量为0 9 7 亿块，到2 0 0 0 年，半导体分离器件产量为2 1 8 3 8 亿只，集成电路的产量为5 9 8 亿块，十年 分别增长了7 倍和6 0 倍。2 0 0 2 年，我国半导体分立器件和i c 产品销售额达 5 6 1 6 亿元，比去年增长了3 3 8 ，其中i c 总产量为9 6 3 亿块，比上一年增长 5 1 4 ，总销售额2 6 8 4 亿元，比上年增长4 2 6 。约占世界i c 产业总销售额 的2 6 8 。根据英国工业研究机构i s u p p l i 的数据显示，在2 0 0 2 年全世界总值 2 2 0 亿美元的半导体封装市场中，中国占了1 6 。2 0 0 3 年1 - 9 月份，中国i c 企业的产量为9 2 亿块，同比增长3 2 7 。随着一批8 英寸和6 英寸芯片制造 线和封装测试线的建成和投产，今年i c 产量将增长4 0 以上，。i s u p p l i 预测， 在2 0 0 7 年以前，中国大陆将取代台湾，成为全世界最大的半导体封装基地， 全球市场占有率上升至3 0 。 虽然半导体封装这个行业在我国已经开始蓬勃发展，但目前我国芯片封装 生产依然手工式、作坊式的间隙性生产占很大的比例，使产品单一，档次低， 一致性、稳定性差， 1 1 我国的微电产品的生产技术有很大现实意义。 哈尔演工业大学工学顼士学位论文 1 1 2 计算机视觉在半导体封装中的应用 计算机视觉是指用计算机实现人的视觉功能对客观世界的三维场景的 感知、识别和理解【2 】。主要有两类方法：一类是仿生物学的方法，参照人类的 视觉系统的结构原理，建立相应的处理模块完成类似的功能和操作；另一类是 工程的方法，从分析人类视觉过程的功能着手，并不刻意去模拟人类视觉系统 的内部结构，而仅考虑系统的输入输出，并用任何现有的可行的手段实现系统 功能。计算机视觉的主要研究目标可归纳为两个，他们互相联系补充。第一个 是建立计算机视觉系统，完成各种视觉任务，即使计算机能借助各种视觉传感 器获取的景象图，而感知恢复了3 - d 环境中的物体的几何性质，姿态结构，运 动情况，相互位置等，并对客观场景进行识别描述，解释，进而做出决断。第 二个目标是把该研究作为探索人脑视觉工作的机理的手段，进一步加深对人脑 视觉的掌握和理解。 图像理解和计算机视觉在很多情况下内容交叉重合，事实上在概念和应用 中也没有绝然界限。 图像理解和计算机视觉的应用领域非常广泛叫： ( 1 1 工业视觉，如工业检测，工业探伤，自动化生产流水线，邮政自动 化。将计算机视觉用于生产自动化，可以加快生产速度，保证质量的一致 性，还可以避免人的疲劳和注意力不集中等带来的误判。 q ) 人机交互：人脸识别，智能代理。 ( 3 ) 视觉导航，虚拟现实，图像自动解释等等。 半导体封装作为微电子产品生产中的必不可少的步骤，保障电子产品质量 的重要性显而易见。生产中如何识别有缺陷的电子部件，如线路焊接中产生的 短路或断路闯题，贴晶片时的胶镒出。电路扳本身的腐蚀和欠腐蚀缺陷，以及 板上的毛刺缺孔等，或是准确寻找到部件装配的位置进行装配封合，都是其主 要问题，也是当前研究的热点闯题。 将计算机视觉应用于半导体封装，它所研究的是从图像中提取信息，实现 三维景物的识别、定位和描述，从而使机器具备与人相似的视觉功能1 2 】。在工 业中使用几何变换来对图像进行分析处理，定位采用模式匹配等等。例如将计 算机视觉运用于工业检测，其原理就是由c c d 机进行图像的采集，然后针对 某种缺陷通过一定的算法对图像进行分析处理，对图象处理的结果进行缺陷特 征的检查，从而判断出该产品有无缺陷，并得出属于何种缺陷。整个检铡过程 可自动完成，并且和芯片没有任何接触，因此该检测方法是一种高效、先进、 准确的无损检测方法，也正因为它有诸多优势，计算机视觉的应用也日趋广 泛。 本课题来源于综科机电有限公司，这是生产半导体封装机械的公司，以生 产半导体封装机械绑定机为主，包括贴片机( d i eb o n d e r ) 和焊线机( w l r e b o n d e r ) 。贴片机完成把晶片从工作盘( w a f e rr i n g ) 上取下来，粘贴到p c b 板的 哈尔滨工业大学工学硕士学位论文 引线框架上的工序。晶片的尺寸一般几十个微米，贴片机机器视觉系统要能够 正确地判断晶片是否有缺陷。并识别晶片的位置和p c b 板引线框架上的粘贴 位置，然后用带有吸嘴的机器手臂拿起合格的晶片并放到p c b 板指定的位置 上。 1 2 国内外研究现状 1 2 1 国外研究现状 计算机视觉技术在工业中包括半导体封装生产中得到很广泛的研究和应 用。在国夕 ，图像模板匹配技术得到了深入的研究。美国的d a t ac u b e 公司提 出一种智能优化互相关匹配的算法，这种方法在图像中智能地提取对计算匹配 值贡献大的关键点，然后可以再取更多的点来验证匹配位置的精度。通过有效 地提取关键点的技术，使得相关匹配的实现速度加快，并使用这种方法来处理 图像旋转和缩放闯题圈。f u hc s 和l i uk b 提出了图像投影的匹配算法1 6 j 。利 用图像的投影特征进行图像匹配，算法将二维图像压缩到一维数据，通过减少 数据维数来提高匹配速度。d e e c 和a r b t e r 等人把傅立叶交换应用到图像匹 配中，图像由空域变换到频域，使相关运算变成了复数的乘法，快速傅立叶变 换可以提高匹配速度，同时图像在频域上也可以得到更重要的图像特征，如相 位特征，使结果的可靠性得到提高1 7 i 。h u t t e n l o c h e r 和k l a n d e r m a n 提出了 h a u s d o r f f 距离 8 1 ，并应用在图像匹配中，该距离定义了两个点集之间的最大最 小距离，表述了两个点集之间的最大相似程度，用它来做相似性度量时，必须 使它最小化。c h a n g 和c h e n g 提出快速图像特征点配对的方法唧，快速点配对 的方法利用了点与点之阅的相关系数来减少参数空间的维数。提高了匹配的搜 索速度。a l e x a n d r o v 和g o r s k y 等人把图像金字塔模型应用到图像匹配中 1 0 1 ， 模板匹配中粗分辨率上的匹配结果可以传递到精细的分辨率上，从粗到细的匹 配过程可以有效地减少重复的计算量。d y e r 和b o n m a s s a r 对该算法进行了改 进，提高了算法的可靠性【1 1 1 。f r e d r i k s s o n 等人用图像的直方图特征在旋转图像 匹配中快速滤掉非匹配位置，然后可以再在潜在的匹配位置中搜索正确的位置 f 埘，该方法可以不通过傅立叶交换来解决旋转空间的匹配问题。u k k o n e n 等人 提出了一种二维字符串的匹配方法【1 3 】，应用a v a h o 提出的字符串匹配方法来 快速查找潜在匹配位置1 2 3 1 4 】。h y o s h i m ii c a u e n 提出非标定目标对准手眼协调 系统，通过目标特征点的轨迹来判断与目标的相对位置l l 玉。 图像模板匹配技术在国外发展的很成熟，得到了广泛的应用，例如m e t r o x 公司早已推出m e t r o xi m a g i n gl i b r a r y 开发包和m e 缸o x 图像采集卡l i ”，可进行 视觉技术的二次开发，当前最高版本m i l 7 5 中使用的匹配技术可达很高的精度 和速度。 1 2 2 国内研究现状 国内在这方面的研究，尚处于起步阶段，整体水平较低，距西方发达国家 还存在着相当大的差距，但仍有不少机构和学者致力于此，并进行了大量的试 验研究工作。 西安电子科技大学的王俊平、郝跃研究了i c 制造中的缺陷特征提取和表 征。通过数学形态学的方法检测到缺陷的特征【l 引，然后对边界进行链码表述， 通过链码的特征来对缺陷进行分析。中国电子科技集团公司的杨云龙，刘金荣 研究了电子专用设备全自动划片机的自动对准技术【l ”。该技术是通过模板匹配 的方式实现的。上海交通大学图像处理与模式识别研究所孙远提出了二值图像 投影字符串的快速匹配方法1 2 0 1 ，将灰度图像先进行二值化处理，然后进行图像 的投影，投影将二维图像转换成一维的字符串投影，对一维字符串进行字符串 匹配，这在定的程度上减少了计算量，提高了匹配速度。李聪亮应用了图像 主轴角的计算方法解决图像的旋转问题1 2 1 1 ，利用图像重心与图像中心的连线方 向与x 轴夹角的变化体现图像的旋转，又在计算的角度结果的基础上用最小距 离的匹配的方法进行精匹配，计算出目标模板在搜索图中的位置和旋转角度。 南开大学的现代光学研究所申金媛提出了模式识别图像与处理中的目标的快速 定位法倒，根据目标模板的基本集和结构构造新的形态学结构元素，并通过修 改图像形态学二值腐蚀方法进行目标检测定位的方法，这种算法简洁，速度 快。2 0 0 3 年山东理工大学刑希东利用计算机视觉来检测墙地的砖色j ，以检 查墙地砖的质量，并取得成效。采用固定式双曰立体视觉系统直接将图像坐标 映射到机器人坐标，实现自动装配1 2 4 , 2 “。 计算机视觉技术在国内也有实际的运用。如视频检测与车牌快速自动识别 系统，它是集视频图像特征检测技术、动态模糊清除技术、图像模式识别、人 工智能、通信技术、计算机技术等高新技术手段于体的先进的智能系统。经 上海科技情报中心查新，确认该项技术属国内首创，达到国内领先水平。该系 统对行进中车辆识别率达到9 6 以上，识剐时间小于0 3 秒，识别距离2 0 - 8 0 米，识别宽度1 5 1 6 米，识别车速达1 2 0 公里4 , 时，能广泛应用于交通稽查 路检，路桥、高速公路收费，交通信息管理等方面。 1 3 主要研究内容 本课题主要做了以下几个方面的研究工作。 ( 1 ) 芯片缺陷的视觉无损检测通过对采集到的芯片图片，进行图像的预处 理，减少光照变化的影响，根据设定的阈值来对图像进行分割，通过分割得到 的二值化图像可以分析出一个初步的结果，可以对图像进行一个初判断，为防 止误判，使用动态阈值，重新对图像进行分割，并进行噪音清除处理，最后通 过结果分析来判断芯片是否存在缺陷。在这个研究工作中，提出了一个基于缺 陷面积大小的动态阈值求取法以及适合这类缺陷的噪音排除方法。 哈尔滨工业大学工学硕士学位论文 ( 2 ) 基于特征的模板匹配这个研究是针对模板的定位的，通常模板匹配都 是基于灰度的，计算量大，效率低，在该研究中因为模板很大，所以研究用基 于特征的方法来进行匹配。整个算法通过对图像的处理，提取出它的特征，然 后由提取的特征和模板的特征进行匹配，最后得到模板的位置和旋转角度。该 研究中在预处理的步骤中，对中值滤波和轮廓提取的算法进行了改进，在获取 特征的步骤中，提出自己的特征提取的方法，建立了一个特征类用来表示提取 的特征，并且也研究了角点的提取和目标特征转角计算的方法。 哈尔滨工业大学工学硕士学位论文 第2 章计算机视觉技术及其在半导体封装中的应用 2 1 引言 计算机视觉在半导体封装技术中应用很多，本文中主要讲述了工程中常用 计算机视觉中的模板匹配方法，并讨论了计算机视觉在半导体封装生产中对芯 片的缺陷检测，以及芯片的精确定位。 2 。2 模板匹配方法 模板匹配，即对已有的模板与被检测物体进行分析，对两个图像的相似程 度进行度量，得到一个相似度值，通过两个物体的相似度值来判断模板和被检 测物体是否相同闭。 2 2 1 基于图像灰度信息的匹配方法 图像灰度信息一般分为灰度信息和灰度统计信息。在两幅图像灰度信息相 似的情况下，常用的匹配方法有：互相关的匹配方法，基于f f t 的频域相位匹 配方法，以及图像矩匹配方法硼。 ( 1 ) 互相关匹配互相关匹配方法是一种最基本的统计匹配方法。互相关匹 配要求模板图像和待匹配图像具有相似的尺度和灰度信息。模板窗口在待检测 图像上进行遍历，计算每个位置处模板图像和待检测图像对应部分的互相关 值，互相关信息最大的位置便是横板在待检测图像中对应的位置。常用的互相 关定义有如下两种形式： 艺m ( x , y ) l ( x + i ，j ，+ _ ，) q 力2 再尹xy 丽季丽丽 ( 2 - 1 ) 似扩厩毛力( z + t y + 沪琢+ y + 劫 伽卜再x 甄y 幂丽曝零丽而鬲丽 ( 2 ) 投影匹配算法投影匹配算法是把二维的图像灰度值投影交换成一维的 投影数据，再在一维数据的基础上进行匹配运算，通过减少数据的维数来达到 提高匹配速度的目的【6 0 引。 投影的示意图如图2 1 所示，其中f ( x ，y ) 为图像函数，j 为投影方向，r 为 其垂直方向，$ u f ( x ，y ) 沿着5 的投影定义为： p ( t ，口) = i f ( t c o s o s s i n o , t s i n o q - s c o s o ) d s( 2 - 3 ) 6 一 哈尔滨工业大学工学硕士学位论文 当口固定时，p ( t ，曰) 为t 的函数，是一个一维波形。不断在0 27 r 间变换 口，可以得到在不同方向上的投影，特别地在z ，y 轴上的投影为： 卜2 ，o 渺( 2 4 ) l p ，= j ，( 毛y ) d x y ： 魁扩 k t ol o 、f ； 、 圈2 - 3 投影坐标( 岛岛与原坐标( 王力间的对应关系 f i g 2 3r e l a t i o nb e t w np r o j e c t i v ec o o r d i n a t ea n d s o u r g ec o o r d i n a t e ( 3 ) 矩匹配在图像处理中矩是一种统计特性，可以使用不同阶次的矩计算 模板的位置、方向和尺度变换参数。由于高阶矩对噪声和变形非常敏感，因此 在实际应用中通常选用低阶矩来实现图像匹配。矩定义为： m w = ii x v y 9 f ( x ，y ) 出d y p ，q = 0 , 1 , 2 ，- ( 2 5 ) 式中( x ，y ) 图像位置坐标； ，力图像灰度 当图像发生平移变化时，m 。也将发生改变。；h u m 。具有平移不变性， 改进加。的定义如下： 材w = ii ( x 一) 9 ( y 一) 勺) 9 f ( x , y ) d x d y p , q = 0 , 1 ，2 ，- - ( 2 - 6 ) 其中x o = f 阿( x ，y ) d x d y f ，( x ，y ) d x d y = o 厅1 0 0 y o = i i 盯 ，y ) 出妙j i f ( z ，y ) d x d y = m o 。m 0 0 甜。称为图像的( p + q ) 阶中心矩，文献 2 9 1 验证了“。具有平移不变性。但 是“。依然对旋转敏感，h u 通过组合二阶和三阶矩，给出了七个对平移和旋转 不变的矩特征，定义如下： 口l = “0 2 + “2 0 a 2 = ( “2 0 一甜0 2 ) 2 + 缸1 1 2 a 3 - - - - ( u - 3 u 1 2 ) 2 + ( 3 “2 1 i 0 3 ) 2 ( 2 7 ) ( 2 _ 8 ) ( 2 9 ) 哈尔滨工业大学工学硕士学位论文 口4 = ( ”3 0 + “1 2 ) 2 + ( “2 】+ “0 3 ) 2( 2 - 1 0 ) a 5 = ( u 3 0 3 u 1 2 ) ( “加+ u 1 2 ) ( ”3 0 + 2 ) 2 3 0 2 1 + 4 0 3 ) 2 + n1 1 、 ( 3 u 2 l l b ) ( “2 l + “0 3 ) 【3 ( “3 0 + u 1 2 ) 2 一( “2 i + “) 2 】 口6 = ( “2 0 一2 ) 【( 甜3 0 + 村1 2 ) 2 一m 2 1 + “叮) 2 】+ ，1 佻 1 1 - 1 4 1 3 0 + “1 2 ) 国2 l + “0 3 ) 、 日7 = ( 3 u 2 l 一3 ) ( “3 0 + “1 2 ) 【( 3 0 + u 1 2 ) 2 3 0 1 2 l + “0 3 ) 】+ ， 1 ” ( “3 0 一3 畴2 ) 2 l + 3 ) 3 ( 蚝o + 毡2 ) 2 一国2 1 + ) 2 】 但是上述几种矩特征的定义都不具有尺度不变性。文献通过归一化m 。， 。和口t 0 7 ，实现了尺度不变性。g o s h t a s b y 利用圆形窗口内的归一化矩特 征，使得发生平移、旋转和尺度变化的模板匹配简化为一般的平移模板匹配。 另外为加速模板匹配过程，采用了两步模板匹配策略。首先，使用零阶矩算子 进行粗匹配，获得可能的匹配位置点；然后，对可能的匹配点根据归一化的 h u 矩特征实现精匹配。但是这种方法敏感于图像噪声，而且对图像的质量要 求很高。 2 2 2 基于图像特征的匹配方法 基于图像灰度信息的匹配方法，要得到精确的匹配位置很难，而且，图像 的灰度值通常会受到光照条件的影响，非线性的不均匀光照会造成最终结果的 较大偏差；同时，图像的比例变化，旋转，遮挡等都会显著的影响匹配结果。 而基于图像特征的匹配方法可以很大程度上避免以上缺点。由于图像的特征点 比像素点要少很多，可以大大提高匹配的速度；同时，特征点的匹配度量值对 位置的变化比较敏感，对灰度变化，图像形变以及遮挡等都有较好的适应能 力，所以可以很好的提高匹配的精确程度。因此基于图像特征的匹配在实际中 的应用越来越广泛。所使用的特征基元有点特征( 明显点，角点，边缘点 等) 、边缘线段等。 ( 1 ) 边缘点匹配方法根据边缘点匹配方法，首先计算图像f ( x ，y ) 的特征点 图像f ( x ，y ) ： t ( x ，y ) = m a x t t ，v ，三，r ) ( 2 - 1 4 ) 其中h = 【厂0 ，力一f ( x - 1 ，y ) 】2 + f ( x ，y ) 一f ( x + 1 ，y ) 】2 ； v = 旷( x ，力一f ( x ，y 一1 ) 1 2 + ( 厂( 五y ) 一f ( x ，y + 1 ) 】2 ： l = 【f ( x ，y ) 一f ( x 一1 ，y + 1 ) 1 2 + i f ( x ，y ) 一，( x + 1 ，y 一1 ) 1 2 ； r = 【f ( x ，y ) - f ( x + 1 , y + 1 ) 】2 + 【，( 工，y ) 一f ( 并一1 , y 一1 ) 】2 然后将f ( x ，y ) 划分成互不重叠的小区域矿，在每个小区域内取最大的点作为 特征点。 哈尔滨工业大学工学硕士学位论文 对于模板图像中的每个特征点，可将其在待检测图像中所有可能的匹配点 组成一个可能匹配点集。这样对于模板图像的每个特征点集可以得到一个标号 集，其中的标号旭e 者是模板特征点与可能匹配点的视差，或者代表无匹配点 的特殊标号。对于每个可能匹配点，计算下式以设定初始匹配概率p ( o ( ，) ： a q ) = l f m ( x ，y ) 一l ( x + l 。y + ) 】2 ( 2 _ 1 5 ) ( 。y ) e 甲 式中厶( 以y ) 模板图像； 五( 芏，力待检测图像； ，= ( f ，) 可能的视差； 4 ( f 1 两个区域间的灰度拟合度 据此，可以借助松弛迭代法，对可能匹配点领域中视差比较接近的点以 正的增量，对可能匹配点领域中视差比较大的点以负的增量对p ( o ( f ) 进行迭代 更新。随着迭代的进行，正确匹配点的第k 迭代后，匹配概率户耻( j ) 会逐渐增 大，而其它点的匹配概率，( 。( f ) 会逐渐减小。经过一定次数的迭代后【2 5 1 ，将 匹配概率p c 7 ( 0 最大的点确定为匹配点。 ( 2 ) h a u 班i o r f f 距离匹配方法h a u s d o r f f 距离定义是两个点集之间的最大最 小( m a x - r a i n ) 距离。给定两个点集a a b ，彳勺口之间的h a u s d o r f f 距离定义 为： o ，动= m a x 防( a 曰) ， ( 露，椰1( 2 - 1 6 ) 式中而( ，印= m 擎 i ! 晒j ia b i | h ( a ，曰) 是有向h a u s d o f f 距离，如果h ( a ，占) = d ，则每一个4 中的点离口 中至少有一个点的距离不大于d ，而且对于4 中某些( 至少一个) 点来说，这 个距离恰好是d ，这些点就是“最不匹配点”，所以h a m d o f f 距离表征了两个 点集的最不相似程度，当它作为相似度量时，必须使它最小化。 h a u s d o f f 距离是用来衡量二值图像之间的相似度，与大多数二值图像匹配 方法不同的是，这种方法不强调图像中的匹配点对，点与点的关系是模糊的， 比如a 中可以有个以上的点与占中的同一个点对应，同时h a u s d o f f 距离也具 有距离的一些性质，同一性，对称性和三角不等性。 h u t t e n l o c h e r 给出了实际应用中的数学模型。下面介绍这种模型，假设， 是图像，m 是模板图像，两者均是经过边缘提取后的二值图像阵列，h - ，】和m 【走，】，在只考虑平移t 仅y ) 时的h a u s d o f f 距离为： f ( x ，y ) = m a x 照i d t ( i x ，j y ) ， 一x ，一y ) ( 2 - ) 其中和分别是模板和图像的距离变, 换m 强，而m 有d t 向( k距离的离1散7mdti d t h a u s d o f f 如下： e ( x ，y ) = m a ) 【，( f ，j ) i d t ( f x ，j y )( 2 - 1 8 ) 哈尔滨工业大学工学硕士学位论文 f _ ( x , y ) = 1 1 臻蔓m ( k ，0 m d t ( k x ，一y ) ( 2 1 9 ) 在具体的匹配过程中，计算有向h a u s d o f f 距离往往不是取它的最大值而 是选取按大d , j t 颐序排列的第z 和第七个值，即 r 扛，讼= 餮跫i q ，j ) i d t ( i x , j n - 氏p q ，j ) i d t ( i x ，j 一订( 2 - 2 m u , j j + ， ( x ，y ) = 戛功m ( k ，o m d r ( k x ，l - y ) 刊f , q i m ( k ，0 m d t ( k x ，l - 力( 2 2 1 ) ，比：， ，甜十y 式中p ，q z m 的像素个数； z ，厶匹配控制参数，b o 五五1 上述定义用来衡量模板中一定比例的特征点和对应图像特征点的距离和匹 配程度。这种方法的优点是不必关心模板中的哪些点能够在图像中找到邻近的 点，更直观地说是横板对象的哪个局部能得到匹配。因此，这种匹配是模糊 的，而且可以通过比例因子工和厶控制匹配的精度；另一种情况是图像中包括 一个以上的目标对象，这时就需要找多个匹配位置。因此可以设定一个阈值， h a u s d o f f 距离函数将不超过这个阈值的位置都认为是匹配点，这样就可以实现 多个位置的匹配。 ( 3 ) 最小均方误差匹配最小均方误差匹配方法利用图像中的对应特征点， 通过解特征点的交换方程来计算图像问的变换参数f 3 0 】。对于图像问的仿射变换 ( j ，y ) _ ( 一，y 。) ，变换方程为： 阿1 r t r c o s 0 , ；- o lr 州 叫一l ；j l - - 枷c o s 口j + 【刽 。、 ：l x _ y 1 0 l s c o s 0 j s i n ot x 0 ，_ | r l y x 0 l j 其中仿射变换参数由向量卢= s c o s os s i n o 舡妒1 r 表征。所以，根据给定的 1 1 对对应特征点( n24 ) ，构造点坐标矩阵； y = ky 。a 矗儿】r x = 而m 儿一置 aa x ny n y n x “ 10 o1 a a 1o 01 ( 2 - 2 3 ) 由最小均方误差原理求解e 2 = ( y 一鄙) t 一邵) ，可以得到参数向量的 求解方程为； ；b = 扭1 x y lx1y(2-24) 哈尔滨工业大学工学硕士学位论文 2 3 计算机视觉的实践应用 2 3 1 缺陷的无损检测 缺陷的无损检测就是在通过一定的图像处理，识别产品图像上的缺陷标 志，从而对图像作出是否有缺陷的判断，或者属于什么种类的缺陷。但是很多 检测方法都是针对具体的图像处理效果较好，还没有哪一种可以应用于所有的 图像处理。但是识别的结构图是大致相同的，如下图所示，都是通过分离缺陷 目标【3 i j ，然后对缺陷目标进行处理得到结果。 图2 1 缺陷识别方法的结构框图 f i g 2 一if l o w c h a r to f t h ef l a wr e c o g n i t i o n 在一些缺陷特征较为简单，数日较少的情况下，通常没有目标特征分类的 这一步，而体现的更为明显的是识别缺陷特征的算法。 2 3 2 基于图像特征匹配的目标定位研究 在半导体封装生产中，对芯片的位置定位和转角定位在整个贴片的生产一 环节中属于关键部分，所以有过很多的研究，利用图像匹配可以实现定位的计 算。 图像的匹配方法由第二节可知，有两大类：一是基于灰度信息的匹配，根 啥尔滨工业大学工学硕士学位论文 据两幅图像的灰度信息的相似性，来判断是否匹配。可以定义为两幅图像在位 置空间和灰度空间上的配准。定义，：是两个二维数组，其中，。( x ，y ) 和 l ( x ，y ) 分别表示对应空间位置处的灰度值，此时可以把两幅图像的配准表示 成如下表达式： 1 2 ( x ，力= f ( i t ( g ( x ，力) ) ( 2 2 5 ) 二是基于图像特征信息的匹配。通过从图像中获取特征信息，进行匹配， 从而得到目标的位置信息。 其匹配的结构图如下： 图2 - 2 特征目标识别过程示意图 f i g 2 2s k e t c hm a po f t a r g e tr e c o g n i t i o n 本文中因为模板尺寸很大，用基于灰度的匹配方法则计算量剧增，不易于 满足工业生产中的实时性要求，所以采用了基于特征的方法进行匹配，并系统 地研究了图像的预处理，特征的提取和匹配过程。 2 4 本章小结 本章通过计算机视觉在半导体封装中运用的两个方面：缺陷检测和目标定 位，讨论了在这两个方面的理论上所使用的缺陷检测方法和匹配方法。缺陷检 测一般步骤是先将缺陷的特征从背景中分离出来，然后对这个特征进行判断， 归类，最后给出结果。通常在半导体封装中的缺陷都是较为简单，明显的特 征，所以在处理时重点是在有效分离缺陷的算法上。目标定位主要是用模式匹 配的方式来实现，而匹配有两类：基于灰度的图像匹配和基于特征的图像匹 配。前者的特点是通用性强，所利用的信息量也很多，而基于特征的方法则是 计算量较小，检测结果鲁棒性强，较不容易受噪声的影响，但在特征的提取上 没有通用性。 啥尔滨工业大学工学硕士学位论丈 第3 章芯片缺陷的视觉无损检测 3 1 引言 最早期的芯片缺陷检测都是通过人眼依靠放大镜来判断，效率低下，而且 容易因为检测者的疲劳或是注意力分散而出错。这种肉眼检测方法缺乏一致 性，科学性，主要依赖于检测员的主观判断，降低了检测的可信度，难以保证 检测的质量，而且也跟不上自动化生产的步伐。而很多无损检测方法针对不同 的缺陷产品分别有超声波检测法，磁粉检测法，漏磁检测法和涡流检测法。这 些检测方法各有优缺点。但总的来说，它们都是通过检测到的物理信号来间接 的判断缺陷情况，而且这些方法的测量速度、易操作性，测试过程的直观性等 方面也存在很多问题。 丽随着信息产业的发展，计算机技术的突飞猛进，计算机视觉研究取得令 人瞩目的成果。因为计算机视觉的硬件系统有了长足的进步，现已有可能快速 实现运算量极大的复杂运算，在二维图象识别方面，某些系统已经成为软件产 品。随着控制理论、模式识别、人工智能和生物技术的发展，计算机视觉在机 器人、工业检测等各方面得到广泛的应用。因为视觉的最大优点就是和被明察 对象没有接触，因此不会对观察者和被观察者产生任何损伤，十分的安全可 靠，而且计算机视觉还可观察到人眼所观察不到的红外线等图像，扩大了人跟 的视觉范围，并且计算机视觉可长期的观测并工作在恶劣的环境中。正因为这 么多的优势并符合工业发展的需求，使的计算机视觉在检测中的应用与日俱 增。 将计算机视觉应用于缺陷的无损检测，因为生产的实时性而需要有简单快 速有效的检测算法，本文也在此对自己的算法进行阐述。 3 2 芯片缺陷视觉检测方案 3 2 1 实验背景 本文在研究缺陷芯片的无损检测，是通过一个具体的实验来进行，在本实 验中，检测的缺陷芯片主要是i n k i ) i e ，这是一种通过电路测试等手段事先做出 了缺陷判断田j 后，在芯片上做一个缺陷标志，称为“i n k ”，在此要做的检测就 是识别芯片上是否有这个缺陷标志，从而实现芯片的缺陷检测。这是半导体芯 片封装中的一步，用于在判断这个芯片是否合格( g o o dd i e ) ，来决定是否将这 个芯片进行封装生产。因为该芯片的面积特别小，只有零点几毫米的长宽，而 标志则在中央位置，面积更小，传统的人眼检测方法效率低下，要提高生产的 效率，所以必然要采用计算机视觉技术来做到自动识别，提高生产效率。 由于芯片的缺陷标志是人为后加的，不是生产中产生的，所以可以使之具 哈尔滨工业大学工学硕士学位论文 备如下两个条件：一是标志点的灰度相对背景而言是最低的，这和使用的标志 的颜料以及生产识别中照明光的颜色有关；二是图像的光照应当可以保证图像 中背景的灰度级都高于某个常数，即不会出现明显的光照不足现象。而这两点 是易于做到的。 检测的目的不仅是能够判断出是否有标志，而且也应该可以防止某些噪音 点的影响。 3 2 2 缺陷检测原理 由于实际生产中大部分的图像都很相似，而且在缺陷的比例并不是很大， 另外一方面是这种缺陷的标志很容易和背景分离，所以可以使用一个预先定义 的阈值通过对图像进行二值化来分割图像。在上述流程图中，我选择的阑值设 为，通过判断图像中像素的灰度值是否比大，小于的认为是缺陷的像 素点，记录这个数目。遍历图像的过程中同时可阻得到该图的直方图信息。为 了使程序在执行中尽可能的精简，而且在这里没有必要显示处理后的图像，所 以这