（机械设计及理论专业论文）led自动固晶机视觉定位系统的图像处理研究.pdf

，】11 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：k - k - k 签字日期：弘咖年月7 留日 导师签名： 签字日期：7 湃翻妒日 一ik l 1 -l ，1， 中图分类号：t p 3 9 1 4 u d c ：2 9 学校代码：1 0 0 0 4 密级：公开 北京交通大学 硕士学位论文 l e d 自动固晶机视觉定位系统的图像处理研究 i m a g ep r o c e s s i n gr e s e a r c h o nt h ev i s u a ll o c a t i o ns y s t e mo f l e da u t o m a t i cd i eb o n d e r 作者姓名：智少丹 导师姓名：李建勇 学位类别：工学 学号：0 8 1 2 1 8 3 3 职称：教授 学位级别：硕士 学科专业：机械设计及理论研究方向：先进制造过程与系统 北京交通大学 2 0 1 0 年6 月 l j 致谢 本论文的工作是在导师李建勇教授及王恒博士的悉心指导下完成的，从开始 的选题到理论的研究，从模糊的认识到深入的学习，始终贯彻着两位老师的悉心 指导。两位老师在学习、科研和生活上给予我的关心和关怀，在此向两位老师表 示深深的谢意! 导师严谨的治学态度、渊博的知识、敏锐的思维、丰富的研究经验以及诲人 不倦的精神使我在硕士期间的学习中受益匪浅。李老师的教导我会铭记在心，在 以后的学习和生活中更加努力拼搏，提高学术水平和个人能力。在此，谨向我的 导师李建勇教授致意最崇高的敬意和衷心的感谢! 王恒老师在我的课题研究过程中给予我极大的关心和帮助，并提出了指导性 的建议和见解，同时又让我注意研究的自我探索能力的培养。王老师务实的学术 作风和勤恳的工作态度给了我莫大的感动和感触，使我终身受益。 衷心感谢鄂明成老师、王纪武老师、程卫东老师、温伟刚老师在我学习和生 活中的帮助，感谢王天杨、聂蒙、孔涛、齐伟、雷雨等同学在我学习中的帮助， 使我们能够在一个轻松愉快、认真务实的研究氛围中互相学习，共同进步，在此 表达对他们的感谢之情。 感谢我的家人，是他们的无私的爱让我懂得生命，是他们的善良让我懂得做 人，是他们的坚持让我体味和珍惜现在的学习环境，是他们的教育、理解、支持 和鼓励给了我无穷的精神支持，让我努力学习并最终完成学业 最后，对各位评审论文的各位专家、学者表示衷心感谢! j1，叫j1 j1 - 中文摘要 中文摘要 摘要：随着绿色环保照明能源的提倡和推广，节能可靠的l e d 照明已逐步取代常 规照明，成为未来照明的主导方向，因此提高其加工设备性能具有重要意义。l e d 的发光核心是l e d 晶片，l e d 自动固晶机则是完成l e d 晶片的检测、拾取和固 晶等工作的设备。固晶机的视觉系统用来进行晶片的准确定位、检测和分类，是 l e d 固晶机功能实现中的关键环节，影响着整个系统的识别效果，并决定了系统 处理速率和准确性。 本文针对自动固晶机视觉系统中相关的图像处理技术展开研究，目的是获得 合格晶片的准确中心坐标以及不合格晶片的缺陷类型。首先将采集到的图像进行 预处理，包括滤波、形态学处理以及金字塔缩放等，以增强边缘效果，去除了大 部分背景中的毡片毛刺引起的干扰。提取图像的边缘信息后在低分辨率下通过模 板匹配识别晶片的大致位置，再返回高分辨率图进行精确定位，提高匹配速率。 经过对合格晶片与缺陷晶片的灰度、边缘等特征分析，使用不同的判断准则实现 了合格晶片、墨点晶片、缺边缺角晶片和紧邻晶片的识别。 为了满足晶片识别定位的实时性和小尺寸晶片的加工精度，采用多分辨率识 别，即粗精结合的识别方法。针对c a n n y 阈值分割需要人工调整阈值的弊端，提 出了自适应阈值分割的边缘检测方法，通过大津法自适应获取阈值再使用c a n n y 边缘检测，既能避免人工调整，又能减少复杂工况引起的各种噪声干扰，提高了 适应范围和稳定性。在匹配环节提出了一种基于形态学运算的边缘模板匹配算法， 在二值边缘图下进行待匹配区域和模板的与运算，寻找最优匹配点。获取的加工 图像中有多个晶片，为实现多目标识别搜索，提出了一种逐步全局最优搜索的方 法，即获取全局最优位置后将其区域设为背景，继续下一个全局最优值的寻找， 最终得到该区域内的所有晶片坐标。针对同一个分类目标提出不同的分类特征准 则，经过实验论证得到最佳分类准则。 基于o p e n c v 开发了l e d 晶片图像检测系统，既能完成l e d 晶片的识别过 程，实现晶片的定位、分类与标识，又能根据实际需要对某些图像处理函数进行 单独调用。 关键词：自动固晶机；图像处理；多目标识别；视觉定位；模板匹配 分类号：t p 3 9 1 4 lll _11 ，1j， - a b s t r a c t a b s t r a c t a b s t r a c t ：a l o n gw i t ht h ec o n v e r s a t i o na n dd i f f u s i o no fe n v i r o n m e n tf r i e n d l y l i g h t i n ge n e r g y , r e l i a b l ea n de n e r g y - s a v i n gl e di l l u m i n a t i o nr e p l a c et h ec o n v e n t i o n a l l i g h t i n gg r a d u a l l ya n db e c o m em a j o rd e v e l o p m e n t d i r e c t i o no ff u t u r el i g h t i n g s ot h e m e a n i n go fr e s e a r c h i n gh o wt oi m p r o v et h ep e r f o r m a n c eo fl e dp r o c e s s i n ge q u i p m e n t b e c o m e se x t r e m e l ys i g n i f i c a n t l e da u t o m a t i cd i eb o n d e rp r o d u c e st h el e dl i g h t i n g c o r e s i t si m a g ep r o c e s s i n gs y s t e mg e t st h ew a f e r s l o c a t i o n sa n dt h e i rc l a s s i f i c a t i o n ，t h e c o n t r o ls y s t e ml e a d st h em a c h i n ea n nt op i c kt h e mu p a st h es y s t e m sk e yl i n ki nt h e f u n c t i o n a li m p l e m e n t so fl e da u t o m a t i cd i eb o n d e r , t h ei m a g ep r o c e s s i n ga f f e c t st h e e n t i r e r e c o g n i t i o nr e s u l t s o fs y s t e m , a n dd e t e r m i n e st h es p e e da n da c c u r a c yo f p r o c e s s i n g t h em a i nr e s e a r c ho ft h i sp a p e ri sa b o u tt h ei m a g ep r o c e s s i n gt e c h n o l o g ys y s t e m o fl e da u t o m a t i cd i eb o n d e r t h ek e yt a s ki sd e t e r m i n i n gt h ec l a s s i f i c a t i o nt a r g e t b e t w e e nt h eq u a l i f i e dw a f e r sa n du n q u a l i f i e do n e sb ya n a l y z i n gf e a t u r e so fi m a g e t h e f i r s ts t e pi sp r e - p r o c e s s i n gt h ei m a g eo b t a i n e ds oa st or e m o v ei n t e r f e r e n c e t h i sp r o c e s s i n c l u d e sf i l t e r i n g , m o r p h o l o g i c a lp r o c e s s i n ga n dp y r m n i dl e s s e na n dm a g n i f y t h e n e x t r a c tt h ee d g ei n f o r m a t i o no fi m a g ea n dc o n f i r mt h el o c a t i o no fl e dw a f e rr o u g h l yi n t h es m a l li m a g ea n dt h e nr e t u r nt h eb i gi m a g ea n dg e tt h ea c c u r a t el o c a t i o n t h el a s t j o bi sd i s t i n g u i s h i n gt h eq u a l i f i e dw a f e r s ，t h ei n kw a f e r s ，w a f e r sl a c k i n go fe d g e so r c o m e r sa n dt h et o o - c l o s ew a f e r sb yd i f f e r e n tj u d g m e n tc r i t e r i o n w eu s em u l t i r e s o l u t i o nr e c o g n i t i o ni no r d e rt om e e tt h er e q u i r e m e n to fw a f e r i d e n t i f i c a t i o n t i m e l e s s n e s sa n ds m a l ls i z ew a f e r sm a t c h i n gp r e c i s i o n , t h a ti s ， r o u g h f i n ei d e n t i f i c a t i o nm e t h o d i no r d e rt or e f r a i nf r o ma r t i f i c i a lw o r ko ns e t t i n gt h e t h r e s h o l dv a l u e , a na u t o - a d a p t i v et h r e s h o l dc a n n ya l g o r i t h mb a s e do no t s uw a s p r o p o s e d t h i sa l g o r i t h mc a nn o to n l ya v o i da r t i f i c i a lt h r e s h o l dv a l u es e t t i n g , b u ta l s o c a nd e d u c ea l lk i n d so fn o i s ei n t e r f e r e n c ec a u s e db yc o m p l i c a t e ds i t u a t i o na n de n h a n c e t h ea c c o m m o d a t i o na n dr o b u s t n e s s a ne d g em o d e lm a t c h i n gw a sp r o p o s e db a s e do n m o r p h o l o g i c a lo p e r a t i o n i nt h ee d g ei m a g e ，aw a f e rw a sf o u n dw h e nt h em a xm a t c h r e s u l tw a sg o t f o rm a n yw a f e r si nt h ei m a g e ，am u l t i - o b j e c t ss e a r c h i n gm e t h o dw a sp u t f o r w a r d a f t e ram a x o v e r a l lv a l u ew a sf o u n d ，t h er e l e v a n tr e g i o nw a ss e ta st h e b a c k g r o u n da n dt h e nw e n to nf i n d i n gt h en e x tm a xv a l u el o c a t i o n a c c o r d i n gt ot h e c l a s s i f i c a t i o no fd i f f e r e n tt a r g e tc l a s s i f i c a t i o nf e a t u r e s ，t h eb e s tc l a s s i f i c a t i o ns t a n d a r d s m e t h o di ss e l e c t e db ye x p e r i m e n t a lc o m p a r i s o n as o f t w a r es y s t e mw a sd e v e l o p e db a s e do no p e n c v t h ea l g o r i t h m sc a nn o to n l yb e a d a p tt ot h el e dw a f e rr e c o g n i t i o n ，r e a l i z et h ep o s i t i o n ，c l a s s i f i c a t i o na n di d e n t i f i c a t i o n 0l一 北京交通人学硕士学位论文 o fw a f e r sb u ta l s or e a l i z et h ee x p e r i m e n tw h i c hg a l lm e e td i f f e r e n ti m a g e o p e r a t i o n k e y w o r d s ：d i eb o n d e r ；i m a g ep r o c e s s i n g ；m u l t i - o b j e c t sr e c o g n i t i o n ；v i s u a l l o c a t i o n ；m o d e lm a t c h i n g ； c l a s s n 0 ：t p 3 9 1 4 ， j 1l 一 l 目录 目录 中文摘要。v a b s t r a c t 一v i i 1 绪论1 1 1课题研究背景1 1 2l e d 自动固晶机1 1 2 1 l e d 自动固晶机的组成一l 1 2 2l e d 自动固晶机的主要功能3 1 3l e d 全自动固晶机关键技术及研究现状3 1 3 1l e d 自动固晶机研究现状概述3 1 3 2 l e d 自动固晶机图像处理技术研究现状一4 1 4本文研究的主要内容。5 2 固晶机图像处理的识别目标和预处理7 2 1l e d 固晶机工况条件及图像特点7 2 2l e d 晶片识别分类及要求7 2 2 1l e d 晶片缺陷分类及成因。8 2 2 2l e d 晶片缺陷检测任务8 2 3固晶机图像处理的预处理一9 2 3 1l e d 晶片图像滤波1 0 2 3 2 形态学理论及l e d 晶片图像的形态学运算1 1 2 3 3 多分辨率处理l e d 晶片图像1 2 3l e d 晶片边缘检测研究15 3 1图像边缘检测概论l5 3 2经典边缘检测1 6 3 2 1r o b e r t s 算法1 6 3 2 2p r e w i t t 算法1 7 3 2 3s 0 b e l 算法17 3 3 c a n n y 边缘检测18 3 4 自适应c a n n y 算法2 0 3 4 1o t s u 阈值分割2 0 3 4 2 基于o t s u 算法的自适应c a n n y 算法2 1 北京交通大学硕士学位论文 3 5 实验及分析一2 3 3 5 1 实验步骤2 3 3 5 2 选择对比方面2 3 3 5 3 实验结果分析2 5 4 晶片的识别与分类2 9 4 1模式识别理论2 9 4 1 1 模式识别与分类概论。2 9 4 1 2 聚类及判断准则3 0 4 1 3 特征提取准则3l 4 2模板匹配原理。3 3 4 3晶片的识别与定位。3 4 4 3 1 合格晶片的判定3 4 4 3 2 基于灰度模板的匹配。3 5 4 3 3 基于形状比较的边缘匹配。3 8 4 3 4 基于形态运算边缘匹配4 4 4 3 5 晶片的加速识别与准确定位4 6 4 3 6 定位结果对比4 7 4 4墨点晶片识别4 9 4 5缺边缺角晶片识别5 2 4 6紧邻状态晶片识别5 5 5 晶片检测识别软件的设计与开发5 7 5 1开发工具介绍5 7 5 2晶片检测软件总体设计与实现5 7 5 2 1 检测软件的设计目标5 7 5 2 2 软件的功能与流程设计5 7 5 2 3 软件界面搭建及功能实现。5 9 6 总结与展望6 3 6 1全文总结。6 3 6 2研究展望6 3 参考文献。6 5 附录a 6 9 附录b 7 1 作者简历7 5 独创性声明7 7 目录 学位论文数据集7 9 ， 绪论 1 1课题研究背景 1 绪论 自上世纪6 0 年代通用电气开发第一种实用l e d ( 发光二极管) 以来，作为体 积小、能耗低、高寿命、绿色环保和高可控制性的新型照明光源，l e d 得到很快 的普及应用。在同样亮度下，l e d 灯的耗电量仅为普通白炽灯的1 1 0 ，而寿命却 可以延长1 0 0 倍。此外，由于光谱中没有紫外线和红外线，l e d 灯既无热量又无 辐射，而且废弃物可回收，没有污染，属于典型的绿色照明光源【l 】。 l e d 需求的增长带来l e d 显示屏、l e d 半导体照明产业蓬勃发展。居于领先 水平的生产企业主要有日本的n i c h i a 、t o y o d t a 、索尼、三洋，美国的c r e e l u m i l e d s ，欧洲的0 s r a m 、菲利普等。中国台湾的主要有国联、晶元、光磊、广镓、 灿元、连威等，封装方面主要有亿光电子、鼎元光电、佰鸿工业等【2 】。 随着l e d 产品市场的不断扩大，对l e d 生产工艺特别是l e d 晶片的制作提 出越来越高的要求。人们在关注l e d 生产工艺技术的同时，也越来越关注l e d 关 键设备的研发和改进。l e d 的生产设备包括固晶设备、光刻设备、探针测试设备、 划片设备和引线键合设备。其中，固晶设备是l e d 生产过程中将晶片粘接到引线 框架上的一种自动设备，并自动剔除有外观缺陷，是l e d 生产线上后封装工序必 备的关键设备之一【3 】。“中国制造 需要真正意义的国际化，质量和生产率永远是 最核心的因素，在工业现场机器视觉技术越来越多的用以监控生产过程和检测产 品质量，用机器视觉技术来完成产品的缺陷检测以及分类、分级有着巨大的市场 需求【4 1 。 因此，发展具有我国自主知识产权的固晶设备核心技术，提高l e d 全自动化 固晶机的自动化性能，是l e d 产业制造装备的重要研究内容之一【4 5 j ，对l e d 产 业迅速发展具有重要意义，也是增加l e d 产业国际竞争力的保障。 1 2l e d 自动固晶机 1 2 1l e d 自动固晶机的组成 固晶机主要由固晶机构与视觉定位系统两部分组成。 ( 1 ) 固晶机的固晶机构 北京交通大学硕士学位论文 固晶机的固晶机构是指直接参与实现晶片拾取、传送和固定等功能的机构， 具体是指对准工作台、吸片工作台和固晶工作台及其机构【6 】。如图1 1 所示。 对准工作台用于晶片坐标与图像显示屏坐标的对准。粘片工作台解决的首要 问题是框架的定位，经过初定位和精确定位两步精确定位框架坐标。理想的固晶 位置是固晶工作台的平移方向与吸片工作台的真空吸头轴心运动方向的交点投影 上。吸片工作台系统是晶片传送机构，晶片和引线框架两部分各自定位后，有可 控制的真空吸头往返于对准工作台和框架固晶位置之间。 对 晶工作台 片工作台 图l - l 凼晶机的崮晶机构 ( 2 ) 固晶机视觉定位系统 视觉定位系统识别被拾取晶片是否为合格晶片，计算合格晶片和顶针位置的 偏差，运动控制系统获取偏差值后，和气动吸晶吸头相配合，将晶片拾取并送到 指定位置进行粘固晶片的工作，完成一个工作周期【7 1 。 固晶机视觉定位系统主要包括光源、光学镜头、c c d 相机、图像采集卡、工 作台、工业p c 等【引，相互之间协调工作构成一个整体，如图1 - 2 所示。光源的作 用是以合适的方式将光线投射到被测物体上，突出被测特征对比度。镜头的作用 是光学成像。c c d 相机主要功能是将光信号转化为电信号。图像采集卡主要功能 是进行图像预处理，并且需要与c c d 相机相匹配，支持相机的输出信号和颜色模 式。多轴运动控制卡通过p c i 总线和工业p c 传递数据，控制电机运行，实现工作 台、机械臂的高精度高速度运转。 2 绪论 图1 2 固晶机视觉系统控制结构 1 2 2l e d 自动固晶机的主要功能 以l e d 自动固晶机的主要功能如下： ( 1 ) 上料功能。固晶机的上料机构将切割好的晶圆供送到固晶机的吸片工作台。 ( 2 ) 检测功能。固晶机的视觉系统获得吸片工作台上的晶片图像后，经过晶片图 像的识别、定位和分类，获得晶片的中心坐标和分类信息。 ( 3 ) 拾取功能。固晶机的拾取机构在得到晶片的坐标信息后到达晶片处用真空吸 头吸取晶片，并且送到固晶位置。 ( 4 ) 固晶功能。固晶机将晶片传送到引线框架固晶位置后将其粘贴固定。 ( 5 ) 下料功能。拾取完晶圆上的合格晶片后，固晶机的下料机构将毡片上残留的 不合格晶片撤去，完成一个晶圆的检测。 1 3l e d 全自动固晶机关键技术及研究现状 1 3 1l e d 自动固晶机研究现状概述 我国l e d 封装设备制造与国外有较大差距，大量的自动固晶机及相关设备仍 然依赖进口【3 4 ，引。目前国内大多数厂家使用a s m 公司的a d 8 0 9 系列固晶机，其中 既有陈旧的a d 8 0 9 ，也有新购置的a d 8 0 9 a 0 3 ，以及数量很少的用于表面贴装l e d 的高速固晶机a d 8 9 3 0 。a d 8 0 9 a 0 3 是国内生产线上的较为先进的主力机型。我 国半导体封装设备的制造技术与国外先进水平相比在加工线宽上相差5 个等级； 在晶圆的大小上，国外1 2 英寸设备已经成熟，而我国5 英寸产品仍在试制阶段情j 。 北京交通大学硕士学位论文 掌握l e d 封装的关键技术、工艺过程设计及其理论，开发具有自主知识产权的l e d 封装设备具有重要意义【3 6 】。 国内陆续有一些研究机构和设备公司着手固晶机的研发。中国电子科技集团 公司第四十五研究所跟踪国外固晶机发展水平和先进技术，以a s m 公司的 a d 8 0 9 a 0 3 为原型机进行研发，但仍处于固晶机电机选型、机构及其运动控制水 平上的改进【9 - 1 5 】。深圳深爱半导体有限公司实现了设备备件的国产化，只是降低替 换进1 2 1 固晶机的老化设备的资金投入【1 6 】。彭卫东等人主要做了关于并联焊头的动、 静刚度分析及结构参数优化的研究【t 7 , 1 8 , t g 。邹松青等人研究了基于p c i 总线的l e d 固晶机系统，分析了运动控制系统的速率影响因素，研究主要集中在电机等控制 领域【7 , 2 0 1 。姚尚京等人研究固晶机的机构和设计指标，研究重点是传动机构的精度 控制【5 1 。刘轩等人研究固晶机拾取系统的误差校正，研究重点则在电机控制方式【6 】。 以上的研究大多集中在固晶机的电机、机构等方面，我国在l e d 自动固晶机 的关键技术研发上几乎空白【3 ，l 。视觉检测与定位的图像处理技术直接决定了固晶 机的性能和自动化程度，是自动固晶机技术研究的关键领域。因此，视觉检测与 定位的图像处理是研发自主产权的l e d 自动固晶机的关键技术。 1 3 2 l e d 自动固晶机图像处理技术研究现状 l e d 自动固晶机的视觉定位系统主要运用了数字图像处理技术中的模式识 别、图像匹配技术，其图像处理的速度、精度决定了整个l e d 自动固晶机对晶片 识别的速度和准确度，直接影响整机的性能【1 0 1 。 数字图像处理的历史与数字计算机的发展密切相关。事实上，数字图像要求 非常大的存储和计算能力，因此数字图像处理领域的发展必须依靠数字计算机及 数据存储、显示和传输等相关技术的发展【2 l 】。 图像处理的一类主要应用领域是用于人类分析，第二类主要应用领域是解决 机器感知问题，以计算机处理的形式从图像中提取信息，这一信息类似于人类用 于解释一幅图像内容的视觉特性。用于机器感知的信息有统计矩、傅立叶变换系 数和多维距离测度。在机器感知中，通常使用图像处理技术的典型问题是用于生 产线及检测的工业机器视觉、自动字符识别、指纹识别等1 2 1 1 。 自动固晶机的图像系统是典型的机器感知的图像处理过程，目前国内l e d 固 晶机设备大多采用的是国外成熟的图像处理、视觉分析软件，如美国c o g n e x 公司 的v i s i o n p r o ，比利时e u r e s y s 公司的e v i s i o n ，加拿大m a t r o x 公司的m i l ，德国 h a l c o n 公司的m v t e ch a l c o n 等【2 2 1 。这些软件价格昂贵，且核心技术对外封锁。因 此，研究有自主知识产权的l e d 自动固晶机的视觉检测与定位系统的图像处理技 4 绪论 术具有重大意义。 目前的图像处理研究领域中，在匹配特征的选择上有基于局部投影特征的匹 配、基于h a u s d o r f f i e 离特征的匹配、基于角点特征的匹配等2 3 盈，2 5 1 。由于图像中 l e d 晶片位置和偏转角度的不确定，用基于局部投影特征的匹配只能得到晶片的 大致投影，不能为晶片的准确定位；用基于h a u s d o r f f 距离特征的匹配方法时间复 杂度太高，耗时太大，不能适应固晶机图像处理系统的实时程度；晶片的图像中 含有很多干扰信息，边缘上存在许多毡片毛刺，用获取角点特征的匹配方法鲁棒 性和准确性都不高。因此，这些不能作为晶片图像检测中待检测的特征，必须结 合晶片的图像特点选择特征，满足固晶机视觉系统的准确性、实时性和鲁棒性的 要求。 模板匹配算法是一种经典的目标识别算法，采用这种方法检测l e d 晶片图像， 通过与所设定模板的匹配逐个识别图像中的晶片。 将晶圆切割成为独立晶片的过程中有可能造成晶片的碎裂( 晶片有裂纹或缺 边) 、局部残缺( 缺角) 。在检测极性的过程中导电性差的晶片会被留下墨点。视 觉检测定位系统的任务是对通过定位、识别、检测算法的应用，获取合格晶片的 准确定位，并对不合格晶片不同缺陷加以区分标识。 目前的固晶机图像处理系统中对分类采用多模板的匹配识别技术，通过合格 模板、墨晶模版、缺角模板等的建立，检测到晶片后进行模板匹配，将其分类到 与之最相近的类别【1 2 , 1 4 , 2 0 1 。 1 4本文研究的主要内容 本文针对l e d 固晶机视觉定位系统的图像处理技术，主要研究如下内容： ( 1 ) 提高图像品质。根据l e d 晶片的图像特点处理得到信噪比较高的图像； ( 2 ) 检测边缘。研究自适应的边缘检测算法，使边缘提取对l e d 固晶机光照变 化表现良好的鲁棒性； ( 3 ) 晶片识别。研究匹配识别算法识别出图像中的晶片并获得位置信息； ( 4 ) 晶片分类。研究分类识别算法，设定墨点晶片与非墨点晶片、偏角晶片与非 偏角晶片、缺边角晶片与非缺边角晶片的判断标准，最后完成合格晶片的标 识，以及不合格晶片的不同缺陷类型的标识。 固晶机图像处理系统的主要功能是晶片的识别与分类，所以本文的研究重点 在于找到一种可以稳定检测晶片是否存在的识别算法，以及找到晶片后对晶片进 行准确分类的算法。晶片识别算法是基于边缘特征进行的，边缘检测成为识别的 重要前提和识别精度的关键因素。此外，固晶机实时加工要求这些算法实现的快 5 北京交通大学硕士学位论文 速性，固晶机加工的晶片尺寸很小，对于加工精度要求很高。然而速度与精度是 一对矛盾，所以研究实现加速晶片识别和提高定位精度的算法也是本文重要内容。 6 固晶机图像处理的识别目标和预处理 2 固晶机图像处理的识别目标和预处理 2 1l e d 固晶机工况条件及图像特点 在固晶机图像系统中，要求光源能长期工作，加工对象为晶片，是不透明且 有较好反光特性的物体。在本系统中选用蓝光l e d 同轴灯照明方式，具有突出晶 片特征、结构简单、亮度均匀、便于安装盒控制等优点。工作时，要求视场中能 看到3 行x 5 n 的晶片，以利于后续模板匹配等处理，按照l 3 晶片边缘尺寸计算， 视场为( 1 r r a n x l r m 4 r i g a x 4 m m ) ，镜头的像方视场要求大于或等于相机芯片规格，按 相机芯片1 2 英寸( 4 8 n l n x 6 4 m m ) 计算，当系统最大放大分辨率为6 时，需要采用 变焦镜头。 晶圆是指半导体集成电路制作所用的硅晶片，由于其形状为圆形，故称为晶 圆。在晶圆上划切出数量极多的l e d 晶片，必须使这些晶片彼此间距扩大便于后 封装程序的进行，这个过程便是扩晶。图2 1 是相机采集到一帧的晶片图像，扩晶 时有可能因为扩晶不均匀而造成两个或数个晶片紧邻的状态，并不总是能像图2 1 所示的结构进行分布，所以晶片的位置不是固定的，如图2 2 所示，需要将每个晶 片的精确位最加以柃测。 图2 - 1l e d 晶片图像图 2 - 2l e d 紧邻吉吉片图像 晶圆上的单个晶片面积非常小( 约0 0 7 8 平方毫米) ，采集图像时将其放大显 示，确定其位置将更为方便。晶片图像分为前景与背景两部分，前景是晶片，背 景是放置晶片的毡片。晶片的灰度分布主要分为两部分，两极部分灰度值最高， 其它区域灰度值较低。背景部分也可以按照灰度区分，毡片毛刺因为反射了较多 光线而比其它背景区域亮很多，灰度值较高且和前景区域在某些灰度值上重合。 2 2l e d 晶片识别分类及要求 当待检测晶片位置检测到晶片，对晶片进行缺陷检测。如果检测结果为合格， 则计算晶片中心到定位原点的距离，从而确定晶片的中心坐标。运动控制系统则 7 北京交通大学硕士学位论文 将晶片的中心坐标转换为传动部分需要移动的距离，由电机控制机械手的运动， 使其准确地到达待检测晶片中心上方完成晶片的拾取操作，随后晶片被转移到引 线框架上贴装。每个晶片在拾取前晶片台都有一个步距自校正过程，从而避免了 位置误差积累，提高了精度。检测结果为不合格的晶片，程序跳过该晶片不予拾 取。如果在待检测位置没有检测到晶片，则需要进入无晶片处理过过程，如判断 是否需要转行，是否拾取结束掣硎。 2 2 1l e d 晶片缺陷分类及成因 l e d 晶片制造的固有特性是制造过程缺陷的不可恢复性。有缺陷的晶片将不 可能得到恢复，造成成品率的降低【2 6 捌。晶片缺陷检测就是通过图像处理算法检 测出有缺陷的晶片，并将检测不合格的晶片加以标识并淘汰，以便分析故障成因。 此过程是视觉检测中最重要也是最核心的部分。有缺陷的晶片主要有以下几种： ( 1 ) 墨点晶片：墨点晶片是指在晶片中心位置被打上黑色记号的晶片，这是 最常出现的一类缺陷晶片。在l e d 生产前工序中晶片要经过晶圆针测流程测试电 气特性，不合格的晶片将会被标记，标记上的记号就是墨点。墨点通常面积较大， 占据了晶片中心的7 0 左右； ( 2 ) 缺角或缺边晶片：缺角或崩边晶片是指边角发生缺损的晶片。其发生原 因主要是由于划片过程中刀片磨损切割不利造成的。如果晶片边角因为缺损呈现 锯齿形但缺损并未深入到晶片图形内部，则这种晶片可以被接受，不属于缺陷晶 片； ( 3 ) 角度偏移晶片：角度偏移晶片是指晶片因位置发生偏移而使晶片边缘与 水平及垂直具有一定夹角。 ( 4 ) 紧邻晶片：紧邻晶片是指位置靠的过近的晶片，主要是因为扩晶时扩的 不均匀造成的，有时会影响晶片拾取，因此也标识出来。 2 2 2l e d 晶片缺陷检测任务 根据缺陷晶片分类，晶片缺陷检测要完成下列检测任务：墨点检测，缺角缺 边检测以及角度检测。 不同的检测任务需要选用不同算法，为了提高检测速度，检测时将晶片划分 为十五个检测区域，不同检测任务对应不同检测区域，在检测某种类型缺陷时， 只需在响应检测区域内检测即可。划分检测区域从很大程度上缩短了检测某一类 缺陷所需时间，从而缩短了晶片整体检测时间。考虑到灵活性，程序实现时，晶 s - 一必需的图像信息获取阶段- - - 叫h 一晶片的分类识别阶段一 图3 - 3l e d 晶片识别方法及任务简述 图像处理的主要流程是，采集到一帧图像后，先用滤波、形态学处理等方法 得到质量较高的图片，具体内容见本文第二章；随后提出一种基于大津法的自适 应c a n n y 边缘检测，提出出晶片的边缘信息，此方法将在第三章详细介绍；接着 进行匹配识别，得到图像中晶片的位置。在此之前的研究是为了晶片分类阶段做 准备，得到晶片的位置后按照不同的分类准则，依此判断图片中的所有晶片属于 合格或者不合格，若不合格属于那种缺陷晶片。 不同类型晶片的判断准则不同。合格晶片是指与正常晶片模板相似度最高的 一类晶片，除了合格晶片的判别，使用晶片中心灰度判别是否为墨点晶片；使用 缺失面积准则判别是否是缺边缺角晶片；使用相邻晶片的中心距离准则判别是否 是紧邻晶片；使用旋转模板匹配判别是否为偏角晶片。 2 3固晶机图像处理的预处理 采集到的原始图像往往信噪比较差，一般不能直接进行图像信息的提取，需 要预处理技术先提高图像质量，同时保证较低的信息缺失，才能保证后续处理过 程的准确程度。预处理操作主要有滤波、形态学运算。滤波可以去除一些较小的 噪点干扰，并提高图像质量，但同时会使边缘模糊化，影响后续需要边缘信息的 处理。形态学运算既可以起到除噪的功能，又能保证边缘的准确信息。 在预处理操作后的图片信息的提取过程中，相关的图像处理技术有灰度直方 图分析，卷积以及多分辨率处理等。灰度直方图的分析应用在图像分割方面，是 边缘提取之前的关键技术；卷积则始终应用在对图像的滤波、边缘提取、图像匹 9 北京交通大学硕士学位论文 配的过程中，只是所设立的模板不同；多分辨率处理则是通过图像金字塔方法实 现低分辨率图像的获取，在分辨率不同的图像上实现晶片匹配识别等操作。 2 3 1l e d 晶片图像滤波 空域滤波技术根据其功能主要分成平滑滤波和锐化滤波两类【2 引。 ( 1 ) 平滑滤波 它能减弱或消除图像中的高频率分量，但不影响低频率分量。因为高频分量 对应图像中的区域边缘等灰度值具有较大较快变化的部分，平滑滤波将这些分量 滤去可减少局部灰度起伏，使图像变得比较平滑。实际中，平滑滤波还可用于消 除噪声( 噪声的空间相关性较弱，对应较高的空间频率) ，或在提取较大的目标前 去除大小的细节或将目标内的小间断连接起来。 ( 2 ) 锐化滤波 它能减弱或消除图像中的低频率分量，但不影响高频率分量。因为低频分量 对应图中灰度值缓慢变化的区域，因而与图像的整体特性，如整体对比度和平局 灰度值等有关。锐化滤波将这些分量滤去可使用图像反差增加边缘明显。实际中 锐化滤波可用于增强模糊的细节或目标的边缘。 空域滤波是在图像空间通过邻域操作完成的。实际中实现的方式基本都是利 用模板( 也称为样板或窗) 进行卷积进行【2 4 ，2 8 ，2 9 1 。模板运算的基本思路是将赋予某 个像素的值作为它本身灰度值和其相邻像素灰度值的函数。模板可看作一幅尺寸 为n x n ( n 一般为技术，远小于常见图像尺寸) 的小图像。最常用的尺寸为3 x 3 。 模板卷积在空域实现的主要步骤为： ( 1 ) 将模板在图中平移，并将模板中心与图中某个像素位置重合； ( 2 ) 将模板上的各个系数与模板下个对应像素的灰度值相乘； ( 3 ) 将所有乘积相加( 为保持灰度范围，常将结果再除以模板的系数个数) ； ( 4 ) 将上述运算结果( 模板的输出响应) 赋给图中对应模板中心位置的像素。 数字图像的噪声主要来源于图像的获取( 数字化过程) 和传输过程。图像传 感器的工作情况受各种图像的影响，如图像获取中的环境条件和传感元器件自身 的质量。使用c c d 摄像机获取图像，光照程度和传感器温度是生成图像中产生大 量噪声的主要因素。图像在传输过程中主要由于所用的传输信道的干扰受到噪声 污染。在很多情况下，噪声的( 随机规则) 特性不是很重要，重要的是它的强度， 常用的信噪比反映了噪声相对于信号的强度比值。 除了信号传输过程中带来的信号噪声，晶片图像另外的强噪声来源为放置晶 片的毡片。由于其凸起的毛刺对光的漫反射强度较大，会形成小面积的高亮度区 l o 图2 - 6 中值滤波幽2 7 舣向滤波 斯 滤 经过对比，高斯模糊过多地模糊了晶片边缘，损失了很多有用的边缘信息； 双向滤波与原始图像没有什么分别，在这种情况下除噪效果较差；中值滤波是一 种常用的非线性滤波器，不仅能够去除一些噪声，同时保护了图像尖锐的边缘。 因此，选用中值滤波器处理晶片图像以提高图像质量。 2 3 2形态学理论及l e d 晶片图像的形态学运算 形态学一般指生物学中研究动物和植物结构的一个分支，用它表示数学形态 学的内容，并作为工具从图像中提取对于表达和描绘区域形状有用处的图像分量。 数学形态