（机械电子工程专业论文）机器视觉对准系统的研究及相关技术的实现.pdf

华中科技大学硕士学位论文 摘要 微电子封装生产设备( 例如高精度贴片机) 结构复杂，其中视觉自动对准系统是 关键的部件之一。目前的视觉自动对准伺服系统一般由专用的硬件和软件组成，但是 专用的硬件大都非常昂贵，它们的软件也难以编写。为此，需要开发出一种由通用硬 件和通用软件组成的系统结构，这样就能缩短系统构建时间，降低系统价格，软件的 开发也将大为简化。本文介绍了商精度机器视觉自动对准系统的结构与设计，进行了 相关的计算机控制软件系统模块设计与开发，提出的模式匹配算法及相关的图像处理 算法。 视觉对准系统所涉及的光学部件设计和图像处理算法，本身就是高度专业化的产 品。本论文分析了高精度自动贴片机中视觉对准系统的原理和结构，从芯片和基底键 合时的图像垂直对准和平行度对准两方面进行了光学对准系统的光路设计，确保键合 获得亚微米级的对准精度。其中图像垂直对准涉及到贴片前图像垂直对准和贴片后的 图像垂直对准反馈校正两部分。 图像处理技术是视觉对准的关键技术之一，图像预处理方法直接影响图像定位的 精度，本文研究了图像定位所需要的各种相关的图像预处理算法。对r o i 技术、闽值 分割、边缘提取等图像检测技术进行了深入探讨。 为了实现自动视觉定位，深入研究了小波变换理论、图像特征提取和神经网络模 式训练方法。提出了一种基于图像小波特征的精确模式定位算法。此算法提取图像小 波特征，采用径向基( r b f ) 网络进行神经网络学习训练，得到r b f 分类器，对图像 进行邻域搜索从而实现模式定位。从理论上该算法正确率趋于稳定，实验结果表明该 算法对图像目标的旋转、平移、尺度变化不敏感，定位坐标和旋转角度可以达到亚象 素级别。 开发了一套图像处理软件系统，将上述各种图像处理算法集成于此系统中。 关键词：机器视觉自动对准小波变换r b f 图像处理模式识别 华中科技大学硕士学位论文 a b s t r a c t t h es t r u c t u r eo fm i c r o e l e c t r o n i c si n d u s t r ye q u i p m e n t ( s u c ha sa u t o m a t i c c h i pm o u n t e r ) i sc o m p l e xt h ev i s i o na u t o m a t i ca l i g n m e n ts y s t e mi so n eo ft h ek e yp a r t so ft h i sk i n do f e q u i p m e n t a tp r e s e n t ，t h e m a c h i n ev i s i o na l i g n m e n ts y s t e mi s g e n e r a l l y c o n s i s t e do f s p e c i a lh a r d w a r ea n ds o f t w a r e ，h o w e v e r t h eh a r d w a r ei se x p e n s i v ea n dt h es o f t w a r ei sh a r d t op r o g r a m i ti sn e c e s s a r yt od e v e l o pas y s t e mw i t lc o m m o nh a r d w a r ea n ds o f t w a r et h a t w i l ls h o r t e nt h et i m eo fs y s t e ms t r u c t u r ed e s i g n ，r e d u c et h ec o s ta n de a s i l yp r o g r a mt h e s o f t w a r e t h i sd i s s e r t a t i o nc a r r i e so u ts y s t e m a t i cs t u d i e so nt h es t r u c t u r ed e s i g no fm a c h i n e v i s i o na l i g n m e n ts y s t e mw i t hh i g hp r e c i s i o nf o ra u t o m a t i cc h i pm o u n t e r , t h e d e v e l o p m e n t o f r e l a t e ds o f t w a r es y s t e mm o d u l e sf o rc o m p u t e rc o n t r o l ，a n di m a g ep r o c e s s i n ga n dp a t t e m m a t c h i n ga l g o r i t h m s t h ev i s i o na l i g n m e n ts y s t e m ，w h i c hi s as p e c i a lp r o d u c t ，i n c l u d e so p t i cs t r u c t u r e d e s i g na n di m a g ep r o c e s s i n ga l g o r i t h m s i nt h i sd i s s e r t a t i o n ，t h ep r i n c i p l ea n d s t r u c t u r eo f t h ea u t o m a t i cc h i pm o u n t e rw i t hh i g hp r e c i s i o na r ea n a l y z e d ，t h eh a r d w a r es t r u c t u r eo ft h e o p t i ca l i g n m e n t ，w h i c hi n c l u d e st h ev e r t i c a la n d h o r i z o n t a ld i r e c t i o na l i g n m e n to fb o n d i n g b e t w e e na c h i p a n das u b s t r a t e ，i sd e s i g n e dt oa c h i e v es u b - p i x e la c c u r a c y a n dv e r t i c a ld i r e c t i o na l i g n m e n ti n c l u d e st w oa s p e c t s ：i m a g ea l i g n m e n tb e f o r eb o n d i n g a n dt h ei m a g er e f i n e m e n ta f t e rb o n d i n g i m a g ep r o c e s s i n gt e c h n o l o g y i so n eo ft h em o s ti m p o r t a n tt e c h n o l o g i e so fv i s i o n a l i g n m e n t ，i m a g ep r e p r o c e s s i n gm e t h o d sw i l la f f e c tt h ei m a g e l o c a l i z a t i o np r e c i s i o n i m a g e p r e p r o c e s s i n ga l g o r i t h m sn e c e s s a r y t o p a t t e r n l o c a l i z a t i o na r e d e t a i l e d ，a n dt h ei m a g e d e t e c t i o nm e t h o d ss u c ha sr e g i o no fi n t e r e s t ( r o i ) ，t h r e s h o l ds e g m e n t a t i o n ，e d g ee x t r a c t i o n a r ed e e p l yd i s c u s s e d an e wa l g o r i t h mi sp r o p o s e dt or e s o l v et h el o c a l i z a t i o np r o b l e mi nm a c h i n ev i s i o n s y s t e m t h ew a v e l e tf e a t u r ec o e f f i c i e n t sa r ee x t r a c t e db yi m a g e t r a n s f o r m a t i o n r b fs e a r c h p r o c e s s ，w h i c h i sb a s e do nr a d i a lb a s i s f u n c t i o n ( r b f ) p r i n c i p l e ，r e s u l t s i n p a t c e m l o c a l i z a t i o n ，e x p e r i m e n t a lr e s u l t ss h o w t h a tt h ea l g o r i t h mi sr o b u s ta g a i n s tn o i s e sa n dn o t s e n s i t i v et or o t a t i o n ，t r a n s l a t i o n ，a n d s c a l i n g t r a n s f o r mo fi m a g e ，a n dt h a t s u b p i x e l l o c a l i z a t i o na c c u r a c yc a nb ea c h i e v e d a tt h ee n d ，t h es o f t w a r es y s t e md e s i g na n dd e v e l o p m e n ta r ei n t r o d u c e d ，a n da l lk i n d s o fi m a g ea l g o r i t h m sd i s c u s s e da b o v ea r ei n t e g r a t e di nt h es o f t w a r e 华中科技大学硕士学位论文 k e yw o r d s ：m a c h i n ev i s i o n ，a u t o m a t i cf o c u s i n g ，w a v e l e t ，r b f , i m a g ep r o c e s s i n g ，p a t t e r n r e c o g n i t i o n 1 1 1 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 二作及取得的研究成果。尽我所知，除文中已经标明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对 本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：i 彭讶 臼期：铲妒年v 月力目 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本论文属于 不保密蹈。 ( 请在以上方框内打“”) 学位论文作者签名：一娼 日期： 年v 月瑶日 华中科技大学硕士学位论文 1 1 课题来源 1 绪论 国家高技术研究发展计划( 8 6 3 计划) ：“m e m $ 动态特性频闪干涉视觉三维测量技 术及系统”( 课题编号2 0 0 2 a a 4 0 4 1 0 0 ) 国家重点基础研究发展计划( 9 7 3 计划) ：“极限制造中的混合约束数字建模与产 品缺陷诊断机理”( 课题编号：2 0 0 3 c b 7 1 6 2 0 7 ) 1 2 课题背景 微电子信息产业是关系国家利益和安全的基础性和战略性产业，成为世界电子制 造强国是我国二十一世纪发展的战略目标，实现这一目标的关键是必须能自主提供电 子产业的先进制造工艺、技术和装备。 在微电子制造业中，机器视觉是成功应用的典范。几乎所有的微电子制造设备都 包含机器视觉系统，来实现诸如对准和定位的基本任务，还可进行信息收集检验任务， 如自动检测、信号分类等。特别是在集成电路( i c ，i n t e g r a t e dc i r c u i t ) 的后端检验 和封装生产设备( 如自动贴片机) 中，模式识别和视觉伺服控制的图像处理按卡爻是 其中的重要组成部分。 封装生产设备( 如自动贴片机) 结构复杂，其中关键技术之一是视觉自动对准系 统。对于自动对准系统，过去主要使用主动对准技术，其工作原理是让要对准的两个 物体充分接近，使其能在同一个视场中成像。这种对准系统的主要优点是能较好地预 测最后的组装精度。如在光电器件的组装中，般分两步把激光二极管和单模光纤对 准。首先，激光二极管被键合到基底上，随后将得到的器件用引线键合工艺与引线框 连接起来。其中激光二极管和基底键合所要求的精度约为1 0 2 0 微米。然后，给器件 通电，并手工将激光二极管和光纤对准。此过程一般需要8 9 分钟。随后，光纤被固 定在基底上。虽然主动对准的精度可以达到1 0 0 纳米，但是其耗费的漫长时间极大地 增加了器件的成本。而被动对准中，并不直接把两个器件对准，而是采用了间接的 方法，把器件分别和基底对准。如在光电器件的组装中，光纤被放置在基底的v 形槽 中，从而固定其在基底上的位置。激光二极管与v 形槽对准后，被放置并键合到基底 上。 在早捌，倒装片工艺被应用到被动对准中，此工艺只能达到2 微米的对准精度， 华中科技大学硕士学位论文 不能满足光电器件的制造要求。3 1 。目前广泛使用的被动对准中，贴片头根掘视觉对准 系统的引导，直接把芯片放置并保持在基底准确的位置上，然后就地进行两者的键合， 从而完成组装。在此过程中，视觉对准系统对最终的对准精度有着至关重要的影响。 机器视觉对准系统在微电子制造业中的应用面临速度、精度和鲁棒性等三方面的 挑战，当前国际上i c 后封装设备能达到的定位精度为2 - 5 微米，相应的空间运动精度 和生产率分别为4 0 微米和1 5 线秒，并仍在进一步发展，而我国目前的技术水平与之 相比则存在很大的差距。视觉自动对准伺服系统一般由专用的硬件和软件组成，但是 专用的硬件大都非常昂贵，它们的软件也难以编写。国内虽然很多人在做图像处理， 但大多都集中在视频压缩、视频解码等方面，用于机器视觉方面的很少，并且现有的 相关图像处理软件功能有限、集成度低，通用性差，计算速度不高，数据精度不高， 价格昂贵。为此，需要开发出种由通用硬件和通用软件组成的系统结构，这样就能 缩短系统构建时间，降低系统价格，软件的开发也将大为简化。 1 3 课题目的和意义 机器视觉对准系统是高精度自动贴片机的关键部件之一，它直接影响贴片精度。 视觉对准方式主要有视觉对准、机械对准、激光对准等。视觉对准由于采用了高放大 倍数成像系统及图像处理技术，使得定位精度和贴片效率大大提高，因而成为了占主 导地位的定位方式。 目前，此类设备( 高精度自动贴片机) 在光电器件组装m c m ( m u l t i c h i p m o d u l e ) 、 m e m s ( m i c r oe l e c t r om e c h a n i c a ls y s t e m ) 、m o e m s ( m i c r oo p t i c a le l e c t r om e c h a n i c a l s y s t e m s l 、三维封装等领域有着极其广泛的应用，同时也是这类高技术产品商业化生 产瓶颈。目前，由于只有少数几家大公司能够生产，因而价格极其昂贵。如高精度自 动贴片机的价格超过1 0 0 万美元，而高精度手动贴片机的价格也高达3 5 万美元。随着 我国i t 行业、特别是光电子产业的迅速发展，对高精度贴片机的需求也逐渐增大，但 目前由于其昂贵的价格，国内只有大公司和大的科研院所有能力购买。这极大地限制 了中小企业对高精度贴片机的使用。而利用本课题的研究成果，不仅可以生产高精度 自动贴片机，而且可以生产高精度手动贴片机，若降低生产成本，极大地刺激国内市 场使大多数企业可以使用高精度贴片工艺，进一步降低产品的组装和封装成本，解 决光电器件、m c m 、m e m s 等高科技产品的产业化瓶颈问题。 本课题的研究成果不仅有助于解决高精度自动贴片机的关键技术问题而且作为 一种单元技术还可用于其它领域的高精度设备，如视觉对准系统所涉及的光学和图像 处理算法，本身就是高度专业化的产品，但在整个自动化的测量控制系统中，还必须 与运动控制系统配合完成位置矫正和进给控制，如在贴片机芯片贴装中就必须与多轴 华中科技大学硕士学位论文 伺服控制系统高度配合。当前，视觉对准与运动控制等先进技术的结合f 在改变工业 自动化生产的面貌，而同时具备视觉对准和运动控制等几方面技术背景的企业无疑将 走在前列。 本项目所研究的视觉对准系统采用通用硬件体系结构，着重在光学成像系统和图 像处理算法上进行突破。这不仅会丰富和发展视觉对准和运动控制的理论和学术研究， 而且也为开发具有自主知识版权的高性能微电子制造装备和其它高速高精设备提供一 种技术途径，对我国国民经济和国防建设具有重要的意义。 微细视觉定位与运动伺服控制是自动化设备的共性技术，除微电子制造装备外， 亦可用于精密机床、机器人、微机电系统等其它高速高精设备中，在航天、汽车导航、 军事、医疗等很多领域都有非常广阔的应用前景。本项目的研究，将在这些应用领域 产生潜在的经济效益和社会效益。 1 4 国内外发展现状与趋势 现代微电子制造朝着高密度( 体积小、重量轻、厚度薄、易携带) 、高性能( 性能 优，功能多，成本低，可靠性高、速度快、智能化) 方向发展，因此对贴装模式、流程和 方法、芯片封装设备和器件的准确性、可靠性及封装速度都提出了新的要求。 现在高集成度i c 一般都采用表面贴片封装形式。s m t ( s m t 是表面贴装技术 s u r f a c em o u n tt e c h n o l o g y 的英文缩写) 是目前电子贴装行业里的主流工艺技术。采用 s m t 后，电子产品体积缩小4 0 6 0 ，重量减轻6 0 8 0 。同时，采用s i d t 的电路板可 靠性高、抗振能力强、焊点缺陷率低、高频特性好、生产流程易于实现自动化，可提高 生产效率、降低成本达3 0 5 0 ，还具备节省材料、能源、设备、人力、时间等优点。 s m t 作为新一代电子贴装技术发展迅速、应用广泛，是p c b 贴装制造中的关键环节，并 已成为电子组装技术工艺水平的衡量尺度。 s m t 生产线中的主要设备由滴胶机、丝印机、贴片机、回流焊机、清洗机和检测 机等组成，同时还配备了如上下料机、接驳台、涂敷设备、周转设备等辅助设备。其中 贴片机是s m t 生产线设备当中的关键设备之一，它的技术含量最高、价格最昂贵。 高精度自动贴片机在b l o e k l s 、b l c m 、b l e m s 、三维封装等精度要求高、工艺复杂的场 合有着广泛的应用【4 1 。如在光电器件的组装过程中，单模光纤其纤芯直径一般不超过 1 0 微米，与激光器的光电耦合要求纤芯中心与激光器出光点的对准精度在x 、y 、z 三个方向均达到l 微米。再如对于采用m c m 技术封装的1 g b i t 动态存储器，由于芯 片足采用f l i p c h i p 工艺的3 d 结构，因此要求其在封装过程中的贴片精度小于1 微米。 此外，自动贴片机在红外传感器、l c d 、m c m 、射频器件、图像探测器等领域也有极 其广泛的应用，并成为这些高科技产品的产业化瓶颈。可以说自动贴片机是当前和未 华中科技大学硕士学位论文 来各国在m c m 、m e m s 、m o e m s 、三维封装等领域竞争的焦点之一。 自动贴片机是一个典型的集机、电、液、气、光等为一体的复杂高科技产品。目 前世界上只有少数几个国家中不多的几个大公司可以生产自动贴片机整机。如：德国 k a r ls u s s 公司，日本t o r a y 公司，日本n e c 公司等。这些贴片机的单台价格高达1 0 0 1 3 0 万美元，国内大部分公司难以承受。 自动贴片机结构复杂，包括几个主要的部件和子系统，其中关键的是自动对准系 统和精密运动工作台。目前，精密运动工作台己成为一种标准部件其运动精度已可 达到0 1 微米甚至更高，因此可根据实际需要来选择。自动对准系统由于其结构特殊， 精度和工艺要求高，因而成为生产厂家的专利产品。 德国k a r ls u s s 公司开发的f c 一1 5 0 、f c 一2 5 0 贴片机使用了两个c c d 镜头来实现 芯片和基底的对准”。其中，一个c c d 用于对准前把激光二极管和基底所在的平面调 节到互相平行，另一个c c d 通过上下两个物镜、偏振分光镜，将分别吸附在贴装头和 工作台上的基底和芯片摄取在一幅图像中，图像处理单元测量两者表面上标记的位置， 控制单元调整工作台完成对准。 日本t o r a y 公司的f c 2 0 0 0 系列贴片机采用了新的图像处理技术、陶瓷加热器( 正 在申请专利) 以及空气滑动轴承头( 正在申请专利) ，其x 、y 方向对准精度可达到2 微米，转角精度0 0 2 。，贴片周期为1 5 0 秒片，加热温度可达4 5 0 。c ，添加一些 辅件可以实现全自动化”“。其视觉对准系统使用了3 个c c d 。其中两个分别摄取吸附 在贴装头上的芯片和吸附在工作台上的基底的图像，图像处理单元测量两者表面上标 记的位置，控制单元调整工作台完成对准。第三个c c d 用于对贴片过程中温度波动引 起的误差进行修正。 日本n e c 公司开发的贴片机的视觉对准系统以红外光为光源。基底和芯片面对面 放置，c c d 摄取穿透基底和芯片的红外光，图像处理单元测量两者表面上圆形标记的 位置，控制单元调整工作台完成对准。由于红外光波长较长，导致图像中标记的边缘 模糊，所以采用质心算法测量标记的位黉。随着光学系统分辨率的提高和圆形标记半 径的增大，对准的精度也相应提高。试验表明在物镜分辨率为1 5 微米、标记半径5 微米的条件下，实际的对准精度可达到o 2 微米( 7 5 像素) o 。 近年来基于机器视觉的自动对准在国内也取得了一定的进展。汕头大学的沈奕等 研究了l c d 基板视觉对准的组成、标定及实现原理“。其视觉系统由两支相同且互相 独立的c c d 成像器件、三维移动平台及步进电机控制单元、图像处理单元、计算机系 统控制单元、结果输出及反馈单元等组成。通过对丝网印版和l c d 基板上的图像标记 的采集、滤波、分割和识别，得出图像标记位置之间的偏差量，以此控制工作台移动 l c i ) ，完成丝网印版和l c d 基板的精确对准。试验表明误差可控制在个像素以内。中 华中科技大学硕士学位论文 科院光电技术研究所的杨维全等研究了高分辨率光刻机中的视觉对准系统的原理及实 现方法”“。视觉对准系统由两支相n f _ - g 相独立的光路组成。其中，物镜有较大的焦 深，以保证掩模和晶圆在分离一定的间隙时，在c c d 相面上能同时得到掩模和晶圆上 的标记。标记图像经过两组放大倍数分别为4 和5 的物镜放大后进入c c d 摄像头。经 插值细分、噪声平滑、图像分割、边缘识别和曲线拟合识别出标记的中心，计算出x 、 y 及角度的偏移量，以此控制工作台对晶圆进行位置调整。试验表明其系统能满足亚 微米光刻机的对准精度要求。信息产业部四十五所对自动引线键合机进行了深入的研 究1 。其中视觉对准系统作为一个单独的模块，通过v m s 总线与键合机的计算机系统 连接，利用其反馈的视觉信息控制键合头的x ，y 方向运动。图像视觉系统由光学系统、 5 1 2 5 1 2 像素的c c d 摄像头、视觉系统板、监视器、同轴光照明及侧光照明组成。采 用n g c 分析方法，通过输入图像与参考图像的栅格比较，来对准芯片、框架或引脚的 位置。试验表明，系统能在预先设定的搜索区域，在7 度的旋转范围内，自动地探 测出对准点。重庆大学光机系的郑平等对单模光纤熔接机的三维自动对准及实现方法 进行了研究”。系统由光学机械单元、三维高分辨率位移伺服工作台、图像采集及处 理单元等组成。在对准中，光纤被装夹在伺服工作台一体化v 型槽中；然后切换x 、y 方向非相干光源，通过光学系统依次将光纤头x 、y 方向的图像成像在c c d 上；经图像 处理系统得到光纤纤芯和包层在x 、y 、z 三个方向的对准误差；最终伺服机构调整工 作台位置，完成对准。 在视觉对准系统中，要想提高整个系统的精度，通常可选用较大的光学放大镜头， 高分辨率的c c d 摄像机，或采用特殊的光源进行照明。但这些方法的使用有时会受到 某种限制，例如，当光学系统放大倍数太大时，图像的质量会下降，而且会造成视场 ( f o v ，f i e l do fv i e w ) 很小，可能使有用的目标超出视场范围。因此，为了保证图像 质量特别是保证较大范围的视场，在选用较小光学系统放大倍数的同时，利用图像处 理算法来提高定位精度，无疑是一种简易可行的方法，其核心正是亚象素视觉定位算 法“。 传统的视觉定位技术主要采用基于归化灰度相关( n g c ，n o r m a l i z e dg r a y s c a l e c o r r e l a t i o n ) 理论的模板匹配技术。此方法鲁棒性好、可靠性高，对图像噪声敏感程 度低，通过对相关表面进行插值运算还可以获得亚象素的定位精度，所以广泛用于工 业视觉检测、机器视觉定位等领域中1 。 在归化灰度相关方法中，视觉系统获得具有实际模式的图像，与存储在计算机 内存中具有同样模式的参考图像进行栅格比较，从而计算出使两幅图像匹配的x y 位 置，并找到实际模式的位置。利用灰度信息匹配方法的主要缺陷是计算量太大，因为 使用场合般都有一定的速度要求，所以这些方法很少被使用；现在已经提出了一些 华中科技大学硕士学位论文 相关的快速算法，如幅度排序相关算法，f f t 相关算法和分层搜索的序列判断算法等。 相关匹配存在的另一个问题是匹配后在匹配点产生的顶峰较宽，影响匹配特征的 精确定位，给后继处理带来不确定因素”1 ”1 。另外，有可能在不相关的位置产生虚警，得 出错误结论。同时它限制了视觉系统在角度、照度、对比度变化等模式下的精确定位 能力。如果存在光照的非线性变化、物体表面的反射、标记点的偏移等复杂情况，归 一化灰度相关法有可能完全失败。c h e n 等人用付氏变换的相位来代替幅值进行相位匹 配”“，以减小顶峰宽度，得到针状峰值。但这种方式对噪声非常敏感，适用于无噪声的 情况。衣晓飞等提出基于维纳滤波的图像模式匹配1 ，具有匹配点定位准确，稳健性 强的优点。但是维纳滤波及相关匹配都对目标的旋转，尺度变化，形变以及遮挡比较 敏感，并且计算的复杂度高。 基于图像特征的匹配方法可以有效克服上文提到的相关法存在的缺点。由于图像 的特征点比较象素点要少很多，大大减少了匹配过程的计算量；同时，特征点的匹配 度量值对位置的变化比较敏感，可以大大提高匹配的精确程度；而且，特征点的提取 过程可以减少噪声的影响，对灰度变化，图像形变以及遮挡等都有较好的适应能力。 所以基于图像特征的匹配在实际中的应用越来越广泛。在p c b 检测中，基于模型的 方法采用符号描述p c b 模式，将图像对准问题转化为图匹配( g r a p h i cm a t c h i n g ) 问 题，其中图匹配取决于图像结构、拓扑和几何特性，所以这种方法其精度依赖于特征 提取的精度和鲁棒性。当前世界著名工业机器视觉公司，比利时e u r e s y s 公司开发 的基于点特征技术的图像分析软件e a s y f i n d ( 种几何模板匹配库) ，可以实现线性 位移精确到1 3 0 亚象素，旋转角度精确到1 4 度，比例精确到1 2 。美国c o g n e x 提 出几何模式匹配( g p m ，g e o m e t r i c b a s e dp a t t e r nm a t c h i n g ) 技术，称为p a t m a x ( 包 括j 个新的算法：特征提取、训练、仿射搜索、精定位、检测) ，c o g n e x 宣称其算法 可以实现1 4 0 亚象素定位精度，并将其作为下一代图像对准工具，应用于工业检测中 。“。但是几何模式匹配的基础是图像的几何特征提取，因而此法的定位精度依赖于图 像几何特征的边缘检测精度，在特征提取过程中此方法比n g c 法对随机噪声更敏感。 1 5 本文主要研究内容 由于芯片体积越来越小，芯片上引线的触点间距越来越小，随之产生了很多新的 技术难题，如如何提高贴片精度、效率等。视觉定位采用了高放大倍数成像系统及图 像处理技术，使得定位精度和贴片效率大大提高。本项目深入研究了贴片机的对准系 统原理和基于机器视觉信息的图像处理理论和方法，进行了视觉自动对准系统的硬件 结构设计，并提出强鲁棒性模式匹配定位等新算法，开发一套面向视觉的对准系统， 在贴片机上运用模式识别技术将芯片( c h i p ) 和基底( s u b s t r a t e ) 对准，并为后续的自 华中科技大学硕士学位论文 动贴片工作存储数据和生成程序。 1 5 1 视觉对准系统的基本组成 视觉对准系统是以计算机为主体的图像识别系统。视觉系统的硬件主要包括光学 埘准系统、c c d 摄像器件、基于p c 的图像采集卡、p c 计算机、伺服运动驱动器等通用 硬件组成。其中光学对准系统的关键结构设计包括：垂向对准的光学成像系统设计， 误差补偿的光学检测系统设计，平行度调整的光学检测系统设计。 1 5 2 图像处理软件系统 芯片与基底对准时，一般采用图像模式识别的方法。视觉对准的信息基础是视觉图 像的特征，视觉对准的正确性和精度直接依赖于特征提取的精度和模板的选择。为了 获得高的定位精度，图像处理技术及模式匹配算法很重要。为此，需要研究满足实时 要求的亚像素级特征提取技术和以此为基础的模式匹配定位技术，使之灰度变化、比 例变化、旋转和扭曲及遮挡都有较好的适应能力。因此，视觉系统的软件部分不仅涉 及图像的一般功能( 如显示、保存、删除等) ，还应该包括图像预处理( 如去噪、二值 化、闽值分割、边缘提取等) 和图像定位模块等部分。 图像处理软件系统用m i c r o s o f tv i s u a lc + + 和m a t l a b 编写基于w i n d o w sn t 环境下 的应用程序。 华中科技大学硕士学位论文 2 视觉自动对准系统的结构与设计 2 1 机器视觉系统概述 机器视觉是利用视觉传感器获取景物的二维图像，通过视觉图像处理、分析和解 释，得到有关景物的符号描述，并为特定的任务提供有用信息，用于指导机械手动作。 机器视觉的研究已经有三十多年的历史，虽然在很多方面仍未具有人类视觉的威力和 智慧，但对于可控制环境下的明确工作任务，机器视觉系统可以快速获取大量信息， 而且易于自动处理，以及同设计信息和加工信息集成，因此，在现代化生产过程中， 人们将机器视觉系统广泛地应用于工况监视、成品检验和精密测量、精确定位等领域。 从众多视觉应用可以看出，机器视觉系统通常包括以下几个部分( 如图2 1 所示) ： 】摄像头和光学部件；2 灯光照明；3 部件传感器； 4 图像采集卡；5p c 平台；6 软件部分：7 其他 图2 1 通常的机器朝! 觉系统的主要组成 1 摄像头和光学部件 这一类通常含有一个或多个摄像头和镜头( 光学部件) ，用于拍摄被检测的物体。 根据应用，摄像头可以基于如下标准，黑自r s 一1 7 0 c c i r 、复合彩色( y c ) ，r g b 彩色， 非标准黑白( 可变扫描) ，步进扫描( p r o g r e s s i v e s c a n ) 或线扫描。 图像的分辨率( 一幅图像中的像素数目) 取决于摄像头的传感器数目，同一类型的 摄像头采集到的图像的分辨率是固定的，调整图像的尺寸可以通过调整摄像头与被检 测物体之间的距离来实现。摄像头与被检测物体之间距离越小，摄像头采集到的图像 尺寸就越小，系统的检测精度就越高。通过调整摄像头与被测物体间的距离和改变光 华中科技大学硕士学位论文 学镜头放大倍数来保证视觉对准所需的精度。高倍数的镜头的物镜焦深范围小，依靠 人眼手动凋焦误差太大，影响定位精度。为尽量减少图像的扭曲，变形和分辨率的损 失，应从下面五方面选择摄像镜头：分辨率要求、视场大4 、图像深度、物距和对比度 要求。 图像采集是非常重要的步骤，直接影响后面的处理效果。采用视觉自动对准系统， 可以快速准确的获得高清晰度的图像。本系统采用的是面阵c c d 摄像头。由于颜色信 息对定位不是很重要，为了减少数据处理时间和降低系统的成本，系统采用的是黑白 摄像头。 2 灯光照明 灯光用于照亮部件，以便从摄像头中拍摄到更好的图像，一般的灯光形式是高频 荧光灯、l e d 、白炽灯和石英卤( q u a r t z h a l o g e n ) 光纤。 灯光照明是影响图像采集效果的最重要的因素之一。照明的主要目的是提高我们 所感兴趣的特征的对比度。简单而言，照明系统可以分为前景光、背景光；直接照射 光、散射光：连续光、频闪光等等。我们采用连续的直接照射的均匀光源作背景光源， 用连续的散射光作前景光源。 3 部件传感器 通常以光栅或传感器的形式出现。当这个传感器感知到部件靠近，它会给出一个 触发信号。当部件处于正确位置时，这个传感器告诉机器视觉系统去采集图像。 4 图像采集卡 图像采集卡放置在与摄像头相连的计算机中，其作用是将摄像头采集到的视频信 号( 模拟信号或数字信号) 转换成计算机能处理的信息( 即数字化) ，并且通过计算机 总线传送给计算机，以便软件能够对数字化后的图像进行分析。图像的数字化包含采 样与量化两个过程。采样是对图像空间坐标的离散化，采样后图像中的每个空间点被 称为图像的像素，图像的像素数目被称为图像的分辨率。而量化是对图像每个像素灰 度值的离散化，图像处理中一般将图像量化为2 5 6 个灰度级别。本系统中采用的是 m a t r o x 公司研制的m e t e o r i i d i g i t a l 采集卡。 5 p c 平台 计算机是机器视觉的关键组成部分。由摄像头采集到的视频图像信号传送给计算 机。系统的所有算法都在此计算机机中完成，并且通过软件实现。一般图像处理的数 据量相当大，处理的复杂性也很高，须选择速度高、内外存储量大的计算机进行图像 华中科技大学硕士学位论文 处理。一般来讲，计算机的速度越快，视觉系统处理每一张图片的时间就越短。在制 造现场中，经常有振动、灰尘、热辐射等等，因此一般需要工业级的计算机。 6 软件部分 视觉检测和定位软件系统一般分为基于w i n d o w s 和d o s 操作系统的。考虑到现在 和将来的流行软件都是基于w i n d o w 系统，为了提高软件的兼容性和可扩展性，作者开 发了基于w i n d o w s 系统的图像处理软件，实现各种图像处理、分析、识别、定位算法 等。 2 2 视觉自动对准系统原理与结构 高精度自动贴片机的定位方式有机械定位、视觉定位、激光定位等几种方式。视 觉定位由于采用了高放大倍数成像系统及图像处理技术，使得定位精度和贴片效率大 大提高，因而成为了占主导地位的定位方式。 高精度自动贴片机原理示意图如图2 - 3 所示。其中，贴装头可在z 方向上下运动， 主工作台可在x 、y 方向移动并可绕z 轴转动，对准系统工作台在x 、y 、z 方向移 动。贴片的工作流程如图2 2 所示，具体按以下步骤进行：( 1 ) 上下料系统( 图2 3 中 未画出) 把芯片和基底分别放置到贴装头和主工作台上；( 2 ) z 方向移动对准系统工作 台、贴装头直至能清晰地捕捉到基底和芯片的图像。( 3 ) x 、y 方向移动对准系统工作 台和主工作台，使芯片、基底进入视场范围：( 4 ) g q 视觉系统测量芯片和基底上的定位 标志的位置偏差；( 5 ) 根据视觉系统测量的结果移动、转动主工作台使基底到达目标位 霞，移动对准系统工作台使光学系统退出工作区域，贴装头作垂直运动使芯片和基底 接触；( 6 ) 控制温度、压力等工艺参数，贴片：( 7 ) 上下料系统放下贴好的产品。 ( 1 ) 在机器视觉系统帮助下 抓取芯片放下贴好的：占片 ( 2 ) 由视觉图像处理系统寻找定 位标志，计算与目标位置的偏差 口o ( 3 ) 根据视觉图像处理系统的计 i ( 4 ) 工艺处理、贴片净 算结果，控制运动系统移动到目标 位置然后垂直轴向运动，使芯片 与基底接触 图22 贴片机工作流程 华中科技大学硕士学位论文 圈23 贴片机工作原理示意图 3 视觉自动对准系统光路设计 视觉自动对准系统的组成如图2 4 所示。系统硬件由光学对准系统、c c d 摄像器 件、基于p c 的图像采集卡、p c 计算机、伺服运动驱动器等通用硬件组成。 图2 4 视觉对准系统结构示意图 光学对准系统对视觉对准系统影响很大，本文中光学系统光路设计包括垂直对准 ( 如图2 5 所示) 和水平对准( 如图2 6 所示) 。 2 3 1 垂直对准 系统进行垂直对准时，光源产生强度适中的光束，通过分光镜产生两路光分别照 射到基底和芯片上，两者表面的反射光再次经过分光镜集中成一束光路，通过c c d 采 华中科技大学硕士学位论文 集成一幅图像，送人计算机控制系统，图像处理单元测量该图像中芯片和基底两者表 面l 标记( f i d u c i a lm a s k ) 的位置，控制单元调整工作 台完成垂直对准。芯片和基 底键台以后，系统再次进行 垂直对准，图2 5 中虚线所 包围部分移去光路直接照 射基底和芯片，反射成像于 c g d 。比较两者成像的标记， 9 l | i 量键合后的位置偏移，反 馈到计算机，控制单元再次 调整工作台位置，确保键合 获得亚微米级的对准精度。 2 3 2 平行对准 图2 5 光学成像垂直对准系统 在倒装芯片贴片机进 行贴片时，为提高贴片质量，必须使芯片和基底都处于水平状态。由于基底是放在贴 片台上，而贴片台在贴片的整个过程中都处于固定位置， 因此可在贴片前，先调整贴 图26面向平行调整的光学检测系统 华中科技大学硕士学位论文 片台使之处于水平状态。对于芯片的水平调整，由于贴片前，一般是由热压焊头吸住， 在空间上不容易调整，而且芯片本身的尺寸又很小，因此，想通过接触式的方法来进 行水平调整是非常困难甚至无法实现的。为此，提出一种利用视觉成像技术的方法来 实现：吝片的水平调整。具体的方法是，首先让一束光通过一个带有十字丝标记的玻璃 片，然后使透射光通过一个半反射半透射的棱镜后进入放置在芯片和基底之间的偏振 分光镜，使得一部分( 偏振态为s ) 光射向芯片，另一部分光( 偏振态为p ) 直接透射。 射向芯片的光束反射回来后，在经过偏振分光镜和半反半透棱镜及检偏片后进入c c d 摄像器。透射的光束通过一个l 4 波长的波片后经过一个镜面反射回来，再次通过1 4 波长的波片后偏振态变成s 。因此该光束进入偏振分光镜将被反射并射向基底。从基 底反射回来后的光束进入偏振分光镜仍将被反射并第三次通过1 4 波长的波片，由镜 面反射回来后第四次通过1 4 波长的波片。由于这时偏振态已变回到p ，因此，光束进 入偏振分光镜将被透射。此后经过半反半透棱镜及检偏片后进入c c d 。如果芯片和基 底平行，则通过带有十字丝标记的玻璃片后的光束分别经过芯片和基底的反射后在 c c d 上成的像应该是重合的。否则不重台( 见图2 6 所示) 。从而确保键台时芯片和基 底保持较高的平行度。 2 4 视觉自动对准系统的硬件配置 系统硬件由光学成像系统、光学照明系统、c c d 摄像器件、基于p c 的图像采集 卡、p c 计算机、伺服运动驱动器等通用硬件组成( 如图2 4 所示) 。 现有硬件资源型号 器件说明 光源激光 c c d 摄像器件 b a s l e ra 3 0 2 b ，摄像机的成像范围设定为6 4 x 4 8 m m 2 ，视野 范围大小采用可调方式 图像采集卡m a t r o x t i d i g i t a lo r c a m e r al i n k 显微光学镜头组 工作台驱动 p l a t i h u ml i n e a rm o t o r ( d d l ) 型号：i l l 8 0 7 5 a 3 t 1 计算机c p u ：p 4 ，内存：2 5 6 m 2 5 本章小结 本章以i c 装备中的高精度贴片机工作流程为例，研究了机器视觉自动对准系统原 理与结构，针对视觉自动对准系统的所需关键技术，进行了相应的结构设计，可以看 华中科技大学硕士学位论文 出，本论文设计的视觉对准系统具有以下特点： 1 采用c c d 和独特的光学对准系统确保键合的芯片与基底能垂直对准，并且具有 午h 同的平行度，从而获得亚微米级的对准精度。 2 系统的所有算法都由软件实现，减少硬件成本，并且保证了系统在更新和使用 上的灵活性。 华中科技大学硕士学位论文 3 1 图像和数字图像 3 图像预处理 数字图像处理是视觉系统的关键，它包括利用计算机和其它电子设备进行和完成 的一系列工作，例如图像的采集、获取、编码、存储和传输，图像的分割和产生，图 像