（机械电子工程专业论文）全自动金丝球焊机中芯片图像实时定位方法研究.pdf

中科学院纠 究 院砸 论立 摘篮 摘要 个n 动金丝球蚪p 【址集精鬻机械、h ，山挖制、像u 别、光。一、趟声波热n 、 蝌接等领域r体f 阿现代化i ：制使术微f i x 子封裂设备，l ：要用j 笕成f u 蹄制造盯 l + 序，fr 芯片站5 搿1 j t b 4 t i l 梨f l l j 引线的t 1 0 接。 木谍腿以外锭仑f i 动金缝球蝌机像i j ! 别系统软仆乃l i 要训究内律沦史- l i 埘课题期 u 所做i7 门l ：要i 作进行了介绍和总结。 尚儿，介绍了个f 1z 以企鲐球焊机f 门1 作味刖，分析了j l 降i 像u ：* l 系统a ，以利 川的两种厅江即图像讣竹帆处用! 系统和软f ，f ：型冬 像处理系统，外结介隈巡的实 际i c i e r 选择采i l | 后种疗法。 然后，对舰仃的数 嘲像预处辟技术进行了研究纠埘小课题的特点着曛 j 沦了数宁图像坝处州c ，荻度直疗图修整和巾值滤波两种矧像增强披术。试验刈比 了r o b e , s 算子、s o b e l 算子、p r e w i t t 算子、k r i s c h 算于及l a p l a c i a n 弗子“种边 缘捻测罐子，通过对芯片图像边缘检测的刈比试验选择了适合本系统的r o b e , s 边缘算子。 j 次讨沧了h 筒常用的儿种苍j 荻度p 配的快速剐像匹配算法，盔i f f t 算 法、幅度排j 芋十 | 天鳟；2 ：、序贳相似检测算法( s s d a ) 、多辨率塔型结构茸 ( m p s a ) 、疆。j ：遗传算法( g a ) 的快速搜索钟= 法等通过i 体试验t - - i t 合其味 理分析了它们的优缺点，分析表叫这些算法部f ：能满足全1 7 j 动金蝗球_ # - b l 罔像u 剐系统的安时性( 2 5 m s 绂) 要求，并时旧种锌泛、也小能满足i 育旋转化r 芝 ( 一7 ”+ 7 。) 的芯片劁像的l ；l = _ f i f i 精度要求。 再次针对术课题实时t l ：及精度的要求，提了两种能够满足系统要求的算 法和种f 育应刚价值的算泛：，即t s 算法、t s o a 竹法和m p s a g a 算法。 t s 箨法足。种通过时：维芯片摸救罔像的边缘幅度图像抽样术进行阁像j 嗄 眦f 内快速钟= 法。筇法通过设定搜索步k 、提圾抽样序列，能够州时碱少挫索过f r t l 和川火计算的上耋钾：量。算法采州两阶段搜索簸略，解决了芯片l 鞫像存n ：的旋转问 题，保i l f 了l k 眦精度。兑1l 剥削s s d a 算法进行了优化，使得该算法运行时闽进 步减小。该3 i t u _ , 运算简巾，特别通合硬件实现。诚验发i 刿陔算法能够满足系统 的灾时陀和定位精度( 4 p r o ) 的要求抗噪能力较强j i 仃f h 强f 门棒一盹。 t s - g a 辣法除了干j j 瑚t s 强法对芯片谈皈阳像进行坝处州外，l r i t ir g 还利删遗 化馆江的“= 趟协搜索目【制，能够迅速收敛剑令局近似山量优钟，从1 0 j 迎步减少了 f 圯刚过w f 门i i 釜。，i m 此j , ；f i ；t lj ：- j 八十 咖l 哇舭川、* 找h 怀子l 矧像的# f 蛳伊 彬及旋转f ：! j 业，试验表列该竹法满足系统旧实时- 比1j * i 膻_ 露求。丈阿l ：i i fj j 耕蜘 m 目科学院酬宄 院坝l ，| 仑文 摘簦 j 嘎托h ：节 j 0 。较多所以眩钟= “；要性j t s 竹浊，j e 采_ l ”确座陀搜索镶* 使j o n ：以j 心眦的情况r 。口j 以通过再次搜索找到h 十，j i 。返也址法竹法被逃州f 一1 璎 原i * l ，也就址晓町以m t s 盼法火州的情况r 门删嘎铮 上逊，亍次 受索确定h 怀 m p s a g a 竹泌足 ：分 i 了多分辨率塔形结构掉泄：( m p s a ) 和j 。遗化盯 浊| 1 j f 9 4 1 s t 4 f , 方法n 勺t , 1 5 + f i l l , ：仃帆的绌合了这两利一力；i 的优点提n 0 种$ 2 i # j - 队 速j j 【；州钎泄；，试验太叫小1 7 法能仃效降低儿州时| 1 f j 。虽然浚卵：浊“刈个m 曲金丝 球蚪目“门| 冬j f 黎u ! 别系统设小小如前两种锥浊们它为肝两种竹浊的 致提 ! 丁席 _ i ，”j 仃定n 0 j 衄川价位，h 此找仃j 也作了简要介绍。 破肝通过埘 通i 村像的f 几蚍定伊试验时一种订池进行了检验结粜& y _ | 芎r 浊j l 仃f m 曲i f n 通用州：和 ，l 噪声能，口以推越j j j l 他炎似场介。 此外，为了验证以f ：茆f 、九：w i n d o w s 9 8 f ：利肘v i s u a lc 60 措建了秤种 竹浊f 门测试卜台，沦文- t 也做了简要介绍。试验c f - 州剑的，球片j 刮像均为令f i 动金 蝗j ： 烬机实际i 作时拍摄的刚像， 灭键词：个n 动金丝球蚪 j j l 直力阁均衡r f - 位滤波边缘检测f 錾4 像j j i 眦 巾；q , f ：l - 学院研k t 院顽i 论之 a b s t r a c t a b s t r a c t f i l e f n l b a t t t o m a t i cg o l d 、i r eb o n d e ri san l o d e r l lm i c r o e l e c t r o n i cw r a p p i n g e q u i p m e n tt h a t n t i l i z e si n t e r d i s c i p l i n a r yt e c h n o l o g i e ss u c h a st i t l el n e c h a n i c s a l l l o c o n t r o l ，i m a g er e c o g n i t i o n ，o p t i c s ，u j t r a s o n i ch e a t - p r e s s i n gs e a l i n ga n ds o0 1 1i ti s n l a i n l ya p p l i e dt ob o n dt h ec h i pp a dw i t ht h el e a d - f r a m ei nr i t ep o s t - w r a p p e rp r o c e s s o fi n t e g r a t ec i r c u i tm a n u f a c t u r e w o r k st h a ts h o u l db ed o n eh e r ei st od e v e l o pf i l ei m a g er e c o g n i t i o ns o f t w a r et o t t i l ef i l l l ya t i t o a t a t i cg o l dw i r eb o n d e r , a n dt i l e f o l l o w i n gr e s e a r c h e sa n de x p e r i m e n t s a r ec o n d u c t e d 、 f i r s t ，t h ew o r k i n gp r i n c i p l eo ft h ef i d l ya u t o l n a t i cg o l dw i r eb o n d e ri si n t r o d u c e d ， t w os c h e m e st h a tc a nb en s e d ，t h a ti s t h ei m a g ec o i n p u t e rp r o c e s s i n gs y s t e ma n dt h e s o f t a r ei m a g ep r o c e s s i n gs y s t e m ，a r ea n a l y z e d ，a t t dt i l el a t t e ro n ei s a d o p t e d a c c o r d i n g t ot h ed e m a n d so fo t l rr e s e a r c h s e c o n d ，s o m ed i g i t a li m a g ep r e - p r o c e s s i n gt e c h n i q u e sa r ep r o v i d e d ，a n dn 、o i m a g ee n h a n c i n gt e c h n i q u e s ，t h eg r a yh i s t o g r a mt r i m m i n ga n dt i l em e d i a nf i l t e ra r e d i s c u s s e dc o n t r a s te x p e r i m e n t sa r ec o n d u c t e do nr e a lc h i pi m a g e st oc h e c ke f f e c t so f 行e u s u a l l y n s e dm e d i a nf i l t e l o p e r a t o r , t h a t i sr o b e r t s o p e r a t o r s o b e lo p e r a t o r p r e w i t to p e r a t o r , k r i s c ho p e r a t o ra n dl a p l a c i a no p e r a t o r e x p e r i m e n t a lr e s t i l t s s l l o x t h a tt h er o b e r t s o p e r a t o ri st oo u r c h o i c e t h i r d ，s o m ec o m m o n l yu s e df a s ti m a g em a t c h i n ga l g o r i t h mb a s e do ng r a 3 m a t c h i n g a r e d i s c u s s e d ，i n c l u d i n g f f ta l g o r i t h l n ，m t f l t i t t t d e s o r t i n g r e l a t i o n a l a l g o r i t h l n ，s e q u e n t i a l s i v n i l a r i l y d e t e c t i o n a l g o r i t h m ，m u l t i r e s o h i t i o np a g o d a s t r t t c t n r ea l g o r i t h ma n dg e n e t i ca l g o r i t h mt h e i rs t r o n ga n dw e a kp o i n t sa r ep o i n t e d o u tb ye x p e r i m e n t sa n d d i s c i p l i n ea n a l y s i s i ti sd e m o n s t r a t e dt h a ta l lt h o s ea l g o r i t h m s d on o ts a t i s f yt h er e a lt i m ed e m a n d ( 2 5 m s l i n e ) o ft h ei m a g er e c o g n i t i o ns y s t e mt o t t h ef u l l ya u t o m a t i cg o l dw i r eb o n d e r a n dt h ef i r s tf o u ra l g o 打t h i n sc a n tm e e tt h e m a t c h i n gp r e c i s i o nd e m a n d o ft h ec h i pi m a g et h a th a sar o t a t i n gd e g r e ef r o m - 7 。t o7 1 t o o n e x t ，t w oa l g o r i t h m st h a tm e e tt h er e a lt i m ed e m a n do ft h es y s t e ma n do n e a l g o f i t l u n t h a th a 、e a p p l i c a t i o n , , a k i e a r ep r o p o s e d t h a ti st sa l g o r i t h m t s g a a l g o r i t h ma n dm p s a g aa l g o r i t h m t sa l g o r i t h mi saf a s ta l g o r i l l n nb a s e do ni 、0d i l n e n s i o n st e m p l a t es a l n p l i n gi n l h ea l g o r i t h mt i l es e a r c hs t e pa n ds a n p l es e q u e n c ea t es e tt ol - e d u c et i l ec o m p u t a t i o n a l 列科学院研究生院顾t | 仑史 a b s t r a f t c o m p l e x i t y t i l ea l g o r i t h mi sb r o k e ni n t ot w os e a r c hp a n s ，w h i c hs e t t l e sd o w nt h e p r o b l e mo ft a r g e ts u b i m a g er o t a t i n g a n dg u a r a n t e et of i n dt h em a t c h i n gp o s i t i o n s p r e c i s e l y 1 ：u r t b e n n o r e s s d aa l g o r i t h m i su t i l i z e dt or e d u c el h e c o m p u l a l i o n a _ l c o m p l e x i t yo f t i l e a l g o r i t h t n t i l es i m p l i c i t 2 , o ft h ea l g o r i t l n nt h c i l i t a t e si t sh a r d u a r e i m p l e m e n t a t i o ne x p e r i m e n t ss h o wt h a tt i l er e a l t i m ed e m a n d ( 、- 7 2 0 m s ) a n dp r e c i s i o n d e l n a n d ( 4 9 i n ) o f t i l es y s t e ma r em e lw e l la n dt i l ea l g o r i t h misr o b u s ta n di l l l n l l n e 【oi 1 0 1 s c b e s i d e st i l e p r e p r o c e s s i n go ft h et e m p l a t ei m a g el i k et s ，t s g ae x p l o i t s t i l e g l o b a ls e a r c h i n gm e c h a n i s mo f t h eg e n e t i ca l g o r i t h mt of a s t e nt i l ec o n v e r g e n c eo ft h e a l g o r i t h m t ot i l e s u b o p t i m a l s o l u t i o nt ot i l e p r o b l e m o nt h i s b a s i s ，ap r e c i s e l y l o c a t i n gp h a s ei s i n t r o d u c e dt of i xt h el o c a t i o na n dr o t a t i n gd e g r e eo ft h eo p t i m a l t a r g e t s u bi m a g ei nt h es c e n ei m a g e e x p e r i m e n t s s h o wt h a tt h e a l g o r i t h m a l s o s a t i s f i e st h ed e m a n do ft i l e s y s t e l n i nf a c t ，t s g ai ss l o w e rt h a nt sd u et ot i l e t i m e - c o n s u m i n gp r e c i s i o nm a t c h i n gs t e ph o w e v e r , t h ea l g o r i t h mc a r lf i n dt h et a r g e t f o ras e c o n dt i m ew h e nt h ef i r s t s e a r c h i n gs t e p m i s s e dt i l e t a r g e t d u et oi t s n o n - d e t e r m i n i s t i c s e a r c h i n gs t r a t e g f a ss u c h ，t h i sa l g o r i t h mi sc h o s e nt ob et h e a l t e r n a t i v et ot sw h e ni tm i s s e st i l et a r g e t m p s a g ai sb a s e do nm p s aa n d g a ，e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt i l e a l g o r i t h mc a r lr e & m em a t c h i n gt i m e t os o m ed e g r e ea st i l ef i r s ta l g o r i t h m 、 et l l o u g h t o t l t ，i th a se l u c i d a t i n gi n f l u e n c eo nt i l ea b o v et w oa l g o r i t h m sh e r e ，、 ea l s og l 、7 e a b r i e fi n t r o d u c t i o nt oi t a tl a s t ，t h eg e n e r a l i z a t i o na n dt h ea n t i n o i s ea b i l i t yo ft h e s et h r e ea l g o r i t h m sa r e t e s t e d u s i n g a n o r d i n a r yi m a g e ，a n d t h e e x p e r i m e n t a l r e s u h ss h o wt h a tt h e s e a l g o r i t h m sm e e t t h o s ed e m a n d sw e l l ；t h e r e f o r e ，t h o s ea l g o r i t h m sc a nb eg e n e r a l i z e dt o o t h e ra p p l i c a t i o nt o o a l lt h e e x p e r i m e n t s a r ec o n d u c t e do i lt i l e t e s t i n gp l a t f b r mw ed e v e l o p e do n w i n d o w s 9 8 o p e r a t i n gs y s t e mu s i n gv i s u a lc + + 6 0 w h i c hi sa l s oi n t r o d n c e db r i e f l y i n t h i sp a p e r ，a n dt h ec h i pi m a g e su s e d , i ue x g e d m e n t s 瓠et a k e nf m mt 1 x e 扎l i ya u t o m a t i c g o l d w i r eb o n d e r0 1 1l i n e k e yl i o r d s ：d r i l ya u t o m a t i cg o l dw i r eb o n d e r m e d i a nf i l t e r e d g e d e t e c t i o n h i s t o g r a me q u a l i z a t i o n i m a g em a t c h i n g 中图科学院研究生院硕士论文 第一章引击 1 1 课题研究背景 第一章引言 全自动金丝球焊机是集精密机械、自动控制、图像识别、光学、超声波热胝 焊接等领域于啼k 的现代化高技术微电子封筏设备。丰要j h 于集成电路制造后t 序【| i 芯片焊盘与外框架问引线的焊接。 所谓封装是指安装半导体集成电路芯片所f i 的外壳。它不仪起着安放、同定、 密封、保护芯片和增强电热性能的作用，而且还是沟通芯片内部世屏与外部电路 的桥梁一芯片上的焊盘用导线连接到封装外壳的引脚上，这些引脚又通过印制板 上的导线与其他器件建立连接。因此，封装对集成电路起着重要的作用。 封装设备的发展与芯片技术的发展是相辅相成的。新一代i c 的出现常常要 求有额的封装形式，而封装形式的进步又将反过来促成芯片技术向前发展。 自从1 9 5 8 年美国德克萨斯公司试制成功世界上第一块焦成电路起，4 0 余年 来世界i c 产业经历了小规模、中规模、大规模、超大规模和特大规模集成电路 的发展阶段。单块半导体硅晶片上集成的元器件数日越来越多，集成电路的功能 和速度飞速提高，电子产品直朝着便携式，j 、型化，网络化和多媒体方向发展， 这种市场需求对电路组装技术提出了两点主要要求：其一是单位体积内信息的提 高( 高密度化) ：其二是单位时间内处理速度的提高( 高速化) 。为了进一步满足 这些要求，提高电路组装的功能密度便成为促进微电子封装技术发展的重要因 素。 与此对应，芯片的封装技术也经历了几代变迁，从d i p ( d u a li n 1 i n ep a c k a g e ) 、 q f p ( q u a df l a t p a c k a g e ) p g a 、b g a ( b a l lg r i da r r a yp a c k a g e ) 到c s p ( c h i ps i z e p a c k a g e 或c h i p s c a l ep a c k a g e ) ，再到m c m ( m u l t i c h i pm o d e l ) ，技术指标代比 代先进，芯片面积与封装面积之比越来趣接近于1 ，适用频率越来越高，耐温 性能越来越好，引脚数越来越多，引脚间距越来越小，重量越来越小，可靠性越 来越高，使用更加方便等等。 集成电路后封装，一般是从对完成制芯王艺的晶圆片进行测试开始，经过减 薄、清洗、划片、粘片、键台、塑封、电镀、印字、切筋成型，到器件最终编带 包装入库的整个工艺过程，中间要经过十多道工序，涉及二十多种设备。随着芯 片引脚数的增多，引脚问距不断减小，芯片上焊盘到外框架的连接越来越硝难， 从而使集成电路的键台环节成为后封装设备自动化中的瓶颈。 要提高键合环节的精度和效率，必须从改进机械系统、电控系统以及提高自 动图像定位系统的精度和效率这三方面入手。本课题以研究图像识别定位算法为 n 标，开发了全自动金丝球焊机r t 的图像识别定位系统软件，以提高键台环节的 中国科学院研究生疏硕论文 鼐一章引高 精度和效率。 1 2 课题研究的意义 近几年来，我国电子工业迅猛发展，但总体上我国的电子t 业雉础设施和制 造能力还远远落后于世界发达国家。据推算，我国每增1 0 亿块的l c 上寸装能j 需要进口约5 0 0 万美冗的设备。而我国在2 0 0 0 年的半导体器件产量就已经达到 2 1 8 1 3 8 亿块。 集成电路后封装设备在集成电路制造业是必不可少的。然而口前像共晶粘 片机和全自动金丝球焊机等核心设备仍需依赖进口。因此发展我国自己的微电子 产业，扣破对发达国家的技术依赖，加快半导体封装设备的国产化进程势在必行。 我国已能自主生产金丝球焊机，但尚未实现自动焊接。采用手动焊接，对焊 接人员依赖较大，难以保证焊接精度，因而工艺水平不高，生产效率低，不能满 足现代化大生产线的需求。因此只有实现金丝球焊机的自动化焊接才能大规模提 高产能。 图像识别技术是实现自动化的关键技术之一。图像识别是一个把未知图像与 已知图像联系起来的过程。对一个复杂的识别系统来说，它的内部常同时存在着 多种输入和其它知识共存的表达形式。识别是把输入的未知图像与系统记忆的幽 像进行结合，发现其联系的过程。匹配算法就是用来建立这些联系的一利t 技术。 目前，人们提出的图像匹配算法可以分为四大类型：关系结构匹配方法、神 经网络匹配方法、基于特征的匹配方法和基于灰度的匹配方法。但是现有的算法 并不能满足仝自动金丝球焊机中的实时处理要求，因此，必须给出一年叶嗵用于实 时处理的新方法。 1 3 课题主要研究内容 全自动金丝球焊机主要由三大系统组成：机械分系统、控制分系统、图像识 别分系统。其中图像识别分系统( p r s ) 主要目的是片j 来自动判识芯片上每个焊 盘( p a d ) 的绝对位置。 全自动金丝球焊机对图像定位系统提出了以下要求： 1 精度要求。由于焊接的精度要求高达4 p m ，所以定位结果直接影响着 焊接的精度。 2 速度要求。定位的快慢很明显的影响设备的t 作效率，闭此时算法要求 比较高，特别是在定位有旋转角度( 一7 。+ 7 0 ) 的芯片图像时更是如此。 3 适庶性要求。对十不同的材料表面、框架氧化程度和光照条佴都应有较 中圉科学院研究生院硕七论文 第一章引矗 高的识别率。 根据以上要求采用模板匹配的方法对芯片进行定位。论文从这三点要求出 发，对现有的图像匹配算法进行了比较研究，针对当前算法判识速度慢，难以满 足系统要求的缺点，进行了改进，设计了三种改进算法：m p s a g a 幽像匹配 算法、摹于模板抽样( t s ) 的图像匹配算法和基于t s g a 的图像匹配算法。其 - 1 一后两种算法在满足系统精度要求、适应性要求的同时，大大提高丁系统的t 作 效率。 为了对各种算法进行统一的试验对比，从中筛选最优算法。我们构建了全自 动金丝球焊机图像定位软件开发测试平台。在算法实现以及试验平台的构建的过 程中，充分利心了面向对象的程序设计思想，增强了软件可重用和可维护性，为 以后的研究丁作奠定了基础，并且为软件的扩充提供了保障。 1 4 论文总体结构 全文共分五章。以上引言部分介绍了本文的相关研究背景、国内外发展现状 以及面临的问题，概述了本文的主要研究内容。第二章首先简要介绍了全自动金 丝球焊机的工作原理，然后详细介绍了图像定位系统的基本原理，以及软、硬件 的组成。第三章针对第五章的图像匹配算法对芯片模板图像的处理要求介绍了几 种常用的图像处理技术，并进行了试验对比分析，选择了适合于本课题的算法。 第四章对现有的图像匹配算法的优缺点进行了对比试验分析，为算法改进提供了 重要的思路。第五章在上一章的基础上提出了三种改进算法，并时其进行了试验 比较，分析了每种算法的优缺点，并推广了其适用场合。在结束语【 f 对所作的t 作进行了总结，并对今后的工作进行了展望。 中陶科学院研究生院硕士论文第二章垒自动金丝球焯机图像证l j j i l 系统 第二章全自动金丝球焊机图像识别系统 本章主要内容： i 介绍了仝自动金丝球焊机的丁作原理。 2 介绍了两种计算机图像处理系统，即图像计算机处理系统和软件型图像 处理系统，并讨论了两种方案对本系统的可行性。 3 介绍了图像识别系统的软硬件构成。 4 介绍了幽像识别软件试验平台的构成。 2 1 全自动金丝球焊机概述 2 1 1 工作原理 全自动金丝球焊机的工作过程是利用高压打火器将直径2 0 3 0 j a m 的金丝 ( b o n dw i r e s ) 烧成球，然后通过超声波热压焊接方法将其焊接到芯片( c h i p ) 的电路引出端的焊盘( p a d ) 上，在系统x y z 三维运动控制下拉出设定的金丝线 形，并将金丝焊接到引脚框架上( l e a df r a m e ) 上，拉断金丝完成一条电路引线 的焊接过程。如此往复，直到整个i c 电路封装引脚全部焊接完毕，完成一只i c 电路的焊接过程。图2 i 所示的是l c 电路连接示意图。 图2 i 芯片焊接示意图 超声波热压焊接是一种嗣f 超声波频率的机械震动能量连接同种或异种材 质的特殊焊接_ t 艺。在超声波焊接系统中，散由换能器、聚能器、耦台杆和j ： 声栈构成声学系统。声学系统【 j 各个组兀的自振频率设计成同个频率，” i n 卢 波发牛器的振荡电流频率与其。致时，系统即产生谐振。并向焊接体输出弹性篪 中国科学院研究生院硕士论文第二章全自动仓丝球焊机删像母5 别系统 动能，配合静压力将机械震动能转换为t 件问的摩擦功、变形能和随之而产牛的 温升实现焊接体在词态下的连接。 将机械震动能量转变为工件问的摩擦功、变形能以及随后有限的温升，是在 母材不发生熔化的情况下实现的，所阻超声波焊接是种吲态焊接方法，不会对 半导体材料引起高温污染及损伤非常适台于微电子器件的封装t 艺。 2 i 2 控制系统结构 全自动金丝球焊机的控制系统结构如图2 - 2 所示，它是由丰控计算机、多轴 运动控制器、倒服电机、焊接头、摄像三l 、无闪烁灯源、图像卡以及x y 平台 等组成。摄像头取得的视频信号传到图像卡，经计算机处理，得到芯片焊盘的绝 对位置挫标，然后发信号给运动控制器，控制器再驱动伺服电机，调整x y 平 台，将芯片上的某一焊盘对准z 轴( 焊接头) 正下方之后焊接头下落到预定高 度进行焊接这样系统形成了一个闭环控制。可见，在整个控制系统小，图像处 理起着重要作用，所有的反馈量都是经图像处理后得出的。 i 0 控制 l 控制器r ，上位工控机 u 驱动器 u 伺服电机 焊头 数字信号 x - y 平台 工作平台 图2 - 2 全自动金丝球焊机控制系统结构 2 2 计算机图像处理系统 个汁算机幽像处理系统通常包括硬件环境和软件支持能力两方面。硬件 环境般分为两大类型，第1 种类型如图2 - 3 ( a ) 所示，在汁算机一l i 插入个图像 中国科学脘研究生疏硕上论文 第二一章全自动盒丝球焊机图缘站 州系统 采集卡，幽像采集卡畔，有利新图像存储器等专用硬件而处理下作由计算机利j l j 相应的软件完成，这种类型简称为软件型图像处理系统其处理速度完全取决一： 计算机c p u 的运算速度。另一种类型如图2 - 3 ( b ) 所示，系统利川专川硬件进行 图像处坪向丰机仅发布命令或进行小部分处理，幽像硬件处婵可以脱机进行。 冈此这类可称为图像计算机型图像处理系统。以下分别就这两大类型系统针对 本课题的可行性进行分析介绍。 臣d 图2 3 两类计算机图像处理系统 ( a ) 软件型系统( b ) 图像计算机 2 2 1 图像计算机处理系统 在对图像处理系统的速度要求很高时，如处理跟踪军事同标或从卫星大量图 像的原始数据时，都要求实时处理或准实时处理。准实时处理就是要求处理速度 和电视显示速度一样快，大约2 0 4 0 m s 处理完一幅图像。虽然处理速度仍不能 满足真正实时跟踪的要求，但已能达到大多数应用的要求。为了解决实时处理问 题，常用专用硬件解决其最慢的处理环节。如我国进口韩国型号为t w b - - 5 4 0 h 的全自动佥丝球焊机，采用一款低档的主机，c p u 仅为8 0 3 8 6 ，f e l 其主要处理环 节则是由块专用的图像处理硬件税构成的。并且采用了先进的高速d s p 完成 了图像的预处理以及识别定位工作，主机只作为发布命令时使片j ，发布命令后， 实际上硬件可以脱机处理，大大减轻了主机的负担。 此方案具有很强的处理速度优势。但也存在一定的缺点，开发图像计算机的 成本高，开发周期长，开发难度大，不利于产品快速投放市场。这对开发周期短 的项月也是一个致命的弱点。 2 , 2 2 软件型图像处理系统 软件图像处理系统中图像存储体部分是设计的难点，从图2 - 3 ( a ) 可以看出， 图像存储体有三个接口，而且这三个接口时序都不一致。一般电视摄像机输入近 似1 0 0 n s 像冗，这个速度要求存储芯片选用5 0 n s 的品种，而通j t 控计算机的 存储嚣很难达到这样快的c p u 控制存取速度。图像存储器输出刘显示器常j | ! ! 速 率也是1 0 0 n s ，而且是连续不断的传送数据显示。图像存储器的第三端与汁算机 中国科学院研究生院硕士论文 第二章仝自动仓丝球焊机酗像识别系统 相连，由c p u 随机存取，一般来讲存取速度较慢。因此设计一个三端的图像存 储体是硬件环境的主要问题。幸运的是现在许多计算机厂商生产了配合p c 级计 算机的通用插件，通常称之为图像采集卡它包括了a i d ，d t a ，幽像存储器和 - 些操作用的查找表。许多处理变换可朋查表的方式提高运算速皮。 由于图像l i 每个像元都由主机取出进行处理，所以对整幅图像的处理速度完 全依赖于计算机执行软件的速度。一般来讲，都希望处理速度快一些。那么可以 从两方面来提供处理速度。是提高计算机本身的硬件指标，尽量选川处弹速度 快的计算机。一- 是优化图像处理算法，开发实j j 性强的快速算法。般通过这两 方面是可以获得较快的整幅图像的处理速度的。 这种系统的建立只需赌买一块通用图像采集卡便能迅速展开工作，大大 缩短了开发周期，节约了生产成本，开发的成功率也很高。但这种系统往往只对 静态图像或处理数量不多的图像的应用领域较适合。 2 3 全自动金丝球焊机图像识别系统 图像计算机处理系统虽然能取得很好的处理速度，但图像计算机般是针对 某一应用场合开发的，专用性较强。目前，市场上没有适合于全自动金丝球焊机 图像识别系统的专用图像计算机。这样开发周期势必拉长，不利于产品的快速上 市。另外专用图像计算机的开发难度很大，需要专业的图像处理软硬件开发人员。 所以，这个方案不可取。 虽然软件图像处理系统的实时性不高，但开发简单，成功率高。我们可以选 用高档主机和开发先进的快速算法来称补处理速度的不足。另外有鉴于该系统开 发周期短、资金少等特点。权衡利弊我们采用了软件图像处理系统方案。 2 3 。i 硬件组成 全自动金丝球焊机图像识别系统硬件构成如图2 - 4 所示，主要由光学及照明 系统、图像采集系统、数据接口系统组成。 由于每批6 0 只芯片按照1 0 行6 列分布在高温焊接平台上，每只芯片都需要 进行图像识别定位，因此无闪烁照明灯源、光路和c c d 图像采集传感器都安装 在x y 工作平台上，与焊头一起运动。工作时先根据芯片间距计算下芯片的 粗略位置，在到达预定位置后再进行图像抓取。 图像采集卡采用了e u r e s y s 公司的p i c o 0 2 ，它的图象采集速度快。可以缩短 图像识别的整体时问。在软件识别出芯片焊盘的绝对位置后，要立即把数据传送 给运动控制器。由于运动控制器与主机是通过 s a 总线连接的，数据传输速度比 较慢为了加快传输速度，采用了高速的双口数据传输方式把数据迅速送给运动 控制器，以操纵焊头进行焊接。 陶科学院研究生院硕七i 仑文莉章仝闩动台蝗球弹帆削像0 i ) j 最筑 j 1 5 i ：- 4 坎刊f 4 b k i 斟 2 3 2 软件分析 全f f 动金缝球焊机蚓像订 别系统的 i 曼r 的越测醚芯片i ：符个焊融发外r l 脚框架的精确似骨，提供给好接机构丈蚬焊接。软什n ：系统t i 仃译足辑重n 0 地 似+ 神i 系统硬件确定的情况r ，它决定臂u 别速度和u ：别精瞍。 精度要求： 十芯”焊虢向糨约为9 0 u m 9 0a m ，而金煌尾 夺绎岛胍烧球 j i 端阿f t 达到5 0 6 0 u m ，然肝通过焊接火的超声热爪焊，球端爪缩变j 肜，吱g 小 接触f f i f 积达剑厂7 0 8 0 u m 。j 州时t 艺要求芯l 焊接肝，焊。 剑焊僦的边距人_ f 5 u r n 。通过以 ：分析，堂求芯f 定似精度为4 p r o 。芯 经过光学系统、c c d 处理肝转换为汁弹机qr 的吲像h 像的每个像素对心的实际尺、r 为2 9 i n ，所以 n h 像定位r | 】要求误并为2 像素；， 述皮要求：焊接指标要求为4 线s ，除去芯 传送刊焊头移动r t j f h j ，j 尖际焊 接迷嫂为12 0 m s 线。j ：要时川分配为p u 部分：焊艇u 别定能、焊船焊接、绒形 t 线、川脚框架焊接。l 川i i - s , 6 i 是焊接丁岂决定的，苁约需9 5 m s ，圳此 嘤水焊微u ! 别定位时| h j ，1 i 能超过2 5 m s i 。 可见，为j 7 实现玳偷m i 可靶的焊接，需要一个柑们m o i 速h 像u ：别软r f 是 j 。共5 ，j ：l 焊烈十对十芯h 术说比较小，成像磺拇女手，人叭也f f 小埸辨泌， 对 十l = 7 ：机求说) j i l j l 难j ! ： ：业人。f i l 垃对每平1 - 芯”l n j 击焊涨十对占hn 0 们芹足吲逆 n 0 ，圳i 阿可以h 宅人丁j i 甘删定烬黼十对1 芯o t j 州对f 簧然f , f l 川j | 冬| 傈以 c 二i 司科举院研究生院母l = 论芷 第簪个门动盒链球焊帆矧像识别系统 别软干1 ：确定卷 的绝对付胃，进n j 汁剪焊瑚的绝对似芹。这样，将对博黜的定 似疏化为对芯”的定位，一方m ，可以f k 证较r 西的i j 别准确半，另方而h 爱 u 别芯片眦可以定化芯卜所f 焊触的似簧，恻m 提商ru 别效率。 嘤 1 定卷的绝对似钭，需嘤i 刽像旺配技术，我们将n j 讹【j u i 细介绍、这 i l 【允介绍一卜软件的组成【! 也禽i 人模块：模板训劫、模块、劁像u ! 别梭块f 投 靠t ：庠史模块。川，f 斜像u ! 别模块( ! 土j ；l h 像的采架、颅处唧、模扳旺配等。幔 托乏训约；f 墓块也十l l 模扳的选扦、m 处用、焊船m 出 r i ，荆对f i 背的测髓等。数捌j 苹 模块i i 爱( ! 土女 存储扦种芯j j - 的馍扳f j 息、，f 线州表、焊稍干对十芯 的毕畅i 等数 j ：l l ：。再模块? r i 成及数j ；| ：流 冬1 如蚓2 - 5 所示。 h2 - 5 图像口删系统软件构成示意圈 2 3 3 识别软件试验平台 ( t ! - t i ：发全| ，i 动金缝球焊机h 像u 别软什过程r t ，搭建一个合理的试验、i i 台是 f 分必复的。它4 i 仪为各f t 一像处婵u 别算法提供r 一个统一的试验环境，使小 m 的弹泫i ! 行比较j i 仃实际意义，i n 几可以快速优化、筛选符利t 算法组合，人幅 f ! ： ：提r 4 厂丌发速瞍，为开发新的快速算泓i 奠定j ，“物质”摧圳。卜所简曼介绍一 ? 试验”t 仃的类蚓。 亿试彰j 、f i 行的丌发过秤lj r 创建的炎i 茛仃：俐像阮i 吲类、l 冬 像聚集炎、 铡像 钟：上炎、蚓像炎、蚓像处胛钟江类、 | 像眄配算浊类、g a t s 炎、m p s a g a 、 t s 炎等。卜晰介绍一卜以：件炎的j j j 能、川途； 2 t 1 1 3 之m 的父系。 ( 1 ) 旧像视h 炎 i ：复川十丝示j | i h 像卜采集的场艟h 像、横板剖像、肚 t ，旧利学院讲究牛院硕士i 仑卫 幕节争门动盒皑球鹊! 机阿像05 ”l i 最统 配结粜等。 ( 2 ) 蚓像采集类封装r 蚓像采集扣的驱动棵序，通过此类可拎制采馕k 的t f r ：l x 态完成图像的采集传输j d 能。h 仃h 像朵