（电路与系统专业论文）基于机器视觉的表面贴装晶片检测与定位技术研究[电路与系统专业优秀论文].pdf

摘要 超声波铝丝焊接机是运用于半导体生产工序中晶片与引脚外框架间引线的 焊接的设备。针对我国半导体生产中超声波铝丝焊接机半自动化的现状，本文提 出了焊接机自动化设计的思想。主要讨论了超声波铝丝焊接机的图像采集系统、 自动控制系统以及图像处理系统。其中图像处理系统是本文的核心。 整个系统是利用计算机和p l c 本身的资源实现了上位机对p l c 的实时监控， 建立了一套专用的表面贴装晶片及引脚框架的视觉检测系统，通过c c d 摄像机 和图像采集卡将晶片的图像采集到计算机，并利用图像处理算法编写相应软件对 图像数据进行处理和检测，实现了表面贴装晶片的智能化检测与定位。论文主要 围绕以下几个方面展开：( 1 ) 系统的设计及系统标定的研究；( 2 ) 晶片焊接平台的 控制策略；( 3 ) 晶片图像检测定位算法及坐标修正的研究。 在晶片存在略微的偏移及旋转情况下，系统在速度和精度方面依然能满足焊 线生产的需求。系统大大改善了当前芯片封装工艺的生产状况，具有非常好的市 场前景，同时对于我国开展半导体后工序制造设备的开发，也具有重要的参考价 值。 关键字：机器视觉，图像处理，模板匹配，p l c 通信，晶片定位 a b s t r a c t u l t r a s o n i cw i r ew e l d i n gm a c h i n ei su s e d i ns e m i c o n d u c t o rm a n u f a c t u r i n g p r o c e s s e sw h i c hw e l d i n gt h ec h i pa n dp i no u t s i d et h ef r a m e w o r k i nv i e wo ft h e s e m i c o n d u c t o rp r o d u c t i o no fu l t r a s o n i cw i r ew e l d i n gs e m i a u t o m a t i cm a c h i n eo ft h e s t a t u s ，t h i sp a p e rp r e s e n t st h ed e s i g no ft h ea u t o m a t e dw e l d i n gm a c h i n et h i n k i n g f o c u s0 nt h eu l t r a s o n i cw i r ew e l d i n gm a c h i n e si m a g ea c q u i s i t i o ns y s t e m s a u t o m a t i c c o n t r o ls y s t e m sa n di m a g ep r o c e s s i n gs y s t e m i m a g ep r o c e s s i n gs y s t e mw h i c hi st h e c o r eo ft h i sa r t i c l e 砀ew h o l es y s t e mi su s eo fc o m p u t e r sa n dp l c sr e s o u r c e sw h i c hr e a l i z et h ef a c t m a tp cr e a l t i m em o n i t o t i n gt h ep l c i ts e tu pas p e c i a ls u r f a c e - m o u n tc h i pa n dp i n o ft h ef r a m e w o r ko ft h ev i s u a ld e t e c t i o ns y s t e m c c dc a m e r aa n di m a g ea c q u i s i t i o n c a r ds e n dt h ec h i pi m a g et ot h ei m a g ec o l l e c t e dc o m p u t e r s w em a k eu s eo fi m a g e p r o c e s s i n ga l g o r i t h m st op r e p a r et h ea p p r o p r i a t es o f t w a r ef o ri m a g ed a t ap r o c e s s i n g a n dt e s t i n gt h a ta c h i e v eas u r f a c em o u n tc h i pi n t e l l i g e n td e t e c t i o na n dl o c a t i o n p a p e r s f o c u so nt h ef o l l o w i n ga s p e c t s ：( 1 ) s y s t e md e s i g na n ds y s t e mc a l i b r a t i o ns t u d i e s ；( 2 ) w e l d i n gc h i pp l a t f o r mf o rt h e c o n t r o ls t r a t e g y ；( 3 ) c h i pd e t e c t i o na n dl o c a t i o n s a l g o r i t h ma n da m e n dc o o r d i n a t e s r e s e a r c h 砀es p e e da n da c c u r a c yo ft h es y s t e mi ss t i l la b l et om e e tt h ew e l d i n gp r o d u c t i o n l i n ew h e nc h i p si m a g eh a sas l i g h ts h i f ta n dr o t a t i o n i th a sg r e a t l yi m p r o v e dt h ec h i p p r o d u c t i o nt e c h n o l o g y , w h i c hh a sav e r yg o o dm a r k e tp r o s p e c t s a tt h es a m et i m e ，i t i sa l s oa ni m p o r t a n tr e f e r e n c ef o rc h i n at h a tc a r r yo u tt h es e m i c o n d u c t o re q u i p m e n t m a n u f a c t u r i n gp r o c e s sd e v e l o p m e n t k e y w o r d s ：m a c h i n ev i s i o n ，i m a g ep r o c e s s i n g ，t e m p l a t em a t c h i n g ，p l c c o m m u n i c a t i o n ，c h i pl o c a t i o n i i 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，“基于机器视觉的表面贴装晶片检 测与定位技术研究 是本人在指导教师的指导下，独立进行研究工作所取得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表 或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以 明确方式标明。本人完全意识到本声明的法律结果由本人承担。 作者签名：罩赵衄年土月丛日 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位论 文版权使用规定”，同意长春理工大学保留并向中国科学信息研究所、中国 优秀博硕士学位论文全文数据库和c n 系列数据库及其它国家有关部门或 机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权长 春理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索， 也可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：驰么l 4 年立月丛日 指导导师签名：年土月日 1 1 引言 第一章绪论 在半导体的生产工序中，作为后工序的晶片生产过程的晶片检测和封装过 程，都涉及精密工具和设备，且具有非常强的竞争力。据不完全统计，我国承担 的半导体后工序，如半导体三极管、二极管、集成电路引线键合的超声波金丝球 焊接工序，在国际上占有一半以上的份额，且打主力的是中小型企业。这些企业 目前使用的超声波铝丝焊接机多数还靠手工操作或半自动化，其工作效率和产品 合格率都很低下，解决的办法就是实现设备的自动化。 半导体晶片光学检测设备具有快速、精准等特点，在半导体工业生产中的许 多环节得到广泛应用，随着国内半导体加工及现代工业企业的不断发展，对自动 光学检测设备( a o i ) 的需求量日益增加。据统计，最近五年，我国集成电路行业 销售收入增长率增幅保持在2 8 以上，进入2 0 0 6 年，国内集成电路产业依旧保 持了较快发展势头，同时全球i c 行业也进入了新一轮景气周期，g a r t n e r 预测 全球半导体行业2 0 0 7 2 0 0 8 年将会保持10 左右的稳定增长，全球半导体行业稳 定的增长态势，将会更好地保障我国半导体的快速增长。 自主研发半导体晶片光学检测设备对于填补国内空白、缩短我国半导体工业 生产与世界水平的差距、打破国外垄断的局面、提升自主创新能力、提升我国精 密设备制造水平都有深远的意义。 所以我国“十一五 规划将集成电路制造业确定为核心基础产业之一，明确 要加快集成电路、软件、关键元器件等重点产业的发展，力争为集成电路产业提 供最有利的发展环境。随着国家中长期科学和技术发展规划纲要( 2 0 0 6 一- 2 0 2 0 ) 和“十一五”计划的实施，国家正在研究拟订“软件与集成电路产业发展条例”， 制订了“集成电路产业研究与开发专项资金管理暂定办法 等一些有针对性、可 操作性的政策细则，为集成电路产业创造了良好的发展环境与条件。 在此背景下，我们结合自己技术特长与别人共同合作开发了晶片自动焊接系 统，提出一种自主研发的识别与定位算法及其实现技术，实现了晶片的自动化焊 接，具有良好的稳定性和鲁棒性。 1 2 本课题的研究背景和意义 1 2 1 研究背景 目前国内集成电路光学检测设备的制造基本属于起步阶段，集成电路加工 中i c 表面检测大部分由半自动完成，精度差、识别率低、受外界不确定因素影 响严重，导致加工质量始终低于国外水平。如封装加工，国外通过环境控制，并 利用光学自动检测系统进行检测及控制，加工合格率在9 5 左右，而国内只能达 到8 5 左右，使我国在国际分工中处劣势，只能加工低端产品。而从国外引进自 动光学检测设备价格昂贵、定货周期长、部分功能不适应我国使用要求、供应商 难以及时提供维修服务。集成电路技术和产业的发展，已成为制约我国信息技术 以及经济发展的严重瓶颈。因此，大力发展集成电路制造业是我国近期产业发展 的一项重要目标。 尽管我国集成电路产业在近年来有了快速的发展，但在总体上与发达国家相 比，还存在很大差距，主要表现在三个方面：一是产业规模小，2 0 0 2 年全国集 成电路销售额仅占全球集成电路销售总额的2 6 ，占国内市场需求份额不到 2 0 ，大量产品还要靠进口；二是创新能力弱，表现在关键核心技术与知识产权 掌握少，产品设计开发能力弱，重点整机产品所需要的高档i c 产品主要靠进口， 高级设计人才和工艺开发人才缺乏：三是支撑业发展滞后，半导体生产线设备、 仪器和材料主要依靠进口的局面尚未改变。 半导体制造后工序中的引线键合设备在集成电路制造业是必不可少的。我国 已能自主生产超声波金丝球焊接机和超声波铝丝焊接机这两种引线键合设备，但 尚未实现自动焊接。采用半自动焊接，对焊接人员依赖较大，难以保证焊接精度， 因而工艺水平不高，生产效率低，不能满足现代化大生产线的需求。 1 2 2 研究意义 虽然国外有了相关的成熟产品，但是很少有相关的公开技术；而且从国外引 进自动光学检测设备价格昂贵、定货周期长、部分功能不适应我国使用要求、供 应商难以及时提供维修服务。自主研发半导体晶片光学检测设备对于填补国内空 白、缩短我国半导体工业生产与世界水平的差距、打破国外垄断的局面、提升自 主创新能力、提升我国精密设备制造水平都有深远的意义。从半导体技术发展趋 势来看，晶圆已向2 0 0 - - - 3 0 0 m m 发展，线宽向0 1 3i lm 发展，此类产品生产过 程中的缺陷将达到微米级甚至纳米级。半自动检验无法保证精度及生产、工艺需 求，因此，需要高精度、高速度的自动化光学检测设备与之配套。这方面国内的 2 研究起步较晚，对表面焊接装备的需求也主要依赖进口。随着对装备性能指标要 求的不断提高，机器视觉检测技术在其中发挥着越来越重要的作用。在今后一段 时间里，市场对于自动焊接设备的需求会更加旺盛，尽快开发具有自主知识产权 的国产自动焊接设备是我国电子专用设备行业发展的重点同时也具有非常大的 市场前景。 1 3 国内外研究现状 焊接机是表面组装技术( s m t ) 中最为关键的设备，它通过位移、识别、定 位、焊接等步骤，将表面焊接器件快速而准确地焊接到指定的位置。目前国内外 普遍采用计算机视觉系统完成焊接机生产中对焊接器件的检测和定位任务。如何 针对不同类型晶片采用合适的图像识别算法满足焊接过程的实时性和高速高精 度要求，是s m t 设各国产化过程中迫切需要解决的问题。 在国外，从八十年代起就开始了表面封装技术中视觉检测的研究。视觉系统 已经广泛应用于p c b 板和晶片缺陷的视觉检测：z u w a i r i ei b r a h i m 等提出了基于 小波变换的印刷电路板检查系统；s m a s h o h o r , j r e v a n sa n dt a r s l a n 等【3 4 】提出了 基于遗传算法的p c b 典型缺陷自动视觉检测；p e t e r a t h a n a s ，l y n na b b o t t 等【3 6 】通 过实践提出了一种可行的晶圆机器视觉方法； 相对于国外，国内在这方面的研究就要欠缺一点，但随着国内机器视觉市场 的兴起以及半导体行业的发展，已经有不少企业和高校科研机构在开展这方面的 研究，取得了一定的成果。郭强生等【9 l 利用图像处理和模式识别技术，完成了待 检测晶片的定位与墨点、缺角、崩边、角度偏移等晶片缺陷的检测；邓秀娟，赵 亮 1 3 1 等利用轮廓提取方法，提出了一种适合于机器人视觉技术的图像模式识别算 法，对求得对象物精确位置方面有所提高。梁伟文，马如震【l o 】对视觉定位系统的 高精度多功能贴片机系统进行了的研究。最近几年，国内有一些公司已开始研究 生产自动化s m t 产品。目前，国内研究机构中，广东工业大学，中国电子科技 集团公司第四十五研究所，华南理工大学等研究机构已经研制出了相关的产品， 并有相关的产品出售。 一般来说，目前焊接机中常用的图像识别定位算法有模板匹配和特征点模式 匹配等，近来有人也尝试了基于分水岭算法和基于m a r k o v 模型的彩色图像分割 i t 2 1 孤j ，由于过分分割问题，还都处于研究阶段；基于神经网络算法和遗传算法的 模板匹配【】【3 8 】，在焊接机运用中也处于研究阶段。而前两中算法，模板匹配算法 不仅需要建立模板图像，而且它的检测效率往往较底，角度计算也不够高，并且 难于处理图像伸缩，旋转等复杂情况下的定位问题，因此模板匹配算法在球栅列 阵封装技术( b g a ) ，即多引脚小间距i c 器件的定位识别中不适用【1 4 4 3 1 ，而点模 3 式虽然能将满足一定几何变换关系的同一场景的两副图像中的点匹配成对，从而 识别和定位物体，对检测特征点少的图像可以达到较好的效果；但用于检测特征 点较多的图像，其运算量将大大增加，不进行一定的优化，很难满足焊接机的适 时性要求。所以，在满足适时性的要求下，改进算法来提高检测的精度要求是本 课题的一个难点。 1 4 论文的主要内容 本课题所完成的自动晶片焊接系统的目标就是针对中小企业目前现有的半 自动超声铝丝焊接机设备进行的。在原有的基础上，重新设计了自动焊接系统的 结构，研究并开发了自动晶片焊接系统。 自动焊接系统主要由三部分组成：图像采集系统、自动控制系统、图像处理 系统。本论文的核心是图像处理系统，因为图像检测定位的精度对晶片的准确焊 接起了关键性的作用。 在整个系统中光源、镜头、c c d 摄像机、图像采集卡属于图像采集系统， 主要功能是完成晶片图像的采集( 模拟量信号转化为数字信号的过程) ，并送入控 制计算机；工业控制计算机是图像的处理装置，主要完成晶片图像的处理和分析， 处理结果转换成运动控制参数，传递给运动控制部分；自动控制系统根据传递来 的控制参数生成运动摔制指令并控制晶片台运动，使晶片到达目标位置。 在系统硬件确定的情况下，软件决定着识别速度和识别精度，为实现准确而 可靠的焊接，需要一个精确而高速的图像识别定位软件支持，因为晶片比较小， 人眼往往不易辨别，对计算机来说判识难度更大，引脚框架同样也如此。因此， 需要用图像处理技术来定位晶片上和对应的引脚框架上焊点的位置。 图像处理技术分为图像识别与定位。其中，图像识别是一个把未知图像与己 知图像联系起来的过程。匹配算法就是用来建立这些联系的一种技术。准确识别 晶片是系统实现精确定位的前提条件。讨论分析目前常用的基于灰度的快速模板 匹配技术，着重研究晶片识别中所采用的关键技术模板匹配。经实验对比发 现，多分辨率的模板匹配算法具有较高的计算速度和定位精度，比较适合于高要 求的工业应用。为进一步满足系统的要求，本文改进了多分辨率的模板匹配算法， 大大提高了识别的精度与速度。图像定位是通过半自动示范学习，使系统获取焊 点的位置信息。当在自动焊接晶片的过程中，图像定位实时的修正焊点的坐标来 进行焊接，实现设备的自动化精确定位焊接。 同时，由于我国半导体后工序中占主导地位的是中小型企业，因此要求设备 的成本较低，应为中小企业所能接受的范围。这样才会有市场。鉴于此，在设计 中所使用的硬件都是中低档的产品，尽量用软件去弥补硬件的不足。这样对系统 4 所采用的流程和算法提出了更高的要求。 对于课题完成的自动晶片焊接机，需达到以下的技术要求： ( 1 ) 高速性 自动焊接机与半自动焊接机相比，在速度上，焊接过程至少要提高2 倍以上； 一般完成半自动晶片焊接过程至少要4 秒，所以要求自动焊接机完成一个过程至 少在2 秒之内。并且在正常情况下，系统一经启动要连续不停的工作。自动焊接 机能显著提高生产效率。 ( 2 ) 精确性 系统必须有高度的定位精度。在运行过程中自动进行焊点位置的定位焊接， 识别精度要求在2 个像素之内；晶片定位与伺服电机坐标控制误差在+ 5 p r o ： ( 3 ) 易用性 它需采用w i n d o w s 系统开发，此外人与计算机经常存在交互关系，所以人 机对话方式要灵活简单，工人经过简单的培训即能熟练的使用，无需特别的技能 要求。对同类型工件只需进行一次半自动的示范操作，即可对该类晶片实现自动 的定位焊接。 ( 4 ) 适用性 适应性是指焊接机具有适应不同引线键合要求的能力，主要是指能焊接晶片 的类型，开发出来的自动焊接机应能焊接尽可能广泛类型的晶片类型。能对一至 多条焊接的晶片进行焊接。对于框架不同，焊接数量不同的元器件，如二极管， 三极管，集成电路等半导体器件的内引线键合，只需要做供料器的更换、定位工 作台的调整、劈刀的调整更换等工作，而不需要再对程序做大规模的修改。 ( 5 ) 易于维护 系统可靠性高，易于维护；无需特别的维护人员，只要能维护半自动机，即 可维修本机器。 第二章自动超声波铝线焊接机设计 本系统设计包括硬件和软件两方面的内容。一方面由于课题完成的自动焊接 机是基于半自动焊接机基础之上设计，必须充分利用现有的资源，合理设计硬件 系统，为实现所要求的功能提高支撑平台；另一方面由于系统对精度和速度的要 求很高，并且引线键合现场存在各种干扰，所摄取的图像往往并不十分清楚，特 征不十分明显，因此，图像识别定位算法的设计成为关键部分。 2 1 自动焊接机控制系统组成 自动超声波铝线焊接机的控制系统组成，见图2 1 。焊接机的控制系统主要 有工作平台、焊头，图像采集系统，工业控制计算机，p l c 等组成【1 0 1 。 图2 1 晶片焊接机系统组成 工作平台是焊接机的载物平台，通过单一方向的焊接基架传送，并有压片来 固定基架，完成送料的工序。 焊头是一个x y - z o 四个自由度的机械运动机构。由焊头完成旋转、移动、 焊接、切线等功能，通过超声波用铝线将晶片和引脚连接起来。 工业控制计算机的从功能上又可以分为图像处理系统和自动控制系统。工控 机通过操作界面实现人机接口。 图像处理系统应用图像处理技术，对采集系统获得的晶片图像进行检测，给 出识别并计算晶片精确的位置坐标。 自动控制系统进行焊接工序控制，通过p l c 对机械运动机构的进行控制。 工作平台和焊头都在自动控制系统的控制下协调按步骤工作。 6 为了使自动超声波铝线焊接机能够用于实际环境中，需要尽可能的提高晶片 检测定位的效率。常用的方法有，一是提高计算机本身的硬件指标，尽量选用处 理速度快的计算机：二是优化图像处理算法，开发实用性强的快速算法。一般通 过这两方面是可以获得较快的整幅图像的处理速度的。但通常，为了能迅速展开 工作，缩短了开发周期，节约生产成本，这种系统的建立只是购买一块通用图像 采集卡，通过软件去弥补硬件的不足，而且开发的成功率也很高。 2 2 自动焊接机系统流程及示意图 自动焊接机是由伺服电机、无闪烁光源、c c d 摄像头、图像采集卡、工业 p c 机、多轴伺服电机运动控制器、焊接控制板、x y z 平台等组成。 系统协作过程是这样，首先由工作平台将焊接基架一个待焊接元件输送到焊 接工位，并由平台上的两个压片将元件固定，从c c d 摄像头输出的晶片与引线 框架图像的视频流通过视频线传输到图像采集卡( 采集卡在智能相机盒内) ，系统 自动在一定时间隔从图像采集卡捕获- n 图像数据到内存缓冲区，然后利用模板 匹配识别晶片，而后修正预存的焊点坐标为精确的晶片焊点的坐标。按次序发信 号给p l c 控制器，控制器再驱动伺服电机，调整x y 平台，将晶片上的某一焊 点对准z 轴( 劈刀) 正下方，之后通过串口通信劈刀下落到预定高度进行焊接，然 后迁移焊接到引脚的焊接结束位置，并焊接，最后切断焊接。这样就完成了一块 元件的引线键合。 当一个元件的全部焊接( 可能有多条) 都焊接完毕，则工作台压片抬起，释 放元件基架。焊接基架在工作台控制下向下移位，系统先根据晶片间距计算下一 晶片的粗略位置，在到达预定位置后再进行图像抓取。这样系统形成了一个闭环 控制。当然整个过程的实现需要实时和协调的进行。 可见，在整个焊接机系统中，图像处理起着重要作用，所有的反馈量都是经 图像处理后得出的，它决定了整个系统的晶片焊接的精度和效率。 7 2 3 图像采集系统 2 3 1 照明系统 图2 2 自动焊接示意流程图 照明系统用于辅助摄像头获取更高质量的图像，它由光学组件及可调光源组 成。光学组件对l e d 晶片进行一定倍数的光学放大，使c c d 获得大小适当的图 像，提高整个图像识别系统的分辨率，改善可视化效果。光学组件由镜头( 凸透 8 镜) 和与之配合安装的镜筒组成。可调光源是为了突出拍摄目标的特征，使目标 不同特征之间在不同工作环境下有足够的对比，提高目标的可识别性。光源是图 像采集系统的重要环节，设计光源时需根据目标图像特征的不同，采用同的颜色、 强度及照射方法。光源的照射方法可分为背向照明、前向照明、结构光和闪光照 明等。背向照明是被测物放在光源和摄像机之间，其优点是能获得高对比度的图 像：前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装i 结构光照 明是将光栅或线光源等投射到被测物上，根据它们所产生的畸变，解调出被测物 的三维信息：闪光照明是将高频率的光脉冲照射到物体上，照相机拍摄要求与光 源同步，这样能有效地拍摄高速运动物体的图像。 在实际应用中应注意以f 几点： ( 1 ) 相对光谱功率分布应与c c d 的光谱响应相匹配； ( 2 ) 安装位置与方向应保证视场有足够的照度； ( 3 ) 发光效率、光亮度要高； ( 4 ) 照射光源的选择必须要了解被操作的晶片咀及框架的特性，即晶片以 及框架在光作用下产生的反射、透射、发射等，尤其是反射特性。这样才能为视 觉系统提供最有效的光源波长范围。 由于晶片与框架特性的不同，在不同波长光照射下会有不同的吸收及反射。 也就是酷，晶片与框架光反射率差异在某一特定波长域内特别大，这样就可增强 所获图像中晶片与框架的灰度对比，从而使焊点定位更为容易。 根据以上介绍的光照系统的理论以及结合自动焊接系统的实际情况，研究笈 现，本系统的照射光源在实时检测中。以c c d 摄像头作为传感器和2 2 0 v s w l e d 条型白色荧光灯作为光源。选用条型白色荧光灯作为光源是因为在图像检测 阶段定位图像坐标是基于灰度的相关性来实现的，选用其他光源对图像的灰度 都将产生影响；将其装于摄像头前，一方面，可以获得比较清晰的图像，另一方 面，便于安装也节约经费，适合于低成本的自动焊接机的要求。 幽2 3 测试中的l e d 光源条形方式 2 3 2 图像采集卡 图像采集是图像识别的一个重要环节，它将对象的可视化图像特征转化为能 被计算机处理的数字信号。为降低生产成本，可选择软件功能较弱的智能单板相 机，然后自主开发必要的图像处理及识别函数。综合考虑，选择了v c s b c 4 0 1 6 智能单板相机【2 7 1 2 ”。 幽2 4v c s b c 4 0 6 相机 v c s b c 4 0 1 6 是一个速度非常快的智能单板相机，可每秒执行3 2 0 0 百万条指 令相当于26 g h z 奔腾处理器是当令世界上最快的智能相机之一。拥有3 2 m b d r a m ，4 m b e p r o m ，可每秒钟获得1 6 帧1 0 2 4 7 6 8 像素的图像。 v c s b c 4 0 1 6 拥有“v c r t ”多任务操作系统。可以在程序执行的同时并行 的执行用户接口命令。 这款相机有一个基于p c 机1 0 0 m b i t 以太网的视频输出口，它可以以绝对延 时时自j 捕获图像即使速度非常快也可以得到一个非常清晰的图像。 对于一个标准的场曝光相机来说，获取图像的过程一般是得到触发，丌始曝 光然后读出像素数据，v c s b c 4 0 1 6 搠有最优化的图像采集方法，可以并行执行 曝光与读出数据两项工作。 所有的v c 相机都是为工业上的使用而设计制造的。每一款都有很好的防震 功能，并且都为多种外部设备提供i o 接口。还为p l c 提供容易的面板操作 柬处理复杂的控制任务。 表21v c s b c 4 0 1 6 相机参数 达到4 6 7 岬低速：可调整到最大值为2 秒来适应曝光时间 扫描方式整幅图像场曝光 帧频 1 6 f p s 捕获 异步的，受程序控制，外部触发，全屏， 同步控制 a d 转换1x1 6 7m h z 1 0b i t 处理器3 2 0 0m i p s ，t i4 0 0m h z t m $ 3 2 0 c 6 4 x x 视频输出基于p c 的1 0 0 m b i t 以太网 图像数据存储器3 2 m bd r a m 闪存 4m b y t e s ( 永久性存储器) ，可在系统中 编程。 输入输出口2 路输a 4 路输出2 4 v 光藕隔离，输出 4 x 4 0 0 m a ，t t l i o 口4 路输入4 路输 出，1 个图像触发器输入，1 个闪存触 发器输出。 接口1 0 0m b i tt c p i p 以太网 供给电压2 4 v + - 2 0 d c 。最大3 0 0m a 电连接t o ( d c 输入，p l c ，1 2 芯) ，e t h e m e t ( 8 芯，t t li o ( 2 0 芯) ，l e d 照明光信号 ( 4 芯) 体积大约6 0 8 0 x 3 5 m m 2 3 3c c d 摄像头 在自动晶片焊接机视觉采集系统中，c c d 是不可缺少的器件。c c d ( c h a r g e c o u p l e d d e v i e e ) 全称为电荷耦合器件，它具有光电转换、信息存贮和传输等功能。 衡量系统精度的标准是像素值，即c c d 芯片上像素所对应的实际长度。像素值 的计算公式如下： 像素值( x 方向) = 视野范围( x 方向) c c d 芯片像素数量( x 方向) 像素值( y 方向) = 视野范围( y 方向) c c d 芯片像素数量( y 方向) 对s m t 焊点实际过程中，c c d 的视野范围一旦确定，那么像素和长度单位 的比例也就确定( 标定) ，又由于不同器件的形状大小体积均不同，如果改变c c d 的视野范围，那边就需要重新标定像素和长度单位的比例。所以一般情况下，当 标定过后，就不会改变c c d 的视野范围。所以选择一个合适的视野范围尤其重 要，越大的视野范围意味可以采集越大的元器件焊点。 表2 2c c d 的主要性能参数： 名称参数 尺寸l 3 英寸 在同轴光和均匀侧光的配合下采集得到的晶片图像如下图 2 4 视觉系统的标定 倒2 5 品片图像 计算机视觉的主要任务是确定摄像机所获取的三维物体的二维图像，其与空 间物体表面某点的三维几何位匿之间的对应关系。这些对应关系的几何模型参数 就是摄像机参数，参数的获得过程就是摄像机标定”“。 摄像机标定是视觉检测中的一项虽基本，也是最重要的工作之一，它对于二 维晶片图像的准确定位焊接起到了非常关键的因素。摄像机标定就是对摄像机内 外参数求解的过程，摄像机内部参数指的是成像的基本参数，如有效焦距、主点、 尺度因子、径向、切向镜头畸变以及其它系统误差参数；摄像机外部参数指的是 摄像机相对于外部世界坐标系的方位主要是一些坐标转换参数。通常在实际工 作环境中，我们大部分的工作是摄像机外部参数的标定。 2 4 1 常用标定方法 目前常用的标定方法可咀分为传统的摄像机标定方法和摄像机自标定方法。 传统的摄像机标定是在一定的摄像机模型下，基于特定的实验条件，如形状、尺 寸己知的标定物，经过对其进行图像处理，利用一系列数学变换和计算方法，求 取摄像机模型的内部参数和外部参数。根据求解非线性成像模型方法的不同，可 以分以下几类1 4 2 j ： ( i ) 直接非纷性求解法 该方法首先是建立标定点的空唰三维坐标与图像坐标的投影关系，然后用迭 代算法对非线性方程组求解。该方法的优点是可以覆盖所有的相差变形，即可选 定任意的系统误差模型，其不足之处是稳定性差。 ( 2 ) 线性求解法 线性求解法是将非线性方程的变量组合成一组新变量，称之为中继参数。原 非线性方程也转化为中继参数的线性方程，利用最小二乘法解出中继参数后，再 求得原变量的值。其中直接线性变换法( d t l ) 是一种典型的线性求解方法，它直 接用共线方程【3 4 】进行标定，是基于针孔模型的标定。 ( 3 ) 分步法 t s a i 首先提出两步法，该方法第一步解线性方程，得到部分外部参数的精确 解，第二步再将其余外部参数与畸变修正系数进行迭代求解，这种方法很好的将 迭代方法与非线性迭代优化方法结合，能达到较高的标定精度。其不足之处是未 对切向畸变进行标定，且标定过程和计算相对复杂。w e n g 在t s a i 标定的基础上， 提出了更为全面的标定和误差修正模型，但该方法精度的提高是以增加运算量为 代价的。 另外一种标定方法是摄像机的自标定方法。该方法不依赖于标定参照，仅利 用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行标 定。它包括基于主动视觉的摄像机自标定技术、利用本质矩阵和基本矩阵的自标 定技术、利用多幅图像之间的直线对应关系的摄像机自标定以及利用灭点和通过 弱透视投影或平行透视投影进行摄像机标定。自标定方法非常灵活，但是其标定 过程复杂，不宜用于实时性要求较高的场合，并且其最大的不足是精度不够高。 在很多的机器视觉应用场合，采用的是二步标定方法，求取镜头的畸变系数， 然后用这个畸变系数对图像进行几何校正，然后再求解一个像素的物理尺寸。由 于本系统采用的是畸变小的镜头，所以对于成像模型，可以近似看成是针孔模型， 利用该模型进行标定，可以不要进行镜头畸变的校正。下图是针孔成像模型。 图2 6 针孔成像模型 2 4 2 本文的标定方法 本文针对具体检测应用，选择了畸变小的光学镜头。当镜头畸变小时，成像 模型近似为一个针孔成像模型。由于我们的伺服电机转动的精度达到了u s 级， 所以根据针孔模型，本文直接采用相机采集图像作为标定块，不需要标定摄像机 内外参数，只需要标定出摄像机的物面分辨率，这样标定的过程简单，而且对于 该课题的实验检测系统柬说，也能保证标定的精度。 图2 7 标定模板品片 由于晶片台运动所需的参数是根据晶片检测结果生成。这里的参数主要是指 晶片台每次移动需要发送的脉冲数和晶片台移动的方向。由于晶片检测结果以像 素为单位。因此必须找到像素与脉冲之间的换算比例关系，计算换算比例天系的 过程即为单位比例测定。 集成电路焊接机控制系统中，发送一个脉冲移动的距离( 单位：u m 脉冲) 是已知的，它是由晶片台机械螺距和电机参数确定。只要能够知道一个像素代表 的距离( 单位：u r n 像素) ，就可以找到脉冲与像素之间的换算关系。 设晶片台x 轴发送一个脉冲移动的距离为d x ( 单位：u r n 脉冲) y 轴发送一 个脉冲移动的距离为d y ( 单位：u m 脉冲) ，单位比例测定计算为： ( a ) 记录当前模板晶片图像中可辨认的坐标，设坐标为( a ，a ) ，通过p l c 控 制晶片平台在相机视场中横向移动到可辨认的坐标，设坐标为( b ，a ) ： f b ) 我们通过晶片台x 轴发送的脉冲数m 求得两点u j 的实际距离s ( m m ) ，同 时通过软件获得两点之间的像素距离p ( p i x e l ) ：则我们就可计算相机的比例测定 值p m ： ( c ) 令晶片台走回( a ) 步骤时的位置给晶片台x 轴发m x 个脉冲令，检测移动 后辅助晶片的图像坐标仍为( a ，a ) ： ( d ) 重复( a ) 一( c ) 步骤若干次，计算p m 的平均值作为最终测定值。 下面是在实践中我们在一个7 6 8 x 5 7 6 的晶片图像上任取3 个点对组合( y 轴 同样) ； 表2 3 晶片图像试验数据 点对组合 像素距离( p i x e l )实际距离( n u n ) 当量距离 ( p i x e l m m ) x 13 3 92 1 21 6 0 3 x 23 4 02 1 31 6 0 o x 33 7 12 3 21 6 0 0 y l 3 9 12 4 51 5 9 6 y 2 3 6 92 3 01 6 0 4 y 3 3 4 7 2 1 7 1 6 0 0 对上面的6 个当量距离求平均值，取系统的物面分辨率为：1 6 0 p i x e l m m ， 即6 2 5 u m p i x e l 。 2 5 自动控制系统 在l e d 晶片显微自动检测过程中，为了获得较高的运动精度和分辨率，除 了需要很高的机械加工精度和装配精度外，还需要相应的控制电路和策略，才能 实现工件台的高速度高精度运动，满足实际检测工作的需要。 l e d 晶片显微检测精密工件台的控制方式采用流行的主从控制方式，其控制 系统主要包括主控制器( 上位机) 、接口电路、从控制器( p l c ) 、多轴激光干涉检测 系统、x 驱动系统、y 驱动系统及z 驱动系统、多自由度微位移机构、工件台限 位保护系统和位置实时显示系统等。 主控制器通过接口电路将工件台移动目标值送到p l c 从控制器中，这时激 光干涉检测系统将得到的当前位置信息通过控制总线送到p l c 从控制器中，通 过比较当前位置与目标位置大小，从控制器发出指令选择由x ，y 驱动系统和微 位移机构驱动工件台进行定位，然后由z 驱动系统完成焊接；在运动过程中需要 激光干涉检测系统实时检测和反馈，从而完成运动任务。由于控制部分主要由别 人完成，本文不再过多叙述，下面主要介绍p c 机与p l c 之间的通信。 2 5 1p l c 的通讯原理 西门子s 7 2 0 0 型p l c 是一种模块化结构的小型p l c ，具有较高的性能价格 比，它带有两个r s 4 8 5 通讯口，而上位机即工控机的串行口是r s 2 3 2 ，所以采 用西门子公司专用的p c p p i 编程电缆作为上下位机的连接电缆，它实现了 r s 2 3 2 和r s 4 8 5 的转换，并且具有隔离抗干扰功能。c p u 2 2 6 自带的通讯口 r s 4 8 5 采用半双工通讯，只需用两根数据线，t x d 和r x d 来发送数据和接收 数据，所以通讯中没有硬件握手信号，而只能采用软件握手的通讯方式保持数据 传输的同步。为了保证通讯的安全性，必须对发送的数据帧中加入校验码( f c s ) ， 采取的方法是：把所有的数据帧中的数据按照字节进行异或运算后得到的f c s 比较，如果俩者不相等，则认为传输数据出错。对于校验到出错的数据采取放弃 的措施，并立即发送反馈信号要求发送方重新发送数据。因此上位机和p l c 发 送数据的格式分别为表2 4 和表2 5 。控制命令如请求，应答等信号另有则不必 加上校验码【1 5 1 【1 6 1 表2 4 上位机数据格式 i 有效数据 l帧校验码( f c s )l 结束信息 l 表2 5p l c 数据格式 l 有效数据i 帧校验码( f c s ) i 2 5 2 通信系统设计 p l c 实质是一种专用于工业控制的计算机，s 7 2 0 0 系列p l c 通常在自由口模 式下实现与p c 机的实时通讯： ( 1 ) 硬件连接 上位机用r s 2 3 2 接口，因p c 机与西门子系列p l c 不能直接连接，我们采 用西门子r s 2 3 2 瓜s 4 8 5 通信电缆作为通信转换器。由于r s 4 8 5 只需2 根数据线 发送和接收i 使通信双方不能同步，所以我们采用半双工制，发送和接收之间要 有一定的时间间隔。如图2 8 所示： 图2 8 通信系统原理 当数据从r s 2 3 2 传送到r s 4 8 5 口时，电缆是发送模式。当数据从r s - 4 8 5 传送到r s 2 3 2 口时，电缆是接收模式。检测到r s 2 3 2 的发送线有字符时，电缆 立即从接收模式切换到发送模式。r s 2 3 2 发送线处于闲置的时间超过电缆切换 时间时，电缆又切换到接收模式。这个时间与电缆上的d 口开关设置的波特率有 关。 ( 2 ) 软件接口开发 1 6 在w i n d o w s 环境下开发与工业p l c 比通讯，许多大的应用系统都是基于v c + + 平台开发的，它在图形处理和数据库管理等方面具有较强的优势，并且用它来 实现底层的通讯控制有着更快的效率。因此我们利用v c 抖6 0 提供的通讯控件 m s c o m m ，以m f c 来设计界面编制序构造与p l c 的通讯系统。系统中的p l c 为 西门子公司的s 7 2 0 0 系列c p u 2 2 6 型。自由口通信其控制字如表2 6 所示。 表2 6 自由口通信协议 p p ( 奇偶校验选择) 0 0无奇偶校验 0 1偶校验 1 0无奇偶校验 1 1奇校验 d ( 每个字符的数据 o每个字符8 位 位) b b b 自由口波特率 0 0 0 3 8 4 0 0 b p s 1 0 0 2 4 0 0 b p s 0 0 119 2 0 0 b p s1 0 1 1 2 0 0 b p s 0 1 0 9 6 0 0 b p s 1 1 0 6 0 0 b p s 0 1 l 4 8 0 0 b p s 1 1 1 3 0 0 b p s m m0 0点到点接口协议( p p i 从站模式) 0 1 自由口协议 1 0p p i 主站模式 l l保留( 缺省设置为p p i 主站模式) 2 5 3 系统的控制流程 整个通讯由上位机触发开始，首先由上位机发送拥手信号，p l c 接收到握 手信号后，发送回握信号；上位机收到回握信号，则开始发送请求指令，p l c 收 到指令后发送数据给上位机；上位机收到数据进行校验出错则要求p l c 重发， 没有错误则处理输出显示。下面图就是上位机和p l c 的通讯程序流程图。 1 7 2 5 4 通信协议设计 图2 9p c 机与p l c 通讯流程图 通信协议时整个系统的重要组成部分，它关系到整个系统的工作效率和稳定 性。为保证p c 机与p l c 之间能够正确识别传输的正确信息内存，在本工程中， 我们充分考虑到系统本身的功能特点，并根据实际情况需要制定相应的通信协 议，本通信系统采用自由口通信模式。p l c 用v c + + 编写通信程序，接收的报文 格式为：起始字符数据字节数数据区。将检测到的图像坐标值和晶片x y z 轴坐 标值发送给p l c ，p l c 通过控制晶片台来实现晶片的定位与焊接。现将自定义的 通信数据信息格式介绍如下： 表2 7p l c 从p c 机接受数据信息指令格式 起始l 指令l 目标p l cl 目标寄存器l 读、写字i 数据区i 校验码 字符j 类型i 站地址l地址节数ij ( 1 ) 标识字符：开始字符为指令开始标志；结束字符为指令结束标志，在工 l 客 程中我们对不同的p l c 从站定义了不同的结束符，这样可有效保证数据