（光学专业论文）基于机器视觉的smt焊点自动光学检测系统研究.pdf

基于机器视觉的s m t 焊点自动光学检测系统研究中文摘要 中文摘要 随着电子产品向着高密度、细间距和低缺陷方向发展，对其检测技术在精密、高 效、通用和智能化等方向提出了更高的要求。而基于机器视觉的图像检测技术是以光 学为基础，融光电技术、数字图像技术、信息处理及计算机视觉等科学为一体的现代 检测技术，可以满足电子产品检测这一需求。 本文将图像检测技术应用到s m t 焊点检测中，对机器视觉和s m t 组装生产中的 质量检测技术进行了综述，介绍了s m t 组装质量检测a o i 解决方案。提出了一种新 的检测s m t 焊点锡量的方法。该方法采用单层环形光源获取焊点图像；根据实际焊 点图像模拟出三条归一化曲线方程，使用这三条曲线将焊点图像分成四部分，分别提 取四个特征；最后使用b p 神经网络将焊点按照锡量多少分成三类：少锡、允收和多锡。 实验结果证明该方法分类正确率达到9 9 2 ，具有较高的实用价值。 分析了分割区域变换和分割阈值变化对分类的影响。说明该方法具有很好的鲁棒 性。同时还使用了模式相似性测度、贝叶斯分类器、判别函数等其他分类方法，对比 说明了采用b p 神经网络的优越性。 关键词：表面组装技术；自动光学检测；焊点检查；b p 神经网络；机器视觉 作者：王小彬 指导教师：顾济华 基于机器视觉的s m t 焊点自动光学检测系统研究 a b s t r a c t w i t ht h ed e v e l o p m e n to fe l e c t r o n i cp r o d u c t sd i r e c t i n gt oh i g hd e n s i t y , t h i ns e p a r a t i o n a n dl o wd e f e c tr a t i o n , i t si n s p e c t i o nr e q u i r e m e n ti sh i g h e ro na s p e c t so fp r e c i s i o n , e f f i c i e n c y , u n i v e r s a la n di n t e l l i g e n c ee t c i m a g ei n s p e c t i o nt e c h n o l o g yb a s e d o nm a c h i n e v i s i o ni san o v e li n s p e c t i o nm e t h o d ，w h i c hc o m b i n e so p t i c ，p h o t o e l e c t r i c i t y , d i g i t a li m a g e p r o c e s s i n g ，i n f o r m a t i o np r o c e s s i n gw i t l lc o m p u t e rv i s i o n t h et e c h n o l o g yc a nm e e tt h e d e m a n do fe l e c t r o n i cp r o d u c t si n s p e c t i o n t h e p a p e ra p p l i e si m a g ei n s p e c t i o nt e c h n o l o g yt os u r f a c em o u n t i n gt e c h n o l o g y ( s m t ) s o l d e rj o i n t si n s p e c t i o n m a c h i n ev i s i o na n ds m tp r o d u c t si n s p e c t i o nm e t h o d sa l e d e s c r i b e dm a i n l y t h es o l u t i o no fa u t o m a t i co p t i c a li n s p e c t i o n ( a o i ) t os m t p r o d u c t i o n q u a l i t yi n s p e c t i o ni si n t r o d u c e d a na u t o m a t i co p t i c a li n s p e c t i o ns y s t e mf o rt h ed i a g n o s i s o fs o l d e rj o i n t sd e f e c t so np r i n t e dc i r c u i t sb o a r d sa s s e m b l e di ns u r f a c em o u n t i n g t e c h n o l o g yi sp r e s e n t e d t h ed i a g n o s i si sh a n d l e da sap a t t e r nr e c o g n i t i o np r o b l e m 、析t l la b a c k - p r o p a g a t i o n ( b p ) n e u r a ln e t w o r ka p p r o a c h t h es o l d e rj o i n t si m a g ea r ec a p t u r e db y u s i n go n l yo n el a y e ro ft i e r e dl i g h t f o u rf e a t u r e sa r ee x t r a c t e df r o mt h es o l d e rj o i n t si m a g e ， w h i c ha r es e g m e n t e df o u rr e g i o n su s i n gt h r e en o r m a l i z e dp a r t i t i o nc u r v e s t h r e et y p e so f s o l d e rj o i n t sh a v e b e e nc l a s s i f i e da c c o r d i n gt ot h ea m o u n to fs o l d e r ：i n s u f f i c i e n t , a c c e p t a b l ea n de x c e s s i v es o l d e r s t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ec l a s s i f i c a t i o n c o r r e c t n e s sr e a c h e s9 9 2 a n dt h em e t h o dp o s s e s s e sh i l g hp r a c t i c a lv a l u e s t u d yt h er o b u s t n e s sa g a i n s tc h a n g e si nt h r e s h o l dv a l u e sa n dv a r i a t i o ni np a r t i t i o n c u r v e so ff o u rr e g i o ns h o w st h a tt h ep r e s e n ta p p r o a c hi sv e r yr o b u s t t h ep a p e rt a k e so t h e r c l a s s i f y i n gm e t h o d s ，s u c ha sp a t t e r ns i m i l a r i t ym e a s u r e 、b a y e sc l a s s i f i e ra n dd i s c r i m i n a t e f u n c t i o nc l a s s i f i e re t c t h er e s u l t so fe x p e r i m e n ts h o wt h a tt h eb pn e u r a ln e t w o r kc l a s s i f i e r 基于机器视觉的s m t 焊点自动光学检测系统研究 a b s t r a c t k e y w o r d s ：s u r f a c em o u n t i n gt e c h n o l o g y ；a u t o m a t i co p t i c a li n s p e c t i o n ；s o l d e rj o i n t s i n s p e c t i o n ；b pn e u r a ln e t w o r k ；m a c h i n ev i s i o n i i i w r i t t e nb yw a n gx i a o b i n s u p e r v i s e db yg uj i h u a 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含其 他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学或 其它教育机构的学位证书而使用过的材料。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责 任。 研究生签名：至皇：墨窒之 日期：三! z ：篁：! 仝一 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保存期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分 内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：三盘盎查1日期：! ! z ：堇：z 导师签名： 基于机器视觉的s m t 焊点自动光学检测系统研究 第一章绪论 1 1 机器视觉概述 第一章绪论 机器视觉( m a c h i n ev i s i o n ) 是研究用计算机视觉来模拟生物外形或宏观视觉功 能的科学和技术【1 1 。机器视觉是一个相当新且迅速发展的研究领域，并成为计算机科 学的重要研究领域之一。它始于2 0 世纪5 0 年代的统计模式识别，当时的工作集中在 二维图像分析和识别上，如光学字符识别，工件表面，显微图片和航空图片的分析和 解释等。6 0 年代，r o b e r t s 开创了以理解三维场景为目的的三维机器视觉的研究。到 7 0 年代，已经出现了一些视觉应用系统。1 9 7 3 年，由麻省理工学院( m i t ) 人工智 能( 灿) 实验室的d a v i dm a r r 教授领导的研究小组提出了不同于“积木世界”分析方 法的计算机视觉( c o m p u t e rv i s i o n ) 理论m a r t 视觉理论。该理论在2 0 世纪8 0 年代 成为计算机视觉研究领域一个十分重要的理论框架。m a n 理论认为，计算机视觉系 统只是一个信息处理系统的一个例子，对此系统研究分为三个层次：计算理论层次、 表示与算法层次和硬件实现层次 2 1 。 计算理论层次要回答视觉系统的计算目的与计算策略是什么，或视觉系统的输入 输出是什么，如何由系统的输入求出系统的输出。在此层次上，信息系统的特征是将 一种信息( 输入) 映射为另一种信息( 输出) 。比如，系统输入是二维灰度图像，输 出则是三维物体的形状、位置和姿态，视觉系统的任务就是研究如何建立输入输出之 间的关系和约束，如何由二维灰度图像恢复物体的三维图像。 描述与算法层次：这些要精确地给出计算是如何进行的，特别应包括信息表达以 及处理这些表达的算法。一般来说，不同的输入、输出和计算理论，对应不同的表示， 而同一种输入、输出或计算理论可能对应若干种表示。 硬件实现：算法的物理实现，包括特定的程序和硬件。如计算机体系结构及具体 的计算装置及其细节。从信息处理的观点看，至关重要的是计算理论层次，这是因为 构成知觉的计算本质，取决于解决计算问题本身，而不取决于用来解决计算问题的特 殊硬件。 基于机器视觉的s m t 焊点自动光学检测系统研究第一章绪论 m a n 理论将机器视觉分为早、中、后三个阶段，如图1 1 所示。早期阶段是将输 入的原始图像进行处理，抽取图像中的基本特征，如纹理、线条、颜色、角点、边界 等，这些特征的集合成为基元图；中期视觉是指在以观测者为中心的坐标系内，由输 入图像和基元图进而获得场景中物体可见部分的深度、法线方向、轮廓等不完整的三 位信息，称为2 5 维图；后期视觉是由输入图像、基元图和2 5 维图来恢复、表示和 识别三维物体的过程。 广 早期视觉厂 中期视觉广 后期视觉厂 l图像卜_ 叫基元图卜_ - 叫2 5 维图卜- 叫3 维表示l 图1 1 视觉过程的表示框图 m a r r 理论将复杂的视觉过程转换为可以计算的信息处理过程，为计算机视觉提 供了理论框架，是计算机视觉研究领域的划时代成就，但该理论不是十分完善，许多 方面还有争议。在2 0 世纪8 0 年代，机器视觉迎来了全球性的研究热潮，获得蓬勃发 展，新理论、新方法不断涌现，如基于感知特征群的物体识别理论框架、主动视觉理 论框架、视觉继承理论框架等。这些都对机器视觉的快速发展起到了推动作用【3 】。 机器视觉技术重在以实际工程问题为研究对象，以计算机理论、智能控制、光学、 机械、电子等多种工程应用学科为基础的工程应用研究【4 】。简言之，机器视觉就是用 机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品将被摄取目标转 换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转 变成数字化信号；图像系统对这些信号进行各种运算来抽取目标特征，进而根据判别 结果来控制现场的设备动作。d v t 总裁r o b e r ts t e i n k e 认为，“任何通过人来完成的 检测过程，都适合用机器视觉技术来代替 【5 】。机器视觉系统的特点是提高生产的智 能化和自动化程度。在一些不适合人工作业的危险工作环境或人工视觉难以满足要求 的场合，常用机器视觉来替代人工视觉：同时在大批量工业生产过程中，用机器视觉 检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集 成，是实现计算机集成制造的基础技术。正是由于机器视觉系统可以快速获取大量信 息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自 2 基于机器视觉的s m t 焊点自动光学检测系统研究 第一章绪论 动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等 领域。归纳如下： 1 ) 工业自动化生产线中的应用：如产品检测、工业探伤、自动生产流水线和装 备、自动焊接、p c b 印刷板检查，以及应用于各种危险场合工作的机器人等。在电 子工业中，已经将视觉技术用于集成电路和光掩模等生产工艺流程中，以确保产品质 量嘲。在国外，机器视觉的应用普及主要体现在半导体及电子行业中，其中大概4 0 5 0 都集中在半导体行业【5 1 。 2 ) 医学中的应用：如医学技术模拟、场景建模、通过x 光、c t 等成像技术对 病人的局部进行成像，通过模式识别的方法检测可能为病症的位置，为最终的确诊提 供有力的证据。而且彩色图像处理技术和图像的三维重建技术的发展，进一步加强了 机器视觉在病理分析和研究的作用【7 - 9 。 3 ) 各类检验和监视应用。标签文字检查，邮政自动化，石油、煤矿等钻探中数 据流自动检测和滤波【1 0 1 ，在纺织、印刷业进行自动分色、配色，重要场所门廊自动巡 视，自动跟踪报警等。 j 4 ) 农、林、畜牧业中应用：如农产品品质的检测【l l - 1 3 1 、分级、病虫害的防治与 诊断，木材品质检测【1 4 】【15 1 、树种的识别等方面。 5 ) 人机交互应用：人脸识别、智能代理等。同时让计算机可借助人的手势动作 ( 手语) 、嘴唇动作( 唇读) 、躯干运动( 步态) 、表情测定等了解人的愿望要求而执 行指令，这既符合人类的交互习惯，也可增加交互方便性和临场感等【1 6 1 。 6 ) 其他：如生物识别、交通监控、自然灾害预报1 7 1 、数字地球探测等。 综上所述，机器视觉在众多领域都有重要的应用，而应用需求又是机器视觉系统 研究发展的巨大动力。目前全球整个视觉市场总量大概在6 0 , - - , 7 0 亿美元，且以每年 8 8 的速度增长【5 1 。在我国，以微电子行业为代表的高新技术行业本身就属于新兴的 领域，机器视觉在这些行业的应用较少，且只是低端应用。相信随着相关技术的发展 和各行业对机器视觉系统的迫切需求，机器视觉的研究与应用将会得到突飞猛进的发 展。并且在今后的研发中，更应注重其人工智能化，这正是机器视觉技术发展方向【1 8 1 。 基于机器视觉的s m t 焊点自动光学检测系统研究 第一章绪论 1 2 表面组装产品检测技术概述 在微电子组装和制造业，随着电子产品向着微型化发展，元器件的微型化和密集 化是未来的发展趋势。表面贴装技术( s m t ) 是目前应用最为广泛的电子组装技术， 但对大部分s m t 设备而言，已进入较成熟阶段，而s m t 检测设备市场还处于起步阶 段。元器件的微型化和密集化、高密度快速组装发展趋势，生产厂商对产量的要求加 上线路板上更高的密度、更复杂的排版技术及更小的元件等等，都给锡膏印刷、元件 贴片、回流焊以及对这些过程进行检测带来了巨大的挑战。现有的检测手段已经逐渐 不能适应当今s m t 的发展趋势了。高性能、高复杂性、高质量微电子组装和生产， 除了应保证优良的原材料、具备先进的生产工艺、设备和先进的管理模式之外，还必 须具备完备的技术质量保证体系和先进检测设备。 目前组装生产线上的检测手段主要有以下几种【1 9 - 2 2 ： l _ ) 人工视觉检测 人工视觉检测( m a n u a lv i s i o ni n s p e c t i o n ，m v i ) 是最为传统的一种检测技术。 由人工操作员来完成电路板的检查。该过程要求许多操作员使用显微镜和电路板覆盖 图来找出缺陷。虽然检查小板相对容易，但是随着元件的微型化和元件数量的增加， 这项工作很快变成繁重的体力负担，检查的准确性与可靠性急剧下降。人工目检具有 很大的主观性，对于高度复杂的表面贴装电路板，人工目检不可靠也不经济；而对采 用微小球形阵列封装、芯片尺度封装和倒装芯片的表面贴装电路板，人工目检实际上 无法进行检测；最后，需要雇佣更多的操作员来处理更大更复杂的组装线路板，造成 额外的人力成本和人力资源问题。所以采用传统的目检或人工光学检测形式检测 s m t 组装质量已跟不上业界发展的需求。 2 ) 在线测试( i c t ，i nc i r e u i tt e s t i n g ) i c t 通过对电性能的测试找出制造缺陷，以及测试模拟、数字和混合信号的元件， 以保证它们符合规格，已有针床测试仪和飞针测试仪等几种测试方法。内部线路检测 以其高速的短路与开路测试、经济的大批量的生产成本得到应用。i c t 测试也有很多 缺点：针对不同的电路板需要制作不同的模板，制作和调试周期长、成本高，因此不 4 基于机器祝觉的s m t 焊点自动光学检测系统研究 # 一 绪论 适合低产晕原型样机的测试：测试覆盖能力有限，只能测短路和断路缺陷，不能测试 到屏蔽了的装配；随着电路板密度越来越高，无法测量间距太小的电路板：无法检测 焊接锡量的多少，无法评估焊接可靠性。 3 ) 功能测试( f u n c t i o nt e s t i n g ) 功能系统测试是在生产线的中间阶段和末端利用专门的测试设备，对电路板的功 能模块进行全面的测试，用以确认电路板的好坏。功能测试可以说是最早的自动测试， 它基于特定板和特定单元，可用各种设备来完成，功能测试也存在一些缺点：不能测 试锡少和虚焊的情况；不能检测具体哪一个点位出现问题；编写功能测试程序复杂， 因此不适用太多数电路板生产线。 4 1x 射线检测 x 射线焊点无损检钡嫩术是国际上近年来发展的新技术，与计算机图像处理技术 相结合，对s m t 焊点、p c b 内层和器件内部连线进干i 高分辨率的检测。x 射线检 测对被元件覆盖了焊点的b g a 封装尤其重要。b g a 封装焊锡球内的气泡以及漏掉 焊锡球，或焊锡球错位，只能通过x 射线检测系统检测出来。目前己有自动x 射线 检测机出现，但是价格比较高，很少在生产线上使用。射线检测也存在自己的不足： x 射线的检测速度相对一般的二维检测较慢，无法做到对所有的产品进行全部检测； 技术要求比较高，编程困难；对一些虚焊和冷焊很难检测到。 5 1 自动光学检测( a o i ) 固i1s m t 生产线上的a o i 检测 通常的自动光学检测( a o i ，a u t o m a t i co p t i c a li n s p e c t i o n ) 是在批量生产中采用的 一种在线检测方法。自动光学检测是将电路板上的器件或者特征( 比如焊点) 捕捉成像， 通过软件处理，判断这一器件或者特征是否完好，然后得出检测结果，判断诸如元件 基于机器视觉的s m t 焊点自动光学检测系统研究 第一章绪论 缺失、极性反转、焊接锡桥或者焊点质量问题等。a o i 通常可以放在锡膏印刷后、 回流焊前和回流焊后( 如图1 1 ) ，对s m t ( s u r f a c em o u n t i n gt e c h n o l o g y ) 各站别的 不良产品能及时检出。这时维修缺陷的成本要比最终测试之后修复要低十几倍。 表1 1s m t 产品检测方法对比 比较项目优点缺点 人工目检 可以从焊点的各个方向进容易疲劳，漏检率高； 行检查；不稳定； ( n i ) 灵活。产量低。 不能对锡少或虚焊进行检测； 内部线路检有效对电路检查；很难覆盖全部的线路； 测( i c t )较快的检测速度。随着线路板和元器件变小，治具 制作越来越困难。 功能测试 随着线路板的复杂，程序编写越 ( f u n c t i o n产品最终性能的检测。 来越难； 不能对锡少或虚焊进行检测，而 t e s t ) 且很难定位是哪个部分有问题。 x 射线检测 可以检测在元件下面的焊 对开路及亲润不足很难检测； 点； ( a x i ) 技术处理困难，速度比较慢。 可以检测焊点内部的气泡。 可以检测元件及焊点内部 超声波检测检测速度较慢。 的分层，空焊，裂纹等。 较快的检测速度； 可以加到生产线中进行自 自动光学检 动化检测； 不能对元件覆盖的焊点进行检 能够检测锡量的多少，对焊 澳q ( a o i ) 查。 点可靠性有保障； 可以与s p c 联合，使质量 控制水平得到极大的提高。 a o i 是非接触的在线检测技术，使用了计算机图像分析“学习与比较”技术来编程 检测。现在已经在国外得到广泛的应用。主要优点是易于跟踪诊断、编程简单、操作 容易、无夹具、生产成本低和缺陷覆盖率高；可以对焊点锡量多少进行检测，提高了 产品的可靠性：检测出的数据可以与s p c 结合，对产品良率提高有极大帮助。主要 6 基于机器视觉的s m t 焊点自动光学检测系统研究 第一章绪论 缺点是：无法对元件覆盖的焊点进行检测，目前对短路识别较差，失效率较高。 其他还有超声波检测、激光红外检测等检测方法，但这些都不太常用。综上所 述，这些检测方法各有利弊( 表1 1 ) ，适用于不同的时期和场合，但是随着计算机和 图像分析处理的发展，基于机器视觉的自动检测设备在众多检测方法中显示出越来越 多的优势。 1 3 相关课题研究的现状、成果与展望 从1 ，2 节各种检测方法的对比中可以看出，自动光学检测有着其他方法无可比拟 的优势。国外对自动光学检测系统的研究始于2 0 世纪7 0 年代末，一些电子行业的跨 国企业都在这方面投入了大量的财力、物力和人力。目前能够生产光学自动光学检测 系统、技术也比较成熟的世界主要制造厂商有以色列的c a m t e k 、o r b o t e c h 公司、 日本的欧姆龙，美国安捷伦等。 安捷伦公司最新推出的s j 5 0 系列i i 型a o i 设备中应用了三维立体形状模型 ( s s m ) 技术，它运用多角度成像，生成逼真三维影像。由于采用了s s m 技术，因此 在缺陷报警准确率方面有了很大的提高；以一个单一、高分辨率的数码相机和高速 的精密支架使分辨率始终保持在2 0 2 5 微米像素，兼顾速度和分辨率性能。 c y b e r o p t i c s 的a o i 的一个特点在于其分析软件，只使用一个软件编程方法，无 论针对焊前或焊后，都可使用完全相同的设备和软件，无需进行镜头或传感器的更换； 另一个特点是机械设计非常简单，由于镜头是固定不动的，能减少由于运动部件过多 引起的偏差或校准工作。 m v p 的第五代a o i 平台1 8 2 0u l t r a 采用了最新的数字相机技术。1 8 2 0 u l t r a 继承了m v p 以往a o i 系统独特的单一镜头不停歇拍摄图像、简单机械结 构等特点。m v p 的a o i 操作系统采用的是u n i x 或l i n u x ，拥有较高的稳定性和可 靠性。 欧姆龙产品的主要特点在于它采用c h s ( c o l o rh i g h l i g h ts y s t e m ) 的专利技术，是 唯一的同时采用彩色光源，彩色c c d 摄像头和彩色图像处理的a o i ，其采集到的 7 基于机器视觉的s m t 焊点自动光学检测系统研究 第一章绪论 包含了三维信息的图像，作为检测判断的标准，从而使它能实现对0 2 0 1 组件和无铅 焊点的检测。 o r b o t e c h 的v t 9 0 0 0 e 系列在线光学检测系统，可以应用于电子组装的各个检 测阶段，它同时具备2 d 和3 d 技术。o r b o t e c h 同时拥有与其a o i 产品配套的自动 化智能制程控制的集成软件工具，为制程工程师和管理人员提供更多的信息，使其 a o i 产品在s m t 生产线中起到预防错误的发生的作用。 t e r a d y n e 的o p t i m a 7 3 0 0 系统以检测面积大、 密度高，速度快为主要特点。一 台o p t i m a 7 3 0 0 每小时可检测2 5 0 块电路板。针对测试过程中板晃动的问题， t e r a d y n e 的a o i 通过激光校准和软件追附，做到较好的补偿或抽样补偿。 国内的首台a o i 检测系统品牌a l e a d e r 的a l d h 3 5 0 ，2 0 0 4 年5 月在广东省 东莞研发成功，经过现场使用后2 0 0 5 年已经投入市场。该台a o i 系统采用单一摄 像头和特殊环形r g bl e d 光源相结合，应用彩色图像比对方法和统计建模技术， 可以高速准确检测如下缺陷：( 1 ) 焊点缺陷：锡多、锡少、连锡等；( 2 ) 锡膏印刷缺陷： 有无、偏斜、少锡多锡、断路、污染等；( 3 ) 零件缺陷：缺件、偏移、歪斜、立碑、 侧立、翻件、极性反、错件、破损等。它能够检测4 5 0 m mx3 5 0i i l r n 超大检测范围， 最小高速检测组件大小为0 4 0 2 ，测试速度每秒超过6 0 个组件。由于采用中文，学 习快捷；图形化编程接口，编程简单。并且可以终身保修。a l e a d e r 的a l d h 3 5 0 是国内第一台真正意义上的电子贴片生产线自动光学检测设备。 另外，北京星河公司已研制出a o i 样机，正在进行测试和改进。厦门福信光电 集成有限公司也称其公司的a o i 系统研制项目完成了控制软件的开发，首台样机已 经制作成功。 自动光学检测设备的发展方向主要有： 1 ) 图形识别法成为应用主流 这是因为s m t 中应用a o i 技术主要检测对象，如s m d 元件、p c b 电路、锡膏 印刷图形、完成组装后组件等的规格和种类繁多，而且检测对象发展变化很快，相应 的设计规则、标准很难全面跟上，为此，基于设计规则的d r c 法应用起来较困难。 8 基于机器视觉的s m t 焊点自动光学检测系统研究第一章绪论 而计算机技术的快速发展解决了高速图形处理难题，使图形识别法更易实用化。目前 各种各样的图形识别法a o i 技术在s m t 中应用越来越广泛。 2 ) a o i 技术向智能化方向发展 a o i 技术向智能化方向发展是s m t 发展带来的必然需求。在s m t 的微型化、 高密度化、快速组装化、品种多样化发展特征下，检测信息量大而复杂，无论是在检 测反馈实时性方面，还是在分析、诊断的正确性方面，依赖人工对a o i 获取的质量 进行分析、诊断几乎不可能口3 1 。 3 ) 内嵌式检测技术( e p v ) 随着a o i 技术的发展，将a o i 技术移植到锡膏印刷机，贴片机中已成为发展的 方向。这样可以节省成本和占用的空间，并对各站进行边作业边检测，节省了检测的 时间。目前环球仪器和c y b e r o p t i c s 已经证实了这样的观念。e p v 技术将成为广泛应 用的p c b 装配线中过程监测技术的催化剂 2 4 1 。 目前国外的自动光学检测设备已经应用到生产线中，但并不像印刷机、贴片机那 样成熟，还有许多工作有待完善。而我国具有自主知识产权的自动光学检测系统和产 品还在起步阶段。我国现在已成为电子产品生产组装大国，研究具有自主知识产权的 自动光学检测系统和产品具有很重要的意义。 1 4 本课题研究工作 基于机器视觉的自动光学检测技术已在s m t 生产线中广为应用，但是远没有达 到普及的程度。其中许多产品存在漏检率和误报率较高，许多不良无法检测出来等问 题。 本文对s m t 组装生产中自动光学质量检测技术和系统进行了研究。对s m t 组装 生产中自动光学质量检测技术和系统进行了综述；介绍了基于机器视觉的焊点锡量检 测判别系统；说明了如何选取光源，如何获取焊点图像；在获取图像之后如何对图像 进行预处理；随后研究了如何进行特征提取；对比研究了各种模式识别方法，说明使 用b p 神经网络的优点；使用实际的各类焊点进行验证，给出分类结果；最后分析了 9 基于机器视觉的s m t 焊点自动光学检测系统研究 第一章绪论 各种参数对算法的影响，说明本算法的鲁棒性。本论文共分六章，其中第三、四、五 章是本论文的重点。 第一章绪论：对机器视觉进行了介绍，综述了目前微电子表面组装生产中使用 到的各种检测技术，介绍了国内外自动光学检测技术发展的现况，说明了研究出具有 自主知识产权的光学检测系统的意义。 第二章系统总体方案：主要介绍了如何搭建一个视觉系统，阐述了如何选择光 源、光学镜头、图像输入设备。最后介绍了图像预处理以及图像分割的一些方法。 第三章特征提取及其方法研究：概述了特征提取的概念和主要意义；对焊点类 别进行定义，详细介绍了如何对焊点图像进行分区，如何提取特征。最后对提取的四 个特征进行了分析。 第四章模式识别及其应用：详细介绍了使用b p 神经网络进行焊点的模式分类， 介绍了模式相似性测度、贝叶斯分类、判别函数等分类方法。最后对这些方法的结果 进行对比，说明b p 神经网络比较优越。 第五章实验结果分析：介绍了整个实验的流程，分析了分割区域变化和图像二 值化阈值变化对分类结果的影响，说明本文设计的焊点锡量检测分类系统鲁棒性比较 好。 第六章总结与展望。 1 0 基于机器视觉的s m t 焊点自动光学检测系统研究第二章系统总体方案 第二章系统总体方案 一个典型的工业机器视觉应用系统包括光源、光学系统、图像捕捉系统、图像数 字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。如图3 1 所 示【2 5 】【2 6 】。 图2 1 工业机器视觉应用系统 被测目标在光源的照射下，采用摄像机或其它的图像拍摄装置，将目标转化为图 像信号，经过数字化和一定的图像处理送入智能识别和决策系统，根据图像的像素分 布、灰度、纹理和颜色等信息，按照一定的算法将目标的某些特征提取出来，根据预 先设定的容许度和判别条件输出判别结果。对于本系统来说，被测目标即是焊点图像， 图像处理和智能识别就由处理器来完成了。图像采集系统的搭建、特征提取和模式识 别是本系统设计的关键，下面将根据这个结构框图论述本课题机器视觉系统的设计思 路。 2 1 光源 光源照明是影响机器视觉系统输入的重要因素，是首要考虑的问题。因为它直 接影响输入数据的质量和至少3 0 的应用效果。根据具体需要，针对每个特定的应 用实例，要选择相应的照明装置，以达到最佳效果。 照明系统按其照射方法可分为：前向照明、背向照明、结构光照明和频闪光照明 等。其中，前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。背向照 明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。结构光照明 基于机器桃站的s m t * 点自动光学椅系绕m 究第= 章系统总体方案 是将光栅或线光源等透射到被测物上，根据它们产生的畸变，解调出被攫4 物的三维信 息。频闪光照明是将高频率的光脉冲照射到物体上，照相机拍撮要求与光源同步。 在机器视觉系统中一般使用透射光和反射光。对于反射光情况应充分考虑光源 和光学镜头的相对位簧、物体表面的纹理，物体的几何形状等要素。 光源设备的选择必须符合所需的几何形状，照明亮度、均匀度、发光的光谱特性 也必须符合实际的要求，同时还要考虑光源的发光效率和使用寿命。表2 1 列出了主 要几种光源的相关特性旧。 表2 1 各种光张对比 光源 颜色寿命( h )发光亮度特点 卤素灯 白色，偏黄 50 0 0 70 0 0 很亮发热多，较偏移 荧光灯白色，偏绿50 0 0 70 0 0亮 较偏移 红、黄、绿、白、6 00 0 0 1 0 0 发热少，固体， l e d 灯较亮 蓝0 0 0能做成很多形状 氙灯白色，偏蓝 30 0 0 70 0 0 亮发热多，持续光 电致发光由发光频率决 50 0 0 70 0 0较亮 发热少，较偏移 圉2 2 采集图像装置图2 3 光源 其中l e d 光源因其显色性好，光谱范围宽，能覆盖可见光的整个范围，且发光 强度高稳定时间长，随着其制造工艺和技术的成熟，价格的降低，它必将得 0 越来 基于机器视觉的s m t 焊点自动光学检测研究第二章系统总体方案 越广泛的应用，成为图像领域新的亮点。 根据本系统的特点，为了达到更好的识别效果，设计一个环形光源装置( 图2 2 ) 。 光源为分布在直径7 8r a n l 圆环上面紧密排列的4 4 个l e d 灯( 图2 3 ) 。对焊点来讲， 光源入射角是近似相等的，并且近似认为是连续的。为了能更好突出特征以达到较高 的正确识别率，我们选择入射角西为2 2 6 度 4 7 1 ，即光源距离焊点为9 4m m ( 详细分析 见3 4 节) 。 2 2 光学镜头 光学镜头相当于人眼的晶状体，在机器视觉系统中非常重要。一个镜头的成像质 量优劣，即其对像差校正的优良与否，可通过像差大小来衡量，常见的像差有球差、 彗差、像散、场曲、畸变、色差等六种。对定焦镜头和变焦镜头来讲，同一档次的定 焦镜头的像差肯定比变焦镜头的小，因为变焦镜头必须折衷考虑，使各种不同焦距下 的成像质量都相对较好，不允许出现某个焦距( 在变焦范围内) 下很差的情况。所以 在机器视觉应用系统中，根据被测目标的状态应优先选用定焦镜头2 8 1 。此外再综合考 虑图像的放大倍率、视场大小、光圈大小、焦距、视角大小等因素进行具体选择。当 然，镜头与摄像机的安装接口也是应考虑的一个重要因素。 2 3 图像输入设备 图像输入设备为机器视觉系统提供数字化的图像数据，它包括成像设备和数字化 设备。成像设备是指通过光学摄像机或红外、激光、超声、x 射线等手段对周围场景 或物体进行探测成像的设备。成像设备输出的模拟图像经过数字化设备数字化后，输 出数字化的图像。在构成图像输入设备时，成像设备和数字化设备可以是分离的两套 设备，如c c d 摄像机和图像采集卡；也可以合二为一，如数字的固态图像传感器。 2 3 1 摄像机 目前应用最多的是图像传感器是c c d 和c m o s 。c c d 全称电荷耦合器件，c c d 基于机器视觉的s m t 焊点自动光学榆测研究 第二章系统总体方案 成像传感器它具备光电转换、信息存贮和传输等功能，c c d 图像传感器被广泛应用 于生活、天文、医疗、电视、传真、通信以及工业检测和自动控制系统。c m o s 图像 传感器是另一类图像传感器。现在市售的视频摄像头多使用c m o s 作为光电转换器 件。虽然目前的c m o s 图像传感器成像质量比c c d 稍低，但c m o s 具有体积小、 耗电量小、售价便宜的优点。随着硅晶圆加工技术的进步，c m o s 的各项技术指标有 望超过c c d ，它在图像传感器中的应用也将日趋广泛。 表2 2c c d 与c m o s 图像传感器比较【2 6 】 类别c c dc m o s 生产线专用通用 成本高低 集成状况低，需外接芯片单片高度集成 系统功耗高低 电源多电源单一电源 抗辐射弱强 电路结构复杂简单 灵敏度优 良 信噪比优良 图像逐次扫描同时读取 红外线灵敏度低灵敏度高 模块体积大 小 目前在机器视觉系统中，c d 摄像机以其体积小巧、性能可靠、清晰度高等优点 得到了广泛使用。c c d 摄像机按照其使用的c c d 器件可以分为线阵式和面阵式两大 类。线阵c c d 摄像机一次只能获得图像的一行信息，被拍摄的物体必须以直线形式 从摄像机前移过，才能获得完整的图像，因此非常适合对以一定速度匀速运动的物料 流的图像检测；而面阵c c d 摄像机则可以一次获得整幅图像的信息。 目前线阵c c d 摄像机产品主要有两大类，一类以b a s l e rl 3 0 1 b e 和l 3 0 1 k c 为代 表：在同一时刻，r 、g 、b 传感器输出的信息不是对应被摄物料的同一位置，而是 三个不同的位置，即存在r 、g 、b 错位的问题。另一类以d a l s a 公司的t r 一3 3 和 1 4 基于机器视觉的s m t 焊点自动光学检测研究第二章系统总体方案 t r 一3 4 系列的摄像机为代表；采用了三棱镜分光技术把物料上同一位置反射回来的 光线的红色分量送到r 传感器输出，绿色分量送到g 传感器输出，蓝色分量送到b 传 感器输出，即同一时刻，r 、g 、b 传感器输出的信息是被摄物料的同一位置的颜色信 息。第一类产品价格比较便宜，在检测精度和系统实时性要求不是很高的应用场合使 用较广泛；第二类产品的价格则比较昂贵，主要用于检测精度高、实时性强、必须获 得高质量图像的系统。 根据以上对比：本系统选用m i n t r o n1 3 2i i 型，它具有数字视频输出，像素 数5 7 6p i x e l sx 7 6 8p i x e l s ，256 灰度等级( 8 位) ，帧频2 5hz 可变。次系统输 出数字图像的空间分辨率和灰度等级适中，且图像刷新速度可以程控设置，完全能够 满足本系统应用的需求。实验证明，该c c d 的选择比较合适。 2 3 2 图像采集卡 在机器视觉系统中，图像采集卡是控制摄像机拍照，完成图像采集与数字化，协 调整个系统的重要设备。它一般具有以下功能模块：( 1 ) 图像信号的接收与d 转换 模块，负责图像信号的放大与数字化；( 2 ) 摄像机控制输入输出接口，主要负责协调 摄像机进行同步或实现异步重置拍照、定时拍照等；( 3 ) 总线接口，负责通过计算机 内部总线高速输出数字数据，一般是p c i 接口，传输速率可高达1 3 0 m b p s ，完全能胜 任高精度图像的实时传输，且占用较少的c p u 时间；( 4 ) 显示模块，负责高质量的图 像实时显示；( 5 ) 通讯接1 2 i ，负责通讯 2 5 1 。 目前，图像采集卡种类很多，按照不同的分类方法，有黑白图像和彩色图像采集 卡，有模拟信号和数字信号采集卡，有复合信号和r g b 分量信号输入采集卡。在选 择图像采集卡时，主要应考虑到系统的功能需求、图像的采集精度和与摄像机输出信 号的匹配等因素。 根据系统的需要本系统选用北京嘉恒中自图像技术有限公司的o k 图像采集卡。 基于机器视觉的s m t 焊点自动光学检测研究第二章系统总体方案 2 4 图像预处理 图像增强是指按特定的需要突出一幅图像中的某些信息，同时削弱或去除某些不 需要的信息的处理方法。其目的是对图像进行加工，以得到对具体应用来说视觉效果 更“好 、更“有用 的图像。因此，这类处理是为了某种应用目的而去改善图像质 量的。处理的结果使图像更适合于人的视觉特性或机器的识别系统。应该明确的是增 强处理并不能增强原始图像的信息，其结果只能增强对某种信息的辨别能力，而这种 处理有可能损失一些其他信息。 图像增强技术基本上可分成两大类：一类是空域处理法；一类是频域处理法。空 域处理方法主要是在空间内对图像像素灰度值直接运算处理。图像增强的频域处理法 就是把图像的变换到频域内，对图像的变换值进行运算。图像增强技术主要包括直方 图修改处理、图像平滑化处理、图像尖锐化处理及彩色处理技术等。在实用中可以采 用单一方法处理，也可以采用几种方法联合处理，以便达到预期的增强效果。虽然图 像增强的方法有很多种，但它对各种不同的类别具有不同的增强效果。应该具体问题 具体分析，只有根据图像增强的具体目的选择相应的增强方法，才能达到期望的效果。 在图像采集过程中不可避免地存在各种噪声，如c c d 以及电子放大电路等引起。 为了不丢失有用高频信息，通常用到的增强方法是中值滤波。中值滤波是一种非线性 处理方法，它可以有效地去除小的脉冲噪声，可将振荡平滑掉。下面就着重介绍一下 中值滤波。 中值滤波一般采用一个含有奇数个点的滑动窗口，将窗口中各点灰度值的中值来 替代指定点(