（机械电子工程专业论文）半导体芯片外观视觉检测系统的研究与开发.pdf

中文摘要 半导体芯片外观视觉检测系统的研究与开发 作者：余轶 专业名称：杌电一体化 指导教师：史金飞教授，东南大学，南京，中国 中文摘要 机器视觉在工业检测中已经得到了广泛的应用，本文针对某大型半导体企业在芯片检测 过程中的实际需求及遇到的困难，利用机器视觉的优点，设计了一套基于机器视觉技术的半 导体芯片外观检测系统，实现对出厂芯片连续、高效、快速的外观检测，提高了检测效率、 节约人力成本并降低了工人劳动强度、更重要的是保证了检测的精度。 针对检测中芯片的倾斜问题，为克服倾斜图像对检测区域搜索的影响，在传统算法的基 础上进行改进，利用特征小模板对小角度倾斜不敏感的性质，通过两个小模板的匹配结果对 待检芯片图像进行倾斜校正，然后再进行r o i 区域搜索。在执行时间增加很小的情况下显著 提高了精度。保证了后续的各项外观参数检测的实时、准确与可靠。实际运行表明此方法切 实可行。 为检测芯片的字符缺陷，利用中值滤波对图像进行预处理，通过实验法和最佳阈值法相 结合对图像进行二值化处理，使用b l o b 分析方法检测各个字符的尺寸值，运用哈夫变换获 得字符整体相对芯片塑封体的位置值，判断芯片字符是否存在移位缺陷和倾斜缺陷。实际应 用中本方案能有效地判断字符的此二种缺陷。 对于芯片的引脚检测问题，使用l o g 边缘算子提取图像的边缘信息，将引脚的常见缺陷 量化为对引脚个数、引脚长度值、宽度值、相邻引脚间距值的计算判断，并运用标定技术将 图像处理所得的象素尺寸转换为实际尺寸。该方法可以很好地检测出芯片引脚的常见缺陷。 本课题所开发的系统能检测芯片外观的各类主要缺陷，满足企业的实际检测需求理论 分析与应用表明，本文的研究工作具有实际的应用价值。 关键词：芯片检测，机器视觉，b l o b 分析，哈夫变换 a b s t r a c t r e s e a r c ha n d d e v e l o p m e n to f t h em a c h i n ev i s i o n s y s t e mf o ra p p e a r a n c ei n s p e c t i o no fe l e c t r o n i c c o m p o n e n t s b y y u y i s u p e r v i s e db yp r o f e s s o rs h i j i n f e i s c h o o lo fm e c h a n i c a le n g i n e e r i n g s o u t h e a s tu n i v e r s i t y , n a n j i n g2 1 0 0 9 6 p e o p l e $ r e p u b l i co f c h i n a a b s t r a c t m a c h i n ev i s i o n a sap r o m i s i n gt e c h n o l o g y , h a sb e e na p p l i e di nm a n yf i e l d s o n eo f 血et y p i c a l a p p l i c a t i o n si st h ei n s p e c t i o nu s e di ni n d u s t r i a la r e a w h i l ee n j o y i n gt h eb o o mo fp r o d u c t i o n , a s e m i c o n d u c t o rm a n u f a c t u r i n gg r o u ph a sm e ta l lu r g e n tp r o b l e m , t h a ti st os a y , h o wt oi n s p e c tt h e a p p e a r a n c eo f s e m i c o n d u c t o rc h i p se f f e c t i v e l ya n de f f i c i e n t l y t os o l v et h i sp r o b l e m , a l li n s p e c t i o n s y s t e mi sd e s i g n e da n dd e v e l o p e du s i n gm a c h i n ev i s i o n i no r d e rt oc o p ew i t ht h er o t a t i o no fc h i pi m a g e , am e t h o di s i m p l e m e n t e dt od e t e r m i n et h e o r i e n t a t i o no f t h ei m a g ea n da d j u s ti ta st ob em a t c h e db yt w on o n - r o t a t e dt e m p l a t e s p a r a m e t e r s o f r o t a t i o na r c o b t a i n e d i n t h i s m e t h o d b y u s i n g t h e m a t c h i n g o f a b o v e t e m p l a t e s a r e r d e - r o t a t i o n o f c h i pi m a g ei nt e r m so f t h e s ep a r a m e t e r s ，i n s p e c t i o na c c u r a c yi si m p r o v e dd r a m a t i c a l l ya sw e l l a sj u s tal i t t l em o r et i m ei sn e e d e d a p p l i c a t i o n ss h o wt h a tt h ep r o p o s e dm e t h o di ss t a b l ea n d s u c c e s s f u l i nt h ep r o c e s so f m a r ki n s p e 蛾m e d i a nf i l t e ri sf i r s t l ya p p l i e dt or e d u c et h en o i s eo f t h ei n p u t c h i pi m a g e t h e nt h eo p t i m a lg l o b a lt h r e s h o l d i n gm e t h o di su s e df b ri m a g eb i n a t i z a t i o na n d s e g m e n t a t i o n a f t e rt h a t , b l o ba n a l y s i si se m p l o y e dt oo b t a i nt h ed i m e n s i o n so f e a c hm a _ d cw i t h t h e s ed i m e n s i o n sa n dt h ep a r m n e t e r so fp a c k a g eo u t l i n ec a l c u l a t e db yh o u g ht r a n s f o r m , t h et w o m a j o rd e f e c t s ，m a r ks h i f t i n ga n dm a r kr o t a t i o n , c a l lb ed e t e r m i n e de f f e c t i v e l y w h e nc o m i n gt ot h el e a di n s p e c t i o n , t ob e g i nw i t h , l o gm a s ki sc o n v o l u t e dw i t ht h ep r e t r e a t e d i m a g ef o re d g ed e t e c t i o n a c c o r d i n gt ol e a de d g ei n f o r m a t i o n , t h ed i m e n s i o n so fl e a d s ，s u c ha s l e n g t h , w i d t ha n ds p a c i n g , a r ec a l c u l a t e di nt h ei m a g ec o o r d i n a t e t h e nt h ec a l i b r a t i o nt e c h n o l o g y i sa d o p t e dt oc o n v e r tt h e s ed i m e n s i o n si n t ol e a d s r e a lp a r a m e t e r si ns p a c ec o o r d i n a t e t h i s s o l u t i o no f i n s p e c t i o ni sp r o v e dt ob ep r a c t i c a b l ea n df e a s i b l e t h e o r e t i c a la n a l y s i sa n da p p l i c a t i o ni n d i c a t et h a tt h er e s e a r c hw o r kd o n ei nt h i st h e s i si so f p r a c t i c a lv a l u e k e yw o r d s ：s e m i c o n d u c t o rc h i pi n s p e c t i o n , m a c h i n ev i s i o n , b l o ba n a l y s i s , h o u g h - t r a n s f o r m 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：雄导师签名：逝芝日 第一章绪论 1 1 课题的背景及意义 第一章绪论 作为全球芯片产业增长最快的地区和全球最具发展潜力的市场，2 0 1 0 年前，我国将成 为仅次于美国的全球第二大芯片市场。中国不再仅仅是芯片消费大国，也开始成为芯片生产 大国。伴随市场需求的扩张、产业规模的升级、技术水准的提高，我国已出现一批具备较强 国际竞争力的品牌产品和强势企业。某大型半导体生产企业就是其中的佼佼者，几年来公司 的产量和产值以超过2 0 的速度递增，产量和规模日益增大的同时也带来了新的问题，即 如何连续、高效、快速地对芯片的外观进行检测。目前企业主要是采用人工肉眼查看检测， 不仅耗费巨大的人力成本，而且无法保证检测的精度和速度。为解决这一制约企业进一步发 展的瓶颈问题，该企业决定利用机器视觉( 图像处理) 的优点，对芯片的外观进行全天大批 量、不间断的检测，从而提升芯片产品的精度与出厂速度，增加企业的竞争力。 机器视觉检测就是结合计算机技术和图像处理算法，使计算机能认识和“看懂”所要检 测的物件，对目标图像进行分析判断，从而达到检测目标物体的目的。相比于人眼检测，机 器视觉检测精度高、速度快、且能长时间连续工作“。 本课题就是围绕芯片外观检测展开，结合该大型半导体企业在检测过程中的实际需求及 遇到的困难进行开发。利用机器视觉的优点，应用数字图像处理学理论和方法，对机器视觉 检测系统的设计、结构及关键技术的实现等展开研究，重点阐述如何实现半导体芯片的引脚 的检测与匹配实现以及检测芯片字符缺陷的理论基础和方案流程的选择。 1 2 国内外研究现状及发展概况 1 2 1 机器视觉的发展 机器视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学和技术，是一个相当新 且发展十分迅速的研究领域，目前已成为计算机科学的重要研究领域之一。在上世纪二十年 代人们开始用离散化的方法处理图像，五十年代机器视觉研究主要着眼于统计模式识别，如 光学字符识别、工件表面、显微图片和航空图片的分析和解释。到了七十年代，麻省理工学 院0 v d t ) 人工智能c a i ) 实验室正式开设“机器视觉”( m a c h i n ev i s i o n ) 课程，由b i c p h o r n 教 授讲授。七十年代末，d a v i dm a r r 教授提出计算视觉理论，为以后的机器视觉研究奠定了十 分重要的基础。 m a r t 认为 3 1 ，视觉是一个信息处理系统，对此系统过程应划分为三个阶段：第一阶段 ( 早期阶段) 是图像特征的抽取以及图像的基本描述，抽取图像中诸如角点、边缘、纹理、 线条等基本特征；第二阶段( 中期阶段) 是以观察者为中心的对周围物体的观察，即2 5 d 观察；第三阶段( 后期阶段) 则是在以物体为中心的坐标系中，依靠先验知识和经验对物体 及场景的3 d 重建( k e c o n s t r u c t i o n ) 。 m a r l 理论是计算机视觉研究领域的里程牌，使机器视觉的研究有了比较明确的体系。 但该理论还不是十分完善，在很多方面还具有争议，在随后的研究中也暴露了一些缺点，如： 东南大学硕士学位论文 认为视觉过程是成像过程的逆过程，但由于在成像过程中存在噪声及干扰，因此图像的三维 成像过程实际上非常困难；而且理论中认为输入是被动的，视觉处理框架基本上是自下而上 没有反馈的，处理目的也是不变的，总是要求出场景中物体的形状和位置；此外，m a r r 理 论对知识的应用重视不足。 近年来，对机器视觉的研究一直方兴未艾，它的应用领域也在迅速扩大。目前机器视觉 的研究主要分为两部分1 4 j ：理论研究与应用研究。理论研究是在实验室的条件下，研究模拟 人类视觉的各种理论与算法( 如特征抽取、双目立体视觉、运动与光流、由线条图到实体、 由阴影到形体、由纹理到形体等) ；应用研究则是以解决实际问题为出发点，在研究中不得 不考虑到应用现场的一些环境影响与困难，这类研究主要集中在识别、检测问题( 包括产品 的检查，产品的装配、产品的分类等) 。本课题的研究就是属于后者的范畴。 1 2 2 机器视觉在半导体外观检测上的应用 机器视觉技术正广泛地应用于各个方面 5 1 ，从医学图像到遥感图像，从工业检测到文件 处理，从毫微米技术到多媒体数据库等，需要人类视觉的场合几乎都需要机器视觉，特别在 某些要求高或人类视觉无法感知的领域，如精确定量感知、危险现场感知，不可见物体感知 等，机器视觉的作用就显得尤为重要了。机器视觉的一个主要、典型的应用就是对半导体芯 片的外观检测。 微电子技术的突飞猛进，使得各种半导体芯片的集成度越来越高，同时芯片的体积趋向 于小型化及微型化，这些都对芯片的检测提出了较高的要求。而现场的大批量生产更使得传 统的人工肉眼检测难以满足实际需求。机器视觉系统所具有的非接触性、连续性、经济性、 灵活性等优点，使人们有了更好的选择，人工检测正逐渐被机器视觉检测所替代。 将机器视觉应用于半导体检测，主要是通过对实时抓取的图像采用模式匹配进行定位， 分析处理图像并得到图像的各项参数，与预先设置好的检测标准进行比较计算进而判断图像 合格与否。自上世纪九十年代以来，机器视觉应用与外观检测又有了新的发展，国内外的学 者已不仅仅局限于单纯的视觉检测系统的研究和设计，而是把机器视觉技术与工业生产底层 过程现场( p c s ，p r o c e s sc o n t r o ls y s t e m ) 、制造执行系统( i v i e s ，m a n u f a c t u r i n ge x e c u t i o n s y s t e m ) 结合起来，实现柔性制造、敏捷制造、计算机集成制造，进而为企业高层的决策， 企业资源管理( e r ee n t e r p r i s er e s o u r c ep l a n n i n g ) 提供准确可靠的数据“ 图1 1 所示是目前市场上几种常见的半导体外观视觉检测系统。 c o )( c ) 图1 - 1 几种半导体外观视觉检测系统 2 - 第一章绪论 图l - l ( a ) 是马来西亚p e i i 陆n t e r 的p m 4 0 p s 型芯片检测机。利用卷盘到卷盘的形式提供 封装和包装后检测，可检测二维的引脚、字符和方向等；图l 一1c o ) v i t r o x 公所产的3 维引 脚，5 侧视检系统，立体检测引脚的尺寸与站立度，也能检测塑封体的各个侧面；图l l ( c ) 是 台湾健鼎的t m t - 3 2 8 3 2 测试一体机，可根据需要选用字符检测模块或引脚检测模块。 与人工检测相比，机器视觉应用于半导体外观检测具有以下一些优点 1 非接触性 作为一个精确的检测设备，机器视觉系统通过分析处理被检对象图像对此对象进行测 量。测量过程中并不需要接触，所以对被测对象没有磨损和危险，实现了无损检测。 2 连续性 机器视觉的优势是显而易见的，因为人有情绪，会疲劳，把人用作机器是不可靠的。与 人眼相比，机器不仅不会疲劳，而且具有人所不具有的一致性和重复性，可以长时间不间断 运作。此外，由于没有人工操作者，也就没有了人为造成的操作变化，多个系统可以设定单 独运行。 3 精确性 近年来，由于芯片封装的小型化，生产的复杂程度增加，生产率却不断提升，加上各种 新型元器件的广泛使用，使得在半导体芯片的封装和生产线上，仅仅使用人眼进行检测操作 已经不能保证生产线的质量和效率。检测的速度和精确度在很长时间内，是制约芯片产能和 质量进一步提高的瓶颈。如何具有与封装生产相匹配的速度，实现1 0 0 的在线检测，一直 是半导体制造商最为关注的问题。而检测速度和精确性正是机器视觉检测具备的一个明显优 势，日新月异的机器视觉技术，正在代替人进行全自动的产品检测。 4 经济性 随着视觉检测技术的逐步成熟与处理硬件设备价格的降低，机器视觉系统的经济性逐渐 显现出来。一套视觉检测系统可以代替多个人工检测者。另外机器视觉系统普遍的操作和维 持费用都比较低。 5 可扩展性 机器视觉系统能够进行各种不同的测量。机器视觉系统比光学和机器传感器具有更好的 适应性，多样性，灵活性和可重组性。当需要改变检测过程时，对机器视觉系统来说“工具 更换”仅仅是更新软件，而非升级昂贵的硬件。当生产线重组之后，机器视觉系统往往可以 被保留下来而继续使用。 尽管人们对机器视觉进行了卓有成效的研究，研究出了大量的技术和算法，但其仍处于 不成熟的阶段，将机器视觉应用于芯片检测必然要面对一定的难点，总结起来，主要有以下 几个方面【5 1 1 7 8 ： 1 机器视觉的唯一输入是二维图像，而三维场景被投影为二维图像时，深度和不可见部分 的信息就会丢失，因而会出现不同形状的三维物体投影在图像平面上产生相同图像的问题， 此外，在不同视角获取同一物体的图像也会有很大的不同。这在检测芯片的引脚时显得尤为 突出，因为大部分的芯片引脚并不共面。如图l - 2 所示。 3 东南大学硕士学位论文 图1 - 2 芯片引脚的不共面性 2 工业现场环境的各种因素，如照明、芯片形状、表面颜色、相机以及空间关系变化都会 影响所获得的图像，进而直接影响到检测的效果与成败，因此，如何提高现场环境效果及避 免环境因素的影响也是不可忽略的闯题。 3 芯片图像的信息量十分巨大，比如分辨率为5 1 2 x 5 1 2 的灰度图像的数据量为2 5 6 k ，巨 大的数据量不仅占用存贮空间，而且必然使得执行时间大幅增加，不易实现快速处理。而现 场的要求是实时、大批量，多幅并行处理，这样就对算法的选择与优化提出了很高的要求。 4 实时采集的图像不可避免地有一定角度的倾斜和旋转，准确快速地对图像进行定位和分 割处理并非易事，在对速度要求高的检测场合这个问题显得尤为突出，而这一步的成败直接 决定了后续的检测处理结果。 日前国内外对于半导体芯片外观检测已经有了很多种成型的技术和算法，应用在不同的 机器视觉检测场合，但工业现场的情况千变万化，没有固定的模式和算法去解决所有的问题， 没有“通法”也就成了机器视觉系统特点之一，研究人员必须根据检测所要达到的标准和目 标，综合考虑现场的各种情况设计开发合适的机器视觉系统。而国内目前所使用的视觉检测 系统大多为进口产品，不仅成本较高，而且与国内的生产流程和现状难以融合。本课题的目 标就是针对某个特定企业半导体芯片的尺寸和外观检测要求，实现针对性开发和定制开发。 1 3 本课题的研究内容和组织安排 本课题的研究内容是针对该企业在半导体芯片大批量生产检测中出现的困难，利用机器 视觉实现芯片外观检测的自动化与智能化。根据企业的具体要求和现场的实际情况，进行半 导体芯片外观检测系统的设计及总体框架搭建。在半导体芯片的引脚检测模块，设计从图像 预处理、r o i ( r e i g no fi n t e r e s t ) 搜索( 模板匹配) 、边缘检测、边缘信息提取及根据所获 得的检测信息进行决策判断的方案过程。通过对不同预处理方法、模板匹配方法、边缘提取 方法的研究和比较，通过实验选出最适合本课题应用的方法，以得到最佳的引脚参数信息。 在半导体芯片的字符检测模块，预处理和r o i 搜索同引脚检测模块，利用b l o b ( 斑点) 分析 处理获得字符的倾斜角度、整体字符印刷区域的位置，确保印刷字符均匀、无偏斜地分布在 芯片表面。 本文内容共分六章，分别从理论和应用的角度对课题的重点和难点进行了深入的分析： 第一章：介绍课题的背景和意义、国内外研究现状、论文所做工作以及全文的安排； 4 - 第一章绪论 第二章：介绍有关机器视觉的基本概念，系统的总体架构分析，本机器视觉系统的软、 硬件系统构成，以及所用的一些机器视觉设备： 第三章：讲述图像的r o i 区域搜索技术，通过对不同的算法的分析比较，并针对现场 的特定情况，提出更有效的改进方法，并经过实验验证； 第四章：对半导体芯片的字符检测问题进行详细的阐述，包括检测过程的基本原理、算 法、实现以及实验结果等； 第五章：针对半导体芯片的引脚检测模块，详细介绍系统实现的具体方法和关键技术； 第六章：对整个系统进行总结，分析本系统的不足及有待改进的方面。并对进一步的研 究和完善提出了建议。 5 东南大学硕士学位论文 第二章系统总体架构分析 本章将针对半导体芯片检测的实际需求和检测目标，分析介绍本系统的设计思想及检测 流程。简述所需的相关设备平台及其性质，以及选取原则。 2 1 系统需求分析 通过对生产现场的调研，我们发现半导体芯片的主要缺陷分布在引脚和字符两方面，此 两类的常见缺陷如图2 1 和图2 - 2 所示： 字符的常见缺陷主要分为字符移位缺陷和字符的整体倾斜缺陷( 图2 - 1 ) 。实际检测中又以 x y 方向的偏移最为普遍，要求系统能准确快速地处理字符图像，计算出偏移的位移和方位， 同时对其他类型的缺陷也能作出精确判断。 ( a ) 字符倾斜( b ) 字符y 方向偏移 ( a ) 歪脚 ( d ) 脚扭曲 图2 - 1 芯片字符常见缺陷 ( b ) 缺脚 ( c ) 断脚 ( c ) 切偏( o 连筋 图2 - 2 芯片引脚常见缺陷 图2 - 2 ( a ) 表示以管脚中心线为基准，管脚向任一方向弯曲使管脚顶端距原位置偏离( 歪 脚) ；图2 - 2 ( b ) 指芯片脚数少于规定脚数或有松动；图2 - 2 ( c ) 所示缺陷是同一产品不同引脚 之长度差异，即引脚折断；图2 - 2 ( d ) 为引脚扭曲；图2 - 2 ( e ) 和图2 - 2 ( f ) 则表示中筋凸出或 凹陷和中筋未切断导致脚与脚连接。本文所描述的检测系统需检测出以上各类引脚不良，通 6 - 一黼 第二章系统总体架构分析 过对引脚几何形状的处理分析，不符合检测标准的被定义为不合格芯片。 整个系统实行在线检测，要求对芯片外观的各种参数进行快速攫取与计算，有效识别各 类缺陷，准确区分合格芯片与不良芯片。此外，应考虑到企业生产能力的提高、产品类型的 多样化及生产线的更新换代，使系统具有可扩展性与通用性。 要满足芯片外观检测的实际需求，本检测系统必须考虑以下几个方面的要求： 1 精度要求 系统应检测出引脚和字符的上述常见缺陷，对于芯片整体外观检测，要求误识率在o 1 以下： 2 速度要求 检测每一芯片的所用时间受到需要测量的项目数量、所需的操作过程，及主机速度的影 响。考虑到企业实际生产能力及未来的产能扩容，检测速度应达到3 个芯片，秒； 3 通用性要求 系统按模块化设计开发，使检测项目和检测内容通用灵活，能检测多种类型芯片，易于 后续开发和功能扩展。 2 2 半导体芯片视觉检测系统 机器视觉检测系统的总体结构大体上分为两种：一种是传统的由光源、光学系统、 c c d c m o s 相机、计算机、图像处理单元( 或图像采集卡) 、机器视觉处理软件、人机接口、 通讯接口等设备组成的机器视觉系统结构；另外一种是基于嵌入式技术的“聪明相机”( s m a r t c a m e r a ) 。 考虑到工业现场的复杂环境及企业的开发成本。我们设计了一套以计算机为中心，由视 觉传感器、高速图像采集卡等模块组成的检测系统，如图2 - 3 所示。 2 2 1 相机 图2 - 3 基于p c 的机器视觉系统 1 相机与镜头2 光源3 传感器4 图像采集卡5 计算机6 检测 软件7 i o 及网 络连接 相机是机器视觉系统中的一个关键组件，其最本质的功能就是将光信号转变成为有序的 电信号。选择合适的相机也是机器视觉系统设计中的重要环节，相机不仅直接决定所采集到 的图像分辨率、图像质量等，同时也与整个系统的运行模式直接相关。 7 - 东南大学硕士学位论文 2 2 i i 相机的主要参数嘲 1 分辨率( r e s o l u t i o n ) ：相机每次采集图像的象素点数( p i x e k ) 对于数字相机一般是壹 接与光电传感器的像元数对应的，对于模拟相机则是取决于视频制式，p a l 制为7 6 8 * 5 7 6 ， n t s c 制为6 4 0 * 4 8 0 ： 2 象素深度( p i x e ld e p t h ) ：即每象素数据的位数，一般常用的是8 b i t ，对于数字相机一般 还会有l o b i t 、1 2 b i t 等； 3 最大帧率( f r a m er a t e ) 行频( l i n er a t e ) ：相机采集传输图像的速率，对于面阵相机一 般为每秒采集的帧数( f r a m e s s e c ) ，对于线阵相机为每秒采集的行数( h z ) ； 4 曝光方式( e x p o s u r e ) 和快门速度( s h u t t e r ) ：对于线阵相机都是逐行曝光的方式，可以 选择固定行频和外触发同步的采集方式，曝光时间可以与行周期一致，也可以设定一个固定 的时间；面阵相机有帧曝光、场曝光和滚动行曝光等几种常见方式，数字相机一般都提供外 触发采图的功能。快门速度一般可到1 0 微秒，高速相机还可以更快： 5 象素尺寸( p i x e ls i z e ) ：象素大小和分辨率共同决定了相机靶面的大小。目前数字相机 象素尺寸为3 u m 1 0 t t m ，一般来说，象素尺寸越小，制造难度越大，图像质量也越不容易提 高； 6 光谱响应特性( s p e c l r a lr a n g e ) ：是指该像元传感器对不同光波的敏感特性，一般响应 范围是3 5 0 n m - - 1 0 0 0 n m ，一些相机在靶面前加了一个滤镜，滤除红外光线，如果系统需要 对红外感光时可去掉该滤镜。 2 2 1 2 相机的分类与选用 目前图像数字化设备中采用的相机多种多样，这些相机根据不同的标准可分为不同的种 类“q l l l l ：按感光芯片可划分为c c d 相机与c m o s 相机；按输出图像信号格式划分模拟相 机和数字相机；按像元排列方式划分面阵相机和线阵相机。 当为一个新的视觉系统选用相机时，首先要考虑相机的分辨率，这是因为相机的分辨率 会直接影响到整个视觉系统的计算精度。而衡量系统精度的标准，就是我们常常听到的象素 值一- - c c d 芯片上象素所对应的实际长度。 象素值的计算公式如下： 象素值( x 方向) = 视野范围( x 方向) c c d 芯片象素数量( x 方向) 象素值( y 方向) = 视野范围( y 方向) c c d 芯片象素数量( y 方向) 这个象素值越小，系统的计算精度就越高。 对于一个有具体精度要求的项目，计算相机分辨率的公式如下： 分辨率( x 方向) = 视野范围( x 方向) 理论象素值( x 方向) 分辨率( y 方向) = 视野范围( y 方向) 理论象素值( y 方向) 理论象素值是根据项目精度的要求推算得出的象素值，象素值只有达到这一数值，才能 保证系统的精度符合要求。 除了精度要求外，另一个必须考虑的是速度上的要求。系统速度的快慢取决于整个视觉 系统运行的时间，包括成像时间和处理时间。机器视觉检测系统为一个实时处理系统，所选 用的相机成像时间必须控制在一定范围内。 除了以上因素之外，在为系统选用相机的时候，还要考虑选用的相机是否与现有的采集 卡匹配。主要包括：视频信号的匹配，分辨率的匹配，特殊功能的匹配，相机类型的匹配等。 3 - 第二章系统总体架构分析 2 2 1 3 本系统采用的相机类型 通过对现场生产线的调研，并考虑到成本因素，本系统决定采用s o n y 公司生产x c - 5 5 工业相机。 表2 1x c 5 5 相机主要参数 图2 - 4x c 一5 5 工业相机 2 ，2 2 图像采集卡 传感器类型1 3 英寸连续扫描c c d 象素 6 5 9 x 4 9 4 输出 r s 一17 0 ( e i a ) 电源 + 1 2 vd c 其他异步触发 在机器视觉系统中，图像采集卡是图像采集部分和图像处理部分的接口，对相机所输出 的视频数据进行实时采集，并提供给图像的处理单元。图像采集卡必须与相机协调工作，才 能完成特定的图像采集任务。在工业检测中不可以用多媒体级的采集卡，因为这些采集卡用 自动增益控制、边缘增强、颜色增强等电路而改变了图像的数据，虽然获得的图像人眼看起 来更加动人，但是当这些被改变的图像被机器视觉软件处理后，可能导致错误的检测结果， 影响着检测过程的准确性。而工业级的采集卡可以保证从相机获取的数字图像在被传输到主 机处理前是一个正确的格式。 为了满足工业应用中高速、大量的图像数据处理要求，机器视觉系统的图像采集卡除完 成常规的a d 转换之外，还应具备以下功能： 1 采集来自相机的高速数据流，并通过p c 总线高速传输至机器视觉系统的存储单元 和处理单元； 2 对多通道输出的信号能进行重构，恢复原始图像； 3 对相机及机器视觉系统中其他模块( 如光源等) 进行功能控制。 本系统采用f a s t 公司出品的f v c 0 2 图像采集卡。f v c 0 2 是一款p c i 总线规格、多通 道高速图像输入采集卡 - 9 - 东南大学硕士学位论文 图2 - 6f 、，c 0 2 图像采集卡 表22f v c 0 2 图像采集卡主要规格 外形尺寸1 7 4 m mx1 0 6 6 8 r a m ( 不包括连接器的突起部分) 采集卡消 + 5 v 约6 0 0 m a + 1 2 v约2 0 0 m a ( m a x ) 耗电流 - 1 2 v约9 0 m h ( m a x ) 相机供给约2 a ( m a x ) )( 每台相机最大供给电流约为i a ) 电流 + 1 2 v ( 由j 3 供给) 实际的供给电流将根据连接的相机及台数而变化。 图像输入频道数 2 频道 输入信号 i 0v p p 7 5 q 合成影像 ( 水平) 可编程的( 约1 5 7 3 4 l 【 i z 3 1 4 6 8 i ( i z ) 水平垂直扫描频率等( 垂直) 可编程的( 约5 h z 1 2 0 h z ) 输入影像 ( 隔行非隔行) 可编程的 外部同期信号( 输出)2 频道( 皿v d ) 普通( 1 1 0 0 1 8 0 0 0 秒) 帧快门 随机触发( 1 4 1 1 0 0 0 0 0 秒) 控制输入随机触发要求输入2 点、t t l ( 负逻辑) 2 2 3 光源与照明 光源也是机器视觉系统中的重要组成部分，直接影响输入图像数据的质量和整个处理结 果的好坏。因此照明设计是机器视觉系统设计中的重要环节。 为了创造良好、稳定的观察和测量条件，人们制成了多种人工光源，如自炽灯、卤素灯、 发光二极管( l e d ) 及激光光源，针对每个特定的应用实例，要选择相应的照明装置，以达 到最佳效果。机器视觉系统的照明设计应重点考虑四个基本因素： 1 镜头的视场 在照明系统的设计中，应根据被测对象的尺寸确定镜头的视场，再根据镜头视场的大小 决定最佳的照明系统； 2 照明系统与工件的间距 1 0 一 第二章系统总体架构分析 应全面了解镜头到工件的距离，从而确定光源与工件的距离； 3 工件的外形、条件及颜色 工件表面的形状、平坦度，光滑程度等条件决定照明的选择。最佳的照明颜色可通过检 测工件或被检测区域的颜色来决定； 4 成像物镜 应针对确定的成像物镜进行照明系统的设计，如：工件中需要可视化的部分、划痕、缺 陷等是否被显现，工件表面的是否能够辨认等。 在机器视觉系统设计中，只有充分理解实际应用场合和应用环境，才能选择出最佳的光 源和照明形式，从而获得高质量的图像，最大限度地保证检测的稳定性和可靠性。 2 3 系统软件的原理及流程 系统软件是整个机器视觉系统的大脑和中枢，最终的控制和决策都由其完成。本系统利 用图像处理技术对实时采集到的图像进行预处理和模板匹配定位，根据不同的检测类别选择 具体的处理区域，对分区域内的图像作进一步的分析，提取相关的特征和图像数据，再根据 设定的尺寸标定值和标准参数公差判断此区域目标是否合格，从而实现对半导体芯片外观的 视觉检测。系统软件的工作原理如图2 7 。 图2 - 7 系统软件工作原理图 为了更好地开发和维护，使检测项目和检测内容灵活方便，且方便进一步的完善和扩展。 本系统软件采用模块化设置，各个相对独立的模块完成不同的功能，整个系统包括七个模块 ( 图2 8 ) ，分别介绍如下： 东南大学硕士学位论文 图2 8 系统模块图 1 图像采集 包括对采集卡和相机的参数初始化和信号同步，可以实现相机连续采集、单步采集和随 机触发采集。单步采集对应在现场对任一芯片进行图像抓取、处理从而获得参数；连续采集 是使系统按一定的频率进行采集图像：随机触发采集对应于现场的实时检测，当传感器检测 到有芯片时，发出触发电平信号控制相机对芯片拍照。此外，还可以在无硬件连接的情况下 脱机虚拟运行，从磁盘或其他存储器中调入图像，进行参数设定或模拟现场运行； 2 参数设置 参数设置主要是对系统正确工作所必需的参数进行设置，包括检测模板设定、芯片引脚 和字符检测的公差值设定、相机标定设定。为了获取图像检测所必需的处理区域，如图像上 引脚或字符所在的区域，需要将这些区域在标准图像上的所对应区域设置为检测模扳，即进 行区域模板设定；此外，根据采集所得或系统调入的标准图像获取标准值，对芯片引脚和字 符检测的公差值进行设定；由于图像处理所得的尺寸皆为象素尺寸，而检测的公差则是由实 际尺寸表示，因此必须将处理过程中得到象素尺寸值转换为实际尺寸值，转换关系由相机标 定设定完成； 3 前期处理 在实际的检测环境中，系统所获得的原始图像由于受到各种条件限制和随机干扰，并不 能直接在视觉系统中使用，为了更好地对图像进行分析，必须在处理之前对图像进行一定的 前期预处理。本模块就是完成必要的图像处理功能，包括增强图像的对比度、滤除图像中的 随机噪声、图像二值变换，图像边缘信息的加强等，为后续的处理过程减少工作量及提高精 度； 4 区域匹配 为了获取待检对象在图像上的所在位置，必须搜索到包含这些对象的相应的r o i ( r e i g no fi n t e r e s t ) 区域，即感兴趣区域。利用在参数设置中设定好的区域模板对待检 芯片的图像进行匹配，从而获得具体分析检测的范围和目标； 5 字符检测 对匹配到的字符r o i 区域进行详细分析，处理获得待检芯片字符的各项尺寸，利用系统 操作用户预先设置的公差值分析判断字符是否存在移位( 水平、垂直偏移) 缺陷以及倾斜缺 陷；保存字符检测不合格的芯片图像；统计字符检测的结果：显示具体的缺陷类型与检测过 程中出现的异常，并可设定相应的异常处理选项： 6 引脚检测 与字符在线检测模块类似，本模块是对芯片的引脚部分进行检测，通过分析引脚r o i 区域，提取芯片引脚的各项特征参数，如个数、长度、间距、宽度等，并把象素尺寸值转换 为实际尺寸值，结合设定的公差值检测引脚存在的各类缺陷，包括歪脚、扭脚、缺脚、断脚， 1 2 - 第二章系统总体架构分析 保存存在这些缺陷的芯片图像，对芯片引脚检测的结果进行实时统计，显示检测异常并对这 些异常进行处理： 7 数据管理 为保证检测的可靠和精度，本系统开发为多用户系统，不同的用户对应不同的操作等级， 所具备的操作权限也各不相同，可分为管理员级和普通用户级，管理员用户具备系统操作的 最高权限，能操作系统的所有功能，如系统初始化参数的设定、检测芯片模板的设定以及检 测的公差设定等：普通用户则只能调用由管理员用户预先设定好的参数值和环境变量，完成 芯片的检测，这些操作即是由数据管理模块完成。除此以外，本模块还记录管理检测过程中 的数据信息，如操作时间、操作具体人员、操作的批次值蚍及操作所获得字符检测结果和引 脚检测结果。 本系统软件选用v i s u a lc 什6 0 作为开发工具，v i s u a lc + + 6 0 是一款用c ，c + + 语言开发 w i n 3 2 应用程序的集成开发环境，既能利用c c + + 语言的简洁和高效率，以及对系统软、硬 件的良好支持，又能大大简化w i n d o w s 应用程序的开发过程，利于可视化操作界面的实现。 2 4 本章小结 本章通过分析半导体芯片检测的需求和检测目标，介绍了芯片外观视觉检测系统的组成 和各自特点，同时阐述了系统软件的原理及流程，分析介绍本系统软件的组成模块及各部分 的任务和功能。 1 3 - 东南大学硕士学位论文 第三章基于模板匹配的r 0i 区域搜索 在半导体器件外观视觉检测中，首先要根据检测项目搜索到相应区域，该区域包含待检 的对象，如：引脚( l e a d ) 、字符( m a r k ) 、塑封体( p a c k a g e ) 等，在图像处理上通常把这些区 域称为r o i ( r e g i o no fi n t e r e s t ) 区域，因此能准确快速地搜索到相应的r o i 区域是有效检测 的前提和保证。 常用的搜索r o i 区域的方法是模板匹配，模板匹配是机器视觉的重要的一部分，指在 目标图像中寻找预先设定的已知模式( 模板图像) 的过程。选择匹配算法时关键要考虑到现场 应用的速度要求，同时也要兼顾到匹配精度。 3 1 模板匹配 模板是图像或图像子图的一种表达方式，本身仍然是一幅图像。传统的匹配算法是基于 模板的平移运动，通过计算模板与待匹配图像的某个区域( 子图) 的相似度来判断目标图像 中是否有与模板相匹配的区域。将已知的模板，和待检图像中同样大小的一块区域去对比， 最开始时，模板的左上角点和图像的左上角点是重合的，然后平移到下一个象素，重复进行同 样的操作，所有的位置都对比完后，差别最小的那块就是我们要找的区域，这就是模板匹配的 基本思想i t 2 常见的匹配算法主要有绝对平衡搜索法、归一化相关法、序贯相似性检测法 等。 口 3 1 1 绝对平衡搜索法鲫i t3 】 图3 - 1 模板匹配示意图 绝对平衡搜索法( a b s o l u t eb a l a n c es e a r c h , a b s ) 直接计算目标图像上的搜索范围和模 板上所对应的象素的灰度值的差别，设目标图像为，模板为n 则匹配度上可以表示为 三= i f - t 或l = 俨一r ) 2 对a b s 值的计算有两种准则，可根据实际匹配场合灵活选择，分别介绍如下： 1 最小均方差准则( m e a ns q u a r ee n 仉m s e ) ，定义为： 1 4 ( 3 1 ) ( 3 2 ) 第三章基于模板匹配的r o i 区域搜索 m s e ( 州= 击蔷m 荟n 陬- ，( 朋伽切】2 通过对上式的极小化可以估计出位置矢量r = 咖，帕，即 ( 3 3 ) 【m ，珂】2 = a r g m i n m s e ( m ， ( 3 4 ) 2 最小平均绝对差准则( m e a na b s o l u t ed i f f e r e n c e m a d ) ，定义为： 刎肋2 面1 善荟陬砌。，( 卅m 川 o 5 此时，位置矢量r = ( 朋，疗) 的估计值为： 【m ，川7 = a r g m i n