（电路与系统专业论文）电路板板载元器件检测系统研究.pdf

西北工业大学硕士学位论文 中文摘要 摘要 电路板板载元器件自动光学检测是电子行业产品检测领域一个重要的研究课 题。它旨在对采用微型化元器件的高密度电路板上的元器件非接触地高速、高精 度识别与缺陷检测，从而克服人工检测劳动强度大、可靠性差( 易发生漏检和误 检) 等缺点，提高电子产品质量与生产效率。 本文对电路板板载元器件自动光学技术的现状及发展进行研究，并在对检测 系统的各个构成部分进行研究的基础上，构建了简单的检测系统。 针对p c b a 图像存在的光照不匀问题，采用改进的同态滤波方法进行图像预处 理：对目标图像进行多层小波分解，对各层高低频系数滤波处理，减弱低频系数， 增强高频系数，然后进行小波重构，从而达到光照不均校正的目的。结果证明该 方法在a o i 系统中具有很强的实用性。 基于电路板m a r k 点特征，改进h o u g h 变换定位方法，减少参与运算的点数及维 数，快速定位m a r k 点标记。实验表明该方法定位准确，运算时间大大降低。 在特征数据库建立方面，依据c a d 设计数据文件导出元器件位置报表文件， 在该文件基础上添加特征项，构成特征数据库。该数据库包含元器件名称、型号、 坐标、贴装角度、元件特征等信息，易于实现元件快速定位分割、类型识别及缺 陷检测，大大提高了检测系统的实时性。 最后，利用模式识别方法进行元件识别与缺陷检测。 关键词：自动光学检测、h o u g h 变换、特征提取、元器件识别、缺陷检测 西北工业大学硕士学位论文 英文摘要 a b s t r a c t a u t o m a t i o no p t i c u li n s p e c t i o n ( a o i ) o l lp r i n t e dc i r c u i tb o a r da s s e m b l yi sa l l i m p o r t a n tr e s e a r c hf i e l di nt h ee l e c t r o ni n d u s t r yp r o d u c ti n s p e c t i o n i ta i m s a t d i s t i n g u i s h i n gc o m p o n e n t sa n dc h e c k i n gt h e i rd e f e c t sw i t hh i g hs p e e da n da c c u r a c yo i l t h eh i g hd e n s i t yc i r c u i tb o a r d ，w h i c ha d o p t e st h em i n i a t u r i z a t i o nc o m p o n e n t i tc a ns a v e m a l ll a b o ra n di m p r o v ed e t e c t i o nr e l i a b i l i t y , t h u si m p r o v e se l e c t r o np r o d u c tm l q sa n d t h ee f f i c a c y i nt h i sp a p e r , a o ia n di t sd e v d o p m e n ti sf i r s ts t u d i e d 。t h e na s i m p l ea o is y s t e mi s d e v e l o p e d t os o l v et h ei l l u m i n a t i o np r o b l e m s , w a v e l e tb a s e dh o m o m o r p h i cf i l t e r i n gi sm o d i f i e d a n du s e di no u rs y s t e m t h ew a v e l e tc o e f f i c i e n t si ne a c hl e v e la r ef i l t e r e dw i t ha h i g h p a s sf i l t e rt oa t t e n u a t et h el o wf r e q u e n c i e sa n de n h a n c et h eh i g hf r e q u e n c i e s t h e n t h ew a v e l e tr e c o n s t r u c t i o ni sp e r f o r m e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h en e ww o r k s w e l li na o is y s t e m s t ol o c a t em a r kp o i n t sp r e c i s e l ya n dq u i c k l y , i m p r o v e dh o u g ht r a n s f o r m a t i o nj s a d o p t e dh e r et oc u td o w np o i n t sa n dd i m e n s i o n si nc a l c u l a t i o n , a n dt h u sl a b e lm a r k p o i n t sq u i c k l y e x p e r i m e n t a lr e s u l t si l l u s t r a t et h ee f f e c t i v e n e s so ft h ep r o p o s e dm e t h o d s i n c er e p o r t so fc o m p o n e n t sa r eo b t a i n e db yc a d , f e a t u r ed a t a b a s ei sp r o d u c e db y a d daf c a t u r ei t e mi t ot h er e p o r t s t h ef e a t u r ed a t a b a s ec o n t a i n st h en a m e ，t y p e , c 0 0 r d i n a t ee t c a n di tc a l lb ee a s i l yu s e di nc o m p o n e n t sl o c a t i o n , s e g m e n t a t i o n , r e c o g n i t i o na n dd e f e c t sd e t e c t i o n f i n a l l yc o m p o n e n t sr e c o g n i t i o na n dd e f e c t sd e t e c t i o ni sp e r f o r m e d k e yw o r d s ：a u t o m a t i o no p t i c a li n s p e c t i o n , h o u g ht r a n s f o r m , f e a t u r ee x t r a c t i o n ， c o m p o n e n ti d e n t i f i c a t i o n 。d e f e c td e t e c t i o n 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期间论文工 作的知识产权单位属于西- i p , ：i ：业大学。学校有权保留并向国家有关部门或机构送交论文 的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学 位论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律注明作者单位 为西j e 工业大学。 保密论文待解密后适用本声明。 学位论文作者签名： 年月日 指导教师签名：擞 年月日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位论文，是本 人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 和致谢的地方外，本论文不包奔任何其他个人或集体已经公开发表或撰写过的研究成果， 不包含本人或其他已中请学位或其他用途使用过的成果。对本文的研究做出重要贡献的 个人和集体，均已在文中以明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名： 年月日 西北工业大学硕士论文 第一章绪论 1 1 研究背景 第一章绪论 随着微电子产业的发展，微电子元器件在尺寸、种类、形态结构以及制造周 期等方面有了很大的变化，芯片制造及其安装模式、流程和工艺方法都有了新的 要求。s m t ( s u r f a c em o u n tt e c h n o l o g y ，表面贴装技术) 是目前电子贴装行业里的 主流工艺技术，适应了电子产业发展的需求。采用该技术，电子产品体积缩小 4 0 - 6 0 5 ，重量减轻6 0 - 8 0 “，同时，采用s m t 技术制作的电路板可靠性高、抗振能 力强、焊点缺陷率低、高频特性好、生产流程易于实现自动化，可提高生产效率、 降低成本达3 0 - 5 0 ，还具备节省材料、能源、设备、人力、时间等优点。s 册作 为新一代电子装配技术，是现代电子制造中的关键环节，发展迅速、应用广泛， 并已成为电子组装技术工艺水平的衡量尺度。没有采用s e t 的电子组装会被认为是 落后的工艺水平“。自主开发具有先进水平的s m t 关键生产装备不仅是发展我国半 导体制造业的需要，也是我国国民经济健康、持续发展的迫切需求。 国外在表面组装领域研究较早，组装生产线上的视觉技术历来受到专利保护 而鲜为人知，随着我国微电子产业的高速发展，国家已经把表面贴装装备的国产 化作为“十五”投资重点项目，这更加重了表面组装领域相关技术研究的紧迫感。 1 2 研究意义及生产应用 随着表面组装技术( s m t ) 中使用的印制电路板线路图形精细化、s m d 元件微型 化，以及s m t 组件高敏度组装、快速组装的发展趋势，采用目检或人工光学检测 的方式已不能适应该领域的检测需要【4 】。 自动光学检测( a o i ，a u t o m a t i co p t i c a li n s p e c t i o n ) 技术由于在提高检测 精度、增强可检测性等方面独到的优越性，克服了传统检测手段的缺点，现已广 泛用于表面贴装元件、表面贴装产品质量检测等领域【4 j 。该技术具备在芯片拾取、 定位和贴放过程中实时检测，完成高精度元件定位和元件缺陷检测，提高产品质 量和贴装效率，从而解决了传统检测手段无法解决的问题【埘。 a o i 技术是将电路板上的器件或者特征( 比如绰点) 捕捉成像，通过软件处理， 判断这一器件或者特征是否完好，然后得出检测结果，判断诸如元件缺失、极性 反转、焊接锡桥或者焊点质量问题等。运用高速高精度视觉处理技术自动检测p c b 西北工业大学硕士论文 第一章绪论 板上各种不同贴装错误及焊接缺陷。p c b 板的范围可从细间距高密板到低密度大尺 寸板，并可提供在线检测方案，以提高生产效率及焊接质量。 在s m t 组装生产线上产生缺陷的位置如图1 1 所示。应用于元器件检测的a o i 系 统可用于生产线上的多个位置，但有两个位置是最为主要的，如图1 2 所示。 1 、回流焊前。检查是在元件贴放在板上锡膏内之后和p c b 送入回流炉之前完 成的。这是一个典型的放置检查机器的位置，因为这里可发现来自锡膏印刷以及 机器贴放的大多数缺陷，预防问题，能够阻止缺陷的进一步的恶化。 2 、回流焊后。检查是在s m t 工艺过程的最后步骤，因为这个位置可发现全部 的装配错误。回流焊后检查提供高度的安全性，因为它识别由锡膏印刷、元件贴 装和回流过程引起的错误。该位置的检查支持最终品质的目标。 图l - i 缺陷产生的可能位置 通过使用a o i 作为减少缺陷的工具，在装配工艺过程的早期查找和消除错误， 以实现良好的过程控制。早期发现缺陷将避免将不合格板送到随后的装配阶 段，a o i 将减少修理成本将避免报废不可修理的电路板。 图1 - 2s m t 生产线上的a o i 检测示意图 电子贴装领域的自动光学检测技术，相比传统检测手段有如下优点“”： 1 、可无限重复性，在生产线上能够实现1 0 0 检测。机器不仅不会疲劳，具有 2 西北工业大学硕士论文第一章绪论 人所不具有的一致性和重复性。 2 、a o i 系统能够检测下面错误：元件漏贴、钽电容的极性错误、焊脚定位错 误或者偏斜、管脚弯曲或折起、焊料过量或者不足、焊点桥接或者虚焊等。a o i 不 仅能检查人工目测无法查出的缺陷外，a o i 可检测到在线测试中针床无法接触到的 元器件和焊接点，提高缺陷覆盖率。 3 、a o i 还能把生产过程中各工序的工作质量以及出现缺陷的类型等情况及时 收集、反馈回来，供工艺控制人员分析和管理，降低p c b 废品率。 因此，电路板自动光学检测技术在电子检测领域具有重要地位，但国外一套 a o i 检测系统价值几十万美元，甚至高达百万美元，价格昂贵，开发具有自主知识 产权的p c b 板载元器件检测系统对于国内s m t 组装业具有重要意义。 1 3 国内外研究现状 自动光学检测的按光源分为两类：可见光检测和x 光检测。可见光条件下的检 测通常称为a o i ( a u t o m a t i co p t i c a li n s p e c t i o n ，自动光学检测) ，该方法在电 子检测领域的重要意义，国内外研究的较多，发展较快。 在s m t 中，采用a o i 技术的形式虽有多种，但其基本原理是相同的。它用光学 手段获取被测物体图像，然后以某种方法进行检验、分析和判断，所有a o i 方法可 描述为：通过一架摄像机或传感器获得一块板的照明图像并数字化，然后与前面 定义的“好”图像进行比较、分析。应用于a o i 系统的图像分析技术主要包括：模 板比较( 或自动对比) 、边缘检查、特征提取、灰度模型、傅里叶分析、形状、光 学特征识别等检测技术“”。 a o i 呈以下发展趋势n 1 1 ： ( i ) 图形识别法称为应用主流 s m t 中应用的a o i 技术，图形识别法已成为主流。这是由于s m t 中应用的a o i 技 术主要检测对象，如s m d 元件、p c b 电路、焊膏印刷图形、完成组装后组件等的规 格和种类，而且检测对象发展变化很快，相应的设计规则、标准很难全面跟上。 为此，基于设计规则的d r c 法应用起来较困难。而计算机技术的快速发展解决了高 速图形处理难题，使图形识别法更易实用化。目前，各种各样的图形识别法a o i 技 术在s m t 中应用月来越广泛。其中，s a m ( s t a t i s t i c a la p p e a r a n c em o d e l i n g ，统计外 形建模技术) 技术在图形识别法中体现出巨大优势咖。 ( 2 ) a o i 技术向智能化方向发展 a o i 技术向智能化方向发展是s m t 发展带来的必然要求。在s m t 的微型化、高密 度化、快速组装化、品种多样化发展特征下，监测信息量大而复杂，无论是检测 3 西北工业大学硕士论文第一章绪论 反馈实时性方面，还是在分析、诊断的正确性方面，一来人工对a o 获取的质量信 息进行分析、诊断几乎已经不可能，代替人工进行自动分析、诊断的智f 1 a o i 技术 成为发展的必然。 目前国内a o i 市场上品牌众多，欧、美、日、韩、以色列等均在我国推出了不 同类型的a o i “”。但根据市场上的使用情况来看，日本的欧姆龙( o r m o n ) 公司、 美国艘公司，泰瑞达( t e r a d y n e ) 等在a o i 市场上的占有率较高。特别是欧姆龙公 司，被众多国内著名企业选用，包括苏州明基、深圳华为、建伍( 惠州) 、三洋( 广 州) 等。欧姆龙产品的主要特点在于它采用c h s ( c o l o rh i g h l i g h ts y s t e m ) 的专利 技术，是唯一的同时采用彩色光源、彩色c c d 摄像头和彩色图像处理的a o i ，其采 集到的包含了三维信息的图像，作为检测判断的标准，从而使它能实现对0 2 0 1 组 件和无铅焊的检测“”1 。 安捷伦公司最新推出的s j 5 0 系列l l 型a o i 设备中应用了新型固态形状模型 ( s s m ) 技术，它运用多角度成像，生成逼真三维影像。由于采用了s s m 技术，因此 在缺陷报警准确率方面有了很大的提高。 m v p 的第五代a o i 平台1 8 2 0 u l t r a 采用了最新的数字相机技术。1 8 2 0 u l t i 认继承 了m y p 以往a o i 系统独特的单一镜头不停歇拍摄图像、简单机械结构等特点。m v p 的 a o i 操作系统采用的是u n i x 或l i n u x ，拥有较高的稳定性和可靠性。 o r b o t e c h 的、，t 一9 0 0 0 e 系列在线光学检测系统，可以应用于电子组装的各检测 阶段，它同时具备2 d 和3 d 技术。o r b o t e c h 同时拥有与其a o i 产品配套的自动化智能 制程控制的集成软件工具，为制程工程师和管理人员提供更多的信息，使其a o i 产 品在s m t 生产线中起到预防错误的发生的作用。 国内的首台a o i 检测系统品牌a l e a d e r 的a i d h - 3 5 0 ，2 0 0 4 年5 月在广东省东莞研 发成功，经过现场使用后2 0 0 5 年已经投人市场“”。该台a o i 系统采用单一摄像头和 特殊环形r g b - l e d 光源相结合，应用彩色图像比对方法和统计建模技术。a l e a d e r 的a l d h 一3 5 0 是国内第一台真正意义上的电子贴片生产线自动光学检测设备。 另外，北京星河公司已研制出a o i 样机，正在进行测试和改进。厦门福信光电 集成有限公司也称其公司的a o i 系统研制项目完成了控制软件的开发，首台样机已 经制作成功。 a o i 测试技术在我国的应用仍属于起步发展阶段，尚有许多不完善的地方，但 其发展前景十分看好。 4 西北工业大学硕士论文 第一章绪论 1 4 本文的研究内容 本文主要研究可见光条件下的板载元器件自动光学技术( a o i ，a u t o m a t i c o p t i c a li n s p e o t i o n ) ，基于元器件的视觉特征进行元件识别和缺陷检测。文章主 要针对检测系统软件实现部分的各个构成环节进行了研究。 ( 1 ) 针对p c b a 图像预处理问题，分析和探讨了相关的图像处理方法。a o i 自 动检测系统在p c 卧图像的采集、传输过程中带来噪声，使图像污染，掩盖重要图 像细节；光照不均使得p c b a 图像的清晰度和对比度降低，元件特征不突出，不利 于元器件的精确分割和特征提取，本文对这两个方面进行了分析和探讨。 ( 2 ) p c b a 图像精确快速定位是自动检测的关键步骤。本文对这一问题进行了 研究，分析了常用的定位方法，并提出了改进的h o u g h 变换法实现p c b a 精确快速 定位。 ；( 3 ) 各种元器件的特征提取及特征数据库的建立是元器件识别分类、缺陷检 测的关键。本文基于计算机视觉、模式识别相关理论，提取元器件特征，结合电 路板c a d 设计数据导出文件，成功建立元器件特征数据库。 ( 4 ) 研究了元器件快速定位的方以及缺陷检测的方法，并构建了简单的检测 系统。 1 5 本文章节安排 第一章：绪论，介绍了本课题的研究背景、研究意义，以及国内外研究现状， 并对本文的研究内容作了简要介绍。 第二章：p c b a 图像预处理，针对p c b a 图像分析和探讨相关的图像处理方法， 并对p c b a 图像中出现的光照不均问题提出了一种新方法。 第三章：p c b a 图像定位，精确定位是元器件识别与缺陷检测重要保证，为此 提出了针对m a r k 点的改进的h o u g h 变换法，实现p c b a 图像快速、精确定位。 第四章：元器件特征提取及其数据库建立，本章分析了各类元器件特征并提 出了针对元器件特征提取的方法，基于c a d 设计数据库建立特征数据库。 第五章：元件检测，提出了元器件快速定位的方以及缺陷检测的方法，并基 于m i c r o s o f tv i s u a l c + + 平台构建简单的检测系统。 第六章：总结与展望。 5 西北工业大学硕士论文 第二章p c b a 图像预处理 第二章p c b a 图像预处理 本章的主要工作有以下几点： 1 、a o i 自动检测系统在p c 队图像的采集、传输过程中，由于c c d 摄像机自身 的电子干扰、光照程度、传感器温度以及传输信道的干扰等因素都不同程度的带 来噪声，使图像污染，掩盖重要图像细节。本文分析了噪声产生的原因，并探讨 了适合p c b a 图像滤波的方法。 2 、图像分割是图像分析和理解的基础，本章分析和探讨了适合p c b a 目标图 像分割的常用方法。 3 、p c b a 图像的清晰度和对比度的质量是关系元件识别与故障检测的一个重要 因素。良好的清晰度和对比度突出了元件特征，有利于元件区域的精确分割和特 征提取。本章分析了p c b a 目标图像的光照不均匀现象，提出了新的光照不均校正 方法。 2 1 噪声去除 2 1 1 噪声的产生 数字图像的噪声主要来源于图像的获取( 数字化过程) 和传输过程。图像传感 器的工作情况受到各种因素的影响，如图像获取中的环境条件和传感元器件自身 的质量；图像在传输过程中主要由于传输信道的干扰受到噪声污染。在s m t 生产 现场，使用c c d 摄像机获取图像时产生噪声在主要有以下几个方面的因素： 1 、光照程度和传感器温度是生成图像中产生大量噪声的主要因素； 2 、生产现场非洁净因素造成c c d 镜头上的尘埃等，易给图像带来较大的外界 噪声： 3 ，图像的采集过程中，由于机械振动也不可避免的引入了来自光路扰动、系 统电路失真等噪声。 为此采取的对策就是对图像进行必要的去噪处理( 滤波) ，去噪处理的好坏将 直接影响图像的后续分割、图像特征提取、识别与缺陷判断，因而对图像进行预 处理以消除这些噪声的影响是非常必要的。 7 西北工业大学硕士论文 第二章p c b a 图像预处理 2 1 2 噪声去除 噪声的模型按照对信号的影响分为加性模型和乘性模型两种，本文作为一般 情况来处理，假定信号和噪声是相互独立的，即认为是加性噪声，其数学模型为： g ( x ，力= f ( x ，力+ n ( x ，) ，) ( 2 - 1 ) 图像的平滑处理是其噪声图像本身的特性而定，可以在空间域也可以在频率 域采用不同的措施。常用的典型空间域滤波方法主要有邻域平均法、中值滤波等。 印制板的结构和制作工艺决定了印制板具有较为特殊的光学特性，与一般图 像有许多不同之处。一般来说，p c b 图像的颜色偏暗，导致图像的对比度不强，背 景( 基板) 和对象物的灰度级较为接近。 虽然邻域平均及中值滤波方法算法较为简单，在一定程度上改善了图像质量， 但在抑制噪声的同时模糊了图像的边界，归其原因在于在图像景物的边界处进行 了平滑滤波。这对于灰度级较为接近、对比度较低的p c 队图像来说，更加不利后 续图像的处理。为此我们采用保持边界类平滑滤波，该方法在保持图像清晰的同 时，检测出景物的边界，然后只对噪声部分进行平滑处理。下面分析两种常用的 保持边界类平滑滤波。 1 、灰度最小方差的均值滤波本方法的核心思想：设置一个模板，如果模板中 的像素属于同一个区域，则模板中不包含边界像素，可以进行平滑处理；如果模 板中的像素属于至少两个不同的区域，则模板中包含边界的像素，这时要对其进 行保持，不进行平滑处理。 考虑到景物边晃的不规则性，选择如图9 个不同形状的模板，分别计算其灰 度分布方差，然后选择出方差为最小的模板中的像素灰度均值替代原像素值。 ( a ) 4 个屋形模板( b ) 4 个六边形模板 陌1 厂司 卜 l l ! l c o ) 一个矩形模板 图2 - 19 种不同形状的平滑处理模板 根据以上设计思想，其处理步骤如下： a ) 以包围的像素厂( x ，) ，) 为中心，计算图所示的9 个模板中的所有像素的灰度 分布方差砰： b ) 找出方差值最小的模板位置； 8 西北工业大学硕士论文第二章p c b a 图像预处理 c ) 将所选择的模板中像素的灰度平均值替代； d ) 对图像中所有处于滤波范围内的像素点均进行相同的处理。 灰度最小方差滤波是通过9 个不同形状的模板来找出属于同一区域的像素， 由此避免对边界的处理。该方法虽然物理概念明确，处理效果也很好，但是计算 量比较大。 2 、k 近邻平滑( 均值、中值) 滤波 k 近邻平滑滤波的核心是：在一个与待处理像素邻近的范围内，寻找出其中的 像素值与之最接近的k 个邻点，将该k 个邻点的均值替代原像素值。 如果待处理像素为非噪声点，则通过选择像素值与之相近的邻点，可以保证 在进行平滑处理时，基本上是同一个区域的像素值的计算，这样就可以保证图像 的清晰度。如果待处理像素点是噪声点，则因为噪声本身具有孤立点的特点，因 此，与邻点进行平滑处理，可以对其进行抑制。根据以上原理，k 近邻平滑滤波方 法如下： a ) 设，o ，y ) 为当前待处理像素，以其为中心，构造一个n x n 模板( n 为 奇数，一般为3 ，5 ，7 ) ； b ) 在模板中的n x n 个像素中，选择出k 个像素值与f ( x ，力相近的像素( 一 般当n = 3 时，胙5 ；当n = 5 时，胙9 ；当n = 7 时，( - - 2 5 ) ，这矗个像素值不含f ( x ，y ) 自身； c ) 将这式个像素的均值( 中值) 氕x ，y ) 替代原像素值f ( x ，力； d ) 对图像中所有处于滤波范围内的像素点均进行相同的处理。 3 、对称近邻均值滤波j 对称近邻( s n n ，s y m m e t r i cn e a r e s tn e i g h b o r ) 滤波核心思想为：在一个局 部范围内，通过几对对称点像素值的比较，获得对相同区域及不同区域的判别， 然后将均值计算在所判定的同一个区域内进行，这样可以使边界的保持更加灵活 的同时又可以降低计算量。 如图2 - 2 所示，以待处理像素f ( x ，y ) 为中心，构造一个( 2 + 1 ) ( 2 n + 1 ) 的模 板，这( 2 n + 1 ) ( 2 n + 1 ) 个像素，除中心点之外，可以构2 n ( + 1 ) 成对点，坐 标为o - i ，y - i ) 及 + f ，y + o ( i ，= l ，2 ，忉，如图中的p 。，p 2 ，g l ，q 2 。获得对称点 之后，在每一对对称点中选择一个像素值与f ( x ，y ) 接近的点。这样，将2 n x ( + 1 ) 个选择点的灰度均值替代原像素值作为处理结果。 9 西北工业大学硕士论文第二章p c b a 图像预处理 2 ，2 形态学滤波 q 1， 人 f 熬 唾) y ) q 2 图2 - 2s n n 的模板 形态滤波( m o r p h o l o g i c a lf i l t e r i n g ) 是从数学形态学中发展出来的一种新型 的非线性滤波技术，形态滤波理论是由g m a t h e r o n 和j s e r r a 等人在2 0 世纪8 0 年代初创立的。形态滤波器( m o r p h o l o g f c a lf i l t e r i n g ) 是基于信号( 图像) 的几何 结构特性，利用预定义的结构元素( 相当于滤波窗) 对信号进行匹配或局部修正， 以达到提取信号，抑制噪声的目的。它由最早的二值形态滤波器发展为后来的多 值形态滤波器。多值形态滤波器与排序统计滤波器有着密切的联系，它们本质上 是层叠滤波器的特殊情况。当采用结构元素时，多值的膨胀和腐蚀变换就演变为 极大和极小滤波。极大滤波器通常能有效地滤除图像中的负脉冲噪声，而极小滤 波器可以滤除正脉冲噪声，但两者均对混合型脉冲噪声失效。如果采用两者的各 种级联组合。则可达到较全面的脉冲噪声抑制性能。 从某种特定的意义上讲，形态学图像处理是以几何学为基础的。它着重研究 图像的几何结构，这种结构可以是分析对象的宏观性质，也可以是图像的微观性 质。而研究图像的几何结构的基本思想是利用一个结构元素( s t r u c t u r i n ge l e m e n t ) 去探测一个图像，看是否能够将这个结构元素很好地填放到图像的内部，同时验 证填放结构元素的方法是否有效。处理时记录下能够填放结构元素的位置，从而 得到图像结构的信息。显然，信息与结构元素的尺寸和形状都有关系。可见，通 过结构不同的结构元素，便可以完成对不同的图像分析，得到不同的分析结果。 实际上，所有的形态学处理都基于填放结构元素的概念。 数学形态学是由一组形态学的代数运算子组成的。最基本的形态学算子有： 膨胀( d e l a t i o n ) 、腐蚀( e r o s i o n ) 、开( o p e n i n g ) 和闭( c l o s i n g ) 。通常设a 为图像矩阵， b 为结构元素矩阵，数学形态学运算是用b 对a 进行操作。下面分别介绍二值形态 学运算和灰度形态学运算。 ( 1 ) 二值形态学 1 0 西北工业大学硕士论文 第二章p c b a 图像预处理 在二值形态学中，a 被b 腐蚀表示为a b ，定义为： 彳o b = x i ( b ) ，互a ( 2 - 2 ) 上式表明b 对a 腐蚀的结果是所有x 的集合，其中b 平移x 后仍在a 中。即b 腐蚀a 得到的集合是b 完全包括在a 中时b 的原点位置的集合。 膨胀是腐蚀的对偶运算，可以通过对补集的腐蚀来定义。a 被b 膨胀表示为a o b ，定义为： a b = 彳。o ( 一町 ( 2 3 ) 其中，上标c 表示补集。 由于膨胀和腐蚀并不是互为逆运算，所以可以将它们级联使用。开启就是先 对图像进行腐蚀，然后膨胀其结果。闭合就是先对图像进行膨胀，然后腐蚀其结 果。 开启的运算符为o ，a 用b 来开启写作a o b ，其定义为： 彳。b 2 ( 彳 曰) o b ( 2 - 4 ) 闭合的运算符为，a 用b 来闭合写作a b ，其定义为； 4 b = ( 4 0 曰) 曰 ( 2 5 ) 开启和闭合这两种运算都可以除去比结构元素小的特定图像细节，同时保证 不产生全局失真。开启运算可以把比结构元素小的突刺滤掉，切断细长搭接而起 到分离作用。闭合运算可以把比结构元素小的缺口或孔填充上，搭接短的间断而 起到连通作用。开启运算常用来去除小的亮点，闭合运算去除小的暗点在实际 应用过程中，开启运算经常用于去除比结构元素小的图像噪声及干扰，保留图像灰 度值和较大的背景。 ( 2 ) 灰度形态学 形态学可用于一般的灰度图像一种简单的方法是将灰度图像二值化，而更 好的办法是定义与二值图像形态运算略有不同的灰度值形态运算。灰度形态学图 像f ( x ，y ) 可取o ，1 以外的值，因此不能用集合表示，我们用数字图像函数来描述灰 度形态学处理。 设输入图像为x 力，其中0 s z m l ，0 s y s n 一1 ；结构元素为m x n 的模板 t ( i ，d ，其中0 i _ m - 1 ，o _ j n - 1 设e o ，y ) 和d ( x ，y ) 分别为模板对x ( x ，力腐 蚀和膨胀的结果则 灰度腐蚀定义为 西北工业大学硕士论文第二章p c b a 图像预处理 e ( 毛) ，) = ( x e t ) ( x ，) ，) 2 。n 。f m 。一l 【r ( x + f ，) + _ ，) 一r ，) 】( 2 - 6 ) o s j s n - i 灰度膨胀定义为 d ( x ，) ，) = ( x t x x ，) ，) = 。m 虫拥a x 一1 【x ( x + y + 力+ r ( l _ ，) 】 o 纠朝- 1 ( 2 7 ) 如果结构元素的所有像素都为正，则膨胀使图像变亮，腐蚀使图像变暗膨 胀使黑色细节减少或去除，腐蚀使亮细节减弱或去除，这取决于结构元素的形状 和像素的值由此可以看出，灰度图像的膨胀和腐蚀还可分别用于区域边界的下 凹填补和上凸抹平 ( 3 ) t o p - h a t 运算 t o p h a t 运算定义为： w r r ( x ) = x 二z 。r ( 2 8 ) 从前面的分析知道，开运算具有消除灰度中小于结构元素的“突起”或“山 峰”的作用。在进行背景估计时，可以将灰度值较高的目标和噪声当做“突起” 利用开运算消除，而保持大面积亮度缓慢变化的背景尺寸不变。而t o p - h a t 运算即 为从一幅原始图像中减去其做开运算后的图像，经处理后，与结构元素大小相当 的目标会保留下来，而小于结构元素的噪声被去除，原先图像中高灰度的且变化 缓慢的背景也会被有效抑制，图像的信噪比就得到了提高。本文采用的结构元素r 为， r ：f ：。10 1 c o 1 o j ( 2 9 ) 2 3 图像分割 图像分割是将图像划分成若干个互不相交的小区域的过程，小区域是某种意 义下具有共同属性的像素的连通集合。图像的分割、目标的分离、特征的提取和 参数的测量将原始图像转化为更抽象、更紧凑的形式，使得更高层次的分析和理 解成为可能。因此，图像分割是图像分析和理解的基础。本节分析常用的图像分 割方法：灰度阈值法、边缘检测法、区域分割法删。 西北工业大学硕士论文第二章p c b a 图像预处理 2 3 1 灰度阈值法 常用的图像分割方法是把图像灰度分成不同的等级，然后用设置灰度门限( 阈 值) 的方法确定有意义的区域或分割物体的边界。常用的阈值化处理就是图像的 二值化处理，即选择一阈值，将图像转换为黑白二值图像，用于图像分割及边缘 跟踪等预处理。 图像阙值化处理的变换函数表达式为 g ( j ，) ：j o “力 丁( 2 - 1 0 ) t z s 5 f ( x ，) ，) t 在图像的阈值化处理过程中，选用不同的阈值其处理结果差异很大。阈值过 大，会提取多余的部分；而阈值过小，又会丢失所需的部分。因此，阈值的选取 非常重要。 常用的阈值选择方法有基于灰度直方图的峰谷方法、p 参数法、类间最大距 离法、最大熵法、最大类间类间方差比法等1 嗍。 2 3 2 边缘检测法 图像边缘是图像最基本的俄特征，边缘在图像分析中起着重要作用。所谓边 缘是指图像局部特性的不连续性，例如， 缘广泛存在于目标与目标、物体与背景、 像分割的重要特征。 灰度级的突变，纹理结构的突变等。边 区域与区域( 含不同色彩) 之间，是图 边缘检测的基本步骤是滤波一增强一检测一定位，常用的边缘检测算子有s o b e l 算子、p r e w i t t 算子、l a p l a c e 算子、k i r s c h 算子以及高斯一拉普拉斯算子、c a n n y 检测算子等“删。 2 3 3 区域增长法 可以把由性质相同的像素组成二维的集合看成一个区域。区域增长法是把输 入图像中的由几个像素( 甚至是单个像素) 组成的“核”扩展成为一个区域( 即 一个像素集) 的方法。 区域生长法首先要对每一个“生长核”赋予一组参数，这组参数的值能够反 映该“生长核”所属不同区域的特性。接下来是考察“生长核”邻近区域的所有 边界。如果边界的两侧的某种特性值( 如平均灰度值、纹理或颜色) 相差明显， 则认为这个边界是一个强边界，否则是弱边界。强边界是要保留的，并认为它是 西北工业大学硕士论文第二章p c b a 图像预处理 一个不同的分界线；弱边界则应该被消除，是所涉及的两个区域合并。这种检测 边界、合并区域进而找到强边界是一个迭代过程。 2 4 光照不均的校i e l 2 7 - 3 2 在对电路板上的器件进行自动光学检测时，由于待识别的目标种类繁多，且 对光的反射率各不相同，因而得到的目标图像的光照是不均匀的。因此在对p c b a 图像分析前，需要对光照不均匀的降质图像进行校正，以利后期p c b a 目标元器件 的定位、识别、缺陷检测等工艺流程。光照不均的校正方法主要有背景去除法、 同态滤波法等，本文采用改进的基于小波变换的同态滤波校正方法。 2 4 1 背景去除法 2 8 1 该方法基于将一幅图像作为景物图像与背景的简单相加融合来对待，其数学 模型为 力= g ( x ，力+ 6 ( x ，力 ( 2 1 1 ) 其中厂o ，y ) 为原图像，g ( x ，) ，) 为处理后图像，b ( x ，力为背景图象。 对( 1 1 1 ) 式作如下变换： g ( x ，y ) = f ( x ，力一m 五y ) ( 2 1 2 ) 从式( 1 1 2 ) 知，只要估计出图像的背景即可实现感兴趣的景物图像g j ，) 。 文献“1 运用邻域操作的方法来估计背景图像b ( x ，y ) 。其实现过程为：将图像力 划分成m n 个大小为k l 邻域，如果分割邻域大小不适应原图像的大小，需对 原图像进行最大灰度填充。记邻域为e 瓴力，所以原图像函数f ( x ，力可记为式子 ( 2 - 5 ) 取每个邻域的像素的最小值作为输出，即 6 j ( d = m i n s 。】 ( 2 1 3 ) 其中i ( 1 , 2 ，m ) ：j ( 1 ，2 ，n ) 。 f ( x ，_ ) ，) = s ，s ：墨” ，岛：。 s u l 2 ( 2 - 1 4 ) 根据式( 1 1 4 ) 可得到大小为m n 的背景估计图像6 j ( f ，) ，这时，需要将 1 4 西北工业大学硕士论文 第二章p c b a 图像预处理 其扩展为与原图像相同大小的图像，即 6 ( 而y ) = 6 j 口力，b ( x ，j ，) 】 ( 2 1 5 ) 在放大图像时采取后向映射法与双三次内插法，以确保精度。从原图像中减 去背景图像会使亮度降低，图像变暗。试验中通过拉伸灰度级范围，调整图像亮 度。 本文使用该方法对p c b a 图像对进行了处理，试验表明：邻域s o _ ) ，) 大小是影 响背景估计的重要因素。光照不均程度不同的图像，要选取不同大小的墨，y ) 。 针对同一幅图像，选取不同大小的瓯( x ，j ，) ，得到的结果差异也较大。本文对图2 - 6 ( a ) 作处理时，对配o ，) ，) 选取1 2 8 1 2 8 ，6 4 x 6 4 ，3 2 x 3 2 ，1 6 x 1 6 ，8 8 进行 试验，当大小为3 2 x 3 2 时效果较好，如图2 喝( b ) 。但总的来说，应用该方法效 果较差，且其适应性不强。 2 4 2 同态滤波法 同态滤波增强是把频率过滤和灰度变换结合起来的一种处理方法。它是把图 像的照明反射模型作为频域处理的基础，利用压缩灰度范围和增强对比度来改善 图像的一种处理技术。 该方法基于这样的图像理解：一幅图像，o ，力可由照明函数z o ，) ，) 和反射函 数z o ，y ) 的乘积来表示。数学模型为 ，( 毛y ) = z ( x ，j ，) ，( y ) ( 2 1 6 ) 其中0 z ( x ，力 o o ；0 1 时，有，_ l ：r * n ；当p l p “1 时，有九“ 一托。对式( 1 2 4 ) 求傅立叶反变换，得其在空间域表达式： ，甄m 谚净一娲积磅矿龋积磅) ( 2 2 1 ) 对上式做指数运算，得到处理后的图像g ( x ，力： g 力= e x p f 1 g k ，功) ，( 2 - 2 2 ) 总结以上处理步骤，程序流程如下图所示： 图2 - 4 传统的同态滤波处理示意图 1 6 西北工业大学硕士论文第二章p c b a 图像预处理 f ( x ，j ，) 表示原灰度图像；l o g 代表对数运算；f f t 代表快速傅立叶变换；h f 代表高通滤波器；i f f t 代表傅立叶逆变换；e x p 代表取指运算；g ( x ，力表示处理 后的灰度图像 将该方法应用于图2 6 ( a ) p c b a 图像，当 、五值过大或过小，得到的图像 质量变差；当参数 - 2 8 ，a ，- - - - - - - - - - - - - - - - - - - - 2 1 2 时，得到的试验结果较好，图像的对比度略有 提高，但局部对比度的增强效果仍不理想，右下角强亮度区域没有得到有效抑制。 2 4 3 改进的同态滤波法”1 1 传统的同态滤波是从图像的整体角度对光照不均匀进行修正的，没有充分考 虑图像的空域局部特性，在图像局部处理效果上不能令人满意。 小波变换具有空域和频域“变焦距”特性。为兼顾图像的空域和频域特点， 文献m 引入小波变换，以达到明显的局部对比度增强效果。该方法简要叙述如下： 二维图像经小波变换后，可形成三个具有方向选择性的高频带h l 、工日、h h ， 和一个低频带l l 。图像经过n 级小波分解，得z 配，埘，h h j ( _ ，= l ，2 ，3 ，栉) 和 儿。，其中儿。反映了图像各主要空域范围的亮度分布和基本面貌。小波分解如图 2 5 所示： 图2 - 5 图像三级小波分解示意图 对不同分辨率下的小波分解系数进行类似的高通滤波处理，衰减低频信息， 增强高频信息。髓0 ，i i l j ，h h s 区域的小波系数的加权修正系数由公式( 2 2 3 ) 得到。 h ( j , w h ，嵋) = ，i 一儿i 了j j i 葡鬲f i l i 五打巧