（通信与信息系统专业论文）基于autoline的数据采集.pdf

摘要 由于芯片高速发展的需要，：苎= 片的自动化生产设备的需求也得 到了飞速的发展。本人在研究生的学习阶段加入了摩托罗拉巾国电 子有限公司的第二校园计划，在天津的封装测试j j 参加了芯片图像 识别缺陷检测系统的研究。 本文首先介绍了国内芯片生产的概况，以及本课题的研究和开 发的必要性，同时给出了这次开发研究的技术指标和要求。 然后，从系统的硬件的组成，图像识别前的图像预处理，芯片 的模板匹配及芯片缺陷检测各个方面详细讨论了芯片定位检测系 统。 为抑制噪声的影响，本文讨论了几种降噪方法，并分析了各自 的优缺点，根据实际情况选择出了适宜的降噪算法。 在分析二维模板匹酣的基础上，提出了适用于非精度定位的一 维投影模板匹配方法。极大的加快了识别的速度，减少了运算量， 使芯片的定位和缺陷查找控制在l o o m s 。 芯片缺陷检测部分介绍了边界跟踪，区域生长等算法以及边缘 检测算法，对边缘检测一阶微分和二阶微分算子做了理论讨论，采 用r o b e r t s 算子不仅保护了边缘信息，并且满足适时性的需求。 关键词：芯片图像处理滤波 模板匹配缺陷检测 a b s t r a c t a st h ei n c r e a s i n gr e q u i r e m e n to fc h i pp r o d u c t i o ni nc h i n a ，t h ec h i pp r o d u c t i o n m a c h i n ed e v e l o p sq u i c k l y d u r i n gt h ep o s t g r a d u a t et i m e ，t h ea u t h o r j o i n e dt h es e c o n d c a m p u sp r o j e c to r g a n i z e db ym o t o r o l a ( c h i n a ) e l e c t r o n i c sl t d i nt i a n j i n a s s e m b l e a n dt e s tf a c t o r y , t h ea u t h o rp a r t i c i p a t e di nt h er e s e a r c ho fc h i pi m a g er e c o g n i t i o na n d d e f e c t i o nd e t e c t i o ns y s t e m t h i sa r t i c l ef i r s t l yg i v e st h eb r i e fi n t r o d u c t i o no ft o d a y sc h i p sp r o d u c t i o ni n c h i n a t h e nd e m o n s t r a t e st h en e c e s s i t yo f t h i sr e s e a r c ha n dt h et e c h n i c a lg u i d e l i n e ，a s w e l la st h er e q u i r e m e n to f t h i se x p e r i m e n t a f t e rt h a t ，t h ea r t i c l ed i s c u s s e st h ec h i p sp o s i t i o nd e t e c t i o ns y s t e mi nd e t a i l si n t h ef o l l o w i n ga s p e c t s ：t h eh a r d w a r eo f t h es y s t e m ，t h ei m a g ep r e p r o c e s sb e f o r ei m a g e d e t e c t i o n ，f a s tp o s i t i o nd e t e c to f c h i p s a n dc h i p sd e f e c t i o nd e t e c t i o n i no r d e rt or e s t r a i nt h ea f f e c t i o no fn o i s e t h i st h e s i sd i s c u s s e ss o m em e t h o d so f r e d u c i n gn o i s e ，a n a l y s e st h e i rv i r t u e sa n dd e f e c t sa n dc h o o s e st h eo p t i o n a la l g o r i t h m i c o f r e d u c i n gn o i s eb a s e do na c t i o n 7 f h i sp a p e rr e f e rt oao n ed i m e n s i o np r o j e c t i o nt e m p l a t em a t c h i n gm e t h o df o r n o n a c c u r a t el o c a t i n go b j e c tb a s e do na n a l y s i n gt w od i m e n s i o nt e m p l a t em a t c h i n g m e t h o d ，s oa c c e l e r a t i n gt h er e c o g n i t i o ns p e e da n dr e d u c i n gc o m p u t a t i o n t h e p o s i t i o n i n ga n dd e f e c t i o no fc h i p sa r ec o n t r o l l e di n 10 0 m s t h ec h i p sd e f e c t i o nd e t e c t i o np a r td i s c u s s e st h eb a s ei m a g ep r o c e s s i o n ，r e g i o n g r o w t hm e t h o da n de d g ed e t e c t i o n t h ee d g e d e t e c t i o nd i s c u s s e si nf i r s to r d e r d e r i v a t i o na n ds e c o n do r d e rd e r i v a t i o na n de v a l u a t e sc o n c l u s i v et h e i rp e r f o r m a n c e u s i n gr o b e r t s sa r i t h m e t i co p e r a t o rc a nn o to n l yp r o t e c tt h ee d g ed a t ab u ta l s om e e t n e e do ft i m e l yp e r f o r m a n c e k e y w o r d s ：c h i p si m a g ep r o c e s s i n g f i l t e r i n g t e m p l a t em a t c h i n g d e f e c t i o nd e t e c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也1 i 包含为获得墨洼盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 互剑舀 签字日期：，年2 月玎日 学位论文版权使用授权书 本学位论文作者完全了解盘洼盘堂有关保留、使用学位论文的规定。 特授权墨洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部r j 或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：互剑b 签字目期：如访年五月7 jm 导师签名 签字日期 扩年 厶 爱 i l 工月2 j 口 第一章绪论 1 1 课题的研究背景 第一章绪论 在信息时代高速发展的今天，半导体工业对我国的计算机、通信、工业控制、 能源、交通、轻工、冶金乃至家用电器，都具有不可估量的巨大推动作用，创造 出巨大的市场。据统计，全球市场半导体容量大致以每5 年翻一番的速度增长， 至2 0 1 0 年，世界集成电路的产值将达到6 0 0 0 亿美元。专家估计，我国的半导体 市场需求将以每年1 5 一2 0 左右的速度持续增长，至2 0 l o 年总需求将达3 2 0 0 亿。随着i c 产业的快速发展，i c 电子制造设备的发展目前已成为新的增长点， 美国以i c 电子设备为核一d 的制造业以每年2 0 一3 0 的速度在增长。日本，韩国， 台湾等亚洲国家和地区也把设备制造的目标转向i c 电子设备的制造，如晶片封 装设备以及电子芯片表面贴装设备，并且现在正在开发和制造智能型的高速，高 精度以及高效率的电子加工设备。 半导体生产包括前后两道工序，前工序是指芯片扩散，快速热处理，硅片处 理等过程，后工序主要是指芯片的封装，质量检测等过程。老式的芯片质量检测 和封装采用的是半自动化的设备，芯片的好坏要靠肉眼来识别，这样的生产效率 低，出错高，很快就被淘汰了。9 0 年代的全自动机采用的图像识别算法是基于 二值化的图形，虽然这样可以提高运算速度，但是由于采集的图像信息量少，无 法进行复杂的图像处理和判断，所以检测命中率仍然不理想。由于高速计算机在 工业生产上的应用及图像检测算法的成熟，国外出现了一批基于2 5 6 灰度图像的 芯片检测系统。在电子加工行业中，欧美等发达的国家通对图像的识别及处理， 快速，方便地实现了运动控制过程物体的空间自动定位以及自动找正，加工等功 能，并把这一技术运用到数控加工设备中。我国从八十年代起就开始了这方面的 研究，并取的了部分成果，但由于微电子技术及计算机信息处理技术等硬件条件 限制，大部分研究成果还仅仅是实验室产品，还无法应用到实际生产中去。就目 前i c 产业的发展而言，研制新一代高速视觉系统并将其应用到电子加工设备中 已是势在必行，迫在眉睫的课题，否则我国将失去整个电子加工设备的市场。计 算机和电子测量领域不断有新的技术推出，以及功能越来越强大的操作系统和图 像处理能力大大增强。在新型的计算机视觉系统中，p c 机可直接刑图像的采集 卡采集到信号进行快速的处理，在功能和速度等方面能满足大多数工程应用的要 求。在t c 生产中的大部分工序中都利用计算机视觉系统进行在线的过程监控。 第章绪论 其中一个重要的工序是i c 位置的界定。位置界定包括对l c 的位置、角度、清晰 度等情况的检验。 本课题的丌展是摩托罗拉b a t 3 封装测试厂，在多年的芯片的生产过程中， 积累了丰富的经验。为了提高芯片的生产效率，减少芯片生产的周期，现在对摩 托罗拉a u t o l i n e 生产系统中的粘贴芯片设备进行研究，并实现由封装测试厂设 计开发的芯片图像识别系统，进一步提高芯片的图像识别性能，以达到高速和高 精度的生产要求，从而开发封装测试厂的粘片设备，并且针对芯片识别中遇到的 各种实际情况提出了严格的识别要求。 1 2 芯片的识别和检测的要求 芯片的图像识别和图像检测所要达到的要求如下： a )墨点检测要求： 墨点检测是在芯片生产前工序中对功能损坏的芯片做的标记，一般墨点用黑 色或有色笔在芯片的正中打上一个覆盖芯片人部分面积的点，但是由于打点机的 误差以及芯片大小的变化，每一版芯片的墨点的位置火小都有变化，因此在墨点 的检测中必须加入墨点大小的阀值，墨点亮度的调解比较，以及墨点相对位置的 检测计算，山于墨点是芯片好坏的最重要的标志，所以每次都尽可能在最短的时 问里，将打上墨点的坏芯片挑出来，在检测时间的分配上要求比较高。 b )无芯片检测要求 快速分辨图像中是否有芯片存在。如果没有芯片，那就不需要进行模板匹配 和缺陷检测等复杂的运算，这样可以节省芯片检测的时问。同样，这个步骤也需 要花尽量少的时间。 c )角度检测要求 芯片有时会在芯片分割时剥离塑料底盘，这使芯片的位旨，角度可能会发生 变化，如果芯片的转角太大，就会影响后面的封装 j 作，这样的芯片同样要当成 坏芯片来处理。芯片角度的检测误差1 i 能大于0 1 度，阀值在止负7 度内可调。 d )边角缺损检测要求 如果切割芯片的砂轮不够锋利的话，在芯片切割的过程巾，特别时砂轮放下 和提起时，有可能造成芯片边角崩裂，边角的崩裂如果没有损坏内部电路，芯片 不能当坏的来处理，损坏较深的就要剔除掉，在这里芯片边角缺损的处理阀值按 照缺损占总丽i 积的百分比来定义，同时要排除污点的干扰。 e )钝化层检测要求 2 第章绪论 其叶 一个重要的工序是i c 位置的界定。位置界定包括对l c 的位置、角度、清晰 度等情况的检验。 本课题的开展足摩托罗拉b a t 3 封装测试厂，在多年的芯片的生产过程中， 积累了半富的绎验。为了提高芯片的生产效率，减少芯片生产的周期，现在对摩 托岁拉a u t o l i n e 生产系统中的粘贴芯片设各进行研究，并实现由封装测试厂设 计开发的芯片图像识别系统，进一步提高芯片的图像议别性能，以达到高速和高 精度的生产要求，从而开发封装测试厂的粘片设备，并且针对芯片识别中遇到的 各种实际情况提出了严格的口 别要求。 1 2 芯片的识l u l n 检测的要求 芯片的图像识别和图像检测所要达到的要求如下： a ) 墨点检测要求： 墨点捡测是存芯片生产前工序中对功能损坏的芯片做的标记，一般墨点用黑 色或有色笔在芯片的正巾打上一个覆盖芯片火部分面积的点，但是由于打点机的 误差以及芯片大小的变化，每一版芯片的墨点的位置大小都有变化，因此在墨点 的检测中! 必须加入墨点大小的阀值，墨点亮度的调解比较，以及墨点孝n 对位置的 检测计算，山于墨点是芯片好坏的最重要的标志，所以每次都尽可能在最短的时 问里，将打上墨点的坏芯片挑出来，在检测时间的分配上要求比较高。 b ) 无芯片检测要求 快速分辨倒像中是否有芯片存在。如果没有芯片，那就不需要逆行模板匹配 和缺陷检测等复杂的运算，这样可以节省芯片检测的时间。同样，这个步骤也需 要花尽量少的时间。 c ) 角度榆洲要求 芯片有时会在芯片分割时剥离塑料底盅，这使芯片的位茕，角度可能会发生 变化，如果芯片的转角太大，就会影响后面的封装工作，这样的芯片同样要当成 坏芯片来处理。芯片角度的检测误差1 ；能大10 1 度，阀值在正负7 度内可调。 d )边角缺损检测要求 如果切割芯片的砂轮小够锋利的话，在芯片切割的过程中，特别时砂轮放下 和提起利，有可能造成芯片边角崩裂，边角的崩裂如果没有损坏内部电路，芯片 不能当坏的来处理，损坏较深的就要剔除掉，在这里芯片边角缺损的处理阀值按 照缺损占总面积的百分比来定义，同时要排除污点的干扰。 e ) 钝化层检测要求 e ) 钝化层检测要求 2 第一章绪论 芯片再生产过程中，在离芯片托盘中心位置较远的边上，芯片的扩散不理想， 就会出现钝化的现象，这些芯片的性能指标达不到要求，也要剔除掉。 f ) 街道宽度检测 在这里街道足指两片芯片之间的距离。如果两片芯片连在一起，没被砂轮分 开，一样会造成芯片无法拎起。芯片的街道必须可以设阀值，小于一定距离当坏 片处理。 g ) 匹配度检测要求： 芯片的好坏可以用好的芯片和坏的芯片的图像的刑比来分辨，采用模板匹配 的方式，模板匹配是芯片检测巾的重要环节，通过匹配度的检测，不但可以将内 部有缺陷的芯片找出来，上可以确定芯片的位置。但是模板匹配也是最耗时的， 冈此快速的匹配度算法就尤其重要了，模板匹配的阀值可以调解，适用于不同的 芯片。 h ) 位置精度要求和速度要求： 可以准确找到标本的中心位置( 约o 1 毫米) ，对每一个标本的运算时问不 超过2 0 0 m s 。 i )智能化要求： 由十t 业生产中有许多各种刁i 可预知的干扰存在，这就要求系统的稳定，有 良好的抗干扰性，在各种环境下能自动调解，适应环境变化。 1 3 系统设计的重点和难点 根据以上的指标要求和需求分析可知，系统必须在各种环境下艮朗稳定运 行。如果出现机器故障，对一个仑业的损失是巨大的，所以系统的稳定在整个设 计中占有不町忽视的重要性。这就对整个系统的流程的设计提出了较高的要求。 其次，由于芯片生产是一个和时间竞赛的行业，速度同样有着举足轻重的地位， i 有合理有效的算法才能提高效率，但是为了能够达到最大限度的拾取芯片而又 能保证芯片的合格率，这就要求开发出的算法在提高效率的同时也能保证精度的 要求。芯片识别的另一个特点就足，由于芯片不合格原阕的多样性，决定了算法 上不可能用统一的方式来解决，0 i 同的要求要用不同的算法来解决。 1 4 解决途径介绍 芯片检测系统是个涉及到检测技术，光电技术，汁算机技术，图像处理与 第一章绪论 识别以及机电一体化技术的多学科交叉的技术含量高的高新科技项目。 为了达到较高的性能指标，采用了图像滤波，直方图修正、直方图统计、边 界跟踪、快速模板匹配、阀值模糊调节等算法，并在这些算法的基础上作出了人 量的针对实际情况的改进。由于针对性好，所以提高了检测的速度和准确性，较 好的完成了制定的要求。 1 5 论文的主要内容 论文主要分成七章来叙述。 首先，在第二章主要介绍了系统的硬件的采购要求，并介绍了通过步进电机， 图像采集设备等组成的位置闭环反馈调整系统。 第三章介绍了图像识别前的图像预处理，包括图像去噪，直方图分析等。图 像预处理叫以减少图像的常见干扰，提高图像识别的准确度，同时可以补偿由于 环境光线造成的亮度和对比度的偏差。 芯片的定位是芯片检测系统的关键。芯片定位越精确，缺陷的枪测就越准确。 为了能够迅速找到芯片的准确位置，第四章介绍了一种模板匹配的优化算法。在 分析二维模板匹配的基础卜，提出了适用于非精度定位的一维投影模板匹配方 法。极大的加快了识别的速度，减少了运算量，使芯片的定位和缺陷查找控制在 l o o m s 。 第五章介绍了用丁，芯片缺陷检测的算法，其中墨点检测采用了开运算和闭运 算以及墨点亮度阀值自动调节的算法，角度检测采用了边界跟踪等算法，边缘检 测采用了区域生长算法。 1 6 国内外对计算机缺陷检测的研究概况介绍 根据目前国内外文献有关计算机缺陷检测技术研究的报导，从检测的原理上 u 以将这些技术大致分为三大类： 1 )图像一图像参考 直接将被检测图像和参考图像进行比较，最简单的就是求异或运算，发现显 著区别的就判为缺陷存在点。这种方法常被用于印刷电路板的缺陷枪测。一般分 两步进行，首先从参考图像中建立模板。参考图像是与被检测图像类似但无缺陷 的图像。然后，将被检测的图像与参考图像和摸板进行比较。还有一种情况是将 同图像的被检测区域j 标准区域进行比较判断。存壁纸缺陷检测中用到的就是 这种方法。作为被检测对象的壁纸，正常情况下是左右对称的，如果存生产中壁 纸上出现缺陷，则壁纸图案将不再左右对称，由此而引起对应位置上的灰度级出 第一章绪论 现较大的差别。 2 )基于规则的检测技术 基于规则的检测可以看作是基于知识检测的一种特例，这里知识库由一组通 过样本学习或专家经验建立的规则来表达。与前者相比较，它无需进行图像的校 准，而且系统中便于修改或增加规则，具有灵活性，但比较耗时。检测过程中， 先根据专家经验和样本学习建立相应的规则库，由图像l 卜l 提取的特征与之比较， 满足规则的为正常点，违背的为缺陷点。规则的形式有多种，特征向量的取值范 围就是其中之一。当待检测点的特征向量在特征空间中的位置属丁正常的区域， 则该点为正常点，否则就是缺陷点。 3 )基于模型的方法 建立所检测图像的模型，得到模型的参数，由实际的参数值与设计值足甭符 合来进行判断。符合者为正常带你，否则为缺陷点。该方法较多地用在具有明显 纹理特征的织物缺陷检测中，用来描述其纹理特征的模型常见的有马尔可夫随机 模型、自同归滑动平均模型等。神经网络系统也属于模型检测的一种。 1 7 本章小结 本章介绍了课题的研究对象，研究背景及具体要求，并针对该课题所研究的 系统提出了相应的控制设计方案，同时列出了具体的时间安排，最后介绍了基于 计算机的缺陷检测技术的些常见方法。 第二章图像处理系统结构与原理 第二章图像处理系统结构与原理 2 1图像处理和识别 图像处理就足对给定的图像进行某种变换，从而得到清晰图像的过程。对含 有噪声的图像，要除去噪声，滤七干扰，提高信噪比；对信息微弱的图像要进行 灰度变换等增强处理：对已经退化的模糊图像要进行各种复原处理；对失真的图 像要进行儿何校正等变换。除此之外，图像的合成，编码与传送等技术也属于图 像处理的内容。也就是说，图像处理就是为了达到改善图像的质量，将图像转换 成便于人们观察，适于计算机识别的结果，其主要体现在三个方面： 1 ) 对图像灰度作某种变换，增强有用信息，抑制无用信息，使图像的质量提 高，便于观察或进一步处理。 2 ) 某种特殊手段提取，描述和分析图像中所包含的某种特征或特殊的信息， 以便于计算机作进一步的分析和理解，经常作为模式识别，计算机视觉等 的预处坪。这些特征包括频域特性，灰度特性，边界特征，颜色特征，形 状特征，拓扑特征以及关系结构等。 3 ) 图像数据的压缩，以便于图像的存储和传输。 图像的谚 别就是对经过上述处理后的图像进行特征提取，如抽出图像的边 缘，线及轮廓，进行区域分割等，然后根据图形的几何及纹理等特征，利用模式 匹配，判别函数，决定树，图匹配等识别理论对图像进行分类，并对整个图像作 结构上的分析。最简单的识别方法是把输入图像和标准图像作比较后进行输山， 但误识率很高，标准的图像识别过程是进行前期处理，如图所列j ，它把含有噪音 和失真的图像经过前处理后，进行稳定的特征提取，从而得到特征图像，然后和 标准图像匹配，比较后输出。 臣丑咂巫 叫王亟 怔习一输出 特征图像标准图像 图2 一l 图像识别过程 第_ 章图像处理系统结构与原理 2 2 硬件闭环系统介绍 系统的硬件部分分x y 平台，光源，摄像头，图像采集卡，工业p c 机，步 进电机驱动模块组成。 图2 2 硬件闭环系统结构 图像在乖直光源的照射下由摄像头转换成模拟电流信号，再经过图像采集卡 转换成数宁信号进行各种复杂的图像运算，经过计算机快速识别和处理，实现在 线监控，适时与控制模块通信，位置结果反馈到步进电机，调整x - - y 平台的位 置，利用运动控制系统驱动机械装置对芯片进行位置校正，从而使芯片与p c b 的位置正确吻合，实现快速贴装。 芯片传送带 f 图2 - - 3 芯片检测系统结构 p c 机 第二章图像处理系统结构与原理 工作的原理和步骤如下，首先将芯片逐个装入传送带的空格内，传送带在镜 头下力格- 格地快速移动。包装带每移动一次，传送包装系统就会通过接u 电 路查询芯片检测系统是否处于准备就绪的状态；是则发出信号通知检测系统对芯 片进行测试。检测系统驱动采集卡进行采集，经软件对采样图像识别后，把识别， 柃测结果通知运动摔制系统驱动机械手拾取芯片，并根据识别结果进行位置校 正，使之与p c b 板能够正确装配。一个周期结束后，重复进行。 工作中，此系统与专门的传送系统互相配合。系统的配置如下： a ) c c d 摄像头 b ) 图像采集卡：北京大恒图像视觉有限公司生产的d v v r t c g 2 0 0 ， 采用p c i 总线，最大分辨率7 6 8 5 7 6 2 4 b i t ( p a l ) 。 c ) 组装p c 机：主频1 2 g ，5 1 2 m 内存，4 0 g 硬盘。 操作系统：w i n d o w s 2 0 0 0 2 3图像采集卡( d h v r t c g 2 0 0 ) 2 3 1 采集卡概述 北京人恒图像视觉有限公司新设计的，基于p c i 总线的高速彩色图像采集 卡。输入的彩色视频信号，经过数字解码器，模数转换器，比例缩放，裁剪， 色空变换等处理，通过p c i 总线传到v g a 卡实时显示或传到计算机内存实时存储。 数据的传送过程是由图像卡控制的，无需c p u 参与，因此图像传输速度可达 4 0 m b s 。数据的实时传送足本卡的突出特点。其丰要技术性能及指标如下： a ) 标准p a l ，n 1 、s c 制彩色黑白视频信号输入。 b ) 硬件完成输入图像的比例和剪裁，采集图像的大小，位置可灵活设 置。 c ) 图像采集的最大分辨率：p a l 一7 6 8 x5 7 6 x2 4 b i t ： d ) 硬件完成输入图像的色度空问变换，支持r g b 2 4 ，r g b l 5 ，r g b 6 等多 种图像格式的显示和存储。 e ) 图形覆盖功能。通过填写屏蔽模板，可实时显卅i 和存储任意形状的 输入图形。 f ) 可按单场( 奇场或偶场) ，单帧，连续场，连续帧，间隔几场或几帧 等多种方式灵活的采集图像。 g ) 采集的图像在汁算机显示器上显示，实现图像和图形同屏显示的工 第_ 章图像处理系统结构与原理 作方式。 2 3 2 采集卡的结构s n _ t _ 作原理 i 复合视频输入l 或i - 一多路i恒陋也 j 复合视频输入2 或i - i 开关r l 复合视频输入3 或i - l 复合视频输入4 或l悃- l l 复合视频输入5 或l l 复合视频输入6 或u 图2 4 图像采集卡工作原理 六路复合视频输入或y c 输入或者是两者组合经多路开关，软件选择其。p 一 路或- - 2 l ：ty c 作为当前输入，送入数字解码器。数字解码器将输入的彩色信号变 成亮度信号y 和色差信号u v ，输出到a d 进行模数变换。数字化后的图像信号 经各种图像处理，如色空变换，比例缩放，裁剪，位屏蔽后，利用p c i 总线，传 到v g a 卡显刁i 或计算机内存存储。当选用黑白摄像机作为信号源时，为提高图像 的清晰度，可选用y c 方式输入。 数宁化后的输出图像格式是y u v 4 ：2 ：2 。可以根据需要选用y u v r g b 彩色 空间变换功能，变换后的图像数据格式可以是y u v 4 ：2 ：2 ，r g b5 ：5 ：5 r g b 5 ： 6 ：5 或r g b 8 ：8 ：8 。彩色空间变换是由硬件实时完成。 2 4图像格式 采集卡采集到的图像可以用r g b 格式来进行处理。r g b 格式即真彩色图像 格式，是用r ，g ，b 三个分量表水个象素的颜色。其巾r g b 分别代表三种基色： 红色，绿色利兰色。图像的颜色是按照如下的方式建市：从黑色开始，逐渐增加 每种基色的颜色值，从而产生指定点的象素点的颜色。由于色彩的形成是增加小 同基色的光亮读度丽形成的，这种力法也称为彩色添加模式，它是计算机显示屏 第_ 章图像处理系统结构与原理 最适宜的彩色混合力法。 r g b 颜色模型是定义在三维笛 儿直角坐标系中的个立方体，模型巾的各 种颜色是由红，绿，蓝三种颜色以不同比例相加调和而产生的。图2 5 是r 6 b 模型。在模型立方体的主对角线上，红，绿，蓝三色的比例相同，因而混合后该 对角线为灰度线。原点( 0 ，0 ，o ) 是黑色，而顶点( 1 ，1 ，1 ) 足白色，这两点 之间的对角线一i ：是深浅不同的灰色。立方体的六个项点分别为：红，黄，绿，青， 蓝，紫。 兰( 0 ， 品红( 1 ，0 1 ) 图2 - - 5r g b 颜色模型 鼙叽l 该系统的运行环境是在w i n d o w s ，而此环境最常用的r g b 图像是b m p 格式。 该文件格式是微软公司为其操作系统设置的标准图像格式，而且w i n d o w s 系统还 内含了一系列支持b m p 图像处理的a p t 函数。同时，b m p 图像文件格式可以存储 单色，1 6 色，2 5 6 色以及真彩色四种图像格式，它以图像的左卜角为起点存储图 像，而不是以左上角为起点。b m p 图像文件的结构由乏部分组成：文件头，调色 板数据以及图像数据。其中文件头的长度为固定值5 4 个字节，包含文件的类型， 人小，打印格式和尺度定义等信息；调色板数据对所有不超过2 5 6 色的图像模式 都需要进行设置，对于真彩色模式其图像文件结构中却不存在相应调色板数据的 设置信，息。 2 s本章小结 摄像机、采集卡和计算机系统起构成了一个完整的图像采集和处理系统的 硬件环境。计算机、c c d 摄像机和采集卡的选择应根据具体的图像处理对象和任 务要求进行选择，以达到最佳的性能价格比。我们讨论了图像采集系统的组成方 式，介绍了其中主要部分一图像采集卡的工作原理和性能，并h 对图像处理系统 的组成和工作原理做r 简单介绍。 第三章图像预处理 3 1图像噪声概述 第三章图像预处理 图像在采集，传输以及转换时，都可能引起图像质量的下降，在对图像提取 新信息及运算之前，必须对采集到的降质图像改善处理，也即进行图像的预处理。 以适应不同应削程序的需求，影响图形有许多因素，包括： 1 ) 随机噪声： 第类是高斯噪声，高斯噪声使采集到的图像点偏离实际的图像，这利t 噪声 在原有的象素点的基础上添加或减少对应值。 第二类是脉冲噪声，这种噪声导致象素值的变化显而易见，这是因为这种噪 声的产生完全不和周围的图像有联系。 随机噪声可以由捕捉卡或摄像枪引起，电子设备也有可能产生一定的噪卢， 还有图像的传输和传输之间的匹配问题也可能造成噪声干扰。 2 ) 系统噪声： 系统噪声 i 像随机噪声，系统噪声是可以预测的，比如说由于摄像机镜头的 污染或不正常的光线，甚至足芯片上的灰尘引起的图像上比较大面积的损坏。 3 )图像变形： 图像变彤表现为采集图像几何形状和真实图像之间的变化，这种变化町能由 摄像头及物体之间的相对位置( 不垂直) ，光学镜片引起的图像失真，甚至是光 学镜头之间的调整不当引起的。 3 2图形的处理方法 预处理的方法有两类，图像增强和图像复原。 3 2 i 图像增强 图像增强技术不考虑图像降质的原因，只将图像r r i 感兴趣的特征有选择地突 出，而衰减其1 i 需要的特征，故改善后的图像不一定要去逼近原图像。从图像质 量评价的观点来看，其十要的目的是提高图像的可懂度。 图像增强有两个方面的含义，一是消除图像生成或传输过程中引起的噪声， 以改善图像的视觉7 眵象：_ 二足抽出图像轮廓线或突出图像边缘，以适应计算机处 第三章图像预处理 理的要求或作为图像识别的特征。 根据处理所进行的空间不同，可以分为空间域法和变换域法。空间域法直接 在图像所在窄问埘像素的灰度值进行运算处理，如图像的灰度变换，直方图修正， 图像空域平滑和锐化处理，伪彩色处理等。而变换域法是在图像的某种变换域内， 对图像的变换值进行运算。如先对图像进行傅立叶变换，再对图像的频域进行滤 波处理，最后将滤波处理后的图像变换值反变换到卒问域，从而获得增强后的图 像。这是一种i h i 接处理方法。 3 2 2 图像复原 图像复原技术与增强技术不同，它需要了解图像降质的原因，一般要根据图 像降质过程的某些先验知识，建立降质模型，再用降质模型，按照某种处理方法， 恢复或重建原来的图像。换句话说，复原是将图像降质的过程模型化，并据此采 取相反的过程以得到原始的图像。显然，图像复原技术的主要目的是要提高图像 的逼真度。 倒像复原的方法一般有： 多次采集图像，将采集进来的图像和前一次的求均值，这种方式对抑制高斯 噪声十分有效。 采用低通滤波器以减小高斯噪声和颗粒状的系统噪声，低通滤波器将每个 像素和周围的点取平均值已达到滤除图像噪音的日的。 采用t f l 值滤波器降低脉冲噪声。 保证摄像头采集的区域处于摄像头的线性区域，以保证图像在图形上的没有 被歪曲，如果没有办法进行调整那就只能用软件的方式来补偿了。 3 3图像去噪 3 3 1 平均值滤波 图像空间域平均就是对含噪声原始图像_ ，【x ，y j 的每个象素点取一个领域s ， 计算s 中所有象素灰度级的平均值，作为空间域平均处理后图像烈墨y j 的象素 值。空问域中的图像足由许多灰度恒定的小块组成，相邻象素间存在很高的卒问 相关性，而噪声则是统计独立的。据此用像素邻域内的各像素灰度平均值代替该 像素原灰度值，能够实现平滑。 即一幅n n 的图像，”，加有均值为0 方差为口2 的噪声v ( m ，”) 后的图 第三章图像预处理 像为( m ，”) ，噪音与图像不相关，则 ，( ，”) = ( ，”) + r ( m ，h ) 用邻域平均法所得图像为g ( m ，h ) 为 加鳓2 i ( 1 ；切- i i 。j 喜涨力+ 他纠 ( 3 1 ) 南。孕彻十丙i 。净舡d c 。2 ， 式巾m 为领域s 中的象素点数，s 领域可取四邻域，八邻域。单位距离为半径 构成的邻域为4 点邻域；以单位距离的4 5 倍为半径构成的邻域为8 点邻域。图 像平均是以吲像模糊为代价来换取噪声的减小。而且s 面积越大，噪声减少就越 明显，但模糊性也越人。可以证明平滑后的噪声标准偏差降为原来的1 面。 ( a ) 四点邻域 3 3 2 频率域低通滤波 ( b ) 八点邻域 图3 1 两种邻域选取 频域中的平滑是一维信号低通滤波概念在二维图像巾的直接推广。图像经过 傅立叶变换后，噪声频谱一般位于空间频市较高的区域，而图像本身的频率分量 则处于空间频率较低的区域内，因此可以通过低通滤波的方法，使高频分量受到 抑制，而让低通分量顺利通过，从而实现图像的平滑。 如果设，”j 是具有噪声图像八。，y ) 的离散傅立叶变换。u 【，”j 为二维低 通滤波器传递函数，则输出图像的傅立叶变换公式为： 沏，h ) = f ( m ，”) + g ( m ， )门r 、 g ( m ，”) 就是g 滤波后输出图像的傅立叶变换。 f o ( m ， ) 为： f o ( x ，少) = f 。1 ，( 州，门) + 6 ：( r n ，胛) ) = f 一 ( ，门) ) 滤波后的输出图像 g 滤波滤去了、厂( x ，y ) 的高频成分，而低频信息无损失地通过。 ( 3 4 ) f o ( x ，y ) 就是 第i 章图像预处理 所希望的无噪声图像。理想的圆形低通滤波器如图3 2 所不，在傅立叶平向上 它是一以d 。2 1 为半径的圆形滤波器。这种滤波器的传递函数g ( “，v ) 由下式决 定， g ( u ，v ) _ 1 d ( “，7 ) d o 一。【0 d ( u ，v ) d 。 ( 3 5 ) d o 是一个规定的大丁二零的量，称为截至频率，d ( u ，v ) 是从点( u ，。) 到傅 立叶平面原点的距离。此理想滤波器是以原点呈径向对称的，刨面图如图3 2 所示，由此日j 看到，以d o 为半径圆内所有频率分量无损失地通过，而圆外的所 有分量完全衰减。 u jl 厂。 0。 g ( u ，v ) 。 l 1 0 d o ( a )( b ) ( a ) 恻形低通滤波器( b ) 滤波器剖面 图3 2 理想圆形低通滤波器 d ( u ，v ) 常用的典型低通滤波器有：巴特沃思滤波器，指数滤波器，梯形滤波器 巴特沃思滤波器： 脚) 5 而习1 万 1 + ( 压一1 ) 【兰丛兰型】2 ” j ，v l l 、。 0 r d ( u ，v 、 j ，v ) 。 l 1 、。 o r d ( u ，v j ，v ) 。 x f l 0 d o d l d i ( a )( b )( c ) ( a ) 巴特沃思滤波器( b ) 指数滤波器( c ) 梯形滤波器 图3 - 3 常j h j 低通滤波器 ( 3 6 ) 第三章图像预处理 3 3 3 中值滤波 中值滤波是一种非线性信号处理方法。与其对应的巾值滤波器当然也就是一 种非线性滤波器。p 值滤波器是在1 9 7 1 年由j w 、 u k e y 首先提出并应用在一维 信号处理技术巾( 时问序列分析) ，后来被二维图像信号处理技术所引用。它在 定的条件下可以克服线性滤波器如最小均方滤波，平均值滤波等所带来的图像 细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。在实际运算过程中并 不需要图像的统计特性，这也带来不少方便。 中值滤波就是用个有奇数点的滑动窗口，将窗口r f l 心点的值用窗口内再点 的巾值代替。假设窗u 内有五点，其值为8 0 ，9 0 ，2 0 0 ，1 1 0 ，1 2 0 ，那么此窗口 内各点的中值即为1 1 0 。 设有一个一维序列j l j2 ，j ”。取窗几长度( 点数) 为m ( m 为奇数) ，对 此一维序列进行巾值滤波，就是从输入序列中相继抽出m 个数， 一i ，一：一，”，”，其中，j , j 窗n 中心点值，”一一r 。在将这m 个点值按 其数值大小排序，取其序号为中心点那个数作为滤波输出。用数字公式表示为： y ? = m e d f i 。矗也，) ，i z v = t m - i ( 3 7 ) 由于图像是二维的，凶此将一维中值滤波推广到二维形式。选取某种形式的 二维窗口，将窗l j 象素点按先行后列的顺序排成一维数列后排序形成单调数列， 运崩同样的方法得到二维中值滤波的输出。二维中值滤波的窗【j 形状和尺寸对滤 波效果影响很大，不同的图像内容和不同的应用要求，往往采用不吲的窗口形状 和尺寸。 l j 。1 上j ，l i _ | ll 山iu 山l 山l 阶跃 “i 山| 刖l 刖l 。i il 山 舔信号两部平均中值滤波 图3 4 平均值滤波和中值滤波的比较 耩坡 第三章倒像预处理 如果当前值是一个脉冲干扰，巾值滤波后将被有效抑止，相反若当前值是有 用的信号值，则滤波后将会产生失真。图3 4 描述了阶跃信号和斜坡信号的局部 平均滤波和巾值滤波的对比，由此可看出中值滤波不影响阶跃函数和斜坡函数， 因此对图像的边沿有保护作用。 3 3 4 小波去噪函数 在常用的图像噪声平滑方法中，存在一个困难，即在去除图像随机噪声的同 时引起图像边缘的模糊，在保留和增强图像边缘的同时增强了图像的噪声。因此， 寻找能够兼容平滑噪卢年i l 保留图像边缘及其它有意义特征的图像滤波算法一直 是这个领域的热门课题。多年来不少研究者进行了研究，提出了一些新的算法， 特别是各种非线性滤波算法，使噪声平滑的质量在小同的程度上得到了改善。 小波变换作为种有效的时间( 空间) ) 2 度分析方法，今年来受到广泛的 关注。其应用以遍及信号和图像分析处理的多个研究领域。小波变换应用于信号 去噪声是人们1 分感兴趣的课题之一。小波变换为信号和图像的表示提供了种 多分辨率( 多尺度) 的方法，它能够同时给出信号和图像的时( 空) 域和频域的 信息。冈此，在小波变换域中进行噪声平滑具有空问和频率的多重选择性，克服 r 傅立叶方法和其它分析方法的不足。另方而，理论和实验证明，白噪声小波 变换的性态与信号的奇异性相比具有显著不同的特点，充分利用这些特点，在小 波变换域中能十分有效地进行图像边缘的检测和定位，十分有效地把信号和噪声 区别开来。i 划此，在小波变换域中图像平滑技术在兼容平滑噪声和保留图像边缘 方面具有十分诱人的应用前景。 基于小波变换的噪卢平滑算法通常包括二个步骤：首先，将信号进行小波变 换；然后，在尺度空间上利用信号与噪声的不同性态，对小波变换系数进行信号 剪裁，把噪声从信号中区分开来；最后利用蕈构算法重构信号。 3 3 。5 直方图图像修正 直方图修正是图像增强的最常用，最重要的方法之一。利用图像灰度分布( 直 方图) 信息，对灰度分布形式作校止来修正图像灰度，最终达到图像增强的f i 的。 因此它是基 二度量空问( 灰度分布) 的灰度修正方法。直方图修正中具有展优性 质的是真方图均衡。 首先，将图像灰度作正规化处理。即将原图像灰度范围【r m n ，一i l l , i xj 压缩到 o ，1 = ， 设图像 厂( x ，y ) ) 扶度，卜，一m ，作线性变换， 第三章图像预处理 ，=! = ! ! ! r m “一r m m 使变换后图像灰度，压缩成：re 【o ，1 】 取图像变换t 为以下形式： s = 丁( r ) = j p ( w ) 咖， re 】 ( 3 8 ) ( 3 9 ) 式中，p ( w ) 是r 的分布密度。经式( 3 9 ) 变换后得到以5 为灰度的图像。5 存【o ，1 】 均匀分布( 若随机变量的分布函数f ( ) 是连续的，那么统计量f ( 鼻) 存【0 ，1 均 匀分布) 。这种灰度变换称为直方图均衡。 设有n 级荻度的图像，其第k 级灰度出现的概率为只，则它含的信息量为 ，( t ) ：l 。g 。上：一1 。g 。以 p 整幅图像的信息量( 熵) 为： h = e ，( 女) ) = 一p l o g 。p 女 = l ( 3 1 0 ) ( 3 1 1 ) 可以证明：具有平坦分布( 平坦直方图) 的图像，其信息量h 最大。电就是说 如果， 只2p 2 = 只= i 1 ，则由式( 3 1 1 ) 所示的= m a x 。 冈此，经变换式( 3 9 ) 得到的图像具有最大熵。 直方图均衡的步骤为( 结合实例) a )统计：图像的总象素数：6 4 6 4 = 4 0 9 6 = n 灰度量化级：8 最大最小狄度：_ a x ，7 m i n b ) 由式( 3 8 ) 作灰度正规化处理 ，只( 咋) = 生 c ) 作灰度分枷直力图： “ n 第三章图像预处理 仇 n ( ) ：h a l ” o