（信号与信息处理专业论文）电子按键表面缺陷的检测研究.pdf

摘要 liit t ti i it l lll ll t l liil y 19 4 2 4 0 5 摘要 电子按键是电子产品的基础部件，其表面质量直接影响电子产品的动态性 能和使用寿命，因此，对电子按键表面质量的检测技术的研究是具有非常重要 意义的课题。本文应用视觉技术、图像处理与模式识别技术对电子按键表面缺 陷进行图像序列的获取、分析与识别研究，其主要研究内容如下： 1 、设计了电子按键表面缺陷视觉检测实验系统的整体方案，分析了硬件的 性能并搭建了运动视觉检测的实验平台。 2 、研究了图像的预处理技术，利用拉普拉斯掩模锐化算法对电子按键增强 处理，其目的是使电子按键边缘鲜明，以便于提取电子按键的边缘、对图像进 行分割、目标区域识别、区域形状提取等。实验效果表明基于拉普拉斯掩模锐 化算法能够有效地增强图像边缘。 3 、研究了图像分割的理论和技术，在分析电子按键图像的直方图特性的基 础上，利用最大类间方差法即o s t u 算法，对电子按键图像阈值化处理。研究结 果显示，最大类间方差法对电子按键的缺陷分割效果理想。 4 、在特征提取的研究中，本文在分析电子按键表面缺陷图像特点的基础上， 提取了电子按键图像的灰度、灰度方差和脚的周长等特征来表达图像缺陷的特 征。 本文设计并开发了基于图像技术的电子按键表面缺陷识别的软件系统，开 发工具为v i s u a lc + + 6 o ，系统软件包括图像预处理、图像分割、缺陷特征提取 和缺陷识别等功能模块，实验对电子按键表面缺陷的检测率达到1 0 0 。 关键词：图像预处理；拉普拉斯锐化；图像分割；最大类间方差；模式识别 a b s t r a c t a bs t r a c t e l e c t r o n i cb u t t o ni st h eb a s i cp a r ti ne l e c t r o n i cp r o d u c t , m o t i l i t ya n ds e r v i c el i f e d e p e n do nt h eq u a l i t yo fe l e c t r o n i cb u t t o n i ti sv e r yi m p o r t a n ti s s u ef o rd e t e c t i o n s u r f a c ed e f e c to fe l e c t r o n i cb u t t o n a na u t o m a t i cm e a s u r e m e n ts y s t e mw a sr e s e a r c h e d 、析t l lv i s i o n , i m a g ep r o c e s s i n ga n dp a t t e r nr e c o g n i t i o nt e c h n o l o g y t h em a i nc o n t e n t o ft h i sd i s s e r t a t i o ni n c l u d e st h ef o l l o w i n gp a r t s ： 1 t h ew h o l ed e s i g ns c h e m ea n dt h em a i nm o d u l eo fd e t e c t i o nm e c h a n i s mw e r e d e s c r i b e di nd e t a i l ，a n a l y z e dt h eh a r d w a r ep e r f o r m a n c ea n dd e v e l o p e dt h em o t i o n v i s i o ne x p e r i m e n t a lp l a t f o r mf o re l e c t r o n i cb u t t o ns u r f a c ed e f e c td e t e c t i o n 2 t h e i m a g ep r e p r o c e s s i n gt e c h n o l o g i e s i s r e s e a r c h e d u s i n gi m a g e p r e p r o c e s s i n gb a s e do nl a p l a c i a ns h a r p e na l g o r i t h m t om a k et h e e d g eo ft h e e l e c t r o n i cb u t t o n sb r i g ki no r d e rt oe x t r a c te d g e ，i m a g es e g m e n t a t i o n , t h et a r g e ta r e a i d e n t i f i c a t i o na n dr e g i o n a ls h a p ee x t r a c te t c t h ee x p e r i m e n t a lr e s u l t si n d i c a t e dt h a t t h ep r e p r o c e s s i n gb a s e do nl a p l a c i a ns h a r p e na l g o r i t h mi si d e a lf o re n h a n c i n gt h e e d g eo fe l e c t r o n i cb u t t o n 3 t h et h e o r ya n dt e c h n o l o g yo f i m a g es e g m e n t a t i o na r es t u d i e d o na n a l y z i n g t h eh i s t o g r a mo ft h ee l e c t r o n i cb u t t o n , t h i sd i s s e r t a t i o nu s e si m a g es e g m e n t a t i o n b a s e do nm a x i m u mb e t w e e n - c l u s t e rv a r i a n c ea l g o r i t h m t h ee x p e r i m e n t a lr e s u l t s i n d i c a t et h a tt h es e g m e n t a t i o ni si d e a lf o rt h ed e f e c to fe l e c t r o n i cb u t t o n 4 i nt h er e s e a r c ho ff e a t u r ee x t r a c t i o n , t h i sd i s s e r t a t i o nf e t c h e so u tt h eg r a y , g r a y v a r i a n c ea n dt h ep e r i m e t e ro ff e e tw h i c hc a ne x p r e s st h ec h a r a c t e ro fe l e c t r o n i c b u t t o nb a s e do na n a l y z i n gt h ec h a r a c t e r i s t i c so fe l e c t r o n i cb u t t o ns u r f a c ei m a g e t h i sd i s s e r t a t i o nd e s i g n sa n dd e v e l o p sa ne x p e r i m e n t i n gt e s t i n gs y s t e mb a s e d0 1 1 i m a g et e c h n o l o g yu s i n gv i s u a lc + + 6 0t oi d e n t i f yd e f e c t so fe l e c t r o n i cb u t t o n t h e s y s t e mc o n s i s t so fi m a g ep r o c e s s i n ga l g o r i t h m ，i m a g es e g m e n t a t i o n , d e f e c tp r o p e r t y e x t r a c t i o na n di d e n t i f i c a t i o no fd e f e c t s t h ed e t e c t i o nr a t eo ft h ee l e c t r o n i cb u r o n si n e x p e r i m e n t si su pt o10 0 k e yw o r d s ：i m a g ep r e p r o c e s s i n g ；l a p l a c i a ns h a r p e n i n g ；i m a g es e g m e n t a t i o n ； m a x i m u mb e t w e e n - c l u s t e rv a r i a n c e ；p a r e mr e c o g n i t i o n 第1 章引言 第1 章引言 1 1 课题背景及意义 电子按键是电子产品的重要功能器件，电子按键表面缺陷检测和电子器件 的质量评估是电子产品生产中不可或缺的一个步骤。随着工业技术的发展，现 在对电子器件表面缺陷检测( 1 - 3 1 技术水平的要求也越来越高。电子按键表面缺陷 检测目前虽然有很多种方法，但在检测的过程中，尚存在很多问题。因此，采 取一种检测效果好、速度快和费用少的检测方法仍是当前工业生产需要解决的 问题。 以前，电子按键表面缺陷检测主要是由人工来完成，检测效率非常低。而 且，由于检测工人的技术熟练程度和主观性等方面的因素，对同一按键的检测 结果往往也不相同。因此，检测过程借助机器视觉 4 , 5 1 的方法就成为需要。机器 视觉的特点是提高生产的柔性和自动化程度，在一些不适合于人工作业的危险 工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉，以 提高检测精度和生产的自动化程度。另外机器视觉易于实现信息集成，是实现 计算机集成制造的基础技术。总之，随着计算机硬件的飞快发展，计算机处理 数据速度不断地提高，以及图像处理【6 7 1 和模式识别【8 9 】等相关技术的不断发展 和完善，机器视觉将在现代和未来制造企业中得到越来越广泛的应用。 本课题以电子按键的表面缺陷的有效检测为研究目标，以数字图像处理技 术为基础，对采集到的电子按键的图像进行预处理、图像分割、缺陷特征提取1 1 0 , 1 1 和识别。本文的成果对于电子按键表面缺陷的自动检测从而实现生产线上电子 按键的自动筛选具有重要意义和经济价值。 1 2 电子按键表面缺陷主要类型及其成因 图1 1 是一个正常的按键表面图像。图1 1 ( a ) 为从上方看到的图像，图1 1 ( b ) 为从前方看到的图像，图1 1 ( c ) 为从侧面看到的图像。由于按键几何结构的对称 性，后方和右方的图像不再需要。按键有4 个脚，2 个脚的下部分向前弯曲，另 外2 个脚的下部分向后弯曲，使得在( a ) 中可以看到这4 个脚。由于影响电子按 键性能的缺陷常出现在上表面，从底部看过去的图像也不必获取。因此，在生 第1 章引言 产过程中，当电子按键随传输带移动时，系统只在上方安装一台摄像机，借助 某种触发信号，对每个按键拍摄一幅上表面的灰度图像，大小为1 2 9 6 x 9 6 4 ，编 码为每像素8 比特。 ( a ) 顶视图( b ) 前视图 ( c ) 左视图 图1 1 正常电子按键的图像 电子按键表面缺陷有很多类型，下面是几种常见的缺陷及其成因。 ( 1 ) 铁皮脱落 铁皮脱落的典型形状如图1 2 所示。 定义与外观：在正方形的电子按键中央有一块白色的圆铁皮，这是真正的 可以“按”的“键”。如果这个圆铁皮脱落，露出衬底，则在此区域呈现出比圆铁片 灰度小得多的灰度图像。 形成原因：在铸模过程中，由于温度没有控制好，导致铁皮没有很好地粘 住在大圆的表面，从而导致铁皮脱落。 2 第1 章引言 图1 2 铁皮脱落 ( 2 ) 氧化 氧化的典型现状如图1 3 所示。 定义与外观：正方形的电子按键表面除去中央圆形铁片的剩余部分的金属 表面的氧化也是常见的一种缺陷，呈带状条纹、小斑点、大块斑等形式。这种 缺陷常呈现不规则的分布，也可能伴有粗糙麻点表面。 形成原因：压入的氧化物来自加热炉中未除尽的氧化物，从而形成一次氧 化物的压入；在模铸过程中温度超过了按键的极限而会导致氧化。 图1 3 氧化 ( 3 ) 脚的长度不相同 脚的长度不相同的形状如图1 4 所示。 定义与外观：按键有四个脚，四个脚的长度不相同。4 个规则的脚在图像上 的分布一定是对称的，除非4 个脚同时出现相同的缺陷，否则就是不对称的。 形成原因：四个脚的长度不一致是因为铸模时出现操作失误而引起的脚的 长度不相同。 3 第1 章引言 图1 4 脚的长度不相同 1 3 国内外研究的现状 1 、国际现状 在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概 4 0 5 0 都集中在半导体行业。具体如p c b 印刷电路、各类生产印刷电路板组 装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设 施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备及 丝网周边材料等。s m t 表面贴装、s m t 工艺与设备、焊接设备、测试仪器、返 修设备及各种辅助工具及配件、s m t 材料、贴片剂、胶粘剂、焊剂、焊料及防 氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生 产1 j n - r - 设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设 备、电子工模具。机器视觉系统还在质量检测的各个方面已经得到了广泛的应 用，并且其产品在应用中占据着举足轻重的地位。 2 、国内现状 而在中国，以上行业本身就属于新兴的领域，再加之机器视觉产品技术的 普及不够，曾导致以上很多行业的应用几乎空白。目前在我国随着配套基础建 设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自 动化、智能化需求开始广泛出现，国内近几年在图像和机器视觉技术领域进行 了积极思索和大胆的尝试，并在电子工业现场有所应用。其主要应用于制药、 印刷、矿泉水瓶盖检测等领域。这些应用大多集中在如药品检测分装、印刷色 彩检测等 国内现在把机器视觉的应用在电子企业非常多，这些公司都是从国外或是 中国台湾引进成套的设备中带有机器视觉系统，由于这些设备的引进，随之也 就带动了国内机器视觉的发展，加上现在很多的国外境内企业开始了本地化的 4 第1 章引言 采购计划，所以国内目前从事机器视觉系统集成的公司开始也开始慢慢的活跃 起来，通过接触一些系统集成公司的老板和工程师，他们一致反映，客户需求 的信息量在迅速的增长，这也就暗示着机器视觉在国内的兴起，我相信，在未 来的几年内，机器视觉将成为国内一个热门的行业。 机器视觉涉及的领域很广泛，所用的方法也多种多样，有神经网络、模板 匹配和小波分析等。现在已经开发出来的系统有焊点缺陷检测、纺织业质量监 测、集成电路的缺陷检测等。 从检测的原理上来看，目前，从国内外有关文献来看，大概分为三大类： 1 、图像图像参考 直接将提取的模板图像和待检测图像做相关、匹配、差分等运算，如果有 明显的区别，就判为存在缺陷，如印刷电路板的缺陷检测。 2 、基于规则的检测技术 基于规则的检测是知识库检测的一种，其中知识库是用规则库的形式来表 示的。在检测时，首先提取器件的图像特征，然后与知识库中的规则进行对比， 符合规则的为正常点，否则为缺陷点。规则的形式有很多种，特征向量就是其 中的一种。如果需要检测点的特征向量落在正常区域，这点被判为正常点，否 则被判为缺陷点。 3 、基于模型技术 模型检测技术是用某种模型对将要检测的图像进行描述，在检测时，选择 一个怎样的模型结构对图像的后面处理相当重要，对于模型结构的描述有很多 种，如图标、树结构、字串等。常见模型有回归滑动平均模型( a r m a ) 、马尔 可夫随机场模型( m r f ) 等。 1 4 本文主要工作与内容安排 本文主要工作包括以下几个方面： ( 1 ) 搭建电子按键视觉检测实验系统。包括实验系统的整体方案，视觉检 测系统硬件结构设计和软件设计； ( 2 ) 分析电子按键表面缺陷的种类和其形成的原因。 ( 3 ) 研究电子按键图像序列的获取与预处理； ( 4 ) 研究电子按键图像分割和边缘定位技术，提取出电子按键的缺陷的特 5 第1 章引言 征； ( 5 ) 研究电子按键表面缺陷识别策略，提出一种“弱分离”的技术对电子按键 进行识别和筛选。并在v c + + 6 0 开发平台下，对本课题用到的图像处理算法进 行编程，实现电子按键缺陷的识别和检测，从而达到自动筛选有缺陷的电子按 键的目的。 本论文的内容安排： 第1 章，引言。阐述了电子按键缺陷检测方法研究的目的和意义。 第2 章，电子按键表面缺陷检测软件系统介绍。介绍了系统设计依据、方 案设计和系统硬件结构设计，并对硬件结构中各硬件的功能做了详细的阐述。 第3 章，图像预处理。利用拉普拉斯锐化算法对图象进行预处理，增强图 像边缘。 。 第4 章，图像分割。本章利用最大类间方差阈值分割技术对图像进行阈值 化处理，接着使用串行边界跟踪算法对电子按键进行边缘定位。 第5 章，特征的选择和提取。本章介绍特征提取的目的和原则，通过实验 提取出本课题所用到的几种特征和其特征值。 第6 章，提出了电子按键表面缺陷检测的软件设计的方案和流程，并分析 了实验结果，由结果可以看出软件设计的方案可以满足本课题的要求。 第7 章，结论与展望。总结本论文的研究工作的创新和成果，并指出进一 步研究的方向。 6 第2 章电子按键表面缺陷检测软件设计 第2 章电子按键表面缺陷检测软件设计 本章在深入分析检测系统关键技术的研究和应用状况以及最新进展的基础 上，根据电子按键表面缺陷自动检测系统的功能和性能需求，设计了检测系统 的总体架构。 2 1 系统的性能指标 以国内某电子企业生产线为应用背景，根据检测对象的特点和需求，本文 提出了以下的电子按键表面质量检测系统的性能指标，作为系统设计的依据： ( 1 ) 检测速度：满足检测速度不低于1 个s 条件下的在线检测。 ( 2 ) 能够检测最小缺陷尺寸：设计系统要求能够检测到小于l m m 的缺陷。 缺陷检出的最小尺寸决定了图像采集系统的最小分辨率，图像的分辨率和按键 的生产速度又决定了图像检测过程需要处理的图像数据量。 ( 3 ) 缺陷的有效识别：缺陷的类别包括氧化、铁皮脱落、挫伤、边裂、孔 洞、夹杂等，不同生产机组和不同生产工艺产生的缺陷差别很大，造成了缺陷 类别的多样性。 ( 4 ) 工作稳定性：系统要具备良好的工作稳定性。 2 2 系统方案设计 自动检测系统的功能模块如图2 1 所示。 ( 1 ) 图像采集模块图像采集模块是整个系统的输入模块，完成电子按键 表面图像的采集功能。图像采集模块包括光源照明装置、图像传感器( c c d ) 、 光电传感器等器件。c c d 的采集模式 1 2 , 1 3 、检测光路的配置决定了图像的采集 质量，好的图像质量会起到事半功倍的效果，而不稳定的图像质量必然会对后 续处理产生困难。 ( 2 ) 图像预处理本系统利用拉普拉斯掩模锐化技术增强图像的边缘。 ( 3 ) 图像分割和识别模块图像分割和识别是完成电子按键目标的分割、图 像特征提取和缺陷分类。本文采用了一种“弱分离”方法对有缺陷的按键进行筛 选，大大节约了图像处理的时间。 7 第2 章电子按键表面缺陷检测软件设计 ( 4 ) 控制模块控制模块是系统将检测到有缺陷的信息传送给机器臂。 ( 5 ) 机器臂筛拣模块机器臂筛拣模块实现对有缺陷的电子按键自动筛拣。 电子按键表面缺陷在线检测系统 图 像 采 集 模 块 图 像 预 处 理 模 块 图 像 分 割 和 图 像 识 别 模 块 控 南u 模 块 图2 1 自动检测系统的功能模块 2 3 系统硬件结构设计 系统的核心硬件就是图像采集设备，图像采集设备的优劣是影响着表面缺 陷的检测和识别效果的主要因素之一。 2 3 1 图像采集模块 图像采集模块的硬件主要由摄像机、光源、镜头等构成。摄像机及镜头选 择在满足检测精度的前提下，对于机器视觉系统首要考虑的就是系统的性价比。 出于技术的考虑，本文选用加拿大进口的p o i n tg r e y 公司生产的型号为 c m l n 1 3 s 2 c 工业自动化摄像机和s o n y 公司生产的工业自动化镜头。摄像机是 一款采用基于u s b2 0 技术开发的数字摄像机，无需进行d a 转换，因此就不 需要配置专门的图像采集卡，有助于降低了系统的成本。另外如图2 3 是检测中 用来采集图像的c c d 摄像机，摄像机顶部如图2 4 所示，有8 个引脚，其引脚 定义说明如下： 1 ：3 3 v 的电源输出 2 ：待用 3 ：地线 r 机 器 臂 筛 拣 模 块 第2 章电子按键表面缺陷检测软件设计 4 ：外触发输入 5 ：待用 6 ：5 v 的电源输出 7 ：闪光灯 8 ：地线 根据系统的设计要求，实验平台安装如图2 2 所示。 特点：镜头支架和光源支架可以随意调整位置，相机可以微调； 旋转台：2 0 r p m ； 载物台：铝合金； 尺寸( 长宽高) ：4 0 0 r a m x 3 0 0 r a m x 5 0 0 r a m 。 图2 2 实验平台 图2 3c c d 摄像机 图2 4 相机正面引脚 由上述引脚的定义可知，外触发信号的正极接4 引脚，负极接引脚3 或者8 都可以。 2 4 1 1 摄像机的特征 ( 1 ) s o n ye x v i e w l 3 ”c c d 芯片： ( 2 ) 1 2 9 6 x9 6 4 1 8 f p s ； o 第2 章电子按键表面缺陷检测软件设计 ( 3 ) 相机尺寸2 5 5 m m x 4 1 m m 4 4 m m ( 4 ) 支持以前版本的驱动软件； ( 5 ) 内置f p g a 芯片支持在线更新； ( 6 ) 即插即用，直接与电脑相连； ( 7 ) 带有选通和触发功能。 2 4 1 2 检测光源 好的光源与照明方案并不是简单的照亮物体，光源与照明方案的配合应尽 可能地突出物体特征量，增加对比度，同时应保证足够的整体亮度，物体位置 的变化不影响成像的质量。光源设备的选择必须符合所需的几何形状、照明亮 度、均匀度，发光的光谱特性也必须符合实际的要求，同时还要考虑光源的发 光效率和使用寿命。 光源视觉检测早期采用普通的日光灯或卤素灯充当光源，但是这些光源工作 不稳定，寿命有限，且容易受环境光的干扰。以日光灯为例，在首次使用1 0 0 小时内，光能会下降1 5 。现在全色化、高亮度的l e d 的实用化和商业化，改 变了机器视觉检测领域照明技术欠缺的局面。相对于白炽灯，在相同发光亮度 条件下l e d 光源的功耗只占前者的1 0 2 0 。白炽灯的寿命一般不超过2 0 0 0 小时，而l e d 光源的寿命可以达到数万小时。l e d 照明光源不仅具有体积小、 重量轻、亮度高、长寿命、节能等优点，而且价格低、重量轻、适用于恶劣条 件下的应用。 图像采集过程要求图像中的缺陷目标灰度与背景灰度的对比度越大越好， 这样有利于阈值分割。根据几种光源的相关特性要求，本课题采用的光源是东 莞o p t 公司生产的2 4 v - d c 7 4 w 的l e d 环形光源，目的是在图像采集时得到 一种类似无影灯的效果，因而为零件生成阴影与背景相混淆的概率得到进一步 减少，环形光源如图2 5 所示： 图2 5 环形光源 1 0 ，豫爹 第2 章电子按键表面缺陷检测软件设计 2 4 1 3 镜头 镜头一般根据成像面尺寸、焦距、视角、工作范围、倍率、景深和接口等 参数来选择，要求镜头的畸变小、视野大及工作距离近，微小畸变镜头在视觉 检测中具有重要意义。在本课题视觉检测系统中，选用s o n y 公司生产的镜头， 该镜头景深大、焦距固定，可获得平行光输出。 2 4 1 4 电机手动控制按钮 电机控制按钮能够为转盘提供动力，且可以控制转盘的转速，如图2 6 所示： 图2 6 电机手动控制按钮 2 4 1 5 传感器 传感器( 型号为e e s x 6 7 1 ) 需要一个2 4 v 直流开关电源为它供电，作用是当 有物体经过时，传感器发出一个5 v 的电源脉冲给控制器，如图2 7 所示，图2 8 为传感器的电路图。 图2 7 传感器 蒸蘸纛遴 第2 章电子按键表面缺陷检测软件设计 e e s x 6 71 图2 8 传感器电路图 2 4 1 6 开关电源 开关电源的作用是给传感器提供2 4 v 直流电压，如2 9 所示： 图2 9 开关电源 2 4 1 7 电压放大器 电源放大器实际是电压放小的作用，其目的是将控制器输出的2 4 v 电压脉 冲变换为3 v 的电压脉冲作为相机的外触发信号。 2 4 1 8 控制器 当控制器接收到传感器发送过来的5 v 脉冲时，控制器发送出两路2 4 v 脉冲 电压，一路是给环形光源，另一路是发送给相机，但在传给相机前加了一个电 压放大器，控制器如图2 1 0 所示。 1 2 第2 章电子按键表面缺陷检测软件设计 三路带触发 图2 1 0 控制器 数字摄像机通过通用的串行总线( u s b ) 和计算机连接。本实验中所选的计算 机的基本配置为主频为2 g h z ，p e n t i u m ( r ) c p u ，8 0 gb y t e 硬盘，2 gh z 的内存。 2 3 2 图像处理计算机模块 如果图像采集模块相当于人的眼睛，则图像处理计算机( i m a g ep r o c e s s i n g c o m p u t e r ，i p c ) 系统则类似于人的大脑，实现机器视觉中“觉”的功能。完成 图像采集、图像预处理、图像分割和缺陷检测任务。数据处理流程如图2 1 1 所 示。 正品 次品 图2 1l 图像检测和识别流程 该过程不但要满足在线检测速度的要求，还要满足系统设计对检出率和识 1 3 第2 章电子按键表面缺陷检测软件设计 别率的要求。考虑到大部分图像为正常图像，设计“弱分离”流程来快速处理所 有的电子按键图像，“弱分离”的具体过程在后面的章节将重点介绍，本文后序 章节也将针对电子按键表面图像处理和识别技术进行深入研究。 2 4 小结 本章从系统整体设计的高度提出了电子按键表面缺陷检测系统的总体方 案。系统的图像采集模块采用l e d 环形光源和c c d 摄像机的组成方式采集图 像，数据通过u s b 传输到计算机。系统设计利用高性能的硬件和相对成熟的技 术，使其具有简洁和可靠性高的特点。软件上主要是由提出的“弱分离”的算法和 一些图像处理算法构成，在充分利用现有的硬件资源前提下，兼顾了海量数据 在线处理速度和检测精度的要求。 1 4 第3 章图像预处理 第3 章图像预处理 图像的预处理u 4 1 5 1 将直接影响检测的结果。 图像在采集的过程中的每一步都会受到各种各样的噪声干扰和影响，从而 使图像的质量下降。对图像进行预处理来抑制噪声的干扰，改善图像的质量就 成为必要。 3 1 电子按键图像中的噪声 3 1 1 噪声来源 图像噪声可以理解为影响图像传感器对所接收图像信息进行理解或分析的 各种因素。噪声一般是不可以预测的随机信号，它只能用统计的方法去认识。 噪声对图像的输入、采集和处理的各种环节，以及输出结果的全过程都有影响。 因此，去除噪声已经成为图像处理中极其重要的环节，也是图像处理领域研究 的一个重点。 对图像信号来说，可以将黑白图像看作是二维亮度分布厂( x ，y ) ，则图像噪 声【1 6 。1 9 1 可看作是对亮度的干扰，用n ( x ，y ) 来表示。噪声是随机性的，因而需要 用随机过程来描述，即要求知道其分布函数和密度函数。在许多情况下，这些 函数很难测定和描述，甚至无法得到，所以常用统计特征来描述噪声，如均值、 方差、相关函数等。 e 玎2 ( x ，y ) 描述噪声的总功率；方差e ( 门( x ，y ) 一e ，z ( x ，少) ) 2 描述噪声的 交流功率；均值的平方 e ”( x ，y ) ) 2 表示噪声的直流功率。 3 1 2 噪声模型 影响运动电子按键图像质量的噪声源主要有曝光热噪声的影响和闪烁噪声 的影响。 3 1 1 1 曝光热噪声 曝光是一个二值过程，每个电荷要么完全曝光、要么完全未曝光。产生的 热扰动会导致噪声，此噪声在从零频率直到很高的频率范围之间分布一致。 1 5 第3 章图像预处理 对于本文电子按键部门缺陷检测而言，具有泊松密度分布的随机变量作为 光电噪声的模型，这种分布的标准差等于其均值的平方根。在光照较强时，泊 松型分布趋向更容易描述的高斯分布，而标准差仍等于均值的平方根，这也意 味着噪声的幅度是与信号有关的。 3 1 1 2 闪烁噪声 闪烁噪声是在阻性器件中由于电流运动和图像传感器中光电转换过程引起 的电子噪声。这类噪声一般常用零均值高斯白噪声作为其模型，它具有一个高 斯函数形状( g ) 的直方图分布以及平坦的功率谱。它可用其标准差来完全表征。 通常具有反比于频率( 1 厂) 的频谱，一般也称为粉色噪声，尤其在1 0 0 0h z 以 下的低频比较明显。 3 2 图像增强 图像增强 2 0 , 2 1 是数字图像处理的最基本方法之一，在数字图像处理中受到 广泛的重视，是具有重要的实用价值的技术。图像增强的目的在于：( 1 ) 采用 一系列技术改善图像的视觉效果，提高图像的清晰度。( 2 ) 将图像转换成为一 种更适合于人或机器进行翻译和分析处理的形式，以便从图像中获得更多有用 的信息。图像增强不是以图像保真度为原则，而是通过处理设法有选择地突出 便于人或机器分析某些感兴趣的信息，抑制一些无用的信息，以提高图像的使 用价值，即图像增强处理只能增强了某些信息的辨别能力。 图像增强是一个相对的概念，增强效果的好坏，除以算法本身的优劣有一 定的关系外，还以图像的数据特征有直接关系，同时由于评价图像优劣往往任 凭观测者的主观而定，没有通用的定量标准，因此增强技术多属于面向问题， 增强方法只能有选择地使用。 3 2 1 频域的去噪方法 频域滤波2 3 1 的基础是傅里叶变换和卷积定理，g ( ”，1 ，) = m ( u ，1 ，) ，( “，1 ，) ， 式中g ( u ，1 ，) 为预处理后的图像，n ( u ，v ) 为传递函数，f ( “，1 ，) 为待处理的函数。 3 2 1 1 低通滤波 在频率域中，通过滤波函数衰减高频成分而使低频成分通过的过程称为低通 滤波。低通滤波器抑制了反映灰度剧变边界特征的高频信息以及包括在高频中 1 6 第3 章图像预处理 的孤立点噪声，起到平滑图像去噪声的增强作用。下面介绍常见的几种滤波器 的传递函数。 1 、理想滤波器 二维理想低通滤波器的传递函数如下： 呻 v ) = 譬脚d ( u ，v ) , v ) d o d o ( 3 1 ) 式中d o 是一个规定的非负的量，d ( u ，v ) 是从点( “，v ) 到频率平面的原点的 距离，即d ( u ，v ) = ”2 + 1 ，2 。理想低通滤波器的传递函数的频率特性曲线如图 3 1 所示，在h ( u ，v ) = 1 和日( 甜，v ) = 0 之间的跳跃点( d o ) 通常称为截止频率。 雹 图3 1 理想低通滤波器的传递函数的频率特性曲线图 2 、巴特沃斯滤波器 ”阶巴特沃斯( b u t t e r w o r t h ) 低通滤波器的传递函数由下式决定： 呻，v ) 2 币茄耐 2 ) 巴特沃斯低通滤波器传递函数的频率特性曲线如图3 2 所示。 月l ：，。” l 0 ，v 01 23 图3 2 巴特沃斯低通滤波器传递函数的频率特性曲线图 3 、指数滤波器 n 阶指数滤波器的传递函数由下式决定： 1 7 第3 章图像预处理 日( 叩) i 剐 ( 3 3 ) 指数滤波器传递函数的频率特性曲线如图3 3 所示。 “。” y ) ，蹁 图3 3 指数滤波器传递函数的频率特性曲线图 4 、梯形滤波器 梯形滤波器函数是对理想低通滤波器函数和完全平滑低通滤波器函数的折 中。它的传递函数为： h ( u ，v ) = 1 d ( u ，v ) 一q ( d 0 一d 1 ) 0 d ( 甜，v ) 口 d o d ( u ，) d l ( 3 8 ) d ( u ，v ) 1 ，即c o m p a c t n e s s 的值，当区域是圆形时，则达到最小。 c o m p a c m e s s 没有量纲，对尺度变化和旋转不敏感。需要注意的是只靠 c o m p a c t n e s s 是不能把不同形状的区域分离开来的。 5 2 3 2 灰度特征 对于图像的灰度特征，可以由图像的灰度直方图得到，灰度直方图就是离 散灰度值的函数，它描述了图像中具有该灰度值的像素的个数；其纵坐标是该 灰度出现的频率( 即像素的个数) ，横坐标是灰度值。 图像的直方图提供了图像的灰度值的分布情况或者整体描述。下面介绍几 种常用的直方图特征参数。其中，b 是图像的量化级，共为三级，( 6 ) 为像素 的总个数，p ( b ) 为概率密度，g ( f ，) 为像素g ，) 的灰度值，m 表示以( f ，) 为中心 测量区域内像素的总数。 p ( 6 ) = 掣6 = o ，0 l ， ( 5 6 ) 直方图的特征参数： ( 1 ) 平均值 m e a n = b p ( b ) ( 5 7 ) ( 2 ) 方差 v a t 2 = l - l ( b 一否) 2 )(5vate ( b 8 ) 2 = 一6 1) ( 8 ) b = o 7 。 3 9 第5 章特征的选择和提取 溉刀跚= 占v a r 筹( 6 _ - ) 3 即) ( 5 9 ) 。c n 、 ， 、7 ( 4 ) 峭度 k u r t o s i s - 丽1 舀l - 1 ( 6 一弘( 6 ) ( 5 1 0 ) ( 5 ) 能量 p o w e r ：笼1 ( 尸( 6 ) ) 2 ( 5 1 1 )= ( 尸( 6 ) ) ( 5 1 1 ) b = 0 、7 ( 6 ) 熵 =一占l-1entropy e ( b ) l o g p ( b ) ( 5 1 2 ) = 一 ) i( 5 6 = 0 。“ 系统中主要用到了两种像素的灰度特征：像素的灰度特征和像素的方差特 征。这两种特征是识别按键缺陷的主要特征，如图5 2 和5 3 所示，铁片脱落和 氧化的灰唐信在不同的稗度e 是有所不同的。 图5 2 铁片脱落图5 3 氧化 5 2 3 3 纹理特征 对于很多图像来说，纹理是一个非常重要的特征。比如医学图像、金相组 织图像等，它们都可以看着是由不同类型的纹理所构成的，因此，研究纹理的 图像分割、分类和纹理的描述等就成为图像处理领域的主要任务，同时也有着 广泛的应用前景。 纹理是大量有序的相似基元或模式组织构成的一种结构，但是这些基元或 模式的本身并不重要。纹理特征的模式方法很多，主要有频谱法、结构法和统 计法等。 第5 章特征的选择和提取 5 2 3 4 投影特征 在图像描述中，经常将二维或三维图像映射成为一个一维的波形，其值是 沿特定方向的沿像素点的灰度值之和，比如汉字可以由很少结构方向的笔画组 成，如水平、垂直和两个对角的方向。如果这些笔画沿着它们的方向的投影呈 现为峰，那么就能够容易地检测出这些峰。 图像的投影一般分4 个方向的投影：x 轴( 0 。) ，y 轴( 9 0 。) ，对角线( 4 5 。) 和反对角线( 1 3 5 。) ，其投影方程为( 其中t 为图像投影后的方向) ： p ( o 。，r ) = 厂( 五r 炒( 5 1 3 ) p ( 9 0 。，) = 厂( x , t ) d x ( 5 1 4 ) ： p ( 4 5 。，f ) = l y ( x , x 一屈) 出( 5 1 5 ) p ( 1 3 5 。, t ) = i 厂似屈一f ) 出( 5 1 6 ) 经过一定的投影后，图像有二维信号变换为一维信号，由一维信号分析理 论，一般有常见的4 种特征。令x ( f ) 为图像在每个方向的投影，i 而p ( x ) 为x ( f ) 的 概率密度函数，能够达到下面的一些指标： ( 1 )峰值x ： x = 嗽( i x ( f ) 1 ) ( 5 1 7 ) ( 2 ) 平均幅值巧： 耳= 亭) i ( 5 1 8 ) ( 3 ) 均方根幅值淞： ( 4 ) 方根幅值z ： 4 l ( 5 1 9 ) ( 5 2 0 ) 一吩甲i 一 叫 一， k 后芝， = n 盯 曼童 = x x 第5 章特征的选择和提取 5 3 特征提取实验 5 3 1 周长特征的提取 由第四章的图像分割，把电子按键的脚分割出来，如图5 4 和5 5 所示。 团圆 图5 4 正常脚的边缘图图5 5 非正常脚的边缘图 最后利用( 5 2 ) 式对上两幅图进行周长计算，通过计算可以得到正常脚的周 长为4 2 6 个像素，而非正常脚则比正常的小很多，这为脚的判断和4 4 3 节边缘 定位提供了依据。 5 3 2 面积特征的提取 通过图像分割可以求出大圆半径为1 5 0 个像素和小圆的半径为6 0 个像素。 图5 6 小圆图5 7 大圆 5 3 3 灰度特征的提取 从边缘定位图可以得出中间大圆的圆心坐标为【( + ) 2 ，( + 鸭) 2 】， 经过图像分割，大圆的半径为1 5 0 个像素，通过计算出大圆的各像素的灰度值 叠加求和，设为s ，对1 0 个电子按键进行实验，当灰度值和为1 0 0 0 0 0 时，可以 将正常的按键和缺陷的按键分离开来，因此，设置阈值为1 0 0 0 0 0 ，当p 1 0 0 0 0 0 时，判断按键有缺陷，否则判断为正常，结果如表5 1 所示： 4 2 第5 章特征的选择和提取 表5 1 大圆灰度值实验结果 序号 s 按键类型 11 6 8 0 8 0 缺陷 21 7 4 9 9 5 缺陷 31 6 3 9 7 2 缺陷 41 6 4 8 1 l 缺陷 52 4 5 9 2 正常 61 9 5 2 0 3 缺陷 71 6 5 3 2 6 缺陷 82 0 4 3 2 5 缺陷 96 4 3 3 8 正常 l o2 0 2 1 7 6 缺陷 5 3 4 方差特征的提取 由于电子按键是对称的，所以4 个小圆的位置由实验可得： 左上角小圆圆心o ( o 8 5 t i + o 1 5 t 2 ，0 9 m 2 + o 1 m 3 ) 右上角小圆圆心o ( o 8 5 t 2 + o 1 5 t i ，0 9 m 2 + o 1 m 3 ) 左下角小圆圆心o ( o 8 5 乞+ o 1 5 t j ，0 9 m a + o 1 m 2 ) 右下角小圆圆心o ( o 8 5 t 2 + o 1 5 ，0 9 n + o 1 m 2 ) 经过图像分割得出小圆的半径为6 0 个像素，计算出小圆的像素点的个数设 为n ，同时把小圆的各像素的灰度值叠加求和设为r ，从而可得大圆内部的均值 r ，设，灰度值方差为： 几者b ( 而y ) j ( 5 2 7 ) 其中四个小圆的区域为： ( x 一0 8 5 t 1 + 0 1 5 t 2 ) 2 6 0 2 ，( 少一0 9 聊2 + o 1 m 3 ) 2 6 0 2 ( x 一0 8 5 t ：+ o 1 5 t 1 ) 2 s 6 0 2 ( y 一0 9 历：+ o 1 m 3 ) 2 6 0 2 ( z 一0 8 5 t 1 + 0 1 5 t 2 ) 2 6 0 2 ，( y 一0 9 m 3 + 0 1 m 2 ) 2 6 0 2 ( x 一0 8 5 t ：+ 0 15 t 1 ) 2 6 0 2 y 一0 9 m 3 + 0 1 m 2 ) 2 - - j 中给予的指导和真诚的帮助! 衷心感谢父母及家人的无私奉献和始终如一的大量支持，你们的精神支持 和物质帮助，是我完成学业和硕士学位论文的强大动力! 最后衷心感谢所有关心和帮助过我的人! 占建华 2 0 1 1 年6 月 参考文献 参考文献 【1 】 s u nt h ，t s e n gcc ，c h e nms e l e c t r i cc o n t a c t si n s p e c t i o nu s i n gm a c h i n ev i s i o n j i m a g ea n d v i s i o nc o m p u t i n g ，2 0 1 0 ，2 8 ( 6 ) ：8 9 0 , - 9 0 1 【2 】吕文阁，刘建群，杜建辉应用机器视觉的工件表面质量检测【j 】机床与液压，2 0 0 6 ， 4 ( 2 ) ：1 5 4 1 - 1 5 8 【3 】卢奇武图像处理技术在机械零件检测系统中的应用【d 】浙江大学，2 0 0 5 【4 】王飞，崔风奎，刘建亭等基于机器视觉的玻璃表面缺陷系统的研究 j 】玻璃与搪瓷，2 0 0 9 ， 2 7 ( 5 ) ：7 1