（测试计量技术及仪器专业论文）手机面板表面质量在线检测系统的研究.pdf

中文摘要 手机面板制造成本低廉与其缺陷自动检测设备价格昂贵、检测手段的相对落 后与手机产品质量需求不断提高是目前国内的手机面板生产厂家面临的两个主 要问题，因此研究高性价比的手机面板表面质量在线检测系统具有重要的工程实 际意义。目前，相当一部分企业对手机面板缺陷检测仍然停留在人工肉眼检测水 平，不仅检测效率低，劳动强度大，而且产品质量受诸多人为因素的影响，漏检 率较高。因此，本文提出了利用机器视觉技术对手机面板表面缺陷进行检测的方 法，并借助于计算机技术、机电一体化技术、机器视觉技术等开发了一个检测系 统，从而实现了对手机面板的自动在线检测。 本系统基于机器视觉原理，根据手机面板缺陷在线检测系统的技术要求，给 出了手机面板缺陷检测系统的总体设计方案，对系统的硬件结构和软件流程进行 了介绍，详细介绍了视觉检测部分硬件的设计，包括光源、c c d 、镜头、图像采 集卡等部件的选择，软件部分设计。 论文重点从图像处理和模式识别的角度出发，研究了不同手机面板缺陷的特 点，提出了基于图像识别的缺陷检测方法。实现了图像采集与格式转换；为了提 高手机面板数字图像的信噪比，采用了图像增强、中值滤波等预处理算法优化图 像质量；并对图像在线检测中遇到的运动模糊现象进行了研究；在手机面板缺陷 的识别与检测方面，对表面瑕疵缺陷提出了一种模板匹配算法，实现了手机键盘 图像与模板图像之间的参考比较；对按键组装偏移，提出了一种应用边缘提取和 轮廓跟踪进行图像处理为基础的的设计规则校验法，基于此判断是否存在缺陷。 对包含不同缺陷的手机面板图像进行实验，结果证明本文的手机面板缺陷检 测系统能够对手机面板上的纤毛不良、划痕、组装偏移等主要缺陷做出有效的检 测与识别，具有较高的应用价值。 关键词：缺陷检测图像处理模式识别机器视觉特征提取 a b s t r a c t t h e r ea r et w om a j o rp r o b l e m sf a c e db yt h em o b i l ep a n e lm a n u f a c t u r e r si nc h i n a ： t h el o wm a n u f a c t u r i n gc o s to fm o b i l ep a n e l sc o m p a r e dt ot h em g hp r i c eo ft h e c o r r e s p o n d i n ga u t o m a t i cd e f e c t - d e t e c t i o ne q u i p m e n t s ，a n d t h el e s sa d v a n c e dd e t e c t i o n m e t h o d sc o m p a r e dt ot h eh i g h e ra n dh i g h e rr e q u i r e m e n t so ft h em o b i l ep h o n eq u a l i t y h e n c e ，i ti so fm u c he n g i n e e r i n gi m p o r t a n c et op e r f o r mr e s e a r c ho nm o b i l e - p a n e l d e f e c t d e t e c t i o ns y s t e m st h a ta r ec o s t - e f f e c t i v e c u r r e n t l y ，q u i t eal o to fc o m p a n i e s s t i l lr e l yo nh u m a ne y e sf o rt h ed e f e c td e t e c t i o no f m o b i l ep a n e l s ，r e s u l t i n gi na l o w d e t e c t i o ne f f i c i e n c ya n dh i g hl a b o ri n t e n s i t y b e s i d e s ，t h ep r o d u c tq u a l i t yi sa f f e c t e d b ym a n yh u m a nf a c t o r s ；t h e r e f o r e ，t h ed e f e c t sm a ye a s i l yb eo m i t t e d t oi m p r o v et h i s s i t u a t i o n , w ep r o p o s eam e t h o df o rm o b i l e - p a n e ls u r f a c e - d e f e c td e t e c t i o nb yu s i n gt h e m a c h i n e v i s i o nt e c h n i q u e b a s e do nt h i sm e t h o dt o g e t h e rw i t ht h ec o m p u t e ra n d m e c h a t r o n i c st e c h n i q u e s ，w eh a v ed e v e l o p e da na u t o m a t i co n l i n ed e t e c t i o ns y s t e ms o t h a tt h ea u t o m a t i cd e t e c t i o no f m o b i l ep a n e l si sr e a l i z e d b a s e do i lt h ep r i n c i p l eo fm a c h i n ev i s i o n , o u ts y s t e mp r o v i d e sa no v e r a l ld e s i g n p l a na c c o r d i n g t ot h e t e c h n i c a l r e q u i r e m e n t o ft h e m o b i l e p a n e l o n l i n e d e f e c t d e t e c t i o ns y s t e m s t h eh a r d w a r es t r u c t u r ea n dt h es o f t w a r ef l o wa r ei n t r o d u c e d , w h e r et h ed e s i g no ft h ev i s u a li n s p e c t i o nh a r d w a r ei sd e s c r i b e di nd e t a i l ，i n c l u d i n gt h e c h o i c eo ft h el i g h ts o u r c e ，c c d ，l e n s ，i m a g e c o l l e c t i o nc a r da n dt h ed e s i g no ft h e s o f t w a r ep a r t f r o mt h ep o i n to fv i e wo fd i g i t a li m a g ep r o c e s s i n ga n dp a r e r nr e c o g n i t i o n ，w e s t u d i e dt h ef e a t u r e so ft h e d e f e c t so nd i f f e r e n tm o b i l ep a n e l s a n dp r o p o s e da d e f e c t d e t e c t i o nm e t h o db a s e do ni m a g er e c o g n i t i o n t h ei m a g ec o l l e c t i o na n dt h e f o r m a tc o n v e r s i o na r er e a l i z e d i no r d e rt oi m p r o v et h es i g n a l - t o - n o i s er a t i oo ft h e m o b i l e p a n e ld i g t i a li m a g e ，p r e - p r o c e s s i n ga l g o r i t h m s s u c ha si m a g ee n h a n c e m e n t a n dm e d i a nf i l t r a t i o na r ee m p l o y e df o rt h eo p t i m i z a t i o no fi m a g eq u a l i t y 1 1 1 e p h e n o m e n o no fm o t i o nb l u ri n t h el i n ed e t e c t i o no fi m a g e si sa l s os t u d i e d w i t h r e s p e c tt ot h ed e t e c t i o na n di n s p e c t i o no f t h ed e f e c t so nm o b i l ep a n e l s ，w ep r o p o s e da t e m p l a t em a t c h i n ga l g o r i t h mt o r e a l i z et h ec o m p a r i s o nb e t w e e nt h em o b i l e 。p h o n e k e y b o a r di m a g ea n dt h et e m p l a t ei m a g e t oc h e c kt h es h i f ti nt h ea s s e m b l yo ft h e k e y s ，w ep r o p o s e dad e s i g n r u l ec h e c k i n gm e t h o db a s e do nt h ei m a g ep r o c e s s i n g u s i n ge d g ee x t r a c t i o na n dc o n t o u rt r a c k i n g ，f r o mw h i c hw ec a nd e t e r m i n ew h e t h e r d e f e c t se x i s t f r o mt h ee x p e r i m e n t so nt h em o b i l e p a n e li m a g e sc o n t a i n i n gd i f f e r e n td e f e c t s ，i t i sp r o v e dt h a tt h em o b i l e - - p a n e ld e f e c t - - d e t e c t i o ns y s t e mp r o p o s e di n t h i st h e s i sc a n e f f e c t i v e l yd e t e c ta n dr e c o g n i z et h em a i nd e f e c t so nm o b i l ep a n e l ss u c ha sb a dc i l i a s ， n i c k sa n da s s e m b l yo f f s e t ；t h e r e f o r e ，t h i ss y s t e mi so fm u c ha p p l i c a t i o nv a l u e k e yw o r d s ：d e f e c td e t e c t i o n , i m a g ep r o c e s s i n g ，t e m p l a t er e c o g n i t i o n m a c h i n ev i s i o n , f e a t u r ee x t r a c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞盘堂或其他教育机构的学位或证 书面使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：鎏奄签字日期：冲年石月争日 学位论文版权使用授权书 本学位论文作者完全了解鑫鲞盘堂有关保留、使用学位论文的规定。 特授权鑫鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 鎏每 导师签名： 签字日期：研年石月o - 日 签字日期： 五凌勃 吁年( 月午日 天津大学硕士学位论文 第一章绪论 1 1 课题背景 第一章绪论 就一款上市的手机来说，能否立刻吸引足够的消费人群的目光并且被大家接 受，从很大程度上来讲，手机键盘的设计与质量是有决定性的。之所以这么说， 是因为就外形来看，手机的组成无非就是显示屏和键盘两个主要部分。相较于从 传统的液晶屏质量上寻求突破，显然，追求键盘的高品质更能够吸引广大消费者 的眼球，使某款手机成为市场上的先锋。在这里我希望可以站在手机键盘制造者 的角度上做一定的思考，考虑到在大批量的手机键盘生产中总是会出现各种各样 的缺陷，成为不合格，以至于影响了整个手机的销售。 我国的手机键盘生产在近2 0 年时间内已实现了跨越式发展，从一个分散的 辅助行业发展成为一个独立的工业部门。但是，目前世界各国工业生产的发展状 况是，一个国家或地区的工业生产发展水平与其经济发展水平是一致的。虽然近 年来国外大型工业生产企业纷纷进入我国市场，加快了我国手机生产与国际工业 生产接轨的步伐，但我国手机键盘的生产企业还存在着规模较小，产业集中度低， 尤其是高技术含量的生产设备和质量检测设备严重依赖进口，在为数众多的中小 企业中质量检测手段落后，产品质量难以得到保证，极大的制约着我国手机零件 制造行业的国际竞争力。目前对高速生产线上手机键盘的质量检测主要可分为两 类，一类是对手机键盘图像的缺陷检测，常见制造后缺陷主要有颜色失真、黑点、 文字模糊、冲痕、漏印、刮伤等。一类是对手机键盘按键位置和缺损的检测和识 别，主要缺陷包括按键错位、按键偏斜、按键缺失等。目前国内绝大多数手机键 盘生产企业所用的质量检测手段中，大多利用人眼离线检验；对于手机键盘质量 问题，通过单摄像机间隔采样，供操作人员观察【l 】。以上方法存在的问题包括： ( 1 ) 离线检验出手机键盘质量问题时，成堆的产品已成为废品； ( 2 ) 间隔采样对操作人员而言，由于频闪灯的使用易出现视力疲劳，从而导 致误判断： ( 3 ) 手机键盘由一个摄像头来回移动进行间隔采样，无法满足实时检测的要 求。而且与静止图像采集相比，高速图像采集存在软件和硬件延迟、观测对象位 置不确定、照明不充分、噪声干扰和运动模糊等问题，严重影响了机器视觉系统 天津大学硕士学位论文 第一章绪论 的检测能力，因此研制快速、可靠和准确的鲁棒机器视觉检测技术，是高速手机 键盘生产线上提高产品质量，降低检验成本，提高生产率的迫切要求。因此，对 于此类微小尺寸的精确快速测量、图案模式的快速匹配等视觉检测问题，用人眼 根本无法连续稳定的进行，其它物理量传感器也难有用武之地，计算机的快速性、 可靠性、结果的可重复性，与人类视觉的高度智能化和抽象能力的结合而形成的 机器视觉自动检测技术，就成为手键盘图像在线检测技术的必然发展趋势。 基于机器视觉的手机键盘质量在线检测系统的特点包括以下几个方面： ( 1 ) 实时性：在线实时检测，检测速度快，不影响生产系统的正常工作运行。 ( 2 ) 非接触性：以摄像机为传感器件的非接触测量，不会损害手机键盘表面 质量。 ( 3 ) 连续性：可长时间连续检测，不会因为疲劳造成误检。 ( 4 ) 智能化：可部分或全部脱离人工参与检测过程，一定程度上实现了人工 智能化。 ( 5 ) 自动化：可以通过输入接口接收控制信号，通过输出接口控制生产线动 作，提高了手机键盘生产线的自动化水平。 ( 6 ) 网络化：不仅检测系统内部各个处理器之间采用网络连接，而且检测系 统可通过网络通讯与车间管理系统相连接，构成网络化与智能化的检测与监控系 统。 基于上述特点，进行相关理论研究与系统开发就成为近年来各国机器视觉技 术的研究人员与手机键盘设备制造商的紧迫工作【2 】。目前在基于机器视觉的手机 键盘质量检测系统的研制与开发方面，国外企业走在前面，当前市场上应用的高 端质量缺陷检测系统基本上都是日本、美国、以色列、加拿大等国企业的产品。 因此，为了提高国内中小型手机外壳制造厂商的生产自动化水平和生产的产品质 量，对手机键盘图像在线检测方法与技术进行研究并开发出经济实用的手机键盘 缺陷在线检测系统，是对国内广大科研工作者的迫切要求。 1 2 国内外现状及课题意义 1 2 1 机器视觉国内外研究现状 视觉是人类获取信息的主要通道，也是人类最复杂的感知过程之一。机器视 觉系统是指用计算机来实现人的视觉功能，也就是用计算机来实现对客观的三维 世界的识别。按现在的理解，人类视觉系统的感受部分是视网膜，它是一个三维 采样系统。三维物体的可见部分投影到视网膜上，人们按照投影到视网膜上的二 天津大学硕士学位论文第一章绪论 维的像来对该物体进行三维理解。所谓三维理解是指对被观察对象的形状、尺寸、 离开观察点的距离、质地和运动特征( 方向和速度) 等的理解。 广义的机器视觉的概念与计算机视觉没有多大区别，泛指使用计算机和数字 图像处理技术达到对客观事物图像的识别、理解和控制 3 】。而工业应用中的机器 视觉概念与普通计算机视觉、模式识别、数字图像处理有着明显的区别，其特点 是： ( 1 ) 机器视觉是一项综合技术，融合了多种学科与先进技术。其中包括数 字图像处理技术、机械工程技术、控制技术、电光源照明技术、光学成像技术、 传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。这些 技术在机器视觉中是并列关系，相互协调应用才能构成一个成功的工业机器视觉 应用系统。 ， ( 2 ) 机器视觉更强调实用性，要求能够适应工业生产中的恶劣环境，要有 合理的性价比，要有通用的工业标准接口，能够由普通工人来操作，有较高的容 错能力和安全性，不会破坏工业产品，必须有较强的通用性和可移植性。 ( 3 ) 对机器视觉工程师来说，不仅要具有研究数学理论和编制计算机软件 的能力，更需要的是光、机、电一体化的综合能力。 ( 4 ) 机器视觉更强调实时性，要求高速度和高精度，因而计算机视觉和数 字图像处理中的许多技术目前还难以应用于机器视觉，它们的发展速度远远超过 其在工业生产中的实际应用速度。 机器视觉自起步发展到如今，己有将近三十年的发展历史。可以说机器视觉 作为一种应用系统，其功能和特点是随着工业自动化的发展而逐渐完善发展的。 目前全球整个视觉市场总量大概在6 0 - 7 0 亿美元，是按照每年8 8 的增长速度 增长的。而在中国，机器视觉的发展还处于初级阶段，但是随着加工制造业的发 展，中国对于机器视觉的需求必将呈上升趋势。 在国外，机器视觉在缺陷检测方面的应用普及主要体现在半导体及电子行 业，其中大概4 0 - 5 0 都集中在半导体行业。具体如p c b 印刷电路：各类生产印 刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料； 辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设 备及丝网周边材料等。s m t 表面贴装：s m t 工艺与设备、焊接设备、测试仪器、 返修设备及各种辅助工具及配件、s m t 材料、贴片剂、胶粘剂、焊剂、焊料及防 氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生产 加工设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、 电子工模具【4 】。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用， 并且其产品在应用中占据着举足轻重的地位。 犬律大学硕l ，学位论文第章绪论 目前在机器视觉赣以普及发展的诸多因素巾，有技术层面的，也有商q k 层面 的，但制造业的需求是决定性的。制造业的发展带来了时机器视觉需求的提升， 也决定了机器视觉将由过去单纯的采集、分析、传递数据，判断动作逐渐朝着 开放性的方向发展，这一趋势也预示着机器视觉将与自动化更进一步的融台。而 在r i t 国，以上行业本身就属于新兴的领域，再加之机器视觉产品技术的霄及不够， 导致以上各行业的应用几乎空白，即便是有也只是低端方面的应用。目前在我 目随着配套摹础建设的完善，技术、资金的积累，各行各业对采用图像和机器视 觉技术的工业自动化、智能化需求开始“泛出现，国内有关大专院校、研究所和 企业近两年在图像和机器视觉技术领域进行丁积极思索和大胆的尝试，逐步开始 了工业现场的应用口】 ”。其主要应用于制药、印刷、矿泉水瓶盖检测等领域，真 正高端的应用还很少，凶此，机器视觉在相关行业的应用宇问还比较大。 1 2 2 国内外手机外壳缺陷检测仪现状 国外对产品表面缺陷的自动光学检测系统的研究始于2 0 世纪7 0 年代末。目 前英国、美国、德国、日本、法国等国都有表面缺陷测量仪系统的产品，都采用 了基于图像处理的计算机视觉检测技术，通过面阵c c d 摄像机采集产品表面图像 送入计算机进行处理，不但能迅速进行缺瞻检测，还能形成相应的缺陷信息库对 常见缺陷进行识别，县有再学习能力。 其中德国的i s r av i s i o n 公司和日本的k e y e n c e 公司都有引对于机键盘表面 缺陷检测的机器视觉检测系统。如图l 一1 所示为德国i s r av i s i o n 公司的一种产 品。其特点为精确可靠，界面操作快捷方便，进行缺陷分类，可建立缺陷数据库 和已发生缺陷缺陷的影像数据库，与现有工艺周期相融合等。可以实现高精度测 量检测，消除了操作者的人为误差。 蟊卜1i s r av i s i o n 公司缺陷检测设备 总体来说，机器视觉技术在缺陷检测方面的应用国外研究的时问较早，技术 比国内的企业技术成熟其研制产品能够检测出大部分的表面缺陷，但是它们的 天津太学硕士学位论文第一章绪论 机器视觉检测设备价格昂贵。中田是全世界工业生产行业最集中，发展最快的地 区，但高品质的机器视觉榆测设备一直都由国外进口，在机器视觉的独立创新领 域，鲜有国内品牌出现。在国内对自动检测系统的研究处于刚刚起步阶段，从事 这方面研究的科研院校还不多，目前国内目前只有几个厂家生产手机外壳质量检 删设备且技术多依赖进口，武汉三维光之洋电器有限公司是其中家。 如图卜2 所示为手机键盘缺陷检测系统。该视觉榆测系统适应于检测手机的 键盘按键，根据不同型号的于机键盘调用相应的检测程序即可完成埘相应于机键 盘按键的检测( 目前只适应于检m o t o r o l a 其中一种型号，其它规格必须进行重 新编程) 。该检测系统采用成熟的印刷品在线检测系统技术作为视觉检测核心， 将检测到的图像与标准的样板进行比较判断，对比较的数据及结果与p c 通信实 时显示在屏幕上，同时对合格品和不舍格品各输出一个信号给p l c ，由p l c 控制 气缸对产品进行分类。在检测过程中，检测到单个废品( 每检测到废品时绿色报 警灯闪一下同时蜂鸣器鸣一声) 和连续废品( 在自动检测过程中当连续检测到 1 0 个废品时红色报警灯闪烁直到检测到良品或操作者按下停止按钮) 时报警。 但由于目前该系统采用的c o g n e xv is o ns y s t e m ，其运算速度相对较长，从触发 检测到运算输出结果大约需要5 5 0 m s 的时间所以速度慢且精度低，过快的输送 速度会造成对上片产品的检测结果还未输出而后一片产品再次触发，从而造成误 判断。 目前，国内生产的手机键盘质量检测系统还无法让用户满意，国内的机器视 觉测量仪市场正逐步的被国外的产品所占领，所咀开发出基于图像处理技术的、 高精度的、能够和国外产品相媲美的产品是当务之急。国内计算机视觉检测技术 的发展为基于图像处理技术的缺陷检测仪的研究奠定了基础h 。大量的文献表 明，以c c d 作为传感器的视觉检测技术可以方便的进行表面缺陷的在线榆测。 图卜2 武汉三维光之洋公司的手机键盘缺陷检捌设备 天津大学硕士学位论文第一章绪论 1 2 3 课题研究的意义 在传统的生产企业中，对手机外壳产品质量的检测主要包括人工生产后的复 查、人工在线肉眼监视、通过监视器对生产线进行监控并对产品随机抽样定格检 查等几种。生产后的人工复查的方法肯定会造成巨大的原材料浪费，而且不能及 时挽回损失。人工在线肉眼监视虽然方便，但也只适合在很低的生产速度下，并 且容易造成视觉疲劳，影响对质量的稳定检测。通过监视器进行监控并抽样定格 检查虽然满足了在线检测需要，但因为是抽样检测，并不能对产品质量进行全面 保证。随着制造技术的不断发展，生产速度和图像复杂程度都越来越高，人工控 制产品质量的生产方式已无法适应目前手机键盘生产的实际需要。因此，要全面 保证生产产品的质量和提高生产效率，对手机键盘图像与字符进行在线的质量检 测与识别就显得十分重要。 在过去的一二十年中，受限于高速摄像技术和高性能计算机的应用范围，对 高速生产线进行全面的在线质量检测的目标一直难于实现。但在最近几年，高速 c c d 工业摄像技术和高性能微机得到广泛应用，以此为基础的机器视觉技术迅速 发展，为实现高速产品生产线全面在线质量检测的目标提供了良好的硬件基础， 国内外科研机构也纷纷进行相关的理论研究与系统开发工作，并取得了相当成 果。 但是，一个成功的基于机器视觉的检测系统，不仅需要好的硬件基础，还需 要相应的高实时性的图像处理算法和软件处理技术来实现其功能【5 】。因为对现代 生产工业中的高速运动的生产线上产品的图像，摄像技术只能够保证准确清晰地 采集产品图像并把图像数据传入计算机，但随后的图像处理过程则是决定检测系 统性能的关键。图像处理的数据量大，处理过程复杂，一个好的图像处理算法能 够使系统获得比提高计算机硬件配置更高的实时性能。传统图像处理算法研究多 偏重于算法的稳定性与识别精度，对实时性指标重视不足。因此，研究更为高效 的图像处理算法能够更为有效地改变检测系统的实时性能。为满足我国生产业的 快速发展对产品质量进行在线自动检测的技术需求，我们提出进行基于产品图像 在线自动检测的实时图像处理算法的研究，为产品图像在线自动检测系统的研制 与开发提供理论与技术基础。同时，好的实时图像处理算法在纺织、印染等行业 也有良好的应用前景，对相关行业的自动化水平提高有巨大的促进作用。 1 3 本论文主要内容及创新 本课题旨在学习国外先进软件构架技术和开发方法的基础上，研究设计具有 天津大学硕士学位论文第一章绪论 自主知识产权的机器视觉核心软件。若此研究成功，可以打破国外在机器视觉核 心软件上的垄断，利用自主开发的机器视觉软件构建适合国内工业应用场合的机 器视觉系统，可以省去购买国外软件的巨额费用，降低机器视觉系统的成本，有 利于机器视觉产品在国内的开发和推广。同时，利用自主开发的软件系统构建机 器视觉系统，更适应国内工业场合的复杂性和多变性，由于掌握了源代码，可以 为不同的工业现场提供更有保障的软件支持。 针对手机键盘质量的检测，对比以往的多种检测方法，自动光学检测法具有 很多优势，特别是在降低成本、提高效率、提高可靠性方面更是如此。课题以数 字图像处理和机器视觉为理论基础，运用自动光学检测技术建立手机键盘缺陷检 测系统，实现从手机外壳表面提取出缺陷特征，对缺陷进行自动检测的过程。论 文的主要工作如下： i 手机面板缺陷检测方法的选择 在对当前产品生产线上的检测技术的原理、运用范围、检测效果进行分析和 对比的基础上，针对手机外壳生产产品的特点和要求，选择手机面板表面质量在 线检测方法。 2 对手机面板缺表面质量在线检测系统的总体结构方案进行设计 深入研究手机键盘图像的光学特点和常见的缺陷特征，以数字图像处理和机 器视觉为理论基础，运用自动光学检测技术，对拟构建的检测系统的总体结构方 案进行设计，系统分为硬件部分和软件部分，硬件部分实现图像的采集功能，软 件部分实现待测图像的处理与缺陷的自动检测功能。 3 检测系统硬件部分的设计 针对手机键盘外壳的特点和系统采集要求，确定硬件部分手机面板图像采集 方案并选定采集设备，根据采集设备的性能要求，研究其辅助的照明设备、机械 工作台的选取和设计方式，选择合适的光源及照明系统，搭建机械工作台，构建 整个硬件系统。 4 检测系统软件部分的设计 分析手机外壳键盘的缺陷特征，研究适合于手机键盘缺陷的图像处理算法和 检测算法，提出一种手机键盘缺陷检测新方法，在v i s u a l c + + 6 0 的软件环境 下，实现检测系统软件平台的建构。软件部分由图像采集、图像处理、缺陷检测 和信息管理四部分组成，实现手机键盘缺陷的自动在线检测。 5 实验及结果分析 运用拟完成的系统对实际的手机面板进行检测，验证系统是否达能够准确测 出手机键盘缺陷，并对实验结果和产生的误差进行分析。 本论文的创新点如下： 天津大学硕士学位论文 第一章绪论 1 针对实际生产中手机键盘缺陷检测的瓶颈问题，提出一种基于模式识别 的新型缺陷检测系统。使该检测操作灵活、效率高、非接触无损伤、漏检及误检 率低； 2 设计、构建了具有参考价值的应用系统，包括：系统光源的选择、对二 维样品台的参数要求、视觉系统的组建、v c 软件的流程设计及图像处理算法的 优化设计： 3 经实验验证，该方法和设备在经济原则的基础上，基本满足国内市场的 需求，打破了国外该类型测试设备的垄断局面。 天津大学硕士学位论文第二章手机面板表面质量在线检测系统的设计 第二章手机面板表面质量在线检测系统的设计 2 1 检测原理与常见的缺陷类型 2 1 1 检测原理 本文所描述的基于手机键盘视觉检测系统，将运用图像处理及图像识别的方 法对手机键盘缺陷进行检测。设计的手机键盘视觉检测系统基于p c 架构，主要 由照明系统、图像采集系统、以及图像处理系统组成。系统主要结构如图2 - 1 所 示。系统原理如下：在背景光源的照射下，图像采集系统和运动控制系统获取图 像，把采集到的手机键盘图像信号传送给p c 机，图像经过处理识别程序去噪、 图像分割、特征提取等处理后根据判别准则判断合格与否，完成缺陷检测任务， 检测结果在监视器上显示，并送给报警单元及执行单元执行相应动作。 图2 - 1 系统主要结构 2 1 2 手机键盘常见的缺陷类型 手机键盘表面缺陷往往具有多样性、复杂性的特点。不同生产线产生的表面 缺陷往往会有不同的特点，同一生产线在不同工艺参数，或工艺参数相同而生产 条件不同情况下产生的表面缺陷也有区别。由于手机键盘表面缺陷的种类太多， 为研究方便，本文特选取手机面板表面常见的缺陷进行分析，并针对这些主要缺 陷类型来设计检测系统。本文根据手机键盘生产厂家提供的缺陷产生情况，筛选 出五种手机键盘表面缺陷类型：纤毛不良、划痕、组装位偏、电镀键压伤、冲伤。 天律大学硕士学位论文第二章手机面板表面质量在线检测系统的设计 以下介绍这元种缺陷类型。 1 ) 纤毛不岛 描述：金属按键表面褶镀形成纤毛状突起 罔2 - 2 纤毛不良 2 1 划痕 描述：无规律、多条凹陷的条痕及沟痕。 目2 - 3 划报 3 ) 组装偏移 描述：按键安装错位，与原始忙咒篾牛偏斜 图2 4 组装偏移 天j | l 大学硕士学位论文第二章手机面板表面质量在线检测系统的设计 4 1 电镀键压伤 插述：电镀的颦料按键被压损形状不定，大小备异 5 ) 冲伤 描述：点状或块状凹陷，大小不等。 图25 电镀件压伤 2 2 视觉系统 斟2 - f i 冲伤 视觉系统是手机键盘缺陷检测系统的主要组成部分，土要由照明光源、成像 镜头组、面阵c c d 成像器件和图像采集系统等部分组成。如图27 所示。 2 2 1 光源设计 图27 视觉系统框图 常见光源比较 ( 1 ) 白炽灯 白炽灯是最普通的人造光源，根据热辐射原理制成的，把钨丝通电加热到白 热状态而发光。为了减少钨丝的蒸发，将灯丝密封在玻壳中，壳中充以氮、氢等 气体。白炽灯发出的全部辐射中，乖可见辐射占6 0 8 0 ，可见光辐射只占 毫蚕 一 天津大学硕士学位论文第二章手机面板表面质量在线检测系统的设计 6 一1 2 ，是低效率的发光器件。白炽灯的光谱功率分布是连续光谱。为了适应不 同的用途，己经制造出许多种类的白炽灯，例如普通照明灯、仪表指示灯、光学 仪器专用灯、汽车拖拉机专用灯等。这些灯的发光特性等有关技术指标可以在有 关的手册中查到。研究表明当白炽灯的实用电压低于额定电压1 0 时，寿命可增 加4 倍，所以降低白炽灯的实际使用电压是一种延长其寿命的有效方法。 ( 2 ) 荧光物质 某些荧光物质受到电子照射时会发光。如果电子束在涂覆了荧光物质的玻璃 板表面聚焦成一个小点，这一点就会发光。在制造荧光物质时可以控制其产生的 光的波谱( 颜色) 和余辉时间( 衰变速度) 。很宽范围的发射波谱和持续时间，例如 从1 毫秒到几秒钟，都是可以得到的。 ( 3 ) 高压和超高压氙灯 高压和超高压氙灯是气体放电灯。其特点是：发光光谱非常接近日光；放电 通路很窄，可形成线形光源或点光源；发光效率高。 ( 4 ) 激光器 可以产生高度集中的光线。通过将工作物质( 氢、氦、氖等) 的原子提升到高 能级状态然后激励它们使之同时跃迁回常态，产生高强度相干光束。激光很容易 被聚焦和偏转，与其它光源相比还有单色性好、方向性强、光亮度极高等优点， 应用很广【6 1 。 ( 5 ) 发光二极管( l e d ) 固态发光二极管也可构成小型、方便的光源。发光二极管的典型原料是镓砷 化合物，它们可以从较小的空间中发出强度可控的光。 二常见的光照方法 常见的照明方式有结构光、逆光、环形光、暗场照明和散射等。表中给出了 不同表面特性的物体的照明方式的选择。 表2 - 1 照明方式的选取 表面特性照明方式 有不透明缺陷的透明表面背光 漫反射的平坦表面 点光源等常规照明 有凹凸刻痕的表面暗场照明 反光平面近轴散射照明 反光的崎岖表面点光源阵列散射照明 三本课题的光源和照明方案选择 本课题中的光源主要是为视觉传感器提供光路支持，它将光线照射到视觉对 尤律大学硕l 学位论文第二章手机面板表面质量在线检测系统的设i l 象上，然后反射光线被视觉传感器接收该反射光线携带了对象的大部分表面特 征，从而可以采集到对象的表面特征信息。照明直接影响了机器视觉系统的输入 的效果，因为它直接影响输入数据的质量和至少3 0 的应用效果_ j 。在目前的机 器视觉应j j 系统中，好的光源与照明方案往往是整个系统成败的关键，起若非常 重要的作用，并不是简单的照亮物体而已。光源与照明方案的配合应尽可能地突 出物体特征量，在物体需要检测的部分与那些不重耍部分之间应尽可能地产生明 显的区别，增加对比度。同时还应保证足够的整体亮度，物体位置的变化不应该 影响成像的质量口j 。 因此，实验中我们采用l e d 环形光源，如图2 - 8 所示。l e d 阵列成圆锥状 以斜角照射在被测物体表面，通过漫反射方式照亮一小片区域，该光源可 以突出显示被测物体边缘和高度的变化，突出原本难以看清的部分，是边 缘检测、金属表面的刻字和损伤检测的理想选择。 2 2 2 摄像器件的选择 陶2 - 8l e d 环形光源 通用的摄像器件有c c d ( c h a r g ec o u p l e dd e v i c e ) 和c m o s ( c o m p l e m e n t a r y m e t a lo x i d es e m i c o n d u c t o r ) 两种，c m o s 价格低廉，但信噪比较低，目前性能 还不够理想。而c c d 是一种半导体成像器件，具有灵敏度高、抗强光、畸变小、 体积小、寿命长、抗震动等优点h 。c c d 芯片被制造在一片光敏结晶硅片上。 个矩形的光电探测器( 势阱) 阵列被制造在硅基片中。在局部区域中产生的光电 子被受容在最近的势阱中，并作为一个电荷包沿一串势阱移动直到到达外部引出 端。光敏单元势阱收集光信号电荷，经过一定的积分时间，形成与空甸分布光强 相对应的电荷信号。积分周期结束后转移栅打丌，各光敏单元的信号并行地每 次一行地转移到c c o 移位寄存器相应的单元内。这一过程是在移位脉冲控制下所 有的行同时向前移动的，所有第一行势阱巾的电荷被同时转移到行寄存器中，这 就是面阵c c d 势阱电荷的一次移出过程。面阵c c d 的这种电荷移出过程实际上是 犬津大学硕l 学位论文第二章手机面板表面质量在线检测系统的设计 将_ ：二维阵列数据转换为一有序的串行数据流。第一个被读出的是图像左上角的象 索点然后从左到右，从上到下依次读出象索点的值。c c d 按其读出结构的不同 又分为：绎! l 结构( 叉叫全帧结构) 、行间结构和帧传送结构】。 c c d 根据光的强弱积聚相应的电荷，经周期性放电，产生表示幅幅画面的 电信号，经过滤波、放大处理通过摄像头的输出端子输出一个标准的复台视频 信号。c c d 摄象机的主要技术指标：c c d 象索：水平分辨率；最小照度也称为灵 敏度：扫描制式肄。 c c d 摄像器件是目前机械视觉领域通用的摄 像器件，性价比较好，因此本课题选用c c d 作为 摄像器件。综合考虑仪器成本和精度，由于资金 有限，所以选用了b a s l e 公司的a 6 0 1 f c 彩色面 阵c c d 摄像机如图2 - 9 所示。它的主要特征如 下：彩色，6 5 9 x 4 9 3 ，像元尺寸为1 0 “m 州0 m ， 8 位，6 0 f p s ，i e e e1 3 9 4 输出，c m o s 芯片_ l “。 2 2 3 成像系统光学设计 图29b a s l e ra 6 0 0 系列摄像机 成像系统设计的原则是在满足仪器要求的前提下，使手机键盘能够清晰的成 像在c c d 上。在成像系统光路中放置滤光片，可以减少仪器受其它光源的干扰i 【”。 本课题选用了一种6 5 0 4 0 h m 的滤光片，从而增强了仪器的抗干扰光能力。为了 给被手机外壳能够预留出一定的窄问，仪器要求摄像机镜头距离手机外壳表面至 少为l o o m 以上。仪器需要采集尽可能大的手机键盘图像，而仪器的重复性精度 需要足够的放大苹g 口尽可能小的键盘图像，所以需要选取台适的光学系统的放太 倍数。经过适当的调整，采用显微成像系统【l “。光学系统放大倍数约为4 ：1 。 则当前成像系统的参数如下： f = 5 0( 21 l1l f，r 其中f 是物距，是像距，r 是透镜焦距由卜式计算可得： f 。= 5 0 ，| j = 2 5 0 ，j - 6 25 t 2 _ 2 ) 大津大学顽| 学件论文 g - 章手机面板表面质量在线检测系统的设计 2 3 计算机及其接口电路 光学系统将手机键盘成像在c c d 摄像机的像面上，c c d 摄像机所采集到的 图像通过图像采集仁输入计算机进行实时图像处理，同时在显示器上显示进行检 测监视。如图2 - 】0 所示。 图2 1 0 数据采集系统 图像采集卡是控制摄像机拍照，完拉蚓像采集与数宁化，协调整个系统的重 要设备。它一般具有咀f 功能模块。 ( 1 ) 图像信号的接收与a d 转换模块负责图像信号的放大与数字化。有 用于彩色或黑白图像的采集卡。不同的采集卡有不同的采集精度，一般有8 b i t 和1 0 b i t 两种。 ( 2 ) 摄像机控制输入输出接口，主要负责协调摄像机进行同步或实现异步 重置拍照、定时拍照等。 ( 3 ) 总线接口，负责通过p c 机内部总线高速输出数字数据。 本系统选用北京嘉恒中自图像拄术有限公剐o kc 3 0 a 图像采集卡，该采集卡 适用于图像处理、工业监控和多媒体处理等研究开发和工程应用领域。如图2 - 1 1 所示。采集乍的特性如下： 视频输入为标准p a l 、n t s c 或s e c 心制信号。 可采集彩色和黑白图像。 图像采集采用高效总线分享技术，传输速度最高可达1 3 2 l b s 。 商精度l o 位视频 d ，取8 位数据，有梳状滤波器，抗混叠滤波器。 亮度、对比度、色度、饱和度软件。r 调。 图像采集显示分辨率晟大7 6 8 5 7 6 。 具有硬件点屏蔽位功能。 可采集单场单帧连续帧精确到场 硬件完成输八图像比例缩放。 具有硬件镜像反转功能。 外触发信号输入( t t l 低电平) 。 图21 1o kc 3 0 a 粟集卡 天津大学硕士学位论文第二章手机面板表面质量在线检测系统的设计 2 4 系统软件 此系统运用于生产线上，是一个实时检测系统，这就要求系统要有较强的实 时性和快速性。针对数字图像的信息量非常大的特点，要想提高系统的处理速度， 除采用高性能的硬件外，必须考虑是软件的运算方式和运算速度。而且所有图像 处理和缺陷检测算法都由软件实现，算法的不同直接影响系统的准确性、灵敏度 及实时性，因此在软件编制中总体方案和算法的设计是非常重要的。 1 操作系统的选择 选用w i n d o w s x p 操作系统。w i n d o w s x p 是一个理想的局域网络操作系统，其 抢先式多任务调度管理策略使得中央处理机被充分利用来从事多任务操作，有效 地提高了操作系统的管理效率和执行效率。w i n d o w s x p 操作系统以其良好的安全 性和可靠性受到越来越广泛的使用。 2 软件开发语言的选择 采用v i s u a l c + + 开发语言。v i s u a l c + + 是m i c r o s o f t