（测试计量技术及仪器专业论文）液晶显示屏缺陷自动检测系统的研究.pdf

硕士论文 液晶显示屏缺陷自动检测系统的研究 摘要 目前，液晶显示器已经成为主流显示设备，在车载显示系统中液晶屏也已逐渐 取代了l e d 、v f d 等显示设备。在液晶屏的生产过程中，由于工艺及环境的原因可 能导致液晶屏的显示缺陷，目前对缺陷的检测主要依靠人工，为了提高检测效率及 准确性，研制基于机器视觉的液晶屏缺陷自动检测系统十分必要。 本文针对研制液晶屏缺陷自动检测系统开展相关研究工作。论文介绍了液晶屏 典型显示缺陷( 点缺陷和线缺陷) 的成因及特征，针对不同缺陷提出了相应的检测和 处理方案，构建了基于虚拟仪器技术与机器视觉技术的检测系统硬件。在此基础上， 对基于图像处理技术的缺陷识别和自动检测技术进行了深入的理论及实验研究。 首先，由于全屏拍摄视场过大，c c d 的分辨率无法满足缺陷分辨的要求，论文 采用屏幕分块检测的方法，有效解决了c c d 分辨率不足的问题。其次，合理运用 图像分割、边缘特征提取、数学形态法等图像处理与分析技术，较好地兼顾了检测 速度与检测精度。最后，通过科学论证，合理选型，构建了实验平台，进行了大量 的试验性检测，取得了较为满意的实验结果，初步实现了液晶屏缺陷的自动检测。 结果证明，本文的研究结果能够实现液晶屏典型显示缺陷的自动检测，为下一 步的实际应用打下了基础。根据论文研究工作的体会和经验，在论文的最后指出了 该系统存在的不足，以及提升性能的具体方向和思路。 关键词：机器视觉，缺陷检测，图像处理，模式识别 硕士论文 a b s t r a c t a tt h ep r e s e n tt i m e , l c dh a sb e e nt h em a j o rp a r to fd i s p l a yd e v i c ea n dg r a d u a l l y t a k e nt h ep l a c eo fl e da n dv f di no n b o a r d d i s p l a ys y s t e m d e f e c tm a yo c c u rb e c a u s e o ft h ep r o c e s so rt h ec i r c u m s t a n c ei np r o d u c t i o n ，f l o w , a n dn o w , i n s p e c t i o n sa r em a d e m a i n l yb yh u m a ni n s p e c t o r f o ri m p r o v i n gt h ee f f i c i e n c ya n dp r e c i s i o n , i t sv e r y n e c e s s a r y t od e v e l o pa u t o m a t i ci n s p e c t i o ns y s t e mf o rl c db a s e d0 1 1m a c h i n ev i s i o n t h i sa r t i c l ed o e ss o m er e l a t i o n a lr e s e a r c hw o r kf o c u so nd e v e l o p i n ga u t o m a t i c i n s p e c t i o ns y s t e mf o rl c da n di n t r o d u c et h et y p i c a ld e f e c t s ( s i n g l ep i x e la n dl i n ep i x e l d e f e c t s ) w i m 廿l e i rc h a r a c t e r i s t i c sa n do r i g i n s f o re a c hk i n do fd e f e c t , c o r r e s p o n d i n g m e a s u r e m e n ta n dd e a l i n gm e t h o dh a sb e e np r o p o s e d ，a n dt h e n ，t h ee x p e r i m e n t a l h a r d w a r eo ft h es y s t e mh a sb e e nm a d eu p t h o r o u g h l yt h e o r e t i c a la n de x p e r i m e n t a l r e s e a r c hh a sb e e nd o n ea b o u tt h ed e f e c ti d e n t i f y a n da u t o m a t i ci n s p e c t i o nb a s e do n i m a g e - p r o c e s s i n g f i r s t , t h er e s o l u t i o no fc c d c a n n o ti d e n t i f yt h ed e f e c ti no n ei m a g eb yf u l ls c r e e n , s o ，w es e p a r a t et h el c di n t os e v e r a la r e at os o l v et h ep r o b l e mp e r f e c t l y n e x t , b yu s i n g s e v e r a lm e t h o d so fi m a g ed i s p o s a la n da n a l y s i ss u c ha sp i c t u r e s e g m e n t a t i o n , e d g e p i c k - u p ，m a t h e m a t i c sm o r p h o l o g yt od e a lw i t hc o l l e c t e di m a g e s ，w eg e tab e t t e rb a l a n c e b e t w e e ns p e e da n dp r e c i s i o n f i n a l l y , w eb u i l da ne x p e r i m e n t a lp l a t f o r ma f t e rs c i e n t i f i c r e a s o n i n ga n dg e tas a t i s f a c t o r yr e s u l tb yp l e n t yo fe x p e r i m e n t s ，m a k ei t ar e a l i t y p r e l i m i n a r yf o ra u t o m a t i cc h e c k o u ts y s t e m t h er e s u l tp r o v e st h a tw ec a nm a k ei tar e a l i t yt h a ta u t o m a t i ci n s p e c t i n gt h et y p i c a l d e f e c t so fl c da n dp r e p a r eo u r s e l v e sf o rt h en e x ta c t u a la p p l i c a t i o na h e a d a tt h ee n d , w i t ht h ea e t t l a le x p e r i e n c ei nr e s e a r c h i n gw o r k , s o m ei n s u f f i c i e n c ya n dt h i n k i n go f i m p r o v e m e n ta b o u t t h es y s t e ma r ea l s op o i n t e do u t k e yw o r d s ：m a c h i n ev i s i o n , d e f e c ti n s p e c t i o n ，i m a g ep r o c e s s i n g , p a t t e r ni d e n t i f y l l 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均己在论文 中作了明确的说明。 研究生签名： 速蓑弦8 年6 月蟮日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名： 毽茎 加留年石f l2 a i j 硕士论文液晶显示屏缺陷自动检测系统的研究 1 绪论 1 1 论文选题背景及研究意义 1 1 1 选题背景 液晶，是介于液体和晶体之间的一种中间态物质，在1 8 8 8 年由奥地利植物学家 e r e i n i t z e r 首次发现。1 9 6 8 年美国r c a 公司根据动态散射效应( d y n a m i cs c a t t e r i n g ) 首次将液晶用于显示器上，从此，液晶显示器的发展突飞猛进，在今天已经得到了 广泛的普及和应用。 根据d i s p l a y s e a r c h 的报告，2 0 0 3 年，全球显示器的总销量为1 1 8 2 5 万台，其中 液晶显示器占4 3 4 ，比上一年增长2 9 ；2 0 0 4 年，全球显示器的总销量增加到1 2 6 0 0 万台，其中液晶显示器达到7 2 0 0 万台，首次超过c r t 显示器的销量；2 0 0 6 年，液 晶显示器的销量达到1 0 0 0 0 万台，而c r t 显示器则下降到3 0 0 0 万台，这意味着液 晶显示器彻底取代c r t 显示器。据d i s p l a y s e a r c h 统计，2 0 0 4 年以来，全球车载显 示器配备比例正稳步向上攀升，总数逾6 0 0 0 万台汽车中约1 6 配有车载显示器【l 】。 计世资讯( c c w r e s e a r c h ) 研究预计，2 0 0 6 - - 2 0 0 9 年中国车载显示器市场每年的增长 率将超过5 0 ，2 0 0 6 年中国车载显示器的市场销售量达到1 8 8 万台，2 0 0 8 年由于 奥运会提供的商机，车载显示器的市场销售量将接近6 0 万台，同比增长率将超过 8 0 ，2 0 0 9 年中国车载显示器市场销量将超过1 0 0 万台。 车载显示器由于安装环境使得它对液晶显示面板模块技术参数要求十分严格， 面板要能承受从摄氏4 0 0 + 8 5 0 的严苛环境考验。另外，车用面板需要通过严格认 证标准，如q s 9 0 0 0 美国汽车工业标准、j i s 日本汽车工业标准与i s 0 1 4 0 0 0 环保标 准等多项认证，因此生产厂商对于车载液晶屏幕的检测要求非常严格。 本选题是按照某厂商的要求对其生产的车载液晶显示屏进行显示屏缺陷自动检 测的预研项目。 1 1 2 研究目的及意义 本文针对液晶屏缺陷检测的几个难点，制定了如下几个研究目标： ( 1 ) 解决具有复杂背景的屏幕缺陷的图像分割问题； ( 2 ) 解决屏幕缺陷的特征提取问题； ( 3 ) 解决屏幕缺陷的模式识别问题。 通过科学研究达到上述的研究目标，就可以实现液晶屏缺陷检测的实时、准确、 可靠的高效自动化操作，为液晶屏自动化生产设备的科研、生产提供科学、有效的 l 绪论硕士论文 分析方法与手段。从客观上实现降低检测人员的劳动强度，节约劳动成本，提高生 产企业的工艺水平和自动化程度，使其产品更具竞争力等目标。 1 2 国内外的研究现状 随着机器视觉技术和光电技术的飞速发展，已经出现了一种新的检测技术一 机器视觉检测技术。所谓视觉检测就是检测被测目标时，把图像当作检测和传递信 息的手段或载体加以利用的检测方法，其目的是从图像中提取有用的信号。 机器视觉检测是基于机器视觉技术、光学测量原理形成的一种新型检测技术， 它以光学为基础，融合电子学、计算机技术、图像处理技术等现代科学技术为一体， 组成光、，7 电、计算机综合的检测技术【2 】。它被广泛应用于几何量的尺寸测量、航空 遥感测量、高精度定位、精密复杂零件的微尺寸测量和零件外观检测等与图像有关 的技术领域中目前，对产品的检测有许多检测手段，对于一些存在表面缺陷的产 品、高精度指标的产品，对产品感官指标的检测还要借助于人的视觉和个人主观判 断能力，因而占用了大量的人力，同时，由于受到个人的视力、情绪、疲劳、光线 等因素的影响，工作效率低、分选差异大。据报道人工检测最多只能够达到8 0 的 有效性。 基于机器视觉的检测技术有以下几个方面的优点t ( 1 ) 与被检测的对象无接触，因此对检测与被检测双方都不会产生任何损伤， 十分安全可靠，这是其他检测方式无法比拟的； ( 2 ) 视觉方式所能检测的对象十分广泛，可以说是对对象不加选择。理论上， 人眼观察不到的范围，机器视觉也可以观察，例如红外线、微波、超声波等人类就 观察不到，而机器视觉则可以利用这方面的传感器件形成红外线、微波、超声波等 图像。因此可以说是扩展了人类的视觉范围； ( 3 ) 人无法长时间集中注意力观察对象，机器视觉则不知疲劳，始终如一地观 测，所以机器视觉可以广泛地用于长时间和恶劣的工作环境； ( 4 ) 它具有快速、灵活、实时、可靠、一致性高的优点，对于大批量生产有很 好的经济效益【3 】。 由于以上的优点，视觉检测自上世纪八十年代初开始得到了广泛的研究，至今 方兴未艾。而机器视觉在液晶屏显示缺陷自动检测领域的应用也随之发展起来。液 晶显示技术虽然起源于美国，可发展却是在亚洲的日本、韩国和中国台湾地区，所 以相关检测技术的研究和创新也多集中在这几个国家和地区。 日本法视特( f a s t ) 株式会社生产的平板显示器检测系统f v - p i x e l l e n c e 适合于以 l c d 为代表的平面面板的点灯检测，玻璃、胶片、金属等平面的瑕疵、污垢检测等， 2 硕士论文液晶显示屏缺陷自动检测系统的研究 是适合平面对象物体表面检测的图像处理系统【4 】。利用f a s t 独特的图像处理技术， 可检测出低对比度的缺陷及s h i m i 、m u r a 缺陷。日本s o k a 大学的h a g i w a r a y o s h i n o b u 等人对于平板显示器表面缺陷的多摄像机协同快速检测方法也进行了深入的研究。 韩国三星电子集团联合首尔大学人工智能与机器视觉实验室进行l c d 显示缺 陷自动检测的研究，通过开发出一种新的基于水平线的形态学方法l 5 】，在改进传统 的模板匹配模式识别方法、扩大系统适用领域的研究中取得了突破性进展。 我国台湾地区的l c d 检测设备的研究发展较日韩稍晚，但是，在九十年代中后 期面板产业大发展的激发和台湾面板产业本地化政策的支持下，相关研究进步迅速。 台湾成功大学制造工程研究所、淡江大学机电工程系均有相关科研团队，美科乐、 东捷、均豪等一批企业投入巨大的人力和财力，先后开发出一系列针对不同面板生 产线的检测设备，目前已经基本能够满足台湾面板厂商的发展需求。 哈尔滨工业大学超精密光电技术研究所与台湾友达光电有限公司也展开合作， 计划开发一套液晶显示器视觉缺陷自动检测装置，目前已经搭建了实验平台，进行 了前期的研究工作，取得了一定的进展。 镌杭州的浙大三色公司依托浙江大学科研力量，自主开发出的基于机器视觉的 f p d m 1 0 8l c d 显示屏光电测试系统，在国内居于领先地位【6 】。该设备能够根据i e c 、 v e s 和t c o 等标准的要求，测量l c d 等显示器件的发光亮度、色品坐标、相关色 温色域，以及显示器的亮度均匀性、色度均匀性、暗室对比度、亮度对比度、动 态响应时间( 黑、白、灰) 、可视角度等参数。 随着科技的进步以及人类需求的多样化发展，机器视觉在l c d 检测中的应用必 将向着高精度、高速度、高智能化的方向发展，对液晶显示器产业的发展发挥巨大 的影响力。 1 3 本论文的研究内容和方法 液晶屏的缺陷检测主要有三个目的。一是淘汰那些不合格的产品；二是为修复 某些类型的缺陷提供依据；三是分析缺陷的特点和产生原因以提高生产工艺水平。 1 3 1 主要研究内容 本文的主要研究内容包括： ( 1 ) 研究以机器视觉技术为核心的液晶屏缺陷检测方法； ( 2 ) 研究图像实时采集及处理的软硬件实施技术： 。 ( 3 ) 研究屏幕缺陷的图像预处理、图像分割、图像后处理、特征提取和模式识 别技术； ( 4 ) 搭建检测系统实验平台，对屏幕样本进行实验研究，分析实验结果。 3 l 绪论硕士论文 1 3 2 研究方法 本论文设计的针对液晶屏显示缺陷的自动化检测系统，是集机器视觉技术、数 字化图像处理技术和模式识别技术为一体的综合检测系统。该系统首先利用机器视 觉技术采集液晶屏的图像，然后对其进行图像处理，最后根据图像中提取的特征参 数采用模式识别技术完成对被测屏幕的缺陷识别工作。其核心研究工作是机器视觉 在屏幕缺陷检测过程中的应用。 4 硕上论文液晶显刁i 屏缺陷自动检测系统的研究 2 基于机器视觉的液晶屏缺陷检测系统 液晶屏是现代高科技的产物，其生产制造技术日趋完善。但由于产品结构和生 产工艺的复杂性，在其制造过程中还是不可避免地出现一些视觉缺陷。 2 1 液晶屏的视觉缺陷 要了解液晶屏视觉缺陷的原因和种类，首先需要了解液晶屏的物理结构。 2 1 1 液晶屏的面板结构 典型的液晶屏产品结构为三明治结构，在两片玻璃中间夹有液晶材料，其结构 如图2 1 1 所示，上、下两片偏光片之间夹着上、下玻璃基板，彩色滤光片( c o l o rf i l t e r ) ， 透明公共电极，薄膜晶体管( t f t ) 以及胶框和挚片( s p a c e r ) ，并在抽真空后从预留的 灌注口灌入液晶材料，最后封装成一个液晶盒【7 1 。 上偏光板 玻璃基板 彩色滤光片 公共电极 液晶 信号电极 扫描电极 薄膜晶体管 玻璃基板 下偏光板 图2 1 1 液晶屏结构不意图 2 1 2 液晶屏视觉缺陷的原因 液晶屏的生产过程包括近百道工序，非常复杂。因此，尽管其大部分过程都是 在高洁净度的无尘室里完成的，液晶屏上还是不可避免地会出现一些视觉缺陷。造 成这些缺陷的原因有很多，既包括电气因素也包括非电气因素。例如：在装配的过 程中落在驱动芯片的焊接面上的灰尘或异物；落在t a b 或p c b 上的狄尘或异物； 驱动芯片对位不正：薄膜晶体管( t f t ) 中，信号电极、扫描电极可能短路或开路；液 晶层中起支撑作用的垫片( s p a c e r ) 聚集在一起或者破裂：液晶材料分布不均匀或有异 物；彩色滤光片对位不正或者有划痕；玻璃基片上有划痕等等( 如图2 1 2 - - 2 1 9 所 示) 。由于导致液晶显示屏视觉缺陷的这些因素复杂多变，由此而导致液晶屏上的视 5 2 鼎十帆8 w 觉泄缺陷榆d 系统 l 地女 觉缺陷也同样具有很强的复杂性和模糊性。 例2 15p c b 焊接不良 碰j 论立 渡品娃“墉酌自自擒剥系统的口f 究 图2 19 玻璃基板划伤 2 捕十机 ：5 ；讹觉的渡品俳缺陷椅删系统倾i 论文 2 1 3 液晶屏视觉缺陷的分类 液品屏的视觉缺陷种类繁多，可以根据不同的分类标准进行分类( 如图2 11 0 211 2 所示) 。例如，根据产生缺陷的原因是否为电气因素，液晶屏的缺陷可以分为 电气缺陷和非电气缺陷。根据缺陷的形状和面积，液晶屏的缺陷可以分为点缺陷( 像 素缺陷) 、线缺路和面缺陷( 或区块缺陷) 。更进一步讲，点缺陷也可以根据有缺陷 的像素是比背景亮还是暗而分为亮点缺陷和暗点缺陷。另外，还可以根据发生缺陷 的相邻像素的数目把像素缺陷分为单点缺陷和多点缺陷。多个点缺陷又可以分为相 连的点或靠近的点。同理，线缺陷也可以根据明、暗和方向分为亮线、暗线和水平 线缺陷、垂直线缺陷等。m u r a ( 来源于同语，表示脏污、斑痕的意思1 是一种晟为常 见的面缺陷，它一般表现为一个对比度差、形状和面积不定的或明或暗的区域，面 积一般大于一个像素。除此以外，还有一些压力线，白屏，白点，黑点等无法进行 确切归娄的特殊缺陷。 圈2 1 1 0 亮点与暗点 幽2 1 1 1 垂直亮线与水平暗线 * 十论文 涟品u 示蚌缺陷自动持测系统的研究 图2 11 2 线状n m m 与环状m 咐 在这些视觉缺陷中，开路或短路的电源线和选通线以及有缺陷的晶体管等引起 的点缺陷和线缺陷是最为常见的。点缺陷往往表现为一个像素大小的亮点或暗点。 线缺陷表现为一整条或部分的亮线或暗线。对这两种缺陷的检测是本论文所要解决 的重点。 2 2 基于机器视觉的液晶屏缺陷检测系统 机器视觉的研究目的一是提供人类视觉的计算模型，二是利用计算机柬设计与 发展某种真实的适度的视觉系统，并提供具有良好性能价格比的专用系统。前者是 关于计算神经科学的基础性研究，而后者往往涉及很强的应用性和工程性问题。机 器视觉在实际应用中很大程度上依赖现代图像处理技术也就是说通过图像对客观 物体建立明确而有意义的描述j 。 机器视觉是一个复杂的处理过程，图像理解及图像分析是其处理要点。用计算 机实现图像理解必须将输入的图像和预先存入的有关物体结构和环境约束知识进行 交互作用，建立明确而有意义的描述理解。这种过程可归结为从一幅图像中提取图 像信息，完成某些计算，在不同阶段的理解过程引入相关的先验知识，从而完成理 解处理。因此，机器视觉与图像技术本身就有着密切的关系。具体包括：视觉信息 的获取、图像预处理、特征抽取、识别与分类、三维信息理解、景物描述、图像理 解等几步工作。总的来说，机器视觉较好地兼容了图像技术，同时也进一步强调了 它的应用。 近年来，随着计算机技术的飞速发展，机器视觉技术在工业、农业和国防建设 等众多领域中得到了广泛的应用和发展。其中，基于机器视觉的液晶屏缺陷检测技 术也成为液晶屏生产厂家争相研究的热点之一。 2 上i 系统总体框图 图2 21 为液晶屏缺陷检测系统的总体框图。与传统的机器视觉检测系统类似， 2 基于机器视觉的液晶屏缺陷榆测系统 硕：l ：论文 该系统主要包括图像采集、图像处理、特征提取和模式识别四个部分。 图2 2 1 基于机器视觉的液晶屏缺陷检测系统框图 图像采集部分：在计算机的控制下完成对被测液晶屏的图像采集、传输和存储 工作。图像采集模块不仅是机器视觉系统的第一个环节，同时也是较为关键的一个 部分。图像采集模块采集到的图像质量的高低，不仅会直接影响后续图像处理和分 析工作的难易程度，有时甚至会决定整个机器视觉识别任务的成败。因此，为了满 足机器视觉及模式识别任务的要求，必须采用高质量的数字图像采集装置和先进的 采集技术。 图像处理部分：包括图像预处理、图像分割和图像后处理三个环节。其中，图 像预处理主要针对液晶图像的特点，对于系统采集的原始图像完成图像滤波和校正 处理，以改善测试图像的效果；图像分割的目的是将液晶屏的图像中可能含有的缺 陷疑似目标从测试图像中分割出来，因此这个环节是液晶屏缺陷检测系统最重要同 时也是最为困难的部分；图像后处理的目的是将图像分割得到的二值化图像中包含 的孤立噪声信号滤除。 特征提取部分：根据缺陷的特点选择适当的特征参数并将其从疑似目标中提取 出来。特征参数是评价缺陷等级的客观依据，因此在特征提取中选择了那些符合人 类视觉心理特点并能够准确反映缺陷特点的特征量。 模式识别：根据从疑似目标中提取的特征参数进行缺陷等级的评定。 2 2 2 系统硬件构成及选型 2 2 2 1 系统硬件构成 根据任务要求，我们进行了系统硬件结构的设计，硬件系统的结构布局如图 2 2 2 所示。 1 0 硕士论文液晶显示屏缺陷自动检测系统的研究 图2 2 2 系统硬件结构不意图 图2 2 2 所示的系统由机械控制、图像采集和计算机三个部分组成。其中，计算 机既完成与机械运动控制器和图像采集卡的通信又要完成图像数据的处理工作，而 且计算机还完成将处理结果及相应数据实时存储任务。以智能控制器为核心的机械 运动控制装置，主要任务是在计算机控制下完成对摄像头的移动与定位。图像采集 部分完成液晶屏图像的采集任务，并把位图格式的数字图像传送给计算机。 2 2 2 2 系统硬件选型 ( 1 ) 机械装置 根据要求，机械部分应具有良好的响应特性，同时运动要平稳可靠。这里我们 选用松下公司的交流伺服电机，产品型号为m s m a 0 2 2 a 1 g ，该电机最高转速可达 3 0 0 0 r r a i n ；配套伺服驱动器是松下公司的m s d a 0 2 3 a i a 。该交流伺服驱动器为全 数字型，有速度控制、位置控制和转矩控制等多种控制方式，可根据所配电机型号 和负载惯量，调整其内部速度环增益和积分时间常数，以达到最优控制满足系统要 求。此外，该交流驱动器还有自诊断功能，当电机过载、编码器断线或驱动器硬件 故障时，能发出报警信号。 ( 2 ) 液晶屏驱动器 待检测液晶屏的尺寸规格是l o 时的t f i - l c d 液晶屏，其长近似为2 0 3 c m ，宽 为1 5 2 c m 。液晶屏子像素规格为9 9 啦n x 2 9 7 1 t m t 9 1 。采用专用的液晶屏显示驱动设备 s 1 3 0 0 ，能使液晶屏显示不同的背景画面。这些背景画面有助于在检测时人眼对缺陷 的识别。 2 基于机器视觉的液晶屏缺陷检测系统硕士论文 ( 3 ) 控制器 美国派克电机公司的e o m p u m o t o r6 k 控制器，可以控制从l 到8 自由度的步进 和伺服形式的任意组合运动，扩展i o 和可选择的同步总线允许容易地扩展，以适 应用户运动控制的需要。6 k 控制器的通讯方式可以是以太网，也可以为r s 2 3 2 串 口，我们选用r s 2 3 2 串口这种简单的通讯方式。6 k 控制器自带软件编程环境，同 时也支持用户对软件的自我开发。 ( 4 ) 工作台 根据液晶屏尺寸选择工作台尺寸。 x 轴行程4 5 0 m m ，丝杠导程：5 m m ： y 轴行程3 5 0 m m ，丝杠导程：5 m m ： z 轴行程2 5 0 r a m ，丝杠导程：2 m m ： 重复精度：士o 0 2 0 m m ，误差小于液晶屏子像素尺寸：9 9 1 a m 。 、 ( 5 ) c c d 数字摄像机 常见的摄像装置有电荷耦合器件c o d ( c h a r g ec o u p l e dd e v i c e ) 摄像机、视频摄 像机等等。其中，c c d 是一种半导体成像器件，具有灵敏度高、抗强光、畸变小、 体积小、寿命长、抗震动等优点。被摄物体的图像经过镜头聚焦到c c d 芯片上， c c d 根据光的强弱积累相应比例的电荷，各个像素积累的电荷在视频时序的控制 下，逐点外移，经滤波、放大处理后，形成视频信号输出【1 0 1 。视频信号连接到监视 器或电视机的视频输入端便可以看到与原始图像相同的视频图像。目前c c d 摄像 机以其小巧、可靠、清晰度高等特点在商用与工业领域都得到了广泛的使用。c c d 摄像机按照其使用的c c d 器件可以分为线阵式和面阵式两大类。线阵c c d 摄像机 一次只能获得图像的一行信息，被拍摄的物体必须以直线形式从摄像机前移过，才 能获得完整的图像。线阵c c d 摄像机主要用于检测那些条形、筒状产品，如布匹、 钢板和纸张等等。而面阵c c d 则可以一次获得整幅图像的信息。 c c d 的参数主要包括： 分辨率。常用的线阵c c d 一般有5 1 2 到4 0 9 6 个像素或更多，而面阵c c d 一般有6 4 8 x 4 8 4 ，7 6 8 x 4 8 4 ，1 0 2 4 x1 0 2 4 等等。 扫描方式。有隔行扫描和逐行扫描两种。 快门时间。一般有1 5 0 s ，1 1 2 5 s ，1 2 5 0 s ，1 5 0 0 s ，1 3 2 0 0 0 s 等。 场频。普通相机只有5 0 - 6 0 i - i z 的场频，而采用局部扫描技术和双时钟c c d 的专用相机可以高达1 0 0 0 h z 。 c c d 芯片的尺寸。常见的c c d 芯片尺寸为1 2 - ，1 3 - ，2 3 竹等。 信号输出接口。现在主要的输出接口方式有r s 6 4 4 ，c a m e r al i n kv i d e o ， m e e1 3 9 4 接口等等。 1 2 沦立 渣品砬；群蚺陷自动检测系统的究 本文采用的摄像机是美国u n i q 公司生产的u p 8 0 0 一c l 工业c c d 摄像机。 u p 8 0 0 一c l 摄像机足逐行面阵数字摄像机，配备电子快门，可程序控制多种曝光模 式具有极高的性能价格比。其使用的异步快门技术，即使是对快速运动的物体也 可以进行精确的图像抓取。 泼相机的主要特点： 分辨率：1 0 2 4 ( 水平) 7 7 6 ( 垂直) 像素 帧速率：4 5 f r a m e s s 像素时钟：4 0 m h z 快门控制时间：1 4 5 1 7 1 0 0 0 s 单一电源供电：1 2 v d c 体积小：5 0 x 3 9 8 3 r a m 。 输出町接r s 一6 “或c a m e r a l i n k 支持的图像乍。 ( 6 ) 图像采集卡 图像采集卡选用美国n i 公司的基于p c i 总线的高速图像采集卡n 1 1 4 2 8 。输入 的视频信号，经增益放大器、a d 转换器、解码器、锁相耦合器、比例缩放、裁减 等处理，通过p c i 总线传到v g a 悟实时晶示或传到计算0 l v , j 存实时存储。数据的 挡送过程是由罔像卡控制的，无需c p u 参与，图像传输建度可达l3 3 m b s m 】。 ( 7 ) 光学镜头 光学镜头相当于人眼的 指标有焦距、光圈系数、变 系统的成像质量关系重大，其主要性能 式等。 岁一 l 丝 爹踹 繇鬻 献黼 2 基于机器视觉的液晶屏缺陷检测系统 硕 ：论文 本文采用的光学镜头是日本c o m p u t a r 公司的m 0 8 1 4 m p 手动光圈镜头，其主 要技术参数为【1 3 】： 规格( ”) ：2 3 ； 接口方式：c m o u n t ； 焦距( m l m ) ：8 o m l t l ： 光圈( f ) ：1 4 1 6 c ； 视角( 水平) ：5 6 3 0 ； 最近物像距离( m ) ：0 3 ； 有效口径：前( m m ) ：9 2 1 5 ；后( n h n ) ：q f l 2 o ； 外形尺寸：c p 3 3 5 x 2 8 2 ； 质量( 曲：7 0 。 2 2 3 系统软件的功能 系统软件的功能包括： ( 1 ) 进行系统的初始化。包括工作台初始化、检测位置点数( 也就是区域子块 个数) 初始化、图像采集卡初始化、点缺陷检测循环结束标志k p 初始化。 ( 2 ) 控制采集卡进行抓图。如果k p 不为零，就进入检测点缺陷的循环，否则 点缺陷检测完毕就进入线缺陷的检测，当线缺陷检测完毕，控制摄像头移动到下一 位置，进行下一区块的检测。 ( 3 ) 重复以上检测步骤，直到把所有待测区域检测完毕。 2 3 检测方法 由于液晶屏像素比较多，子像素为( 1 0 2 4 3 ) 7 6 8 ，除非采用特别高分辨率的c c d 或者用多部摄像头同时采集才能满足图像采集要求。而且，液晶屏面积较大，而c c d 感光面积比较小，如果镜头的放大倍数较高，就不能把显示屏上的图像一次全部采 集下来。鉴于试验条件以及实验设备的限制，我们采用了三坐标滑台带动摄像头运 动，把液晶屏划分成多个子区域进行“分块”检测的方法。 2 3 1 屏幕分块逐步检测方法 在进行图像检测时，可把液晶屏分成大小相等的m x n 个子区域，其中m 和 分别是x 方向和y 方向对液晶屏等分的份数，见图2 3 1 。 1 4 硕士论文 液晶显示屏缺陷自动检测系统的研究 一 1一 。 ka 呻 、l 一i 一i 弋l j i 弋i 一 oi 1 - , 2 i i n b t u f 一一- 一，。二 a x t c d ，1 7 y l c d ， a x t c o 和a y l c d 分别为l c d 每个子像素的长与宽。在进行图像采集的过程中，待测 液晶屏的背景画面颜色是改变的，但变换的颜色一般为黑自画面，或者灰度为1 9 2 阶画面，除此之外还有r ，g ，b 画面。 2 3 2 改进的分块检测方法 上述分块检测方法在检测过程中的前提是：假设液晶屏的每个区域都是有缺陷 的。实际上有缺陷的液晶屏的比例也不是很大，即便是有缺陷，有缺陷的区域的面 积占液晶屏的总面积的比例也很小。因此在上述检测过程中，有相当一部分时间是 在检测没有缺陷的显示屏区域，因而造成了检测时间的浪费，有必要对上述方法改 进。通过对有缺陷的液晶屏的缺陷的统计分析，我们发现：大部分缺陷都属于像素 的灰阶不良，而且最典型的亮点或暗点通常是由灰尘等杂质掺入液晶屏中形成的， 而剩下的那些缺陷大部分是由于电路的短路、断路，或焊点接触不良引起的，通常 会形成较大范围的缺陷( 如亮线、暗线或者区域块的不良) 。至于像色度不匀等复杂 情况，还需要改变观测角度，将是以后复杂缺陷检测的研究内容。 对以上方法改进的基本思想是：首先如果我们发现一个嫌疑点( 灰阶不良的像素 1 5 2 基于机器视觉的液晶屏缺陷检测系统硕士论文 点) ，那么这个嫌疑点及它的周围区域就是发现缺陷的嫌疑区域，应该对这个嫌疑区 域做重点的检测，以确信是否有缺陷事件发生。这样可以使检测的重复步骤大大减 少。该方法检测过程是一个发现缺陷并对缺陷进行排除与验证的过程。与第一种方 法的区别在于：第一种方法的假设前提是液晶屏的每一个像素都是有缺陷的，第二 ，种方法的假设前提是液晶屏的每一个像素都是良好的，这符合实际中液晶屏的良好 像素是占有绝对大的比例的事实。闯题是这种改进方法毕竟是一种不连续的检测方 法，无法反映液晶屏整体缺陷状况，特别是液晶有较大面积的较明显的缺陷时，由 于缺少周围边缘像素信息，对缺陷综合分析不利，对液晶屏进行总体的快速检测是 必需的。先通过快速检测找出异常灰度的像素位置，苒对它们进行逐步精测。实际 上逐步精测是改进方法的最坏情况因而硬件的选择应依据逐步精测的检测方法确 定。 2 3 2 1 光学组件的参数确定 基于以上改进的分块检测方法，我们提出如下可以确定检测系统的光学元件的 设计方法。首先确定c c d 分辨率，原则是：要满足采样定理。即无论在x 方向还 是在y 方向上，液晶屏的一个子像素在c c d 的像平面所成的像至少有两个c c d 像 素与之对应，只有这样才不会出现采集图像失真现象：以下只考虑x 方向，因为y 方向液晶子像素的长度大小是x 方向子像素的3 倍，所以确定系统镜头放大倍数只 考虑x 方向。由于系统的工作空间是有要求限制的，所以摄像头的工作距离也是有 一定范围的。本文中，摄像头的工作距离小于3 0 0 r a m 。设在x 方向一个液晶子像 素对应c c d 像素的个数为p ，因为c c d 像素一般为正方形，y 方向一个液晶予像 素对应c c d 像素的个数为3 n p ，设系统镜头的放大倍数为夕，液晶子像素x 方向大 小为k t x t e d ，l c d 像素大小为鸬d ，c c d 的分辨率的最小尺寸为比x c c d 有如下 几何对应关系： u x l c d = pxk t x c c d( 2 1 ) = n px 乒t x c c d( 2 2 ) 。 。 g x l c d 。 在式( 2 j 2 ) 中，鲍d = 9 0 a m ，若c c d 的分辨率和尺寸确定下来，则c d 也 是一个常数。所以如果我们设定p ，则可以计算出声。x 方向需要采样的份数为m c c d 的分辨率为n x c c d y c c d 。x 方向采样的份数m 由下式确定： m = 3 0 7 2 n p ( 2 3 ) x o c d 同理计算可得y 方向采样的份数 硕士论文液晶显示屏缺陷自动检测系统的研究 n ：= 7 6 8 x 3 n p n y c c d ( 2 4 ) 按照前面改进的分块检测方法，我们进行粗略的快速检测过程中选用的必然是 高分辨率的c c d ，只有这样才能减少采样的分块份数，进而缩短整体采样时间。理 论上如果我们选用c c d 的分辨率为3 0 7 2x 2 3 0 4 ，取n v = 3 ，计算可得m = 3 ，n = 3 实 际由于我们要对区块图像进行拼接恢复原图像。所以取m = 4 ，n = - 4 ，这样可以实现 区块之间的重叠覆盖，利于以后的“缝补”，也就是只需1 6 个子区块就可以快速采集 完成。但是这么高分辨率的c c d 价格昂贵，一般分辨率的c c d 为1 0 2 4 x 7 6 8 ，如果 仍取n v = 3 ，则需要检测次数为1 0 x 1 0 = - 1 0 0 次如果在某个区块发现可疑点，首先记 录下这个可疑点，待粗略快速检测进行结束后，将镜头的中心移动定位到这个可疑 点，进行精细检测，在精细检测过程中，c c d 的分辨率是足够的，因为只有可疑点 周围较小的区域的像素是进一步采样分析的，像素数相对很少了。为了获得更精确 的图像细节，这个过程中要调节系统镜头放大倍数，也要调节镜头工作距离。放大 倍数由式( 2 2 ) 确定，而工作距离由物像关系决定，即： * = 手 ， 一+ 一= 一 2 5 l “， ， = 兰( 2 6 ) 式中：u 是物距，1 ，是像距，厂是镜头焦距。 2 4 检测系统工作过程 该系统工作过程如下：计算机通过串口向控制器发出初始化命令，控制器响应 计算机命令，向伺服电机驱动器发送内部命令参数( 如速度、加速度、距离等) ，然 后开始驱动伺服电动机，伺服电动机通过连轴器与丝杠连接，与丝杠同轴相连的还 有编码器，丝杠在电动机的带动下运转，编码器开始计数。伺服驱动器、伺服电机、 编码器组成闭环反馈控制，可以按要求调速，定位。丝杠带动三维工作台运动，工 作台每一轴的前、后部都有限位开关，工作台中部都有回零开关，如果运动异常并 超出限位范围，控制器强制电机做急停动作。工作台的z 轴( 竖直方向) 上连接有摄 像头，在控制器控制工作台停止期间，摄像头可以进行图像采集。有背光源的液晶 显示屏的某一子区域通过镜头成像在c c d 上，c c d 将光信号转换成电信号送至图 像采集卡，图像采集卡经过对信号的预处理，形成位图格式的数字图像。图像采集 卡把采集到的数据放在指定的缓冲区内，c p u 在指定的间隔时间，对缓冲区做读写 操作，将缓冲区的数据读入计算机内存，然后由图像处理软件按照指定的图像处理 1 7 2 基于机器视觉的液晶屏缺陷检测系统硕士论支 算法，对数据进行处理，处理后的数据和结果由显示器显示并存储到存储器以备后 续处理。接下来c p u 再次向控制器发送命令，工作台带动摄像头平移一段距离开始 下一子区域的图像采集。 2 5 本章小结 本章详细介绍了液晶屏的面板结构以及液晶屏视觉缺陷的产生原因和分类，同 时还介绍了基于机器视觉的检测系统的基本原理和系统框架。从中得到以下结论： ( 1 ) 液晶屏的结构复杂，生产工序繁多，出现视觉缺陷不可避免； ( 2 ) 造成液晶屏缺陷的原因很多，可以分成电气因素和非电气因素两大类； ( 3 ) 液晶屏的视觉缺陷种类众多，最常见的主要有点缺陷、线缺陷和m u r a 缺 陷。点缺陷和线缺陷是本系统检测的主要对象； ( 4 ) 机器视觉技术融合了先进的图像处理技术，可以很好地适用于液晶屏缺陷 检测任务，与模式识别技术相结合，能够获得较好的实际检测效果。 硕士论文液晶显示屏缺陷自动检测系统的研究 3 液晶屏缺陷检测中的图像处理算法研究 图像信息的处理和识别可分为三个层次：图像处理、图像分析：图像理解。在 成像过程中，因受各种条件的限制和许多随机因素的干扰，由成像装置获得的数字 图像必须要经过图像处理。图像处理主要完成对原始图像的噪声过淑灰度校正、 几何校正、图像增强等。图像分析主要完成图像分割和特征提取。图像的特征提取 就是从大量图像数据中，提取有利于图像识别和理解的主要特征量，用有限的特征 来描述原始图像中的目标【1 4 】。图像的特征主要包括形状特征、纹理特征、结构特征 和颜色特征等。特征的提取方法主要有区域分割、边缘检测和纹理分析等。图像理 解就是根据已有的特征参数，采用相应的识别匹配方法，完成对目标物的识别或理 解。 由于图像处理算法面对的是大量的原始图像数据，所以对于基于机器视觉技术 7 的液晶屏缺陷检测系统来说，缺陷检测的实时性和准确性在很大程度上取决于图像 处理算法的好坏。 本章对液晶屏缺陷检测中常用的图像处理和分析算法进行了研究、比较和分析， 确定了适合液晶屏缺陷检测的图像处理和分析算法，为实现液晶屏的品质检测和分 级奠定基础。 3 1 图像预处理 图像在获取的过程中，可能受到各种因素的影响。例如照明设备的光强变化、 图像获取设备自身性能以及工作人员获取图像的熟练程度等等。最初获得的原始图 像在质量上可能不是尽如人意。为了不影响图像分析和图像理解等后续处理，必须 对获取的图像进行一定的预处理。本文中涉及的预处理方法主要包括图像滤波和图 像校正。 3 1 t 图像滤波 不管采用何种方式进行图像采集，在数字图像的获取和传输过程中，总存在着 各种因素的干扰，所以获取的图像不可避免地会受到噪声污染，从而造成图像质量 的下降。能否有效的去除噪声直接影响着图像分割、特征提取和模