（机械设计及理论专业论文）机器视觉在线玻壳分类计数及数据管理系统的研究.pdf

摘要显像管玻壳是计算机显示器、电视机及监视器的重要组成部分，针对玻壳生产企业生产流水线上的玻壳产品，本文研究开发了基于机器视觉的在线玻壳分类计数的软硬件系统。在硬件系统中，本文设计了带有保护电路的光学系统，并采用主动光源背光照射方式，使其能够提供稳定均匀的背景光源。利用视频选通器和视频放大器实现了视频图像的远程传输，并解决了利用一台主机完成双测点图像采集过程中的时序冲突问题。本文还采取了有效的抗干扰措施，保证了系统稳定、可 靠的工作。本文使用面向对象的v c + + 语言，采用模块化设计方法开发了包括图像采集模块、图像处理模块、自学习系统模块、分类数据通信、数据管理及远程选型控制模块的软件系统，并利用网络技术建立了动态网页数据库，使分类数据信息在企业局域网上得以发布。图像采集模块主要通过查询方式，解决了双测点图像采集时序冲突问题；图像处理模块包括滤波、锐化、分割等相关计算方法；自学习系统模块采用人机交互的方式实现了玻壳检测分类器的学习；数据通信与管理模块实现了分类数据的远程传输，以及动态显示、查询、扣印等功能；远程选型控制模块可通过选择某种规格玻壳，实现远程控制图像处理模块的自动切换。最后，本文介绍了双测点玻壳视觉分类识别及数据管理系统的集成，并划该系统在玻壳企业的实际应用情况进行了描述。关键词：机器视觉，数字图像处理，分类识别串行通信、信息管理a b s t r a c tt h eg l a s ss h e l lo ft h ek i n e s c o p ei sa ni m p o r t a n tp a r to ft h ec o m p u t e rs c r e e ni no r d e rt oi d e n t i f y ，c l a s s i f ya n dc o u n tt h ed i f f e r e n tk i n d so fg l a s s s h e l lo np r o d u c tl i n e i tr e s e a r c h e st h em e t h o d so fm e a s u r e m e n ta n dd a t am a n a g e m e n ta b o u tg l a s ss h e l la tt w op o s i t i o n s a n di tg i v e sas y s t e mb a s e do nm a c h i n ev i s i o nw h i c hi n c l u d e ss o f t w a r ea n dh a r d w a r e t h ep a p e rd e s i g n st h eo p t i c a ls y s t e mw h i c ha d o p t sa c t i v el i g h ts o u r c ea n dp r o v i d e st h eu n i f o r mb a c k g r o u n dl i g h t t h ep a p e ru t i l i z e sah o s tc o m p u t e ra n dv i d e ob r a n c ht os o l v et h ec o n f l i c t i n gp r o b l e mo ft w op i c t u r e sc o l l e c t e df r o mt w op o s i t i o n sm o r e o v e r ，t h ep a p e ra d o p t sn e we f f e c t i v em e a s u r i n gm e t h o d st oe n s u r et h a tt h es y s t e mr u n ss t a b l y t h ep a p e rd e v e l o p st h es o f t w a r es y s t e mb yu s i n gm o d u l a r i z a t i o nm e t h o d s i ti n c l u d e si m a g ec o l l e c t i o n ，i m a g ep r o c e s s i n g ，s e l f - s t u d y ，s e r i a lc o m m u n i c a t i o n s ，d a t am a n a g e m e n ta n dl o n g d i s t a n c ec o n t r o l l i n g a tt h es a m et i m e ，t h ep a p e rd e s i g n sd y n a m i cw e bd a t a b a s eb yu t i l i z i n gn e t w o r kt e c h n o l o g y t h em e t h o d so f i m a g ep r o c e s s i n gi n c l u d e sf i l t e r i n g ，s h a r p ，e t ct h es e l f - s t u d ys y s t e mr e a l i z e st h ed e s i g no fc l a s s i f y i n gm o d e lo fg l a s s s h e l lb yi n t e r a c t i v em e t h o dd a t am a n a g e m e n tm o d e li n c l u d e st h ef u n c t i o no fd y n a m i cd i s p l a y ，i n d e xa n dp r i n t i n g l o n g d i s t a n c ec o n t r o l l i n gm o d e lc a ns w i t c ht h em e t h o do fi m a g ep r o c e s s i n ga u t o m a t i c a l l yb yc h o o s i n gt y p e i ns h o r t ，t h ep a p e rr e a l i z e si n t e g r a t i o no fm e a s u r es y s t e mo nt w op o s i t i o n s ，i n c l u d i n gc l a s s i f y i n ga n dd a t am a n a g e m e n t k e y w o r d s ：m a c h i n ev i s i o ni m a g ep r o c e s s i n gc l a s s i f y i n gs e r i a lc o m m u n i c a t i o ni n f o r m a t i o nm a n a g e m e n t天津科技大学硕士学位论文第一章绪论1 1 研究机器视觉玻壳在线分类识别计数系统的意义1 1 1 问题的提出显像管玻壳是计算机显示器、电视机以及监控器的重要组成部分。在玻壳生产过程中，为了灵活安排生产，流水生产线上往往同时流动着两种类型的产品玻屏和玻锥。经过检验工序时，要将内部含有气泡或表面存在机械划痕的残次品予以剔除，而残次品的剔除是随机的，这样可能会造成玻屏和玻锥半成品数目的不匹配，从而产生了如下问题：不能满足封装工序锥和屏成对出现的要求；生产管理部门无法准确地统计出各工序实际加工产品的数量，使每个工序的实际生产量考核难以实现，不利于企业的量化管理；无法准确统计各种产品的班产量及日产量。鉴于上述原因，在玻壳生产企业中需要对流水线上的玻壳产品进行在线分类统计，即按照产品规格及种类的不同，分别加以统计。以便及时地调度压机的产出量，保证生产线半成品数量的匹配。这对于提高玻壳企业生产调度和生产管理的科学化水平非常必要。1 1 2 传统的玻壳在线分类识别方法天津津京玻壳股份有限公司分别应用了人工计数方法和光电计数方法。但是这两种方法都存在一定的问题，不能适应生产管理的需要。1 人工计数的玻壳产品分类方法在玻壳企业生产中，人工分类法的具体步骤如下：在生产线某几个检测点专门设立一个人工计数工位，采取由人工划“正”字的方法，对流水线上的各种不同类型及不同规格的玻壳进行分类统计。这样，每个计数点每班至少要2个人，每天三个班次至少需要6 个人。这种方法虽然简单，但主观性强，由于计数人员的疲劳、责任心以及其它人为主观因素的影响，很难保证统计数据的准确性和客观性，不适应现代生产管理的要求。2 光电计数的玻壳产品分类方法光电计数装置利用玻壳对光线的遮挡产生计数脉冲来计数，并根据遮挡时间的长短测量尺寸大小，区分产品的规格。但是，由于生产线上的吊篮在运动过程中有摆动现象，其位置不能完全确定，在计数过程中会出现较大误差。鉴于上述人工计数的人为因素影响与光电计数装置计数的缺陷，需要一种第一章绪论先进的智能化设备，能够自动完成玻壳吊篮生产线上玻壳产品的分类与统计，以提高玻壳生产企业管理的科学化水平。本文研究开发的基于机器视觉检测技术的玻壳在线分类识别计数系统既不受吊篮摆动的影响，也不受人为因素的干扰。1 1 3 机器视觉玻壳在线分类识别系统的应用1 机器视觉检测技术的发展及应用众所周知，视觉对于人类来说是非常有用的，人们从外界环境获取的信息中，大约有8 0 来自于视觉。虽然人类感知一副图象似乎毫不费力，然而这个看似简单的过程中却包含了分辨、解释、分析、判断等非常复杂的智能行为【l 心l 。机器视觉就是用机器代替人的眼睛和大脑对客观世界进行视觉感知和解释的行为1 4 。j 。它利用数字图象处理、模式识别等技术达到对客观事物的识别、理解和控制。目前已成为人工智能的一个独立分支，是实现机器智能化及新一代计算机的关键技术之一i o “j 。机器视觉起源于5 0 年代，真正的实用性研究是在1 9 7 5 年以后，进入8 0年代，计算机视觉理论和算法的研究进展迅速，新的观点和方法层出不穷| 9 】。近年来，由于微型计算机的营及，计算机性能不断提高，价格不断降低，也由于图象处理与模式识别技术的不断发展与完善，机器视觉技术应用越来越广泛。机器视觉的基础之一是数字图象处理技术，最早的图象处理技术可追溯到上世纪二十年代，但直到上世纪六十年代中期第三代数字计算机产生之后，由于它为图象处理算法提供了必要的速度和存储能力，该技术才开始得到了普遍应用i i “】。机器视觉是在利用图象处理技术对图象进行编码、恢复、增强、变换、分割等相关处理的基础上【l 。”j ，结合人工智能与模式识别技术【1 6 q8 ，对图象中包含的有用信息进行提取和描述。当今，机器视觉技术正朝着两个方面发展：一方面利用已经取得的研究成果开发更多的实用化系统，将实验室的研究成果转化为产品；另一方面将其它学科的新理论、新方法与图象处理、人工智能、模式识别等学科相结合，向着机器视觉更高的目标作更加深入的探讨和研究。作为一个充满生机与活力的学科，机器视觉检测技术在现代工业中具有广泛的应用前景，目前国外已经有了许多这方面的研究。许多传统的人工视觉检测方法正在逐步被计算机视觉检测技术所代替，而且又有许多新的成像方法得到了广泛的研究和应用，除了最普通的自然光图象及光学显微图象外，还有1 3射线图象 2 ”、x 射线图象 1 9 1 1 2 ”、红外热力图象1 2 0 l 、核磁共振图象 2 2 - 2 4 i 、低湿电子显微图象1 2 0 、共焦显微图象【25 j 等成像技术。所有这些图象，都可以经过适当的转换，成为计算机可以处理的数字图象，然后利用机器视觉的方法，对其进行处理与分析，提取得到研究者所需的信息，使检测过程更简单，结果更2天津科技大学硕士学位论文准确，速度更快。在许多工业生产中，机器视觉技术结合模式识别、人工智能、神经网络以及光机电技术等，形成了一套检测系统，可以称之为机器视觉检测系统。该系统一般采用c c d 传感器( 或其它图象获取设备) 提取检测图象并转化为数字信号，再采用先进的计算机硬件与软件技术对数字图象信号进行处理，从中获得各种目标图象的特征值，并由此实现模式识别、坐标计算、灰度分布图等多种功能。然后再根据其结果显示图象、输出数据、发出指令、配合执行机构完成位置调整、产品质量检测及数据统计等自动化流程。机器视觉与人工视觉相比较，最大优点是精确、快速、可靠。机器视觉系统在工业上的应用大致可以分为两大类：检查和测量【2 6 i 。它不但可以完成诸如直径、面积、周长、弯曲度等几何参数的测量，还可以对物体的表面质量进行检测，如表面粗糙度、腐蚀面积、颜色、各种纹理等参数、不规则表面区域的几何参数的测量，以及纹理参数的定量分析等。机器视觉技术不仅从理论上还是从硬件设备上的发展都已达到了实用阶段。目前已经出现了利用视觉检测技术进行产品质量检测的系统，如对连续生产线上的产品进行各种在线检测，例如划痕检测、裂纹检测、药品生产线上药品颗粒的计数及残次品剔除等【2 ”。利用计算机的网络功能，还可以将视觉检测系统与生产调度系统组网，完成各种生产信息的反馈，有效组织生产，提高生产效率。国外起步比较早，已取得了丰硕成果。发达国家的大型工业企业如f o r d 、t o y o t a 等均采用众多计算机视觉检测设备以提升产品的市场竞争力。目前，国内众多企业也广泛应用了机器视觉检测系统。2 机器视觉在玻壳分类识别中的应用本文所开发的基于机器视觉的玻壳在线分类计数及数据管理系统就是结合玻壳企业生产线所要求的检测目标，利用机器视觉技术和计算机网络技术，将实验室的研究成果转化为产品。对不同类型、不同规格的玻壳半成品实现自动检测，既能完成输入信息的数字化转换、图象处理、分类识别和输出显示等功能，又具有数据传输、管理与局域网上发布的功能。该系统首先通过c c d 传感器对玻壳生产线上的吊篮进行图象采集，然后利用图象处理技术，对图象进行增强、分割等相关处理，结合模式识别技术，对图象信息中包含的特征值进行提取和描述，实现吊篮上玻壳产品的分类计数，并且把得到的数据信息建立数据库，在网上进行发布。利用信息传递技术与网络技术把这一先进的光机电一体化系统应用于玻壳厂生产管理及生产调度，解决了玻壳生产过程中的一些实际问题，极大地提高玻壳生产的自动化程度。它具有以下优点：( 1 ) 非接触测量，具有较强的实用性：( 2 ) 可自动识别生产线吊篮上的产品种类及规格；第一章绪论( 3 ) 可完成生产线上的多点在线检测：( 4 ) 可对产品分类数据完成动态管理，并可实现网上发布。1 2 本课题的主要研究内容及要解决的关键问题解决两测点图象采集处理时序冲突问题，实现用一台主机完成两点图象采集及处理：实现图象的远程传输，克服外界干扰；采用数字图象处理及模式识别方法，对连续生产线上两个测点吊篮上不同尺寸的玻壳半成品按规格进行自动识别、分类和计数；研究玻壳识别及图象处理方法( 滤波、锐化、分割) ；解决现场测量中光线的变化对图象采集的影响；面向对象的应用系统开发；测量数据的传输，测量数据库的建立( 对所记录数据进行统计，建立报表，并且网上发布) 两测点测量系统软、硬件集成方法；玻壳产品选型测量的远程控制方法。1 3 课题研究路线查阅资料，拟订实验方案；实验室模拟实验，解决图象处理及模式识别特征的提取，分析各特征对识别的贡献度；实现一台主机完成两点图象采集及处理；确定远距离图象信号传输的方案，解决传输过程中的电磁干扰问题；光学系统设计；用于模式识别的自学习系统开发；软件系统界面设计：分类识别计数软件系统的设计、编程和调试；分类数据传输方法的研究与实现；数据动态显示及生产管理数据库的建立方法研究；两测点软件系统集成：系统考核及完善。4；) ) )012他墨堡型垫奎兰塑主堂丝堡兰一第二章机器视觉玻壳分类识别理论与方法的研究本文采用机器视觉检测技术完成玻壳产品的分类识别。首先利用c c d 传感器采集图象，然后利用图象处理与模式识别技术，对灰度图象中包含的与玻壳产品规格有关的信息进行提取和描述，最后对玻壳半成品进行实时分类和计数。2 1 玻壳图象的分类及特征2 1 1 玻壳图象的分类玻壳生产线吊篮上有“玻屏”与“玻锥”两种半成品，并且有尺寸之分，如图2 一l 所示分别是空屏吊篮、空锥吊篮、有屏吊篮、有锥吊篮的图象。按照生产管理的要求，应对吊篮上的“玻屏”及“玻锥”产品进行分类识别与统计。图2 1 玻壳图象2 1 2 玻壳的光学反射与透射特性玻壳为半透明玻璃制品，表面有一定的弧度且光滑，基本上可视为镜面。当光线照射到玻壳表面时，大部分光线透射过去，一部分光线反射出去，还有第二章机器视觉玻壳分类识别理论与方法的研究一小部分被玻壳吸收。对于理想镜面，反射光集中在一个方向，并遵守反射定律，即入射角等于反射角，而且反射光线、入射光线与法线在同一平面上。对玻壳这类的光滑表面，反射光集中在一定范围内，并且由反射定律决定的反射光线的光强最大。玻壳对光线的反射、透射性能如图2 - 2 所示：图2 2 玻壳的光学反射、透射性能2 1 3 玻壳图象特征机器视觉图象采集系统的照明背景光源射出的光线一部分直接射入c c d中，形成背景图象；另一部分照射到玻壳的表面，有的被吸收，有的发生折射后再射入c c d 中，形成玻壳图象。直接射入c c d 的光线强度远大于经玻壳透射或折射后再射入c c d 中的光线强度。因此，c c d 拍摄到的图象层次感较明显，即图象中背景处较亮，而目标处较暗，呈现出明显的灰度跳变特征。如图2 1 所示，背景图象的灰度值明显大于玻壳的灰度值。2 2 玻壳产品分类检测方法及识别流程2 2 1 机器视觉玻壳产品分类识别方法图象分类识别主要由特征提取、特征选择和特征分类等三部分组成。虽然要研究的图象干差万别，但它们都蕴含着本身所固有的特征【2 8 。”】。为了对它们进行区分，需要通过一些处理方法将各类图象的重要特性用数字量显示出来，这就是所谓的特征提取。由于反映一类图象的特征很多，为了更有效地利用这些特征，有必要对特征进一步的选择，保留主要特征信息。图象分类就是要设计识别模型或识别判据，使得对任何一个未知类别的模式，根据模型或判据就可以判定它属于哪一类。对于幅玻壳图象，首先要找出玻壳在图象中的表现，即提取玻壳的图象特钲。只有从图象中得到玻壳的模式特征，才能对玻壳的类型特征进一步判断与选择。最后，需要根据一定的策略来判断玻壳类型，以便对玻壳产品进行分类。机器视觉分类是基于特征的非接触检测方法。在一般的图象识别中，常用墨堡型垫盔兰堡主竺垡堡苎一的特征有以下几种3 0 - 3 1j ：图象的幅度特征：主要有图象象素灰度值、彩色的三色值等表示的幅值特征，它们是图象最基本的特征；图象的统计特征：主要有直方图特征，统计性特征( 如均值、方差、能量、熵等) 、描述图象相关性的统计特征( 如自相关系数、协方差等) ；图象的几何特征：主要有面积、周长、分散度、伸长度、曲线的斜率等；图象的表面形状特征：主要有矩形、梯形、十字形、圆形等。针对玻壳图象，首先经过玻壳特征提取和标识，得到玻壳图象目标区域的轮廓线及轮廓线所包围的区域形状。利用区域的形状特征或者几何特征可以识别出玻壳种类。本文研究了基于图蒙的表面形状特征及几何特征进行玻壳分类识别的方法。1 基于模板匹配的玻壳形状特征分类检测方法为了在图象中检测出已知形状的目标，可以使用这个目标物的形状模板与图象进行匹配，依据某种准则检测出图象目标，这种方法通常称为模板匹配法。设标准模板w ( i ，i ) 大小为m n 。将目标图象在图象上的设定位置与该模板进行匹配，将模板覆盖下的图象称作子图f x , y ( i j ) ，其中( x ，y ) 是子图的中心点坐标。若模板和它所覆盖的图象完全致，则两者之差为零，否则不为零。凶此可用下列测度来衡量其相似程度：n - 1 ijd ( x ，y ) = ( f ”( f ，) 一w ( i ，朋2( 2 1 )t = o j = o将上式展开：d ( x ，y ) = ( ( f 。( f ，朋2 2 ( f 。( f ，) w ( i ，) )t = oy = oi = o1 = 0t 】m l+ ( 矿( f ，朋2 )( 2 2 )i = 0 j = o式2 2 中右边第三项表示模板的总能量，是一常数，与( x ，y ) 位置无关；第一项为模板覆盖下那块子图象的能量，它随( x ，y ) 位置而缓慢变化；第二项是予图象与模板的互相关，随( x ，y ) 而改变，当模板与子图象匹配时，该项取最大值。因此，模板匹配的过程可以认为是计算图象中心( x ，y ) 为中心的局部区域与模板w ( i ：i ) 之间的相关系数：1 ，、1 厅了蒹r 一e 丁i _ ( f ，) = 厂( f ，j ) w ( i ) ( 17 2 ( f ，) 1 ( 厂( i ，) ) 2 ) ( 2 3 )用屏和锥的不同标准模板和提取出来的玻壳目标图象进行匹配运算，相关系数大的，即为匹配成功。7第二章机器视觉玻壳分类识别理论与方法的研究利用这种方法来完成玻壳分类识别其关键之处就是建立标准模板。对于玻壳和吊篮而言，屏架、锥架、屏、锥在图象中一般分别呈现为十字形、圆弧形、矩形和锥形。因此，事先建立好屏架、锥架、以及不同大小的屏、锥的标准模板，就可以通过图象进行模板匹配来判断吊篮上玻壳的有无以及确定玻壳的种类。各种模板如图2 3 所示。检测时对每一个目标分别用上述模板去匹配，相关系数最大的模板对应的种类即为匹配的结果。图2 - - 3各类图像模板( 1 3 ) 屏架模板( b ) 锥架模板( c ) 屏模板( d ) 锥模扳2 基于玻壳图象目标面积特征的玻壳分类检测方法在二值图象中，目标t 的面积可以简单地定义为目标边界所包的象素点数，它和目标的大小有关，而和目标各点的象素灰度值无关。它反映了目标的“质量”或者“重量”。扫描整个目标区域t ，计算灰度值为1 的象素总数。a = f ( x ，少)( 2 4 )( f ，y ) e 7这罩，f ( x ，y ) = ：、j ”7 ：。二，a 表示目标区域t 的边界所包含的面积值。i ul x ，y j 西玻壳图象分为背景区域和目标区域两部分，利用这种方法来完成玻壳分类识别其关键之处就是计算目标区域的面积特性，即目标区域所包含的象素总数。空屏吊篮、有屏吊篮两者之间或空锥吊篮、有锥吊篮两者之间都存在着明显的面积差值，检测识别时首先提取出目标区域边缘，计算目标区域的面积特性。然后利用所求面积值即可判断吊篮上的玻壳产品种类及数量。上述两种方法在理论上都不失为玻壳分类识别的好方法，但考虑到实际玻壳生产线吊篮上玻壳产品的摆放具有很大的随意性，即使是同一种类、同一规格的玻壳产品在图象上的形状、大小也有较大的羞异。因此基于模板匹配的玻壳形状特征分类检测方法不适合实际检测需要。而且这种方法分类前需预先与各种标准模板做相关分析，运算量大，检测时间较长，不适合动态实时检测。基j 二目标面积特征的分类方法计算量小，检测时间短，只要提取物体边缘以后，即可求出面积值。因此，本文选用基于目标面积特征的方法来进行玻壳产品的天津科技大学硕士学位论文分类识别。2 2 2 玻壳产品分类识别流程机器视觉玻壳分类识别的基本过程是首先利用c c d 传感器，采集玻壳图象，对图象进行灰度化处理，把图象从真彩色格式转化为灰度格式，对获得的图象首先进行预处理以滤除各种噪声，然后进行锐化处理，选择和提取玻壳吊篮特征。依据一定的判别准则对玻壳吊篮进行分类，利用屏架放屏，锥架放锥的原则，通过目标的面积特征完成玻壳产品的分类识别，其识别流程如图2 - 4所示。图2 - 4 机器视觉玻壳分类识别基本过程2 3 玻壳图象的预处理【3 2 。3 4 】由于工业现场的恶劣环境，获得的玻壳图象都存在着一些噪声，不利于后第二章机器视觉玻壳分类识别理论与方法的研究续处理，这些图象噪声产生的原因主要有：现场各种光线的变化；背景板上的油污与尘土；视频信号传输中电磁干扰。这些噪声的主要特点是离散性和随机性，它们的存在使得图象被污损，影响了玻壳图象的质量，对后续的处理极为不利。因此，采集玻壳图象后首先应对原始图象进行预处理，预处理的目的是为了消除噪声和干扰，以提高图象的质量，为下一步特征提取做好必要的准备。图象平滑可以减少离散性和随机性噪声以及一些其它因素的干扰。图象平滑包括空域法( 包括多图象平均法、邻域平均法、中值滤波法) 和频域法( 如低通滤波法) 两大类，可根据需要选择具体方法。考虑到本系统采用背景光源投影方式，图象目标区域与背景区域灰度反差较大，而且背景区域灰度分布比较均匀。系统采集得到的玻壳图象其干扰噪声主要是图象上孤立象素的灰度突变形成的颗粒噪声，颗粒噪声在图象上表现为高频特性，与其周围背景有较大的灰度差，而且具有空间不相关性。本文研究了邻域平均法，并且取得了较好的效果。邻域平均法是一种常用的线性平滑滤波方法。它是对含有噪声的图象f ( x ，y )的每一个象素取一个邻域s ，计算s 中所有象素的灰度平均值作为处理后的图象g ( x ，y ) 的象素值。即：如y ) = 百1 厂( 丘y ) ( 2 - - 5 )1 wf oy ) e s其中m 为邻域s 中的象素点数，s 邻域可取1 3 ，1 5 ，3 3 、5 5 、7x 7 邻域等，可视具体情况而定。图象平均是以图象模糊为代价来换取噪声的减少。邻域面积越大，噪声减少越显著，同时图象也越模糊。可以证明平滑后的噪声标准偏差降低为原来的1 m “2 。如图2 5 所示，图a 为玻壳原图象，图b 为经过邻域平均后的图象。从图2 - 6 可看出利用邻域平均法取得了较好的图象预处理效果，保证了以后的图象处理和几何特性参数提取的正确性。对于本文所研究的双测点实时动态检测系统而言，图象处理速度是个很重要的考虑因素。所以本文选用了1 5 的邻域对图象进行邻域滤波预处理。1 0天津科技大学硕士学位论文图2 - 5 经过预处理的玻壳图象2 4 玻壳图象特征的提取玻壳图象的特征提取基于对预处理后的玻壳图象做进一步的分析，是玻壳产品分类识别的关键。特征提取过程首先要提取目标的边缘信息，以此获得目标形状及所包围的面积特征。为此，应首先对玻壳图象进行边缘锐化，以突出目标的边缘信息。图象锐化包括空域锐化法和频域锐化法1 3 5 _ 3 7 】，本文主要研究了空域锐化法。2 4 1 玻壳图象锐化算法【3 “4 训图象锐化方法采用一定的边缘增强技术，它的目的是为了使边缘和轮廓线模糊的图象变得清楚，突出图象边缘信息，加强图象本身的轮廓特性，并使其细节清晰。所谓边缘是指其周围象素灰度有阶跃变化的那些象素集合。从本质上说边缘是由物体灰度的不连续性表现出来的，常常意味着一个区域的终结和另一个区域的开始。物体的图象边缘信息在图象分析中是十分重要的，图象边缘是图象的最基本特征。在灰度图象中，目标区域与背景区域的灰度值有一定的差异，在边缘处表现得特别明显。因此，利用这种边缘特征来检测玻壳特征是一种比较有效的方法。采用锐化方法可以突出玻壳的边缘特征，以便于识别。锐化是与图象平滑相反的一类处理，所以在玻壳图象处理顺序上，先采用平滑方法降低并滤除干扰噪声，再进行锐化处理，得到轮廓清晰的玻壳灰度图象，便于后续处理。这种处理方法与图象平滑处理一样有空域法和频域法两类处理方法。图象中对象( 或目标) 信息的边缘信息都是亮度变化较大的地方，而边缘模糊、线条不清是由于边缘亮度差异较小的缘故。通常的边缘提取方法是考察图象的每个象素内灰度的变化，利用边缘邻域内的一阶或者二阶导数的变化来检测边缘。从数学观点来看，检查某区域内灰度的变化大小就是微分的概念；图象函数在某处的微分值大，表明灰度的变化率大，边缘明显；相反微分值小，表明灰度变化第二章机器视觉玻壳分类识别理论与方法的研究率小，边缘不明显甚至模糊；当微分值等于零时表示灰度无变化。差分运算可通过各种差分算子来完成增强图象边缘的锐化，利用各种差分算子对玻壳图象各象素作卷积运算可以求得各个象素的差分值。若把差分值作为输出图象的灰度，则玻壳图象中的边缘线条要比输入图象清晰得多。通过对玻壳图象锐化，有助于提取玻壳特征参数。图象差分算子有梯度算子、拉普拉斯算子以及p r e w i t t 算子等，本文研究了梯度算子、拉普拉斯算子、p r e w i t t 算子对玻壳图象进行锐化处理的方法。1 梯度算子的应用各象素点在各个方向上的一阶差分是不同的，梯度算子用垂直方向和水平方向的一阶差分计算最大差分方向。设图象为f ( x ，y ) ，定义f ( x ，y ) 在点( x ，y ) 的梯度矢量为g i f ( x ，y ) g 【，( x ，y ) 卜【8 2 7 0 xo f o y 1( 2 6 )梯度的两个重要性质是：( 1 ) 梯度的方向是在函数“x ，y ) 最大变化率方向上；( 2 ) 梯度的幅度g 【f 旗，y ) 】可表示为：p ( 州= ( o f & ) 2 + ( o f o y ) 27 胆( 2 - 7 )由此式可知梯度的数值就是f ( x ，y ) 在其最大变化率方向上的单位距离所增加的量。另外，梯度幅度具有各向同性和旋转不变性，梯度的差分形式为：p ( 厂) i ：i a f 6 x ) 2 + ( 妙) z 2= ( ，厂) 2 + ( 。厂) 2 】”2( 2 8 )式( 2 - 8 ) 称为锐化的梯度算子。其中：，f = 6 f 血= f ( x + 1 ，y ) 一f ( x ，y )。，= ，1 a y = f ( x ，y + 1 ) 一f ( x ，y )将式( 2 9 ) 、( 2 1 0 ) 代入( 2 - 8 ) 有：f 2 9 1f 2 一l o )i g ( 厂) l = i f ( x ，y ) 一f ( x + l ，y ) 1 2 + i f ( x ，j ，) 一f ( x ，y + 1 ) l2 “2( 2 1 1 )为了加快运算速度，简化式( 2 - - 1 1 ) 的形式，可以采用以下形式。g i r l = f ( x ，j ，) 一f ( x + 1 ，y ) i + l ，( x ，y ) - f ( x ，j ，+ 1 ) ( 2 1 2 )玻壳图象用梯度算子处理的程序流程如图2 - - 6 所示。天津科技大学硕士学位论文分配内存，地址指针分别为i m g ，t e m pi读入图象到内存按行列扫描象素并运算lt e m p 【y 】f x 】_ f j m g 【y 】【x 】 i m g 【y 】 x + 1 】j m g 【y 】【x 】i m g 【y + 1 】【x 】fl返回处理后的数据指针t e m plf结束图2 - 6 梯度算子流程图2 拉普拉斯算子的应用拉普拉斯算子是二阶微分算子，它是一个标量，不是向量。定义为：v 2 厂= 警+ 警( 2 州)它是一个各向同性的算子，对灰度突变敏感。在数字图象中用差分近似拉普拉斯运算为：v 2 f ( x ，y ) = f ( x + l ，y ) + f ( x 一1 ，y ) + 厂( x ，y + i ) + f ( x ，y 1 ) 一4 厂( x ，y ) ( 2 1 4 )用模板表示拉普拉斯算子，如图2 7 所示。模板中的元素表示算式中相应象素的加权因子。01o 14l01o图2 7 拉普拉斯模板第二章机器视觉玻壳分类识别理论与方法的研究由于拉普拉斯算子是二阶差分运算，因此在灰度阶跃边缘的两侧均有响应。其值一边为正，一边为负，而对斜坡形边缘响应为零，并且在零值点的两侧也有一正一负两个峰值。不论是阶跃边缘还是斜坡边缘，这一j 下一负两峰值的大小及走向，反映了边缘的强弱及走向。玻壳图象用拉普拉斯算子处理的程序流程如图2 8 所示：分配内存，地址指针分别为i m g ，t e m pl读入图象到内存按行列扫描象素并运算lt e m p i y l l x 。l i m g y h x + l 】+ i m g y l x _ l 】+j i n g l y 一1 1 x 1 + i m g l y + 1 1 i x l 一4 i m g y l l x l li返回处理后的数据指针t e m pl结束l图2 8 拉普拉斯算子处理流程图3 p r e w i t t 算子的应用对图象f ( x ，y ) 考察它上、下、左、右相邻灰度值之差。据此定义p r e w i t t 算子如下：p ( x ，y ) = f a x 卅+ l ，卅= l f ( x 一1 ，y 一1 ) + f ( x 一1 ，y ) 十f ( x l ，y + 1 ) 一( f ( x - i1 ，y 一1 )一f ( x + 1 ，y ) 一f ( x + l ，y + 1 ) ) i + f f ( x 一1 ，y 一1 ) + f ( x ，y 一1 )+ f ( x + 1 ，y 一1 ) 一( f ( x 一1 ，y + 1 ) f ( x ，y 十1 ) 一f ( x + 1 ，y + 1 ) ) i( 2 1 5 )用模板表示a 。f ，a 。f ，如图2 - - 9 所示。圜囡图2 9p r e w i t t 算子模板p r e w i t t 算子利用象素点上下、左右相邻点灰度值差在边缘处达到极值的特点来检测边缘。该算子对噪声具有一定的平滑作用。玻壳图象用p r e w i t t 算子处理程序流程如图2 1 0 所示。分配内存，地址指针分别为i m g ，t e m pi读入图象到内存i按行列扫描象素并运算jt e m p y l x 】= i m g 【y l 】【x l l + i m g y + 1 1 x - l 】+ i m g 【y j 【x 1 卜( i m g y 】【x 十l 】+i m g l y + 1 】【x + 1 1 + i m g y - 1 x + 1 】) l + l i m g y q x _ l 】+ i m g y l 】【x 】+i m g y - 1 】【x + 1 】_ ( i m g y + 1 1 x - l 】+ i m g y + 1 1 x 】十i m g y + l l x + l 】) i返回处理后的数据指针t e m pj结束2 1 0p r e w i t t 算子处理流程图分别利用上述算子对玻壳图象进行处理，可增强图象中的目标边缘特征，三种算子图象处理效果如图2 1 1 所示。通过各种算子对玻壳图象增强效果比较，本文最终采用了p r e w i t t 算子用于玻壳图象锐化处理。兰三兰垫矍塑堂壁塞坌耋塑型型堡皇查鲨塑婴塑一图2 - 1 1图象锐化处理效果图2 4 2 玻壳图象的阈值分割方法【4 3 。4 4 玻壳图象经锐化处理后，目标区域的边缘信息得到了增强，进一步的处理是采用图象分割方法将玻壳图象目标信息从背景中提取出来。图象分割的方法包括很多神，比如闽值分割、区域提取等【4 “。闽值分割法因其实现简单、计算量小、性能稳定而成为图象分割中最基本和应用最广泛的分割技术之一。本文就采用阈值分割的方法来提取玻壳特征信息。图象阀值分割利用了图象要提取的目标物与其背景在灰度特性上的差异，把图象视为具有不同灰度级的两类区域( 目标和背景) 的组合，选取一个合适1 6天津科技大学硕士学位论文的闽值，以确定图象中每一个象素点应该属于目标区域还是背景区域，从而产生相应的二值图象，阈值分割不仅可以大量压缩数据，减少存储容量，而且能大大简化在其后的分析和处理步骤。由于本系统采用的图象传感器为黑白c c d ，图象采集卡的采集灰度级为f 0 - 2 5 5 ，所以拍摄到的玻壳图象为2 5 6 级灰度图象。玻壳图象目标区域在图象中表现为较暗的区域，背景表现为较亮，所以玻壳边缘灰度值与邻域象素的灰度值相比差值较大。因此采用灰度值特征来求取玻壳的阈值是一种最直接的方法。经过边缘锐化算子处理后的玻壳图象，目标和背景之间的灰度差异比较明显，利用图象阈值方法可以将图象分割为目标和背景两部分。记f ( x ，y ) 为图象( x , y ) 点处的灰度值，t 为灰度阈值，则用闽值对图象进行分割的准则即为：目标部分： 厂 ，y ) t 背景部分： f ( x ，力 t )阈值的确定非常重要，阈值过小会造成目标信息丢失，阈值过大会使目标中混杂许多背景信息，严重时可能造成目标分割的失败。本文对灰度直方图、微分直方图和迭代算法等阈值求取方法在玻壳图象区域分割上的应用进行了深入的研究，以达到最佳的效果。1 狄度直方图法在数字图象处理中，一个最简单、最有用的工具是灰度直方图。直方图概括了一幅图象的灰度级的内容。采用玻壳数字图象直方图获取办法，按某灰度级内的象素频数作出该图象的直方图，根据直方图的分布情况很容易确定它们的闽值t 。该方法是根据玻壳图象灰度直方图来进行阈值选取的。它适合于背景和目标的灰度值相差比较大的情况。由于灰度直方图是灰度级的函数，描述的是图象中具有该灰度级的象素的个数，其横坐标是灰度级，纵坐标是该灰度出现的频率( 或象素个数) 3 8 1 ，如式2 一1 6 所示。np ( f ) = 罟i = o ，i ，- 一，一i( 2 1 6 )v其中l 为图象的灰度级数，n 为图象的总象素数，p ( i ) 为第i 级灰度出现的频率，n 。为i 级灰度出现的个数。对于一幅仅含目标( 玻壳吊篮) 和背景的图象来说，由于目标和背景的灰度值有一定的差异，在直方图上表现为两个区域，在谷点对应的灰度值设为阈值，则可以将目标和背景分割出来。玻壳图象经差分算子处理后，基本符合这种情况。具体步骤如下：首先根据输入的数字图象，按某一灰度级的象索频数做出该图象的灰度直第二章机器视觉玻壳分类识别理论与方法的研究方图，由于目标和背景的灰度值都比较均匀，所以在直方图上呈现出两个波峰和一一个波谷，找出波谷的最低点所对应的灰度值，即为所要选取的阈值。如图2 1 2 所示。p图2 1 2 灰度直方图灰度级图2 1 2 纵坐标p 表示灰度级出现的频率( 像素的个数) 。该方法对于背景和目标较均匀的图象分割效果较好。但阈值的选择受环境光照的影响比较大。一方面，背景光分布不均匀时，既使物体与背景始终有明显的反差，但是在图象某一区域能将目标和背景区分开的阈值，在另一区域却可能会将目标当作背景去掉。另一方面，如果目标较小，其所占的象素数很少，则直方图有可能不呈双峰形。2 微分直方图法图象中的背景和目标的边界是位于灰度值变化较大的地方，微分直方图是一种不直接利用图象灰度值，而是利用它的微分值( 灰度的变化率) 来决定阈值的方法。微分直方图的波峰主要由边界象素组成，它是象素微分值最大的点，由于在玻壳与背景之间的边界处灰度值的变化较大，因此可以利用微分直方图来求取阈值，分割玻壳图象的目标信息和背景信息。微分直方图的做法如下：求取具有灰度级i 的象素的微分值，并将所有i级灰度的微分值相加做出直方图。实际计算时采用象素的差分近似微分值，即以象素点8 一邻域的最大差分值作为该象素的微分值，如下式所示。g ( x ，y ) = m a o l f ( x ，y ) 一f ( x ，y ) l( 2 - 1 7 )其中f ( x ，y ) 是原始灰度图象中点( x ，y ) 的灰度值，“x ，y ) 表示点( x ，y ) 的8 邻域点，g ( x ，y ) 为处理后的结果。玻壳图象均匀的部分( 如背景) 所对应的各象素灰度差值较小，而目标和背景分界处的差分值大，所以微分直方图最高波峰所对应的灰度值就是边界灰度差值当中最大的。但是，如果图象包含高频噪声时，采用该方法求取闽值容易出现偏差。3 迭代算法求取图象阈值【3 5 】【4 1 1利用迭代算法的步骤：1 ) 出图象中的最小和最大灰度值z l 和z k ，令t 。= ( z i + z k ) 2 ；j。茂j天津科技大学硕士学位论文2 ) 根据阈值t k 将图象分割成目标和背景两部分，求出两部分的平均灰度值z o 和z b ：z ( i ，j ) n ( i ，j )z 0 = 业专而厂厶、z ( i ，) ( 一z ( f ，) n ( i ，)z b = 坐裔一7z ( i j ) ) r式中z ) 是图象上( “j ) 点的灰度值。3 ) 新的阈值：t ”1 = ( z o + z b ) 2 ；4 ) t r - - _ _ t k ”，则结束，否则k k + 1 ，转步2 。使用闽值是一种常见且重要的区域分割技术，利用上述几种方法求取阈值，进行图象分割取得了较好的效果。但是，由于图象噪声的影响，利用灰度直方图法与微分直方图法求取阈值将会出现偏差。迭代算法仅需求图象中目标物体与背景的对比，而对其灰度直方图中分别代表物体和背景的两个“山峰”的大小比例，分布形状没有限定，通过计算可以求得合理的二值化阈值。如图2 1 3所示为利用迭代算法的图象阙值分割处理效果图。图2 1 3 迭代算法图象闽值分割处理效果图4 多窗口实时阈值法由于工业现场中各种变化的光线照射到半透明物体上会使采集到的图象整体亮度有所变化，就造成了灰度值的变化。所以图象整体灰度值与各个局部的灰度值就发生了变化，但是各个局部灰度值的变化幅度不一样，这就造成了光线变化以后，局部灰度值的变化与整体灰度值的变化幅度有了偏差，在这种情况下很难用一个固定的整体阈值对整副图象进行处理，这会造成后续测量的误差增大。为了防止这种自然光线和一些车间其它光线变化而造成的误差，应选择一种与背景相关的可变阈值对物体进行检测，本课题采用了多窗口实时阈值法，这种方法也基于图象中物体边缘和背景间具有一定的灰度反差。采用这种方法，阈值的大小不仅是背景灰度的函数，也应是图象上不同区1 9笙三童塑鲎望茎塾查坌耋望型墨堡望查鎏竺塑窒域位置的函数，即t i = f ( g i ，l i ) 。其中t i 表示c c d 图象上不同区域内的合理闽值，o i 表示相应区域内背景灰度均值，l i 表示图象上的不同位置。为此，对一副图象进行物体检测时应先将图象分割成若干个区域。如图2 - 1 4 所示的a 、b 。图2 1 4 图象多面口划分不葸图在每个区域中开辟一个或多个背景窗口，如图2 1 4 中，a 、b 、“d 将区域a 划分为4 个窗口。窗口内象素个数为m x l l ，其中m 为窗口长，n 为窗宽，对每个窗口的m n 个象素统计出各自的灰度值，根据迭代算法求出每个小窗口的闽值。每个小窗口根据相应的阈值进行图象边缘检测处理。不同窗口内灰度的均值表明此区域内背景光照度的变化，这样的阈值将随不同区域的位置及相应位置窗口内灰度均值而变化，有效解决了背景板光照的不均匀对提取物体边缘带来的不利影响，因此这种阈值的选取方法具有适应性和柔性，可以有效克服工业图象实时处理中背景光照度实时不均匀变化对提取物体边缘轮廓所带来的困难。2 4 3 特征提取经过上述图象预处理、锐化、阈值分割等一系列的操作，提