（计算机应用技术专业论文）实时布匹瑕疵检测技术研究.pdf

摘要 由于布匹瑕疵的多样性和复杂性，使得当前已有的瑕疵检测系统效果不够理 想。所以如何提高瑕疵检测和分类的准确性成为实时布匹瑕疵检测系统的关键所 在。 在瑕疵的检测方面，本文采用了基于具有较好的时频局部特性的g a b o r 滤波 器的纹理分析方法。通过在多分辨率和多方向上分别对图像进行g a b o r 滤波，再 进行图像融合与重建，把瑕疵区域从布匹背景中提取出来。浚算法计算量小、性 能稳定、瑕疵检测率高( 达到9 5 ) 。 在瑕疵分类方面，本文采用了基于前馈神经网络结构式( b p ) 的自学习算法， 实验结果表明，这种方法可以有效地提高分类效果，使之符合用户的需求。本文 还讨论了支持向量机( s v m ) 学习方法，并用于布匹瑕疵的分类过程中，通过实 验数据显示了s v m 方法在理想条件下取得了优于其它机器学习方法的性能。 关键词：布匹瑕疵检测和分类，( ；a b o r 滤波器，b p 神经网络，支持向量机 a b s t r a c t b e c a u s eo ft h e v a r i e t ya n dc o m p l e x i t yo ff a b r i cd e f e c t s ，t h e p e r f o r m a n c eo ft h ec u r r e n tf a b r i cd e f e c td e t e c t i o ns y s t e mi sn o tg o o d e n o u g h t h ek e yp o i n to fr e a l t i m ef a b r i cd e f e c td e t e r t i o ns y s t e mi sh o w t oi m p r o v et h ea c c u r a c yo ff a b r i cd e f e c td e t e c t i o na n dc l a s s i f i c a t i o n t h i sp a p e rp r e s e n t sam u l t i - c h a n n e lg a b o rf i l t e rs c h e m ef o rf a b r i c d e f e c td e t e r t i o n at e x t i l ei m a g ei sp r o c e s s e db yu s i n gt h eg a b o r f i l t e r s w i t hm u l t i s c a l ea n dm u l t io r i e n t a t i o na n dh e r e b yf o r mm u i t i i m a g e s t h e n t h ei m a g e sa r er e c o n s t f u c t e di n t oo n ei m a g ef o rd e t e c t i n gd e f e c t s t h e e x p e r i m e n t a l r e s u l ts h o w st h a tt h e a l g o t i t h m i s r o b u s t a n d c o m p u t a t i o n a l l ye f f i c i e n t t h eo v e r a lld e t e c t i o nr a t ei s9 5 t oc l a s s i f yt h ed e f e c t se f f e c t i v e l y 。an o v e ll e a r n i n gm e t h o db a s e d o nb pi s e m p l o y e d e x p e r i m e n t ss h o w st h a tt h ep r o p o s e da p p r o a c h e f f i cje n t l yi m p r o v e st h er e s u l to fc l a s s i f y i n ga n dw e l lf u l f i l l st h eu s e r s r e q u i r e m e n t i nt h i sp a p e r ，w ea l s o in t e g r a t es v mi n t ot h e1 e a r n i n g p r o c e s so fd e f e c tc l a s s i f i c a t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a ts v m a p p r o a c ha c h i e v e sb e t t e rp e r f o r m a n c et h a no t h e rt e c h n i q u e sb a s e d o n m a e h i n ev i s i o n k e yw o r d s ：f a b r jcd e f _ e c t sd e t e c t i o na n dc l a s s j f ic a t i o n g a b o r f i l t e r ，c l a s s if i e fb a s e do nb p ，s u p p o r tv e c t o rm a c h ir e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得玉洼至些盔堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意。 学位论文作者躲犯把 签字日期脚胗月? 同 学位论文版权使用授权书 本学位论文作者完全了解丞洼里些盘堂有关保留、使用学位论文的规定。 特授权丞洼互些盔堂可以将学位论文的全部或部分内容编入有关数据库进行 检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名 签字r 期：午 荻班 m 1 ) - a 2 ? i - 1 导师签名 签字h 期： 。寸年月2 7 同 学位论文的主要创新点 一、基于6 a b o r 滤波的瑕疵检测并行算法，该算法通过在多分辨率和多方向上 分别对图像进行6 a b o r 滤波，建立会字塔图像表示结构，再对滤波后的多幅图像 进行融合与重建，把瑕疵区域从布匹背景中提取出来，实现对布匹瑕疵的实时检 测。 二二、研究了布匹瑕疵的分类问题，从机器学习的角度给出了模型，将瑕疵类型 的学习过程看作机器学习中的分类问题，并将s v m ( 支持向量机技术) 用于布匹瑕 疵的分类过程中。 第一章绪论 1 1 应用背景 第一章绪论 在纺织行业中，产品质量保证是一个相当关键的环节。对于匆匹生产厂家来 说，由于生产过程中机器设备的故障或者操作错误等因素的影响，生产出来的布 匹或多或少会存在一些问题。目的国内的大多数织布厂主要依靠专门的工人来发 现这些问题，其具体的检验过程可以描述为：在一定灯光照明条件下，工人控制 布匹的转动，用肉眼扫描检验台范围内的布匹，如果发现瑕疵则停止转动布匹， 判断瑕疵的类型并在相应的位置打上标记，同时在报告单上记录瑕疵的其它必要 信息，然后继续布匹的转动。待一卷布检查完后，工人就可以根据报告单上的统 计结果，对布匹的级别作粗略的评价，最后根扼御匹上标记的位置和类型，对出 现瑕疵的布匹进行处理。 通过人工的方法对布匹瑕疵进行检测存在很多方面的问题。首先是检测速度 的问题，人眼要想发现瑕疵，那么布匹滚动的速度就不能太快，一般不超过 1 5 m m i n ；其次，人跟的可视宽度有限，一般说来，布匹宽度在两米以上会使得 检测率大大下降：再者，人工检测的检测率本身就不高，再熟练的工人，也很难 使检测率突破8 0 ，而且检测的效率还会随工人工作时阳j 的延长而出现显著下 降；最后，人工检测需要过多的工人，而对这些工人进行培训使他们胜任检测任 务本身就需要较长的时间。因此一个实用的自动布匹瑕疵检测系统可以显著的改 善织布厂的生产效率和产品质量，提高产品的市场竞争力和生产的自动化水平。 个实用的自动布匹瑕疵检测系统，要想满足生产的需要，并为织布厂家接 受，必须具备如下一些基本特点： 1 ) 检测的准确率必须足够高。用机器检测替换人工检测的一个基本出发点就是 获取更高的检测率，一般说束，一个成熟的检测系统，其检测率应该可以达到 9 0 以上。 2 ) 检测的速度必须足够快。目前，国外的检测系统的检测速度最高可达 2 4 0 r e r a i n ，一般的速度都在1 2 0 n 1 m i n 到18 0 m m i n 3 ) 可检验的布匹宽度范围必须足够广。目前织布厂所生产的布匹宽度一般都在 i m 以上，最大可达4 m 以上。自动布匹瑕疵检测系统必须可以适用于这一范围 第一章绪论 内的任何宽度的布匹。 4 ) 系统成本。如果系统成本过高，则系统就很难投入商用。 5 ) 系统的可裁减性和扩充性。一方面，系统可以裁减，以便适用各种不同功能 需求的用户；另一方面，系统应该很容易扩充，以便为系统添加新的功能。 6 ) 操作简单，界面友好，良好的稳定性和容错能力。在生产车l l 白j 中，系统的工 作环境是比较恶劣的，系统必须相当稳定并具有较强的容错能力，才能满足工业 生产的要求。 总之，实现布匹瑕疵检测是实现织布行业生产自动化，提高产品质量的必然 要求，机器检测与人工检测相比有相当的优越性。因此，如何实现机器自动检测 并提高其性能就成了一个有相当研究价值和实用价值的课题。 1 2 基于机器视觉的自动布匹瑕疵检测系统 自动布匹瑕疵检测的实现方法很多，而最直接，应用最广泛的方法就是基于 机器视觉的方法，其基本原理与人工检测的方法类似，所不同的是人工检测通过 人眼获取布匹图像，并通过人脑的分析决策判断检测结果，而基于机器视觉的方 法采用摄像头获取图像，通过模式识别和人工智能的方法进行检测结果的判断。 从这个角度出发，我们可以将瑕疵检测定义如下：通过图像采集系统获取一定大 小的御匹图像，根据该图像所包含的信息判定该图像中是否包含瑕疵，在什么位 置，属于什么类型。以下是一些常见的瑕疵布匹图像。 ( a ) ( f ) ( c ) 图t1 一些常见的瑕疵布匹图像 ( e ) 第一章绪论 在人工检测的过程中，工人能够根据他所看到的布匹图像准确的判断瑕疵的 存在与否及其类型，是基于以下几个前提条件存在的基础上的： 1 ) 他知道无瑕疵布匹的基本特征。如果工人根本不知道无瑕疵布匹的基本特征， 他就无法对自己所看到的布匹做出任何判断。 2 ) 他对所有可能出现的瑕疵的特征是了解的，换句话说，他应该能够区分出任 何一种瑕疵，而且可以描述其特征。 3 ) 他必须具备一定的推理判断能力，能够将他所看到的瑕疵进行归类。因为同 一类型的瑕疵并不完全相同，他必须具备抽取同一类型瑕疵的本质特征，并以此 为依据对任何瑕疵进行匹配分类的能力。 对于基于机器视觉的自动检测系统来说，我们必须模仿布匹检验工人的学习 过程使我们的自动检测系统在丌始检测之耵也具备以上这些基本技能，否则， 我们就无法真f 做到布匹瑕疵的自动检测。实现一个基于机器视觉的自动柿匹瑕 疵检测系统，必须解决以下几个方面的问题。 1 ) 实时性问题。基于机器视觉的图像检测系统的一个显著特点就是计算量大， 而在自动布匹瑕疵检测系统中，布匹是以较快的速度不断滚动的。假设我们使用 的是2 0 4 8 象素米的线阵c c d 相机，图像为2 5 6 级扶度图像，布匹的滚动速度为 1 8 0 m m i n ，对于布匹宽度为2 m 的布匹，每秒钟处理的图像数据量就是2 0 4 8 2 2 0 4 8 3 2 4 m b 。显然，这对系统的处理速度提出了很高的要求。 2 ) 布匹图像特征提取问题。句匹图像不同于一般的简单物体的图像，它是纹理 图像，区分布匹的重要依据就是其纹理的不同，对图像纹理特征的提耿本身就是 一个复杂的研究课题，而对于布匹瑕疵检测系统来蜕，这一点显得更加重要。 3 ) 必须建立完备的瑕疵特征数据库。就如同人工检测时布匹检验工人头脑中已 经储存了足够的瑕疵特征信息一样，要想让机器能够识别多种不同类型的瑕疵， 则必须首先建立一个完备的瑕疵特征数据库，以便根据提取的瑕疵特征信息查找 浚数掘库来实现瑕疵的匹配。同时，这个数据库应浚是可以实时更新的，以便适 应特定的实际检测情况。 4 ) 必须具备推理和学习能力。一方面，根据瑕疵图像和瑕疵类别建立瑕疵特征 数据库以及根据无瑕疵布匹图像获取其纹理特征本身就是一个机器学习的过程； 另一方面，根据抽取的瑕疵特征去进行瑕疵的判定和分类是一个相当复杂的推理 过程，因为实时抽取的瑕疵特征往往和瑕疵库中的特征并不完全匹配。 1 3 研究现状 布匹的检测在国外是个比较活跃的课题，许多研究机构和企业已经在该领域 第一章绪论 从事了大量的研究工作，并且已经出现了一些性价比较高的商品化自动向匹检测 系统，如香港大学工业自动化研究所丌发了自动检测系统c a v i s ，美国的u s t e r 公司推出的u s t e rf a b r s c a n 列产品，b a r c o v i s i o n 公司生产的c y c o p s 自动如 匹瑕疵检测系统，以色列e v s 公司推出的i - - t e x 系列布匹瑕疵检测系统。下面 主要对一些典型的系统作些简单的介绍。 1 3 1l - t e x 系列布匹瑕疵检测系统 1 3 1 ，1 简介 i t e x 系列布匹瑕疵检测系统是以色列e v s ( e l b i tv i s i o ns y s t e m s ) 公司生 产的高性能产品，该系列产品主要包括i t e x l 0 0 ，i t e x 2 0 0 和i t e x 2 0 0 0 共三 种型号，其中，i t e x l 0 0 主要用于检测坯布，i t e x 2 0 0 主要用于检测单色布， 而i t e x 2 0 0 0 也是主要用于检测单色布，但是它的功能却较i t e x 2 0 0 强大的多。 i t e x 系列产品的检测速度可以达到3 0 0 m m i n ，检测的布匹宽度可达5 m 。它采用 的专利软件算法主要是模拟人类视觉系统的工作机理，可以学习布匹图像的纹理 和瑕疵的基本特征，其检测算法包括多个检测级别。一旦发现瑕疵，瑕疵的位置， 大小和类别将在一张瑕疵图上标明，同时，包含该瑕疵的- 4 , 块布匹图像将保存 下来以便系统操作员浏览和分析。 图11i - t e x 2 0 0 布匹瑕癍检测系统 1 3 1 2 工作过程 该系统的工作过程可以简单描述如f ： a ) 系统标定，以便系统可以检测某一特定类型的布匹。 b ) 被检测布匹通过布匹图像获取单元。 c ) 摄像机将布匹图像传输到计算机系统。 d ) 检测算法对布匹图像进行扣描分析处理，布匹图像中的不规则区域被看作瑕 第一章绪论 疵。 e ) 根据大小，方向，形状等对瑕疵进行分类，并判定瑕疵等级。 f ) 在监视器前实时显示瑕疵分布图和瑕疵图像。 g ) 记录所有瑕疵的相关信息，包括瑕疵的图像，位置，类别，大小，等级等。 h ) 如果必要，启动打标、报警等其它外围设备。 i ) 打印测试报告，并送相关部门处理。 i ) 检测员在工作台前重新核查瑕疵图像。 1 31 3 系统特点 i _ t e x 系列的自动和匹瑕疵检测系统是一个相当灵活，高效的系统。无论从 硬件，还是从软件的角度来说，它都可以称得上是世界领先。该系统的关键技术 就是它的专利软件系统，它模仿的是人脑和人眼在复杂景物中发现和跟踪物体的 能力，它能够学习无瑕疵布匹的图像特征，发现布匹上的瑕疵在图像上所反映出 来的主要变化，它不是简单的在布匹图像上发现瑕疵，对于每一个可疑的布匹图 像，它要进行多达5 0 次的测试，从而最终决定这一块句匹上是否有瑕疵。显然， 这个软件的数据处理量是相当大的，而且也是相当复杂的。 i j e x 系列的硬件系统同样相当出色，系统的每一处硬件几乎都是特制的， 专门为该系统而设计的，因此，能够更加充分的发挥硬件系统的性能。该系统采 用的是多摄像头，而且这些摄像头是与专业的摄像头生产厂家合作生产的专门 用于该系统的专用摄像头，从而使得采集图像的速度很快，且分辨率也很高。它 的图像处理计算机( v i s u a i m a g ec o m p u t e r ，v i c ) 也是定制的用于进行图像存 储，瑕疵检测，瑕疵分类，和检测后处理的并行处理机系统。由于v i c 是一套定 制的并行处理系统，如果用普通的个人计算机组成并行系统，要达到和它相同的 处理速度，大约需要2 0 0 0 台。 1 3 2u s t e rf a b r i s c a n 布匹瑕疵检测系统 1 3 21 简介 u s t e rf a b r i s c a n 是z e l w e g e ru s t e r 公司生产的一款自动布匹瑕疵检测系 统，早在1 9 8 3 年，该公司就丌始进行自动和匹瑕疵检测系统的研究，当时丌发 的系统名为u s t e rv i s oe e x ，并曾经在1 9 8 7 年的巴黎国际纺织机械大会上亮相。 但是该系统丌始时并不成功，其主要原因是受当是计算机计算能力的限制。随着 技术的不断进步和好的图像处理算法的提出，咳公司从1 9 9 6 年丌始了u s t e r f a b r i s c a n 系统的研究，目前该系统已经投入商用，其检测速度叮达1 2 0 米分 第一章绪论 钟，检测精度可达0 3 毫米，最大的检测宽度可达4 4 米。其价格大约为2 0 力 美会。 图13u s t e rf a b r i s c a n 自动布匹瑕疵植：剐系统 1 3 2 2 工作原理 该系统的照明系统有两个，一个采用反射光，一个采用透射光，使用时根据 实际情况选择其中之一，选择的根据就是布匹的厚度，瑕疵的类型以及检测系统 的工作阶段。在光源和运动着的布匹之上，是一个高精度的线阵c c d 相机阵列， 其个数一般为4 6 个，最多可达8 个，具体的个数取决于布匹的宽度。当布匹 转动时，这些相机连续不断的采集布匹图像，并将他们传送到处理终端。在处理 终端，必须事先设置好必要的检测参数，在检测过程中，系统可以实时显示瑕疵 信息，如果卷布匹检测完毕，系统自动中止检测过程，等待下一卷布匹检测开 始。 1 3 2 3 系统特点 u s t e rf a b r i s c a n 是一个性能相当不错的系统，其特点主要体现在以下几个 方面： 1 ) 系统具有很强的可重现性。对于同一卷布匹，即使在检测速度很高的情况下， 系统的检测结果几乎完全相同。之所以能够达到这一点，主要是因为系统的机械 控制部分相当精密，同时照明系统和图像采集系统的性能也相当不错，图像的分 辨率达到了9 象素平方毫米，最后，其系统定制的图像处理电路板也大大提高 了图像处理的效率，这些处理板的处理量至少相当于2 5 0 台现代个人计算机的处 理量。 2 ) 系统具有较高的检测率。对瑕疵检测来说，只有那些可分辨出来的瑕疵刊有 意义。定义检测率，不仅要考虑那些未检测出来的瑕疵所占的比率，也要考虑那 些没有瑕疵却误检出有瑕疵的比率。为提高瑕疵检测率，u s t e rf a b r i s c a n 主要 第一章绪论 从两个方面做了较多的工作。一是使用基于神经网络的学习系统，二是通过使用 f a b r i c l a s s 灵活的设置瑕疵检测的判断标准。系统的这种学习能力使得系统只 对特定的瑕疵特征敏感，而对其他与瑕疵无关的布匹特征不敏感。在每卷布匹检 测前，系统都需要学习布匹的特征此后，系统就可以根据这些基本参数进行瑕 疵检测了。 瑕疵的一个基本特征是其可见的不规则性，而其可见的标准就是它的大小以 及它与布匹的对比度。在u s t e rf a b r i s c a n 系统中，可以使用f a b r i c l a s s 来对 瑕疵进行分类和阂值的设定。对用户柬晚，这种设置是相当简单的，只在无瑕疵 标本和某类瑕疵标本图像上分别点击一下即可。 13 2 4 系统输出 该系统可以将检测结果形成一系列有用的报表和图形输出，主要包括标准报 表，瑕疵位置报表，瑕疵类型报表，u s t e rf a b r i c l a s s 报表，瑕疵编辑界面等。 1 3 3c y c i o p s 自动布a i r 疵检测系统 1 3 3 1 简介 c y c l o p s 是b a r c o v i s i o n 公司的产品，它不同于e v s 的i t e x 系统和u s t e r f a b r i c a n 系统的一个主要特点就是它的摄像头是可以移动的，因此，该系统可 以和织布机集成在一起并协同工作，而其他系统要么是离线检测，要么是在布匹 生产的最后一个环节检测。因此，装配有该系统的织布机可以在工作的同时根据 布匹的质量情况做必要的调整从而可以显著减少不合格布匹的数量。c y c l o p s 主要用作s y c o t e x 织布车间监控系统，所有的瑕疵信息都将被送到布匹质量数据 库中，由s y c o t e x 生成瑕疵图和布匹质量报告。c y c l o p s 的扫描头由摄像头和照 明系统两部分组成，其摄像头是基于c m o s 技术的，照明系统是为布匹结构和瑕 疵检测专门做了优化设计的，扫描头的移动速度一般为1 8 厘米秒。系统的算法 由两部分实现，一是专用的硬件，二是p c 机，其算法主要包括：摄像头和照明 系统的标定，布匹图像处理，边缘检测，图像的j e p e ( ；编码和瑕疵的存储。该系 统主要的技术指标包括：摄像头采用的是c m o s 工艺，精度为1 0 象素毫米，照 明光源采用的是红外l e d 灯，检测窗口大小为6 5 毫米4 5 毫米。以下是该系统 的简单示意图。 第一章绪论 图14c y c l o p si 陵噩e 柱j 则糸缆币惹图 1 33 2c y c i o p s 与织布机系统的交互 c y c l o p s 主要与织行机的微控制器进行交互。一旦发现瑕疵，c y c l o p s 将通 知织布机的微控制器，使其停止工作，从而阻止其继续产生瑕疵布匹，在它再次 工作前，必须保证导致瑕疵产生的问题已经得到解决，同时，通过分析浚瑕疵的 特征，可以对该瑕疵的特点进行进一步的限定。为方便于操作员，可以通过一个 指示灯指示机器是否因为出现瑕疵而停止。所有瑕疵信息，包括时问，同期，类 别最终都被送到主监控系统中的布匹质量数据库中，以便定位瑕疵在一卷布匹中 的位置，样式等信息，同时生成检测报告。检测系统和主监控台的连接方式相当 简单，就是一个简单的d u 7 p 网络接口，同时，系统内置的h u b 可以很方便的通 过t c p i p 协议与每一台织布机的微控制器进行交互。 1 3 4o a v i s 自动布匹瑕疵检测系统 香港大学的自动碲匹检测系统c a v i s 在布匹运动速度为1 英尺秒的情况下， 可以达到5 毫米的瑕疵检测精度。系统由六个相互独立的处理单元组成，它们并 行工作，分别负责检测定宽度的柿匹。处理单元使用c m o s 镜头采集图像，然 后把图像传输到p c 机中进行计算。全部算法由p c 机使用软件实现。 该系统的处理算法主要以g a b o r 滤波为基础。先对图像进行过滤和调整以提 高检测效果，再对图像进行瑕疵分割：最后对检察结果进行分析，从中提取瑕疵 几何特征以便于模式识别和分类。对于分类，采用了多层反馈的神经网络技术。 分类的硬件设置是基于总线结构的并行处理过程。首先，由于却匹检测要求数据 处理量大且快而采用了通过硬件和基于总线结构的并行处理方法来实施。其次多 层反馈的神经网络技术也给提高了分类的准确性。但是，对于神经网络，系统是 从经过检测处理得到的图像中提取几何特征绢成特征向量作为网络的输入值的； 第一章绪论 提取的特征如：整个瑕疵窗口的高度；整个瑕疵窗口的宽度：瑕疵所占面积对 整个窗口面积的比率：瑕疵窗i z l 中包含的瑕疵数目等。因为是对处理过的图像进 行的操作，难免会失去很多的瑕疵信息，从而导致i 段疵分类出现偏差。同时由于 是用c m o s 镜头采集图像，导致图像质量和采集速度都不够理想，不同镜头采集 图像的差异比较明显，这在一定程度上引入了比较大的随机性。另外，全部使用 软件实现算法降低了效率。 1 4 论文主要研究内容 图15 c a v i s 系统 本论文着重于对瑕疵检测及分类问题展丌研究，首先对瑕疵检测算法进行探 讨，使处理算法在提高速度的基础上更符合人的视觉感知特性；然后，对布匹瑕 疵的分类方法进行研究，从机器学习的角度研究如何学习和表示瑕疵的特征，从 而具有自我学习的能力。 本文第二章阐述了柿匹瑕疵检测系统的设计思想和工作原理，重点介绍了系 统的功能要求和结构组成 本文在第三章首先介绍瑕疵检测方法的基本原理和现有的各种瑕疵检测算 法，接下来叙述基于g a b o r 滤波的瑕疵检测并行算法，该算法通过在多分辨率和 多方向上分别对图像进行( ；a b o r 滤波，建立会字塔图像表示结构，再对滤波后的 多幅图像进行融合与重建，把瑕疵区域从布匹背景中提取出来，实现对布匹瑕疵 的实时检测。 第四章对布匹瑕疵分类从机器学习的角度给出来了模型，并对这方面的研究 现状进行了介绍和讨论。介绍了b p 网络的结构和学习算法，并对加速b p 网络收 敛速度的方法进行了介绍，提出了基于b p 神经网络的伟匹瑕疵分类算法 第一章绪论 第五章通过对s v m 学习方法和理沦的研究，将s v m 分类方法引八到布匹瑕疵 分类的学习过程中。实验表明，该方法在理想条件下取得了较高的分类效果。 第六章从软件设计的角度出发，介绍了整个软件系统的工作流程，各模块的 功能和软件实现技巧，以及系统内各模块之l 日j 的关系。p c i 驱动设计是整个系统 软硬件的接口，本章对陔部分的设计与丌发进行了详细介绍。 最后一章对本论文的主要内容进行了总结，并提出了下一步需要解决的问题 和未来的研究方向。 第二章自动布匹检测系统的组成和功能 第二章自动布匹检测系统的组成及功能 自动布匹检测系统需要在实时的条件下对转动布匹上可能存在的多种瑕疵 进行快速、有效的检测并对出现的疵点进行辨认，同时把相关的信息反馈给操作 员。该系统的结构设计要满足其功能需要，本文将在下面的内容中对系统的设计 进行简要的介绍。 2 1系统分析 21 1 检测过程分析 在设计自动布匹检测系统之前，我们先研究一下人工的检测过程：在一定灯 光照明条件下，工人控制靠匹的转动，同时用肉限扫描布匹幅度大小的地方，如 果发现瑕疵则停转布匹，然后根据出现瑕疵的类型在相应的布边上打标记：随后 在报告单上记录瑕疵出现的情况，然后再继续稚匹的转动。待一卷布检查完后， 工人就可以根据报告单上的统计结果，对柿匹的级别作粗略的评价。在最后的处 理阶段，则由工人根据布匹上的标记类型，对出现瑕疵的地方做尽可能的修补。 可见人工的整个检测过程包括人眼扫描布匹，查找瑕疵，根据疵点类型作标 记，统计疵点这四个部分。为模拟人工检测过程同时克服其缺点，实现用计算机 处理，自动探测、定位并进一步评估布匹上疵点的功能，我们设计的这套自动布 匹检测系统首先要能在布匹以一定的速度转动时，系统获得稳定清晰的图像，作 为布匹检测的输入；其次，必须能以足够的速度对获得的图像数据进行处理，定 位出瑕疵的位置并能实时显示瑕疵图像，设置打标记单元和报警单元；同时，系 统能对检测出的瑕疵进行类别划分，具有一致的、可靠的质量划分标准；最后， 系统要能对出现的瑕疵信息进行存储，以便对其进行分析和统计，完成检测的报 告。 2 1 2 系统功能要求 系统实现的关键在于如何提高计算机剥布匹图像的处理速度和精度，从而满 第二章自动布匹检测系统的组成和功能 足如下一些对系统的功能要求： - 实时。也就是要及时跟踪布匹传输，及时发现瑕疵，具有远远高于人的检测 速度。 一灵敏度。即要能快速准确地鉴别和分出大小、方向、形状各异的瑕疵类型。 _ 精度。要能精确区分不同类型瑕疵的量的特性，保持一致和可靠的质量标准。 灵敏度是区分瑕疵类型，而精度是对区分出来的瑕疵进行量的度量。 - 速度。要能在最快的时间内对数据进行处理、输出和反馈。 一稳定性。系统对新引进的布匹纹理模式要具有可扩充性。并且系统要在整个 的检测过程中保持性能的稳定和持续性。 对这些功能要求，我们做几点预先说明。第一，数据处理量很大，实时实现 比较困难。比如布匹以1 m s 的速度运行，用c c d 照相机扫描的话，图像数据就 得以每秒5 一1 5 兆字节的速度进行处理。因此关于实时，仅通过软件系统实施还 不够，还要在一定程度上求助于硬件系统。第二，关于灵敏度和精度，这关键在 于如何找到一个高效快速的分类算法，即多样性瑕疵检测和瑕疵分类的算法。第 三，关于速度和精度，这当中有一定的矛盾。由于要进行实时的二维图像处理， 系统的运算量非常庞大，而为了提高对瑕疵检测的精度又要以加大时间耗费为代 价。这样，要提高速度就会降低精度，要提高精度就会降低速度。为了解决这个 矛盾，在设计此方案时除改进以往的串口算法外还要考虑模块之间的并行处理算 法。 通过本文上面的分析，现设计系统具体功能如下： - 对以0 5 3 米秒转动的布匹( 布幅1 l o c m ) 表面进行扫描，采集图像信息。 _ 对采集的图像信息进行处理，鉴别出布面上可能存在的2 5 种疵点。 布面检测解析度达o 3 毫米。 - 记录并输出疵点信息，包括疵点的种类、位置及尺寸。 _ 对记录的疵点信息数据进行统计、分析及处理，并可以显示、打印相关报表。 2 2 系统结构设计 2 ，2 1系统结构 由上面的内容中，我们分析了布匹检测的一般流程以及布匹检测对自动化系 统的一般要求，并简单探讨说明了这些要求在技术实现上的表现。 下面本文从正面来探讨一下自动化检测系统的系统构成，使系统在整个的检 测过程中保持性能的稳定和持续，以及操作简单性。现设计布匹检测系统结构图 第一章白动布匹检测系统的组成和功能 如图2 1 所示。 标准样本 预处理 i | | 预处理参数 布匹 忖 瑕疵 特征 瑕疵 图像 斟像，i f 瑕鬟蓑测f 区域，f 特簇蒺取f 向鼙 瑕篙姜类f 信- p c 采集 端 模块 十l 瑕疵 il 信息 布匹信息数据库 幽2 1 布匹检测系统结构幽 出图2 1 可见本套瑕疵检测系统由图像采集、图像预处理、图像分析、瑕疵 分类和用户界面血大部分组成。其中瑕疵检测部分和瑕疵分类部分为系统核心模 块。瑕疵检测部分负责对采集到的和匹图像进行分析，分割出布匹上的瑕疵。分 类部分则负责对检测阶段检测出的瑕疵进行类别确定。在系统运行前需要先处理 布匹的标准样本( 无瑕疵样本) ，得到一些标准参数，为系统检测瑕疵做准备。 处理过程中所获取的瑕疵类别特征、数量、位置等信息被保存在一个布匹信息数 据库( i n s p e c t e dt e x t l e si n f o r m a t i o nd a t a b a s e ) 中可供输出和查询，以 便后期有关人员根据当前瑕疵的主要分布对御匹生产进行相应的调节。同时检 测、分类的结果也将反馈到信息数据库中并进行存储。其中输出模块负责对瑕疵 的检测过程进行实时显示，并接受操作员的请求和应答。 2 2 2 系统模块组成 根据系统的功能要求，现在对系统组成模块进行具体的介绍。 ( 1 ) 图像采集模块 图像采集部分包括b a s e r 线性c c d 镜头、s i g m a 光学镜头、m a t r o x 多通道 图象采集卡、高频高亮度线性光源和布匹传动装置。图像采集模块负责为系统提 供一个稳定清晰的采图装置，束获取高清晰度高分辨率的二维图像，并将采集到 的图像传送到p c 机内存中。 由于布匹中某些瑕疵比较细微，因此要求图像分辨率在2 p ix e l m m 以上，并 第二章白动布匹检测系统的组成雨功能 要求采集的图像具有较高信噪比。目前常用的图像获取装置有c c d 和 c m o s ，c m o s 虽然功耗低，但其技术尚不成熟，成像质量不如c c d ，特 别是成像质量受环境变化影响大。因此我们选用由德国b a s l e f 公司生产 的线性c c d 镜头。这个系列的镜头是专门为工业生产设计的。本系统中使用的型 号是l 1 0 3 2 k ，它的图像线分辨率为2 0 4 8 像素，行频率为4 0 9 6 。因为布匹宽度 为1 1 米，运行速度为0 5 米秒到2 米秒所以瑕疵检测精度可达到0 5 毫米。 完全满足生产需要。本模块使用m a t r o x 图像库( m a t r o xi m a g el i b r a r y ) 来实 现。在m a t r o xm ill i b r a r y 的基础上利用其接口函数完成包括采图在内的所有 与c c d 镜头相关的操作：并且将采集到的图像组成帧，便于下一阶段的处理。 光学镜头采用闩本s i g m a 公司生产的普通光学镜头。主要功能是把外界光传 送给c c d 感光镜头，从而对待检测布匹成像。该镜头的光圈范围是o 5 米到无限 大：焦距是1 7 3 5 毫米：最小成像距离为o 5 米，最大成像角度6 0 0 。 系统中使用的m a t r o xm e t e o ri id i g i t a l 是加拿大m a t r o x 公司生产的多通 道高速图像采集卡。它的功能非常强大具有以下特点：能够通过镜头获取 r s 一4 2 2 或l v d s 等多种制式的数字时频信号：支持4 8 b i t ，2 i g b i t 或者l 3 2 b i t 的数掘格式，因此它最多可以同时传送4 路并行的4 x 8 h i t 黑白或一路r g b 的彩色视频信号：m a t r o ) 【m e t e o r iid i g i t a l 是基于p c i 总线的板卡，允许把 实时的数字视频信号传送到p c 机内存或者撞卡的显存内；为防止传输过程中由 于p c i 总线阻塞而丢失数据，板上提供了4 m 字节的缓存，可以用来暂存数据； 随同采集卡还有专用的图像采集软件工具包。使用该工具可以方便高效的采集视 频信号。 ( 2 ) 瑕疵检测模块 本模块负责对采集到的布匹图像进行处理，确定有无瑕疵，最终得n - 值化 的瑕疵图像。 瑕疵检测的重点是把瑕疵从布匹中分离出来，也就是纹理分割问题。在系统 中我们采用了多尺度( 多通道) 多方向的g a b o r 变换，这种方法模仿了人类视觉 系统的早期工作原理。对采集得到的图像在4 个尺度，4 个方向上进行两个一维 的g a b o r 变换，得到1 6 幅变换图像。接下来的工作是重建目标图像，即生成瑕 疵检测的结果。先把同一尺度下4 幅不同方向的图像进行叠加，得到4 个不同尺 度的结果，最后把这4 个结果叠加，就得到我们想要的结果。当然，在整个变换 过程中，要对图像进行相关的处理，以消除噪声和提高图像稳定性。 在设计好滤波器的算法后，先用软件进行模拟试验，验证检测效果；最后再 将算法固化在f p g a 上进行实现，加快运行速度。 ( 3 ) 分类器模块 第二章白动布眄检测系统的钔成硐功能 本文详细地介绍了b p 网络的结构和学习算法，并对加速b p 网络收敛速度的 方法进行了介绍，提出了基于b p 神经网络的靠匹瑕疵分类算法。 在引入了基于b p 的神经网络学习方法后，就可以借助神经网络进行理论分 析。在此基础上，我们通过对支持向量机学习理论的研究，将支持向量机方法引 入到瑕疵分类中，以便于在统计学习理论的支持下对布匹瑕疵的分类进行研究。 支持矢量机( s v m ) 在统计学习理论的指导下，对于有限的训练样本，能够 构造出推广能力很好的分类器。采用这种分类器，对布匹瑕疵进行分类，取得了 很好的效果。 ( 4 ) 客户端 为方便用户对整套系统的操作以及监控，对所有系统模块进行整合，系统提 供了一个直观的操作界面，使用户能够方便的控制整个系统的运行状态并且能够 及时得到相关的反馈信息。用户可以重新配置包括系统运行所需的参数，以达到 特定需要。另外，这一部分还包括显示模块和数据库模块两大部分。显示模块负 责对布匹运行进行p c 端模拟显示，为操作人员提供监控显示信息。显示模块采 用o p e n g l 库，用v c 十十6 0 进行丌发。数掘库模块则负责对检测出的瑕疵信息进 行记录。这罩使用的数据库采用, s o ls e r v e r 2 0 0 0 ，试验阶段数据量暂定在十力 数量级本部分的主要功能是存储检测出的瑕疵信息，包括瑕疵类型，位置，数 量等。 2 2 3 系统工作原理 系统在丌始布匹检测之前，要先对无瑕疵布匹样本进行处理以获得系统运行 所需要的参数，为瑕疵的检测和分类过程做好基础。在系统运行阶段，通过c c d 获取布匹图像，对其进行图像分析和处理，利用g a b o r 滤波器的方法检测瑕疵的 存在与无；如果发现瑕疵则定位瑕疵的位置，对瑕疵进行特征提取，进行瑕疵类 型分析。若没有瑕疵继续进行下一幅图像的采集。同时操作员可以通过用户接口 对系统的检测情况进行实时监控。下面我们用一个例子来展现一下系统的大致工 作流程。本文所用的图像样本都是在系统实验条件r 产生的。系统中样本图像尺 寸皆为5 1 2 5 1 2 大小，扶度采用8 级厌度，2 5 6 色。图2 2 ( 。) 为标准样本( 无 瑕疵) ，首先利用标准样本计算出一砦标准参数。 第一章白动布匹检洲系统的组成利功能 阳j 标准朴奉( cj 滤波器处j 坐 图22 系统i 。作原理不意例 然后对采集到的瑕疵样本进行处理，如图2 2 ( 6 j 所示为一瑕疵样本：通 过瑕疵检测算法处理后的图像如图2 2 ( c ) 所示：为便于查看，再对滤波后的 图像进行二值化处理，效果如图2 2 ( d ) 所示，图中自点为瑕疵存在的地方； 最后还要对瑕疵图像进行后处理，如膨胀细化除掉噪声干扰，增强瑕疵的对比效 果，最终处理结果如图2 2 ( e ) 所示。 由上图可看出，经过检测模块的处理，布匹中瑕疵已经被检测出来了。可以 应用处理结果对瑕疵点进行尺寸判断，定位。接着进行瑕疵分类模块的处理。将 分离出的瑕疵图像输入到特征提取器中，由特征提取算法计算出本瑕疵的若干种 特征值。再将特征值送入分类器中，由分类器根据瑕疵特征库中记录的数掘对瑕 疵进行分类，得到最终结果。 2 3结论 为了能模仿人类的视觉机制，提供快速、有效的仃匹瑕疵检测手段，本章阐 述了布匹瑕疵检测系统的设计思想和工作原理，重点介绍了系统的功能要求和结 构组成。整个系统主要出图像采集、图像检测、瑕疵分类、结果输出及疵点数据 库五大部分组成，本文对各个模块的功能要求及技术要求提出了可行的实现依据 和实现方案。 第二章布匹瑕疵检测算法 3 1 引言 第三章布匹瑕疵检测算法 在瑕疵检测领域中机器视觉的主要任务是把特征图像从背景中区分出来，这 就涉及到图象分割问题。图像分割是机器视觉研究领域中极为重要的内容，它涉 及到视觉信息处理的初期和中期过程。许多学者将机器视觉研究的重点放在诸如 s h a p ef o r mx 等问题上，这些技术都隐含地假设分割问题已经解决或者认为不 存在分割问题，而大量的实际问题说明这些假设是不币确的。不解决分割问题， 机器视觉技术就不可能成功应用在实际的瑕疵检测系统中。 本章第二节简要介绍目前已有的主要瑕疵检测算法，并着重介绍了基于 g a b o r 滤波器的纹理分割算法的主要步骤和实现方法：第三节简单介绍基于机器 视觉理论的瑕疵检测算法基本原理：最后对本章内容做了简单的总结。 3 2 研究现状 近二十年多年束，研究人员提出了许多不同的基于机器视觉的检测方法，这 主要体现在不同的分割算法上。分割算法主要分为四种：基于扶度同现矩阵的统 计方法、基于傅立叶变换的检测算法、基于g a b o r 滤波器的纹理分割算法和基于 香农( s h a n n o n ) 小波分解的纹理主频检测方法。下面本文将对这些方法以及它 们在布匹瑕疵检测中的应用进行了简单的介绍，最后给出了系统所采用的基于 o a b o r 滤波器的瑕疵检测方法，并与其它的方法在性能上进行了比较。 3 2 1 基于灰度同现矩阵的统计方法( s g l c ) 该方法使用狄度级同现矩阵来表示图像的狄度空间分布，通过优化参数的选 择柬达到提耿最大的纹理信息的月的。 扶度同现矩阵是根据图像象素之间的方向和距离构造的一个矩阵，它反映了 图像灰度分布关于方向、局部邻域和变化幅度的综合信息，但它并不能直接提供 第二章布匹瑕疵检测算法 区别纹理的特性。因此，为了能描述纹理的性质，有必要从灰度共现矩阵中进一 步提取描述图像纹理的一系列特性。 在使用此方法进行布匹瑕疵检测时，我们设定狄度同现矩阵p i ，j 是一个 二维的相关矩阵，它表示灰度绂i ，j 的两个象素按照一个位移矢量d = ( d x ，d y ) 的所有象素对的个数。扶度缴可取0 ，l ，n ，其中d 的初值一般设为( 0 ，1 ) 、 ( 1 ，1 ) 、( 1 ，0 ) 等，因此为了获得尽量大的纹理信息，就要产生很多个s g l c 矩阵。然后根据公式：计算出各个狄度同现矩阵的元素特征矩阵( e f m s ) 。 f = ，乞= ，( 3 - t ) 其中，彬为权值函数，可以根据不同纹理信息而设定，本文在算法实现时， 使用了矩阵的4 个特征值：能量、熵、对比度和均匀性，将它们作为一个子集。 将各个灰度同现矩阵的凡4 - 目d i ：l 便得到元素特征矩阵e f m s 。它也可以做为以后瑕 疵分类模块的输入值。 最后再对元素特征矩阵e f m s 进行测试，以确定最大含有布匹纹理信息的 矩阵。计算方法如下： 序，in f , , 而n f , o f o j1 2 y 眨 序，_