（通信与信息系统专业论文）基于小波和统计学习理论的布匹瑕疵检测与分类技术研究.pdf

摘要 布匹瑕疵检测作为一种质量保证手段目前主要通过人工来完成，工作强度大 且效率低下，采用自动化的机器检测成为一种合理的选择。本文研究了布匹瑕疵 自动检测与分类的算法，主要工作如下： 奇异值分解( s v d ) 是一种有效的代数特征提取方法，本文首先研究了基于 s v d 理论的瑕疵检测与分类算法。瑕疵检测阶段，充分利用奇异值分解所生成的 奇异值和奇异值特征向量信息，实现瑕疵分割；提取瑕疵区域基于奇异值的特征， 应用b p 神经网络分类器实现瑕疵分类。 针对布匹瑕疵的不规则形状和纹理特征，本文研究了一种基于g a b o r 小波网 络( g w n ) 和支持向量机( s v m ) 的瑕疵检测与分类算法。应用g w n 模拟逼近布匹图 像的背景纹理，构造最优g a b o r 滤波器，实现瑕疵分割；提取基于灰度共生矩阵 的瑕疵特征，应用s v m 实现了瑕疵分类，取得较好的检测和分类效果。 针对较难检测的轻微瑕疵，本文又单独研究了一种基于平稳小波变换( s w t ) 和非下采样方向滤波器组( n s d f b ) 的瑕疵检测算法，将多尺度分解和多方向分解在 两个步骤中独立的进行，允许在不同的尺度上选择分解不同的方向数，提供了一 种灵活的多尺度和多方向展开，应用s v m 构建二分类模型，实现瑕疵分割。 关键词：奇异值分解g a b o r 小波网络支持向量机平稳小波变换 非下采样方向滤波器组 a b s t r a c t a sam e a n so fq u a l i t y , c l s s u r a n c e ，f a b r i cd e f e c td e t e c t i o ni sm a i n l yd o n eb yh a n d ， w o r ki n t e n s i t ya n dl o we f f i c i e n c y , i t sag o o dc h o i c et oc h o o s ea u t o m a t e dm a c h i n e i n s t e a d i nt h i sp a p e r , w e i n v e s t i g a t et w oa s p e c t s ：f a b r i cd e f e c td e t e c t i o na n d c l a s s i f i c a t i o n t h em a i nw o r ki ss h o w na sf o l l o w i n g ： s i n g u l a rv a l u ed e c o m p o s i t i o n ( s v d ) i sa ne f f e c t i v ea l g e b r a i cf e a t u r ee x t r a c t i o n m e t h o d f i r s t l y , t h i sp a p e rs t u d i e st h ed e f e c td e t e c t i o na n dc l a s s i f i c a t i o na l g o r i t h m s b a s e do ns v d i nt h ed e f e c td e t e c t i o np h a s e ，w em a k ef u l l u s eo ft h ei n f o r m a t i o n g e n e r a t e db ys i n g u l a rv a l u ed e c o m p o s i t i o n ，i n c l u d i n gt h es i n g u l a rv a l u e sa n ds i n g u l a r v a l u ef e a t u r ev e c t o r s ，t oa c h i e v ed e f e c ts e g m e n t a t i o n t h e nw e e x t r a c tf e a t u r e sb a s e do n s i n g u l a rv a l u ea n da p p l yb pn e u r a ln e t w o r kc l a s s i f i e rt oa c h i e v ed e f e c tc l a s s i f i c a t i o n f o rt h ei r r e g u l a rs h a p ea n dt e x t u r ef e a t u r e so ft h ed e f e c t s ，w es t u d yt h ed e f e c t d e t e c t i o na n dc l a s s i f i c a t i o na l g o r i t h m sb a s e do ng a b o rw a v e l e tn e t w o r k ( g w n ) a n d s u p p o r tv e c t o rm a c h i n e ( s v m ) w ea r ea p p r o a c h i n gt h eb a c k g r o u n dt e x t u r eo ft h e f a b r i ci m a g e ，a n dc o n s t r u c tt h eo p t i m a lg a b o rf i l t e rt oa c h i e v ed e f e c ts e g m e n t a t i o n t h e nw ee x t r a c td e f e c t sf e a t u r e sb a s e do ng l c m ，a n da p p l ys v mt oa c h i e v ed e f e c t c l a s s i f i c a t i o n i ta c h i e v e dg o o dd e t e c t i o na n dc l a s s i f i c a t i o nr e s u l t s f o rs o m em i n o rf l a w s ，w es e p a r a t e l y i n v e s t i g a t et h ed e f e c td e t e c t i o na l g o r i t h m b a s e do ns t a t i o n a r yw a v e l e tt r a n s f o r m ( s w t ) a n dn o n - s a m p l i n gd i r e c t i o n f i l t e r i n g b a n k s ( n s d f b ) i tc o m p l e t e si n d e p e n d e n t l ym u l t i s c a l e d e c o m p o s i t i o na n d m u l t i d i r e c t i o n a ld e c o m p o s i t i o ni nt w os t e p s i ta l l o w st oc h o o s et h en u m b e ro f d i r e c t i o n sd e c o m p o s i t i o ni nd i f f e r e n ts c a l e sa n dp r o v i d e saf l e x i b l em u l t i d i r e c t i o n a l a n dm u l t i s c a l ee x p a n s i o n k e y w o r d s ：s i n g u l a rv a l u ed e c o m p o s i t i o n g a b o rw a v e l e tn e t w o r k s u p p o r tv e c t o rm a c h i n e s t a t i o n a r yw a v e l e tt r a n s f o r m n o n - s a m p l i n gd i r e c t i o nf i l t e r i n gb a n k s 第一章绪论 第一章绪论 1 1 课题意义 布匹表面瑕疵点的检测定位与分类是现代纺织工业产品质量控制与管理中非 常重要的一个环节，但长期以来这项工作多数是由人工完成的。人工检测的自动 化程度和效率低下，而且易受熟练程度、疲劳程度和紧张感等主观因素的影响， 漏检和误检率高。如果加上区别瑕疵种类的时间，其效率还要大打折扣。因此， 产生了对布匹瑕疵自动检测与分类系统的强烈需求，它可以保证纺织品质量的前 提下提高生产效率。 随着计算机技术、数字图像处理以及模式识别技术的发展，机器视觉技术在 工业检测中得到了广泛的应用。通过图像处理技术和模式识别理论实现的自动化 布匹检测系统可以模拟人工检测与分类的过程，以机器视觉来代替人工视觉，不 仅可以提高检测与分类的速度，降低劳动成本，而且可以充分发挥计算机视觉系 统的稳定性，把工人从繁重枯燥的劳动中解放出来，提高整个生产流程的自动化 程度和纺织品行业的质量管理效率。总之，机器检测与人工检测相比有相当的优 越性，实现布匹瑕疵检测与分类的自动化是提高产品质量的必然要求。因此，如 何实现自动检测与分类并提高其性能就成了一个相当有研究价值和实用价值的课 题。本文主要以图像处理、模式识别相关理论为基础，完成对布匹表面瑕疵的检 测与分类算法的h 刊研究工作。 1 2 国内外研究现状及系统组成 布匹表面的瑕疵检测与分类是工业自动检测中的重要内容和比较活跃的课 题，长期以来得到国内外学者和研究机构的广泛研究与关注n 3 。基于机器视觉皿1 的 瑕疵检测与分类研究已经取得了许多成果，并且出现了一些商品化的自动布匹检 测与分类系统。 1 2 1 国内外研究现状 以色列埃尔博特公司推出的i - t e x 系列织物自动检测系统，可用于检测单色、 简单组织织物，能达到较快的验布速度。瑞士乌斯特( u s t e r ) 公司研制f a b r i s c a n 系 统，是一种用于自动监测织造过程中织物的扫描系统，系统采用神经网络技术。 比利 巴可( b a r c o ) 公司的c y c l o p s 布匹瑕疵在线检测系统使用嵌入式软件与其 2基于小波和统计学习理论的布匹瑕疵检测与分类技术研究 内部设计的专用硬件以及中型计算机相结合完成大量的图像处理运算。德国o p d i x 光电子技术公司开发的布匹自动检测系统是把力学和光学原理相结合，在神经网 络软件的支持下，用传感器对正在织造的织物表面进行检测。 国内一些高校和企业对布匹瑕疵检测的算法也进行了不断的研究1 。但是对于 检测系统的研究仍然处于起步阶段，各项技术都不成熟。香港大学研制了自动检 测系统c a v i s ，该系统采用g a b o r 滤波的方法对图像进行处理实现检测，分析检 测结果，提取几何特征，利用神经网络算法进行瑕疵分类。此外，陆锦军h 3 等人研 制了坯布微机测控系统，姜荣嫡3 等人提出了基于机器视觉的纺织品疵点检测系统 等。 1 2 2 系统组成 布匹表面瑕疵检测与分类系统结构如图1 1 所示，系统主要由三部分组成：第 一部分是数据采集部分，负责为系统提供一个稳定清晰的采图装置，来获取高清 晰度、高分辨率的二维布匹表面图像；第二部分是瑕疵检测模块，负责对采集到 的布匹图像进行处理，应用数字图像处理技术确定有无瑕疵和定位瑕疵；第三部 分是瑕疵分类模块，根据定位的瑕疵，提取瑕疵特征，运用模式识别理论对瑕疵 进行细分类。 系统的这三大部分是紧密联系、相辅相成的，涉及软件和硬件两个方面。软 件方面主要指一系列的图像处理算法和模式识别方法，大致包括瑕疵的检测定位 算法、特征提取方法和分类算法。本文主要围绕布匹瑕疵检测算法和分类算法等 部分展开研究和讨论。 皇墨u 瑕疵一 番考h 检茹煮块 模块i l 二= = l 匹配图像 特征 提取模块 烈t 分类模块 li 饫呒 l i瑕疵信息 i 布匹信息数据库 图1 1 布匹瑕疵检测与分类系统结构图 硬件方面主要包括摄像头、主机、机械传动系统等部分组成，如图1 2 所示。 在机器视觉相关的应用中，不同的摄像头因应用不同有着不同的传感器类型、分 辨率、读取输出速度、精度等，其扫描方式可分为线扫描和区域扫描两种；主机 蒹才绎 第一章绪论 是整个瑕疵自动检测与分类系统的控制部分，在其上运行着瑕疵检测与分类算法 软件，还要能够实时输出检测信息，从而控制机械部件做出合适的标记；传动系 统主要是机械部件，受主机的命令控制布匹的行进速度、方向，对布匹中瑕疵的 位置进行标记，控制摄像头的走动等。 哮擦j 图1 2 瑕疵检测系统硬件示意图 1 3 常用瑕疵检测算法介绍 布匹瑕疵检测与分类的一个难点是瑕疵种类多且形状各异，国家纺织工业标 准中已定义的织物瑕疵类型就有5 5 种，对于各种瑕疵特点的描述大都比较主观， 没有定量来说明瑕疵之间的异同，这也给瑕疵分类带来困难。大多数瑕疵检测方 法都是以纹理信息作为瑕疵检测的依据，布匹图像可以看作是二维的模式纹理， 纹理可认为是灰度( 颜色) 在空间以一定的形式变化而产生的图案( 模式) ，它是 由许多相互接近韵、互相编织的元素构成( 常富有周期性) 。图像中反复出现的局 部模式和它们的排列规则形成了图像的纹理，局部模式也称为纹理基元，图像纹 理特征既包含基元特征，也包含基元排列方式的特征。通常纹理特征是指亮度、 对比度、色调、频率、相位、方向性、规则性、粗细程度、随机性等，也可以具 有统计特征、频谱特征等。 根据纹理基元时3 的特征，可把织物图像的二维纹理模式分成1 7 组墙纸纹理， 构成纹理的最小单元称为纹理主题。文献【8 】中将纺织品瑕疵检测的方法大致分为 两大类：基于纹理主题的方法和基于非主题的方法，如图1 3 所示。基于纹理主题 的方法主要利用模式纹理的最小特征纹理主题，认为纹理样式的构成只是由 4 基于小波和统计学习理论的布匹瑕疵检测与分类技术研究 一种纹理主题( m o t i f ) 按照一系列排列方式构成，这种方法主要应用于花纹布等有 固定纹理图案( 或者纹理主题) 的纺织品瑕疵检测中。本文实验测试所用的布匹 图像均为实时采集的普通坯布图像，无明显的条纹图案，属于1 7 组纹理主题中的 普通编织品p 1 组。所以接下来主要讨论基于非主题的瑕疵此检测方法，它大致可 以分为以下五大类：基于统计、基于模型、基于频谱、基于学习以及基于结构的 方法。 基于非主题的检测方法 模式纹理瑕疵检测 模式纹理p 1 组检测法 il 其余墙纸组检测法 基于主题的检测方法 统计学ii 谱方法il 模型法i i 学习法| l 结构法 共生矩 阵、形态 学，分形 法引黧 换i i 神耋网i i 结篓方 图1 3 模式纹理的瑕疵检测方法 ( 1 ) 基于统计的方法 在统计学方法中，灰度的空间分布可以有很多种表示方式，比如自相关阻3 、灰 度共生矩阵n 0 1 、数学形态学方法n 和分形方法n 2 3 等。此类方法的代表是灰度共生 矩阵( g r a yl e v e lc o - o c c u r r e n c em a t r i x ) ，它反映了纹理图像像素之间的周期性和相关 性，是一种常用于表示纹理特征产生的统计类方法。灰度共生矩阵结合了容易计 算的纹理信息测量方法和图像灰度空间独立性，其特征是基于二阶统计量的，并 且测量了拥有相同灰度像素之间的相对距离和相对方向角，它假设图像的纹理信 息被包含在整体或者平均的空域关系中，即图像像素点的灰度值。文献 1 3 】中提出 了子带共生矩阵的方法，在3 6 幅普通织物图像上实现9 0 7 8 的检测率。 ( 2 ) 基于模型的方法 文献 1 4 】中指出二维图像的随机域是一个简单多变量函数的随机模型。基于模 型的方法大致可以分为两类：自回归模型和马尔科夫随机模型( m a r k o vr a n d o m f i e l dm o d e l ，m r f ) 。m r f 可以应用到很多图像处理领域，比如纹理分割n 副和分类 n 6 1 。这种方法能够克服不同图像中任意像素的灰度值与其邻域灰度值所具有的相 关性，一个像素的邻域总是有限的，因而精度也同样会受到一定的制约。c o h e n 第一章绪论 等人详述了基于高斯马尔可夫随机场模型的布匹瑕疵检测算法。 ( 3 ) 基于谱的方法 频率域可以更容易地解释纹理的特性。谱方法主要包括离散傅里叶变换、小 波变换( w a v e l e t ) 、g a b o r 滤波器以及滤波的方法等。多分辨率理论近年来得到极大 的重视并且已成功应用于瑕疵检测和特征提取，它通过在不同尺度上研究物体来 获得一个最优的变换结果，其代表是小波和g a b o r 滤波器。由于小波基的正交性， 故其分解后的图片之间是彼此正交的，不包含冗余信息。但另一方面，从时域和 频域同时来考察小波，其不能同时满足的时频不等式的下界，即不能从时域和频 域同时获得最优结果。文献【17 】中提出了一种小波分解和边缘融合的方法来削弱背 景纹理，同时突出瑕疵区域，在3 7 0 0 幅纺织品图像上测试，达到了8 9 的检测正 确率。 g a b o r 滤波器能够同时达到时频不等式下限，但其变换结果之间会存在一定冗 余。g a b o r 滤波器的应用一般有两种方式：( 1 ) 包含很多滤波器的滤波器组，其中 每个滤波器都预先设定好频率和方向等参数，使其有效的覆盖频率平面，此种方 法的计算量很大；( 2 ) 使用单一的方向和频率都最优的滤波器，但最优的方向和 频率很难求得。k u m a r 和p a n g 口蜘在三种框架中将g a b o r 小波特征应用到纺织品瑕 疵检测中，并获得很大成功；m a r k 和p a n g 鲫使用g a b o r 小波网络理论提取无瑕疵 布匹图像的最优的纹理特征，然后应用最优g a b o r 滤波器实现瑕疵检测，检测成 功率达到9 6 2 。 滤波的方法大致分为两种：基于傅里叶变换的频率域滤波和基于对像素直接 操作的空间域滤波，它们对噪声都很敏感。文献 2 0 】中使用一种多线性滤波器组( 包 括三个单独的卷积滤波器和一个一阶统计滤波器) 进行瑕疵分割，取得了9 0 以 上的分割成功率；基于b 样条函数的多尺度微分滤波器( m u l t i s c a l ed e r i v a t i v ef i l t e r , m s d f ) 埋在抑制背景纹理方面取得成功，但对于大尺度的瑕疵则产生些许失真。 ( 4 ) 基于学习 基于学习的瑕疵检测方法的主要代表是神经网络，一般使用结构原理和模板 ( m a s k ) 的方式提取特征。 ( 5 ) 基于结构的方法 基于结构的方法认为纹理是由纹理基元按照一定的排列方式组合而成。此方 法一般分成两个阶段：提取纹理基元和推断纹理基元的排列规则。b e n n a m o u n 和 b o d n a r o v a 他刀提出了一种纹理块检测的结构方法，纹理块包含很多特征，如大小和 延伸方向等，它能唯一的确定潜在的纹理，但计算量很大。 在基于非主题的瑕疵检测方法中，对于除了p l 组以外的其余1 6 组墙纸纹理 的检测主要依赖于多种检测方法的融合使用。一般为统计方法和结构方法相结合 的瑕疵检测方法，如局部二进制模式( l o c a lb i n a r yp a t t e r n , l b p ) 方法他3 3 主要是通过 6基于小波和统计学习理论的布匹瑕疵检测与分类技术研究 l b p 来描述正常纹理和瑕疵区域的不同特征，通过特征之间的比较来判定是否为 瑕疵或正常区域。 布匹瑕疵检测的结果容易受到很多因素的影响，比如布匹图像的光照的均匀 程度、图像分辨率等。一种瑕疵检测方法可能只对某一类或者某几类瑕疵的检测 效果很好，每种瑕疵检测的方法都存在自身的优缺点。基于统计的方法可以描述 像素的空间关系，提供很多有用的信息，比如粗糙度、规则性、自相关性以及同 一性等信息，但它不能分析纹理结构，不能和较大的纹理基元共同作用；基于谱 的方法如小波变换，它们在变换域分析纹理模式，提供了多分辨率和多尺度的特 性，但存在对噪声过于敏感以及计算复杂度高等问题。 1 4 常用的瑕疵分类算法介绍 如图1 1 所示，瑕疵检测模块之后便是特征提取模块和瑕疵分类模块。对于布 匹瑕疵分类来说，不同的瑕疵种类可以看作是不同的模式，无瑕疵布匹图像也是 一种模式：尤其是用纹理来描述瑕疵的特性时，可以应用模式识别的方法来解决 布匹瑕疵的分类工作。模式识别过程可以看作是从样本空间到类别空间的一个映 射过程。如果把一个具有忍个特征参量的聆维特征空间划分为不同的区域，那么每 个区域与一类模式类相对应。模式识别问题的一般方法可以分成特征提取、特征 分析与选择和分类器设计三个步骤瞄射。 ( 1 ) 特征提取 不同种类的瑕疵代表不同的模式，不同的模式利用特征向量来表示彼此的差 异。特征是描述模式的最佳方式，特征的各个维度能够从不同的角度描述模式， 理想情况下，维度之间是互补完备的。常用的图像特征有颜色特征、纹理特征、 形状特征、空间关系特征，这些特征可以是基于像素的，即在瑕疵所属区域的一 个像素产生一个特征；或者是基于区域的，即一个完整的瑕疵样本提供一个整体 的特征来描述这个瑕疵区域。一个特征可以用一个列向量来表示，所有特征向量 组成一个特征矩阵。对于布匹瑕疵来说，特征应能充分反映瑕疵的个性信息，本 文在提取的瑕疵特征多为瑕疵区域的纹理特征和形状特征。 ( 2 ) 特征分析与选择 一般原始特征中包含较多的噪声并且具有较高的维度，噪声会造成类别之间 的混淆，各个维度的特征之间可能存在较大的冗余或者相似性。特征分析与选择 就是从一组原始特征中挑选出一组最有效的、最具有代表性的特征以达到降低特 征空间维数的目的。一种方式是通过映射( 或者变换) 的方法把原始特征变换为 维数较少的新特征。特征分析主要有降低特征维度，消除特征间的相关性，最大 化类间距离同时压缩同类特征之间的距离等。另一种方式就是从原始特征中挑选 第一章绪论7 出一些具有代表性的特征，即特征选择，如模拟退火算法、遗传算法等。特征分 析与特征选择并不是截然分开的，它们之间没有明显的界限。处理后的特征一般 具有较低的维数，包含瑕疵的有效信息，不同类别之间存在较少的重叠。 ( 3 ) 分类器设计 模式识别的核心问题是根据不同模式的特征，将它们正确分类，所以分类器 是整个模式分类的关键部分。分类器的差异主要体现在其对有限样本的学习能力 和对未知样本的预测能力上。文献【2 4 】中，作者假设训练样本服从多高斯分布，从 而对每个类别的特征向量估计出独自的混合高斯模型，所有的模型组成一个贝叶 斯分类器，用未知样本计算对每个模型的所属概率，进而获得其分类信息。 目前比较流行的分类器是人工神经网络和支持向量机( s u p p o r tv e c t o rm a c h i n e ， s v m ) 。人工神经网络可以看作是对原始特征空间进行非线性变换，产生一个新的 样本空间，使得变换后的特征线性可分。同传统统计方法相比，其分类器是与概 率分布无关的，它的主要特点在于其具有信息处理的并行性、自组织和自适应性， 具有很强的学习能力和联想功能以及容错性能等，在解决一些复杂的模式识别问 题中显示出其独特的优势乜副。 统计学习理论和支持向量机建立了一套较好的有限样本下机器学习的理论框 架和通用方法，既有严格的理论基础，又能较好地解决小样本、非线性、1 高维数 和局部极小点等实际问题。支持向量机汹3 是v a p n i k 等人提出的一类新型的机器学 习算法，它的基本思想是：首先通过非线性变换将输入空间变换到一个高维空间， 甚至是一个无限维空间，然后在这个高维空间求取最优分类面，其中非线性变换 是通过核函数的方法来实现的。s v m 方法通过内积计算比较有效地解决了维数灾 难问题，通过在高维空间设计最优分类面，比较好地实现了v c 维最小的问题；数 学上，支撑向量机的训练问题可转化为一个求解受约束的二次型规划问题，这个 问题存在惟一解，避免了神经网络训练结果不稳定、容易陷入局部极小的问题。 布匹表面瑕疵的分类工作不同于一般的纹理分类，普通纹理分类一般是一幅 图像的不同区域表现为不同的纹理，而且各个纹理区域的尺寸、位置等是固定的， 只需提取每个纹理区域的特征即可进行分类工作；而布匹瑕疵的分类的工作相对 比较繁琐，首先要根据瑕疵分割的结果定位瑕疵，瑕疵定位的准确性很大程度上 决定了特征提取的效果，进而影响着分类性能。而且每一幅布匹图像所包含瑕疵 种类不定，瑕疵大小不一，加之布匹瑕疵类型较多，使得布匹瑕疵的分类难度大 大增加。 1 5 本文工作背景与内容 经过几届同学的共同努力，实验室对于布匹瑕疵检测与分类这一课题的研究 8基于小波和统计学习理论的布匹瑕疵检测与分类技术研究 已经有了一定的积累与成果。0 7 级屈博同学采用基于多通道g a b o r 滤波的瑕疵检 测算法瞄9 。，通过分析各个尺度的融合信息，提出一种新的多通道融合算法，使用 自动阈值迭代算法对融合结果进行二值化处理，对四类瑕疵的检测取得了不错的 效果。0 8 级孙华凯同学所做工作侧重于瑕疵检测方面，他首先尝试了一种基于多 尺度小波表示的布匹瑕疵检测算法，算法使用两种分形基方法( 局部粗糙程度以 及全局同一性) 来量化布匹图像的表面特征，该算法对块状瑕疵的检测效果较好， 对横、纵向瑕疵也能部分支持；还设计了一种基于奇异值分解( s i n g u l a rv a l u e d e c o m p o s i t i o n ，s v d ) 的瑕疵检测算法，使用了一种新的门限策略，可以较精确的 设计参数来有效的降低虚警率。0 8 级张宇同学的工作则侧重于瑕疵分类，主要包 括特征提取和分类器设计，取得不错的成果，提出了一种基于g a b o r 滤波器和高 斯混合模型( g a u s s i a nm i x t u r em o d e l ，g m m ) 的瑕疵检测与分类算法璐7 1 ，从g a b o r 滤 波器的输出中提取了一些常见的统计量作为特征，利用g m m 来描述每一类特征 的分布，应用最小描述长度估计法求解参数，对9 类瑕疵取得了平均8 5 的分类 准确率；同时，张宇同学还利用神经网络作为瑕疵特征分类器，使用g m m 聚类 训练样本，由此可以获得准确的聚类个数和g m m 参数，对应生成的径向基神经 网络也更加合理，取得了8 3 2 得平均分类准确率：特征提取方面，张宇同学采用 了一种g a b o r 和局部二进制模式的复合特征，同时实验证明此复合特征很适合神 经网络分类器做瑕疵分类。崔玲玲博士提出了一种基于非下采样c o n t o u r l e t 变换 ( n s c t ) 的瑕疵检测算法嘲3 ，利用n s c t 得到图像的多尺度、多方向稀疏表示，通 过代价函数选择最优方向子带，利用混合高斯模型实现瑕疵分割，取得了不错的 瑕疵检测效果。 以上这些同学虽然在瑕疵检测与瑕疵分类方面提出了很多方法，但是由于纺 织品表面的瑕疵种类较多，每一种方法都有其自身的优缺点，一种方法可能只对 一种或者几种瑕疵类型有效。所以，本文的研究工作就是在前面几位同学的研究 成果基础上，寻求更有效的、更具普适性的瑕疵检测与分类算法，以便能对更多 类的瑕疵取得更好的瑕疵检测效果和更高瑕疵分类正确率。孙华凯同学的基于 s v d 瑕疵检测算法对于那些能量与正常图片相差不大、但有细微纹理差别的瑕疵 类检测效果不理想，针对这一问题，本文提出了一种改进的基于s v d 理论的瑕疵 检测与分类方法，充分利用s v d 生成的信息，包括奇异值和奇异值特征向量，取 得较前者好的瑕疵检测效果，详述可见于本文第二章。屈博同学的多通道g a b o r 滤波的瑕疵检测算法对于横纵向瑕疵的检测效果不错，但对于块状瑕疵检测效果 不理想且虚警率较高，本文第三章利用g a b o r 小波网络逼近布匹图像背景纹理， 以此构造的最优实部、虚部g a b o r 滤波器能很好的捕获布匹背景纹理，取得了较 前者好的瑕疵检测效果，同时在时间复杂度上也有很大改进，具体内容见本文第 三章；在崔玲玲博士的基于n s c t 的瑕疵检测算法的启示下，本文第四章尝试了 第一章绪论9 一种基于平稳小波变换和非下采样方向滤波器组的瑕疵检测算法，对轻微瑕疵的 检测有一定效果，详述可见本文第四章。针对瑕疵分类工作，张宇同学的工作侧 重于应用神经网络分类器，本文在尝试神经网络分类器的同时，采用支持向量机 作为分类器，较好的完成了瑕疵分类工作，而且支持向量机分类器展现了其相对 于神经网络分类器在小样本学习能力和泛化能力方面的优越性，具体可见本文第 三章。 1 6 章节安排 本文主要研究了几种基于图像处理技术和模式识别理论的布匹表面瑕疵检测 和分类算法，着重于瑕疵检测算法研究，同时兼顾瑕疵分类。算法的性能在实验 室自建布匹瑕疵库上得到验证。具体安排如下： 第一章简要介绍了课题的研究背景和意义、国内外研究现状及系统组成、常 见布匹瑕疵检测算法与分类算法。 一 第二章介绍了一种采用奇异值分解( s v d ) 理论的瑕疵检测与分类算法，该算法 充分利用了奇异值分解的生成信息，对实验室十七类瑕疵库中大部分瑕疵类提供 了很好的支持。 轴， 第三章介绍了一种采用g a b o r 小波网络理论( o w n ) 和支持向量机( s v m ) 的瑕 疵检测与分类算法，算法性能在实验室的瑕疵库上得到了很好的验证。 第四章介绍了一种基于平稳小波变换( s w t ) 和非下采样方向滤波器组( n s d f b ) ， 瑕疵检测算法，对实验室的十七类瑕疵库中细微瑕疵的检测有一定的效果。 第五章是对全文的总结与展望，指出来工作中的不足以及未来努力的方向。 1 0 基于小波和统计学习理论的布匹瑕疵检测与分类技术研究 第二章采用奇异值分解理论的瑕疵检测与分类算法1 1 第二章采用奇异值分解理论的瑕疵检测与分类算法 2 1 引言 奇异值分解( s i n g u l a rv a l u ed e c o m p o s i t i o n , s v d ) 是一种有效的代数特征提取方 法，在描述矩阵形式的数据时有很多优良的性质。它反映了矩阵的代数性质，可 以从中获得关于数据的重要结构信息。利用矩阵的奇异值分解提取的特征，具有 稳定性、位移不变性、转置和旋转不变性，所以它在图像压缩、瑕疵检测和人脸 识别等许多方面都有着广泛的应用。奇异值对应的特征向量不仅描述了矩阵数据 的代数特征分布，同样具有稳定性，使得矩阵的特征值对矩阵数据的较小变化不 敏感，即矩阵的代数特征对数据噪声有一定的免疫性，从而保证了特征提取的可 行性和有效性。文献 2 7 】 5 6 】使用奇异值分解进行瑕疵检测，首先求取正常训练图 片的平均奇异值，然后通过监测待检测图片的奇异值与平均奇异值的差异来分割 瑕疵区域。李晓东啪1 等应用奇异值分解和支持向量机进行人脸识别，特征提取阶 段，对训练样本集中的每一幅人脸图像矩阵进行奇异值分解，得到训练样本的奇 异值特征；然后对每个奇异值特征向量进行降维、归一化、分量重新排列等处理； 识别阶段，选取支持向量机作为分类工具。文献【2 9 】中使用奇异值分解得到的奇异 值特征向量矩阵提取图像的纹理细节特征，通过对训练图像的重新排列，找到维 特征空间的一组正交基，成功实现纺织品的瑕疵检测。 本章采用一种基于奇异值分解理论的瑕疵检测与分类算法，瑕疵检测阶段， 充分利用奇异值分解的生成的信息，分别就奇异值和奇异值特征向量矩阵从不同 角度进行瑕疵分割，最后融合分割结果。本章瑕疵检测算法的性能在实验室自建 的十七类瑕疵库上得到测试，与文献【2 9 】算法的分割性能的对比证明了本章所述瑕 疵检测算法的有效性。瑕疵分类阶段，提取基于瑕疵区域整体与局部的奇异值的 特征和统计特征，应用b p 神经网络分类器进行了两组不同数目瑕疵类的分类实 验，同时应用最近邻分类器进行了对比分类实验，证明了提取的基于奇异值的特 征的有效性。 2 2 采用奇异值分解理论的瑕疵检测 由于具有严格的同一性、一致性和连续性，无瑕疵的布匹图像可以看作是纹 理图像，瑕疵区域的局部灰度分布与周围环境完全不同，从而导致局部纹理模式 的连续性和重复性发生巨大的变化。在瑕疵形状、大小和能量分布等方面，不同 种类的瑕疵表现有所不同，而同种类的瑕疵之间则大致近似，不同种类的瑕疵可 1 2 基于小波和统计学习理论的布匹瑕疵检测与分类技术研究 以看作是不同的纹理模式。根据二维w o l d 随机域模型啪3 ，布匹图像可以看作是规 则的、同源的随机域的一种实现形式，一幅布匹图像可以唯一分解成两个互相正 交的部分：一个简单的随机域和一个确定性部分。确定性部分的谱分布函数在二 维频率平面是奇异的，几乎处处为零：而随机域部分的谱密度函数则是连续变化 的，可以通过白噪声激励一个滑动平均系统而生成。确定性部分代表图像的能量 特征，调和的随机域部分可以分解成一组相互正交的基函数，对于特定的纹理图 像，这组基函数是唯一确定的。s v d 是一种有效的代数特征提取方法，它反映了 矩阵的代数性质，可以从中获得关于数据的重要结构信息。奇异值对应的特征向 量矩阵不仅描述了矩阵数据的代数特征分布而且还具有稳定性。 2 2 i 奇异值分解理论回顾 奇异值分解船是求解最小二乘问题的一种有效工具，在数据压缩、信号处理 和人脸识别等许多方面都有着广泛的应用。代表一幅人脸图像的矩阵，其奇异值 特征可以作为描述图像的一种数值特征。设彳为1 7 1 刀阶实矩阵，彳的秩 r a n k ( a ) = g ，则彳可以用m 阶正交矩阵u 和聆阶正交矩阵矿以如下形式表示： 彳：淞y r ：【，f op r ( 2 - 1 ) l oo j u 幸u = ，v 木v 7 = i ( 2 2 ) 其中，= d i a g ( c r l ，仃2 ，仃g ) ，仃l o r 2 ，仃叮 0 是a 的g 个非零奇异值，也 是矩阵a a 7 或a r 彳的特征值的平方根。正交矩阵u 和y 的每一列都是矩阵 a a ，或a ，a 的特征向量。对于任意实矩阵么，它的奇异值分解是唯一的，于是 奇异值向量可以作为描述矩阵的一种数值特征，同时还具有良好的代数特性和几 何不变性。 ( 1 ) 稳定性 对于描述图像的特征来说，当图像灰度有小的变化时，此特征的变化不明显， 则称为稳定。稳定性放宽了对图像预处理的要求。奇异值向量具有良好的稳定性， 它对图像光照不均匀等问题不敏感。 ( 2 ) 位移不变性 对图像的平移变换相当于对图像矩阵作交换两行( 或两列) 的初等变换。交 换矩阵4 的第f ，_ ，两行等价于在该矩阵的左边乘上单位置换矩阵原始图像爿与 它交换两行后的图像，彳有相同的奇异值向量。同理可证，对列的置换也有相同 的结果。因此，奇异值向量具有位移不变性。 ( 3 ) 转置不变性 第二章采用奇异值分解理论的瑕疵检测与分类算法 1 3 如果对图像矩阵做转置运算，奇异值特征矢量不发生改变。 ( 4 ) 旋转不变性 即对图像做旋转运算，奇异值特征矢量不发生改变。 ( 5 ) 奇异值与图像灰度变化的比例不变性 设a r ”，图像彳的奇异值为盯疋= 1 , 2 ，p ) ( p = m i n ( m ，刀) ) 。图像的灰度级 按如下公式变化： b = a a( 2 3 ) 设b 的奇异值为仃? ( 江1 , 2 ，p ) ，则矩阵召和矩阵彳奇异值的有如下关系： ( 仃? ，仃；，d ；，仃；) = l a 。( c r a i f c r , ，o 2 ，0 3 ，仃p ) ( 2 一- 4 ) l 仃l ，仃2 ，d 3 ，仃p ，2 ， ，仃p ) l 。j 这说明图像奇异值和图像灰度值是按相同的比例变化的，这就为图片之间的 使用奇异值特征进行对比提供了可能。 对于图像的任何一种特征提取，要求所提取的特征具有代数和几何的不变性。 对于s v d 特征而言，上述性质保证它具有作为良好图像代数特征的能力，这是用 它作为图像的一种纹理特征描述方式的理论依据。， o ， 2 2 2 瑕疵检测算法描述 文献【2 7 】中使用奇异值分解产生的奇异值构造特征向量进行瑕疵检测，算法采 用分块处理的方式，训练阶段求取无瑕疵图像子块奇异值的平均值，检测阶段通 过监测待检测子块的奇异值均值与训练得到的平均奇异值的差异来分割瑕疵区 域。此种做法虽然取得了一定的效果，但图像的奇异值只包含了少数信息；更多 有用的纹理信息则包含在由奇异值分解得到的两个正交矩阵u 和矿中，因而仅采 用奇异值进行瑕疵检测是不合理的。文献 2 9 】中同样使用s v d 理论进行布匹瑕疵 检测，首先对训练图像进行重新排列，对重新排列的矩阵进行s v d 分解，求得 维空间的一组正交基，相当于图像平面的基图像，用此正交基来逼近待检测图像， 通过逼近系数的差距来分割瑕疵区域。此种方法虽然对s v d 分解产生的奇异值特 征向量矩阵充分利用，但忽略了奇异值本身所体现的图像能量信息，也是不全面 的。本章所述改进的基于s v d 理论的瑕疵检测算法充分利用了奇异值分解生成的 信息，包括奇异值和正交的奇异值特征向量矩阵u 和y 。图2 1 为训练阶段的算法 框图，图2 2 为检测阶段框图。 算法步骤： ( 1 ) 训练阶段 如图2 1 所示，首先对无瑕疵的训练图像进行分块处理，将其分成大小为8 8 的子块( 实验中我们还使用大小为4 x 4 和1 6x1 6 的块进行对比实验，见本章实验 结果分析) 。分块过程结束后分两步走： 1 4基于小波和统计学习理论的布匹瑕疵检测与分类技术研究 图2 1 训练框图 图2 2 检测框架 第一步：提取基函数参数 图像的细节信息主要包含在s v d 分解生成的两个正交特征矩阵u 和y 中，这 里使用文献【2 9 】所述的方法提取基函数参数图像。首先将大小为8 8 的图像子块重 新排列为一个长度为6 4 1 列向量，将不同的子块所生成的列向量按列堆叠在一 起，构成一个6 4 x 的矩阵b ，其中为子块的个数，一般取大于“。然后对 矩阵b = b i ，6 2 ，“) 进行s v d 分解，如图2 3 所示，其s v d 分解生成的特征向 量矩阵分别为u = q 。，甜：，) 和v = “，屹，1 ，) ，有如下表达式成立： ( b l , b 2 , - - , b n ) = ( u i , u 2 , , z k ) 幸雕v r 地心，以) c ( 2 5 ) 第二章采用奇异值分解理论的瑕疵检测与分类算法 其= 咖c ，仃为矩阵召的秩，c = 匮斗n m 奇异值 n v 厂 一 n m nm n n n n n 图2 3 重构矩阵b 的奇异值分解示意图 由公式( 2 5 ) 可以得出： 岛= a l j 甜l + 口2 u 2 + a 女u 女 ( 2 - 6 ) 其中a ，为矩阵c 对应的列向量，k 一般等于6 4 ，= ( 1 ，2 ，七) 。公式( 2 6 ) 表明矩阵b 的列向量可以由矩阵u 的列向量组成的正交基线性表示，而矩阵艿的 列向量是图像子块进行像素重排而成的，由此可以说，“，材。为图像平面的一 组正交基图像，可以用它们的线性组合表示布匹图像。 假设正常图片的子块个数为p ，萃取的图像正交基的个数为k ，则有如下公式 ( 2 - 7 ) 成立，其中( 江1 , 2 ，p ) 表示去除均值部分信息后的布匹图像子块， 材。( f = 1 , 2 ，k ) 表示萃取的正交基图像，e l ( f - 1 , 2 ，后) 为存在的微小误差， 口，( 江1 , 2 ，后) ( = 1 , 2 ，p ) 为各个基图像的权重。由此，可以得到去均值之后图 像子块的方差，如公式( 2 8 ) 所示，其中9 。为相应的e ，的范数，f = ( 1 ，2 ，p ) 。 a l ，1 a 2 ，1 ： a p ，l a 1 2 口2 2 口p ，2 a l j a 2 ： a p 乒 + q p 2 ： ( 2 7 ) v a r ( i , ) = a ：l + a f 2 2 + + a 磊+ 仍 ( 2 - 8 ) 在这一训练步骤中，主要得到两组参数：( 1 ) 基图像参数z f l ，甜：，u k ；( 2 ) i e 常 无瑕疵图像去均值之后的方差的平均值v a tm e a n ，最大值v a tm a x 和最小值 v a r m i n 。 第二步：提取正常图像子块的奇异值的平均值 对每个子块进行s v d 分解，因为子块的大小为8x8 ，所以取其奇异值构成奇 异值列向量色= p p c i ，仃s ) r ，江( 1 9 2 ，p ) ，p 为图像子块的个数，求取e 的均值 和方差，如下公式： 弋 巩如； vjjoijioi业 1 6基于小波和统计学习理论的布匹瑕疵检测与分类技术研究 否：! 争最 p 二t - - - 。0 ( 2 9 ) v a r ( 6 ) = 三窆( 6 ，一方) ( 2 1 0 ) p 面 至此，训练的步骤结束。 ( 2 ) 检测阶段 步骤1 ：分块处理。设待检测图像为f ( i ，j ) ，用一个大小为8 8 的滑动窗口在 f ( i ，j ) 上进行无重叠滑动。 步骤2 ：基函数图像分解。取滑动窗口覆盖区域的大小为8 8 的图像子块，去 除图像均值信息，令去均值后的子块为，g ，j ) ，并重新排列为列向量 ，u = 1 ，2 ，p ) ，p 为图像子块的数目。应用训练阶段所萃取的基函数图像组 ，甜2 ，5 t r ii ( i ，) 进行线性表示，公式如下： ，= 屈+ 应+ + 成心 ( 2 - 1 1 ) 上式中，卢：，风) 为用基函数图像组u 1 “：，对待检测图像子块 ，u = 1 ，2 ，p ) 进行线性表示的权重向量。求取权重向量