（信号与信息处理专业论文）基于机器视觉的棉花异物检测技术研究.pdf

硕士论文基于机器视觉的棉花异物检测技术研究 摘要 棉花在采摘、运输和加工等过程中经常混入一些异物，这些异物虽然含量不多，但 对棉花的价格和后续加工造成的不良影响极大。为了确保棉花的质量，棉纺织企业通常 采用人工挑拣的方法来清除异物。可是人工挑拣异物费时费力且效果不理想，而且由于 受主观因素影响分拣效果很难控制。因此，研究一种自动的棉花异物检测和剔除方法对 于棉花质量的控制十分必要。 在社会发展的需求下，国内外大量专家学者投入到棉花异物检测方面的研究。这些 研究主要集中在对自动检测设备和检测方法的研究。本论文的研究重点是为棉花异物检 测设备设计棉花异物检测和定位方法。首先借助m f c 创建了棉花异物检测应用程序界 面，为后续研究奠定了坚实的软件平台；接着从亮度、色度、形态等不同角度出发，结 合实际检测需求，最终研究出了基于阈值分割、基于边缘检测、基于空间建模的三套异 物检测方法，并给出了检测效果图；最后提出了一套可行的异物定位方法，并结合检测 效果图和定位结果对三种检测方案进行对比，证实了阈值分割法与空间建模法的可行 性，分别肯定了阈值法在运算速度方面、空间建模法在检测精度和检测范围方面的优势， 同时指出了边缘检测法存在的问题。 关键词：棉花异物检测，应用程序界面，阈值分割，边缘检测，空间建模，异物定位 a b s t r a c t 硕士论文 a b s t r a c t c o t t o no f t e nm i x e s 诚t l ls o m ef o r e i g nb o d i e si nt h ep r o c e s so fh a r v e s t i n g ，t r a n s p o r ta n d p r o c e s s i n g t h ef o r e i g nb o d yw i l ln o to n l ya f f e c tt h ep r i c eo fc o t t o n ，b u ta l s os e r i o u s l ya f f e c t t h eq u a l i t yo ft h es u b s e q u e n tp r o c e s s i n g i no r d e rt oe r l s u r et h eq u a l i t yo fc o t t o i l ，t h ec o t t o n t e x t i l ei n d u s t r ym a i n l yu s e st h em e t h o do f m a n u a ls o r t i n gt or e m o v et h e m m a n u a ls o r t i n g l a b o ri sl o we f f i c i e n c ya n dn o te a s yt oc o n t r 0 1 t h e r e f o r e ，t h es t u d yo fa u t o m a t i cc o r o n f o r e i g nb o d yd e t e c t i o nh a sg r e a ts i g n i f i c a n c ef o rc o t t o nq u a l i t yc o n t r 0 1 al a r g en u m b e ro fe x p e r t sa n ds c h o l a r sb e g i nt ow o r ko nc o t t o nf o r e i g nb o d yd e t e c t i o n r e s e a r c ho nt h et r e n do ft h et i m e s t h e s es t u d i e sm a i n l yc o n c e n t r a t eo nm e t h o do fa u t o m a t i c d e t e c t i o nf o r e i g nb o d y t h i sp a p e rf o c u s e so nt h ed e s i g no fc o t t o nf o r e i g nb o d yd e w i o na n d l o c a t i o nm e t h o d f i r s t ，ac o t t o nf o r e i g nb o a yd e t e c t i o na p p l i c a t i o np r o g r a mi n t e r f a c ei s c r e a t e do nt h em f c ，b u i l tas o l i ds o f t w a r ep l a t f o r mf o rt h e f u r t h e rr e s e a r c h ；a n dt h e n c o m b i n ea n a l y s i so fr a wc o t t o ni m a g ew i t ht h e a c t u a ld e t e c t i o nn e e d s ，t h r e ed i f f e r e n t d e t e c t i o ns c h e m e sf r o mt h r e s h o l ds e g m e n t a t i o n , e d g ed e t e c t i o na n ds p a c em o d e l i n ga r ep u t f o r w a r d ；f i n a l l y , av i a b l ef o r e i g nb o d yl o c a t i o nm e t h o di sp r e s e n t e d c o m p a r et h ed e t e c t i o n r e s u l t sa n dl o c a t i o nr e s u l t so ft h et h r e ed e t e c t i o np r o g r a mt op r o v et h ef e a s i b i l i t yo ft h e t h r e s h o l ds e g m e n t a t i o nm e t h o da n dt h es p a c em o d e l i n gm e t h o d a tt h es a m et i m e ，c o n f i r m t h ea d v a n t a g e so ft h r e s h o l dm e t h o di nc o m p u t i n gs p e e d ，s p a c em o d e l i n gm e t h o di nd e t e c t i o n a c c u r a c ya n dd e t e c t i o nr a n g e ，a l s op o i n to u tt h ep r o b l e mi ne d g ed e t e c t i o n k e yw o r d ：c o t t o nf o r e i g nb o d yd e t e c t i o n ，a p p l i c a t i o np r o g r a mi n t e r f a c e ，t h r e s h o l d s e g m e n t a t i o n ，e d g ed e t e c t i o n , t h es p a c em o d e l i n g ，f o r e i g nb o d yl o c a t i o n i i 硕士论文 基于机器视觉的棉花异物检测技术研究 1 绪论 1 1 课题研究背景和意义 在纺织厂生产原料原棉包里，经常会混入大量异物，如：生成纱锭前残留的棉籽小 颗粒、包装运输时混入的包装袋纤维以及被污染的棉花纤维等【l - 3 】。异物在皮棉中的含 量不高，但一旦混入参与纺织不但影响纺纱能力，而且染色后会使布面出现印染疵点， 造成大批残次品，严重影响布面外观质量，对棉纺织工业造成重大经济损失，影响正常 的生产秩序和外贸出口【4 】，影响我国棉纺品在国际市场的份额。因此，能否研究出检测 效率高、成本低的棉花异物检测设备已经成为我国棉纺工业相关企业发展的关键【5 】。 目前在我国，因为资金不足、发展程度低，国内纺织工业还依赖人工分拣，这种方 式费时费力且效果不理想。虽然一些厂家引进异物清除机，但是由于没有技术创新，识 别率低，效果不好。对于棉纺产品多了一点异物，品质就大不一样，价值也大大降低。 在国际贸易中我国的棉织品多次因异物影响而招致外商索赔，损失巨大，还严重影响了 中国产品的国际声誉【6 j 。 比利时、意大利、德国已经率先推出棉花异物分拣机，但由于国外产品价格昂贵， 也不适合国内实际的生产状况。所以，目前我国纺织市场急需一种价格相对低廉，性能 又优越的且拥有自主知识产权的棉花异物检测装置。本课题就是着眼于此，进行开发和 研制用于检测和清除棉花异物的分拣系统，以摆脱我国对国外产品的依赖，为中国棉纺 织工业的发展做出贡献【6 j 。 1 2 机器视觉理论简介 机器视觉就是借助计算机或其他数字硬件，对图像数据转换而来的电信号进行某些 特定的数字运算h 7 1 ，以实现用计算机代替人类劳动自动地从客观事物的图像中提取有用 信息，并进行处理，最终用于实际应用。随着计算机、图像处理与识别、传感等技术的 发展，机器视觉技术在工程应用中日益广泛和成熟。 人类在识别事物的时候一般要先对事物进行观察、找出其特点，然后进行分析比较， 最后加以判断。机器识别与人类认识过程相似，机器进行图像识别也要对待识别图像进 行信息提取、信息加工和比较判断等。所以，自动识别机的工作过程都是模仿人的识别 过程来一步步进行的，其目的相同，只是依靠的手段不同而已【引。 图像处理是机器视觉技术的关键，常用的图像处理方法有图像数据压缩与编码、图 像传输、图像平滑与锐化、图像分割、特征抽取、图像识别与理解等【9 】。经过这些处理， 图像的质量将得到很大改善，不仅方便人眼观察，而且也为计算机对图像进行进一步的 1 绪论硕士论文 分析、处理和识别提供便利。 机器视觉技术无论在科学研究上、工业生产上或管理部门中都得到越来越多的应 用；而目标跟踪与识别、机器人导航、干线交通监视、卫星探测等应用也极大地促进了 机器视觉技术的发展。目前，世界各国的科研工作者已经成功研制了多种多样的具有自 动识别功能的机器和有视觉的机器人，利用这些机器可以自动识别各种目标，为人类的 现代化发展做出了不可估量的贡献i l o j 。 1 3 异物挑拣设备研究现状 对清除棉花异物问题，目前世界上已有了一些解决方法。这些方法都是依靠现代高 科技技术，将异物挑拣设备安排在开清棉工序中，剔除原棉中的异物。这些设备用来代 替人类手工劳动，被安装在生产线上，形成一套完整的在线棉花异物检测系统。 此系统将机器视觉技术与实时检查技术相结合，通过硬件系统和配套的软件系统协 同工作实现对棉花异物检测、清除。为了保证检测精度，一方面需要识别率高的快速检 测算法，另一方面需要配套的高速硬件运行平台。目前，高性能的实时处理器发展越来 越快，成本也越来越低，这为棉花异物检测设备提供了坚实的硬件平台。由于棉花异物 种类多、且大多不易识别，寻找一种检测异物种类多、识别率高的检测算法成为此系统 成败的关键。 德国特吕茨勒公司研制开发的高科技设备s c f 0 1 5 6 【l ，在棉花异物剔除问题上取得 良好效果，国内恒久电器、郑纺机、青纺机及其它纺机厂等也相继研制生产出了各种棉 花异物挑拣设备【1 1 1 。这些电子设备安装在开棉系统上，基本实现了对原棉逐毫米的检验、 异物清除，形成了一套完整的棉花异物清除系统。 但由于国外产品价格昂贵，也不适合国内工厂的生产状况，再加上棉花异物的复杂 性，目前在国内还没有一种能够准确识别所有异物类型的设备。问题的关键是没有找到 一种识别率高、检测范围广的异物检测方法。针对这一问题国内外学者正在进行大量的 研究探讨。 本课题选用c c d 成像法技术设计的异物挑拣设备，由机电一体化的硬件系统和配套 的软件系统构成。依靠上位i b m p c 微机和下位采集控制器协同工作，完成包括图像采 集、图像识别以及决策控制三块功能。关于此设备，在下面2 2 节将给出详细介绍。本论 文所研究的内容集中在图像识别部分，主要是寻找一种检测精度更高、识别范围更广的 棉花异物检测方法和一种能够配合控制系统工作的异物定位方法。 1 4 本课题的研究内容和成果 本课题主要是为基于机器视觉技术的棉花异物检测系统设计异物检测和定位方案。 通过对现场采集的原棉图片进行分析，结合实际检测需求，从亮度、色度、形态等不同 2 硕士论文 基于机器视觉的棉花异物检测技术研究 角度出发，设计异物检测和定位方案。 首先借助m f c 创建了棉花异物检测应用程序界面。此软件平台，不仅为我们提供了 一个直观可视化的双视图界面，方便图片的打开显示、检测算法的实现以及检测效果的 对比观察，还提供了对话框、按钮控件、文档输入输出接1 ：3 等，方便算法验证、检测报 表的自动输出等，为本文后续研究提供了一个坚实的平台。 借此平台，最终研究出了三套不同的检测方案和一整套的定位方法，下面将详细介 绍。 第一种基于阈值分割的棉花异物检测方法，根据图片通道背景、棉层、异物灰度不 重叠的特点，采用改进的o t s u 阈值与背景估计阈值相结合的方法两次分割，提取异物。 实验结果表明，该方法识别效果良好，成功解决了实物环境下通道背景、曝光不均、异 物种类繁杂等因素对识别的干扰，获得了理想的检测效果。并且与其他方法相比，此方 法在运算速度方面有很大优势。 第二种基于边缘检测的棉花异物检测方法，这是棉花异物检测研究中使用最多的方 法。本章通过对一维、二维边缘检测算法的探讨与试验，挑选出了最适合本次采集图片 的l a p l a c e ( 5 5 ) 权重模板；针对进一步分割，去除伪边缘问题，选取了最符合本试验的 双峰阈值法。整个过程相辅相成，共同实现棉花异物检测。此方法原理通俗易懂，并且 算法都已经比较成熟，实现起来很方便。只是本文的算法仅能识别轮廓清晰的异物，对 于边缘不清晰的异物无效。通过最后与其他方法检测效果对比，认为对于如本文采集图 片相似，即不仅有棉层、异物还有通道背景的图片，利用边缘检测方法要克服伪边缘的 影响，并且检测出的异物类型有限，不是最佳选择。 第三种基于空间建模的棉花异物检测方法，充分考虑棉花图片在色彩空间的分布特 性并将通道背景选取在模型空间内，解决了背景对识别的干扰，选取的半径提取法充分 利用了空间几何知识与棉花模型的完美结合，用较少的运算，完成复杂的空间模型采样， 为后续的异物检测提供科学的标准。实验结果表明，该方法对于此次采集的图片，都取 得了良好的识别效果，成功克服了实物环境下异物种类繁杂不易检测的问题。空间模型 法理论证明科学严谨，是一种有效的棉花检测方法。与前面的方法相比检测异物类型广 泛且精度高，尤其是对于含有污染棉花这样的图片，其优势很明显。 接着给出了以八邻域标记法为基础的异物定位方法并通过与实际定位结果的对比 证实了此方法的可行性。此定位结果以自动文档的方式给出了检测报表，其中包含了被 检测图片中异物种数、大小、关键点坐标信息，成为控制系统剔除异物的依据，同时也 被作为本文分析鉴别检测方法的重要依据。 最后综合检测效果图和检测定位结果对三种检测方案进行对比，证实了阈值法与空 间建模法的可行性，分别肯定了阈值法在运算速度方面、空间建模法在检测精度和检测 范围方面的优势，并指出了边缘检测法存在的问题。 l 绪论硕士论文 1 s 论文章节安排 本论文共分为七章，主要内容分别阐述如下： 第一章：首先介绍本课题的研究背景和意义，然后介绍了机器视觉技术的发展应用 情况以及国内外棉花异物挑拣设备研究情况，最后对本课题的研究内容做了简单介绍。 第二章：首先分析了国内外常用的棉花异物挑拣设备原理，并给出了本试验选用的 异物挑拣设备方案。然后重点讲述了针对该方案设计的应用程序界面以及此平台上各个 菜单的功能；最后详细介绍了现场采集的原棉图片。 第三章：本章详细介绍了改进的o t s u 阈值与背景估计阈值相结合的检测方法，通过 对检测效果图的分析总结了此方法的优缺点。 第四章：本章分析探讨了基于边缘检测法的异物检测方法，总结出一套完整的检测 方案并分析了此方法的利弊。 第五章：本章介绍了颜色空间建模法的原理、论证过程，给出了可行的检测方案， 通过实验效果分析了本方法的优势。 第六章：本章给出了异物定位的方法并通过与实际定位结果的对比证实了此方法的 可行性。 第七章：本章综合检测效果图和定位结果对比分析了三种检测方案的优劣。 4 硕士论文基于机器视觉的棉花异物检测技术研究 2 异物挑拣设备方案设计与分析 2 1 常用异物挑拣设备原理 对清除棉花异物问题，国内外若干家企业近年来开发了大量棉花异物清除机，这些 设备原理多样、形式多种。比较成熟的检测设备主要可分为光学检测和传感器检测两类 1 2 - 1 3 】。常用的有光电式、超声波式、高速c c d 摄像机式三种，下面将分别介绍三种识别 方式的工作原理。 1 光电式 光电式是用光电三极管来识别棉花中的异物，先计算出异物与棉花之间色差在光电 管中造成的电流差，然后将此信号放大，最后通过与标准值的比较来完成识别功能。这 种方法原理简单，通俗易懂，制造成本低，实现起来容易。但是光电管的选择要求很高， 因为如果光电管的灵敏度衰减太快，则寿命变短，稳定性变差，识别效果就不能保证。 因为是靠色差识别异物，所以对与棉花颜色相近的异物，如白色丙纶丝就无能为力了。 此外对有色细小异物，如棉籽、粉碎的叶片、发丝也无法识别【1 4 1 。总之，此方法只能检 测一大团或有一定体积的有色异物，整机异物检出率不高，只适合对检测率要求不高的 地方。 2 超声波式 利用超声波检测棉花，先将超声波传感器发出的超声波发射到棉花上，然后利用检 测反射回来的信息识别。由于异物反射回来的信号强于棉花，所以一旦棉花中有异物， 通过对反射信息的比较即可识别出来。因为超声波是靠物体表面的密度差别来识别异 物，不受颜色的影响，所以不论异物是有色还是无色均能检出。由于声波的传输速度没 有光波快，超声波作为一种声波，故其对异物的识别反映速度没有光波方式快。在异物 处理过程中，如果异物在传输通道中移动的速度较快时，就来不及识别了。此外，超声 波对细小异物不能识别，仅能识别较大体积的异物【1 4 】。故此方法同光电管一样只适合对 检测率要求不高的地方。 3 c c d 高速摄像机式 c c d ( c h a r g ec o u p l e dd e v i c e s ，电耦合器件) 1 5 - 1 6 j 是2 0 世纪7 0 年代初由美国贝尔电 话实验室首先提出的新型半导体集成光电器件，近年来取得了惊人的进展。它利用光敏 二极管的电压脉冲把图像光信号转换成相应的电信号。c c d 是现在最常用的机器视觉传 感器，由于具有动态范围广、灵敏度高、像素精度高等特点，配以合适的光学系统就可 以获得很高的空间分辨率，因此c c d 器件的发展，特别是在图像传感领域的发展十分迅 速【1 4 1 。 参照了前几年一些进口同类设备，目前大多数厂家选用2 0 4 8 像素的c c d 高速摄像 2 异物挑拣设备方案设计与分析硕士论文 机。此摄像机采集的图像效果良好，基本能满足纺织厂清除异物的需求【1 7 1 。不仅能够识 别一大团或有一定体积的异物，而且对头发、动物毛发这种细小的异物也能够识别。所 以，一般来说2 0 4 8 像素的高速线扫描c c d 摄像机已经能够满足大部分棉纺厂在线识别要 求。 通过以上分析，光电管、超声波虽然成本低，但是只能检出体积较大的异物；c c d 高速摄像机不仅成本低，还能检出细小异物。c c d 作为现在最常用的机器视觉传感器， 其成像法技术越来越成熟，成本也越来越低，逐渐成为异性纤维检测中的首选方法。 2 2 异物挑拣设备方案设计 本课题设计的异物挑拣设备选用c c d 成像法技术，由机电一体化的硬件系统和配套 的软件系统构成。该系统由上位i b m p c 微机和下位采集控制器协同工作【l 引，完成包括 图像采集、图像识别以及决策控制三块功能。 首先经过开棉机开棉处理的原棉经过风管被传送到检测管道中，到达特定位置时上 位i b m - p c 微机立即采集一帧b m p 位图格式的图像，同时生成一个位图格式的图像文件； 然后上位机根据像素分布、亮度、尺寸和颜色等信息，对该位图文件中的图像数据阵列 进行相应的判别计算，以决定被检测原棉中是否含有异物，并抽取异物的坐标信息；最 后下位采集控制器对接收到的判别结果信号进行识别并控制高压气枪实施相应的动作， 将异物打出【1 6 j 。其工作原理图如下图2 1 所示。 图2 1 机构工作原理图 为了保证检测效果，要特别注意一些条件的设置，这对挑拣设备成败有重大意义。 首先选择合适的位置将图像采集卡及摄像头连在微型计算机上，并设置好灯光照明环境 及待检测图像通道背景等检测环境，以使待检对象的轮廓清晰且便于异物识别；其次要 设置好相应软件环境【1 6 1 。该实验的检测项目包括：采集一帧位图格式的图像，对图像进 行异物检测处理，定位出异物坐标。 6 硕士论文基于机器视觉的棉花异物检测技术研究 在所摄得的棉流图像中，棉花异物能否被准确识别、误判率能否小到较为理想的值 是异物剔除系统能否实现其性能的关键所在。针对这一问题国内外学者已经进行了大量 的研究，并且许多技术已经应用于具体工程实践中。本论文所研究的内容就是在其准确 识别问题的基础上进一步展开和深入的。 2 3 软件平台设计 本文的主要工作是设计检测方案，故需要一个合适的软件平台。一个通用性强、易 操作的平台对方案的设计有重大帮助，也为后续的算法移植提供便利。我们需要的平台 需满足如下要求：( 1 ) 与上位i b m p c 微机兼容，通用性强，这有利于后续上位机人机界 面的设计；( 2 ) 能提供直观可视化界面，这将给棉花图片检测效果分析对比带来便利； ( 3 ) 能够提供对话框、按钮控件、文档输入输出接口，这对检测方法的研究、检测中间 数据以及结果的保存输出有重要意义。 v i s u a lc + + 因为它包含了迄今为止功能最为强大的基于w i n d o w s 的应用程序框架 1 1 9 - 2 0 j 而成为目前使用最为广泛的可视化编程工具。v i s u a lc + + 6 0 的编程方式有面向对象 的编程模式和面向过程的编程模式两种。在面向对象的编程模式中，类和对象被认为是 其编程过程中的核心部分。通常面向对象的编程模式在m f c 应用程序框架基础上实现编 程，因为m f c 是封装了的基本类，所以程序员不用过多考虑各个对象部分的相关性，只 需要建立与自己需要的函数相对应的消息映射【2 l 】，即可顺利实现应用程序的编程。 m f c ( m i c r o s o f tf o u n d a t i o nc l a s s ) 中文解释为微软基础类库l 2 2 l 。它是v i s u a lc + + 6 0 软件开发工具中用来编写w m d o w s 应用程序的c + + 类集。层次结构清晰、严格，还封装 了完善的w m d o w s a p i 函数和各种w i n d o w s 控件，它功能强大，可以扩大到整个w i n d o w s 操作系统。所以m f c 不仅可以方便的为用户创建的应用程序提供各种相应组件，还可以 为用户提供w i n d o w s 图形环境下应用程序的窗口框架。基于以上特点，使用v i s u a lc + + 提供的可视化程序开发工具和m f c 类库能够大大缩短程序的开发周期，提高了程序代码 的重用性和可靠性，简化了应用程序开发过程 2 2 - 2 3 l 。 基于以上分析，本文最终选取v i s u a lc h 6 0 中的m f c 作为软件平台来设计应用程序 界面。本课题的目的是研究出合适的异物识别算法，完成输入图片输出异物坐标信息的 功能，所以设计了一个基于单文档的m f c 界面，并在菜单栏里添加了打开图片、显示图 片、保存图片和输出结果按钮；检测效果需要对比分析，有时候需要多个步骤的相互结 合，故设计了一个双视图的可视化界面，添加了预处理、亮度、色度菜单，每个菜单里 又包含了若干个子菜单，通过各个菜单的协调操作完成图片检测任务；检测过程中需要 一些参数的输入输出，故添加了若干对话框，便于参数设置以及中间结果显示。整个界 面的外观如图2 2 所示，为了更直观的显示此界面的功能，图2 3 和图2 4 分别给出了预处 理菜单和亮度处理菜单的子菜单。 2 异物挑拣设各方案设计与分析硕士论文 刘攀( 黻瑷嘞亮度包甓凹辅出潦豢鞴留璧镑鞠壤赢茼图结果鞲蹬 骨f 萋渤岛i 曾| 髫卜 0 啦西 獗爵两厂_ _ r 图2 2 应用程序界面 文件囝颈处理( 0 亮度色度( 出输出像蒙输出坐标阏值直方圈结果输出i ：二：二： 图2 3 预处理菜单 文件( ) 颈处理( 9 亮度色度世) 输出像索输出坐标阏值直方图结果输出 二：= 3 边绦检测d 区域生长 腐蚀边缘检莎呲目标黑色) 二：二：二：二二二二：二二二= ：二 图2 4 亮度处理菜单 文件菜单里面包含了打开图片、显示图片、存储图片、打开文档等子菜单，利用这 些实现图片的打开与存储；预处理菜单如图2 3 所示，其中有一些滤波算法，如均值滤波、 选择式掩膜平滑滤波，还有二值化处理、对比度调整、亮度调整、直方图规定化等，通 固 硕士论文基于机器视觉的棉花异物检测技术研究 过这些菜单对图片做初步的简单处理，为后续检测做好准备；本文的检测方案从亮度和 色度两个角度出发，亮度处理主要是依据灰度值的不同，本文做了边缘检测法和阈值处 理法两套方案，下面第三章、第四章将给出详细介绍，色度处理主要是依据颜色不同， 本文做了颜色空间建模检测方案，下面第五章将给出详细介绍；辅助菜单主要包含像素 值输出、直方图输出、指定像素值输出、自动阈值输出、双峰阈值输出、坐标提取等， 借助这些辅助菜单，获得中间信息，配合检测方案的设计；结果输出菜单自动输出检测 报表，此报表给出对应检测图片中异物的个数、大小、坐标等信息，成为后续异物剔除 的依据。 从图2 2 、2 3 、2 4 可以看出本图像检测处理软件主要包括：图像采集、图像预处理、 图像特征提取和判别，图像判别结果输出等几个功能模块。首先利用文件菜单打开显示 一幅图片；然后在预处理菜单里选择合适的方法对图片做初步预处理；接着利用色度、 亮度，以及其他辅助菜单实现图片异物检测；最后自动输出检测报表。 本课题的目的是研究出合适的异物识别算法，完成输入图片输出异物坐标信息的功 能。此次设计的软件平台，不仅为我们提供了一个直观可视化的双视图界面，方便图片 的显示、检测算法的实现以及检测效果的观察，还提供了对话框、按钮控件、文档输入 输出接口等，方便算法验证、检测报表的自动输出等工作，为后续研究工作奠定了坚实 的基础。 2 4 图片介绍与分析 2 4 1b m p 格式图片介绍 b m p 文件是m i c r o s o f tw i n d o w s 所定义的图像文件格式，最早应用在微软公司的 m i c r o s o f tw i n d o w s 窗口系统中 2 4 彩】。b m p 图像文件由文件头、位图信息头、颜色信息和 图像数据四部分组成。文件头主要包含有文件的大小、文件类型、图像数据偏离文件头 的长度等信息；位图信息头包含图像的尺寸、图像用几个比特来表示一个像素、图像是 否压缩、图像所用的颜色数等信息；颜色信息被存放在颜色表中，颜色表是用来说明位 图中颜色的，由若干个表项组成，每一个表项是一个r g b q u a d 类型的结构，定义了一 种颜色。图像数据用来记录位图的像素值，记录顺序在扫描行内是从左到右，扫描行之 间是从下到上1 2 引。 b l d p 图像文件可以存储1 位单色、8 位灰度、8 位伪彩色和2 4 位真彩色四种图像数据1 2 6 1 ， 本试验采集的图片均为b m p 格式的2 4 位真彩色图像，下面将对其做详细介绍。 2 4 位真彩色图像具有全彩色照片表达能力，其存储文件中没有图像颜色表，此外还 具有如下特征： ( 1 ) 图像中每一像素由红、绿、蓝三个分量组成，且每个分量各占8 位，因此每个像 9 2 异物挑拣设备方案设计与分析 硕士论文 素由2 4 位构成。 ( 2 ) 红、绿、蓝三分量的取值范围均为0 2 5 5 2 5 - 2 6 1 。 2 4 2 含有异物的原棉图片分析 棉花在采摘、加工、运输等过程中很容易混入一些异物。常见的有棉籽类颗粒、纺 织袋碎片、其它纤维和被污染的棉花等。图2 5 给出了一幅含有多种暗色纤维丝和棉籽类 小颗粒的原棉图片1 。此图中颜色均匀近似一种灰色，占据大片面积的是传送带通道背 景；漂浮在背景上接近白色且无固定形状的是棉层；夹杂在棉层中的一些非白色物质即 是我们的目标异物，在图片上用黑色圆圈标注了几条暗色纤维丝，用小方块标注了几个 棉籽类小颗粒，很显然这些异物含量不多，分布无规则，也没有固定形状。 图2 6 所示原棉图片2 不仅包含了图2 5 中几乎所有异物类型还增加了亮色纤维，图中 左上角接近天蓝色的条状物即是一条亮色纤维丝；图2 7 所示原棉图片3 不仅包含了图2 5 中几乎所有的异物类型还增加了被污染的棉花，图中右上角一片，没有固定形态，接近 黑色的物质即是一片被污染的棉花。 1 0 图2 5 原棉图片l 图2 6 原棉图片2 鬻鬻蘩l 蒸骥滋懑黧 一爹i ；i 攀攀i ；。t ? 鬻瀵誊爹誉i j 鎏攀漤0 攀鬻爹溪鬻溱 j 。i l1 ； 。 。i 。t 雾蠹j 。 爹i ji o 一。誓。? ? 。j - - 一 j 。；：。i j 。i ? ， ” j o_ 。 j 喾l 誊j 誊攀蒸。+ 参| 誉萋i 爹爹，0 i 量i i ：_ i 量兰二竺 ( 1 ) 图片由棉层、通道背景和异物组成，且棉花与通道背景面积较大，异物只占其 ( 2 ) 通道背景和棉层的颜色比较接近，但通道背景略深偏暗；异物的颜色一般较深 ( 3 ) 棉籽类小颗粒一般呈小颗粒状且颜色较深，接近黑色，轮廓清晰；纤维类一般 2 5 本章小结 本章首先分析了国内外棉花异物挑拣设备研究现状，给出了本试验选用的基于c c d 高速摄像机技术的异物挑拣设备设计方案。然后重点讲述了针对该方案设计的m f c 软件 平台，此平台完善的功能，人性化的双视图界面为本文后续研究打下了坚实的基础；最 后详细介绍了从采集的大量图片中选取的三幅具有代表性的原图片，这些图片将作为后 续研究的样本。 3 基于阈值分割的棉花异物检测硕士论文 3 基于阈值分割的棉花异物检测 3 1 阈值分割理论 图像分割就是选取一种方法把图像中具有特殊涵义的不同区域分割开来。一般来 说，每一个分割的区域都满足特定区域的一致性，并且各个区域之间互不相交。图像分 割是图像处理中最常用的方法，但也是图像处理中的一个难题。尽管专家学者做了许多 努力，也提出了大量分割方法，但是因为图像分割的复杂性、主观性等原因，很难找到 一个判断分割是否成功的客观标准【2 他9 1 。 阈值分割法是基于图像直方图，选择一个合适的阈值( 记为丁) ，根据像素灰度值( 记 为g ) 来分割图像，将灰度值g t 的像素分割为目标，灰度值g t 的像素分割为背景 2 7 - 3 0 】。实际上，阈值分割就是按某个准则函数来求出最优的阈值l 常用的阈值分割法有全局阈值法和局部阂值法。全局阈值法指借助全局信息，如整 个图的灰度直方图，得出最优分割阂值；局部阈值法是先把原始的整幅图像按某种规则 分为几个小的子图像，再用全局阈值法处理每个子图像，分别求其分割阈值【2 9 】。 常用的基于点的全局阈值法有p t i l e 法【3 l 】，双峰法【3 2 】，o t s u 法【3 3 1 ，时刻存储法【3 4 1 ， 最小错误法【3 5 1 ，灰度直方图凹度分析法【3 6 】等；基于区域的全局阈值法有灰度直方图变换 法【2 9 1 ，基于灰度级的二次统计值【2 9 】法。这些方法各有其特点，广泛应用于图像处理的各 个方面。 3 2 棉花图片的阈值分割 图3 1 显示了一幅含有棉籽类小颗粒和各种条状纤维的原棉图片2 。图3 2 为其i 通道 直方图( g 、b 通道特性相同) ，此图中横坐标代表像素点的灰度级，即从0 2 5 5 ；纵坐标 表示相应灰度级上出现像素点的概率，左上角给出了最大概率值。由图片可见，本次采 集的图像由棉层、通道背景、异物三种物质组成，且棉花与通道背景面积较大，异物只 占其中很小的部分。由直方图可以看出其灰度值分布集中在1 5 0 1 9 5 之间，呈现明显双 峰，经分析可知前锋是通道背景，后峰是棉层；在直方图的两端有一些不明显的小点点， 这是异物，因为其灰度值一般较低或较高，故分布在两端。 理论上先在低谷选择合适的阈值可以将图片以峰谷值分割为通道背景下低灰度异 物图和棉层背景下高灰度异物图；然后对两幅新图片分别再次设定分割阈值，即可将异 物分离出来。即通过第一次分割，将含有四类物质的原图片分割为含两类物质的两幅新 图片；通过对新图片第二次分割，从两类物质中分离出异物。 1 2 硕士论文基于机器视觉的棉花异物检测技术研究 矧3 2r 】盥j 堕i 万闲 3 2 1 第一次分割 经过对几种适用于呈双峰特性图像分割方法的研究，发现o t s uf l 适应阈值p 3 1 对这类 整体呈双峰特性，但是峰谷不明显，且目标和背景比例相近的图片分割效果最理想。o t s u 法有些地方也叫最大类间方差法，是自适应阈值法的一种。从统计意义上讲，是目前最 佳的阈值分割法，也比较适合此处棉花图片的第一次分割【3 刀。 o t s u 方法的基本原理是从图像的最小灰度值到最大灰度值依次进行遍历，每次遍历 首先以遍历值做为阈值，将图像分割为前景和背景两类，然后分别计算两类各自的类间 方差值。等遍历结束后，选取类间方差值最大的灰度值作为最佳分割阈值。由于此方法 具有统计意义上的最佳分割阈值，被广泛应用的同时，人们又提出了多种改进方案 3 9 - 4 0 1 。 下面将对本文采用的改进的o t s u 阈值法做详细介绍。 设厂o ，y ) 是像素( 而y ) 的灰度值，是图像的大j , j l f ( x , y ) o ，l ，l - 1 ，l 为图像 的灰度级总数。记灰度级f 出现的次数为珥，则灰度级j 出现的概率可表示为：1 1 = n , n 。 当以灰度级r 为阈值把像素分割成两类：s 背景类和是前景类，则背景类和前景类出现 的机率分别为： 与= p t最= a ( 3 1 ) i - 0j i i + l 两类的类内中心分别为： 3 基于阈值分割的棉花异物检测硕士论文 l 锄 戗= 圭l 一 丑 纸：翌 ( 3 2 ) 32纸= 丝= l( ) 只 定义两类距离为： 、一 。 d = h 一哆l ( 3 3 ) 接着定义s 和岛中每一个像素到类内中心的距离为类的分散度，分别为： 磊= 圭l f q l 譬吃= l - i 卜吐l 鲁 ( 3 4 ) 当满足d 最大gd , 、d 2 最小时，分类效果最佳。这样不仅能够使每一类的内聚性 最好，而且使两类的类间距离也最大，从而达到最理想的分割效果1 4 0 1 。基于以上分析， 前景和背景分割的阈值识别函数可以定义为： 日( f ) ：墨里 ( 3 5 ) 墨西+ e 畋 很显然，h 越大达到的分类效果越好，故最优阈值判别式可以表示为： h ( t 。) = o ) ( 3 6 ) 3 2 2 第二次分割 经过改进的o t s u 自适应阈值的第一次分割，原图片被分割为通道背景下低灰度异物 图和棉层背景下高灰度异物图。通过对原图片的分析，发现棉层、通道背景的灰度均服 从正态分布。图3 3 ( a ) 给出了通道背景r 分量( 其他通道特性相似) 直方图，此图中横坐标 代表像素点的灰度级，即从0 2 5 5 ；纵坐标表示相应灰度级上出现像素点的概率，左上 角给出了最大概率值。从图上可以看出，其灰度在一个狭窄的范围内近似正态分布，这 是因为通道背景颜色固定单一，故可以认为其直方图呈现正态分布。图3 3 ( b ) 给出了棉 层g 分量( 其他通道特性相似) 直方图，很显然这也是一个正态分布。 在通道背景下低灰度异物图片中，大部分都是高灰度的通道背景，异物灰度低且含 量少，故其整体直方图仍接近正态分布，只是在其低灰度- - o j j 会拖一个小尾巴，这是低 灰度异物。同理，在棉层背景下高灰度异物图片中，整体直方图也接近正态分布，只是 在其高灰度一侧会拖一个尾巴，这是高灰度异物。 在这两幅新图片中目标( 异物) 和背景的分布不重叠，且背景均呈正态分布，因此 选择背景估计阈值法o p t 实现分割【1 2 , 4 1 】。背景估计阈值法即：先求出背景的均值和标 准差d ；再计算t ：i t + - k c r 。其中7 为最终选择出的阈值，k 为通过试验预先确定的错误 系数，为一个常数，本试验中取2 5 k 3 5 。这遵循了概率统计中的3 t r 原则：偶然性事 件发生的概率为9 9 7 3 ，异常事件发生的概率为0 2 7 4 2 1 。 1 4 硕士论文 基于机器视觉的棉花异物检测技术研究 ， 8 ，1 2 7 5 蕊i os l 5 。 的。i 铀 2 她芝墨s ( a ) 通道背景r 分量 ( b ) 棉层g 分量 图3 3 直方图 通道背景下低灰度异物图片具有两个特征：( 1 ) 通道背景在图像中分布广，其灰度分 布是正态的；( 2 ) 异物都比背景灰度低。由特征1 ，可以将最大概率的灰度值作为均值的 估计值。由特征2 可以认为灰度从p 一2 5 5 的像素都是背景。由于背景的灰度是正态分布， 可以通过以a 为中心进行镜像得到另一半灰度的分布，从而可以计算标准差仃的估计值 h 1 1 。由特征1 、2 推得，阈值可以按丁：p k 仃计算。详细的计算过程如下面公式( 3 7 ) 一( 3 1 0 ) 所示。 ，l = = 。m ；。；a ：x ， 厅( g ) ) ( 3 7 ) 一p = 2 ( g ) + | l l ( | “) ( 3 8 ) 暑= p + l + d = 2 h ( g ) ( g - l z ) 2 ( 3 9 ) 譬。一+ 1 仃_ - f b - 巧 ( 3 1 0 ) 棉层背景下高灰度异物图片与上面特征相似，只是异物都比背景灰度高，认为灰 度从0 p 的像素都是背景，公式( 3 8 ) 、( 3 9 ) 的上限改动为卢，下限改动为o ，阈值按 t = p + k c r 计算。 3 2 3 阈值分割法实现过程 改进的o t s u 阈值与背景估计阈值相结合方法的实现步骤如下： 1 分别统计原图片尺三分量的图像直方图办( g ) ，g 【o ，2 5 5 ； 3 基于阈值分割的棉花异物检测 硕士论文 2 按照公式( 3 5 ) 分别求出三分量的o t s u 阈值； 3 以三分量的o t s u 阈值取与( 即同时满足三个阈值条件) 为依据，将原图片分割为 通道背景下低灰度异物图片和棉层背景下高灰度异物图片； 4 按照公式( 3 7 ) 、( 3 1 0 ) 分别求出两幅分割图片的估计均值p 和标准差叮； 5 对通道背景下低灰度异物图，确定各分量阈值r = 一k t r ，三分量取与( 即同时满 足三个阈值条件) 分割图片； 6 对棉层背景下高灰度异物图，确定各分量阈值r = + k t r ，三分量取与( 即同时 满足三个阈值条件) 分割图片； 3 3 实验结果分析 3 3 1 原棉图片1 处理 图3 4 ( a ) 为一幅只含低灰度异物的原图片，其中有三根条状纤维和几个棉籽类的小 颗粒，它们都呈暗色，灰度低。在三个分量上获得的o t s u 阈值分别为1 6 8 、1 5 5 、1 3 9 ， 以同时满足三个分量为条件，进行第一次分割，得到两幅新图片，即图3 4 ( b ) 所示的通 道背景下低灰度异物图和图3 4 ( c ) 所示的棉层背景下高灰度异物图。前者保留低灰度部 分，将高灰度部分置为白色；后者保留高灰度部分，将低灰度部分置为白色。通过对比 原图片，发现此分割方法成功将四类物质分割成两组，一组只有通道背景、异物，另一 组只有棉层，这与预想效果一致。 因为此图片中没有高灰度异物，仅处理通道背景下低灰度异物图。表3 1 给出了按照 3 2 2 节公式计算出的通道背景估计值，在三个分量上获得的估计阈值分别为1 3 4 、1 2 5 、 1 0 0 ，以同时满足三个分量为条件，进行第二次分割，得到如图3 4 ( d ) 所示的效果。结果 表明，暗色异物成功的从棉层和通道背景中提取出来，且轮廓清晰，准确率高。 1 6 ( a ) 原棉图片1 硕士论文 基于机器视觉的棉花异物检测技术研究 ( d ) 低灰度异物提取效果 图3 4 原棉图片l 阈值法处理 表3 1 通道背景下低灰度异物图背景估计值 3 3 2 原棉图片2 处理 图3 5 ( a ) 为一幅同时含有低灰度和高灰度异物的原图片，其中不仅含低灰度的暗色 条状纤维和几个棉籽类的小颗粒，还有高灰度的亮色纤维丝。在三个分量上获得的o t s u 阈值分别为1 7 0 、1 5 6 、1 4 3 ，以同时满足三个分量为条件，进行第一次分割，得到两幅 新图片，即如图3 5 所示的通道背景下低灰度异物图和如图3 5 ( c ) 所示的棉层背景下高 灰度异物图。通过与原图片的对比观察，此分割基本实现了预期的分割效果。 3 基于阈值分割的棉花异物检测硕士论文 按照3 2 2 节的方法计算出了通道背景下低灰度异物图片中通道背景的估计值，如表 3 2 所示。在三个分量上获得的估计阈值分