羊毛污杂物不规则机器视觉系统 - 副本.doc

四川大学本科论文 羊毛污染物的不规则机器视觉系统检测第一章 绪论1.1课题背景及意义我国是世界第二大的羊毛生产国，据统计，我国在2008年的羊毛产量达到了367687T，羊毛生产在我国的毛纺织业具有举足轻重的地位。近几年来，随着我们毛纺织工业的发展，纺织业对羊毛质量的要求也越来越高，但虽然我国是羊毛生产大国，但是我们的羊毛由于产地、气候、品种等原因，羊毛的质量参差不齐，难以满足现代毛纺织业对羊毛质量的要求1-2。羊毛的质量因素只要包括羊毛的纤维细度、离散度、羊毛的强度、弹性、色度等等，然而羊毛之中的污染物也是关系到羊毛质量的关键因素之一。羊毛中所包含的污染物多种多样，主要有线状聚丙烯、包装材料、黑色纤维、尿黄毛屎黄毛、油漆标记、小木块和石头等等3，这些污染物不能同正常的羊毛一样被染色或者纺织，极大地影响了羊毛织物的质量。以现在的技术手段，采用物理化学方法还不能从羊毛中自去除这些污染物。在实际生产中，我国普遍采用人工的方式来去除羊毛中的污染物质，既安排一批工人在生产线旁，靠工人肉眼的观察来识别出污染物并通过工人的双手来去除污染物。然而这种检测方式的精度完全依赖于工人的工作，但工人的注意力并不是稳定不变的，工人的注意力会随着时间的加长和工作量的增加而出现波动，因此这中检测方式不可靠，而且效率低下成本高，从长远来看，不适合长期大规模应用。现代的毛纺织业对于羊毛污染物的检测要求是检测精度高，速度快，成本少，单靠人工检测是完全无法满足现代毛纺业的要求的。因此，国内外有关机构开始在开发一些用于羊毛纤维检测的机器视觉系统，机器视觉系统的功能主要通过计算机来实现，利用计算机模拟人或者模拟和人类视觉有关的智能行为，再对客观世界的图像中提取信息进行处理后加以理解，最后运用于实际检测。相对于人工检测，机器视觉系统具有人工检测所完全不能比拟的特点，首先机器视觉系统的工作稳定，机器视觉系统工作的稳定性并不会随着工作时间的延长而明显下降；另外，机器视觉系统不同于人，在工作中如没有异常状况发生并不需要停机，可以实现724小时的不间断的工作，可以大大地提高生产效率。因为以上的特点，机器视觉系统在异性纤维检测上的发展前景十分广阔。现代的毛纺织业也对羊毛检测提出了较高的要求，在以后的未来，采用人工来检测羊毛污染物的方法必将会被市场所淘汰，为了适应羊毛纤维检测的高要求，因此需要一种能快够速检测出羊毛之中的污染物的机器视觉。虽然羊毛污染物的种类多种多样，但是根据它们与羊毛背景之间的颜色区别，可以大致可以分为两类：一类是深色的与羊毛背景对比度大的污染物，这类污染物主要是有色的塑料包装纸，有色纸片，树叶等等，另一类是白色的，浅色的与羊毛背景颜色相近的污染物4，这类污染物主要包括白色尼龙绳、白色泡沫、透明塑料袋等等。有关污染物的图像如下图所示。含有浅色污染物的羊毛图像含有深色污染物的羊毛图像 从以上图片可以看出，深色的污染物与羊毛背景之间的差异十分明显，在实际的机器视觉系统中很容易检测出来；然而对于浅色的与羊毛污染物，由于其与羊毛背景相接近或者一样，所以现有的机器视觉系统很难将其从羊毛背景中识别出来，或者能识别出来，但是误检率漏检率很高，不能用于实际生产中，也不具有实用价值。在现有用于羊毛检测的机器视觉系统中，大部分系统所采用的照明方式都是普通照明方式，在普通光照下，污染物与羊毛背景之间的区分依据主要是颜色之间的差异，然而那些近色的污染物与羊毛背景的区别并不十分明显，有些甚至连肉眼也难以分辨，这给计算机识别污染物造成了阻碍。然而，有些近色污染物的物理性质光学性质与羊毛存在很大差异，例如，羊毛比较松散，而污染物的质地比较致密，在激光线结构光的照射下，污染物会发生明显的反射现象，而大部分羊毛则会被激光透过，只有少数一部分会存在反射现象，但其亮度及规模和污染物的反射存在很大差异。很容易用图像处理的手段识别出来。因此，本系统将采用激光线结构光照明，提高系统识别近色污染物的能力。1.2 国内外研究现状对于羊毛污杂物的检测，通常羊毛污染物的总面积只占了不到总背景面积的5%，和背景面积相比起来所占的比例很小，属于大背景小目标机器视觉检测的研究范畴。在这方面，中部哈德斯菲尔德大学5设计了一款机器视觉系统，该系统采用了34线的Dalsa Trillium 线阵式彩色自动相机，扫描频率固定800线/秒，每线2048像素，每秒可以采集高达67M的数据（3*800*2048）。该系统采用一主频为3GHz的CUP和内存为1G的电脑作为主机，软件则采用Visual C+和Sapera图像库封包编程。由于需要处理的数据量巨大，在实际操作中，该系统在处理诸如泰勒变换、RGB到HIS色彩空间变换、边界检测等比较复杂一点的算法时，处理的速度过于缓慢。使得系统不能满足实时在线检测的要求。在异性纤维检测方面，中国科学院上海技术物理研究所6发明了一种棉花杂质在线自动检测装置，该装置先将蓬松的棉花通过传送带形成厚度在5至8厘米，宽带在600到100厘米之间扁平状，再将待检测的棉花送入CCD和紫外传感器的检测区域中，装置采用的照明方式为日光灯管结合低压紫外线灯，利用可见光和紫外波段对棉花待检测部分进行照明。由CCD电荷耦合器和对应光学元件构成的可见光检测装置可以配合传送带匀速运输棉花获取棉花杂质的二维图像信息。在紫外线检测方面。该系统采用的是256元线硅光电二极管及对应的光学元件，配合传送带匀速运输棉花获取在紫外线波段的棉花杂质信息。在图像识别方面，该系统采用计算机利用数字图像处理技术通过Sobel算子进行图像的边缘特征提取，从而确定污染物的在图像中的空间位置。而对于紫外线波段，该系统采用超阈值信号来定位污染物在图像中的空间位置。最后该系统对可见光和紫外线光的污染物位置信息进行“与”运算判断是否存在杂质，再由计算机控制喷嘴控制器对污染物进行去除。该系统在照明方面有一定的创新，对棉花中的各色杂物能进行有效的去除，对于一些浅色的污染物例如无色透明的尼龙等也有一定的效果。但其在数据冗余度方面仍然没有妥善的解决方案。瑞士的Jossi公司出品的名为Vision Shield Compact Gn Direct 的机器视觉7，该系统采用了两台具有数字图像处理功能的高速CCD彩色摄像机，能从各个方位检测通过通道的棉花，并且将收集到的数据传送到计算机处理单元进行分析和处理，系统的软件具有模糊逻辑处理功能，可以分辨污杂物和原棉色彩之间微笑的差异。该系统可以处理4种不同类型的原棉。产量可以达到1000kg/h。台湾明正公司生产的DG-2000A机器视觉系统，该系统采用了两台Super HAD CCD彩色摄像机，照明系统则采用了8只高亮度的灯管进行全面的照明，光谱分析的完整精度达到24Bit。经纬纺机公司所生产的型号为JWF0011的机器视觉系统，该系统采用管道运输棉花，两台扫描速度达到5000行/s的彩色摄像机对通过玻璃输棉管道的棉花进行扫描，该系统采用DPS系统对棉花进行处理。大连贵友科技公司所设计的CS-2、CS-3的系统采用高分辨率的高速CCD彩色摄像机，利用神经网络控制基础进行信息的处理和控制，该系统的特点是系统的可靠性高，处理高速并且搞笑，每行像素可以达到2098点，分辨率小于0.5mm。而意大利的Loptex设计的HP系统，该系统采用具有了128个光电二极管的超声波检测器，和16个荧光灯超声波发生器进行识别。该系统利用了超声波的穿透原理，如果原棉中含有质地致密的杂物，超声波就会被反射回来并且被系统所接受，系统再驱动相应的装置对杂物进行剔除。另外，四川大学制造科学与工程学院的苏真伟教授也提出了一种能够模拟人类注视功能的机器视觉系统8-9。该系统采用4个德国Basler A601f 相机，配合Computar M0841MP工业镜头，用Matrox Meteor2-1394图像获取卡来获取图片。该系统相对于其他系统，具有人类注视的功能，有效地减少了数据的冗余量，并且提高了缺陷区域的分辨率，提高了检测精度。但是由于该系统采用主从式结构，主摄像头和次级摄像头之间存在配合工作的问题，对传输带的运动速度稳定性要求极高，然而传输带的运动是一种非匀速的运动，其运动速度在某一个范围内波动并且没有规律可循。因此，该系统解决了数据冗余的问题，但是对机械传动的机构要求很高。以上提到的机器视觉系统中，其检测原理可以分为以下三大类，第一类为光学检测原理，该类系统采用CCD高速彩色摄像机对纤维进行扫描，再将扫面得到的信号送到计算机进行处理，若信号存在异常则驱动相应的执行机构对其进行去除；第二类采用光电传感器检测，当光源照射在原材料上时，不同性质的材料的反射光的亮度会有所差异，因此传感器可以判断哪些是异性纤维哪些是正常纤维并且发出指令排除污染物，诸如意大利Loptex公司的系统就是属于这类系统。第三类系统主要利用超声波原理检测，如果纤维中含有质地致密的杂物，超声波就会被反射回来并且被系统所接受，系统再驱动相应的装置对杂物进行剔除。虽然上述的各种系统在异性纤维检测方面在各个方面都有所成就，但是没有一个系统能较好地同时解决数据冗余和浅色近色污染物识别问题，而本文提出的系统采用并行结构，运用激光线结构光照明，有望较好地解决以上两个问题。1.3本文主要研究内容羊毛中所包含的污染物多种多样，有污杂物在羊毛中的主要存在形式有线状聚丙烯、包装材料、黑色纤维、尿黄毛屎黄毛、油漆标记、小木块和石头等物质，但可以根据污染物的颜色将污染物分为两类：一类是颜色较深的，与羊毛背景颜色差距较大的污染物，例如黑色纤维、包装材料等等；另一类污染物为浅色的、白色的等与羊毛背景颜色相接近的物质，这类物质主要有透明包装纸、尿黄毛等。在普通光照下，一类物质和羊毛背景之间的差异很多，很容易通过图像处理的手段给以识别，而二类污染物在普通光照下与羊毛背景的颜色相接近，有些污染物甚至连人类肉眼也难以识别，用计算机去直接识别这类污染物目前存在很大的困难。对此本文将采用激光线结构光的照明方式，研究还有污染物的羊毛分别在激光线结构光照明条件下和普通照明条件下的直方图分布，以此来判断采用激光线结构光照明方式的效果是否比普通照明的效果要好，以及采用激光线结构光照明来识别二类浅色物质是否可行。开始一般的机器视觉系统的工作流程如下图所示：结束图像识别图像处理获取图像这类机器视觉系统的结构虽然简单，易于实现，但是羊毛污杂物的识别属于大背景小缺陷的范畴，在某些情况下，羊毛污染物的总面积甚至占了羊毛背景总面积的百分之5都不到，而系统仍然需要处理整个羊毛背景，这样就造成了数据的大量冗余，浪费了计算机的计算资源，更重要的大量的数据处理使得计算机的计算变得过于缓慢，使得系统难以满足在线实时检测的需要。 为了适应实时检测对机器视觉系统的要求，本文将研究采用并行结构的机器视觉系统，该系统的结构及工作流程如下：次级计算机图像获取卡机械系统摄像头3摄像头2摄像头1主机系统结构组成系统的机构示意图摄像头1删除可疑？图像传输主机Y次级计算机摄像头2传输N摄像头3Y去除污染物可疑？二值化N删除系统的工作流程1.4本章小结本章主要介绍了羊毛检测对于纺织业的重要意义及目前我国的毛纺业在羊毛异物检测方面的现状，介绍了机器视觉在羊毛异物检测的用途；同时还简要地介绍了国内外关于羊毛检测的机器视觉系统的发展现状及现有的一些机器视觉系统，例如中部哈德斯菲尔德大所设计的机器视觉系统。最后简要地介绍本文的主要研究内容。第二章：机器视觉系统的相关理论及技术机器视觉技术是一门近几年来逐步兴起的一门综合学科，包含了诸如图像获取、照明、图形处理和自动控制等相关技术10。本章将简单介绍机器视觉系统所需要的基本技术。2.1 图像获取技术图像获取技术是机器视觉系统的基础技术之一，图像获取技术包含三项内容，也就是照明技术、图像传感技术及视屏调制技术。2.1.1照明技术机器视觉系统的照明的好坏直接影响机器视觉系统的性能，因为照明关系到系统所获得的数据质量的好坏和至少30%的应用效果11。根据对象的不同，机器视觉系统的照明需要随着检测对象的不同而选择不同照明装置，以此来获得良好的效果。机器视觉系统的照明可以分为可见光照明与不可见光照明，可见光照明的主要光源有日光灯、LED灯、卤素灯9等等，这些可见光源有一个共同的缺点，那就是光源的亮度会随着工作时间的增加而降低，以日光灯为例子，在日光灯投入使用后的前100小时内，日光灯的亮度将下降15%，随着工作时间的增加，光的亮度还将持续下降。以下将列出主要可见光源的性能特性表1：各类光源的主要特性在上表所列出的光源中，LED光源是目前机器视觉系统采用得最广泛的光源。虽然同可见光源一样具有发光不能持续稳定的缺点，LED光源耗电少，有利于节能减排，光源的响应速度和高频特性优良，具有高度的单色性，同时LED光源还耐冲击振动，适用于工作环境较为恶劣的场合。因此LED被广泛运用于机器视觉系统。 对于某些高要求的检测任务，为了检测的稳定性或者为了采用具有一定物理特性的光源，X射线和超声波等不可见光源也得到了广泛的运用。然而这类光源的价格较高。照明光源和照明系统在整个机器视觉系统中占有举足轻重的地位，照明系统的任务不是简简单单地照亮物体。例如在印刷领域12，照明系统的首要任务就是要保证能够真实地反映印刷品的颜色，不能照成颜色的失真。这就要求光源的颜色要与太阳光相接近，同时还得具有一定的亮度和亮度均匀性，其次照明系统还得避免一些高反射率区域的产生。而在另一些应用场合，光源和照明系统的首要任务是保证突出待检测物体的特征，突出那些待检测部分与非待检测部分物体的区别，增加他们之间的对比度，同时还应保证足够的整体亮度，同时物体位置的变化也不应该影响成像质量。 2.1.2图像传感技术计算机获取图像的过程实际上就是通过传感器将外部的实物信息转化为计算机能够识别并且处理的信号13。目前的机器视觉系统主要采用CCD和CMOS摄像机，这类摄像机的主要任务就是把成像单元上的光学信号转化为电信号。COMS摄像机的造价成本比较低同时耗电量也比较少，但是相对于CCD摄像机的成像比较低。CCD摄像机虽然制造成本较高，但CCD摄像机所拍摄的图像在通透性上、在色彩的丰富性上和颜色的明锐度上都要好于COMS摄像机。CCD摄像机的动态范围大14，体积小巧并且工作可靠，CCD摄像机的图像输出简单，可以很方便地将图像信号按照一定确定的线性关系转换为电信号的时序分布，为后期的处理做好准备。CCS和CMOS能集成在同一片芯片上，使芯片能进行光电转换、信号存储、转移和输出功能等等。CCD图像传感器也可认为是一个图像变换器，将一幅图像转换成按时间顺序分布的视频电压信号，并将信号传输给计算机进行处理。按照拍摄方式的不同，摄像机也可分为面阵式和线阵式，面阵式摄像机能同时获取整幅图像，而线阵式摄像机只能对图像进行逐行扫描，但是线阵式摄像机的扫描速度快并且分辨率高，适用于高速检测或者连续检测。2.1.3图像获取卡图像采集卡15是一种控制摄像机进行图像获取的设备，在完成图像采集和数字化方面具有重要作用。图像采集卡一般由以下部分组成；A/D转换模块、时序采集控制模块、图像处理模块、相机控制模块、数字输入输出模块、PCI接口及控制模块。图像采集卡能利用TTL信号和诸如传感器、PLC等外部设备进行通讯，用于响应频闪、拍照和发出信号。采集图像过程实际上就是将拍摄得到的图像转化为数字化图像后输入并存储到帧存储器的过程。但是图像信号的数据量往往十分庞大，需要极高的传输速度，传统的传输结构不能满足要求，因此需要图像采集卡。通过图像采集卡的高速PCI总线可以直接实现图像的采集到VGA显存的过程，这不但能使图像能直接被采集到VGA，而且可以利用计算机内存的扩展性，对所需的序列图像一帧一帧地进行连续采集，从而进行序列图像处理分析。同时，因为图像是直接被采集到内存的，所以可以在内存中直接进行图像处理，随着CPU运算能力的不断提高和制造成本的降低，对主机内存图像进行实时的在线处理已经不是一件不可能的事了。一般的图像采集卡都是一块芯片，以链接的形式装配在台式计算机的PCI扩展槽上，通过PCI总线能够将图像直接采集到计算机系统内存或者VGA显存中，图像采集的原理是将视频源得到的信号通过视频接口传送到图像采集卡，经过模数转换后将信号送到数字解码器进行解码。模数转换器实际上也是一个视频解码器，它能对视频源的信号进行解码和数字化，另外，不同的颜色空间可以选择不同的视频输入解码器芯片。图像采集的过程如下1、 光学系统得到客观世界的信息；2、 光能通过CCD芯片转换为电能；3、 摄像机将信息以模拟信号的形式传输到图像采集卡；4、 AD-转换器将模拟信号转换为数字信号。用灰度值的高低来表达每个像素的亮度。目前图像采集卡在各个方面都有广泛的运用，例如工业检测方面、交通道路方面、医学领域和军事科研等。系统需要根据处理过程的需要来对摄像机的拍摄时间进行选择，在一些系统中，由于需要设定拍摄的帧率，系统还必须装备像素时钟发生器。2.2图像处理技术机器视觉的本质是利用计算的运算功能实现人类的视觉功能，所以机器视觉得利用图形分析，图像处理及图像识别等方法，这些方法主要有图像增强，图像平滑处理，边缘锐化，分割，特征提取及图像识别等等16。经过处理过后的图像能使图像的质量增强，便于计算机进行图像识别，图形处理和图像识别等。这些都需要光学、概率论和随机过程理论的支持。机器视觉系统的主要对象是工业领域，但其本质上仍是一个视觉系统，其所采用的图像处理技术，图像识别技术的理论和技术是相同的。图像处理与图像识别是机器视觉系统的热点，这表明了图像处理和图像识别在机器视觉领域的重要性，但关于图像的处理与识别还存在很多问题待解决。2.3本章小结本章节主要介绍了有关机器视觉系统的相关技术及背景，包括照明技术，图像传感技术，图像处理技术，图像获取卡等。这些技术都是机器视觉系统不可缺少的一部分，同时也是机器视觉系统的基础。在下一章，本文将介绍机器视觉系统的核心：算法。第三章：算法本章将介绍可以图像识别的算法。在系统中，子级计算机的主要任务是判断图像中是否含有可疑目标，若含有可疑目标，则将图像传输到主机。若图像内不含有可疑目标，则将图像删除以节省存储空间。主机的任务则是对接收到的图像进行进一步的处理，判断可疑图像中是否含有污染物，若含有污染物，则发出命令驱动相应的装置对其进行去除。因此子级计算机的算法的功能为可疑图像识别，而主机的算法的功能主要为判断污染物的存在。3.1基于统计原理的可疑图像算法该机器视觉系统的可疑图像算法是以统计学原理为依据，对于一幅不包含污杂物的羊毛灰度图像，假设其灰度的均值及方差分别为和，根据统计学原理，对于随机变量X，其值的分布是遵守“3”原则，也就是，因此可以认为一副不含有污染物的图像，其灰度值在-3，+3之间的像素个数应该占到总像素个数的99.74%，也就是说，若一在一幅图像中，像素值不在这个范围内的个数超过总像素的0.36%，则可以认为该图像可能包含有污杂物，需要传送到主机作进一步的处理。例如，对于分辨率为640*480的图像，其总像素个数达到307200个，数据量偏大，直接对其进行统计处理计算量过大，因此可以才有灰度直方图来简化计算。设位于图像（分辨率为N*M）（i，j）处的像素值为f（i，j），f（i，j）的取值范围在（0，m-1）之间，设灰度值为K的频率为P（K），则有以下关系PK=1MNfi，j-k1 （3-1）由此则有图像像素值的平均值为：=i=om-1i*p（i） (3-2)其方差计算式为：2=i=0m-1(i-)2*p(i) (3-3)则灰度在(-3,+3)之间的像素占全图总像素的比例P的表达式为P=i=-3+3p(i) (3-4)根据3原则：P99.74% 程序的流程图为：该图像可疑该图像不可疑YNP99.74%计算P计算和获取图像开始3.2基于ADABOOST的可疑图像算法非线性识别场景信息特征提取有关实验已经证明了人类视神经的所处理的数据量占了不到人类视网膜获取的信息的千分之一，这表明人类视觉系统中的视觉通路能过滤掉大部分不重要的信息，人类视觉系统能对视觉信息进行了数据压缩和冗余数据处理。视觉注意可以分为视觉信息压缩特征提取和非线性识别两个阶段，图3-1基于数据压缩的视觉注意计算模型3.2.1 算法概要算法分为两个阶段：训练阶段和识别阶段。获取的图像分为训练样本和识别样本两部分，拍摄条件相同。第二步提取图像的主要特征，包括颜色、亮度、方向等，也包括压缩域特征，DCT特征。第三步进行训练。训练体现了人类通过典型样本识别积累经验的过程。模式识别完成可疑图像的判断。第四步输出结果。下图是算法的主要步骤及结构训练样本特征提取识别训练输出分类器测试样本特征提取用分类器作模式识别输出结果训练阶段识别阶段图 3.2 识别算法主要步骤3.2.3特征提取特征提取在视觉注意计算模型中体现为亮度、颜色、方向等特征的提取，也可以体现为数据压缩方法。本文数据压缩采用DCT变换。3.2.4亮度、颜色特征提取模拟摄像头采集的图像解码以后得到的是YUV4:2:2的数字信号。本系统提取了Y分量的均值、方差、三阶矩和U分量的均值、方差、三阶矩，算法如下。 首先求Y分量的直方图，得到一个长度为256的一维数组hist。数组的下标表示像素值，数组的值表示相同像素的个数。 如hist846，表示像素值等于8的像素共有46个。然后在这个数组基础上计算均值、方差和三阶矩。 （3-5） （3-6） （3-7） U分量的特征提取方法和Y分量提取方法完全相同。3.2.5 DCT压缩N.Ahmed等人在1974年提出了离散余弦变换。目前，这一技术已广泛应用于图像和语音压缩编码中。JPEG采用了离散余弦变换。基于图像压缩域系数的检索与识别是目前研究的热点24-26。DCT是一种有损数据压缩算法，通常，变换之后大部分能量都集中在DCT系数的低频部分，高频部分信息少。一维信号的定义如下：设为长度为的一维信号，则有（3-8）其中：其反变换为：（3-9）二维DCT的定义如下：对于，DCT变换为， （3-10）其中为DCT变换系数，其逆变换如：（3-11）3.2.6模式识别方法根据模式特征和决策方法的不同，模式识别方法大致分为五类：统计模式分类法、逻辑特征法、模糊方法、神经网络法。 本文主要介绍一下ADABOOST分类方法，并与广泛使用的神经网络和支持向量机对比。 3.2.7 ADABOOST特征集第一次迭代第二次迭代第T次迭代弱分类器H1弱分类器H2弱分类器HT1995年Freund和Schapire提出了Adaptive Boosting算法，简称ADABOOST算法27-29。以前的Boosting算法需要预先假设错误率，而ADABOOST能根据弱学习的反馈调整假设的错误率。ADABOOST已经成功地应用于人脸检测等方面。图3.3 ADABOOST训练示意图ADABOOST算法按功能分可以分为三类：弱分类器、强分类器、级联分类器。如图3.2。最左边为训练样本的特征集。假设训练需经过T次迭代。每一轮迭代就会产生一个弱分类器。而这个弱分类器是在当前权重的情况下得到的错误率最小的分类器，它只对应着某一个特征。T个弱分类器组合就成了一个强分类器。若干强分类器组合成了一个级联分类器。ADABOOST训练的示意图如图3.3所示：3.2.8弱分类器弱分类器的数学表示： （3-12）表示图像，表示某一特征，表示弱分类器，是阈值。每一个弱分类器是在这一轮训练过程中，在当前的权重下得到正确率最高的分类器。3.2.9 强分类器T次迭代，也就是T次训练以后得到了T个最优的弱分类器。T个弱分类器组合起来就是一个强分类器。数学表达式如下 （3-13） 其中，。3.2.10级联分类器级联分类器能尽量排除负样本，大大提高检测效率。待检测图像强分类器1强分类器2强分类器N负样本正样本 图 3.4 级联分类器示意图 本系统运用了强分类器，没有使用级联分类器。训练样本集(x1,y1), (x2,y2)(xN,yN)初始化权重归一化权重开始迭代次数tT?找出每个特征的阈值根据阈值分类并计算误差调整权重组合构造成强分类器选择误差最小的分类器作为弱分类器结束图3.5 ADABOOST强分类器训练流程图3.2 图像处理方法次级计算机的主要任务是判断图像是否可疑，而主机的任务则是判断次级计算机传输至主机的可疑图像是否含有污染物。本文的机器视觉系统将采用二值化的方法对图像进行处理。3.2.1 图像二值化17利用图像二值化的方法，可疑区域的判断方法如下：（1） 获取灰度图像（2） 对灰度图像进行二值化（3） 判断图像是否有目标被分离出，如果有，则图像中含有污染物，如果没有，则图像中不含有污染物。（4） 若图像中含有污染物，则主机驱动相应的装置对其进行去除，如不含有污染物，则系统将进入下一步循环。图像二值化算法图像二值化处理，也就是图像门限处理或者是阈值处理，图像二值化处理由于处理容易实现并且经过处理过后的图像的直观性良好，所以在图形处理中得到广泛的应用，是多种图形处理方法的预处理过程。例如一幅图像f（x，y）的背景组成可以分为亮的对象和深色的背景，先假定一个阈值T，是一种设计测试所有满足f(x,y)T条件的点设为对象点；否则就将其设为背景点。图像二值化处理也可以被测试下列形式函数T的方法之一：T=Tx,y,px,y,fx,y在以上公式中，f(x,y)代表点(x.y)的灰度值，p(x,y)则代表这个店的局部特性。经阈值处理后的图像g(x,y)的表达式为g（x,y）gx,y=1或者255 f(x,y)T0 & f(x,y)根据以上公式，值为1的像素对应于对象（或背景），二标记为0（或任何其他没有被标记为对象的灰度）的像素对应于背景（或对象）。假设T仅仅由决定时，也就是仅仅由灰度级值决定时，阈值（门限值）是全局的。若T同时由和决定时，那么阈值（门限值）是局部的。若T是由空间坐标x和y共同决定时，则阈值（门限值）是动态的或自适应的。3.3本章小结本章节主要介绍可疑图像的算法，包括基于统计学原理的可疑图像算法和基于ADABOOST的可疑图像算法，最后还介绍了常用的图像处理算法二值法。第四章：线结构光相关实验及其结果4.1线结构光照明实验4.1.1实验目的本实验的目的是为了含有污杂物的羊毛与纯净的羊毛分别在普通照明下、线激光照明下与线激光与普通光混合照明下的图像特征。对比通过这三种方法所获得的图像的质量与效果。4.1.2实验原理在普通照明的情况下，一些深色的污染物与羊毛整体背景的区别十分明显，很容易通过计算机及简单的图像处理方法给以识别，而一些浅色的污染物诸如纸片透明尼龙之类的物质，这类物质和羊毛背景比较相似，而且这类污染物有时候会藏匿于羊毛之间，给识别的工作照成困难。但羊毛和污染物之间的光学性质存在着显著的差异，羊毛的质地比较疏散表面比较粗糙，而大部分污染物的质地比较致密表面比较光滑，这样的物理性质差别使得二者在激光线结构光的照明下产生了鲜明的对比。大部分羊毛的背景在激光线结构光的照明下形成的是黑色的背景，只有极少部分的羊毛会产生小区域的亮斑，而污染物在线结构光的照明下则会形成较大的亮斑，很容易同羊毛背景区分出来。相比于普通光线照明，采用激光线结构光照明的结果是使得羊毛背景和污染物之间的区别扩大化，使得原本在普通照明下不能识别的污染物在线结构光的照明下能够得以识别。同时由于采用线机构光照明，污染物的颜色对系统的检测效果影响不大，使得系统得以识别不同种类的污染物。而不是同其他采用普通照明的机器视觉系统一样，利用污染物与羊毛背景之间的颜色差异，采用这样方法往往要分别对RGB三个颜色通道进行处理，只用再根据每个通道的结果进行决策处理，并且不同批次的羊毛往往成色有些许差异，单靠背景颜色往往过程复杂计算量大，不利于检测的实时性21。简而言之，该实验的原理是利用羊毛和污染物之间的光学性质差异，用激光线结构光反映出该差异，再由系统进行识别。4.1.3实验装置照明部分：本实验的光源主要有激光线结构光发生器4台，该激光发射器的功率为10mW，由西安思拓光电技术责任有限公司生产。传统激光线光源中间部分光线较亮，随着光线向两边延伸，光线逐渐变暗，不能满足用户的特殊要求。但该激光发射器的波长为650nm，扇角为10至120，2米处线长将达到6米，光学系统则是采用球面玻璃透镜组，直线弯曲度达到1mm5米。所发射的激光级别能达到：a级别，并且光强分布均匀能满足各种高品质要求。普通照明的光源则是采用家用的日光灯管，具体型号不明。激光线结构光发射器的实物图如下图所示：图4-1 激光线结构光发射器实物图摄像机：本实验的摄像机采用的是由德国BASLER公司生产的型号为BASLER L301kc的彩色线扫描摄像机，该摄像机的主要技术参数如下：传感器：3CCD彩色电荷耦合元件分辨率：3*2098像素像素尺寸：14um*14um时钟频率：60MHz最大线速率：9.2Khz最小线数据：1Khz输出类型：Camera Link实物外观如图所示：图4-2 巴塞尔线阵式相机L301KC计算机：本实验所采用的是一台CPU主频为3.0GHz的计算机。传送带：由于条件的限制，并没有工业上所运用的传送带，于是本实验采用一台跑步机来模拟传送带的运动。其他装置：包括各种用于固定设备的支架等等。4.1.4实验准备：（1）在实验正式开始前，必须先对传送带的运动进行检测，以确定传送带的运动是一种近似于匀速的运动。为了验证传送带的运动近似为匀速运动，在实验之前先在传送带的表面做了两处标记s1和s2，二者之间的距离为L=s2-s1，再在传动带的机架上做一标记s，当s1通过标记s时按下秒表，假设此时的时刻为t1，当s2通过标记s时，再次按下秒表，假设此时的的时刻为t2，那么传送带从标记s1运动到标记s2所花费的时间为t=t2-t1，那么传动带从s1处运动到s2处的平均速度为V=（s2-s1）（t2-t1）多次变换s1和s2之间的位置可以求得多个V值，对比V值之间的差异可以判断传输带的运动是否为近似匀速运动，本次实验假定只要平均速度的波动不超过5%即可认为其运动是近似于匀速运动。以下是实验所测得的数据：序号s1(cm)s2(cm)t1st2(s)L(cm)V(cm/s)110.065.105.4755.110.07210.070.005.896010.19310.075.206.5465.29.9410.080.206.9870.210.05510.085.107.5375.19.9610.090.209.0090.210.02710.095.209.4795.210.05根据以上数据，总平均速度为V总=（V1+V2+V3+V4+V5+V6+V7）7=10.03因此最大的平均速度波动不超过总平均速度的5%，因此可以认为传送带的运动为匀速运动。（2）摄像机的准备工作：实验开始前，必须对摄像机进行调整，使得羊毛平面能位于摄像机镜头的焦平面上，以便获得质量最佳的图像。其调整过程如下，先将羊毛用玻璃板压平后放置于传送带上，然后逐步调整镜头的焦距，当羊毛图像在显示屏上最为清晰时的焦距即为最佳焦距。（1） 激光线激光发生器的安装为了使线激光照射在羊毛背景上并且保证激光的亮度，实验之前必须对激光线结构光进行调整。首先先调整第一个线激光发射器，使其的位置处于摄像机所能拍摄的位置，并且调整其宽度和观察屏幕，当屏幕的红色亮度为最亮时的状态为最佳状态，之后再调整另一部线激光发生器，使其所产生的线激光与第一部线激光发生器所产生的线激光相重合，以便使线激光的亮度达到最大。激光发射器的安装图如图4-3所示：图4-3激光线结构光发射器的安装图4.1.5实验开始：实验的准备工作结束后，开始进行实验。首先开始激光线结构光发射器及摄像机，之后开始传送带，将传送带的速度设置为0.1m/s，之后将含不含有污染物的羊毛放置在传送带上，摄像机则按固定的频率获取图像，但羊毛通过摄像机的拍摄区域时摄像机就会自动获取图像。获取的图像会被传送至计算机的指定文件夹进行保存以待下一步工作。系统工作时的情景如图4-4所示：当拍摄了足够的纯净的羊毛背景图像时则进入下一实验阶段，往羊毛中添加具有典型特征的污染物再将其放置在传输带上，之后继续重复以上步骤，直到该阶段的工作完成。当激光与普通光照下的羊毛背景图像拍摄完毕之后，则将日光灯源关闭，只保留激光线结构光照明，只有的步骤与第一阶段的工作一样。以此类推，激光线结构光照明的工作结束后则将激光线结构光照明关闭，只保留日光灯照明，以后的步骤与第一阶段的步骤一致。图4-4 系统工作情况4.2实验结果与分析本次实验总共拍摄了150幅图像，普通照明的图片50幅、普通照明与线结构光照明50幅图像，激光线结构光照明图像50幅。实验的结构表明了采用单独的激光线结构光照明的效果大大好于其他两种照明方式。以下是部分典型的图像 图4-5a在普通光照下的纯净羊毛图像 图4-5b在激光线结构光照明下的纯净羊毛图像 图4-5c普通照明与激光线结构光混合照明下的图像 图4-5d含有污染物的羊毛在普通光照下的图像 图4-5E普通光照和激光线结构光混合照明下的图像 图4-5含有污染物的羊毛图像在激光线下的图像从以上图像可以看出，当含有污染物的羊毛在仅有激光线结构光的照明下，污染物在激光线结构光的照射下形成一条明亮的光带，而大部分的羊毛背景处于黑色的状态，这使得污染物被线激光照亮的区域和羊毛背景形成鲜明的对比，虽然羊毛背景中的某些区域也会形成亮点，但污染物上的亮斑要比起在纯净羊毛上产生的亮斑在面积上要大许多。在普通光照与线结构光混合照明下的含有污染物的羊毛图像中，激光线结构光照明的优势有没有被完整地体现出来，甚至效果比单独在普通照明的条件下获得的图像更差。在普通光照下，有些深色的污染物与羊毛背景的区别较大，但某些污染物则与羊毛背景差别较小，有些情况甚至要肉眼仔细观察才可发现。这给计算机识别污染物造成了麻烦。4.3图像后继处理为了验证线结构光照明方案是否可行，本实验先采用matlab工程分析软件对拍摄的图像进行分析21-22，判断所获取的图像是否可疑。在进行图像分析之前，必须先对激光线结构光的宽度进行测量。激光线结构光的图像如图4-6所示：图4-6激光线结构光图像为了获取线结构光的宽度，先将该图像读入matlab软件，经过自适应二值化后分析该图像的矩阵，黑色像素的值取为0，白色像素的值取为1，根据图像的矩阵分布得出该线结构光的宽度为4，图4-7为该矩阵的部分截图：图4-7矩阵部分图像以下图片是不同阈值下的二值化图像图4-8不同阈值下的二值化图像本实验先采用matlab软件进行编程，判断图像是否可疑，相应的程序如以下所示clear all;I=imread(08-2.bmp); /读取待检测的图像BW=im2bw(I); /将图像转换为二值化图像CC = bwconncomp(BW,4);/计算二值图像的连通区域STATS=regionprops(CC, area); w=STATS.Area; /将联通区域的面积赋予wNum=sum(w16); /判断联通域的面积是否大于16,16为经验值，线结构光面积为4*4if (Num=1) disp(该图像可疑 );else disp(该图像不可疑 );end该程序的运行结果如下图4-9不包含污染物的羊毛图像图4-10图像的识别结果图4-11含有尼龙污杂物的羊毛背景图4-12图像的识别结果4.4系统的性能及分析首先定义一个概念来评价系统的性能：识别率=正确识别的含有杂质的图像数目含有杂质图像的数目100%虚警率=识别错误的含有杂质图像的数目不含杂质图像的数目100%本次实验总共采集了50幅激光线结构光图片，这些图像全身不是还有污染物的并且只含有白色的，浅色的污染物，其类型主要有纸片，尼龙绳，透明塑料薄膜，白色羽毛等等，为了证实激光线结构光对于一些浅色污染物的照明效果，本次实验并没有在羊毛中掺入诸如树叶，黑色纸张等深色的污染物。这些图片的处理结果如以下表格所示：图像总数识别为可疑图像的数目识别为正常图像的数目50473从以上表格可以看出在50张含有污染物的羊毛图像中，只有三张图像没有被正确识别出来。以下三张为这些图像的普通照明图像 4-12a图16的普通照明图像 4-12b 图16的线激光图像 4-12c图22的普通照明图像 4-12d 图22的线激光照明图像 4-12e图27的普通照明图像 4-12f图27的线激光照明图像根据以上图像，图16中的污染物为一透明的塑料纸，观察其线激光照明图像，该污染物在线激光的照明下不能很好地反射激光，大部分激光直接透过该污染物是系统对其判断失败的原因。图22的污染物为一橡皮筋，其微观表面是凹凸不平的，致使该污染物在线激光的照射下不能很好地反射线激光。图27的污染物为一塑料包装纸，虽然其污染物在线激光的照射下能形成一条明显的光带，但因为亮度不够也使得系统不能识别。为了检测系统的虚警率，本次实验采集了71幅不含有污染物的线激光羊毛图像，这些图像的处理结果如下：图像总数识别为正常图像的数目识别为可以图像的数目71692系统的性能总结识别率=正确识别的含有杂质的图像数目所有含有杂质的图像数目100% =4750100%=94%虚警率=识别错误的含有杂质图像的数目不含杂质图像的数目100%=271100%=2.81%4.5本章小结本章节主要介绍了污染物在激光线结构光照明下的实验，从图像上分析污染物在普通光照下的成像效果，在激光线结构光照明下的成像效果，在普通光照和激光线结构光混合照明下的成像效果。分析了线结构光照明系统的一些性能参数，如识别率和虚警率等等。分析了一些图片识别失败的原因，总结了激光线结构光照明的一些不足之处。下一章将介绍ADABOOST实验。第五章：ADABOOST算法实验及分析5.1各种模式识别方法的对比实验5.1.1实验步骤1. 拍摄70幅棉花图像，把获取的每幅320240像素的图片分成16个8060的小图片，共1120幅。2. 人工识别所有棉花图片是否含有污染物，并给出标记。3. 特征提取，提取压缩域系数特征( 这里提取的是DCT系数，取30个最大的系数)。4. 把1000幅图片用于训练，分别用3种方法训练。5. 把120幅用于测试，使用对应的模式识别方法进行测试。图5.1 无污染物棉花图片（320240） 图5.2 含2个污染物棉花图片（320240） 图5.1和5.2分别为不含污染物和含污染物的图片。实验把图像分为16块8060的小图像22。5.2实验结果识别方法BP神经网络+DCTSVM+DCTADABOOST+DCT识别率77.891.885.9训练耗时490.3698s26.016s62.194s识别耗时0.085ms2.991ms1.763ms以下图表是实验的结果表5.1 三种方法对比 结果表明，支持向量机的识别率最高，到达91.8。ADABOOST次之，为85.9。神经网络训练时间长，容易陷入局部极小，支持向量机训练时间最短，但识别时间长。ADABOOST各项性能指标都居中，优点之一是不会发生过学习。5.3本章小结本章主要介绍了ADABOOST算法的实验结果及分析，并且与BP神经网络和SVM+DCT的识别效果相对比，得出ADABOOST相对于其他两种方法的优点。下一章将介绍结论与展望。第六章结论与展望6.1结论机器视觉技术的发展日新月异，在不久的将来，机器视觉技术还将在工业检测，农业检测以及太空技术上发挥更大的作用。机器视觉技术在异性纤维检测方面也会取得更大的成就并且发挥更大的作用。然而在当今阶段，机器视觉技术在羊毛棉花异性纤维的检测方面的应用还存在着某些瓶颈，其中一个就是解决浅色近色污染物难以识别的问题，机器视觉在深色污染物的检测上技术水平已经达到了成熟的阶段，但是对于浅色近色的污染物，传统的机器视觉系统的识别还存在的很大的困难。然而，对于羊毛、棉花这类污染物，少量的污染物就会大大地影响到羊毛及棉花的质量，例如一吨的棉花中，其异性纤维的总质量不到25克，但是能极大地影响到棉花的质量。因此，这类的异性纤维检测对系统的精确性要求很高，为了使设备满足实时检测的需要，同时还要保证在检测的过程中不漏检，系统必须采用高分辨率和高采样频率的成像设备，这样一来不仅造成了成本上升的问题，同时也带来了巨大的数据量。在羊毛