基于计算机视觉的刀具状态在线监控研究---硕士论文

河北工业大学硕士学位论文基于计算机视觉的刀具状态在线监控研究摘 要基于计算机视觉的刀具状态在线监控是综合了机器视觉和图像处理分析技术对刀具磨损状态进行监测的一种技术。本文通过对刀具的不同磨损状态下加工的工件表面纹理图像的纹理特征进行研究，应用数据挖掘技术对纹理特征进行特征数据的提取，通过对特征数据进行模式识别，以达到对刀具磨损状态监测的目的。分析了切削加工表面纹理的形成过程，以及加工表面纹理的形态及图像特征，并对影响工件表面纹理的因素进行了对比，阐明了基于加工表面纹理的刀具磨损监测方法的合理性和可行性。论文结合实验所得到的工件表面图像，对常用的图像预处理方法进行了研究、分析和比较，找出了适合工件表面图像的预处理算法，为实现刀具磨损状态监测的图像特征提取奠定了基础。研究和探索了适合于工件表面纹理图像的数据挖掘算法，对辅助工人进行刀具状态的在线监控具有重要实用价值。本文通过基于灰度共生矩阵法、基于空间像素投影面积法、基于连通区域数法和基于马尔可夫随机场模型四种方法对工件表面图像的纹理特征数据进行提取，通过实验数据分别得到的估计参数都能正确的表达纹理图像和刀具磨损状态的对应关系，从而为刀具状态的识别提供了数据来源。本文在进行刀具状态识别时，针对不同刀具状态类别特征样本存在重叠区域造成的分类困难，本文提出了基于模糊判决的刀具状态识别模型和方法；针对特征判决边界存在一定的非线性特性，本文提出了基于 BP 神经网络的刀具状态识别模型和方法；再对上述两种识别模型进行决策层融合研究，提出了基于分类器融合的刀具状态识别模型和方法。通过对上述两种基于不同特征的识别模型的融合，刀具状态识别的效率和准确率显著提高。关键词：刀具磨损，图像处理，纹理分析，特征提取，模式识别，状态监测i基于计算机视觉的刀具状态在线监控研究RESEARCH ON CUTTING TOOL CONDITIONMONITORINGBASED ON COMPUTER VISIONABSTRACTTool condition monitoring based on the processed surface texture image is the method that synthesized visual and texture analysis technique to monitor tool wear condition. The visual characteristic of processed surface texture image under different tool wear conditions was investigated for achieving the goal of tool wear condition monitoring.The forming process of surface texture, the morphology and image characteristics of processed surface texture were analyzed, the factors that influencing processed surface texture were compared, the rationality of tool wear monitoring method based on processed surface texture was explained.The usual preprocessing method of image was researched, analyzed and collated ba sed on workpiece surface image in this paper. The preprocessing method adapted to workpiece surface image was discovered. The foundation for realizing the image characteristic extraction about the tool wear condition monitoring was laid. The research and exploration of data mining algorithm on workpiece surface texture is very useful for automation and unmanned production.The surface texture image was analyzed and feature data was extracted by gray -level co-occurrence matrix method, pixel space projection method, connected region labeling method and Markov Random Field (MRF) theory. The results indicated that the surface texture image could be used as evaluation standards for tool wear; it provided effective way for tool wear monitoring.For recognizing the cutting tool state, aim at classified difficulty of feature sample of distinct cutting tool state kind existing overlap region, the paper propose the model and method of cutting tool state recognition based on fuzzy decision. Aim at feature decision edge existing certain nonlinearity, the paper propose the model and method of cutting tool state recognition based on BP neural net. Then two above recognition model are fused at decisional level, the model and method of cutting tool state recognition based on classifier fusion is proposed. The efficiency and accuracy of cutting tool state recognition is remarkably raised by the fusion of two above recognition model based on different feature.KEY WORDS: cutting tool wear, image processing, texture analysis, feature extraction, state monitoring, state recognitionii河北工业大学硕士学位论文目录第一章 绪论11-1 刀具状态监测技术的研究背景11-2 刀具状态监测技术的概况11-2-1 刀具状态监测技术的发展历程11-2-2 刀具状态监测技术的现状及方法21-2-3 刀具状态监测的系统架构31-2-4 刀具状态监测的构成41-3 基于计算机视觉的刀具状态监测41-3-1 基于计算机视觉的刀具状态监测的特点41-3-2 基于计算机视觉的刀具状态监测的发展现状41-3-3 基于计算机视觉的刀具状态监测的基本类型51-4 本文的主要研究内容6第二章 工件表面图像的纹理信息研究72-1 纹理学原理与纹理特征72-2 纹理分析的基本方法82-3 工件表面纹理分析技术的应用112-3-1 工件表面纹理图像包含的信息112-3-2 影响工件表面纹理的因素122-3-3 刀具磨损的一般机理122-3-4 刀具磨、破损形成车削工件表面纹理形态的过程142-4 本章小结14第三章 数据挖掘技术在工件表面纹理图像处理中的应用163-1 数据挖掘技术的基本概况163-1-1 数据挖掘163-1-2 非结构性数据挖掘163-1-3 图像数据挖掘173-2 图像挖掘技术183-2-1 目标识别183-2-2 图像检索183-2-3 图像索引193-2-4 图像分类和图像聚类193-2-5 关联规则挖掘203-2-6 神经网络203-3 工件表面纹理图像的数据挖掘213-3-1 切削加工工件表面纹理图像的预处理21iii基于计算机视觉的刀具状态在线监控研究3-3-2 切削加工工件表面纹理图像特征数据挖掘213-3-3 切削加工工件表面纹理图像特征数据提取方法介绍223-4 本章小结32第四章 刀具切削状态识别方法的研究334-1 刀具状态特征的选择与评判334-1-1 刀具切削状态特征的选择334-1-2 刀具切削状态特征的评判指标334-2 基于模糊判决的刀具状态识别344-2-1 刀具状态模糊判决准则的确定344-2-2 用模糊判决方法实现刀具切削状态的识别364-3 基于神经网络方法实现刀具切削状态的识别374-3-1 神经网络及其 BP 算法374-3-2 基于神经网络的刀具切削状态识别404-4 基于分类器融合的刀具状态识别424-4-1 分类器融合方法的原理424-4-2 基于分类器融合的刀具状态识别454-5 本章小结46第五章 刀具状态在线监控系统软件开发475-1 数据来源475-2 实验数据分析485-2-1 基于像素空间投影统计法的实验数据分析485-2-2 基于灰度共生矩阵法的实验数据分析515-2-3 基于连通区域标记法的实验数据分析555-2-4 基于马尔可夫随机场模型的实验数据分析585-3 系统开发635-4 本章小结65第六章 结论与展望666-1 全文总结666-2 发展与展望66参考文献68致谢71iv河北工业大学硕士学位论文第一章 绪论1-1 刀具状态监测技术的研究背景随着生产自动化程度的提高，特别是柔性制造系统(FMS)技术的出现，人们越来越重视对加工过程的在线监测。技术的发展，生产自动化程度、加工精度越来越高，难加工材料和新材料越来越多，零件的形状越来越复杂，也就越来越要求在自动化加工过程中对刀具进行在线监测。破损、磨损是刀具主要的失效形式之一，特别是脆性较大的刀具(如硬质合金、陶瓷刀具等)进行断续切削或者切削难加工材料时。故刀具破磨损的在线识别及监测尤为重要，这是由于在金属切削加工的过程中，刀具的破损如未能及时的发现，会导致切削过程的中断，引起工件的报废、机床损坏、甚至整个 FMS 停止运行，造成很大的经济损失。虽然刀具寿命管理可以防止刀具的破损，但因为刀具寿命的随机性，其寿命极限估计往往过于保守，以致大部分刀具未能充分利用，在无人化加工系统中，这将意味着换刀次数和刀具费用的增加。因此，机加工过程中掌握刀具状态，监测与诊断刀具破磨损等损伤故障，对于延长机床设备无故障运行，提高产品质量具有重要的意义。1-2 刀具状态监测技术的概况1-2-1 刀具状态监测技术的发展历程刀具状态监测作为一种新兴技术，正式问世于六十年代。这一时期，电子技术、计算机技术以及对应的数字信号处理和分析技术的迅速发展为刀具的监测技术奠定了技术基础。1962 年英国率先在飞机上应用轨迹照相记录系统，开始了预报故障的工况监测系统的研究；1977 年美国研制成功 TRENDS 飞机发动机工况监测系统。然而刀具工况监测技术的发展一直很缓慢，直到频谱分析应用于刀具工况监测，这一技术才获得了实质发展。但此时的监测特征比较单一，监测内容比较简单。随后，国内外切削工作者在刀具工况监测方面做了大量的研究工作1,2,3。日本牧野公司通过主轴负载电流监控器对切削过程的刀具磨损、破损进行实时监测；美国麻省理工学院利用监测原子能放射性的方法进行诊断和监测刀具的磨损情况；我国的清华大学利用固体材料在发生变形、断裂和相变时迅速释放应变能而产生的声发射信号进行刀具工况的监测；北京理工大学利用切削振动混合谱分析进行刀具工况的监测；到了 20 世纪九十年代初期，出现了以计算机为中心的现代刀具状态监测技术。在这一阶段，由于各种传感技术的飞速发展，使得监测可以利用振动、噪声、温度、力、光等多种信号，从而发展了振动监测技术、声发射监测技术、光谱监测技术、热成像监测技术、多传感信息融合监测技术等；同时模式识别技术、模糊数学、灰色系统理论等新的数学处理工具在刀具工况监测中得以应用，从而极大地促进了刀具工况监测技术的发展。九十年代中期人工智能理论在刀具工况监测与故障诊断中得到了相当广泛的应用，使得刀具工况监测技术从以动态测试技术为基础、以工程信号处理为手段的常规监测技术，发展为以知识处理为核心、信号处理与知识处理相互融合的智能刀具状态监测技术，并且在这一发展过程中及时引进吸收1基于计算机视觉的刀具状态在线监控研究许多先进的理论和方法，如：小波分析技术、高阶谱分析技术、分形理论和神经网络技术等。这些先进的理论和方法，推动了刀具工况监测技术的进一步完善。至此，以传感器技术、信号分析技术和计算机技术为核心的现代刀具工况监测技术己经形成。1-2-2 刀具状态监测技术的现状及方法刀具状态监测系统(TCMS)从监测策略上可分为离线监测和在线监测，离线监测就是在切削之前或切削间歇时对刀具状态进行监测，并预测其寿命是否能够完成当前切削；在线监测也称为实时监测，就是在切削的过程中实时的对刀具状态进行监测，并依据监测的结果做出相应的处理。从测量手段上分，刀具状态监测系统(TCMS )方法的发展很大程度上依赖于刀具状态监测传感器的研究与应用。传感器在刀具状态监测中的作用，是通过直接或间接方式测量出反映刀具磨损、破损等各种影响程度的参量。直接法是通过一定的测量手段来确定刀具材料在质量上的减少或形状上的改变，并通过一定的数学模型来确定刀具磨损或破损的状态4,5,6，由于直接法需要直接检测刀刃的形状、位置等参量，一般只能离线检测。常用的方法有光学扫描法、接触电阻测量法和计算机视觉法。间接法则是测量切削过程中与刀具磨损或破损有较强内在联系的某一种或几种参量，或测量某种物理现象，根据其变化并通过一定的标定关系来监测刀具磨损或破损的状态。许多测量的参数能够用于识别刀具磨损或破损。许多可测量的参数能够体现出刀具的破损或磨损，例如：切削力。切削力的突然增加或消失，表明刀具有破损；切削温度。温度的突然升高或降低也可表征刀具已破损或磨损；主轴功率或扭矩和进给驱动力的增加或降低；切削时刀具发出的异常声音；工件尺寸的突然变化；机床的突然振动；工件表面积粗糙度的变化；工件及刀具之间电阻值的变化。间接法也可以使用以上多种监测参量的综合，但考虑到信号获取方式、灵敏度、抗干扰性以及使用条件的限制，在实际使用中较常见的是基于切削力或力矩、切削功率、切削的声发射和工件表面粗糙度的监测方法。表 1.1 刀具状态监测方法Table 1.1 The methods of tool condition monitoring监测方法优缺点工作原理刀具中的放射性物质对环境污射线测量器所测的射线剂射线测量法染太大，并且不能准确测定刀具量反映刀具磨损量的大小切削刃的状态，不易广泛采用。优点传感器价格低；缺点传感器利用待测切削刃同传感器接触产生的电信号脉冲，来电阻测量法选材必须特别注意，并且它工作直测量待测刀具的实际磨损不太可靠，从而影响精度。接量法将切削刀具与传感器之间该方法的优点是可以进行在线加上高压电，那么在测量回放电电流测量法检测，检测崩刃、断刀等刀具几路中流过的(弧光放电)电何尺寸的变化，但不能精确地测流大小就取决于刀刃的几量刀刃的几何尺寸。何形状(即刀尖到放电电极间的距离)。2河北工业大学硕士学位论文此法在铣刀直径较大时使用可利用刀具磨损后刀刃处对光纤测量法光的反射能力的变化来检取得较好的效果测刀具的磨损程度计算机图像处理是一种快捷、无接触、无磨损的通常由 CCD 摄像机、光源和检测方法，它可以精确的检测每法计算机构成个刀刃上不同形式的磨损状态优点是检测电路简单，检测精度微结构导电镀层的电阻随着刀具磨损状态的变化而微结构镀层法高。可以实现在线检测；缺点是变化，磨损量越大，电阻就对微结构导电镀层的要求很高越少切削力测量法它或多或少地需要改动机床部检测切削力、切削分力的比件结构，不易被用户接受值及其变化率机械功率测量法互感器分流器功率传感器主电机或进给电机功率及变化率声发射成本相对很高检测加工中的声发射信号及其特征参量该方法的优点是价格便宜，精度间较高，使用简便，特别适用于高利用热电效应原理，在刀具接热电压测量法速加工区，缺点是对传感器材料与工件之间产生一个与切法及精度要求高，只能进行间隔检削温度有关的热电压测。其具有传感器安装简单，反应灵振动信号敏，可实时检测的特点，因此基检测加工过程的振动信号于振动信号的监控广泛适用于及其变化车、铣、钻等加工过程。多信息融合检测在智能算法支持下提高了刀具对刀具磨损过程信号中的磨损的预报成功率两种或以上进行融合识别1-2-3 刀具状态监测的系统架构刀具状态监测的系统硬件架构主要由信号检测单元、信号处理单元、监测计算机构成；监测系统软件主要由信号检测和预处理程序、特征提取和刀具状态识别程序组成。其基本架构示意图如图 1.1 所示：刀正常磨损切在信特具削线号征状预测刀具状态发展趋势过监处提态程测理取识别急剧磨损刀具状态监视 刀具状态识别图 1.1 刀具状态监测的系统架构Fig 1.1 The frame of tool condition monitoring刀具状态监测的系统架构大致有以下几种：1 以监测仪表为主体的监测装置。这类系统由传感器3基于计算机视觉的刀具状态在线监控研究和指示仪表构成，主要通过测量或采集信号来监测刀具的状态；2 监测仪表配备软硬件装置：由传感器和相应的去噪、滤波等处理系统；3 计算机辅助监测与识别系统：由传感器、接口装置、计算机(含人工智能技术)组成。可实时监测和自动识别刀具状态，是刀具状态监测与状态识别的主要发展领域。1-2-4 刀具状态监测的构成要研究监测问题，就要认识监测对象。刀具工况虽然构成复杂，但从总体上来看，刀具工况可分为正常磨损状态、急剧磨损状态以及崩刃状态。正常磨损状态通常是指具备应有的正常切削指标，没有任何加工缺陷或虽有缺陷但仍在容限范围内。急剧磨损状态是指刀具磨损量发展到使刀具正常切削指标和加工质量都有所丧失的状态。从刀具故障的形成特点来分，刀具工况又可分为两种类型：正常切削状态和故障状态。而故障状态又可分为软故障状态和硬故障状态。软故障状态是指随着加工过程的不断进行，磨损量不断增加，当磨损量达到一定量值后而出现的一种故障状态，刀具急剧磨损就是一种典型的软故障状态；硬故障状态是指加工过程中发生突发性故障，如刀具崩刃、破损、折断等。1-3 基于计算机视觉的刀具状态监测1-3-1 基于计算机视觉的刀具状态监测的特点图像监测法是一种基于计算机视觉原理和图像处理技术、采用光电技术来检测刀具磨损量的方法。一个典型的方案是用一束激光将刀具照亮，利用摄像头获取刀具磨损带的图像，并借助图像处理技术进行分析。图像监测方法可以避开非图像监测方法所不得不面临的问题。非图像方法的测量原理很大程度上取决于被测参数与刀具状态之间的相关程度。被测参数常常会受到非磨损现象的很大影响，这种情况在测量切削力时会出现，而在大多数刀具状态监测系统中需要测量切削力。刀具磨损只会在很小的程度上引起切削力的变化，而切削力的变化却会大大地影响切削数据的变化。用图像测量方法不仅能够完全避免这些问题，而且还具有许多突出的优点。这种检测是非接触性的，并且非常迅速。所用时间只是刀具进入和离开测量位置所需要的时间加上拍摄一幅或者多幅照片所需的时间。使用这种技术有可能建立更完善的刀具几何形状测量系统，可以不需要人工调节而测量不同种类的刀具。另外，图像监测法还提供了额外的磨损数据，如有缺口的刀具区，刀具磨损区等的特征数据。但目前使用的计算机视觉监测系统仅能对刀具的磨损进行有限的测量，如测量刀具上的某些部分。当然，直接测量从原理上就是间断性的测量，只能在刀具脱开切削时进行。由于刀具磨损形式呈现较大的变化，直接的光学检测法能够把它们分成几种典型的磨损形式。原始的灰度图像和从图像中提取的磨损区域的轮廓被以数字信号的形式存储在计算机内，可以从中计算出所有不同的参数。这有助于更好地对刀具磨损的不同形式进行分类，并且可以估计刀具的剩余寿命。1-3-2 基于计算机视觉的刀具状态监测的发展现状随着国外对基于图像处理和计算机视觉的刀具状态监测技术的日益重视，国内在这个领域也开展了初步的研究上作。文献7基于马尔可夫随机场理论，建立了工件表面纹理图像的马尔可夫随机场纹理模型，并对工件表面纹理图像的特点进行了分析。在实验数据的基础上，对工件表面纹理图像的特征参数进行提取，提出采用相对距离作为刀具磨损程度的评价指标。指出三阶马尔可夫随机场能比较充分地反映工件表面纹理图像的特征。实验结果表明，基于马尔可夫随机场的工件表面纹理分析方法能够较好地适用于刀具4河北工业大学硕士学位论文状态监测。文献8提出了基于小波变换的过渡区提取与分割算法。复杂背景下目标的准确分割是自动目标识别中的关键技术之一。基于过渡区提取的图像分割技术应用于自然纹理场景的图像分割，克服了以往过渡区直接提取方法的不足。实验结果表明，该方法用于自然纹理场景下的目标分割具有很好的分割效果。文献9提出了用神经网络提取磨损刀具二值图像边缘的方法。用细胞神经网络(CNN)提取磨损刀具二值图像边缘通过设计细胞神经网络参数，运用细胞神经网络对二值图像边缘进行提取，通过仿真证明该方法是有效的，由于细胞神经网络易于用 VLSI 实现并且并行处理速度快，能够解决图像预处理中的瓶颈问题，因此，该方法在刀具的磨损情况的计算机视觉检测图像处理方面是很有用的。文献10,11利用树型小波变换对图像进行纹理分割，将各子图像的能量作为特征矢量，对神经网络进行训练，对纹理进行分割，结果显示该方法较其它方法分割效果好。文献12利用分形技术对工件表面纹理及概貌进行分形分析，能够很好地描述纹理的复杂程度。文献13利用小波包自回归谱(WP-AR)分析方法，将其应用于刀具的状态监测中，对刀具状态信号进行深层次分析，提取有效的特征量，并准确的识别了刀具的磨损状态。文献14用快速 Hough 变换提取工件图像边缘的几何特征，对不同机床类型及不同切削参数下的工件表面纹理进行区分和分类。实践证明该方法的精度比传统 Hough 变换的精度要高，所以能够更好用于柔性加工系统以及刀具状态在线监测中。1-3-3 基于计算机视觉的刀具状态监测的基本类型近 20 年来，随着计算机技术的飞跃发展，基于计算机视觉理论的技术在工业中不断得到应用和完善。其中，基于计算机视觉的刀具状态监测(Computer-Vision based Tool Condition Monitoring，简称为CVTCM 方法)也开始逐步进入机械加工自动化领域，出现了一些 CVTCM 算法1 5,16,17,18,19,20。 CVTCM方法具有仿生学上的合理性，能在很大程度上克服现有刀具状态监测方法，例如基于声发射、切削力、振动、电机功率等监测方法所存在的缺陷，已经逐步发展成为现代刀具状态监测领域的一类重要监测手段。现有的 CVTCM 方法，主要有三种类型，一是检测面在刀具磨损表面的基于刀具磨损表面图像的直接监测方法，二是检测面位于被加工工件表面的基于工件表面纹理图像的间接监测方法，三是检测面在刀具刃口处切削上的基于切屑图像的准直接监测方法。第一类，基于刀具表面磨损图像的视觉监测方法。刀具磨损信息主要包括前刀面的月牙形磨损深度、月牙形磨损面积、后刀面的磨损 VB 值以及它的磨损面积。刀具表面是刀具磨破损状态的直接反映，它所具有的优点是其它监测方法不能比拟的。但是，由于在工件切削过程中进行监测，只能采用间断式工作模式，在每一次切削回程时摄取刀具表面图像，这种方法是一种间歇式的准在线监测方法。第二类，基于工件表面图像的视觉监测方法。工件表面纹理是刀具刀刃状态的映像，刀具锋利时切削出的表面纹理清晰，连续性好；刀刃磨钝时切削出的工件表面纹理紊乱，不连续，有断痕，且不同的加工方式和刀具也会有相同的纹理特征，故可用于刀具磨损状态监测中。相对于其他的监控方法，基于工件表面纹理的刀具状态监控方法所需的设备比较少，安装方便；非接触式监控，所用时间少等优点，因此将逐步发展成为刀具状态监测领域的一类重要监测手段。第三类，基于切削图像的刀具磨损状态监测方法21,22。由于切削形态是切削变形的直观表象，若在切削中，工件材料、切削用量、刀具的几何参数等影响切削变形的基本条件不变，那么刀具磨破损就是引起切削形态规律发生变化的主要原因。因此，切削形态一直被作为操作人员判断刀具损坏的主要信息来源。在切削形态的变化规律中蕴涵着的刀具破损状态信息，可以被用于刀具工况的在线自动监测。5基于计算机视觉的刀具状态在线监控研究1-4 本文的主要研究内容综上所述，基于计算机视觉的刀具状态监测方法在刀具状态监测中具有一些传统监测方法所不具有的优点。本文通过分析工件表面图像随着刀具磨损所表现出来的特征对监测系统进行深入的研究，并且应用模糊判决、BP 神经网络以及分类器融合三种方法对刀具磨损状态进行识别。各章的主要研究内容如下：第一章论述本论文的研究背景，对刀具状态监测技术发展状况和主要刀具状态监测技术作了深入分析，随后指出基于计算机视觉方法的不可替代的优点，阐明了基于计算机视觉方法在刀具状态监测中的应用及其分类。第二章阐述了工件表面纹理图像包含的信息，分析了纹理和刀具磨损状态的关系，论述了刀具磨、破损的一般机理以及形成工件表面纹理形态的过程，同时介绍了影响工件表面纹理的因素和纹理分析的基本方法。第三章阐述了数据挖掘技术以及在工件表面纹理图像中的应用，详细介绍了用于工件表面纹理图像特征数据提取的数据挖掘技术，为后续实验得到的图像进行特征数据的提取提供了理论支持。第四章系统阐述了模糊判别法、BP 神经网络、分类器融合三种用于对刀具状态进行辨识的方法，同时提出了对实验得到的特征数据进行选择与评价的标准，通过辨识结果可以看出此方法能够正确判断刀具状态。第五章介绍了实验数据的来源，及实验系统的组成，并应用基于像素空间投影面积法、基于灰度共生矩阵法、基于连通区域数法和基于马尔可夫随机场模型法四种数据挖掘算法对实验采集的图像进行了分析，通过数据分析可以知道基于像素空间投影统计法得到的累计面积、基于灰度共生矩阵法得到的相关性和惯性矩两个特征参数、基于连通区域标记法得到的采用 log 和 canny 算子边缘检测得到的连通区域数和基于 MRF 随机场模型法得到的评定参数 p 和相对距离 d 都可用于表征刀具状态的特征参数，为刀具状态的识别奠定了基础。第六章对全文工作进行总结，归纳了论文的创新点，并对进一步的研究提出展望。6河北工业大学硕士学位论文第二章 工件表面图像的纹理信息研究2-1 纹理学原理与纹理特征纹理普遍存在于万物之表面，有的很容易被人们察觉，如木纹、布纹、指纹；有的却不易让人感觉到它的存在，如一张白纸或者一个光滑的金属加工表面，粗看起来，似乎是一个均匀表面，但是，在放大镜下却能清楚地找到纸上的纤维花纹和金属表面上的加工纹理；又如大自然中的草地、河流、高山、森林等景物，一眼望去，似乎无纹理可言，可是，从航空摄影得到的地形照片中，却可以在上述景物上看到各种不同的纹理。纹理是图像中一个重要而又难以描述的特征，关于图像纹理至今还没有为众人公认的严格定义。但图像纹理对我们来说却是很熟悉的，它们反映了物体表面颜色和灰度的某种变化，而这些变化又与物体本身的属性相关。例如在遥感图像中，沙漠图像的灰度空间分布性质与森林图像的灰度分布性质有着显著的差异。此外，一些物体表面可能具有与方向相关的纹理信息。通常把图像灰度分布性质或者图像表面呈现出的方向信息称为纹理结构，它有助于区别不同的纹理区域。图像的纹理分析已在许多领域得到了广泛的应用。例如，通过对气象云图的纹理分析，识别各种云类；分析卫星遥感图像的纹理特征，可以进行区域识别、森林利用、城市发展、土地荒漠化等在国民经济中很有价值的宏观研究及应用；对细胞图像、金相图像、催化剂表面的图像等纤维图像的分析，可以得到细胞性质的鉴别信息、金相结构物理信息和催化剂的活性信息。以纹理特性为主导特性的图像，常称为纹理图像，并把以纹理特性为主导特性的区域，称为纹理区域。显然只有采用有效描述纹理特性的方法去分析纹理区域与纹理图像，才有可能真正描述与理解它们。纹理是一种区域特性，因此纹理也必然要在图像的某个区域上才能反映或测量出来。由于局部的不规则性和全局的规律性可能是确定性的或随机性的，这就分别形成了确定性纹理或随机性纹理。同时，纹理变化可以出现在不同尺度范围内，若图像中灰度(或其它量)相当不平稳，即不得不研究图像在小范围内的不规则性，这就对应了微纹理；若图像中有明显的占有一定尺寸的结构单元，整个图像的纹理是由这些结构单元按一定规律形成的，则就称为宏纹理，上述的结构单元称为纹理基元。由此可见，在实际纹理图像的分析中，需要研究纹理的类型，以使分析方法适应其变化规律。虽然图像的纹理尚无公认的定义，但字典中对纹理的定义是“由紧密的交织在一起的单元组成的某种结构”，这种说法还是较为恰当的。纹理大致可分为两大类：一类是规则纹理，它由明确形状的纹理基本元素(简称纹理基元)经有规则排列而成，观察图 2.1 的几幅图像，图(a)属于此类，这一类纹理通常被称为人工纹理。另一类是准规则纹理，它们的纹理基元没有明确的形状，而是某种灰度或颜色的分布。这种分布在空间位置上的重复出现形成纹理，这样的重复规律在局部范围内往往难以体察出来，只有从整体上才能显露。也就是说，这类纹理存在着局部不规则和整体规律性的特点。图(b), (c), (d)属于此类，这类纹理通常称为自然纹理。显然只有采用有效描述纹理特征的方法去分析纹理区域与纹理图像，才能够真正描述与理解它们。7基于计算机视觉的刀具状态在线监控研究(a)图案(c)麦田(b)茶叶(d)砖墙图 2.1 图像纹理Fig 2.1 Texture of images为了定量描述纹理，需要研究纹理本身可能具有的特征，即根据某种能够描述纹理空间分布的模型，给出纹理特征的定量估计。目前纹理算法大体可以分为两大类：一类是从图像有关属性的统计分析出发的统计分析方法；另一类是力求找出纹理基元，再从结构组成上探索纹理的规律或直接去探求纹理结构规律的结构分析方法。目前常用的是统计分析方法。为了强化分类，可以从灰度图像计算同现矩阵 (co-occurrence matrix )、对比度(contrast )、熵(entropy)以及均匀度(homogeneity)等纹理特性。当纹理基元很小并成为微纹理时，统计方法特别有用；相反，当纹理基元很大时，应使用结构化方法，即首先确定基元的形状和性质，然后，再确定控制这些基元位置的规则，这样就形成了宏纹理。一般，规则纹理采用结构分析方法，准规则纹理采用统计分析方法。2-2 纹理分析的基本方法纹理一般是指由大量或多或少的纹理基元(或模式)组成的一种结构，它可以由组成纹理的基元及基元之间的相互关系来描述。前者与局部灰度变化规律有关，后者则与由前者形成的空间结构相关。进行工件表面纹理分析时，我们用肉眼可以明显看出工件表面纹理的区别，但是要使计算机自动定量的对它们进行分析，必须有合理的模式识别方法，提取有效的特征参数，对不同的纹理图像进行描述。为了定量描述纹理，需要研究纹理本身可能具有的特征。多年来研究者们建立了许多纹理算法以测量纹理特性，M. Haralick 作了较为全面的总结23，基本上可以归纳为统计法、结构法、模型法和空间/频率域联合分析法等四类。1. 基于统计的纹理分析方法基于统计的方法是纹理分析中最基本的一类方法，它主要使用统计参数(标准偏差、方差、倾斜度和峰度)来表征图像上灰度级分布的随机特征。其主要优点是原理简单易懂，容易实现，但在多纹理分类中，难以取得理想的结果，因为灰度的起伏变化除了与纹理结构的变化有关外，还与照明条件等多种8河北工业大学硕士学位论文因素有关，这影响了统计结果的有效性。典型的方法包括：灰度共生矩阵法、灰度差分法、灰度游程长度法、傅立叶功率谱法、自相关法、相对极值法、正交变换法、模板滤波法等。(1) 灰度共生矩阵法灰度共生矩阵 p(i, j d,j) 被定义为从灰度为 i 的点离开某个固定位置(相隔距离为 d、方位为 )的点上灰度为 j 的概率，共生矩阵 p(i, j d,j) 反应了图像灰度分布关于方向、局部邻域和变化幅度的综合信息，但它并不能直接提供区别纹理的特征。常用的定量描述纹理特性的特征系数有:角二阶矩(能量)、惯性矩(对比度)、相关性、熵和局部均匀性(逆差矩)等。灰度共生矩阵法是建立在估计图像的二阶组合条件概率密度函数基础上的一种重要的纹理分析方法。它表示了灰度基元模式间的相互关系，不受单调灰度变换影响，但也存在特征选取困难、无方向性、易受噪声干扰等缺点。(2) 傅立叶功率谱法功率谱法在图像傅立叶变换的频率域进行纹理分析，为了使用功率谱法，首先必须计算图像傅立叶变换的功率谱，F(u, v) = F (u, v) 2 ； F 表示采用功率谱，F 表示图像的傅立叶变换。 F (u, v) 2 是一实数，它反映了有关图像的全局性信息。功率谱 F (u, v) 2 径向分布与图像 f（x，y）空间域中纹理的粗细度有关。对于“稠密”的细纹理， F (u, v) 2 沿径向的分布比较分散，往往呈现远离原点的分布；对于“稀疏”的粗纹理， F (u, v) 2 往往比较集中分布于原点附近；而对于有方向性的纹理， F (u, v) 2 的分布将偏置于与纹理垂直的方向上，例如空间域中的水平条纹纹理反应在功率谱分布上将产生垂直的条纹分布。功率谱法中通常提取的纹理特征主要有:环状采样、楔状采样和平行狭缝采样，一般而言，傅立叶功率谱法效果较差，而且由于傅立叶变换将信号作为周期性的处理，故边界效应较大，影响了谱的分布，从而给特征提取带来困难。(3) 自相关函数法一幅 N*N 的图像 f(i, j)，其自相关函数 fk,1定义为：1N -k N -l f (i, j) f i + k, j + lf k, l =(N - k )(N - l) i=1 j =1其中0 k, l N -11NNN 2 f (i, j)2i=1j =1如果图像的纹理基元较大，则它的自相关函数变化得较慢，反之，如果纹理基元较小，则它的自相关函数变化得较快，因此，纹理的粗糙度在自相关的变化上反映出来，纹理的方向性也可由这些函数的方向依赖性上检测出来。如 Kaizer 就是用 e-1 的下降距离作为纹理粗糙度的测度。2. 基于结构的纹理分析方法基于结构的方法也称几何法，出发点是纹理由纹理基元组成的定义，它不仅要确定与提取基本的纹理基元，而且还要研究存在于纹理之间的“重复性”结构关系。结构法认为纹理由许多小的纹理基元构成，不同类型的纹理基元、不同的方向、形状等，决定了纹理的表现形式。结构法研究的重点在于纹理基元之间的相互关系和排列规则，主要适用于非常规则的纹理，但是，在现实世界中，很少存在规则的纹理结构，因而很难通过纹理基元的排列来描述纹理，且纹理基元的抽取及排列规则的表达本身就是一个难点，因此利用结构法进行纹理分析效果非常有限，故很少被采用。9基于计算机视觉的刀具状态在线监控研究3. 基于模型的纹理分析方法基于模型的方法假设纹理按某种模型分布，模型可以表示纹理基元之间的关系，模型参数则表达了纹理基元的特性，因此通过估计模型的参数可以把握纹理的重要特性，进行纹理分析。常用的模型自回归模型、马尔可夫随机场模型和分形模型。(1) 自回归模型自回归模型认为一个象素 (i, j) 处的灰度可以通过按某种标准排列的 (i, j) 之前的一个像素序列的线性组合与附加的独立噪声 w() 表示，当像素 (i, j) 通过 D 阶领域 N (i, j) 像素序列表示时，二维 D 阶自回归模型可定义为：y(i, j) = (k ,l )N ai-k , j -l y(k, l) + w(i, j)其中， ai -k , j -l 为自回归系数， w(i, j ）为零均值的白噪声序列。(2) 马尔可夫随机场模型马尔可夫随机场(MRF)模型作为一种描述二维纹理图像的概