机器视觉检测

研究背景：产品外表质量是产品质量的重要组成局部，也是产品商业价值的重要保障。产品外表缺陷检测技术从最初的依靠人工目视检测到现在以CCD和数字图像处理技术为代表的计算机视觉检测技术，大致经历了三个阶段，分别是传统检测技术阶段、无损检测技术阶段、计算机视觉检测技术阶段。[]传统检测技术人工目视检测法频闪检测法无损检测技术涡流检测法红外检测法漏磁检测法计算机视觉检测技术激光扫描检测法CCD检测法采用荧光管等照明设备，以一定方向照射到物体外表上，使用CCD摄像机来扫描物体外表，并将获得的图像信号输入计算机，通过图像预处理、缺陷区域的边缘检测、缺陷图像二值化等图像处理后，提取图像中的外表缺陷的相关特征参数，再进行缺陷图像识别，从而判断出是否存在缺陷及缺陷的种类信息等。优点：实时性好，精确度高，灵活性好，用途易于扩充，非接触式无损检测。基于机器视觉的缺陷检测系统优点：集成化生产缩短产品进入市场时间改良生产流程100%质量保证实时过程监控提高产量精确检测100%检测由于经济和技术原因国内绝大多数图像处理技术公司都以代理国外产品为主，没有或者很少涉足拥有自主知识产权的机器视觉在线检测设备，对视觉技术的开发应用停留在比拟低端的小系统集成上，对需要进行大数据量的实时在线检测的研究很少也很少有成功案例，但是随着国内经济开展和技术手段不断提高对产品质量检测要求就更高，对在线检测设备的需求也就更大具有巨大的市场潜力。机器视觉图像处理技术是视觉检测的核心技术铸件常见缺陷：砂眼气孔缩孔披缝粘砂冷隔掉砂毛刺浇缺乏缺陷变形问题的提出：水渍、污迹等不属于铸件缺陷，但由于其外观形貌与缺陷非常类似,因此易被检测系统误识为缺陷。从目前发表的文献来看，对于伪缺陷的识别率较低。不同种缺陷之间可能存在形状、纹理等方面的相似性，造成缺陷误判。国外研究开展现状：20世纪90年代后，基于机器视觉检测系统的自动化功能和实用化水平得到了进一步的提高。1990年芬兰RautaruukkiNewTechnology公司研制了Smartivis外表检测系统[]，该系统具有自学习分类功能，应用机器学习方法对决策树结构进行自动设计优化。1996年美国Cognex公司研发了一套iLearn自学习分类器软件系统并应用于其研制了iS-2000自动检测系统。通过这两套系统的无缝衔接，极大地提高了检测系统实时的运算速度，有效的改良了传统自学习分类方法在算法执行速度、数据实时吞吐量、样本训练集规模及模式特征自动选择等方面的缺乏之处[]。2004年Parsytec公司发布了新一代外表质量检测产品Parsytec5i，该系统运用了自学习神经网络分类方法进行缺陷分类，将外表质量信息输入到支持决策信息中，不仅可以对产品的外表质量进行检测和评价，还能预测潜在质量问题，并将检测信息提供应使用者进行整合和利用[]国内研究开展现状：2005年北航周正干等人提出了一种新型的数学形态学滤波与计算机视觉算法相结合的缺陷自动提取方法。2009年北京科技大学徐科等采用线形激光进行连铸坯外表裂纹的在线检测，并用AdaBoosting分类器成功地实现了对外表裂纹、水痕、渣痕、氧化铁皮和振痕等5种缺陷和伪缺陷样本的识别。北京科技大学高效轧制国家工程研究中心研制开发了具有全部自主知识产权的冷轧带钢[19-20]和热轧带钢外表在线检测系统[21]，并在生产线上得到成功应用。《基于光度立体学的金属板带外表微小缺陷在线检测方法》徐科等机械工程学报2013检测示意图微小缺陷与常规缺陷同步检测装置关键点：二维图像上缺陷研究的关键是如何准确地分割出缺陷目标。图像目标分割方法大多是为特定应用设计的，具有较强的针对性和局限性。缺陷分割就是指将感兴趣的缺陷目标从被测外表的背景信息〔如颜色、轮廓、亮度、形状〕中别离出来，使缺陷直接成为分析和处理对象的过程，是视觉检测的关键。缺陷分割是后续缺陷分析判别的根底，假设分割中出现错误或误差而传播给后续的图像分析中，将导致检测错误或失败。因此，缺陷分割性能的优劣直接影响着后续的研究工作的进行，是外表缺陷检测中的一项关键技术。全局阈值分割双峰法、自适应迭代法和最大类间分割法东北林业大学纹理分割〔可否获得高质量的图像，突出缺陷？〕光源的作用是形成有利于后续检测算法复杂度降低和缺陷检测率提高的铸坯外表缺陷图像效果。光源的选择直接关系到采集图像的质量和图像中能否明显表露存在的缺陷。据统计，至少30%的图像质量和应用效果受到光源选择的直接影响。采集到的理想图像应是完整的、均匀亮度、比照度强且没有畸变。难点：由于生产环境而造成的伪缺陷的出现极大的影响了检测的精度和准确度，引起检测系统的误动作。多维视角分析在上图一些步骤的根底上，增加了一些基于多维视角几何的分析步骤。多维视角分析的核心思想是，它能够通过从不同的角度进行多维视角分析来获取待测物体的更多的信息。它是一种在检测容易被误检的复杂对象时非常有用的方法，因为从不同角度对同一物体的两个或多个视角能够提高只通过一张图像来检测缺陷的方法的正确率。〔剔除伪缺陷，见文献[][][]〕图2多角度获取图像信息特征提取： 对于外表缺陷检测，在缺陷有效的分割之后，要进行缺陷的判别。这里，缺陷的判别包括缺陷识别、缺陷分类、真伪缺陷判断、缺陷参数给出等问题。如果将缺陷的判别过程看做是一个“黑盒子”，那么这个“黑盒子”的输入是陷图像的各种特征数据，输出是判别结果〔类型、参数等〕。征去除无意义特征。纹理特征提取：尽量缩小同类内样本特征值之间的差距，增大不同类间特征值的差距，有助于提高分类器的性能，降低分类器设计的复杂性。Gabor滤波器：针对二维数字图像，二维的Gabor滤波器具有优良的滤波性能，并与生物视系统有相近的特点。二维Gabor滤波器能够在方向、径向频率带宽以及中心频方面进行定制，因此在空间域和频率域都能获得极佳的分辨率。计算量大。小波变换：将纹理图像看成是二维信号，运用二维离散小波变换进行纹理图像的处理。可将图像在频域上分解为低频子带〔纹理的根本结构〕和假设干方向上的高频子带〔纹理细节〕，然后提取各子带的特征形成特征向量。统计几何特征提取方法《基于非基于非下采样Contourlet变换和PCNN的外表缺陷自动识别方法》周新星中国地质大学首先用NSCT对缺陷图像进行多尺度多方向分解;然后将子带图像输入迭代点火，计算点火图的熵序列作为子图的特征，合并各子图特征得到原图的特征向量;最后用支持向量机进行分类识别。NSCT原理示意图PCNN中单个神经元的模型分类：模式识别分类器。〔SVM与神经网络〕外表缺陷检测的应用往往存在多种类型的外表缺陷，因此，缺陷识别问题通常是多类分类问题。分类的难点在于分类器的设计。目前常用的分类器方法大体可以分为两种：不需要学习的分类器和需要学习的分类器。不需要学习的分类器通常基于统计的方法，如贝叶斯理论、距离判别、Fisher判别、k-邻近法、聚类分析、决策树分类等；需要学习的分类器如神经网络、支持向量机等。不需要学习的分类器往往需要大样本支持，并且需要一定的先验知识，计算量大，速度慢，因此，在实时检测应用中往往难以实现。〔《注射制品外表缺陷在线检测与自动识别》华中科技大学材料成形与模具技术国家重点实验室2013，提出一种基于缺陷区域轮廓、制品轮廓、区域灰度等特征的缺陷自动识别算法。缺陷分类判定规那么〕需要学习的分类器，如果经过充分的、具有代表性的样本学习训练后使分类器规那么确定，那么可用于实时在线的检测应用。但神经网络的神经元层数及每层神经元的个数还是需要先验知识确定，且其计算原理基于最小方差理论，因此容易陷入局部最优，且其分类思想还是基于经验风险最小化原那么。支持向量机〔SVM,SupportVectorMachine〕是在统计学习理论〔SLT,tisticalLearningTheory〕的根底上开展起来的一种统计学习方法，其核心思想结构风险最小化取代传统分类器的经验风险最小化[148]。支持向量机是一种建立在VC维和结构最小化准那么上的机器学习算法，通过学习，SVM可以自动寻找那些对分类有较好区分能力的支持向量，由此构造出的分类器可以最大化类之间的间隔，使不同的样本能够被分类器分开。因而有较好的推广性能和较高的分类精确率。SVM已被用于文本分类、孤立的手写体识别、语音识别、人脸识别、三维物体识别、遥感图像分析等。支持向量机是一种高性能的分类算法，跟上面介绍的方法相比有明显的优势。支持向量机〔SVM,SupportVectorMachine〕是在统计学习理论〔SLT,tisticalLearningTheory〕的根底上开展起来的一种统计学习方法，其核心思想结构风险最小化取代传统分类器的经验风险最小化虽然向量机是针对二分类问题的，由二分类器组合成的多分器在性能上也有很好的表现。随着越来越多的对它的研究，将是机器学习中一项很有开展前景的技术。通过多个二分类向量器的组合构造多分类向量器。一对多一对一DAGSVM：核函数核参数惩罚因子降低训练时间减少向量机复杂程度多分类算法关键点：保证训练样本的质量，滤除噪声。真伪缺陷判别方法：〔国内研究现状〕1.基于纹理的非模式图像伪缺陷甄别通常缺陷出现时，缺陷处的光学性能的改变呈现两面性：大多数区域的透射性能降低，而局部小区域的透射性能却增加。透射性能增加的位置其图像区域灰度值呈偏亮的特征，由于这些偏亮的像素往往呈现离散的条纹状分布在缺陷核心的周围，其反映了缺陷核心的外围轮廓，将之称为缺陷纹理。可以通过从实时图像中拟合出一个标准曲面D(i,j)，通过从实时图像与标准曲面的差来求取缺陷纹理。〔《产品外表缺陷在线检测方法研究及系统实现》彭向前华中科技大学2008〕基于多幅图像的缺陷自动识别技术该方法将识别过程分为两步:缺陷提取和缺陷跟踪。第一步利用传统方法在每幅图像中别离出潜在缺陷。这一步保证真缺陷能全部提取出来，而不考虑伪缺陷的数量。第二步力图找出同一试件不同图像中别离出的缺陷之间的相互关系。如果第一步某一图像中别离出的某一缺陷在其他图像中都找不到相对应的缺陷区域，就定义该缺陷为伪缺陷，也就是说，真缺陷在不同图像中必须满足一定的几何关系。多幅图像中的缺陷跟踪综合利用了极线约束、三维重建和三线性约束等立体视觉算法。〔《航空发动机叶片X射线数字图像分析的一种新方法》周正干等北京航天航空大学2006〕基于B样条曲线及极值修正的缺陷提取针对背景起伏大、比照度低、纹理复杂的图像容易出现大量伪缺陷。利用B样条曲线以及极值修正的方法，对列灰度曲线波形进行平滑优化，然后通过对提取的极值进行分析提取，确定缺陷的边界，最后分割和提取出缺陷。降低误判率。〔《X射线焊缝图像缺陷自动提取与识别技术研究》梁硼南京航天航空大学2012〕基于相邻层切片信息的真伪缺陷识别方法识别流程图：〔《基于ICT切片图像的零件内部缺陷三维重构关键技术研究》方黎勇西南交通大学2009〕5.可疑区域筛选有两种方法，一种方法是去除伪缺陷，另一种是挑选真缺陷。由于伪缺陷根本由水、氧化铁皮与光照不均现象引起，很难找到算法将它们直接去除，因此只能采取第二种方案。通过增加4种不同类型的缺陷检测步骤，去除了大量由水、氧化铁皮等造成的伪缺陷，在保证缺陷检出率的同时，减小缺陷的误识率。〔《热轧带钢外表缺陷在线检测的方法与工业应用》徐科等北京科技大学2009〕在铸造生产过程中,种种原因会使铸件外表产生一些缺陷。其中有些缺陷如外表裂纹,不仅影响产品外表质量,而且会造成较严重的生产事故。因此,如何能够及时发现并消除外表缺陷，成为人们关注的一个问题。目前国内铸造生产厂家大多采用人工目测的方法完成该项工作,这种方法劳动强度大、工作效率低,且检测结果易受检查人员技术素质和经验及肉眼分辨能力和疲劳等主观因素影响,缺乏准确性和标准化,无法保证正常的产品质量。铸板的外表裂纹与其他缺陷(如疤痕和振痕)或伪缺陷(水痕、渣痕和氧化铁皮)组成,它们在各个方向上的纹理特征各有不同,可以利用小波的多方向性特点对图像进行分解后再作纹理分析.有选择的舍弃或增强某方向的信息，能够起到对某方向纹理的去除或增强作用。 CCD相机光源及照明方式获取图像数字图像获取图像增强滤波增强滤波形态学方法图像预处理理形态学方法图像预处理理变换变换边缘提取图像分析边缘提取图像分析目标分割目标分割特征提取特征提取图像理解图像理解分类器设计特征分析分类器设计