图像处理在药片缺陷检测中的应用.doc

图像处理在药片缺陷检测中的应用计算机工程与设计ComputerEngineeringandDesign2010,31(23)5151?开发与应用?图像处理在药片缺陷检测中的应用朱铭煜,周武能(东华大学信息科学与技术学院,上海201620)摘要:针对工业流水线上的在线缺陷检测系统中的图像处理单元,对药片图像采用直方图均衡化并统计平均值和方差,基于坐标的阈值分割,几何特征提取等方法,最后实现药片包装的缺粒,缺损,杂质异物混入识别的目的.提出了一种简易改进型的基于坐标的闽值分割方法来计算面积,周长,从而推得圆形度.借鉴了Canny算法,采用滞后阈值法进行边缘检测.最后给出了流程图和实验结果,在MATLAB软件下通过一些药片图像测试表明了该方法的可行性和准确率.关键词:药片缺陷检测;直方图;基于坐标的阈值分割;滞后阈值法;Canny算子中图法分类号:TP391.4文献标识码:A文章编号:1000.7024(2010)23515104ApplicationofimageprocessingintabletsdefectinspectionZHUMingyu,(CollegeofInformationScienceandTechnology,ZHOUWunengDonghuaUniversity,Shanghai201620,China)Abstract:Aimingattheimageprocessingunit,whichisonepartofonlinetabletsdefectinspectionsystemintheindustrialassemblyline.histogramequalization,thresholdsegmentationbasedonthecoordinates,geometricfeatureextractionandetcareusedfortabletsimageinordertorealizethefunctionsofpackagingtabletsdiscrimination,suchaslack,defectsandimpurities.Meanwhile,asimpleandimprovedthresholdsegmentationmethodbasedonthecoordinatesiSproposedtocalculatearea,perimeterandcircularity.ThenleamfromCannyalgorithmandhysteresisthresholdingmethodisusedtofindtheedge.Finally,flowchartsandexperimentalresultsarepresented.ThroughafewtabletsimagetestbyMATLAB,thefeasibilityandaccuracyareproved.Keywords:tabletsdefectdetection;histogram;thresholdsegmentationbasedoncoordinates;hysteresisthresholding;Cannyoperator0引言一般在药片自动包装过程中,都用人工方法检测是否缺粒,缺损或者混入杂质异物.长时间按此方法工作会导致人眼疲劳,检测准确率降低,而且手工剔除,劳动强度较大,效率较低,容易产生误检和漏检等现象.视觉缺陷检测系统一般的解决方法为:在流水线上,当药片板到达指定位置时,启动触发部件,摄像头开始拍摄,数据经过采集传送到电脑,进行图像处理.这些图像数据可能包括药片的各种缺陷信息,通过图像处理单元中的算法,识别分类存在药片缺陷的图像,输出检测结果.如果检测出不合格药片板,立刻与PLC实时通讯,PLC计算得到此药片板的位置,当不合格药片板移动到指定位置时,剔除装置移除问题药片板.1药片检测的基本方法本文主要研究视觉缺陷检测系统的图像处理部分,其应用于药片自动包装流水线上,如图1所示.本文对智能摄像机采集到的药片板图像依次进行直方图均衡化并对平均值和方差的统计分析,基于坐标的阈值分割,几何特征提取(面积,周长),Canny边缘检测后圆形度计算,分类识别,实现对药片一传送带图1工业流水线上的药片缺陷检测流程是否缺粒,缺损,杂质异物混入的识别.2直方图均衡化和平均值方差统计原始图像如图2所示,是由流水线上CCD摄像头获取,在正投光源情况下摄像,光强分布较均匀,药片板表面受线性光干扰较少.流水线运动方式一般分为步进式和连续式,本文使用的是后者.首先用直方图均衡化来改善图像的质量,其基本思想是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全局灰度范围内的均匀分布,从而达到增强图像整体对比度的效果.=ni=p(s)(1)收稿日期:20091230;修订日期:2010.07.20.作者简介:朱铭煜(1986一),男,上海人,硕士研究生,研究方向为图像处理;周武能(1959一),男,湖北荆州人,教授,博士生导师,研究方向为先进控制,图像信息融合.Email:5152200,31(23)计算机工程与设计ComputerEngineeringandDesign图2原始图像式中:p(s)原始图像第k个灰度级出现的概率,其函数曲线就是图像的直方图,ni灰度级s的像素个数,n是图像像素总数,t需要取整以满足数字图像的要求.然后确定Sktk映射对应关系,累计分布函数就能将S的分布函数转换为t的均匀分布,根据式(1),区域集中的灰度值分布转化为均衡的灰度值分布.直方图变换可用于图像的局部增强.局部增强可以借助将图像分成予图像再对每个子图像增强,也可以对整幅图像增强时直接利用局部信息来达到不同局部不同增强的日的.例如局部空域增强中可以利用每个像素的邻域内像素的平均值和方差来实现.图像的平均值可以度量整幅图像的亮度,而方差可以度量图像的对比度.本文通过MATLAB编程实现了待检测区域直方图均衡化前后的平均值和方差的统计(图3中的第1,2和3,4列),作为判断药片是否缺失的依据之一.虽然单从平均值和方差分析可以大概判断出药片板是否合格,但是提高榆测准确牢是本文重要的目标,所以提取更多的具有良好区分性,简单的,可行性强的特征是本文的宗旨.2040602040602040602040603一鼍圆:20406001O0200junzhi=177fangcha=413药片图像中从围背景像中提取出来.本文提出一种简易改进型的基于坐标的阂值分割的方法.由于光照强度不同造成阴影或者图像巾各区域的对比度不同,如果只采用1个固定的全局阈值对整幅图像分割,则不能兼顾图像各区域的荐则而使分割效果受到影响.在这样情况下,可以用基于坐标的动态闽值分割图像,这些子图像可以互相重叠也可以只足褶邻.如果子图像比较小,则由阴影或对比度的空fjJ变化造成的问题就比较小.然后对每个子图像计算1个闽值,此时阈值可用任意1种固定阈值法选取.然后基于这阈值对子图像二值化,再拼接成整幅图像.分割就是将每个子图像的像素和对应的阈值比较而实现的.基本步骤如卜:(1)将待检测区域分切成9个(33)互不重叠的子图像;(2)得到每个子图像的直方图;(3)榆测各个_了像的直方图是否为双峰.如果是,则根据最优闽值法确定1个闽值;如果不是,则根据光照强度(一般集中在220255的灰度级E)确定1个阈值,然后进行二值化;(4)把所有子图像拼接成原来大小,通过统计黑白像素的数量来计算面积.图4的第1列是原始图像经过直方图均衡化后4个待检测区域.第1行第1列药片图像的下方区域,第2行第1列药片图像的左下方区域,第4行第1列左上方区域都有明显的光照较强而具有灰度梯度的现象;而第1行第1列药片图像的方区域,第2行第l列药片图像的右上方区域有明显的光照较弱的现象.第2列是采用全局单一固定阈值的分割结果.由于光照不均匀,可以看到包装膜和药片没有分开,其结果虽然可以辨认有无药片缺失,但是第2行第2列药片图像很可能因为光照不均匀而误判为缺损半片,或者左下方混入杂质异物.第1行第2列,第4行第2列的药片形状因为圆度不理想,可能被误判为药片包装膜里有杂质异物.图4中的第3列是对第l列4个待检测区域的33分区网格,每个待检测区域被分切成互不重叠且大小相等的9个子图像.第4列是基于坐标的阈值分割后并且经过开启运算图像分割是特征提耳义和分类识别的前提.本文目标是把图4全局单一固定阁值分割和基于坐标的阈值分割的对比朱铭煜,周武能:图像处理在药片缺陷检测中的应用2010,31(23)5153的结果.开启运算表示先腐蚀后膨胀,能把比设定的结构元素小的突刺滤掉,切断细长搭接而起到分离作用,可以看到上面陈述的问题大部分得到顺利的解决.比较其他阈值分割方法:基于最小误差阈值,必须知道物体和背景的像素灰度值分布的先验概率和分布,则可以使错分的像素数量最小,但是其缺点也很明显,必须有先验知识;Ostu(大滓算法),不依赖物体和背景像素的概率密度分布模型,直接在离散域得到,但是用平均值和方差表达概率密度函数并不准确,还有当两个总体分布差别很大,会有两个极大值,如果不经过其他处理,不能准确分割物体和背景.上述这些阈值分割方法在特定条件下都有良好的效果,但是都有其局限性.根据实际应用情况找到适合的阈值分割方法是本文重点之一.4几何特征提取和Canny算子边缘检测对于基于坐标的阈值分割并经过膨胀和腐蚀处理后的图像,进行周长计算.通常的方法是对边缘像素做标记,然后累计所标记的个数.对边缘像素的标记可以用下面的方法:(1)定义一个二维数组weizhi(i,j),默认是0矩阵;(2)对待检测区域图像从t往下扫描,比较相邻两点的值,如果是0和1,那么标记weizhi(i,j)=l,(ij)即为该点坐标;(3)对待榆测区域图像从左往右扫描,比较相邻两点的值,如果是0和1,那么标记weizhi(i,j)=l,(i,i)即为该点坐标;(4)统计图像中weizhi(i,j)=l的像素数量,即为边界的周长.几何特征中的面积和周长是用来判断药片是否缺失和缺损,而两者结合又可以推得圆形度,作为判断药片是否缺损和混入杂质异物的主要依据.为了提高检测的准确性,上述的统计特征即平均值和方差,本节的几何特征即面积和周长作为对药片是否缺失和缺损得判断依据已经具有良好的检测准确率,但是对于一些小部分缺损的药片和有杂质异物混入包装的检测准确率还有待提高.本文引用圆形度作为对此问题的判断依据,见式(2).P是区域周长,A是区域面积.圆形度是一组形状特征,当为圆形计算时,其有最小值47c,它的幅度值反映待检测边界的复杂程度.其他任何形状结果都是C>4n,形状越复杂,C值就越大.c=导(2)本文由于面积和周长都是由像素数量为单位统计,和数学公式中A=nr,P=2nr长度单位不同但原理相同.由于本文中面积像素的数量远大于区域周长像素的数量,为了使数据结果与式(2)数量级相一致,本文对圆形度公式做了小修改,以适应实际应用.圆形模板是以步长为O.0001内接多边形,近似等于圆,难免会有一点小误差,由式(3)得到C=13.524n,相当于最小值.形状越复杂,c值就越大.c,_0.O(3)本文通过边缘检测得到待检测区域的轮廓,为今后的研究做好基础.边缘一般存在于两个不同灰度值的相邻区域之间,是灰度值不连续的结果,通过求导数检测到.一阶和二阶导数来检测边缘比较常用.本文使用的是Canny算子,基本原理是根据对信噪比与定位乘积进行测度,得到最优化逼近算予,使用先平滑后求导数的方法,有效地抑制噪声,比较精确地确定边缘的位置.Canny边缘检测算法先用高斯滤波器滑图像;然后用一阶偏导的有限差分来计算梯度的幅值和方向;再对梯度幅值进行非极大值抑制:最后用双阈值算法检测和连接边缘.其中梯度算子(式(4)对图像的连续函数f(x,Y)处理可得到像素两方面的信息:梯度的幅度(式(5);梯度的方向(式(6)GrG3T=fymag(Vf)=.硫arctan唔)(4)(5)(6)本文借鉴Canny算予的方法,选择了两个阈值(双阈值),采用滞后阈值法.虽然此方法会错分小部分像素,但是其用一种优化的方法选择今局阈值,使错分像素的个数尽可能的达到最少.当直方图的谷底不是很明显的时候,即有些背景像素的灰度值和物体像素的灰度值相近或者相同.这些像素特别容易在物体的边缘附近出现,它们定义起来比较困难和模糊.如果采用全局单固定阈值法分割图像,阈值太小会使背景域被误判为药片区域,阈值太大会漏检真实的药片区域.这种情况下可以采用滞后阈值法来处理这些像素,谷有两个边,每边选择一个阈值(t,<tz),即用双阈值分割背景和物体,一般阈值取2*tt:,在MATLAB中默认为2.5*t=t.小于等于t的是背景像素,得到图像N,(ij):大于等于t的是药片像素,得到像N:(ij);而(t,t2)的是待判断像素.只有当待判断像素与其相邻的像素是物体像素时,该像素才能标记为物体像素】.然后使边界闭合,因为Canny算子得到的边缘像素有些是孤立的或分小段连续的,为组成区域的封闭边界以将不同区域分开,需要将边缘像素连接起来.边缘像素连接的基础是它们之间有一定的相似性.图5的第2列是在基于坐标的阈值分割后,计算周长得圆一固204060zhouchang204060204060yuantucannycanny+bianjiebihe国204060zhouehang204060204060yuantucannycanny+bianjiebihe园啊204060zhouchang204060204060yuantucannycanny+bianjiebihe固图5周长计算和Canny算子边缘检测加蚰加柏印加51542010,31(23)计算机工程与设计ComputerEngineeringandDesign到的边界像素轮廓.第3列是直接用Canny算子边缘检测得到的图像,药片外部有噪声产生的细线分支,而且有大的间断,连续性较差,无法通过一般方法使边界闭合.第4列是在基于坐标的阈值分割后,用Canny算子边缘检测并且边界闭合的结果,轮廓没有间断,连续性较好.5MATLAB程序实现5.1程序流程图程序流程如图6所示.原始图像输入分割药片图像望纂Il直方和方差统计分析1l1雯J基于坐标的阀值分割腐蚀和膨胀J搿I边界闭合计算圆形度有药片/设定闽值没有药片<,统计参数着色标记提示报警输出结果罔像,/图6程序流程5.2识别分类和数据分析图7是输出结果图像,左下方药片缺失,此药片板是不合格产品.图8是一个药片板的信息.经一些药片板图像的统计,一般合格药片的直方图平均值范围是(170,195),面积(1500,2200),周长(155,195),圆形度(15,22).结合直方图平均值,面积,周长和圆形度特征,缺粒很容易能识别出;对于缺损,一一般缺损面积大于1/3,也能识别出.由于直方图方差作为判别条件比较弱,不能有效区分,所以只作参考.根据判别条件来识别是否药片缺失,缺损,混入有杂质异物,并对每个待检测区域标记,输出结果图像.对所有药片图像信息的各图7输出结果l竖酶钟葺峨蛹辐羲蝴彀娜譬棼|嚣一薯l强警建l孽裙.l鹰图隽嫠2.-4-18.蛞32.暑51.99i黼积#5e.s01957,133a窖9.101761.63l鹧长;62.sI189.s8115.伯176.63i瓣鏖t.9328.1.0#1757I药冀怒否台格(