【基于机器视觉算法的钢卷端面缺陷的检测与识别分析案例8600字】

基于机器视觉算法的钢卷端面缺陷的检测与识别分析案例目录TOC\o"1-3"\h\u6670基于机器视觉算法的钢卷端面缺陷的检测与识别分析案例 1316331.1图像预处理 1207381.1.1环带图像展开 1177791.1.2图像分块处理 286421.1.3图像去噪 3225641.2钢卷端面塔型缺陷检测方法 4108801.3钢卷端面小尺寸缺陷检测方法 632201.1.1Gabor滤波器原理 6281111.1.2基于改进的最优Gabor滤波器缺陷检测 9150791.1.3实验结果分析 11111901.4.钢卷端面图像特征提取和缺陷识别 1345281.4.1钢卷端面图像特征提取 13134391.4.2基于支持向量机的缺陷识别与分类 1551341.4.3实验结果及分析 181.1图像预处理1.1.1环带图像展开由于本文设计的图像扫描方式是旋转式环形扫描的方式，因此得到的图像是环带图像，要想对图像中的缺陷进行检测需要转化成常见的矩形图像，由于目前已经拥有成熟的算法，本文对原理作简要介绍。环形图像展开[41][42]大致流程是环带图像从某一处断开经过像素拉伸和弯曲步骤变换为矩形图像，具体如下图1.1环带图像和矩形图像Figure1.1annularimageandrectangularimage如图1.1所示，假设环带中任一像素点，对对应矩形图像为,环形中心点,为与点的距离，则有 (1.1)由最大尺度原则得到 (1.2)综合式（1.1）和式（1.2），就得到 （1.3）这样就实现了矩形图像和环带图像中任一像素点的坐标变换，只需要让两图像的像素值相等，就可以实现环带图像的展开过程。1.1.2图像分块处理通过钢卷端面的图像采集装置获得的环带图像，将环带图像展开后得到的图像就是我们常见的矩形图像，为了便于查看本文对图像进行伪彩化处理。得到如图1.2所示的图像。图1.2钢卷端面伪彩化的图像Figure1.2pseudocolorimage通过线结构光扫描到的图像是深度图像，其像素尺寸是，一个图像就有200M，图像代表的实际尺寸是矩形带，但是其中缺陷尺寸只有大小。如果直接在整个矩形图像能够进行缺陷检测，不仅缺陷难以检测出来，而且由于数据量较大，耗费时间就会比较长，工业实际中的实时性要求就难以满足，因此可以将获得的深度图像分割成使缺陷可以较为明显显示的图像尺寸，再进行后续操作。图像分块结果如图1.3所示。图1.3图像分块后的结果Figure1.3resultsofimagecutting1.1.3图像去噪在图像采集过程中很容易受到周围环境及相机本身等各种因素的影响使获得的图像出现图像噪声，因此在对图像进行后续操作以前就需要把噪声过滤掉。在图像滤波方法的选择上，结合噪声特点以中值滤波为最优，本文采用中值滤波对图像进行去噪处理。中值滤波是一种非线性数字滤波技术[43]，常用来去除图像或信号中的噪声。中值滤波器依次考虑图像中的每个像素，并观察其附近的邻域，以决定它是否能代表其周围的环境。它不是简单地用相邻像素值的均值替换像素值，而是用这些值的中值替换像素值。计算中值的方法是先将周围邻域的所有像素值按数字顺序排序，然后用中间像素值替换所考虑的像素。(如果考虑的邻域包含偶数个像素，则取中间两个像素值的平均值。)图1.4演示示例计算过程。图1.4中值滤波原理图Figure1.4schematicdiagramofmedianfilter假设选定图像中的像素值为150的像素点为中心像素，采用3×3的滤波窗口进行滤波，则将这9个像素点124,126,127,120,150,125,115,119,123进行排序，排序结果为115，119，120，123，124，125，126,127,150，得到排在中间位置的像素值为124，则原来的中心像素被124取代。中值滤波对于随机噪声具有相当理想的降噪能力，这也是本文选择该算法的原因。（a）(b)图1.5中值滤波Figure1.5medianfiltering本文以钢卷端面某一缺陷图像为例，图中（a）是带有噪声的原图像，图（b）是经过中值滤波后的结果，从中看出滤波结果相当理想。1.2钢卷端面塔型缺陷检测方法在带钢的工艺流程中，带钢进行酸洗前要把扎好的带钢成钢卷放在钢卷库中转运及贮存，塔型就是在扎成钢卷的过程中经常产生的缺陷[45]。如图1.6所示为常见的塔型缺陷类型。经过实地观察与企业工人师傅交流，发现在所有的缺陷中塔型缺陷数量最多，占到了70%左右；同时由于塔型缺陷存在时，在天车把钢卷运输到下一工艺流程工程中经常会导致天车夹伤出现，这也就间接导致更多的缺陷，同时由于特性缺陷经常分布于大部分的钢卷侧面，因此本文在检测缺陷时分两步进行先检测塔型缺陷存在再检测其它缺陷。图1.6塔型缺陷Figure1.6towertypedefects由上图可以看出，塔型缺陷以一圈一圈的形式逐层扩散，因此在将扫描到的图像进行拉直之后便得到了钢卷的整个侧面信息，通过得到图像的横向像素的像素值就可以检测是否存在塔型缺陷。同时考虑到误差和噪声的存在，本文分别在图像纵向方向的2/5,3/5，4/5处获取横向像素信息以得到钢卷端面横向的位置信息，将这三处位置分别计算其深度最大值和最小值，得到深度值，舍弃最大的和最小的深度值，剩下的就是我们需要的深度值信息，设定阈值以判断是否存在塔型缺陷。具体流程如下：（1）将从图像采集装置获取的预处理后图像的2/5,3/5，4/5处获取横向像素信息。（2）将获取横向像素信息中，数值最小的确定为,同理数字最大的确定为。（3）得出卷钢端面最大深度值,舍弃最大的和最小的，中间的数值即为钢卷端面的最大深度差，通过与阈值比较判断塔型缺陷的存在。本文以获取的如图所示的典型有塔型缺陷的钢卷端面为例进行实验，在图像的2/5,3/5，4/5处获取横向像素信息。将得到的数据如图1.6所示a.图像纵向2/5处b.图像纵向3/5处a.Imageportrait2/5b.Imageportrait3/5c.图像纵向4/5处c.Imageportrait4/5图1.6深度信息图Figure1.6depthinformationmap在2/5位置处的=29mm,=101mm,得到=72mm，在3/5位置处的=30mm，=101mm，得到=71mm，在4/5位置处的=29mm,=100mm，得到=71mm，则可以确定该钢卷断面的深度值为Z=71mm，这里设定阈值为30mm,大于30mm的说明存在塔型陷,71mm明显大于30mm说明塔型缺陷存在。1.3钢卷端面小尺寸缺陷检测方法Gabor滤波器在纹理分析和描述应用非常广泛。它变换是短时傅里叶变换的一种特殊短时加窗Fourier变换。与单细胞感受也函数很相似，因此具有与哺乳动物视觉皮层简单细胞二维感受野剖面相似的性质。同时Gabor滤波器具空间局部性、频率选择性及方向选择性等特点和人类视觉系统感受相似，因此非常适合于纹理图像中缺陷的检测。而且Gabor函数的可操纵性强并能够轻松指定其可扩展的内核，所以其计算效率比较高。目前Gabor滤波器在纹理分割、目标检测、分形维数管理、文档分析、边缘检测、视网膜识别等领域得到了广泛的应用。卷钢端面的图像背景比较复杂，缺陷与背景的灰度值比较接近，直接使用二值分割无法提取缺陷，因此本文对缺陷图像使用Gabor滤波器滤波。本节主要介绍Gabor滤波器的概念和原理，根据工程实际需求和最优Gabor滤波器理解分析，提出改进的最优Gabor滤波器，避免了多通道滤波器组的数据冗余和计算量大的缺点。在没有降低识别准确率的条件下，提高了图像处理速度，满足在线监测的工业需求。1.1.1Gabor滤波器原理1.1-DGabor变换Gabor在1946年为了由信号的Fourier变换提取局部信息[47]，引入了时间局部化的窗口，得到了窗口Fourier变换。由于窗口Fourier变换只依赖于部分时间的信号，所以现在窗口Fourier变换又称为短时Fourier变换。如果以高斯函数作为窗口函数，通过频率参数和高斯函数参数的选取来使窗口平移，以保证能在时域和频域内Fourier变换局部化。假设信号为f(t),窗口函数为高斯函数g(t)，则对于输入信号f(t)的Gabor变换，即其基本思想是把信号划分成许多小的时间间隔，用傅里叶变换分析每一个时间间隔，以便确定信号在该时间间隔存在的频率。其处理方法是对f(t)加一个滑动窗，再作傅里叶变换。公式如下： (1.4)其中是高斯窗口函数，由于Gauss函数在时域和频域上的一致性，Gabor变换具有较好的局部性,式中是窗口函数的调制函数，为基函数。由Gabor可知，在当信号能量比较集中时Gabor变换其增益的作用将其显示出来，而在能量稀疏的地方起抑制作用使其趋向于0。2.2-DGabor变换2-DGabor滤波器是1-DGabor函数的二维扩展。即将其中的时间t由空间坐标代替，频率变量f由频率变量对表示。二维Gabor滤波器(函数)由Daugman首次提出[48],可以看作是一个高斯函数调制的复正弦函数,。同时道格曼发现，基于二维Gabor功能的结构与哺乳动物视觉系统的组织和特征是等价的，具有与哺乳动物视觉皮层简单细胞二维感受野剖面相似的性质,同时具有较强的空间位置和方向选择性。Gabor滤波器和哺乳动物视觉皮层感受野响应的比较如图1.7所示：图中最上面一行代表哺乳动物的感受野，中间一行是Gabor滤波器，最后一行是它们之间的残差。可见两者相差极小。Gabor滤波器的这一性质，使得其在视觉领域中经常被用来图像的预处理。图1.7Gabor滤波器与哺乳动物感受野比较Figure1.7comparisonofGaborfilterandmammalianreceptivefield二维Gabor滤波器的表达式一般形式如下： (1.5)式中 (1.6) (1.7)对式（1.5）进行傅里叶变换得到下式： (1.8)其中，。式中,θ表示Gabor函数的角度方向，f是中心频率，表示相位移，,是Gabor函数在x轴和y轴上的标准差，它们决定滤波器的带宽，2D-Gabor滤波器是由一组参数决定。以式1.5为母函数进行不同方向和不同尺度的变化，就可以得到自相似的多通道Gabor滤波器组，表达式如下： (1.9) ， (1.10)式中，是方向变化后的坐标，m=1,2,…M,是尺度，其中M是尺度变化的总个数；θ=nπ/N,n=1,2,…N,是滤波器的方向角度,N是分解方向的总个数。确保在所分解的任意方向和尺度上Gabor函数都有相同的能量，当根据需要选择不同的角度参数n和尺度参数m便组成了Gabor滤波器组。设图像为,对图像进行Gabor滤波器滤波就是用Gabor函数的实部，虚部与图像的卷积。 (1.11)其中，是响应结果，是Gabor滤波器的实部，是滤波器的虚部，*表示的是卷积运算。其相关图像如图1.8和图1.9所示，图1.8表示的是频率为0.2，尺度为0的Gabor滤波器空域和频域图。图1.9表示的是4个尺度和8个方向的Gabor滤波器组图像。（a）Gabor滤波器空域实部图像（b）Gabor滤波器空域虚部图像(a)Gaborfilterspatialrealpartimage(b)Gaborfilterspatialimaginarypartimage（c）Gabor滤波器频域图像(c)Gaborfilterfrequencydomainimage图1.8Gabor滤波器实部和虚部图像Figure1.8realpartandimaginarypartimageofGaborfilter图1.94尺度8方向Gabor滤波器组图像Figure1.94-scale8-directionGaborfilterbankimage1.1.2基于改进的最优Gabor滤波器缺陷检测Gabor滤波器缺陷检测方法总的来说可以分为两大类，一类是多通道Gabor滤波融合的方法，一类是Gabor滤波最优选择的方法；多通道Gabor滤波融合方法是将缺陷图形与Gabor滤波器组卷积操作，得到滤波后的图像，然后按照一定的规则将通过Gabor滤波器滤波的图像进行融合，得到融合后的图像进行后续操作，便可以将图像中的缺陷检测出来；此方法运算量大，得到的数据冗余量大，通常需要简化操作，使得运算处理时间较长；同时容易受噪声影响，对后续缺陷的分类与识别质量影响很大。Gabor优化选择是根据一定规则从不同通道的滤波后图像中选取最优图像，对最优图像进行后续操作得到图像中缺陷。此方法降低了运算量，消除了噪声的影响，提高了分类识别质量。因此本文选择最优Gabor滤波器进行缺陷检测。对最优Gabor优化选择算法前辈们有了很多的研究；最早在1986年M.Unser[49]提出的均值比的方法，运算量小，但是准确率不高；Kumar[50]提出的一种通过滤波后图像通道子图均值最大值减去最小值之差与最小值的比值作为代价函数，选取代价函数最大值通道作为优化选择通道的方法；目前检测效果较好。赵宏威等人[51]对Gabor优化选择进行了改进，是将Gabor滤波后分块子图均值差平方和的作为代价函数实现优化选择。虽然这些方法最优Gabor优化选择算法有了较大的改进，但是还有一个问题是数据冗余运算量还是较大，使得运算处理时间较长，这些在工业实际应用中需要考虑的问题。考虑到卷钢端面缺陷检测算法应用于工业实际需求，实时性要求较高，运算量小等要求，本文提出一种改进的最优Gabor滤波器算法；其算法思路如下:为了在实际应用中满足实时性，准确率，本文通过两步进行来减小计算量，提高预算速度，首先计算图像一维熵值确定Gabor滤波器组最优方向，第二步设计代价函数确定最优的Gabor滤波器以得到滤波后的图像。具体算法过程如下：（1）将Gabor滤波器分别在8各方向上对输入图像卷积处理，对各个方向的滤波后的图像进行图像一维熵值计算，熵值最小的即为Gabor滤波器的最优方向，图像一维熵值计算公式如下： (1.12)式中表示灰度值为像素值所占得比例，L表示的是灰度等级。（2）通过第一步的步骤与之前方法下相比将计算量缩小为原来的1/4，接下来通过确定代价函数确定Gabor滤波器最优尺度来继续减小滤波器组的规模来提高计算效率。代价函数公式设计如下： (1.13)式中，的值越大，表示缺陷与背景的差异越显著，将背景与缺陷分离越容易。表示经滤波后图像分成n个子块中第个子块得的像素平均值。表示通过Gabor滤波器的通道滤波后图像的像素均值。通过计算得到最大的值对应的尺度就可以作为Gabor滤波器的最优尺度。1.1.3实验结果分析根据从某钢厂获得的资料，本文对常见的边裂，豁口，夹伤，边部突起等缺陷的部分样本图像进行实验。在多通道Gabor的参数选择上，本文设置Gabor滤波器的中心频率最大为5π/8，最小为π/4，间隔为π/8的四个尺度，由于卷钢端面图像的缺陷位置不是固定不变，因此采用8个方向进行滤波，即的取值分别为π/8、π/4、3π/8、π/2、5π（1）Gabor滤波器的最优方向确定首先对选择的两种缺陷计算取8个方向的熵值，选择熵值最小的为最优方向,经过Gabor滤波器组后得到的8个方向的图像如图1.10和图1.11所示，将得到的图像进行熵值计算，选择熵值最小的方向为最优方向。得到的熵值结果如表1.1所示。从得到的结果可知，最优方向均在方向。图1.10边部突起缺陷8个方向滤波后的结果Figure1.10resultsafterfilteringin8directionsofclampdefects图1.11划伤缺陷8个方向滤波后的结果Fig.1.11resultsof8directionsfilteringofclipdefects表1.1各方向图像的熵值方向Table1.1entropyofimagesindifferentdirections方向缺陷缺陷π/8π/43π/8π/25π/83π/47π/8π边部突起4.86565.45694.52634.13344.67035.53144.91754.8002划伤1.93715.23971.76832.88711.76615.241.93441.3949（2）确定最优Gabor滤波器滤波图像通过确定代价函数确定Gabor滤波器最优尺度，得到的图像如图1.12和图1.13所示，可知夹片缺陷的最优Gabor滤波器选择尺度为5π/8，方向为方向，划伤缺陷最优尺度为π/2，方向为图1.12边部突起缺陷4个尺度滤波后的结果Figure1.12resultsoffourscalefilteringforclipdefects图1.13划伤缺陷4个尺度滤波后的结果Figure1.13resultsoffourscalefilteringforscratchdefect本文将得到的最优滤波后的图像进行二值化，并与直接对缺陷二值化的结果进行比较得到的结果图1.15所示，图（b）对原始图像直接使Otsu方法进行二值化，结果未能把缺陷分割出来，这是由于钢卷端面背景复杂，缺陷灰度值与背景非常相近使得直接对缺陷图像二值化很难将缺陷分割出来。图（c）是通过最优Gabor滤波器滤波后的图像，结果显示可以将缺陷与背景分离，缺陷检测能力大大提升。同时选择82图像进行实验，其中56张缺陷图像和26张无缺陷图像使用本文方法进行检测，检测准确率能够达到达95%以上。（a）原始图像(b)Otsu法二值图(c)滤波后的图像(d)滤波后二值图图1.14边部突起缺陷图像二值化结果对比Figure1.14comparisonofbinarizationresultsofclipdefectimage（a）原始图像(b)Otsu法二值图(c)滤波后的图像(d)滤波后二值图图1.15划伤缺陷图像二值化结果对比Figure1.15comparisonofbinarizationresultsofscratchdefectimage1.4.钢卷端面图像特征提取和缺陷识别1.4.1钢卷端面图像特征提取在钢卷端面缺陷检测系统中，很重要的一项任务就是对缺陷进行准确识别，并要保证系统有较高的识别率。目前对于钢卷端面识别由两大难点：（1）同一缺陷存在较大差异，不同缺陷有很大相似性使的识别难度较大。(2)光照变化及材质等影响会使图像像素灰度值随之发生变化，这就对特征的提取产生了很大的影响。LBP由于其灰度不变性和旋转变性能很好地解决这两大难题，同时也已在纹理识别中取得了较大的成功。显然传统的几何特征，灰度特征等在这里已不再适用。因此本文选择局部二值模式即LBP进行缺陷特征提取。局部二值模式(localbinarypatterns,LBP)最早由OjalaT.[55]等人在1994提出，主要用于图像的局部纹理特征提取。一个特定像素的LBP值总是通过考虑其邻域的像素属性来计算的，这就是使用Local这个术语的意义。然后将描述如何仅使用0和1来定义此特性，并最终形成一个0-1模式，这就是为什么它被称为二进制模式。局部二进制模式在描述图像的局部纹理特征上显示出卓越的能力，同时在提取特征方面具有较高的计算效率，旋转不变性和灰度不变性等显著的优点。局部二值模式算法思想是以一个的窗口为基本纹理单元对周围的8个像素邻域与中心像素值比较进行二值化。如果像素值大于中心像素则像素点记为1，否则记为0。然后以顺时针方向将二值化的结果读出8个子块的值，以这8个子块的值组成的二进制数值作为该点的响应。对整个图像逐行扫描过后就得到了一个LBP响应图像，其直方图就是LBP统计直方图。具体描述如下所示：假设灰度图像中某个局部区域所有像素点的像素值的集合为： (1.14)式中，表示该区域窗口中心点的像素值，表示中心点邻域像素值，将窗口中心点的像素灰度值作为阈值与邻域像素灰度值相减，得到结果如下： (1.15)若上述值之间是独立的，则式（1.15）可表示为： (1.16)简化后，以窗口中心点作为阈值，然后对窗口内其它像素值进行二值化处理，得到公式如下: (1.17) (1.18)将得到的P位二进制数进行加权就和计算，得到的值即为该局域内的LBP特征值： (1.19)图1.16说明了一个中心像素和8个相邻像素的LBP值的计算，图像的最终LBP特征通常是基于分布的，包括计算图像中每个像素的LBP码并基于这些码构建直方图。可以注意到LBP特征的计算速度非常快，并且对单调的光照变化是不变的。(a)3×3邻域灰度值(b)二值化（c）二进制权值（d）LBP图1.163×3正方型LBP算子Figure1.163×3squareLBPOperator为了减少特征提取的冗余，同时需要有保留足够多重要描绘能力的模式，本文采用统一化LBP模式，保留的统一化模式具有反映重要信息的能力同时LBP特征的数目大大较少，减少计算量提高了运算速度。而那些非统一化模式中过多的转变往往由随机噪声引起，不具有良好的统计意义。卷钢端部缺陷图像的LBP特征谱只是反映了卷钢端部缺陷的局部特征，如果要获取更丰富，更适合的特征信息，通常的做法是将LBP特征谱转化为LBP直方图序列，将该序列作为卷钢端面缺陷的识别。提取出的LBP缺陷图像直方图序列的具体过程如图1.17所示。图1.17LBP特征谱直方图序列提取过程示意图Figure1.17schematicdiagramofLBPfeaturespectrumhistogramsequenceextractionprocess1.4.2基于支持向量机的缺陷识别与分类支持向量机(SupportVectorMachine，SVM)最早由Cortes、Vapnik等人于1995年提出的一种基于统计学习理论的模式学习方法[60]，SVM将风险结构函数引入到分类中，以结构风险最小化为目标，使样本分类同时分类间隔最大化，在许多应用领域都表现出较强的泛化能力。SVM（支持向量机）的基本思想是：将训练数据映射到一个高维特征空间。然后在这个特征空间中构造一个超平面，该超平面将这两类一分为二，并使其自身与最靠近它的点之间的距离最大化，如图1.18所示。对于线性可分和不可分的数据，它可以转化为二次规划(QP)，并且只能得到一个极限点。在非线性的情况下，支持向量机通过非线性映射将输入映射到高维特征空间，然后在特征空间中找到线性超平面。图1.18SVM最优超平面示意图Figure1.18optimalhyperplaneofSVM设分离超平面方程为,其中（∙）表示内积；和是非零常数。假设有一个训练集，，k为样本个数，n是输入维数。那么问题就可以描述为: (1.20) (1.21)这是一个二次规划问题。为了解决它，我们必须引入拉格朗日: (1.22)根据Kuhn-Tucher条件，我们得到： (1.23)对于所有的，拉格朗日乘子αi≥o，得到（ (1.24) (1.25)对于上式，需要满足一个约束条件，最后得到的最优的分离超平面为以下指标函数:

(1.26)对于非线性问题，可以通过在高维特征空间中用映射函数扩展变量集来解决。假设输入向量被映射函数转化为特征向量，那么我们可以找到满足条件的函数，这样我们就可以通过替换两个向量内积，式（1.26）表示的二次规划问题变成下式： (1.27) (1.28)分类函数就可以写为: (1.29)支持向量机中核函数为我们提供了一个灵活有效的学习机制，不同的内积函数形成的算法各不相同，核函数的选择对检测结果有较大的影响。常用的核函数如下：线性核函数 (1.30)多项式核函数 (1.31)高斯核函数 (1.32)Sigmoid核函数 (1.33)1.4.3实验结果及分析本文采用基于LBP和SVM的缺陷识别算法，分为卷钢端面缺陷图像训练和识别两个部分。训练部分分为两步：首先提取卷钢端面缺陷的LBP特征直方图序列，并将该序列作为缺陷识别鉴别特