【基于光度立体法的缺陷成像质量分析案例4300字】

基于光度立体法的缺陷成像质量分析案例目录TOC\o"1-3"\h\u10713基于光度立体法的缺陷成像质量分析案例 1190131.1光度立体法成像介绍 136831.1.1光度立体法基本原理 196211.1.2四光源下的光度立体法 4313061.1.3缺陷成像实验分析 578051.2基于光度立体法的曲率成像 6141771.2.1梯度图像的曲率计算 6222481.2.2平均曲率成像的实验与分析 724741.3缺陷样本的深度学习检测 934741.2.1缺陷数据集构建 10319381.2.2深度学习的样本集训练 1241371.2.3缺陷检测实验与分析 131.1光度立体法成像介绍1.1.1光度立体法基本原理光度立体法最早是由R.J.Woodham[29]提出，经典的光度立体法是由相机、待测对象以及三个光照强度相同的不同位置光源组成，如图2-1所示，首先通过相机采集在不同光源照射下的待测对象的一组图像，根据朗伯漫反射模型计算待测对象的表面法向量，然后得出x、y方向的梯度信息。图2-1经典光度立体法设物体表面为，，，则表面法向为N(p,q,-1)，光源方向为，N与L的夹角为。当k=1时，反射分布函数为：(2-3)式中：，分别为向量N，L的模长；为向量N和L的内积。上述公式说明反射分布函数可以表示为p，q的函数。根据辅照度方程可得：(2-4)在朗伯理想漫发射模型中，漫反射光的光强按公式(2-4)计算：(2-5)式中：I为图像传感器光亮度；ρ为待测对象的表面反射率；为光源的单位方向向量。某一点的单位法向量；根据式(2-5)可以得到由相机采集的三幅图像中某像素的亮度，I1，I2，I3分别为：(2-6)将式(2-6)变换为矩阵形式，即：(2-7)由于上式中N和L为单位向量，可得：(2-8)(2-9)由此可得待测对象的表面梯度，即在x，y方向的梯度p和q：(2-10)如图2-2所示，其中Slant是光源的光线照射方向与z轴方向（竖直方向）的夹角；Tilt为光源打光时所处的象限中的对应的角度（范围：0-360°）。(a)主视图(b)俯视图图2-2光源方位分布图1.1.2四光源下的光度立体法(1)四光源光度立体法在采用光度立体法获取表面法向量的过程中，研究人员对此进行了进一步研究，结果表明：当光源倾角固定，照明数量为3个时，即光源在XY平面的夹角Tilt为120°，采集到的二维灰度图像中仍然存在高亮或阴影，因此通过增加至少一个光源可以避免该情况的发生。为解决上述问题，本文研究采用四光源的光度立体法，根据X、Y轴可将整个平面划分为四个象限，将光源均匀的分布在一个圆周内，夹角Tilt分别为0°、90°、180°、270°。因此采用四光源的光度立体法采集的4幅图像中任意一个像素点的灰度值依次为I1，I2，I3，I4，可以得到反射光亮度如下：(2-11)将式(2-11)转化成矩阵形式为：(2-12)根据上式(2-12)，其解可由最小二乘法求得，即：(2-13)(2-14)根据上式可计算出p、q分别为：(2-15)1.1.3缺陷成像实验分析通过在Halcon软件中编写程序，实现基于光度立体的方法将四个位置下所拍摄得到的四张图像合成为一张梯度图像，实验效果如图2-3、2-4所示。(1)实验效果一：(a)光源1(b)光源2(c)光源3(d)光源4(e)合成梯度图图2-3光度立体法合成从图2-3可以看出，(a)~(d)分别为四个不同位置照明下采集的四张图像，图中共有四个划痕缺陷，划痕深浅不一，同一个待测对象的表面在四个不同位置光源照明的成像下，均呈现出不同的特征，每张图像中都只能对缺陷进行部分的呈现，效果也有所差异，所有缺陷无法在一张图中很好的呈现。将四张图像通过光度立体法合成梯度图像(e)，从图(e)中可以看出，划痕缺陷在该梯度图像中被完整呈现，并且有一定的对比度。(1)实验效果二：(a)光源1(b)光源2(c)光源3(d)光源4(e)合成梯度图图2-4光度立体法合成从图2-21可以看出，(a)~(d)分别为四个不同位置照明下采集的四张图像，图中共有五个划痕缺陷，五个划痕缺陷无法在任意其中采集的一张图中呈现。将四张图像通过光度立体法合成梯度图像(e)，从图(e)中可以看出，划痕缺陷在该梯度图像中被完整呈现，但是丢失了其中一个划痕缺陷信息。基于本节采用的四光源下的光度立体法，在完成不同方位光照下的图像采集后，利用光度立体算法实现对图像中缺陷特征信息的进一步呈现。1.2基于光度立体法的曲率成像1.2.1梯度图像的曲率计算根据上文阐述的光度立体法原理可知，四光源下的光度立体法能够获取待测对象的表面梯度信息，求得表面梯度图像，但是对于某些浅显的缺陷仍然有一定概率被遗漏，并且由于图像背景复杂，具有很多的噪声干扰，对于后续检测产生负面影响。因此本节将进一步从梯度图像的表面曲率信息中研究曲率图的成像。对于一幅图像来说，空间表面像素点处的曲率包含很多信息，其中包括高斯曲率和平均曲率。高斯曲率的大小反映了曲面的局部弯曲程度；平均曲率反映了该点在曲率特征上的变化剧烈程度。通过利用高斯曲率和平均曲率在表达图像空间几何结构信息时的独特性，可以对离散梯度数据进行处理。对于某一面上的点的高斯曲率K和平均曲率H，可利用在这一点处的主曲率计算公式和欧拉公式来求解该值。经过大量实验，针对本课题通过对四光源下的采集图像求取高斯曲率的结果并不理想，待测对象的信息被大量湮没。因此，本文将从平均曲率出发，进一步对表面梯度进行处理，对每一个像素点进行计算从而得到表面平均曲率。通过表面梯度与高斯导数卷积求解出平均曲率值，其中为： (2-16)式中：r为图像中的行坐标；c为图像中的列坐标；为待测对象表面在点处的行梯度分量，其值等于p；为待测对象表面在点处的列梯度分量，其值等于q。将光源分布的0°、90°、180°、270°分别定义为A，B，C，D。则表面高斯曲率为：(2-17)根据(2-17)平均曲率的公式，可以计算出平均曲率H为：(2-18)1.2.2平均曲率成像的实验与分析通过在Halcon软件中编写程序，在将上一节中四个不同位置光源下所拍摄得到的四张图像合成为梯度图像后，对梯度图像进一步处理，得到平均曲率图，实验效果如图2-5、图2-6所示：(1)实验效果一：(a)合成梯度图(b)平均曲率图图2-5平均曲率图合成从图2-5可以看出，图像(a)是将四张图像通过光度立体法合成的梯度图像，进一步将梯度信息图像(a)转化为平均曲率图像(b)后，划痕缺陷的特征变得更加明显，同时，图像的背景干扰也变得更少。(1)实验效果二：(a)合成梯度图(b)平均曲率图图2-6平均曲率图合成从图2-6可以看出，图像(a)为通过光度立体法将四个不同位置照明下采集的四张图像合成的梯度图像，进一步将梯度信息图像(a)转化为平均曲率图像(b)后，划痕缺陷的特征变得更加明显，图像的背景干扰也变得更少；同时，合成梯度图时被遗漏的划痕由于曲率信息依然存在，在求解平均曲率时依然存在，因此也清晰的被呈现出来，为后续的检测提供了基础。1.3缺陷样本的深度学习检测采用四光源的光度立体法对成像图片进行表面梯度计算，并且进一步合成平均曲率图后，对于缺陷的成像效果有了进一步提升。本节将采用基于区域卷积神经网络的检测算法对于前文合成的平均曲率图像进行检测。图像处理领域常用的软件包括Halcon以及OpenCV，本文采用halcon21.05版本的深度学习算法包。实验方案流程图如图2-7所示。图2-7实验方案流程图1.2.1缺陷数据集构建在进行卷积神经网络的训练前首先要进行数据集的准备，包括图像采样、数据集增强，以及标签的制作。通过训练得到一个较好的深度学习模型，通常需要准备大量的样本，随着样本数据量增加，模型的泛化能力将得到提高。(1)缺陷数据集的准备本文在前期对零件进行了数据的采集，共采集到划痕图片61张，其中划痕缺陷共168个。针对上述采集的图像样本，需要通过数据增强获得一个可以用来训练的数据集。图像数据实质上由RGB像素值组成，本质上仍是数据，而对于数据，可以通过一些数学运算的方法对它进行灰度变换、噪声扰动、裁剪、仿射变换等处理。在数据样本不足的情况下，通过数据增强能够一定程度上对数据集进行扩充，并且可以增强算法的鲁棒性和泛化能力，同时对模型性能的提高也能起到帮助作用。本文采用的数据增强方式：亮度变化的取值范围为[-150,150]，对比度变换的取值范围是[-50,100]，两种方式均是取值越大，对比度越高。同时利用仿射变换通过在(0°,360°)内每隔30°进行一次旋转扩大数据集，参数如表3-1所示：表3-1数据增强方法及参数增强方法亮度变换对比度变换仿射变换参数[-150,150][-50,100](0°,360°)图2-8展示了采用以上三种方法的图像增强效果。(a)原图(b)亮度变换(+30)(c)对比度变换(+50)(d)旋转变换(30°)图2-8数据增强效果如图所示，图(a)为采集到的原始图像，其余三张图像分别为增加亮度、提高对比度和旋转角度后得到的扩充样本图像，在采集到的原始图像数量不变的情况下，数据集可成倍增加。通过对原始采集样本采用上述的增强方式，将总的样本数扩充至划痕1320张。数据如表3-2所示。表3-2数据增强后的样本数据集图像（张）划痕（个）采集样本61168数据增强样本8542352(2)缺陷数据标注本文使用LambelImg软件来对数据集中的目标对象进行人工标注，图像标记流程图如图3-3所示。图2-9缺陷图像标记流程如图2-9所示的是利用LabelImg对缺陷信息进行标注，采用矩形框标注信息并标记缺陷类别信息（图中标注的为划痕类缺陷），并存储为R-FCN可读的xml文件。图2-9采用矩形框标记缺陷信息深度学习网络在训练过程中从标注后的xml文件中通过<filename>、<size>、<name>、<bndbox>标签来获取图像的名称、图像分辨率信息、缺陷类型以及缺陷位置，其中缺陷位置包含两个坐标值：矩形框左上角坐标和右下角坐标。1.2.2深度学习的样本集训练在进行模型训练和测试前，需要对采用的