【产品外观缺陷的成像系统设计案例分析7900字（论文）】

产品外观缺陷的成像系统设计案例分析目录TOC\o"1-3"\h\u24946产品外观缺陷的成像系统设计案例分析 164481.1现有产品外观缺陷成像系统介绍 1236241.1.1典型箱体类零件外观缺陷特点及形成 1145231.1.2现有图像成像系统存在问题 3174401.1.3缺陷成像分析 5189221.2缺陷成像系统设计 7251021.1.1光源的选型与确定 7309201.1.2光源的布局 9174311.1.3LED光源控制 11278761.3光源入射角的实验与测试 12263031.3.1图像质量评价 1279611.3.2不同光源倾角下的图像采集 13154121.3.3不同倾角采集图像的质量评价与分析 13图像获取是基于机器视觉方法检测缺陷的开端，一个好的成像系统设计要求不仅能最大限度地获得各类缺陷的图像信息，还应该为后续的检测和信息管理带来便利性。本章分析了发动机缸盖和机油泵表面常见缺陷特征，对现有成像系统进行分析与问题总结，结合典型缺陷的光学成像性质，设计多条形光源分布的照明成像系统，从而完成缺陷成像的方案设计。1.1现有产品外观缺陷成像系统介绍1.1.1典型箱体类零件外观缺陷特点及形成在机械产品铸造和加工时很容易导致产品外观产生如磕碰、划痕、砂眼和麻点等缺陷，影响产品质量。同时汽车、航空航天等领域对产品性能要求极高，汽车等设备上任何一个微小缺陷都可能会造成其性能下降，产生隐患。因此，企业对于产品的缺陷检测不可或缺[45,46]。通过大量对发动机缸盖及机油泵表面缺陷的调研和总结，最常见缺陷为孔洞、磕碰伤以及划痕，其中孔洞占所有缺陷的80%以上。裂纹、麻点、砂眼等缺陷较少。各类缺陷外观图如图2-1所示。(a)孔洞(b)划痕(c)磕碰(d)麻点(e)裂纹(f)砂眼(g)残缺(h)毛刺(i)压痕图2-1各类外观缺陷图由图2-1可知，每种缺陷类型具有不同的特征，缺陷成因也各不相同，相关分析如下：(1)孔洞类缺陷的产生主要是发生在铸造过程中，浇注时温度过高，凝固收缩时缺少补足金属液，在表面产生缩孔缩松。通常孔洞类缺陷形状不规则，大小不一。(2)裂纹一般产生于应力集中的部位，在凝固收缩过程中由于各部位冷却速度不一致，导致收缩受阻，当阻力超出材料的强度极限时，产生裂纹[47]。(3)划痕的产生通常有以下几种情况：1.工件加工时在模具上来回拖动被划伤，这类划痕通常较深；1.金属工件表面与工作台摩擦产生的划痕；3.材料在物流过程中，在工序运转过程中，零件之间的碰撞等导致容易产生划痕。以箱体类零件缸盖和机油泵盖为例，如图2-2所示，对产品的复杂几何特征分析：(1)产品存在孔、槽、筋、倒角等多种形状，产品整体结构复杂。(2)产品表面存在镜面反射和漫反射，同时表面有纹理干扰，不易被识别。(3)缺陷存在于边缘、斜面和内槽口等特殊位置，给后续采用机器视觉检测造成困难。(a)发动机缸盖(b)机油泵盖图2-2发动机缸盖、机油泵盖实物图1.1.2现有图像成像系统存在问题现有的图像成像系统对拍照单元进行了配置选型，首先确定相机和镜头。经过调查，EA211系列发动机缸盖、机油泵的毛坯最大尺寸为370×120×250。考虑相机成像视野范围和成像能力，选择分辨率500万的工业相机。参数如表2-1所示。表2-1MER-500-14GM相机参数技术指标参数技术指标参数外观尺寸(mm)29×29×29传感器型号MT9P006像素(pixel)2592×1944传感器类型CMOS像元尺寸(um)1.2×1.2数据接口GigE接口考虑到产品的外观缺陷是随机分布，并保证在拍摄过程中镜头、光源和零件之间不会产生干涉等问题，因此镜头的物距不小于100mm。镜头参数如表2-2所示。表2-2LM8JCM镜头参数技术指标参数像距（mm）8物距（mm）150外形尺寸（mm）Ф28×50接口C对成像系统的拍照单元进行选型后，本课题现有的光源照明系统是采用单一的平面光源对产品表面进行照明。从采集的图像中可以明显发现，孔洞以及磕碰伤等缺陷在单一平面光源成像下与背景的对比度较为明显。但是在对划痕缺陷进行成像时，由于划痕深浅不一，仅有部分划痕缺陷能够在图像中显示，同时较轻的划痕则因对比度太低而无法显示，因此在当前的成像条件下难以对划痕进行有效以及完整的成像。针对目前的成像系统采用同轴光源和平面光源两类单一光源对缺陷进行成像实验。在实验中选取了工件某涵盖了硬划痕以及轻划痕等多个划痕的待检部位。成像实验效果如图2-3所示。(a)同轴光照明(b)平面光照明（c）实际缺陷图2-3不同光源下的成像图如图2-3(c)所示，该机油泵部位实际存在三个划痕缺陷。图2-3(a)为同轴光源拍摄下的成像图像，划痕①和②被呈现出来，但缺陷与背景的对比度较低，缺陷③则完全与背景融合；图2-3(b)为平面光源拍摄下的成像图像，仅划痕①可以用肉眼看到，且对比度极低，划痕②和③则完全消失。从成像效果来看，单一照明光源类似于同轴光、平面光和环形光均无法满足对划痕的完整成像要求。特别在单一光源的照明下，可以发现轻划痕缺陷几乎都变的很轻，通过调整光源的亮度和高度均不可见，导致整个图片的成像效果都较差。而一些划痕则必须通过光源从侧面角度进行打光才能以较好的对比度进行成像。由于对划痕缺陷的成像效果差，导致在后续采用深度学习进行检测的识别率较低。在现有的实验环境下，孔洞的识别率能够达到96%，而划痕的识别率仅为50%，超过一半的划痕缺陷在识别中被漏检。因此，本文将针对划痕类缺陷进行研究，产品外观的部分划痕缺陷如图2-4所示。由于两个金属物体彼此直接接触，并且由于外力引起的相对位移会导致刮擦，所以产品的表面划痕是有方向性的。其中绝大部分划痕为线状和长条形划痕，如图2-1中(a)、(b)、(e)和(f)所示。少部分短划痕带有一定弧度，如图(c)，(d)所示。可将划痕分为两类：一类是有一定深度的硬划痕；第二类是深度较浅的浅划痕。(a)(b)(c)(d)(e)(f)图2-4各类划痕缺陷示意图1.1.3缺陷成像分析在一个光学系统中，对于表面划痕、凹坑、孔洞等缺陷的散射问题，可以采用几何光学的散射模型来论证。对于本文研究的关于发动机零部件来说，表面存在镜面反射和漫反射，而对于缺陷所处区域来说，整个区域可以当成是多个平面光的散射叠加。缺陷的光学成像原理如图2-5所示，现假设一入射表面AB上存在某缺陷，其截面可以看做“V”字型，理想状态下当入射光照射到PQ面上会产生镜面反射。图中O1P’为主光线方向，O2P’为散射光方向，N1N1’为入射表面法线，N2N2’为表面缺陷的某一平面的法线。当入射光沿PO1入射时，若表面无缺陷，则光线以N1N1’为法线沿O1P’’反射。倘若AB面上存在一缺陷，当一束光线入射时，缺陷表面会产生很多与主光线方向偏离的散射光O2P’。一束光斜入射到该缺陷表面，散射光会进入到镜头中，而主光线则不会，那么就会在暗背景上呈现明亮的缺陷图像，很容易进行观察。当散射光超过一定角度范围时，缺陷则无法被发现，从而导致缺陷信息丢失。图2-5散射几何光学模型(1)划痕的方向性平行光在照射时，各方向上的辐射亮度不对称，同时由于划痕的方向性不确定，因此在成像时，不同方向上的划痕缺陷呈现效果差异较大。将图2-5中的被照射部位看做一个点，则一个划痕便是无数个该点的集合。在针对本文的发动机零部件进行拍摄之前进行了划痕缺陷的成像实验，选取带有多个划痕的金属零件。如图2-6所示，采用单个条形光源在工件的侧上方进行打光，由于划痕具有不确定的方向，通过改变光源的位置，进行缺陷部位的成像。图2-6单条型光源照明示意图以带孔冷轧钢板为例，如图2-7所示，相机拍摄的同一钢板表面有四个不同深浅的划痕缺陷，最短划痕缺陷尺寸为5mm，最长划痕缺陷尺寸为10mm。本节将图中划痕缺陷分为横向和纵向划痕缺陷。图2-6(a)使用的条形光从侧面平行于横向划痕照射，图2-7(b)的条形光平行于纵向划痕照射。根据成像效果显示，图2-7(a)中当条形光与横向划痕平行时，能够很好地对划痕缺陷进行成像；同样采用该条形光源照射纵向划痕时，即使不断调节条形光源的亮度，也无法呈现缺陷。(a)光源平行于横向划痕(b)光源平行于纵向划痕图2-7冷轧钢板表面划痕缺陷成像同样的，采用本文研究的发动机机油泵进行实验对比，如图2-8所示。相机拍摄同一机油泵表面的划痕缺陷，我们可以观察到同样的结果：当条形光源与划痕水平时，划痕缺陷能够被较好的呈现。然而面对一幅图像中有不同方向的划痕缺陷时，采用单个条形光源无法将图2-8中的划痕1、划痕2同时较好的呈现出来。(a)光源平行于横向划痕(b)光源平行于纵向划痕图2-8机油泵表面划痕缺陷成像根据以上实验可以发现：划痕在成像中存在方向性问题，上述的实验结果同样符合散射光学几何模型的理论。1.2缺陷成像系统设计根据上文所述划痕形成原因以及实验结果可知，划痕缺陷的方向完全具有不确定性，单一方向的照明和采集并不能获取完整的划痕缺陷信息，而通过从不同的方向进行照明获取图像的方式可以获得更多更完整的划痕缺陷信息，同时也能够对孔洞、磕碰伤等缺陷进行成像。成像系统的拍照单元沿用上节选型后的硬件，本节将重点介绍对光源的选型以及布置。1.1.1光源的选型与确定(1)常见光源介绍照明系统对于整个机器视觉系统具有举足轻重的作用，其主要作用方式是以合适的方式将特定光线投射到被测目标上，突出被测目标与周围背景的对比度，决定着被测目标物图像特征的采集以及后续检测算法的难易程度，使整个机器视觉系统达到设计的最优化。光源根据其产生方式可分为两类：自然光源、人工光源，主要有放电灯、LED灯、白炽灯、卤钨灯、激光等，特点如表2-3所示。表2-3常见光源特点常见光源特点钨光源照度不均匀；产热多；存在工频问题荧光灯发光效能高；能耗低；寿命长LED灯价格低，寿命长；可做供给光源；无噪声放电灯光强度高；消耗功率低；价格昂贵卤钨灯发光效能高；可调节显现角度；成本高激光光强照度高；相干性好；准直度高比较上述表2-3中列出的六种典型光源的各自特性，。LED光源的研发制造成熟，同时拥有寿命长、显色力好、亮度稳定、易使用、功耗低等优点，使用场景也越来越广泛。综合分析零件表面缺陷成像特点和LED光源的整体性能，因此本文选择LED光源作为本文成像系统的照明设备。LED光源中常用的有同轴光源、条形光源、环形光源、背光源等。由于这些LED光源各自存在不同特性，可以根据实际缺陷检测场景的需求选择最适合的光源或者不同的光源组合。（2）照明模式合理的照明模式可以在最大程度上突出缺陷特征，弱化背景干扰，降低噪声。因此选择合适的照明模式极为重要。照明模式主要分为三种形式：前景光照明、背景光照明以及同轴光照明，如图2-9所示。(a)同轴光照明(b)背景光照明(c)前景光照明图2-9照明方式示意图其中前景光照明又可分为高角度照明和低角度照明两种模式。通常待测对象表面与光源之间夹角大于45°认为是高角度照明，如图2-10(a)所示；夹角小于45°则认为是低角度照明，如图2-10(b)所示。(a)高角度照明(b)低角度照明图2-10高角度及低角度光照方式示意图低角度照明能提高缺陷对比度，减小反光，主要应用于裂痕等细微缺陷；高角度照明适用于表面几乎无反光的零件，主要应用于凹坑、磕碰等缺陷的检测。综合上一节中的研究分析，考虑划痕缺陷的方向性以及缺陷的完整成像问题，重点将对光源照明系统进行规划设计。本文选择的照明光源为LED条形光源，具体参数如表2-4所示。表2-4条形光源参数一览表条形光源技术指标参数技术指标参数型号SDQ-LT27-189灯珠排列6×44发光面尺寸189×27mm高度43mm配件漫反射板可调角度0-90°确定条形光源型号后，配合四通道光源控制器型号为PWD4-6024-DP，光源实物图如图2-11所示：图2-11条形光源装置1.1.2光源的布局照明系统的设计在整个缺陷检测系统中起着极其重要的作用，而照明系统的设计主要就是针对照明光源的设计，需要对系统需求和性能要求进行分析。在图像采集过程中，照明光源的作用主要分为以下三种：(1)突出图像的关键信息特征；(2)提高目标物体反射光线的强度以及对比度；(3)适应实际现场环境，提高图像的成像质量。在上一节完成对光源设备（LED条形光源）的选型后，由于单个条形光源无法满足照明需求，本文将布置四个LED条形光源作为照明光源。如图2-11所示，单个条形光源的照明范围有一定的局限性，无法对较大尺寸产品进行完整的照明，且越远离条形光源的工件部位进入镜头的漫反射光线越少，在成像图中越暗。同时考虑划痕成像的方向性问题，为避免部分划痕在成像过程中被遗漏，因此本文需采用四个条形光源布置在工件的四周进行全方位成像。图2-11条形光源照明示意图整体照明系统布局如图2-12所示，该成像系统结构主要包括1个高精度彩色相机、4个条形平行光源（光源参数已做说明）以及连接结构型材，先用型材搭建实验台框架，光源与相机固定在实验架上，高度与角度可调。相机固定在实验架中间，镜头竖直向下。成像的整体布局为：四个条形光形成组合光照明系统对待检物表面进行照明，其中彩色相机位于待检工件正上方180mm处，光源位于待检工件正上方120mm处。四个条形光源在XY平面中分布角度为按照0°，90°，180°，270°的逆时针分布，其中0°方位的光源对应1号光源，90°对应2号光源，180°对应3号光源，270°对应4号光源。光源倾角均以与法相面成50°角对待测物体进行照明（下文将对光源倾角的设定进行验证），采用高角度照明成像。采用伺服电机保证拍照时的精度以及运动控制。采集图像时，通过相机采集卡获取工件图像，然后将采集图像传送给检测系统进行图像的检测识别。图2-12成像系统装置示意图（1、2、3、4为按逆时针旋转放置的LED条形光源；5为高精度彩色相机；6为待检工件）1.1.3LED光源控制由于本文针对图像成像的光源布置与设计中采用了四个条形光源均布工件四周的方案，且四个条形光源相互独立控制，因此采用的数字电源控制器如图2-13所示。(a)光源控制器(b)控制操作面板图2-13控制器实物图图2-13(a)所示为PWD4-6024系列数字电源控制器，其中四通道CH1-CH4分别控制LED灯照明且各自相互独立，每一个通道具有独立的外部触发源。控制器采用PWM调光，比模拟电源调光具有设定范围更广、调光更精确的优点。如图2-13(b)所示的控制操作面板能够分别调节各自通道，光源亮度从0-250变化，调节频闪延时从0-999变化。图2-14光源控制模块原理图如图2-14所示为光源控制的模块原理图，通过光源控制器的RS232口与PC机点对点联机通讯，控制四个通道的输出功率。由计算机下行命令，若光源控制器正确地接收则立即返回应答命令。考虑在使用过程中免去手动调节光源控制器的不便，通过上位机PC端与多通道光源控制器进行直接交互，本文进行了上位机软件的搭建。所采用的控制器上位机是基于.NET开发，开发环境为VS2017。上位机按照通信协议进行编程控制，通过二次开发的控制界面，可通过滑动条控制每个通道的亮度(0-250)。波特率(9600)、数据位(8)、停止位(1)以及校验位(None)均设定为默认值。四盏灯可设置为三种模式：常亮、常灭以及频闪。点击串口检测按钮自动检测可用串口，在编程实现中，对于串口的打开及关闭，创建一个SerialPort类的对象，通过调用Open()和Close()方法的完成任务。发送光源的亮度数据时，通过调用重载的Write()、WriteLine()。接收数据时DataReceived事件在接收到了[RecievedBytesThreshold]设置的字符数，并将其放入输入缓冲区，从而触发该事件。LED灯亮到采集图像过程中的间隔时间通过Thread.sleep()方法来设置。进行二次开发后，针对本文的图像采集进行拍照的规划。前期准备工作：四个光源处于常灭状态，连接RS232串口，自动检测可用的串口，其余参数均为默认值，间隔时间设置为600ms，并打开串口。当前期硬件设备连接后，通过二次开发后程序完成图像采集工作：工件从零点在伺服电机驱动下进入设定好初始坐标位置，随后LED1亮，光源等待600ms，相机采集第一张图像，LED1灭；LED2亮，等待600ms后，相机采集第二张图像，最后直至四张图像采集完成。整个过程共耗时3s。随后进入下一个坐标位置，直至完成整个工件的图像采集工作。1.3光源入射角的实验与测试1.3.1图像质量评价光线的入射角会影响成像的效果，经过实验可知，角度过高或者过低会导致图像局部区域的过曝或者亮度过暗。针对上一节中对光源进行了选型以及成像方案的布置后，本节将从图像质量评价着手对设计的条形光源的倾角进行分析研究。(1)成像质量评价不同成像方式（光源、采集图像硬件等）对于成像质量而言会有较大差别。图像质量评价主要分为主观评价以及客观评价。主观评价是指感知者对于图像的直观感受，但是容易受客观环境等因素的影响，实时性、稳定性差。通过对于图像客观评价的参数和指标能减少一定客观条件的影响。客观评价方法很多，例如基于信噪比和基于能量的图像评价。本文将从信噪比SNR和信息熵D两个客观评价指标进行图像质量的定量评价。1)信噪比SNR信噪比SNR能够用来反映表面缺陷与背景的区分度，计算公式如下。(2-1)其中，、为缺陷所在背景区域b的灰度最大值和最小值，为目标区域t的灰度最小值。2）信息熵D(f)信息熵通常是用来衡量图像信息量的有效指标。一幅图像f的信息量可以通过图像的信息熵D(f)来表示，如公式(2-2)所示：(2-2)在式(2-2)中，Pi为灰度值为i的像素的概率，L表示灰度级总数。1.3.2不同光源倾角下的图像采集根据选定的实验装置，对于同一缺陷表面样本，可以将选择合适有效的照明高度后得到多照明角度下的图像选择最合适的角度进行缺陷的成像实验。针对条形光源1，以光源角度θi为变量，对划痕缺陷进行图像采集，实验方案如下：a：暗场照明，降低环境光的影响；b：光源高度d=120mm，调节光源的倾角θi从30°到65º（根据前期实验可知，光线入射角度太小或太大时，会导致图像的局部过曝或者亮度过暗导致缺陷特征被湮没），因此实验从30°-65°每隔5º采集一次图像，共得到8张划痕缺陷图像。利用halcon的crop_part算子将图像裁剪为400×400像素，如图2-14所示。图2-14不同角度下的缺陷图像(θi依次为30º、40º、45º、···、65º)1.3.3不同倾角采集图像的质量评价与分析1）图像灰度信息分析从图2-16中可以看出，随着光线入射倾角θi的增大，整体灰度值呈下降趋势，图像变暗。在θi处于[30°,40°]的区间内时，划痕缺陷附近部分区域产生过曝导致将划痕的一部分与背景融为一体，能有效区分的划痕长度减小。在θi大于50°时，缺陷区域的灰度小于250。图2-16图像三维灰度分布图(θi为30º、5º、10º、···、65º)对图像的灰度信息进行提取，并以灰度直方图的形式呈现，如图2-17所示。图2-17图像灰度直方图(θi为30º、5º、10º、···、55º)横轴为图像灰度值，纵轴代表灰度值个数。由图2-17可以看出，在光线入射倾角位于[30°,35º]的区间内时，有一定数量的图像灰度分布于240~255区间内，图像的亮度整体较高，除去图像中拥有的一小部分灰度值始终为0的区域（峰值在10000左右），灰度值低于100的像素数较少；随着θi的增大，划痕敏感区域仍有一部分灰度值在250左右，其余区域的灰度值均在降低，所占的像素数也在不断提高，高灰度的像素数呈现递减趋势；当θi大于50°时，划痕所处的高亮度区域，灰度值在不断减小，图像整体偏暗。同时，从[5