【钢卷端面缺陷视觉检测系统的整体设计案例分析8500字】

PAGE4钢卷端面缺陷视觉检测系统的整体设计案例分析目录TOC\o"1-3"\h\u25269钢卷端面缺陷视觉检测系统的整体设计案例分析 1112071.1需求分析 1316171.1.1系统功能需求 119681.1.2安装位置需求 1154861.1.3安装环境条件 2285941.1.4硬件功能需求 320931.2系统总体设计 3296021.3云台设计 4289341.4图像采集子系统设计 7241321.4.1总体设计方案 7143911.4.2光学三角测量方式选择 839771.4.3光学系统数学模型 9152391.5电气电路设计 19157151.6检测系统总体硬件结构 1949231.6.1图像采集装置硬件结构 19308761.6.2图像采集装置关键硬件设备选型 201.1需求分析1.1.1系统功能需求从企业获得的资料和在现场了解到的信息，酸轧单卷的生产最短时间是300秒，步进梁的运行周期时间：120秒（不包括带头定位及剪切捆带时间），所以系统在180秒内完成缺陷有效，及时检出和处理；同时系统要具有钢卷端面图像扫描获取，缺陷检测，缺陷分类以及缺陷严重程度评级等功能；系统要能提供操作人员实时查看信息并能够进行钢卷端面图像进行缩放查看功能。1.1.2安装位置需求在带钢生产线中，可以对钢卷端面检测的位置有三个，如图1.1所示以CCDR生产线为例，展示可以进行端面检测的三个位置，分别是热连轧出来成卷后到酸洗前；冷轧之后退货和精整之前，精整和平整之前的三个位置。安装位置2安装位置3安装位置1安装位置2安装位置3安装位置1图1.1CCDR生产线Figure1.1CCDRproductionline对钢卷端面缺陷检测的目的一是为了防止在开卷等后续流程中防止发生断带事故，因为通常炉外断带处理时间需7-12小时,炉内断带的处理时间约在20小时左右,造成的损失是非常大的。所以考虑的位置不能过于靠近生产线下游，这样就失去了检测的意义，目的二是提高检测效率，因为目前大部分都是靠人工检测的方法，该方法存在效率低、工人劳动强度大、环境差、主观因素大等问题，也严重制约了卷钢的生产效率。同时由于热轧带钢卷取机下机的钢卷温度很高，不仅在安全方面有较大隐患，质检人员也无法靠近检查，缺陷漏检率高，因此在确定位置时还要为能够提高生产效率为目的。同时也要考虑检测设备的周围环境条件。因此综合以上因素，本文选择在进行酸洗入口前，即在拆捆带之前步进梁输送钢卷的位置，同时也能确保出现异常后有足够的时间组织进行甩卷或者钢卷调换。1.1.3安装环境条件检测系统的具体安装位置在酸洗前的步进梁鞍座中间输送位置，与酸洗入口相距大约20米，如图1.2所示，检测装置与酸洗入口间有剪捆带机，当检测装置检测钢卷端面无缺陷，步进梁将钢卷输送到剪捆带装置位置剪断捆带，再输送至酸洗入口进行酸洗。天车缺陷检测装置步进梁天车缺陷检测装置步进梁图1.2安装位置周围环静Figure1.2surroundingenvironment通过在现场的观察和体验，由于这个位置也在钢卷冷却与暂存区之后，大部分钢卷已经经过冷却，温度在20-70度左右；检测装置周围环境温度25度左右；周围光线较弱且有灯光照明影响。除此之外，步进梁鞍座之间的距离为3米，钢卷之间大约有1.7米的距离范围供检测装置对端面进行检测。1.1.4硬件功能需求系统的硬件部分需要一些系统，如摄像系统，即图像采集系统；电气系统。还要有一个高速服务器可以处理大量信息。硬件包括计算机系统、信号采集与转换系统和机械结构。计算机系统需要大功率、高速的服务器计算机和图像处理计算机；信号采集与转换系统应具有高速线扫描摄像机图像采集卡、同步坐标信号、系统状态信号等。机械结构应有支撑定位机构、保护机构。1.2系统总体设计钢卷端面缺陷检测系统整体结构如图1.3所示，该系统主要由成像系统，控制系统，机械装置，计算机软件系统等组成。其工作基本流程为，钢卷从冷却与存储区往酸洗的运输链在步进梁上运输途中，到达待检测区时步进梁停止递送此时触发检测信号，计算机控制云台到达扫描钢卷端面指定位置，图像采集系统对钢卷端面进行扫描采集钢卷端面图像，并反馈到计算机内存中，检测软件系统读取待检测钢卷端面图像，下一步进行图像预处理，缺陷检测，特征提取，缺陷分类识别，缺陷严重程度评价，然后将缺陷信息存储至服务器，企业人员可以通过终端访问服务器以进行查看。图1.3钢卷端面缺陷检测系统总体结构Figure1.3Overallstructureofcoilenddefectdetectionsystem下文将对在线检测系统中的成像系统，控制系统，机械装置，计算机软件系统等组成分别进行研究分析与设计并对系统各个关键模块进行原理性阐述，本章主要介绍检测系统硬件结构的设计。为了保证文章的系统连贯性，其中的软件系统设计本文将放在第五章进行详细阐述。1.3云台设计云台是卷钢断面缺陷检测系统不可缺少配套设备之一，它与本文的光学系统设备配合能够达到扩大光学系统扫描的范围，提高光学系统柔性的作用。目前商业云台尺寸大部分都较小，可活动范围小，并且在工业应用中难以满足工业中持续运作和高可靠性的要求。显然商业云台不适合应用于像钢卷这种大尺寸的结构件和生产环境较差的场合，因此需要设计能够适合于大型构件且可靠性高的云台。在设计云台时，由于钢厂有热轧钢和冷轧钢的环境，还需要满足能够在较高温度环境下正常工作。在对钢卷端面缺陷检测系统设计和改进的过程中，一共产生两种设计方案，一个是全方位滑台转台结构的云台设计，一个是基于工业机器人的云台设计。全方位滑台转台云台设计全方位滑台转台云台中最基本的结构件就是滑台，本文使用的滑台是日本的THK的GL-N型台，如图1.4所示，其通过滚轴丝杠来实现位移，最大行程1540mm,定位精度±0.02mm。滑台通过系统组合可以使云台具有水平和垂直两个互相独立的自由度，同时在图像采集系统端具有回转扫描功能，使得云台总体具有四个自由度的灵活性，因此这种云台设计使得摄像机光学扫描系统能够扫描整个卷钢端面。图1.4.滑台Figure1.4slidingtable全方位滑台转台云台示意图如1.5图所示。由于设计的实物已经拆解没有了实物图，因此本文画出该云台简单的效果图进行展示。最下面的滑台控制控制设备在X方向的位移，中间的滑台控制光学系统Z方向的位移，最上面的滑台控制光学系统Y方向的位移，在最高处的滑台末端装有转台用于控制光学系统对卷钢端面进行扫描。图1.5全方位滑台转台云台Figure1.5Omnidirectionalslidetableturntable整个全方位滑台转台云台的运动控制过程如图1.6所示，当钢卷到达指定位置，计算机通过运动控制卡控制步进电机驱动滚轴丝杠带动螺母座控制滑台进行直线运动，由于全方位滑台转台云台在X,Y,Z方向均有自由度，因此可实现X,Y,Z方向的直线运动，在驱动相机到达拍摄位置，转台旋转线结构光开始扫描同时相机开始拍摄采集钢卷端面图像。图1.6云台运动控制Figure1.6pantiltmotioncontrolprocess在钢厂生产现场进行调试实验时，发现虽然能够在钢卷之间比较好的对卷钢端面进行扫描，但是有一个比较棘手的问题，当控制滑台末端进行钢卷端面扫描时发现，由于滑台的路程较长在将光学系统完全伸出进行扫描时末端抖动比较严重，造成的不小的误差，而像钢卷端面的微小缺陷检测需要很高的扫描精度，虽然对滑台转台进行了加固但是仍然无法完全解决，而且在系统加固后减小了扫描所需的空间，因此在经过深思熟虑之后放弃全方位滑台转台云台的方案，又重新设计了基于工业机器人的云台方案。工业机器人云台工业机器人云台就是在工业机器人的执行末端安装图像采集装置，工业机器人作为相机运动的载体，由工业机器人运动控制相机采集钢卷端面图像。工业机器人云台有6个自由度运动灵活，同时能进行持续重复性的工作可靠性高，还有能够在较为恶劣的环境下稳定工作等优点，这也是选择工业机器人作为云台的原因。工业机器人云台选用的是YASAWA公司的MH180（安川机器人）型6轴工业机器人，最大负载180KG、臂展2702mm、重复定位精度±0.2mm,其示意图如图1.7所示。图1.7工业机器人Figure1.7industrialrobotplatform带钢厚度：1.0-3.0mm带钢厚度：1.0-3.0mm(偏差±10%)带钢宽度：800-1300mm(偏差0到+10mm)钢卷内经：700mm<内径≤760mm钢卷外径：1000mm<外径≤2200mm步进梁相邻鞍座中心距离：3000mm由以上可知，钢卷尺寸较大外径最大有2200mm,宽度最大有1300mm，因此工业机器人需要满足要有较大的臂展，同时末端需要灵活的活动能力，以便于对钢卷端面进行全面扫描获得钢卷端面图像。本文选择的工业机器人活动范围最大有2702mm,拥有6个自由度，同时精度较高，因此满足要求。工业机器人云台既满足测量不同直径的钢卷，也能满足钢卷间的位置上空间要求。1.4图像采集子系统设计1.4.1总体设计方案在对钢卷端面图像采集方式上近几年国内的一些企业做了一些研究，比如鞍钢通过CCD相机直接拍摄整个钢卷端面获得图像的发明专利[28]，宝信在钢卷端面各布置4台相机，当钢卷到达指定位置时触发相机8次拍摄,拍摄得到64张图片的方法[29]，这些方法虽然简单但是拍摄的图像易受周围光照环境的影响，同时由于相机拍摄的都是二维图像而无法获得深度信息，许多情况下，在无法采用特殊光源使缺陷特征明显的时候，缺陷识别变得非常困难。考虑到这些本文采用线结构光扫描获得深度图像的方法，由于钢卷端面的缺陷处往往有明显的深度变化，因此获得的图像缺陷特征就较为明显。同时不同于以前的相机直接拍摄的方法，本文设计了一种新的基于线结构光的旋转环形扫描的方式获取图像，如图1.8所示。具体过程当钢卷到达指定位置，开始给出检测信号，云台末端到达带着图像采集装置到达指定位置，线结构光打在钢卷端面，云台终端带动图像采集系统绕钢卷中心线进行转动，进行环形扫描便得到了钢卷端面的整个深度信息图像信息，经过图像预处理便可对钢卷端面进行缺陷检测。如图1.9所示是对钢卷端面的扫描的总体方案实例。图像采集装置云台图像采集装置云台图1.8总体方案示意图Figure1.8generalschemediagram图像采集装置云台图像采集装置云台图1.9总体方案Figure1.9overallschemedisplay1.4.2光学三角测量方式选择光学三角测量是一种非接触测量方法，广泛应用于物体的位移、高度和三维表面的测量。光学三角测量是将激光束投射到被测物体的表面上。在被测物体的表面被处理后，形成一个变形的光带，然后该光带被另一个相机捕获。光条位置在摄像机像面上的偏移反映了被测点的位移信息。当被测物体表面发生位移变化时，光条相对于相机物镜的位置就会改变，反映在相机像面上的成像位置也发生改变。因此就可以根据图像点位置的偏移量和系统模型参数的构造，确定被测点的三维空间位置信息。如图1.10所示激光束的入射角设置分为正入射和斜入射两种方式[30]。a.直射式投射方式b.斜射式投射方式图1.10激光束的入射角方式Figure1.10incidenceanglemodeoflaserbeam表1.1所示对两种方式进行比较，由于本文的检测对象是钢卷，其端面直径为760mm-2200mm，三维尺寸较大，因此就需要激光三角测量能够扫描足够大的范围，因而采用直射式激光三角方式，相比较而言，它的测量范围更大而且不易出现盲区，结构简单，适用性广。表1.1两种光学三角法对比Table1.1comparisonoftwoopticaltriangulationmethods1.4.3光学系统数学模型在搭建图像采集系统之前，系统数学模型建立是光学成像系统建立的基础，因此本节主要研究模型建立过程及相机标定原理和过程，为后面钢卷端面图像准确获取和图像处理提供理论基础。1.3.3.1.常用坐标系建立相机成像过程中常用的坐标系模型[31]包括图像坐标系、摄像机坐标系和世界坐标系[32]，三者的关系图如图1.11所示，摄像机成像大致过程是世界坐标系内的物体一点通过刚体变换成为摄像机坐标系内的一点,然后通过透视投影变换最终成为图像坐标系的某个像素点，当有无数个像素点就成了我们常见到的图像。图1.11坐标系关系Figure1.11Coordinatesystemrelationship图像坐标系摄像机捕捉到的图像将被转换成数字图像并存储在计算机内存中。并以维数组的方式存储。在这个数组中每个像素表示的值表示像素点的亮度。在坐标系中，每个的值表示其在图像坐标系中的行数和列数的位置，并以像素为单位[33]。图1.12图像坐标系Figure1.12imagecoordinatesystem如图1.12所示，以图像坐标系中点为原点，X、Y轴分别平行于轴，建立图像坐标系,设每个像素在X、Y轴上的物理尺寸为,则这坐标系之间的关系为： （1.1）转化为齐次坐标为： （1.2）进行逆变换结果为： （1.3）b.相机坐标系如图1.13所示，由点O与轴组成的直角坐标系称为摄像机的坐标系,其中O点为摄像机光心（投影中心），轴和轴与成像平面坐标系的x轴和y轴平行，轴为摄像机的光轴，和图像坐标系垂直。光轴与图像平面的交点为图像的主点,为摄像机的焦距。图1.13摄像机坐标系Figure1.13cameracoordinatesystemc.世界坐标系世界坐标系[34]是为了描述相机的位置而被引入的，它可以用来描述三维场景中任意物体的位置坐标，即如图所示的坐标系，它与摄像机坐标系之间的关系如下： （1.4）上式中，称为旋转矩阵，一般是正交单位矩阵，t是三维的平移向量表示三个轴向上的平移距离，即，矢量=(0,0,0),是4×4矩阵。1.3.3.2成像系统模型如图1.14所示，由线激光器投射出的光平面与被测物体上表面相交而调制形成变形的线结构光条，P是光条线上一点。变形的线结构光条位于全局测量坐标系的光平面上，经摄像机透视成像在图像平面坐标系上就成为带有变形特征光条纹图像。建立系统模型有效方法是建立光平面坐标与摄像机图像平面坐标的直接对应关系。由于在构建系统的测量模型时，需要先要完成对摄像机标定和光平面标定，所以后面会阐述对相机和光平面标定原理和过程。图1.14线结构光三维扫描模型Figure1.14linestructuredlight3Dscanningmodel设在世界坐标系中有一点,该点在摄像机坐标系下的齐次坐标为,在图像像素坐标系和图像物理坐标系下的齐次坐标分别为,,则根据摄像机成像模型有： (1.4) (1.5)式中E为的单位矩阵,矩阵A为摄像机内部参数矩阵，同时考虑到镜头畸变的影响，则设在摄像机畸变模型中点P的理想图像物理坐标为。根据线如图所示结构光视觉测量系统的面面模型可知，点P同时在物体表面和在光平面上，所以满足光平面约束方程，则可以得到光平面方程为： (1.6)式中A、B、C、D是光平面方程的参数，联立方程（1.3）、（1.4）、（1.5）、（1.6）得到如下表达式： (1.7)从表达式中可以看出，可以求出相机坐标系中任意空间点的三维坐标，但是如果需要世界坐标系中任意点的坐标，则需要相机的内、外参数、畸变系数和确定光平面方程的参数。这就需要通过相机得标定与光平面的标定确定参数。1.3.3.4相机标定在计算机视觉相关任务中，为了确定空间物体表面某点的三维几何位置与其投影图像（相机中的图像）的对应关系，必须建立恰当的相机成像的几何模型，这些几何模型参数就是相机的内外参数。在绝大多数条件下。这些参数必须通过实验与计算才能得到，这个求解内外参数的过程称之为相机的标定。无论是在机器视觉还是图像测量应用中，相机参数的标定都是十分重要的一环，其标定结果的精度直接影响最后结果的准确性，因此做好相机标定是后续工作正常进行的前提。(1)与相机相关的各个坐标系的转换相机相关的世界坐标系，相机坐标系，图像坐标系前文已有详细介绍，这里只做简要说明，相机成像过程的数学模型[36]就是目标点在这个几个坐标系的转化过程。1）世界坐标系世界坐标系也称为全局坐标系，他是客观世界中的绝对坐标，是由用户自定义的三维空间坐标系。2）相机坐标系相机坐标系是以小孔相机模型针孔平面上的聚焦中心为原点，以相机光轴构成的三维坐标系，其中与图像坐标系平行。3）图像坐标系图像坐标系又分为图像成像坐标系和图像像素坐标系，图像成像坐标系其原点位于透镜光轴与成像平面的交点。图像像素坐标系是固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角，图像的行和列分别平行于相机坐标系的横纵轴。图1.15针孔投影模型示意图Fig.1.15Pinholeprojectionmodeldiagram刚体从世界坐标系转换到相机坐标系的过程，可以通过旋转和平移来得到，我们将其变换矩阵由一个旋转矩阵和平移向量组合成的齐次坐标矩阵来表示： (1.8)其中，R为旋转矩阵，t为平移向量。旋转矩阵和平移向量构成的变换矩阵也就是上文提到的相机的外参数，相机的外参数只与相机的外部参数有关，且随刚体的位置移动而发生变化。图1.15说明了从相机坐标系到图像成像坐标系的透视投影变换关系，即将三维的图像信息转换成二维的图像信息，图中的点p是相机坐标系中的点P在图像坐标系的投影点。由相似三角形的几何关系可知： ， (1.9)将公式1.9化为齐次坐标形式为： (1.10)图1.16相机成像坐标系变换原理图Fig.1.16Principlediagramofcameraimagingcoordinatetransformation此时投影点的单位仍然是毫米，并不是像素，需要进一步变换到像素坐标系，图像是由一个个像素点构成，图像像素坐标系的横纵坐标正是以像素点为单位，用来描述图像中每一个像素点在图像中的位置。如图1.16所示，图像成像坐标系是以毫米为单位的直角坐标系，图像成像坐标系的原点在图像像素坐标系的坐标为,用来表示相邻像素点中心在横轴和纵轴的实际物理距离，则图像像素坐标系的转换关系为： (1.11)(2)考虑镜头畸变相机需要标定的另一个原因是镜头存在畸变，畸变属于成像的几何失真，它是由于焦平面上不同区域对影像的放大率不同而形成的画面扭曲变形的现象。镜头畸变主要有两种形式[37]：径向畸变和切向畸变。径向畸变由透镜形状所引起，会造成远离透镜中心的光线弯曲；切向畸变则是由透镜与图像画面不平行导致。镜头的畸变可以由式（1.12）所描述[38]： (1.12)其中表示径向畸变，表示切向畸变。利用畸变参数矫正图像的方法如下： (1.13) (1.14)其中。3.基于张正友标定法的相机标定目前张正友标定法[39]已经成为计算机视觉系统标定的常用方法，该方法至少需要拍摄三张不同位姿的棋盘格平面模板图像15-20张图像会得到较好的标定精度），利用旋转矩阵的正交性条件和Levenberg-Marquadt非线性优化进行相机的内外参数的求取，拍摄标定板的过程中标定板可以自由移动且无需知道运动参数。这种方法成本较低，简洁方便且易于编程，因此本文选用此方法进行相机标定。图1.17不同位姿的标定板Fig.1.17calibrationboardwithdifferentpositions图1.18标定图像的重投影误差Figure1.18reprojectionerrorofcalibrationimage本文在相机固定的情况下拍摄了20张不同位姿的标定板图像，由图1.18可以看出本次标定精度平均误差为0.12个像素，最大误差为0.19个像素，满足实验所需要求，如需更高标定精度，可以通过更换高精度标定板来实现。通过标定，可以得到相机的内外参数用于后续的点光源位置标定的相关计算。1.3.3.5光平面标定对相机标定在得到相机内、外参数后，要想得到物体表面的三维坐标就需要对激光的光平面进行标定[40]，因为激光打在物体平面上的激光线既在光平面上又在相机的图像平面上，所以可以建立光平面和图像平面之间的联系。因此可以得光条上的特征点在图像平面坐标系上的坐标值。具体过程是通过靶标平面上的激光条的标定来获取光条中心点的三维坐标，再调动不同的位置来拟合激光平面。具体标定方法如下：（1）光条直线拟合图1.19光条中心点提取Figure1.19Centerpointextractionoflightstripe如图1.19所示，将激光打在靶标平面上的光条进行直线拟合，把拟合直线的中心点求出这样就得到了光条提取其中心点。(2)靶标平面参数标定图1.20激光线成像模型Figure1.20Laserlineimagingmodel如图1.20所示，激光平面与靶标平面交线为,平面同时也是投影平面和靶标平面的交线，这样以通过求解靶标在摄像机坐标系下的平面方程间接求出光条上的中心点在摄像机坐标系下的空间三维坐标。计算出靶标平面重心在摄像机坐标系下的坐标可表示为： (1.15)摄像机坐标系中，靶标平面法向量为： (1.16)联立（1.15）,（1.16）得靶标平面法方程为： (1.17)将式（1.17）整理为一般平面方程的形式，形如： (1.18)这样就获得了平面方程的一般形式，从公式中可以看出要求出光平面方程就要确定A,B,C,D系数，而且能够获得更多的光条中心的三维坐标，提高光平面的标定精度。下面主要的内容就是求出A,B,C,D参数(3)光平面方程获取图1.21拟合光平面Figure1.21Fittinglightplane如图1.21所示，保持激光器和相机的位置不变，通过改变靶标平面的高度和位置，得到不同高度下的光条，采集不同高度下激光条上的特征点，并将所有点拟合成光平面即可得到光平面在图像平面坐标系下的光平面方程，其表达式如下： (1.20)为得到的所有光条中心点，求解上述线性方程即可获得在摄像机坐标系下的光平面参数。1.5电气电路设计1.6检测系统总体硬件结构通过上文介绍云台、图像采集系统设计以及控制电气电路的设计，完成了如图1.22检测系统的硬件结构设计，目前已经应用于首钢迁钢公司的生产线流程中，得到了较为满意的结果，下文通过实物展示对钢卷端面缺陷检测系统的硬件结构进行阐述，并针对系统中的关键部件：相机和镜头等设备进行选型；具体结构实物如图所示，检测系统的硬件结构由云台，图像采集机构，运动控制机构，机械保护机构，计算机等组成，钢卷在步进梁上进行传输，到达指定位置后，触发信号云台运动，线结构光传感器对钢卷端面进行扫描。计算机钢卷电气控制柜图像采集装置云台计算机钢卷电气控制柜图像采集装置云台图1.22系统硬件结构Figure1.22systemhardwarestructure1.6.1图像采集装置硬件结构在检测系统中，线结构光传感器的设计尤为重要，直接影响着获取