【大尺寸零件的图像拼接技术分析5900字】

大尺寸零件的图像拼接技术分析目录TOC\o"1-3"\h\u20466大尺寸零件的图像拼接技术分析 189331.1图像拼接技术 1227151.1.1需求分析 1274191.1.2图像拼接技术 262761.1.3图像拼接流程 387331.2基于SURF特征匹配的图像配准 4208681.2.1特征点匹配 465691.2.2特征点的误匹配剔除 8198031.2.3特征点的匹配提纯 982731.2.4改变重叠率的配准结果分析 12261101.3图像融合 13325651.3.1图像融合原理 13171591.3.2图像融合实验结果与分析 1478371.3.3多图像的配准融合结果分析 15当零件尺寸较大时，需要对整个零件进行多次拍照，才能满足完整成像的要求。由于相机成像范围无法拍摄完整图像，因此本章将研究图像拼接方法实现缺陷的整体信息显示。1.1图像拼接技术1.1.1需求分析由于零件尺寸较大，无法一次对其进行成像，当缺陷分布在不同图像中，需要通过拼接去完整显示该缺陷的整体信息。如图4-1所示，当工件表面存在一个缺陷，进行图像采集时，在成像图中该缺陷只有一部分显示在图中，由于在拍摄过程中相邻两张图之间存在重叠部分，因此该缺陷在图2中被完整显示。缺陷信息被分散在两张图像中，因此，如何将缺陷信息在一张图中完整呈现出来，是本文的研究对象。本章将采用图像拼接的方法来实现该功能需求。图4-1需求示意图在进行图像拼接前，首先需要确定采集图像的路径，确定图像之间的重叠率以及采集顺序。以机油泵为例，本文采集机油泵图像时，由于机油泵尺寸较大，为255mm×167mm，而本文相机成像范围为145mm×108mm。为保证图像之间存在一定的重合度以及避免边缘处在采集时被遗漏，倘若采用2×2的图像采集方式，相邻两张图像之间的重合度只占整幅图像的15%（后续将通过实验来验证不同重叠率下的图像配准）。通过大量实验，本文将按照3×3的运动路径对机油泵零件进行采集，图像之间的重合度将能够达到50%。采集路径如图4-18所示。图4-18图像采集路径示意图1.1.2图像拼接技术图像拼接的问题一般是通过对齐一系列空间重叠的图像，构造一个无缝的、高清晰的图像。图4-1给出了图像拼接的原理图，图像拼接前是两张相邻的图像，在对工件采集图像时所在第一张的右边与第二张的左边存在重叠，经过图像拼接处理后，对重叠区域进行融合，最后得到一张完整图像。(a)拼接前(b)拼接后图4-1图像拼接原理图其中图像配准是整个拼接过程的重要环节，它的效果好坏直接影响最终拼接图像的效果图像配准技术主要有三大类：基于灰度相关的配准算法，基于频域信息的配准算法和基于特征的配准算法[48-50]。(1)基于灰度相关的配准算法[48]该方法主要是将两幅图像划分为一系列的子窗口，然后计算窗口像素的均值和协方差，利用它们的比值对子窗口进行匹配，根据匹配结果进行配准。此方法思路简单，易于实现，但配准精度往往不高。模板匹配方法是一种最常用的基于灰度相关的配准算法。(2)基于图像变换域的配准算法[49]该方法主要思想是通过傅里叶变换来实现，通过把图像的空间域信息变换到频域上，使用图像的功率谱来计算二者的几何变换关系来进行配准。(3)基于图像特征点的配准算法[50]该方法首先需要提取图像中的特征点，利用特征点计算图像间的变换关系矩阵，在图像间建立联系，达到配准效果。其主要包括特征点的提取、匹配、变换模型参数估计、图像映射等步骤[51]。经过实验可知，采用基于灰度信息的配准方法在拼接针对本章的机油泵图像时，在完整拼接图中部分区域有明显的位移情况发生，效果较差，因此该方法不适用于本章研究。而基于特征的配准算法因处理速度快，精度高，且对图像的光照变化、噪声污染和变形都有很好的鲁棒性，因而得到了研究者的青睐，是现阶段使用最为广泛的配准方法。因此后续将采用该方法进一步做研究。1.1.3图像拼接流程拼接技术是指将同一传感器在不同时间不同位置或者不同传感器拍摄的具有一定重叠区域的图像拼接成一幅高分辨率图像的技术。针对不同的应用场景，图像拼接算法，但每种算法的流程大致相同。图像的整体拼接流程如图4-2所示：图4-2图像拼接流程图图像拼接的步骤主要为：输入经过预处理的待拼接数字图像序列，计算待配准图像间的变换关系矩阵，在拼接图像之间建立联系，根据所获得的变换矩阵把待拼接图像的坐标统一转换到参考图像的坐标系中，实现重叠部分的对齐，从而达到配准效果，并通过图像融合算法消除拼接的接缝。1.2基于SURF特征匹配的图像配准1.2.1特征点匹配常见的特征点提取算法包括SIFT、SURF和Harris角点。本文研究的发动机零件图像中可检测的Harris角点过少，无法完成匹配，因此不适用于本文研究。SIFT算法对于特征提取有很好的效果，但计算量通常较大，因此效率低[51]。Bay等人[52]在SIFT算法的基础上，提出了SURF特征提取的优化算法。SURF运行速度是SIFT算法3倍左右，同时SURF具有良好的鲁棒性和尺度不变性，综合性能优于SIFT算法。因此，本文采用SURF特征点提取算法进行拼接工作，SURF特征点提取主要包括以下几个部分。(1)多尺度空间极值点检测SURF利用单应性Hessian矩阵来检测图像的极值点。在SURF中引入了积分图概念。积分图中任意一点P，其定义为：(4-2)式4-2中，为图像上的像素点。利用积分图，可快速计算图像中任意矩形区域的像素值之和。如图4-4所示，矩形ABCD的像素值之和SUM为：(4-3)图4-4积分图像示意图利用积分图可以把图像与高斯二阶微分模板的卷积操作转化为对积分图的加减操作。对于在尺度空间图像中每一个像素点，尺度为处的Hessian矩阵为：(4-4)其中，、、是高斯二阶微分算子与图像的卷积。为了提高特征检测的速度，SURF算法对高斯二阶微分算子简化为了盒子滤波器。如图4-5所示。图4-5盒子滤波示意图利用盒子滤波器能够提高计算速度。其中Hessian矩阵的行列式：(4-5)其中，、、为盒子滤波器与图像卷积的结果。(4-6)式(4-6)中，为F范数。W用来弥补误差，一般为0.9。当时，视该点为极值点，t为阈值。之后遍历金字塔中每一幅图像，即查找出所有极值点。(2)特征点精确定位针对特征点的精确定位采用3D非极大值抑制算法，即判断立方体中心点的Hessian矩阵的响应值是否比其周围26个点的响应值大，粗略的得到尺度空间极值点后并通过三维二次曲线拟合，从而实现进行特征点的精确定位。(3)特征点方向赋值在特征点主方向的计算上，SURF使用Harr小波特征进行计算。以特征点为中心，张角为60度、步长为0.2弧度的扇形窗口进行旋转统计Haar小波的水平方向dx和垂直方向dy响应值，如图4-6所示。之后对dx和dy进行累加，得到。其中：(4-7)(4-8)为最大值时所对应的方向，即为该特征点的方向。图4-6扇形串口特征点方向(4)特征描述子构造求解出对应方向后，将该特征点的邻域像素点旋转到该方向，然后选择20σ×20σ的区域，并划分为4×4个子区域，对每个子区域用尺寸为2σ的Haar小波进行卷积操作。然后以特征点为中心，对和进行高斯加权，之后分别统计、、、。每个子区域可以用这四个统计量表示，所以，可以用64维的向量来描述特征点邻域的16个子区域，即SURF特征描述子是64σ维的向量。通过SURF算法对两张图像进行特征点检测的结果如图4-7所示：(a)图像1(b)图像2图4-7SURF特征点提取根据图4-7可知，图像1共检测到特征点个数为7164，图像2共检测到特征点个数为8855。为了利用检测特征点进行匹配，需要先度量图像中特征点的相似度。通常采用计算欧式距离的方法来进行度量。假设p，q分别是图像1，2上的SURF特征点，其特征描述子为，，则它们之间的欧式距离d为：(4-9)式(4-9)中，H表示特征描述符的维数。计算出所有特征点后进行匹配，如图4-8所示。当对提取的特征点匹配后，需要利用这些匹配点进行空间变换矩阵估计。然而在所得的匹配对中，必然存在许多误匹配点对，因次需要提前对所得的误匹配点对进行初步剔除。图4-8直接匹配根据前文采用SURF算法检测到两张图像中的所有特征点后，对这些特征点进行特征点的直接匹配，共匹配点对7164个，匹配效果如图4-8所示。1.2.2特征点的误匹配剔除由于直接匹配后存在大量的误匹配，因此需要对误匹配进行筛选和剔除。为了在图像上找到与特征点p最为匹配的特征点q，利用最近邻与次近邻的比值r：(4-10)d1为特征点p与图像1上所有特征点的最小欧式距离，对应图像1中的特征点q1，d2为次小欧式距离，对应的特征点为q2。若比值r小于阈值t，即认为特征点p与特征点q1是一对正确的匹配。其中阈值t的取值大小影响着是否能够正确匹配。经过实验分析，能够得到如下图4-9的结论：图4-9最近邻和次近邻概率分布图在上图4-9中，红线曲线代表了对应某个比值r的错误匹配的概率值，蓝色曲线代表了对应某个比值r的正确匹配概率值。在上述图像中可以发现，随着比值r的变化，概率会相应的发生变化。若是比值r<0.75，则匹配正确的概率较高，反之，若比值r>0.75，则匹配错误的概率很高，无法完成匹配。因此阈值选择的过高或者过低都会影响匹配的正确率，一般来讲，阈值的取值在0.4~0.6之间时，匹配的正确率较高，本文选取0.5作为阈值t进行计算。然而上述的这种匹配策略耗时较高，快速最近邻匹配(FLANN)算法可以实现特征点匹配的高效。FLANN是基于K-D树的匹配算法。构建K-D树的思想是通过重复利用与坐标轴相互垂直的超平面将数空间划分为两部分。需要经过三个步骤：(1)确定划分域。计算数据空间中每一维度的方差，挑选出方差最大对应的维度，以此维度作为划分域。(2)空间划分。依据划分域将数据从小到大排序，取中间节点，将数据空间按照划分域划分为两个子空间。(3)递归执行，直到子空间中没有数据元素。当子空间中只包含一个元素时，可以按照数据元素的第一个维度进行划分。利用FLANN在对K-D树进行分析后计算出数据索引结构，并从特征点集中找出与查询点欧式距离最小的特征点，最后再根据最近邻与次近邻的比值，确定是否为匹配点对。采用FLANN方法对直接匹配后的结果进行误匹配剔除后，效果如图所示：图4-10FLANN误匹配点对剔除从图4-10中可以看出，相较于直接匹配得到的图像4-8，在经过FLANN的剔除后，图像最终保留的匹配点对共61对，其中7163对误匹配点对被剔除，实验效果明显。1.2.3特征点的匹配提纯根据上述实验得出的效果可以看出，使用特征描述子之间的欧氏距离作为特征点对的约束匹配，存在许多的误匹配，因此通过FLANN算法进行误匹配的剔除，倘若通过提高阈值约束条件，能够更多的剔除误匹配点，但同时正确匹配的特征点也会随之减少。所以为了更好地提高特征点匹配精度，采用随机抽样一致算法RANSAC对特征点匹配提纯。拼接时通常采用具有8个自由度的透视变换模型来描述两幅待拼接图像间的空间变换关系，如图4-11所示，求解过程中计算得到的矩阵H称为单应性矩阵。在特征匹配的过程中，所有的特征点构成了单应性矩阵H，它们之间的关系如下：(4-11)(4-12)其中，H为两个图像之间的单应性矩阵，共有8个不确定因子。图4-11图像之间变换模型设是由特征点构成的集合，符合单应性矩阵H的点满足的关系如下：(4-13)其中，通过设定阈值t，可以确定其运算范围。利用RANSAC算法优化特征点匹配主要包含3个步骤：(1)从匹配结果中随机选择4对特征点，计算单应矩阵H；(2)将第一幅图像中的特征点根据单应矩阵求取重投影坐标，比较重投影坐标与匹配特征点坐标之间的距离，如果小于设定的阈值t，则认为是正确匹配点对，否则视为错误匹配，记录正确匹配点对的数量num；(3)重复步骤(1)、(2)，比较N次迭代后统计的正确匹配点对的数量，将正确匹配点对数量最多的情况作为最终结果H，输出正确匹配对，实现特征点匹配的提纯。对于RANSAC算法的具体流程，可以拿直线拟合举例。图4-12为RANSAC算法拟合直线示意图。进行直线拟合时，首先从样本点中选择两个点计算直线表达式，然后把距离直线某一范围内的点当成内点；重复上述步骤，直到内点的数目满足要求或者迭代次数用完为止。图4-12RANSAC拟合直线采用RANSAC方法对剩余匹配点对进行提纯后，剩余匹配点对58对，如图4-13所示。对比图4-10对误匹配点对进行剔除的结果能够看出，经过提纯后剔除了部分的误匹配线，提纯效果较好。图4-13RANSAC提纯效果在利用RANSAC算法优化SURF特征点匹配，并进行提纯的过程中，将迭代3000次后得到的单应矩阵H作为最终的变换矩阵进行图像的配准，效果如图4-14所示：图4-14配准效果图1.2.4改变重叠率的配准结果分析上述实验条件中使用拼接图像是基于已经规划好的采集路径采集得到的图像，采用3×3的图像采集方式，相邻两张图之间的重叠率达到50%。因此，通过控制变量法，保持镜头位置不变，在采集图像时改变图像之间的重合率，进行配准实验分析，实验结果如表4-1所示：表4-1特征点匹配结果重叠率图1特征点数图2特征点数匹配点对FLANN剔除RANSCA提纯50%716488557164615840%703097267030504630%653288896532373320%679986396799211910%5922784459221716从表4-1可以看出，当改变图像间的重叠率后，随着重叠率的不断减少，经过RANSCA提纯后的匹配点对不断减少。在重叠率达到50%时，最终匹配点对达到58对，能够满足拼接的需求，随着重叠率的不断降低，拼接效果也越来越差。当重合率低于30%时，采用OpenCV编程进行拼接时，因匹配点对过少而无法对两张图像完成拼接。因此，根据上述实验可以看出，应尽可能避免图像与图像之间重合率过低，从而确保拼接的稳定性与准确率。1.3图像融合1.3.1图像融合原理在进行图像配准后可以看出，两张图像的拼接并不自然，原因在于拼接图的交界处，两张图像因为光照色泽的原因使得图像交界处的过渡很差，有明显的缝合线，所以需要特定的处理解决这种不自然的情况。本文采用位置加权融合算法来消除缝合线，该算法也称为渐入渐出融合算法，对两幅图像过渡区域的像素值进行加权平均确定每一幅图像贡献的像素比例。公式如下：(4-14)其中、是重叠区域的加权系数，。权值（从1到0）与图像的距离成比例。选择适当的权值能够实现最后重叠区域的平滑过渡。具体的权值如公式4-15：