《基于特征方法和opencv的图像拼接系统设计》7600字（论文）

PAGEPAGE6基于特征方法和opencv的图像拼接系统设计摘要图像拼接的工作内容是将多个重复区域的图像拼接成一张过渡自然的图像。这样得到的图像具有更宽视野和更高的图像分辨率。对这些优势的需求在市场上并没有趋于饱和，反而随着研究的深入具有更大的研究价值。从早期遥感图像的简单拼接，到机器视觉的持续应用；从平面扫描的图像，到3D重建。目前，关于图像拼接的方法可分为基于灰度信息、基于特征和基于频域的方法。本文以基于特征的方法，用opencv进行图像拼接系统的设计。其中配准方法选择了SURF和ORB，并采用k-dtree和RANSAC方法得到变换矩阵，采用加权平均对图像进行了最后的融合。该系统采用多图拼接的形式，实验结果显示，两个算法对亮度差异以及旋转变幻的反应都较为良好。关键词：图像拼接SURFORBRANSAC加权平均融合法目录TOC\o"1-3"\f\h\u140511绪言 1296411.1研究背景与意义 1189141.2本文研究内容 133691.3论文结构 1283682图像拼接技术的相关理论背景 248232.1图像拼接的基本步骤 2106222.2投影模型 210892.2.1平面模型 2253422.2.2球体模型 2225702.2.3立方体模型 2269282.2.4柱面模型 3139332.3配准算法分类 461432.4变换模型 4309403配准算法的研究 6139333.1SURF 461433.2ORB 4139333.2.1FAST算法 461433.2.2BRIEF算法 4139333.3FLANN图像匹配算法 461433.4RANSAC匹配点提纯算法 4309404图像的拼接与融合 6139334.1融合算法 461434.2拼接系统设计 461434.2.1界面设计 461434.2.2拼接流程 4524891总结与展望 1324891参考文献 13PAGEPAGE61绪言1.1研究背景与意义一般拍照时，往往需要调整焦距来选取远近距离。这是因为使用的相机分辨率是固定的，当拍摄场景越宏大，图像的分辨率就越低。但在一定距离下，缩放镜头就会受到限制，广角镜头视角大、视野广，一度被认为是一个不错的选择，但除价格昂贵外，还有畸变失真等现象的缺陷。分辨率与视野场景的要求越来越高，如何拍摄一张宽视野的图像转变为了如何得到这样一张图像的问题，而在图像处理这一领域中，图像拼接技术满足了高分辨率与宽视野的问题。图像拼接就是将有重叠区域的图像衔接在一起，本文将会采用固定照相机转轴并绕转轴旋转拍摄的方式获取图像。在军事领域夜成像技术上，由于设备自身局限而无法得到更宽视野的图像，典型的例如夜视微光和红外成像设备，图像拼接利用软件的办法将多个图像拼接成一个大视角的全景图，在红外预警上十分具有价值；在视觉机器人上，采用图像拼接完成了从单目视觉到双目视觉的视野拓宽，为机器人的视觉导航提供了方便。图像拼接实现全景图像同样可以应用于医学和勘测中，在大型影像合成和地下水形测绘上也具有重要的实用价值。综上，拼接技术的研究具有很好的应用市场和极大的应用价值。1.2本文研究内容本文基于目前对图像拼接的研究，概述了相关的理论以及常用的算法。对设计的图像拼接系统所涉及到的两种著名算法进行了主要介绍，对系统的图像拼接做出了流程介绍。本文以两种算法ORB和SURF作为系统的核心算法，基于opencv复现该算法进行图像拼接，并对图像拼接做出总结与展望。1.3论文结构第一章，从图像拼接的原因以及应用的角度出发，揭示图像拼接的必要性。第二章，对图像拼接的主要工作步骤进行阐述，并对目前现有的理论进行概述。第三章，对系统采用的两种核心配准算法的原理作出说明。第四章，对拼接流程做出介绍，对所选择的融合方法进行了远离说明。并对系统的界面与功能做出了展示。2图像拼接技术的相关理论背景2.1图像拼接的基本步骤图像预处理，图像配准和图像融合是图像拼接的标准步骤。其中，配准与融合是最为关键的两个步骤。大致流程是先对数据集（图像序列）进行投影变换来统一坐标，然后进行配准，最后拼接融合。根据需要，有选择的进行预处理。图像预处理的任务主要是抑制噪声点，以降低信息干扰程度，降低了图像配准时误匹配的概率。图像配准的工作是，对匹配信息进行算法筛选，并找出最佳匹配完成图像的对齐。可想而知，配准的精确性与准确性与图像的拼接效果密切联系，因此，好的配准算法对图像拼接起到至关重要的作用。在图像配准后，图像拼接往往会因为两边亮度差异大存在拼接缝隙，即过度不自然的现象。所以在图像配准后还需要图像融合，将图像边界并进行平滑处理。2.2投影模型提取特征点后直接进行拼接会导致在视觉上的不一致，原因是实物投影在了不同坐标系下，因此对事物投影到同一坐标非常重要。当得到变换关系后即可进行投影变换，拼接融合成全景图。常得到应用的模型有平面模型、球面模型、柱面模型和立方体模型。各个投影模型由于自身的独特结构选用的投影到的面不同，也各有优缺点。2.2.1平面模型拼接技术早期在遥感图像方面进行试用，在这一方面，平面投影模型表现良好，因为在平面模型中相机焦距不变且平行于目标场景，则可看作图像同处一个平面。其实不然，只是因为在该类应用场景是相机高度远高于地面，从而满足了前提条件。目前，这一模型的应用非常普遍。除航空遥感图像外，还适用于文字识别、扫描图像的合成等。2.2.2球体模型球体模型十分特殊，他对任意方向视线的处理一致。球体投影模型与人眼模型在形状上的相似可以分析出其具有的相同特征。相机视点能以方向观察所有场景，这是该模型最大的优势。球体模型的结构显示，该模型含有多个邻接图像，像素点不以行列均匀排列且对景物的空间关系有着严格要求。因此，球体模型的工作任务就是将原始图像在水平和垂直方向进行非线性变换。这样做的直接效果就是，能将平面图像投影到相应的球面。但该模型下像素点无法定位且图像无法展开，所以存储是球体模型的一大弊端。2.2.3立方体模型立方体模型具备了球体模型任意方向可观察整体图像的优点。此外，在图像采集时精确地间隔取景，避免了光学上的变形，还更方便了计算机存储。但是这样十分复杂，且个别位置不能准确地描述像素点的对应关系。2.2.4柱面模型目前，在图像拼接算法中比较常用的是柱面投影模型。从圆柱结构可以看出，观察视角收到了垂直方向的局限，但一般天空地面这类垂直方向信息较为有限，只需要插入个别点进行补充。因此，柱面模型既方便计算机存储，也易于采集，同时，该模型可以水平方向环视，所以能被广泛应用。在此，可以通过图2-1对映射后的坐标进行计算。设观察点为O，z轴为输入图像对应的观察方向，要想做到水平环视则需要相机在ZOX平面上运动，原始图像设为I，投影柱面为K,投影后的柱面图像为J，如图2-1(a)。图2-1圆柱体模型下的投影目的是求出投影前后的映射关系。设图像的宽为W，高为H，水平视角为θ，拍摄时焦距为f，则投影后图像的高度H'和宽度W'为:(2-1)其中，(2-2)设P'(x,y)为P(x,y)映射出的点。过点P作直线PS平行于ZOX平面，如图2-1(b)。在平面PSO内，可以求出：(2-3)其中α是PO与平面YOZ的夹角,可计算得到:(2-4)综合式(2-3)和式(2-4),可以得到水平坐标的映射公式:(2-5)过点P作直线垂直于平面ZOX，交点为T，如图2-1(c)。设直线PO与面ZOX的夹角为β，同理可求出垂直坐标的映射公式：(2-6)根据式(2-5)和(2-6)，就可以完成图像的柱面投影。2.3配准算法分类图像配准的目标是通过变换一张图从而使得两幅图像相似度达到最大，在此过程上，配准的精度直接反映了图像拼接的质量，图像配准是拼接中的核心环节。图像配准的方法基本可以划分为三类，即基于灰度信息的、基于特征的和基于频域的方法。在两幅图或多幅图中，通常有参考图和搜索图之分。在基于灰度信息的方法中，在参考图中选取一模板，在搜索图中移动比较，寻找最佳配准位置。在基于特征的方法中，达到最好的配准效果的关键在于相似度最高的特征点。基于变换域的配准算法，其核心是变换函数。这类算法的代表有相关相位法，相关相位法选择变换函数为傅里叶变换函数。效果是将图像从空间域变换至频域。这类算法的变换能力该方法对于平移、旋转和尺度的变换能力较为优秀。基于特征的配准从过程上看有特征抽取和特征配准两个工作。一是获取特征集，来源是灰度变化明显的点、线以及区域。从特征集的划分上，又可将方法分为基于特征点、基于特征区域和基于特征边缘的配准方法。二是分别从特征集中筛选出具有变换关系的两个特征。出于环境适应性以及配准质量的考虑，为系统采用了基于特征的配准方法。2.4变换模型在图像配准前，需要根据变换模型确定变换矩阵的类型。本系统中确定的是基于柱面投影变换模型。投影变换的特点是，直线经过映射仍保留直线属性，但基本不保持平行关系。投影变换后的点(x',y')可以用变换前的点(x,y)表示为：=(2-7)公式(2-7)代表的投影变换可以看为平移、旋转、缩放、剪切等变换的组合。3配准算法的研究图像配准算法是图像拼接的重中之重，接下来将对本文中采用的两个配准算法SURF和ORB的简要原理及步骤进行概述。3.1SURF(SpeededUpRobustFeatures,加速稳健特征)2006年的ECCV会议上，SURF首次现世。发展至今，SURF在计算机视觉领域已经是较为常见的算法。SURF算法的前身，是SIFT（尺度不变特征转换）。Sift具有很强的匹配能力，SURF同样继承了这些特性，不会因为平移、旋转或仿射变换影响到它稳定的匹配能力。改进后，SURF凭借积分图大大提高了运算速率。因此，即使SURF对比SIFT算法有大致相同的算法步骤，但SURF更加高效。SURF特征检测与SIFT的检测步骤工作一致，如图3-1：图3-1SURF特征检测SURF算法使用不同大小的添加了权重的盒子滤波，其中快速积分特性的应用促使SURF在形成多尺度的空间函数上速度更快，然后得到候选极值点保证局部极值稳定。SURF在特征点主方向与描述符的生成上采用了Harr小波，这是根据Haar小波可以查找水平与垂直方向上的滤波的作用进行的安排。为构造主方向需要做以下工作。一是，在圆域内分别对每一特征点x、y方向的Haar小波响应向量进行计算，前提要求该圆以特征点为圆心，六个尺度值大小作为半径。二是，降低远离圆心的特征点的影响，根据距离圆心远近作为特征点高斯权重大小的依据。三是，以60°圆心角绕点心旋转遍历，在得到的六个矢量中以小波响应量的累计值大小为判断条件，将主方向判定为矢量和最大的方向。以上得到的特征点具有尺度、旋转和噪声的不变性。3.2ORB（OrientedFASTRotatedBEIRF）ORB算法是对FAST特征检测和BRIEF描述子的优化，实现了在速度上优越于SIFT和SURF算法。因此，虽然ORB综合评价不高，但在实时特征检测上十分突出。ORB特征检测算法的不变性不只体现在尺度和旋转上，还有噪声和透视变化。以下对ORB的两个内容，即FAST特征检测和BRIEF特征描述做出简介。3.2.1FAST算法ORB特征点提取通过FAST算法实现。对FAST角点，若一像素点与领域内足够多的像素点灰度值差异大，则可能为角点。FAST算法原理叙述如下。以一像素点p为圆心，半径赋为3，依据Bresenham画圆算法原理作离散化的圆，且该点灰度值q，圆上有16个像素。对于上述条件，选取合适的阈值x用以判断特征点。判断规则如下，若这样的圆上有n个连续像素点的灰度值在q-x到q+x范围外，该点即可判断为特征点(n的值可取12或9)。FAST算法具体执行过程：先判断位置1和9灰度值是否在q-x与q+x范围外，若否则不可能是特征点；继续对1，9，5，13位置的灰度值进行范围判断。是否有三个位置的灰度值不在q-x与q+x范围外，若否则不可能是特征点；继续判断n个位置，是否其灰度值范围不在q-x到q+x间。通过（1）和（2）可以加快FAST特征点检测的速度。最后一步，构建图像金字塔。分别对每层进行FAST特征点检测，进而就得到特征点的尺度信息。在对特征点及其尺度范围内，求质心的位置。由特征点指向质心的方向即为特征点主方向。3.2.2BRIEF算法BRIEF算法用二进制串描述局部特征。BEIRF在特征点周围选择一个窗口，在窗口内通过选定方法挑选出n个点对，RotatedBRIEF算法则是用统计学习的方法选择位置对。对每个点对，比较两个像素值，位置对为输出0或1。因为单个像素点噪声敏感，所以此前需要先进行平滑处理。BRIEF通过汉明距离对位数一致的两二进制串进行异或运算计算特征，计算速度快，在计算机储存上十分有优势。点对数n即维数，OpenCV默认是256。3.3FLANN图像匹配算法FLANN（FastLibraryforApproximateNearestNeighbors），简称快速最近邻搜索。FLANN这一最近邻搜索的算法的集合在优化过后，更适合大数据集及高维特征的对象。在面对大数据集上它的效果要好于opencv提供的另一个著名的匹配算法，暴力匹配算法。本文采用的是基于k-dtree的knn（KNearestNeighbors）算法，k取值2。knn的原理就是依据预测点最近的几个点的类别来判定该点所属。由knn可推至2nn，2nn算法通过最近距离与次近距离的比值，来判断匹配点，公式4-1如下：i∈N,δ∈(0,1)(4-1) 因此，假若有两个点同时满足最近特征点，则将会被都舍弃，因此相较于暴力匹配，匹配点会减少，错误匹配就会更少。 3.4RANSAC匹配点提纯算法RANSAC，称为随机抽样一致性算法。RANSAC认为数据集中存在局内点，以迭代的方式达到对模型参数的准确估计的作用。对于RANSAC筛选提纯匹配点的过程可以简要描述成：随机选取数据集中的刚好组成最小子集的数据点，作为局内点构成模型；对模型设置一个误差阈值，将数据集中误差在阈值内的样本点判定为局内点；再依据新的内点集进行评估；对上述步骤迭代至内点数最大且不变。当然，除过RANSAC消除误匹配外，还有一些优化。紧接着RANSAC，光束平差法可继续进行误差弥补。公式表达为n个特征点在两幅图上投影误差的最小化实现，是最小二乘法的原理。达到了精确参数、对旋转矩阵重构的目标。此外，针对光束平差法带来的波形效应，还可以通过全局的矩阵继续波形校正。即使光束平差法对相机参数进行了优化，但图像的曝光差异同样会在边缘体现出来，影响了拼接效果。因此，系统采用曝光的增益补偿方式，为两幅图像分别增益，以求重叠域达到同一曝光。4图像得拼接与融合4.1融合算法经过匹配、提纯匹配点和投影变换，图像拼接基本完成，但仍存留一些问题，例如由于两幅图像灰度差异等原因产生的明显接缝，这就需要图像融合算法。融合是基于对图像拼缝周围像素的处理，将距离拼缝远的这选择一侧的图案，从而消除错位等，达到好的效果。要想解决拼缝这一问题，首先得先计算出拼缝的位置。常用的查找方法有逐点法、动态规划法以及图割法。逐点法原理是基于距离的，将距离图像最近的像素点使用对应图像的像素值。逐点法在其中复杂性最低，效果最差。图割法往往能达到最好的效果，但计算复杂度较高，耗时长。动态规划法则是两个算法的折衷方法。本文中设计的系统中通过调整代码内的信号值来选择方法，默认是逐点法。本文还从基于平滑过渡和基于最佳接缝中选择了基于最佳接缝的的加权平均法。加权平均融合的原理非常简单，就是给原图像取相同权值然后加权平均得到像素值。4.2拼接系统设计前面介绍了图像拼接的相关理论知识与本文系统将使用的算法，下面将展示利用上述的理论及算法设计出的系统。4.2.1界面设计系统界面如下：图4-1二维图像拼接系统界面如图4-1，采用Windows10、visualstudio、opencv的环境为系统设计了基于C++的两种拼接方法SURF和ORB，投影模型和寻找拼缝未给出选择，分别默认为柱面模型以及简单的逐点法，但可以在代码中通过修改各自信号值来调用其他方法与模型。图4-2加载图片图4-3加载完毕系统界面十分简洁，操作流程比较清晰。首先选择算法，然后加载需要拼接的图片，选定图片后会出现拼接数量的信息如图4-3所示，确定完毕后即可点击“开始拼接”，结果显示如图4-4，最后点击“保存结果”就可以了。点击“开始拼接前”，如果未加载图片会弹出提示“请先加载图片！”；如果点击“开始拼接”却没有选择图片，则预期出现的图4-3情况将变为“没有选择需要处理的图像！”，这种情况下如果继续点击“开始拼接”，同样会出现“请先加载图片！”；加载单张图片不允许拼接，将会出现“请不要选择一张图片！”；加载一张图片以上却没有选择拼接算法，即ORB或SURF时，如果点“开始拼接”则会出现“请先选择图像特征提取方式！”。图4-4图像拼接结果显示4.2.2拼接流程二维图像拼接系统实现过程如下图所示：图4-5系统拼接流程如图系统对图像灰度化处理以达到降噪效果，接下来检测特征点采用SURF/ORB，随后knn取值k=2，配上RANSAC方法有效降低了匹配对，也是降低了误匹配。RANSAC方法进行迭代得到变换矩阵的解，柱面投影变换至同一坐标，最后选择逐点法寻找到拼缝并进行加权融合。5总结与展望本文对目前图像拼接从应用领域、相关步骤的理论和各类算法方面入手，进行了简要概述。文章交代了设计的二维图像拼接系统所采用的算法，FURF与ORB的配准算法，还有匹配、筛选匹配和融合的算法，对此进行了简要的原理介绍以及步骤说明，并说明了算法流程，旨在对现有技术的复现与学习。两个算法相比较可以发现，ORB算法计算速度更快，可以知道的是，FAST高效的特征点提取与BRIEF中汉明距离法支持了这一特点，且BRIEF中二进制串的形式在计算机存储十分占有优势。理想的情况是，具有速度快，占内存小，亮度不敏感，尺度一致以及旋转一致性的特点。但遗憾的是，ORB度变换的应对能力较低，那么综合评价上来讲就比不上SIFT/SURF。虽然ORB论文中未保证尺度一致性，但是OpenCV中可以提供图像金字塔的方法，利用水平和垂直方向的梯度信息构建描述子。还可以在特征区域划分大小子块，分别达到提供更多信息与去噪的效果，但还会出现新的问题，如大子块达到去噪效果同时却对变化不敏感。对于尺度一致性，ORB还可以参考SURF这类算法，利用黑塞矩阵检测特征点以求得尺度一致性的特性。除期望得到结合ORB的速度优势以及SURF尺度一致综合性能能卓越的算法，在投影模型上也有许多发展空间，或许还有更多的应用场景不仅限于水平环视、对垂直方向有更高要求。参考文献[1]马明,梅帆.全景摄像在虚拟现实系统中的应用[J].计算机系统应用,1999(04):30-31.[2]盛明伟,唐松奇,万磊,秦洪德.二维图像拼接技术研究综述[J].导航与控制,2019,18(01):27-34+96.[3]杨蕊,李雪.基于显著特性的红外全景图像拼接[J].激光杂志,2020,41(06):98-101.[4]刘国华,孙宝佳.基于机器人视觉的坩埚缺陷检测系统[J].机械设计,2019,36(02):40-45.[5]HuangYipo,ZhouYu,HuBo,etal.DIBR-synthesisedvideoqualityassessmentbymeasuringgeometricdistortionandspatiotemporalinconsistency.2020,56(24):1314-1317.[6]裴红星,刘金达,葛佳隆,张斌.图像拼接技术综述[J].郑州大学学报(理学版),2019,51(04):1-10+29.[7]李世进.数字图像的平滑处理[J].湖南科技学院学报,2008(12):23-24.[8]赵夫群.基于灰度信息的图像配准方法研究[J].计算机与数字工程,2019,47(10):2568-2572.[9]姚保琛,柏春松.基于特征的图像配准技术综述[J].现代计算机,2020(20):52-56.[10]王海鹏,么鸿原,林雪原,郭强.无人机遥感图像融合算法综述[J].海军航空工程学院学报,2018,33(05):423-428+458.[11]刘桂雄,张瑜,蔡柳依婷.机器视觉检测图像拼接融合技术研究进展[J].中国测试,2020,46(01):1-6.[12]MuhammadShahidBhatti,SyedAsadHussain,AbdulQayyum,etal.UsingSab-IomhaforanAlphaChann