毕业设计（论文）-油田输油管道巡检航拍图像处理算法研究.doc

本 科 毕 业 设 计（论文）题 目：油田输油管道巡检航拍图像处理算法研究学生姓名：学 号：专业班级：自动化11-4班指导教师：2015年 6月20日中国石油大学（华东）本科毕业设计(论文)油田输油管道巡检航拍图像处理算法研究摘 要针对输油管道人工巡检工作成本高的现状，本文将目前成熟的遥感图像处理算法应用于输油管道航拍图像处理，以达到管道巡检目的。当前以巡检为目的的算法研究有许多基础性工作值得探索，本文主要研究航拍图像变化检测算法。航拍图像变化检测算法包括图像预处理和变化检测算法，预处理主要是对两时相图像的配准，本文详细介绍了基于SIFT和SURF的图像配准算法的步骤；采用像素级变化检测算法：图像差值法，并与图像比值法和相关系数法作比较，针对差值法的自动确定阈值问题，阐述了两种非监督阈值确定算法：最大类间方差法和基于贝叶斯决策论的阈值确定算法。本文还就视频图像拼接问题介绍了两种图像拼接算法：基于相位相关和基于SIFT的拼接算法。关键词：航拍巡检；变化检测；图像配准；图像拼接全套设计加扣3012250582 Research on Algorithms for Processing Aerial Image of Oil Transportation Pipeline Inspection in OilfieldAbstractIn view of the present situation of the high cost of oil pipeline manned inspection, the mature remote sensing image processing algorithm is applied in pipeline aerial image processing in the paper, in order to achieve the purpose of pipeline inspection. The research on algorithms for the purpose of inspection have much fundamental work worthy of exploration, and this paper mainly do research on aerial image change detection algorithm. Aerial image change detection algorithms includes image preprocessing and change detection algorithm. Preprocessing is mainly on registering images in different time phases. This paper introduces the steps of the image registration algorithm based on SIFT and SURF in detail. Image subtraction method is studied in this paper, which is change detection algorithm at pixel level and compared with image ratio method and correlation coefficient method. To determine the threshold for image subtraction method automatically, this paper introduces two unsupervised threshold determination algorithms, which are maximum variance between two classes method and threshold determination algorithm based on Bayesian decision theory. Besides, this paper presents two algorithms for image mosaic, and they are based on phase correlation and SIFT. Keywords：Aerial Inspection；Change Detection；Image Registration；Image Mosaic目 录第1章 引言11.1 研究背景与意义11.2 本文的研究内容与结构2第2章 基于特征点的图像配准算法研究52.1 图像配准基础理论52.1.1 图像配准的定义52.1.2 图像配准的方法52.1.3 图像的变换模型62.2 特征点提取算法72.2.1 基于SIFT的特征提取算法82.2.2 基于SURF的特征提取算法102.3 特征点的匹配算法122.4 变换参数的求解122.5 变换的实施132.6 实验及结果分析132.7 本章小结15第3章 航拍视频图像拼接算法研究173.1 基于相位相关的拼接算法173.2 基于SIFT的拼接算法183.3 实验及结果分析193.4 本章小结21第4章 航拍图像变化检测算法研究234.1 像素级变化检测方法234.1.1 图像差值法234.1.2 图像比值法244.1.3 相关系数法244.2 基于最大类间方差的阈值确定方法244.3 基于贝叶斯决策论的阈值确定方法264.4 实验结果分析294.5 本章小结33第5章 结论35致 谢37参考文献39第1章 引言第1章 引言1.1 研究背景与意义在我国乃至整个世界的经济发展过程中石油占据着重要地位。从探寻到实际利用石油，主要有四个关键环节，即石油的探寻、开采、运输和加工利用。在油气集输环节中输油管道系统是必不可少的。目前，我国建设完成的油气管道的总长度已超过十万公里，其中部分管道已经运行了近20年，而且有一些管道已经出现了变薄和锈蚀现象1。由于地域广阔，油田遍布全国，输油管道很长，多数穿越湿地、山脉、荒漠等区域和人口众多地区。若在人口密集区架设管道，管道将面临违法盗油和建筑违法占压等问题，一旦管道中油气泄露很可能对人民财产和生命安全造成威胁2。相反在人烟稀少的地方安装管道，自然环境可能影响管道正常运行。为了确保输油管道安全运行，日常的输油管道巡检成为当前保障管道安全工作的重中之重。当前的管道的巡检工作多数采用人工的方式。但是该方法存在很多缺陷，管道长度较长，人工巡检效率很低，而且部分管道位于高山、沼泽等人力无法到达的地方，人工巡检难度很大。此外，恶劣天气也会增大人工巡检的难度。为了减少人力、物力的消耗，管道巡检工作需要采取新的方式3。随着卫星遥感技术的飞速发展，遥感数据能够为人们提供了大量信息，人们对于遥感数据的需求也日益俱增。虽然现在很多商业卫星能够提供高分辨率的数据，如GeoEye等，但是目前技术条件下，卫星遥感数据通常都存在云层干扰、时效性差等问题。然而，依赖于高分辨率航拍传感器、无人机以及全球定位系统的航拍技术却能够弥补卫星遥感数据的不足，这让航拍技术有了很大的发展，逐渐成为了一项融合遥远感知、测量与导航为一体的实用性技术4。依赖于无人机或直升机实现的航拍技术能够克服管道巡检过程中地域和天气的影响，具有机动性好、成本低、时效性好的特点。目前，已经有很多学者在做基于航拍图像的巡检方法的研究工作，比如李器宇等将无人机遥感技术应用于油气管道的巡检工作中3。由于航拍图像是通过航拍技术获得，具有较好的时效性。同时，航拍技术获得图像高度相对于遥感卫星较低，对于云层等环境的影响较小，同样的摄像技术条件下，航拍图像获得信息更多、更全。深入理解和发掘航拍图像中的可用信息是一项具有长远意义的工作。当前航拍图像处理技术多用于土地利用率的检测、地质灾害的评估和地图信息的更新等方面，而在取代人工巡检方面的应用鲜见。2003年，犹他州立大学的研究人员在相关研究报告中分析了利用航拍图像处理技术对输电线路进行自动巡检的可行性，并提出了针对航拍图像的处理技术4。已有学者进行无人机巡检技术的相关研究3，但是还没有对巡检航拍图像进行深入研究，这导致航拍图像的利用率很低。目前对油田输油管道的航拍图像的研究基本属于起步阶段，尤其是针对以巡检为目的的算法研究，国内外研究的成果较少。目前以巡检为目的的算法研究有许多基础的工作值得探索，最典型的就是航拍图像变化检测的算法研究5。变化检测算法主要针对是两个时间点的航拍图像，即对同一个区域不同时间段拍摄的两张航拍图像，检查出这两张图像的不同之处的技术6。1.2 本文的研究内容与结构本文将研究已有的针对卫星遥感图像的变化检测算法和航拍视频图像的拼接算法，并将这些算法应用到输油管道航拍巡检图像的处理过程中，充分利用这些图像获取可用信息以达到管道巡检的任务要求，主要工作是针对航拍的图像进行以下三个方面研究：（1）航拍图像图像配准算法研究首先介绍了图像配准的相关理论基础知识，阐述了基于特征点的图像配准算法的主要的四个步骤，它们分别是：特征点的提取、特征点的匹配、变换模型的求解和变换的实施7，详细分析了基于尺度不变特征变换（SIFT）和快速鲁棒特征（SURF）的特征提取算法、基于欧氏距离最小原则的特征配对方法、基于RANSAC的特征点提炼过程和最后实施变换的重采样算法。采用标准图像和网络卫星遥感地图模拟的油田管道图像对算法进行测试，并分析结果。（2）航拍视频图像拼接算法研究介绍了两种针对油田管道航拍的图像序列的拼接算法，一个是基于相位相关的拼接算法，另外一个是基于SIFT的拼接算法，并利用航拍图像资源对这两种算法分别进行测试，比较两种算法的特点和适用场合。（3）航拍图像变化检测算法研究阐述并比较了三种像素级变化检测算法，这三种算法的变化阈值都由人工设定。利用学界广泛采用的标准测试图像分别对这三种算法进行测试，并对它们的特点进行比较。介绍两种非监督的自动阈值确定方法：最大类间方差和基于贝叶斯决策论的阈值确定方法，对于后者还提出了静态阈值方法和动态阈值确定方法。将这些方法用于差值图像的阈值确定，用标准图像和航拍图像对算法进行测试，并分析测试结果。为了测试本文的算法，由于目前航拍油田输油管道的资源很少，所以利用百度和谷歌地图获得遥感图像数据，因为这些遥感图像分辨率很高，是可见光的图像，所以其与航拍图像特点基本一致。此外实验中采用的测试图像中包含道路、建筑等元素，可以模拟油田管道航拍图像中的管道以及其周围建筑元素。36第2章 基于特征点的图像配准算法研究第2章 基于特征点的图像配准算法研究2.1 图像配准基础理论2.1.1 图像配准的定义图像配准是针对不同的时间段、相同区域、具有重叠部分的两幅图像进行几何配准的过程8。一般情况下，配准是在两幅图像之间进行的，可以假定参考图像是，待配准图像是，则配准的过程可以由公式(2-1)表示：(2-1)在上述表达式中，f1为二维变换，而f2则为一维变换。大多数情况下，这种变换可以表示为公式(2-2)：(2-2)图像配准是当前许多图像预处理过程中的关键一步，它来自于很多实际的问题。实施配准操作主要为的是尽可能减小待配准图像相对于参考图像之间的几何畸变。2.1.2 图像配准的方法图像配准为的是寻求两张图像之间的变换模型，并利用其获得相应的变换参数，最后根据假设的模型实施具体变换操作。当前图像配准方法根据处理对象的不同主要可以分为两大类，一类是基于区域的配准，另一类是基于特征的配准。（1）基于区域的配准基于区域的配准方法是当前发展较为成熟的技术。该方法主要利用图像的灰度属性，确定两图间的相似性度量，借用某种算法，获得相似性度量的极值，完成配准工作，此方法的优点是不需对待配准的图像进行很多繁杂的预处理操作。基于区域的配准算法直接利用了整个图像的全部的像素值，所以实现比较简单、配准精度高，但同时这也导致了计算量大大增加。此外，该类方法对图像的非线性畸变、尺度和光照变化的适应性较差，因此这也导致此类方法多适用于灰度、尺度和旋转差小的图像。（2）基于特征的配准特征是从图像的所有像素点中提取出来的信息，因此它对于图像的一些变化具有更强的鲁棒性。特征配准首先利用相关算法从图像中提取高层次的特征，这样的特征可以是点特征、线特征或者面特征，当然需要采取一种合适的数学形式描述特征；接着采用匹配算法对两张图像的中的特征进行匹配；最后根据匹配完成以后的特征点位置坐标关系，确定变换模型，并对待配准图像进行变换。由于该类方法只对图像的部分特征进行了处理而且特征数量远少于图像的灰度区域，其很大程度减少了计算量，加快了配准速度。重要的是，在提取特征的过程中，采取的措施例如高斯滤波等方法减少了噪声的影响，并且特征本身对于图像形变、灰度变化有很强适应性。本文将采用的算法是基于特征点的，一般情况下是由下面的四个步骤组成：（1）特征点的提取：利用相关算法提取两个时相的航拍图像中的特征点，并根据一些约束条件筛选这些特征点，这些能表征图像的特征点又叫控制点。特征点的数量会同时影响到算法的执行效率和配准的准确度，所以需要选择合适的数量。此外，获得特征点以后，需要用一种合适的数学方式描述特征点，通常采用向量的形式表示特征点。（2）特征点的匹配：采用相关匹配算法对两张图像中的特征点进行配对。只有在这些点中准确搜寻到对应的点，配准工作才能精确完成。（3）变换模型的求解：利用上一步中匹配以后的特征点对，根据相应变换模型，求解具体的模型参数。（4）变换的实施：根据从上一步获得的变换参数和相应的变换模型，采用相关重采样技术，对待配准图像变换实施变换。2.1.3 图像的变换模型从数学模型的角度，图像配准就是为了求解图像间的变换模型，并在该模型的作用下，将两幅图像转化到一致坐标系下。不同的变换模型对应的几何操作也是不同的，表2-1中是四种主要的变换模型和其对应的具体操作9。对于同一场景不同时相航拍获得的图像，它们之间的几何变换基本都属于投影变换的范畴。表2-1 图像变换模型及其对应的操作反转变换旋转变换平移变换缩放变换投影变换非线性变换刚体变换模型续表2-1反转变换旋转变换平移变换缩放变换投影变换非线性变换仿射变换模型投影变换模型非线性变换模型本章中基于SIFT和SURF的图像配准方法里所采用的变换模型是最常用的投影变换。投影变换矩阵M为公式(2-3)：(2-3)一般情况下a33取值为1，投影变换的数学模型为公式(2-4)：(2-4)其中(x1,y1 )和(x2,y2)是两幅图像的像素点横纵坐标。模型的矩阵形式可表示为公式(2-5)：(2-5)两张图像间的变换矩阵能够由4组控制点匹配对计算获得。2.2 特征点提取算法选择并提取合适的特征是本算法的重点，尺度不变特征变换（SIFT）就是其中之一，它是由David Lowe首创的1011，并于后来完善总结的用于检测图像中局部性特征的算法，其提取出来的特征是基于图像中的局部兴趣点，与图像的旋转和大小无关。对于图像的亮度、微小视角变化以及噪声影响，该算法鲁棒性很高。SIFT已经被广泛应用于很多图像处理领域，并且许多学者也对该算法进行深入研究和改进，其中SURF（Speeded Up Robust Features）算法就是这样来的12，它的运算量比SIFT小很多，速度有很大的提升，但代价是其精度一定程度上有所下降，但是针对于绝大多数航拍图像，这样的精度差别并不影响航空拍摄的稳定图像的处理，而计算速度更加重要。2.2.1 基于SIFT的特征提取算法基于SIFT的特征提取算法主要包括以下四个步骤：尺度空间中的局部极值点检测、特征点的精确定位、特征点的主方向分配、特征点描述向量的建立。根据尺度空间的相关理论，通过检索所有的尺度能够检测出与尺度没有关系的特征点13。能够获得尺度空间唯一核函数是高斯函数，首先利用高斯卷积核建立起图像的多尺度空间，即公式(2-6)：(2-6)式子中，表示尺度参数，表示高斯卷积核，为使其变化连续，改变的值，此时的就是图像的尺度空间。算法首先构造高斯差分图(DOG)，并在其中搜寻局部极值点，这样就可以检测出可靠的关键点。DOG的构造方法就是对于不同的尺度参数的高斯核作差分，并将结果与图像进行卷积运算，这样即可获得高斯差分图像，可表示为公式(2-7)。(2-7)为快速计算高斯差分图像采用金字塔的形式，从下向上分为多层，在首层中，利用高斯核对图像卷积计算，并将生成后的图像再与相同参数的高斯函数卷积计算，得到一系列图像，对相邻两幅图像进行求差运算并取绝对值后生成差分图像。从这其中抽取一幅图像降采样，并将它作为下一层的第一幅图像，重复之前的过程。在DOG金字塔中，将每个像素点与和它在同样一幅图像中相邻8个像素点和上下相邻尺度图像中的相同位置18个像素点，共计26个像素点的值进行对比从而获得极值点。这样做的目的是能够从尺度空间和原图像中均能搜索到极值点，图2-1详细介绍了DOG金字塔建立过程：图2-1 DOG金字塔结构建立过程由于一些极值点响应比较小，同时容易受到比较大的边缘响应的影响，之前搜索到的极值点不一定都是非常稳定的。因此本文采用Hessian矩阵剔除那些不是很稳定的极值点，从而获得特征位置14。SIFT的一个主要特性就是旋转不变性，为实现旋转不变，给之前检测出来的每个特征点赋予方向。将其邻域梯度的主要方向作为它的主方向，可以借用统计直方图的方法。为获得更高精度，某个方向具有梯度值是最大峰值80%以上，则其就是该点的辅助方向。特征点的梯度、方向表达式如式(2-8)：(2-8)特征点的坐标、方向和模值已经确定，最后它还需要一个特征描述子。这样的描述子能够配对两幅图像里相近部分的特征点，同时又可以区分不同部分的特征点。对于之前获得的特征点，在当前尺度空间中求出其邻域范围内所有像素点梯度大小和方向。算法将特征点附近16*16的区域平均分为16个相同的4*4的子区域。在每个这样的子区域里，求出对应的梯度大小以及方向，并统计子区域中所有像素点的平均方向和大小，由于与特征点距离不同的像素点对于该特征点的贡献大小不同，所以对邻近的像素点采取加权处理，最后得到128维的描述向量。这样就最终完成了该算法。2.2.2 基于SURF的特征提取算法Herbert Bay等为优化SIFT算法里的部分步骤和加快其运算速度，提出基于SURF的特征提取算法12。该算法在可重复性、鲁棒性和独特性等方面接近甚至优于之前的一些特征提取算法，在运算速度方面更快。SURF算法将原图像转化为积分图像后进行相关操作，为的是加速图像的卷积操作。对于一幅图像，其积分图像就是点和图像原点之间的矩形区域中所有点的像素值之和。将图像变换为积分图像以后，任何一个由点M、N、O和P构成的矩形区域，原图该区域中的所有点像素值之和为：=M-N-O+P，这样的计算只需要三次简单加减运算即可完成，而与矩形面积大小无关。在SURF算法中卷积模板均为矩形模板，这样的积分图像将很大程度上提高运算效率。因为Hessian矩阵在运算效率和精确度上良好表现，SURF算法中的极值点检测方法是基于该矩阵的。假设原图I的某一像素点是X，则Hessian矩阵为公式(2-9)：(2-9)上式中，为图像尺度，是由点X处的高斯二阶偏导和图I的卷积运算产生的，类似可以计算出和。对于每个点的Hessian矩阵，其行列式就是特征点的值。高斯函数核是图像作尺度空间的分析的合适选择，实际计算过程中用到的是离散化的高斯函数，这个过程中难免会有近似过程，在SIFT算法中已经用到了该方法。Bay等人在SURF的算法中更是直接采用包滤波器近似高斯二阶偏导。如下图2-2所示，这种模板由简单的矩形构成，由于上述积分图像的引入，该模板运算效率显著提高。图2-2 矩形模板上图中取值为1.2。用、和表示的是模板与原图进行卷积后的结果，用它们替换公式(2-9)中对应L的值，那么Hessian矩阵的列式可由公式(2-10)表示：(2-10)式子中，w是权重系数。可据上述行列式的符号判别该点是否为极值点。利用该判别方法可以求取图中每个点在尺度上的响应。与SIFT算法不同，SURF算法直接利用不同尺寸的包滤波器对原始图像采取平滑处理，由于采用了积分图像方法，所有包滤波器的计算速度相同。采用初始尺度模板对图进行处理可得尺度空间的第一层，紧接着利用尺寸加大的模板和原始图进行卷积运算获得第二层，以此类推。相邻的两个模板尺寸之间差值均为偶数，原因是为了保证中心像素点的存在和模板尺寸的奇数性质。在卷积过程中求解Hessian矩阵的行列式，即可获得对应尺度的响应图，从而构建类似于SIFT中的图像金字塔。和SIFT中对关键点定位的方法一样，只有响应值是它和其周围的26个点的极值才可以确定为局部极值，即特征点。下一步是对特征点的描述。给某个特征点增加方向可以让特征描述向量有旋转不变性。将其中一个特征点作为圆心，利用Haar小波模板对图像中一定半径的圆形区域求取x和y方向上的响应，再利用高斯函数以特征点为中心给响应加权。以一个圆心角为60、特征点为圆心的扇形作为模板，求取其中的小波响应之和，然后以特征点为圆心，进行步长为60的一圈旋转，其中响应值之和最大就是这个点的主方向。确定一个以特征点正方形区域为特征提取区域，并且使得该区域的y轴方向为上述特征点的方向。将方形区域划分为4*4个子区域，求出每个区域的dx、dy、|dx|、|dy|，并算出四个量各自的和，则每个子区域即可获得4维向量，即公式(2-11)：(2-11)对于一个特征点则可有一个4*4*4的64维向量，作为特征点的特征向量。如果对dx求和时分成dy0和dy0两种情况，则可获得128维度的特征向量，其比64维的特征向量含有的信息更多，效率上差别不大。但在其他一些算法应用中，128维将耗费更大的运算，这也是SIFT和SURF算法典型的区别。2.3 特征点的匹配算法图像特征点的提取工作完成以后，就要对两幅图像中的点进行匹配，即匹配两个图像中最相似的特征点，这也是为获得图像变换模型参数做准备。采用特征提取算法能够从指定图中提取出若干特征点，但不是所有点都能正确匹配的。因此需要有合适的匹配算法。本文用到的匹配算法基于欧氏距离15。对于同一幅图像分别采用上述两种特征提取算法获得的描述向量的维度是不同的，但是采用欧氏距离的方法，描述向量的维度只会影响到运算量，因此该匹配方法均能应用于SIFT和SURF算法的特征点匹配。欧式距离是一种距离定义。对于n维空间中两个点A、B，其间的欧式距离可表示为公式(2-12)：(2-12)其中，a和b分别表示A点和B点的向量；aj和bj分别表示A和B的第j维度量值。对于一幅图中的某个特征点，在另外一幅图中搜索到与其欧氏距离最小的点，这两点是相似度最高的。然而由于图像背景杂乱等因素影响，利用欧氏距离最小原则获得的匹配准确度并不高。这里采用另外一种方法：假定图1中的特征点是Pi，它的描述向量是pi；图2中特征点为Qi，其描述向量为qi。首先寻找和pi欧氏距离最小和次小的特征点描述向量qi1和qi2，然后求出p到这两个q之间的欧氏距离之比r，当这个比值r小于指定阈值的时候，即认为匹配成功，否则可抛弃特征点Pi，重新选择点进行如上匹配工作。在计算机MATLAB算法实验过程中，为了提高执行效率，采用单位向量点积的形式取代欧氏距离，因为当向量间夹角很小的时候，其夹角比值和其欧式距离比值是可以近似相等的，而两向量之间夹角余弦值就是它们对应单位向量的点积16。2.4 变换参数的求解由于在不同时相获取的航拍图像会有很多变化，本文采用投影变换模型对双时相图像进行配准，因此这里需要求解的图像变换参数就是投影变换矩阵。虽然已经对基于欧氏距离最小化的特征点匹配算法进行了改进，但是该算法还是会产生误匹配。本文采用RANdom SAmple Consensus算法精炼图像的变换矩阵提高配准的精度17。该算法是基于一组含有异常数据的样本数据集合，求解其数学模型及参数，从而获得有效样本数据的算法。通过欧氏距离的匹配方法获得的特征点匹配对很可能存在异常数据，因此采用RANSAC算法可以有效减小异常数据对变换矩阵求解的影响。首先是计算变换矩阵H的初值，可以任意选4组匹配点，用于求解变换矩阵。然后利用初始变换矩阵对所有特征点进行变换，并求出其与实际特征点的误差，对于匹配误差不大于指定阈值的特征点，即可认为它是内点，否则为外点。对前两步再重复执行N次，并求取对应变换矩阵H和内点个数。选择内点数量最多的点集再求解变换矩阵，并把其作为最终模型参数，这样就可以剔除那些外点，减少了之前误匹配的影响。2.5 变换的实施利用上述算法求解出投影变换矩阵后，首先将待配准图像每个像素点按照变换矩阵进行投影变换，然后对待配准图像中的每个像素点进行重采样，重采样的方法有很多，本文采用最邻近内插法，其计算效率最高，但是视觉效果较差。对于图像配准，考虑到实时性等要求，本文采用该算法进行图像重采样。2.6 实验及结果分析本文在Matlab 2010a软件平台上对基于SIFT和SURF的配准算法分别进行测试，主要测试内容是这两种算法对施加了不同变换的图像以及对辐射发生变化的图像进行测试。由于缺乏油田输油管道的航拍图像资源，本文首先采用图像处理领域经常用到的标准图像对算法效果进行测试，然后利用网络数据模拟实际航拍情形获得图像，并用这些图像测试算法。首先针对由于航拍飞行器飞行姿态和高度等因素而造成的图像的几何变换的配准实验。图2-3为参考图像，图2-4为待配准图像，前者采用标准图，即莱娜图，因为其具有平坦区域、阴影和纹理等，所以很适合于图像处理算法的测试，后者是通过对前者进行旋转、缩放等变换得到；图2-5是利用基于SIFT和SURF的算法配准以后的图。图2-3 参考图像图2-4 待配准图像图2-5 配准以后的图像很明显，两种算法效果很好，对于旋转、缩放和平移等的不变性很明显。采用谷歌地图不同时间的两幅遥感图像模拟油田输油管道的航拍图像进行算法测试，图2-6是时相1（2012年9月5日拍摄）和时相2（2014年12月13日拍摄）的航拍图像，以后者为参考图像，前者为待配准图像；图2-7是采用基于SIFT和SURF的算法配准以后的图。 图2-6 两时相模拟航拍图像 图2-7 配准以后的图像两种配准算法均能将两时相的航拍图像配准到同一坐标系下，但是不同于前面标准图像的测试，这里的两张航拍图像存在拍摄角度变化造成图像变化，但是两种配准算法均能很大程度上减少这些变化的影响，具有很高的配准精度。两种算法对于航拍图像的配准的效果都很好，但就精度而言，基于SIFT比基于SURF的算法高一些。但是对于特征点提取过程和同一幅航拍图像，前者执行时间是后者的5倍左右，说明基于SIFT的算法执行效率较低。如果利用C语言平台来实现基于SIFT的特征提取算法，其执行效率将明显提高，也能够满足当前航拍图像处理的要求，而且算法层面上基于SIFT的算法精确度比基于SURF的算法要高。2.7 本章小结本章主要叙述了两种特征提取算法以及基于它们的配准算法。这两种算法分别是基于SIFT和SURF的特征提取算法，后者是由前者发展而来，其精度比SIFT要低一些，但是其执行效率比SIFT要高很多。配准可分为四步：特征点的提取、特征点的配对、模型的求解以及变换的实施；本文中特征点匹配算法基于欧氏距离最小原则；在求解变换模型参数的时候，采用RANSAC算法对预匹配的特征点进行精炼，减少误匹配；最后采用重采样技术实施投影变换。第3章 航拍视频图像拼接算法研究第3章 航拍视频图像拼接算法研究随着航拍技术发展，航拍图像已经开始应用在很多领域，尤其在巡检工作中的应用。由于目前摄像技术的限制，单幅航拍图像包含的信息量有限，而一般情况下需要巡检的区域面积很大，因而图像拼接技术被引进到航拍图像的处理过程中。一般待拼接的航拍视频图像均是相同时间不同场景有重叠的图像，同时航拍工具比较稳定，因此这些图像之间不会有很大辐射变化且图像间的变换主要是平移。此外，为了满足拼接实时性要求，航拍视频图像的拼接算法需要有很高的执行效率。本章针对这些特点，选择基于相位相关和基于SIFT的拼接算法应用于航拍视频图像序列的拼接工作。3.1 基于相位相关的拼接算法基于相位相关的拼接算法是一种常用的基于频域图像拼接技术，它是由Kuglni和Hines提出的18。该算法是将空域中的图像信号傅立叶变换转换到频域中进行分析，根据频域的相关性来寻找两幅有重叠部分的图像间的相对偏移量。因为此方法研究的对象是两幅图像傅氏互功率谱中的相位信息，它和图像具体内容关联程度不大，而且对图像中噪声和亮度改变不敏感。此外当前成熟的FFT技术使得该方法的效率明显优于其他方法，适应当前图像拼接的时效性要求。该方法虽然只针对两幅仅有平移变化的图像的拼接，对于航拍视频中的邻近的帧这样的拼接能力已经足够了，因为视频中邻近帧的图像主要变换就是平移变换。对于两幅航拍图像g1和g2，分别对其作傅立叶变换可得G1和G2，变换公式如下公式(3-1)：(3-1)公式中：假定两幅图像之间平移为(m,n)，则有公式(3-2)：(3-2)根据傅氏变换的位移性质，上述公式可变换为如下公式(3-3)：(3-3)那么两幅图像的互功率谱可由公式(3-4)计算获得：(3-4)这里*是复共轭运算符，然后对公式(3-4)实施傅氏逆变换获得公式(3-5)，对于其中冲击函数值最大点对应的坐标即为两幅图像的位移变化量(m,n)。(3-5)求出两幅图像位移变化量之后，可以对其中一幅图像进行平移，然后进行图像融合，即完成图像拼接。考虑到航拍视频中每一帧图像的辐射变化不会很剧烈，此处采用的图像融合即直接对重叠部分进行覆盖操作。重复上述算法操作，可将航拍视频中的各帧顺序地拼接起来。3.2 基于SIFT的拼接算法在上一章，介绍了基于SIFT的配准算法，其特点是提取的点对于图像的缩放和旋转都具有很好的局部不变性，同时对光照也有很强的鲁棒性，这能解决由于航拍工具不稳定而造成的航拍影像剧烈变化的拼接问题，而前述的基于相位相关的算法很难做到这一点。一般情况下，视频中的基于SIFT的图像拼接算法通常有三种形式19：(1)帧和帧合成：基于图像配准算法，首先获得顺序的两帧图像间的变换模型参数，如果采用第二章介绍的配准算法，则参数就是投影变换矩阵H，利用这些矩阵就可求出任两张连续图像间的变换矩阵，这样就可以将所有图像拼接起来。因为每次配准只针对单帧图片，拼接速度较快，所以其能满足航拍视频的图像拼接的对速度的要求。虽然该方法实施过程中每个变换矩阵的误差会不断累计，但是该配准算法配准精度非常高，所以最终误差不会很大。该方式示意图如图3-1所示第1帧图像第2帧图像第3帧图像第n帧图像H1H2H3Hn第1帧图像第n帧图像H1 H2 H3 Hn图3-1 帧与帧合成过程(2)帧和上次拼接后图像的合成：计算当前帧图像和上一次拼接后的图像之间的变换矩阵，然后以上一次的图像作为参考图像，将该帧图像拼接到其中。虽然拼接精度较之于上一种方法有所提升，但是影响到了算法运行速度。(3)拼接图像和拼接图像的合成：计算已拼接好的图像和另一幅已拼接好的图像之间的变换矩阵，然后变换后拼接，如果采用第二章介绍的配准算法，由于每次拼接后的图像都在不停增大，配准耗时将快速增加，算法速度将大打折扣。对于航拍视频中的图像拼接工作，基于SIFT的图像拼接算法主要是应用于变化剧烈的两幅相邻的图像，需要拼接的图像数目较少，所以采用第一种拼接算法累计误差不会很大，而且也能满足实时性要求。综上，选择采用第一种拼接方式。3.3 实验及结果分析为了测试本章叙述的算法，从一幅较大的图片中截取间隔相同的六幅图片可以模拟航拍视频中的图像序列，这些图像之间存在着平移、缩放和旋转等变换，但是缩放和旋转的程度很小，平移较多。图3-2是模拟视频中的6帧图。图3-2 航拍序列图像首先采用基于相位相关的拼接算法对图3-2中图像进行拼接，图3-3是采用该算法实验的结果。图3-3采用相位相关算法的拼接图像然后采用基于SIFT的算法对图3-2中图进行拼接，图3-4是采用该算法实验的结果。图3-4采用SIFT算法的拼接图像通过实验结果不难发现，对于拍摄稳定的航拍视频中的序列图像，基于相位相关的拼接算法拼接效果和基于SIFT的算法差别不大，但是对于两幅存在的旋转、缩放较为明显的图，基于相位相关的算法效果表现很差，因为该算法的前提假设是图像序列只具有平移变换。但是从执行算法的效率来看，基于相位相关的拼接算法速度更快，效率更高，当航拍图像尺寸变大时，这一点更加凸显。可以考虑结合这两种算法，在拼接航拍视频中大部分变化稳定的图像时采用基于相位相关的算法，对于两帧图之间变化较为剧烈的，可以用基于SIFT的拼接方法来拼接。3.4 本章小结本章叙述了针对油田管道的航拍视频图像的两种拼接算法，一个是基于相位相关的算法，另外一个是基于SIFT的算法。基于相位相关的拼接算法是在图像频域的处理方法，由于FFT技术的发展，该算法在当前许多实验平台中运行效率都很高，但是拼接精度不高，很适合处理视频图像稳定且数据量大的拼接工作。基于SIFT的拼接算法最大优点是精度高，对于视频每帧图像间存在旋转、平移和缩放等变换时具有不变性，缺点是效率较低，因此在应用过程中该算法可以作为对基于相位相关的算法的补充。第4章 航拍图像变化检测算法研究第4章 航拍图像变化检测算法研究基于航拍图像的油田管道巡检工作主要目的是检查管道及其周围环境和建筑的变化情况，因此对于油田管道的航拍图像的算法处理目前主要是变化检测。早期的图像变化检测主要是利用人工主观识别来进行的，这需要工作人员对油田管道结构以及周围环境有丰富经验。这不但容易受到主观因素的误导，而且工作效率很低。因此自动变化检测识别技术因运而生，并得到迅速发展。针对航拍图像为单谱图像的特点，本文主要采用基于差值图像的变化检测算法，并和其他几种像素级变化检测算法20 21 22进行比较。对于基于差值图像的变化检测算法，主要难点是变化和未变化部分的阈值确定，虽然有人工确定阈值的方法，但是对于不同情况下的航拍图像，该方法效率低下，本文采用两种自动确定阈值方法：一种是最大类间方差法，另外一种是基于贝叶斯决策论的变化阈值确定法。4.1 像素级变化检测方法4.1.1 图像差值法图像差值法是当前应用最多的一种变化检测算法。首先两时相航拍图像进行预处理，再对两幅图像中对应点的像素值进行减法运算得到差值图像。该算法的基本步骤是：首先需要通过求差运算获得差值图像，如下公式(4-1)：(4-1)式中i和j为点的坐标，t1和t2分别代表两个不同的时相。然后对差值图像中每个像素点的值进行统计，求得其平均值和标准差，则有公式(4-2)：(4-2)式中T为阈值。如果差值图像中的像素值满足上式，则说明其为变化像素，这样就可以获得两时相的图像变化情况。这种方法简单、效率高，但是却因为容易受到航拍图像环境变化和噪声影响而难以确定阈值。针对这一点，许多学者提出根据差值图像的统计特性以及上下文确定阈值的方法，比如最小类间方差法和基于贝叶斯决策论的阈值确定方法。4.1.2 图像比值法比值法是将两个时相的航拍图像中相应点的像素值采取除法运算，如公式(4-3)所示：(4-3)式中i和j为点的横纵坐标，和分别别代表两个不同的时相，Rxij表示对应点的比值。如果对应点未发生变化，则Rxij应该等于1或者接近1，否则表明对应点发生变化。和差值法比较，该算法对乘性噪声不敏感，因而适用于城区航拍图像的变化检测。但是比值图像不服从或则不近似服从正态分布，这将影响到后续结果分析，因此该方法应用不是很多。4.1.3 相关系数法相关系数法借助于两时相航拍图像中的像素值的相关程度来判定图像变化情况。通常情况下，相关程度就是用两张图中相同大小窗口的相关系数量化的。公式(4-4)是相关系数表达式：(4-4)其中N表示窗口中的点的数目，和分别代表两幅图像各自的对应窗口中所有点的平均像素值，xm和ym分别代表两幅图像各自的对应窗口中点的像素值。对于rij小于给定阈值的点，可以认为其是发生变化的点，否则未发生变化。该算法的计算速度和精度都受到窗口大小的限制，目前应用并不是很多。4.2 基于最大类间方差的阈值确定方法基于最大类间方差的阈值确定方法(Otsu)是由大津首创的23，它属于自动的无监督的聚类方法，因此其适合于当前油田管道航拍图像资源稀少、数据库不完善的情况。通俗地讲，此方法实质就是找到一个确定阈值将差值图像中的点分为两个类别：变化类和未变化类，并且使得这两个类之间的方差最大。由于Otsu方法的是基于差值图像像素值统计直方图的，只与像素灰度级数有关而一般情况下航拍图像灰度级数为256，因此该方法的计算量很少，和图像的大小无关，执行速度很快。针对一幅X行Y列的差值图像，其每个点的像素值为，其可取0-255这些值。其中像素值为i的点的频数为Ni，可以用近似表示对应点的频率，因此该图像的归一化像素值分布H可表示为公式(4-5)：(4-5)可以假设图像分割阈值为T，差值图像中像素值小于T的部分为未变化部分N，不小于T部分为变化部分C，那么某个像素值隶属于未变化N和变化C部分的概率PN(T)和PC(T)用公式(4-6)表示：(4-6)未变化N类和变化C类中点的类内像素平均值是和，如公式(4-7)所示：(4-7)整个图的像素平均值和方差可表示为公式(4-8)和(4-9)所示：(4-8)(4-9)未变化类和变化类的类内方差定义可表示为公式(4-10)和(4-11)：(4-10)(4-11)令为阈值T所分的未变化类和变化类的类间方差，其定义如公式(4-12)所示：(4-12)当取到最大值的时，T认为是满足Ostu原则的差值图像分割阈值。4.3 基于贝叶斯决策论的阈值确定方法由于有监督的阈值确定方法需要大量的经验数据，而油田管道航拍资源并不多，当前条件下此类方法实施难度很大，因此本文针对这一问题分析研究基于贝叶斯决策论的非监督阈值确定方法。2000年，Bruzzone等人第一次将贝叶斯(Bayes)决策论应用于图像变化阈值的确定问题上2425。贝叶斯决策论是统计模式识别的重要组成部分，本算法是在作了一些假设的前提下，将该理论应用于阈值确定问题，其特点是整体错误率很低。贝叶斯公式的表述为：假设为两两相互排斥的事件，则对于任一事件有公式(4-13)：(4-13)其中为先验概率，为条件概率，而为后验概率。不难发现，贝叶斯公式是利用先验概率和条件概率来求解后验概率。最小错误率贝叶斯决策规则(BRME)是一种较为常用的决策规则，其本质就是最小化平均错误率，即：若，则。其中表示第i类，m为类的总计数量，即X隶属于后验概率最大的类别。根据贝叶斯公式，BRME也可以表述为： 若，则。由上式不难看出，想要利用BRME作分类工作，必须先知道各类别的先验概率和类条件概率密度函数。本算法即采用BRME规则对差值图像变化阈值进行确定，下面将介绍算法具体实施过程。采用前面章节中介绍的相关算法，对两时相航空拍摄的图像采取预处理操作和求差获得差值图像，将差值图像中的像素值看作一维随机变量X，差值图像中像素点可分为两类，一类是未变化类(N)，另外一类是变化类(C)，和分别为它们的先验概率，而和分别为它们的类条件概率密度函数，那么X的概率密度函数如公式(4-14)所示：(4-14)根据BRME求取差值图像变化阈值，对于变化阈值T应该满足这两类后验概率相等的条件，如公式(4-15)所示：(4-15)根据贝叶斯公式可将式(4-15)变换成式(4-16)，(4-16)因此如果求解变化阈值T，则必须先求解和，和，下面将介绍求解这四个参数的方法。航拍图像属于光学遥感图像，一般情况下可假设航拍图像中的每个地物类别中的像素值均服从高斯分布。根据概率论中的中心极限定理，差值图像中对应的点值一般可近似看作服从高斯分布。那么它的分布概率密度函数可以用变化与未变化两类平均值和标准差来表示，如公式(4-17)所示。(4-17)上面式子中为i类的方差，而为i类的像素平均值。为了获得这四个参数，本文采用EM（Expectation-Maximization Algorithm）算法估计参数。该算法是以非监督的方式进行参数估计，不需要其他航拍图像数据以及先验知识等，仅仅从航拍差值图像本身就可以求取参数估计值。EM是不断反复迭代的过程，首先据参数的当前值，从差值图像中估计出概率密度的期望值，然后为了更新参数的估计值，算法将这个期望值最大化，这样就构成一个迭代，并且不断迭代下去，直到收敛为止。迭代计算如公式(4-18)、(4-19)和(4-20)所示：(4-18)(4-19)(4-20)式子中上标为t和t+1为本次和下次的参数估计值，I和J是图像的行数和列数，表示图像的像素值，而XD代表差值图。类条件概率和全概率分别参考上面的公式(4-17)和(4-14)，利用对应的计算公式求解类别的各统计参数。EM迭代初始值的确