大视场视频拼接算法的研究

1、 毕业设计（论文）毕 业 设 计（论文）题 目：大视场视频拼接算法的研究2012年 5月11日摘 要大视场视频拼接是指，将两个或者多个摄像机拍摄的视频通过一定的方法拼接后形成一幅大视角的视频图像。视频是由一帧帧图像组成的，所以视频拼接的重点是用图像配准的方法将两幅或者多帧具有重叠区的数字图像拼接成宽视场的全景图像，然后利用视频压缩技术将图像压缩为视频。近年来，在机器视觉、卫星遥感、海底勘探及无人机中得到广泛的应用。本课题主要研究通过拼接双摄像头采集的具有重叠区的视频图像扩大视频监控的视场角的方法。主要研究内容包括：摄像头及光学系统的定标；利用SIFT算法寻找图像的特征匹配点；使用基于多分辨率分

2、析的图像融合算法进行图像融合。关键词：视频拼接，光学系统的定标，SIFT算法，图像融合ABSTRACT The video splicing of the large field of view refers to the splicing of two or more video shot by the camera by a certain method to form one large viewing angle of the video image. The video is composed by a frame image, the focus of the video mosa

3、ic image registration method having two or more frames digital images assembled into a wide field of view of the panoramic image of the overlapping area, then the use of video compression technology image compressed video. In recent years, machine vision, satellite remote sensing, seabed exploration

4、 and unmanned aerial vehicles in a wide range of applications. The main subject of research collected by stitching dual cameras with overlapping areas of the video image to expand the field of view of the video surveillance. The research topics include: the camera and the calibration of the optical

5、system; SIFT algorithm to find the characteristics of the image matching points; using image fusion based on multi-resolution analysis of image fusion algorithm.Keywords: video mosaic, the calibration of the optical system, SIFT algorithm, image fusion目 录第1章 绪论21.1 概述212 课题的背景及研究现状2121 课题的背景2122 课题的

6、研究现状313 课题的研究意义414 课题的主要研究内容4第2章 摄像机定标52.1 图像坐标系，摄像机坐标系与世界坐标系52.2 针孔成像模型72.3 相机畸变8第3章SIFT特征匹配图像拼接算法93.1 SIFT算法原理93.1.1 多尺度空间建立93.1.2 精确定位特征点的位置103.1.3 确定特征点的主方向133.1.4 生成 SIFT 特征描述符133.2 生成特征匹配点14第4章 图像融合174.1 构建多分辨率金字塔174.1.1高斯金字塔174.1.2拉普拉斯金字塔184.2 基于拉普拉斯金字塔分解的图像融合策略194.2.1 基于区域平均梯度的图像融合策略194.2.2

7、基于区域能量的图像融合策略20第6章 总结23参考文献24致 谢25第1章 绪论1.1 概述 大视场视频拼接是将两个或多个相机按照一定的规则放置，将每个相机分别获取的视频拼接成为一个具有相对较大视野的大视场视频的技术。其相关技术广泛应用在视频监控、多媒体展示、机器人视觉等方面。本文主要研究内容如下:(l)摄像机与光学系统的标定摄像机标定是指建立摄像机图像像素位置与场景点位置之间的关系，其途径是根据摄像机模型，由已知特征点的图像坐标和世界坐标求解摄像机的模型参数。(2)图像配准使用SIFT算法建立多尺度空间，在不同尺度空间中检测特征点。即使两图像间存在平移、缩放、拉伸等多种尺度变换，经过多尺度变

8、换后同一特征点也将在同一尺度下被检测到而得到匹配。与其他算子相比，SIFT算子在旋转变化、光照变化、几何变形、尺度缩放等情况下均具有最好的效果，这使得SIFT算子具有了尺度不变的特性。 （3）图像融合 采用多分辨率融合算法进行图像融合。摄像机在拍摄前未严格进行标定，虽然采用了鲁棒性较高的图像配准算法，但一定程度上的配准误差和曝光差异是不可避免的，为了消除配准误差造成的错位和“鬼影”现象，本文采用了多分辨率图像融合算法。12 课题的背景及研究现状121 课题的背景视频和图像是对 现实世界客观、形象的描述，对人类而言是最具体而直观的信息表达形式。在当今信息化时代，随着电子技术、网络和通信技术的快速

9、发展及人民生活水平的提高，照相机、DV等视频采集设备己不再只为专业人士所用，而是走入了广大群众的日常生活中。视频作为一种常用的信息载体，已经渗透到工作、学习、娱乐等各个方面，成为我们生活中不可或缺的组成部分。但是，在日常生活中，为了可以获得完整的图像，我们只有通过缩放摄像机镜头调整焦距才可以获取较大视野的图像。但是摄像机的视场角是固定的，所以我们拍摄的视频的分辨率与场景大小两者相互制约1，2，3。为了拍摄较大的场景，就必然降低所得视频图像的分辨率。相反，为了提高拍摄的场景的分辨率，就不得不通过调剂相机焦距来减小拍摄的视野，而这样又得不到完整的场景图像。当然利用鱼眼镜头等特殊器材4可以部分解决这

10、个问题，但这些特殊设备不仅价格高而且所拍摄的图像边缘会产生变形，且这种扭曲变形是不可避免的，同时也是不能为人眼所接受的。122 课题的研究现状 摄像机的视场角有限，但在实际应用中我们需要视场角较大且分辨率较高的的视频图像。人们为了能够扩大摄像机所拍摄的视频图像的视野范围且不改变分辨率，从而提出了大视场视频4，5这个概念。目前获取大视场视频主要有两种方式： 一种是采 用特殊的大 视场摄像设备采集视频，视频采集后 通过软件校正在成像过程中引发的畸变，使之符合人 眼的视觉感受。目前这种大 视场视频拍摄设备主要有:鱼眼镜头和全景环形透镜等，其最大优点是可以一次成像，可以实时获取大视场视频，且速度较快，

11、但缺点是获得视频图像出现畸变且分辨率较低。目前，这类摄像器材在一些专业领域中应用较多6。另一种方法是通过多个摄像机拍摄一组视频，两个摄像机之间有一定的重叠区。将视频中的帧图像取出，利用图像间的相关性，对图像进行配准，对配准后的图像进行拼接，然后将拼接后的帧图像合成视频，最后得到一个视场范围较大的视频8。目前，对视频拼接的研究中，比较有代表性的有国内王一鸣、茅耀斌等在基于双摄像机的视频监控系统方面所做的研究工作7。他们基于图像拼接中配准技术进行摄像机配准并使用运动检测与目标跟踪相结合的方法来对目标进行不间断的跟踪，实现了一种视频监控平台的构建。但此方法首先未摆脱传统的视频拼接需要使用同步触发器来

12、启动视频采集的限制，另外，文中也提到，由于使用了运动物体检测与跟踪的技术，此系统在检测目标的完整性和对噪声的处理上尚有待完善。Tom Riley等将来自3个不同位置，具有部分重叠视场的监控摄像头采集的视频图像拼接成一幅动态全景图，有利于实时监控场景中的情况变化。 13 课题的研究意义 大视场视频拼接在监控系统广泛应用于电子监管视频监控、交通的道路监控及公共安全等领域。首先，视频拼接可广泛应用于视频监控方面，大视场视频监控系统可以在保证视频图像分辨率的前提下，增大视频监控的视场角，扩大视频监控的区域及范围，有利于减小监控盲区，提高视频监控系统的性能。其次，在公共安全方面也有极大的用处，2008年

13、汶川地震时我们为了第一时间获得灾区的受灾情况，派出了大量飞机进行航空拍摄，飞机将拍摄的灾区视频传回后我们利用视频拼接技术第一时间获得了较为完整的灾区受灾情况，为我们的抗震救灾工作提供了宝贵的地图信息。14 课题的主要研究内容 课题旨在研究大视场视频图像拼接算法。文中对于图像拼接的背景、概念、国内外研究现状，以及一些基本常用的图像拼接算法都做了相关论述。同时，在研究了相机标定原理的基础上在Matlab平台上完成了摄像机的定标，为后续实验奠定基础，本文选择SIFT算法作为特征点匹配点算法，该算法在找取特征点及特征点匹配问题上均有较好的鲁棒性，同时本文选用基于多分辨率分析的图像融合算法，该算法对待融

14、合图像进行拉普拉斯金字塔分解，在图像融合过程中对细节及亮度信息保留较好，有效的消除了“鬼影”现象。25 第2章 摄像机定标摄像机标定6是指建立摄像机图像像素位置与场景点位置之间的关系，其途径是根据摄像机模型，由已知特征点的图像坐标和世界坐标求解摄像机的模型参数。2.1 图像坐标系，摄像机坐标系与世界坐标系摄像机采集的图像以标准电视信号的形式经高速图像采集系统变换为数字图像，并输入计算机。每幅数字图像在计算机内为M*N数组，M行N列的图像中的每一个元素（称为像素，pixel）的数值即是图像点的亮度（或称灰度）。如图2.1所示，在图像上定义直角坐标系u,v ,每一像素为单位的图像坐标系坐标。由于（

15、u,v）只表示像素位于数组中的列数与行数，并没有用物理单位表示出该像素在图像中的位置，因此，需要再建立以物理单位（如mm）表示的图像坐标系。该坐标系以图像内某一点O1为原点，X轴与Y轴分别与u,v轴平行，如图2-1所示。其中（u,v）表示以像素为单位的图像坐标系的坐标，（X,Y）表示以mm为单位的图像坐标系的坐标。在X,Y坐标系中，原点O1定义在摄像机光轴与图像平面的交点，该点一般位于图像中心处，但由于某些原因，也会有些偏离，若O1在u,v坐标系中坐标为（u0,v0）,每一个像素在X轴与Y轴方向上的物理尺寸为dX,dY,则图像中任意一个像素在两个坐标系下的坐标有如下关系：图2-1 图像坐标系

16、（2-1以下与此同）为以后使用方便，用其次坐标与矩阵形式将上式表示为 (2-2) 摄像机成像几何关系可由图2-2所示。其中O点称为摄像机光心，轴和轴与图像的X轴与Y轴平行，轴为摄像机光轴，它与图像平面垂直。光轴与图像平面的交点，即为图像坐标系的原点，由点O与x,y,z轴组成的直角坐标系称为摄像机坐标系。OOc为摄像机焦距。 图2-2 摄像机坐标系与世界坐标系 由于摄像机可安放在环境中的任意位置，在环境中选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系。它由Xw,Yw,Zw轴组成。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述。

17、（2-3）2.2 针孔成像模型针孔成像模型又称为线性摄像机模型。空间任何一点M在图像中的成像位置可以用针孔成像模型近似表示，即任何点M在图像中的投影位置m，为光心Oc与M点的连线OcM与图像平面的交点。这种关系也称为重心射影或透视投影。有比例关系如下： （2-4）其中，(x,y)为m点的图像坐标；（Xc,Yc,Zc）为空间点M在摄像机坐标系下的坐标。用齐次坐标和矩阵表示上述透视投影关系为 （2-5）式中，P为透视投影矩阵。将（2-2）和（2-4）代入上式，得到世界坐标系与摄像机像素坐标系之间的关系 （2-5）=f/dx,=f/dy,分别代表以x轴与y轴方向上的像素为单位表示的等效焦距。另外在较

18、高精度的相机模型中还引入一个参数，表示在图像平面中以像素为单位的坐标轴倾斜程度的量度，=tg, 表示相机CCD阵列v轴的偏斜角度。由上式可见，如果已知摄像机的内外参数，就知道投影矩阵M，这时对任何空间点M，如已知它的坐标Xw=（Xw,Yw,Zw,1）T,就可求出它的图像点m的位置（u,v）.这是因为在已知M与Xw时，式（2-5）给出了三个方程。在这三个方程中消去z就可求出（u,v）。反过来，如果已知某空间点M的图像点m的位置（u,v），即使已知摄像机的内外参数，Xw也是不能唯一确定的。事实上，在式（2-5）中，M是3*4不可逆矩阵，当已知M与(u,v)时，由式（2-5）给出的三个方程中消去z，

19、只可得到关于Xw,Yw,Zw的两个线性方程，由这两个线性方程组成的方程组即为射线OP的方程，也就是说，投影点为m的所有点均在该射线上，其物理意义可由图2-2看出，当已知图像点m时，由针孔成像模型，任何位于射线OM上的空间点的图像都是m点，因此，该空间点是不能唯一确定的。2.3 相机畸变设(u,v)为理想的图像像素坐标，相对应的，()为真实获得的像素坐标。类似的，(x,y)和()分别为理想的图像物理坐标和实际获得的图像物理坐标，我们可以得到以下的关系式： (2-6)其中，k1和k2为畸变系数。同时，从和，我们得到以下两式： (2-7)其中，（u0,v0）在求内参时已求得，(u,v)在圆心提取排序

20、时也得知，（u,v）可通过求反投影残差求得。其中参数包括自定义的标志点的三维坐标、二维坐标、旋转平移向量、内参数求得。（x,y）由公式和v=v0+y可求得。于是两个方程，两个未知数k1,k2便可求了。即由 (2-8)设为：Dk=d.所以，由可求得畸变系数k1，k2。第3章SIFT特征匹配图像拼接算法3.1 SIFT算法原理3.1.1 多尺度空间建立尺度空间概念最早出现在计算机视觉领域，当时其主要目的是模拟图像数据的多尺度特征。后来Koendetink11通过扩散方程 来描述尺度空 间滤波过程，并 证明高斯 核是实现尺度 变换的唯一变换核。而Lindeberg12等人 通过推 导证明高 斯核实现

21、尺度变换的唯一的线性核。所以多尺度金字塔的获得是建立在对图像进行高斯卷积的基础上。通过采用不同尺度的高斯卷积核对图像进行卷积，可获得不同尺度下的图像。二维 高斯核定义为 （3-1）一幅二维图像I(x , y)，不同 尺度下的尺度空间L(x,y,)可由图像I(x,y)与高斯核的卷积得到：L ( x,y, )=G(x,y,)*I(x,y) ) （3-2）其中，*表示在x和y方向上的卷积，L表示图像的尺度空间，I(x, y)表示图像上的点， 称为尺度坐标，它表示高斯正态分布的方差，反映图像被平滑的程度，越小图像被平滑的程度越小，对应的尺度越小。大尺度反应图像的概貌信息，小尺度反映图像的细节信息。选择

22、合适的尺度因子进行平滑处理是建立尺度空间的关键。为了提高在尺度空间检测到稳定的关键点的效率，提出了高斯差分尺度空间（DOG scale-space）。利用不同尺度的高斯差分核与图像卷积求尺度空间极值。用D(x，y，)表示： D ( x,y, )=(G(x,y,k)- G(x,y,)*I(x,y) =L ( x,y,k ) - L(x,y,) （3-3） 其中 k 是常数，文中k值取经典的。在实际 的尺度不变 特征点提 取中，SIFT 8.9 算法将 图像金 字塔引 入了尺 度空间，本文对图像金字塔的构建如图3-1所示：首先采用不同尺度 因子的高斯 核对图像进行卷积以得到图像的不同尺度空间，将这

23、 一组图像作 为金字 塔图像的第一阶。接 着对其中 的 2 倍尺度图像（相对于该阶第一幅图像的2倍尺度）以2 倍像素距离进 行下采样 来得到金字 塔图像第二阶的 第一幅图像，对该 图像采用 不同尺度因子 的高 斯核进行卷 积，以获 得金字塔图 像第二阶的一组 图像。这样依 次类推，从而获得了 高斯金字 塔图像。每一 阶 相邻 的 高斯图像 相减，就得到了高斯差分图像，即DoG图像。对DoG尺度空间中每个点 与相邻尺 度和相邻位 置的点逐一进行 比较，得到的局 部极值 位置即特征点所 处的位置和对应的尺度。 图3-1高斯图像与DoG图像的构造 图3-2 DoG图像中的极值检测为了检测到尺度空间的

24、最大值和最小值，DoG 尺度空间中中间层（如图 3-1 五角星标识层）的每个像素点都需要跟同一层的相邻8个像素点以及它上一层和下一层的 9个相邻像素点总共 26 个相邻像素点进行比较，以确保在尺度空间和二维图像空间都检测到局部极值，如图 3-2 所示，标记为叉号的像素若比相邻 26 个像素的 DoG值都大或都小，则该点将作为一个局部极值点，记下它的位置和对应尺度。总之，图像的高斯滤波保证了特征点不受噪声影响，DoG 图像保证了特征点不受亮度差的影响，在高斯差分图像空间提取极值点保证了尺度不变性。3.1.2 精确定位特征点的位置由于DoG值对噪声和边缘较敏感，因此，在DoG尺度空间中检测到局部极

25、值点还要经过进一步的检验才能精确定位为特征点。对检测到的极值点还要进行三维二次函数拟和以精确确定特征点的尺度和位置。使用泰勒极数将尺度空间方程D(x，y，)在局部极值点处展开： （3-4）其中，式（3-6）中的一阶导数与二阶导数均通过附近区域的差分近似求得，列出其中的几个其他的二阶导数均以此类推。对式(3-4)求导并让方程等于零，可以得到精确的极值点： （3-5） 在上面确定的特征点中，同时去掉对比度低的特征点及不稳定的边缘响应点，可以增强匹配稳定性，同时提高抗干扰能力。去掉对比度低的特征点：把公式(3-5)代入式(3-4)中，取前两项得到 （3-6）如果，则留下该特征点，否则就舍弃。去掉不稳

26、定边缘响应点：DoG函数的峰值点在横跨边沿的方向有较大的主曲率，而在垂直边缘方向有较小的主曲率。主曲率可以利用一个22的海森矩阵，记作H得到。由于H的特征值与D的主曲率成正比，我们可以借助Harris和Stephens（1988）提出的方法，只用求其特征值之间的比率，而不用具体计算这些特征值。设 是H的最大特征值， 为最小的，r 为它们的比值，即。 （3-7） （3-9）在两个特征值相等时达到最小，随着r增大而增大，一般r取10。当时，该特征点保留，否则就剔除。 图3-3 Lean图像 图3-3 Lean图像 图3-4 gaussian图像 图 3-5 DoG图像 图 3-5 DoG图像 图

27、3-6 提取特征点根据高斯图像的构造原理，我们对图3-3所示的Lena图像进行高斯图像构造，为了有效的检测特征点，我们使用五阶高斯构造图像，其中每一阶图像均有六层图像，如图3-4所示，每一行即为一阶，从左到右分别是第一层、第二层。最后我们得到的DoG图像如图3-5所示。如图3-6所示，是提取的特征点，其中圆心的点表示特征点的位置，圆圈的大小表示空间尺度的大小，圆圈内的线段表示特征点的主方向。3.1.3 确定特征点的主方向利用关键点邻域像素的梯度方向分布特性，我们可以为每个特征点指定方向参数，从而使算子对图像具备旋转不变性。 ( x , y)处的梯度值和方向分别为： （3-9）L为所用的尺度为每

28、个特征点各自所在的尺度，要确定是哪一阶的哪一层。在实际计算过程中，在以特征点为中心的邻域窗口内采样，并用梯度方向直方图来统计邻域像素的梯度方向。梯度直方图的范围是0360，其中每10一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该特征点的辅方向。对于同一梯度的多个峰值的关键点位置，在相同的位置和尺度可能会有多个关键点被创建但是方向不同，因此一个特征点可能会被指定具有多个方向（一个主方向，一个以上辅方向），仅有15%的关键点被赋予多个方向，辅助方向可以提高特征点的稳定性

29、，增强匹配的鲁棒性。至此，图像的关键点已检测完毕，每个关键点有三个信息：位置、所处尺度、方向。由此可以确定一个SIFT特征区域。3.1.4 生成 SIFT 特征描述符首先将坐标轴旋转为关键点的方向，以确保旋转不变性；接下来以关键点为中心取88的窗口（特征点所在的行和列不取）。在图3-7(a)中，中央的黑点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中蓝色的圈代表高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。然后在每44的图像小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如

30、图3-7（b）所示。此图中一个特征点由22共4个种子点组成，每个种子点有8个方向向量信息，可产生228共32个数据，形成32维的SIFT特征向量即特征描述符，所需的图像数据块为88。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。 （a） 图像梯度 （b）特征点描述符 图 3-7 图像梯度及特征点描述符实际计算过程中，为了增强匹配的稳健性，Lowe建议对每个特征点使用44共16个种子点来描述，这样对于一个特征点就可以产生128个数据，最终形成128维的SIFT特征向量即特征描述符，所需的图像数据块是1616。此时，SIFT特征向量已去除了

31、尺度变化、旋转等几何变形因素的影响，再继续将特征向量的长度归一化，则可以进一步去除光照变化的影响。3.2 生成特征匹配点当两幅图像的SIFT特征向量生成后，下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。取图像1中的某个关键点，并找出其与图像2中欧式距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离少于某个比例阈值，则接受这一对匹配点。降低这个比例阈值，SIFT匹配点数目会减少，但更加稳定。 假设特征点对p和q的特征描述符分别为Desp 和Desq ，则其欧氏距离定义为： （3-10）关键点的匹配可以采用穷举法来完成，但是这样耗费时间太多，一般

32、都采用k-d树的数据结构来搜索，搜索的内容以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的源图像特征点与次邻近的原图像特征点。首先采用优先 k-d 树进行优先搜索来查找每个特征点的两个近似最近邻特征点，如找出特征点 p 欧氏距离最近和次近的两个邻居特征点q和q，然后计算 p与q以及 p 与q两组描述符之间欧氏距离的比值 r，如果比值 r 小于规定阈值 T，则视为匹配成功，接受点对（p，q）为图像序列中的一对匹配点，否则匹配失败。 图 3-8 特征点随最近邻域与第二邻域距离比值的分布概率图如图 3-8 所示，是特征点随最近邻域与第二邻域距离比值的分布概率图，正确匹配的特征点（即“内点”，

33、图中 inliers 曲线表示）最近邻域距离与第二近邻域距离的比值比错误匹配的特征点（即“外点”，图中 outliers 曲线表示）。两条曲线相交于最近邻域距离与第二近邻域距离的比值为 0.75 时，这说明小于该阈值时，检测到的特征点为“内点”的概率比为“外点”的概率大，反之，为“内点”的概率将非常小。一般为了去除更多的“外点”，通常将该阈值取为 0.6。图3-9标准角点测试图像特征点匹配结果图图3-10 实景图特征点匹配结果图第4章 图像融合图像融合主要有像素级图像融合、多分辨率图像融合和基于缝合线的图像融合。像素级图像融合作为最基础的融合算法,它是多分辨率图像融合和基于缝合线的图像融合的基

34、础。三种图像融合算法，各有其优缺点。像素级图像融合算法计算简单、融合速度较快，但是，如果存在配准出现误差则容易产生“鬼影”现象，图像融合后不能达到令人满意的效果；基于最佳缝合线的图像融合方法可以在较大程度上适应配准过程中出现的误差，并能较好的避免“鬼影”和错位效果，但由于需要进行最佳拼接缝寻找和后续的多分辨率融合两个步骤，所以融合速度较慢。相比较而言，多分辨率图像融合方法一方面可以有效消除“鬼影”现象，另一方面如果恰当的选择金字塔层数，也可以得到较快的融合速度。目前在图像融合领域中,有着相当多的应用。下面本文就针对多分辨率图像融合算法13.14进行论述.4.1 构建多分辨率金字塔拉普拉斯金字塔

35、是在高斯金字塔的基础上构建的，因此首先要对图像进行高斯金字塔分解。4.1.1高斯金字塔设为原图像，以为高斯金字塔的最底层，高斯金字塔第一层图像通过对对原图像进行高斯低通滤波，滤波处理后的图像再进行隔行隔列的下采样。重复进行多次滤波和采样处理后，即可得到我们需要的高斯金字塔。假设高斯金字塔的第l层用表示。则， （4-1）式中Rl和Cl 分别代表高斯金字塔第l层的行数和列数，代表二维离散高斯卷积核函数，实际应用是一个55可分离的二维窗口函数，可表示为： （4-2）由此，我们可以得到构成高斯金字塔的各层图像，其中为原图像，为金字塔的顶层图像。由于高斯金字塔的层是对第层先进行高斯低通滤波然后在进行降采

36、样得到的，因此高斯金字塔的当前层图像总是前一层图像的四分之一。4.1.2拉普拉斯金字塔拉普拉斯金字塔是通过求相邻图层的高斯金字塔的图像差分得到的。但是高斯金字塔各层图像的分辨率不同，为了能够在相邻层次图像求取差分，所以高层图像必须进行内插，以保证相邻两图层的分辨率相同。设经过内插后的图像为，通过与上文中进行下采样相反的方法进行内插，用如下列公式表示： （4-3）拉普拉斯各层图像的计算公式如下： （4-4）上式中，表示拉普拉斯金字塔的第l层图像，表示金字塔的顶层图像，通过以上方法可以得到拉普拉斯金字塔的图像，依次为，金字塔上各层次的图像分辨率仍不一致。它的每一层图像是高斯金字塔本层图像与其上一层

37、图像经过内插后图像的差，这个过程相当于带通滤波，所以拉普拉斯金字塔又称为带通金字塔分解。对要拼接的两幅原图像分别进行如上操作，得到两幅图像的拉普拉斯金字塔后，在不同层次上按照不同的融合规则确定拼接图像的像素值，从而得到扩展分辨率的拼接图像的拉普拉斯金字塔。然后对拼接图像的拉普拉斯金字塔从顶层向下逐层递推即可获得重建的拼接图像。重建的过程可表达如下： （4-5）4.2 基于拉普拉斯金字塔分解的图像融合策略 图像的拉普拉斯金字塔分解的目的是将图像的特征或者细节信息反映到金字塔的各层图像中。这样在融合的过程中图像的像素值在选用原图像的像素时也可以通过对图像中的像素局部特征进行分析得到。以达到突出细节

38、与特征的目的，即将来自不同图像的特征与细节融合在一起。目前常用的融合策略有基于区域平均梯度的图像融合策略与基于区域能量的图像融合策略两种。4.2.1 基于区域平均梯度的图像融合策略设、分别为原图像A、B的拉普拉斯金字塔分解得到的第l层图像，融合后的图像用LFl（0lN）表示，当l =N时和分别是原图像A、B经过拉普拉斯金字塔分解后得到的顶层图像。对于图像的融合，首先我们取图像的任意一点，以其为中点取大小为MN的区域（M，N为奇数且大于等于3），该区域的平均梯度为： （4-6） 其中分别表示该像素点在点在x与y上的梯度值，其定义如下： （4-7） （4-8）图像的平均梯度反映的是的图像的微小细节

39、、纹理变化特征，一般而言区域平均梯度越大的区域,图像层次越丰富，区域内图像越清晰。因此对于顶层图像中的每一个像素都可以得到与之相对应的区域平均梯和，则基于区域平均梯度的的图像融合算法可表示为： （4-9）在拉普拉斯金字塔中顶层图像包含图像的细节信息较为丰富，因此在融合过程中往往对金字塔顶层的图像采用基于平均梯度的图像融合策略。4.2.2 基于区域能量的图像融合策略 图像能量往往反映区域内的图像亮度信息,多分辨率金字塔图像在图像的轮廓特征、边缘等处亮度较高,所以一般具有较清晰的特征信息的区域亮度较大。在图像融合过程中除顶层图像的其他层次图像一般采用基于区域能量的图像融合策略。因此，当0lN时，对

40、拉普拉斯金字塔分解的第l层图像其区域能量可表示为： （4-10）是计算区域能量的系数模板，一般情况下我们取以为中心的33模板求得中心点的能量值。在这里我们给出33区域的能量系数模板： 这里p=1,q=1 所以其他层次的图像融合结果为： （4-11）在得到的金字塔的各个层次的融合图像后，通过4-5重构，便可得到最终的融合图像。基于拉普拉斯金字塔的多分辨率图像融合方法如图4-1所示。图像融合实验结果如图4-12所示。 图 4-12 图像融合算法流程图 （a） 实景图1 （b）实景图2 （c）图像拼接后效果图 （d）裁剪后效果图 （e）实景图3 （f）实景图4 （g）拼接后效果图 （h）裁剪后效果图

41、图4-2 实验效果图第6章 总结视频拼接技术，就是将多个摄像机采集的分辨率有限的视频通过计算机技术进行拼接后形成一个高分辨率大视场视频的过程。视频拼接技术需要首先对待拼接的视频进行视频的配准，在配准完成获得变换矩阵之后，依据变换矩阵将两源视频拼接为高分辨率的大视场视频。视频是由帧图像构成的，所以视频拼接归根结底还是图像的拼接。正如本文所述，视频的配准是基于特定帧图像的配准完成的，当摄像机间相对位置固定时，帧图像的变换矩阵即为视频间的变换矩阵。同样，视频最后的拼接工作也是通过将视频分解为帧图像，对相应的帧图像进行图像融合，再将拼接后的帧图像压缩为视频完成的。本论文主要完成以下工作：1. 研究了摄

42、像机的定标问题。通过相机定标，相机与世界坐标系建立联系2. 实现了基于SIFT图像匹配的视频拼接功能。对SIFT图像拼接方法进行了较为深入的研究，理解了其中关于各种不变特征的生成方法。实验表明该算法提取出的特征点对图像的旋转、缩放及光照、噪声变化时表现出较强的鲁棒性。3. 使用多分辨率图像融合算法进行图像融合。多分辨率图像融合方法一方面可以有效消除/鬼影现象，另一方面如果恰当的选择金字塔层数，也可以得到较快的融合速度。参考文献1BatharaZitova,JanFhisser.ImageRegistrationMethods:ASurvey.ImageandVision ComPuting,

43、2003,11(27):977一10002 Hartley R, Zissennan A . Multiple view geometry in computer visionM.London:2 Cambridge University Press,2004:8一113 Hui Chen,BinZhao,YueLin.A video mosaic algorithm for compressed videoC.In:IEEE DMAMH, chongqing,china,2007:370一3774Anat Levin,Assaf Zomet,Shmuel Peleg,et al.Seamless Image Stitching in the Gradient DomainR. The Hebrew University of Jerusalem,Jerusalem,Israel,20045Gao Guadon