图像拼接算法及实现（二）

图像拼接算法及实现〔二〕

比值匹配法利用图像特征较少，而且在图像发生小角度旋转的时候容易发生误匹配。基于特征点的匹配法可以很好的解决这类问题。特征点主要指图像中的明显点，如房屋角点、圆点等。用于点特征提获得算子称为有利算子或兴趣算子。自七十年代以来出现一系列各不一样、各有特色的兴趣算子，较知名的有rave算子、hannah算子与fistner等。

本文采用rave算子进展特征点提取:

rave算子的根本思想是，以像素点的四个主要方向上最小灰度方差表示该像素点与邻近像素点的灰度变化情况，即像素点的兴趣值，然后在图像的部分选择具有最大的兴趣值得点(灰度变化明显得点)作为特征点，详细算法如下:

v=

v=

v=

v=

其中k=int(n/2)。取其中最小者为像元((,r)的兴趣值:

iv(,r)=v=in{v,v,v,v}

(2)根据给定的阂值，选择兴趣值大于该阐值的点作为特征点的候选点。设v为事先设定好的闭值，假如vv，那么v为特征点的候选点。

阑值得选择应以候选点中包括需要的特征点，而又不含过多的非特征点。

(3)在候选点中选取部分极大值点作为需要的特征点。在一定大小的窗口内(可不同于兴趣值计算窗口)，去掉所有不是最大兴趣值的候选点，只留下兴趣值最大者，该像素即为一个特征点。

在有了以上的特征点提取的根底上，基于特征点匹配算法主要步骤如下:

(1)在参考图像t的重叠部分中选取4个区域，每个区域利用rave算子找出特征点。

(2)选取以特征点为中心的区域，本文大小选择7x7的区域，在搜索图s中寻找最相似的匹配。因为有4个特征点，故有4个特征区域，找到相应的特征区域的匹配也有4块。

(3)利用这4组匹配的特征区域的中心点，也就是4对匹配的特征点，代入方程式(3-2-2)求解，所求的解即为两幅图像间的变换系数。

(3-2-2)

该算法的主要优点:

(1)图像的特征信息得到了利用，可以有的放矢，不是在盲目的搜索。

(2)误匹配发生的概率小，因为利用了参考图像t包含特征点的特征区域来寻找相应匹配，因此在搜索图s中相应的特征区域容易确认。

该算法的主要缺点:

(1)计算的代价高，计算量大。该算法需要计算出特征点以及特征点的匹配点，同时还要将所有4对特征点带入式3-2-2求解变换系数，计算量大。

3.4本章小结

本章分析了现有的多种图像配准算法以及图像配准中的难点。

第四章图像交融技术

4.1图像交融技术的根本概念

数字图像交融〔digitaliagefusin〕是以图像为主要研究内容的数据交融技术，是把多个不同形式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同形式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像交融技术得到的合成图像那么可以更全面、更准确地描绘所研究的对象。正是由于这一特点，图像交融技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。

数字图像交融是图像分析的一项重要技术，该技术在数字地图拼接、全景图、虚拟现实等领域有着重要应用。虽然phtshp等图像处现软件提供了图像处理功能，可以通过拖放的方式进展图像拼接，但由于完全是手工操作，单调乏味，且精度不高，因此，有必要寻找一种方便可行的图像交融方法。atlab具有强大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台，可让用户把精力集中在算法上而不是编程上，从而能大大进步研究效率。

4.2手动配准与图象交融

图像交融包含图像配准和无缝合成两个部分.由于成像时受到各种变形因素的影响，得到的各幅图像间存在着相对的几何差异。图像配准是通过数学模拟来对图像间存在着的几何差异进展校正，把相邻两幅图像合成到同一坐标系下，并使得一样景物在不同的部分图像中对应起来，以便于图像无缝合成。本文采用atlab中的pselet、p2tfr函数完成几何配准。pselet函数显示图像界面，手动在两幅图像的重叠部分选取配准控制点，atlab自动进展亚像素分析，由p2tfr函数值正重叠部分的几何差异。atlab中的p2tfr函数能修正6种变形，分别是图(b)：线性相似；图()：仿射；图(d)：投影；图(e)：多顶式；图(：分段线性；图(g)：部分加权平均。前4种为全局变换，后两种为部分变换，如图i所示，图(a)为修正结果；图(b)至图(g)为对应的变形。

图1-1p2tfr函数能修正的6种几何变形

图像配准之后，由于图像重叠区域之间差异的存在，假如将图像象素简单叠加，拼按处就会出现明显的拼接缝，因此需要一种技术修正待拼接图像拼接缝附近的颜色值，使之平滑过渡，实现无缝合成。传统的交融方法多是在时间域对图像进展算术运算，没有考虑处理图像时其相应频率域的变化。从数学上讲，拼接缝的消除相当于图像颜色或灰度曲面的光滑连接，但实际上图像的拼接与曲面的光滑不同，图像颜色或灰度曲面的光滑表现为对图像的模糊化，从而导致图像模糊不清。

4.3图像交融规那么

图像的交融规那么(fusinrule)是图像交融的核心，交融规那么的好坏直接影响交融图像的速度和质量。

burt提出了基于像素选取的交融规那么，在将原图像分解成不同分辨率图像的根底上，选取绝对值最大的像素值(或系数)作为交融后的像素值(或系数)。这是基于在不同分辨率图像中，具有较大值的像素(或系数)包含更多的图像信息。

petrvi和xydeas提出了考虑分解层内各图像(假设存在多个图像)及分解层间的相关性的像素选取交融规那么。蒲恬在应用小波变换进展图像交融时，根据人类视觉系统对部分比照度敏感的特性，采用了基于比照度的像素选取交融规那么。

基于像素的交融选取仅是以单个像素作为交融对象，它并未考虑图像相邻像素间的相关性，因此交融结果不是很理想。考虑图像相邻像素间的相关性，burt和klzynski提出了基于区域特性选择的加权平均交融规那么，将像素值(或系数)的交融选取与其所在的部分区域联络起来。

在lietal提出的交融规那么中，其在选取窗口区域中较大的像素值(或系数)作为交融后像素值(或系数)的同时，还考虑了窗口区域像素(或系数)的相关性。hibani和huaine在其交融规那么中，通过计算输入原图像相应窗口区域中像素绝对值相比较大的个数，决定交融像素的选龋基于窗口区域的交融规那么由于考虑相邻像素的相关性，因此减少了交融像素的错误选龋交融效果得到进步。

zzhang和blu提出了基于区域的交融规那么，将图像中每个像素均看作区域或边缘的一部分，并用区域和边界等图像信息来指导交融选龋采用这种交融规那么所得到的交融效果较好，但此规那么相对其他交融规那么要复杂。对于复杂的图像，此规那么不易于实现。

4.4图像交融方法

迄今为止，数据交融方法主要是在像元级和特征级上进展的。常用的交融方法有his交融法、kl变换交融法、高通滤波交融法、小波变换交融法、金字塔变换交融法、样条变换交融法等。下面简要介绍其中的几种方法。

〔1〕his交融法

his交融法在多传感器影象像元交融方面应用较广，例如：一低分辨率三波段图象与一高分辨率单波段图象进展交融处理。这种方法将三个波段的低分辨率的数据通过his变换转换到his空间，同时将单波段高分辨率图象进展比照度拉伸以使其灰度的均值与方差和his空间中亮度分量图象一致，然后将拉伸过的高分辨率图象作为新的亮度分量代入his反变换到原始空间中。这样获得的高分辨率彩色图象既具有较高空间分辨率，同时又具有与影象一样的色彩和饱和度，有利于目视解译和计算机识别。

〔2〕kl变换交融法

kl变换交融法又称为主成分分析法。与his变换法类似，它将低分辨率的图象〔三个波段或更多〕作为输入分量进展主成分分析，而将高分辨率图象拉伸使其具有于第一主成分一样的均值和方差，然后用拉伸后的高分辨率影象代替主成分变换的第一分量进展逆变换。高空间分辨率数据与高光谱分辨率数据通过交融得到的新的数据包含了源图象的高分辨率和高光谱分辨率特征，保存了原图象的高频信息。这样，交融图象上目的细部特征更加明晰，光谱信息更加丰富。

〔3〕高通滤波交融法

高通滤波交融法将高分辨率图象中的边缘信息提取出来，参加到低分辨率高光谱图象中。首先，通过高通滤波器提取高分辨率图象中的高频分量，然后将高通滤波结果参加到高光谱分辨率的图象中，形成高频特征信息突出的交融影象。

〔4〕小波变换交融法

利用离散的小波变换，将n幅待交融的图象的每一幅分解成幅子图象，然后在每一级上对来自n幅待交融图象的幅子图象进展交融，得到该级的交融图象。在得到所有级的交融图象后，施行逆变换得到交融结果。

4.5图像交融步骤

目前国内外己有大量图像交融技术的研究报道，不管应用何种技术方法，必须遵守的根本原那么是两张或多张图像上对应的每一点都应对位准确。由于研究对象、目的不同，图像交融方法亦可多种多样，其主要步骤归纳如下:

(1)预处理:对获取的两种图像数据进展去噪、增强等处理，统一数据格式、图像大小和分辨率。对序列断层图像作三维重建和显示，根据目的特点建立数学模型;

shape\*ergefrat

图3-1图像交融步骤示意图

(2)分割目的和选择配准特征点:在二维或三维情况下，对目的物或兴趣区进展分割。选取的特点应是同一物理标记在两个图像上的对应点，该物理标记可以是人工标记，也可以是人体解剖特征点;

(3)利用特征点进展图像配准:可视作两个数据集间的线性或非线性变换，使变换后的两个数据集的误差到达某种准那么的最小值;

(4)交融图像创立:配准后的两种形式的图像在同一坐标系下将各自的有用信息交融表达成二维或三维图像;

(5)参数提取:从交融图像中提取和测量特征参数，定性、定量分析

4.6本章小结

本章主要介绍了图像交融的概念，方法以及步骤。

第五章图像拼接atlab实现

5.1atlab简介

atlab的名称源自atrixlabratry，它是一种科学计算软件，专门以矩阵的形式处理数据。atlab将高性能的数值计算和可视化集成在一起，并提供了大量的内置函数，从而被广泛地应用于科学计算、控制系统、信息处理等领域的分析、仿真和设计工作，而且利用atlab产品的开放式构造，可以非常容易地对atlab的功能进展扩大，从而在不断深化对问题认识的同时，不断完善atlab产品以进步产品自身的竞争才能。

atlab语言有如下特点：

1．编程效率高

它是一种面向科学与工程计算的高级语言，允许用数学形式的语言编写程序，且比basi、frtran和等语言更加接近我们书写计算公式的思维方式，用atlab编写程序犹如在演算纸上排列出公式与求解问题。atlab编写简单，所以编程效率高，易学易懂。

2．用户使用方便

atlab语言是一种解释执行的语言〔在没被专门的工具编译之前〕，它灵敏、方便，其调试程序手段丰富，调试速度快，需要学习时间少。人们用任何一种语言编写程序和调试程序一般都要经过四个步骤：编辑、编译、连接以及执行和调试。各个步骤之间是顺序关系，编程的过程就是在它们之间作瀑布型的循环。

3．扩大才能强

高版本的atlab语言有丰富的库函数，在进展复杂的数学运算时可以直接调用，而且atlab的库函数同用户文件在形成上一样，所以用户文件也可作为atlab的库函数来调用。

4．语句简单，内涵丰富

at1ab语言中最根本最重要的成分是函数，其一般形式为[a，6，……]=fun〔d，e，f，……〕，即一个函数由函数名，输入变量d，e，f,……和输出变量a，b，……组成，同一函数名f，不同数目的输入变量〔包括无输入变量〕及不同数目的输出变量，代表着不同的含义〔有点像面向对象中的多态性。。

5．高效方便的矩阵和数组运算

atlab语言象basi、frtran和语言一样规定了矩阵的算术运算符、关系运算符、逻辑运算符、条件运算符及赋值运算符，而且这些运算符大部分可以毫无改变地照搬到数组间的运算，有些如算术运算符只要增加“·〞就可用于数组间的运算，另外，它不需定义数组的维数，并给出矩阵函数、特殊矩阵专门的库函数，使之在求解诸如信号处理、建模、系统识别、控制、优化等领域的问题时，显得大为简捷、高效、方便，这是其它高级语言所不能比较的。

6．方便的绘图功能

atlab的绘图是非常方便的，它有一系列绘图函数〔命令〕，例如线性坐标、对数坐标，半对数坐标及极坐标，均只需调用不同的绘图函数〔命令〕，在图上标出图题、xy轴标注，格〔栅〕绘制也只需调用相应的命令，简单易行。另外，在调用绘图函数时调整自变量可绘出不变颜色的点、线、复线或多重线。这种为科学研究着想的设计是通用的编程语言所不及的。

总之，atlab语言的设计思想可以说代表了当前计算机高级语言的开展方向。我们相信，在不断使用中，读者会发现它的宏大潜力。因此本文采用atlab来实现本文的算法。

5.2各算法程序

图像交融是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程，从而可以有效地把不同图像传感器的优点结合起来，进步对图像信息分析和提取的才能。简单的图像交融方法不对参加交融的源图像进展任何变换和分解，而是直接对源图像中的各对应像素分别进展选择、平均或加权平均、多元回归或其它数学运算等处理后，最终合成一幅交融图像。

对于图像交融的对象，可以分为两大类，即多光谱图像(通常为rgb彩色图像)与灰度图像之间的交融，以及灰度图像之间的交融。灰度图像之间的交融，在大体上可分为三大类。一类是简单交融方法，包括将空间对准的两幅图像直接求加权平均值。另一类方法是基于金字塔形分解和重建算法的交融方法，主要包括梯度金字塔法、比照度和比率金字塔法以及拉普拉斯金字塔法等，它们首先构造输入图像的金字塔，再按一定的特征选择方法取值形成交融金字塔，通过对金字塔施行逆变换进展图像重建，最终生成交融图像，它们的交融效果要远优于第一类方法，然而它也有很多不尽如人意的地方。还有一类方法就是近几年兴起的基于小波变换的图像交融方法，它通常采用多分辨分析和allat快速算法，通过在各层的特征域上进展有针对性的交融，比较容易提取原始图像的构造信息和细节信息，所以交融效果要好于基于金字塔形变换的图像交融法。这是因为小波变换更为紧凑;小波表达式提供了方向信息，而金字塔表达式未将空间方向选择性引入分解过程;由于可以选择正交小波核，因此不同分辨率包含的信息是唯一的，而金字塔分解在两个不同的尺度之间含有冗余，另外金字塔不同级的数据相关，很难知道两级之间的相似性是由于冗余还是图像本身的性质引起的;金字塔的重构过程可能具有不稳定性，特别是两幅图像存在明显差异区域时，交融图像会出现斑块，而小波变换图像交融那么没有类似的问题。此外，小波变换具funtiny=fuse_pa(1，2)

%y=fuse_pa(1，2)iagefusinithpaethd

%

%1-inputiage#1

%2-inputiage#2

%

%y-fusediage

%hekinputs

[z1s1]=size(1);

[z2s2]=size(2);

if(z1~=z2)|(s1~=s2)

errr('inputiagesarentfsaesize');

end;

%pute，seletnralizeeigenvalues

[v，d]=eig(v([1(:)2(:)]));

if(d(1，1)d(2，2))

a=v(:，1)./su(v(:，1));

else

a=v(:，2)./su(v(:，2));

end;

%andfuse

y=a(1)*1+a(2)*2;

金字塔图像交融法:用金字塔在空间上表示图像是一种简单方便的方法。概括地说金字塔图像交融法就是将参加交融的每幅源图像作金字塔表示，将所有图像的金字塔表示在各相应层上以一定的交融规那么交融，可得到合成的金字塔。将合成的金字塔，用金字塔生成的逆过程重构图像，那么可得到交融图像。金字塔可分为:laplaian金字塔、gaussian金字塔、梯度金字塔、数学形态金字塔等。

基于fsdpyraid的图像交融算法程序：

funtiny=fuse_fsd(1，2，zt，ap，p)

%y=fuse_fsd(1，2，zt，ap，p)iagefusinithfsdpyraid

%

%1-inputiagea

%2-inputiageb

%zt-axiudepsitinlevel

%ap-effiientseletinhighpass(seesel.)

%p-effiientseletinbaseiage(seeselb.)

%

%y-fusediage

%hekinputs

[z1s1]=size(1);

[z2s2]=size(2);

if(z1~=z2)|(s1~=s2)

errr('inputiagesarentfsaesize');

end;

%definefilter

=[14641]/16;

%ellsfrseletediages

e=ell(1，zt);

%lpverdepsitindepth-analysis

fri1=1:zt

%alulateandstreatualiagesize

[zs]=size(1);

zl(i1)=z;sl(i1)=s;

%hekifiageexpansinneessary

if(flr(z/2)~=z/2)，e(1)=1;else，e(1)=0;end;

if(flr(s/2)~=s/2)，e(2)=1;else，e(2)=0;end;

%perfrexpansinifneessary

if(any(e))

1=adb(1，e);

2=adb(2，e);

end;

%perfrfiltering

g1=nv2(nv2(es2(1，2)，，'valid')，'，'valid');

g2=nv2(nv2(es2(2，2)，，'valid')，'，'valid');

%seleteffiientsandstrethe

e(i1)={sel(1-g1，2-g2，ap)};

%deiate

1=de2(g1);

2=de2(g2);

end;

%seletbaseeffiientsflastdepstinstage

1=selb(1，2，p);

%lpverdepsitindepth-synthesis

fri1=zt:-1:1

%undeiateandinterplate

1t=nv2(nv2(es2(unde2(1)，2)，2*，'valid')，2*'，'valid');

%addeffiients

1=1t+e{i1};

%seletvalidiageregin

1=1(1:zl(i1)，1:sl(i1));

end;

%pyiage

y=1;

在众多的图像交融技术中，基于小波变换的图像交融方法已成为现今研究的一个热点。这类算法主要是利用人眼对部分比照度的变化比较敏感这一事实，根据一定的交融规那么，在多幅原图像中选择出最显著的特征，例如边缘、线段等，并将这些特征保存在最终的合成图像中。在一幅图像的小波变换中，绝对值较大的小波系数对应于边缘这些较为显著的特征，所以大部分基于小波变换的图像交融算法主要研究如何选择合成图像中的小波系数，也就是三个方向上的高频系数，从而到达保存图像边缘的目的。虽然小波系数(高频系数)的选择对于保存图像的边缘等特征具有非常主要的作用，但尺度系数(低频系数)决定了图像的轮廓，正确地选择尺度系数对进步合成图像的视觉效果具有举足轻重的作用。

基于sidt〔shiftinvarianedisreteavelettransfr〕小波变换的算法程序：

funtiny=fuse_sih(1，2，zt，ap，p)

%y=fuse_sih(1，2，zt，ap，p)iagefusinithsidt，aveletishaar

%

%1-inputiagea

%2-inputiageb

%zt-axiudepsitinlevel

%ap-effiientseletinhighpass(seesel.)

%p-effiientseletinbaseiage(seeselb.)

%

%y-fusediage

%hekinputs

[z1s1]=size(1);

[z2s2]=size(2);

if(z1~=z2)|(s1~=s2)

errr('inputiagesarentfsaesize');

end;

%ellsfrseletediages

e=ell(3，zt);

%lpverdepsitindepth->analysis

fri1=1:zt

%alulateandstreatualiagesize

[zs]=size(1);

zl(i1)=z;sl(i1)=s;

%defineatualfilters(insertingzersbeteeneffiients)

h1=[zers(1，flr(2^(i1-2)))，0.5，zers(1，flr(2^(i1-1)-1))，0.5，zers(1，ax([flr(2^(i1-2))，1]))];

g1=[zers(1，flr(2^(i1-2)))，0.5，zers(1，flr(2^(i1-1)-1))，-0.5，zers(1，ax([flr(2^(i1-2))，1]))];

fh=flr(length(h1)/2);

%iagea

z1=nv2(es(1，fh，1)，g1，'valid');

a1=nv2(es(z1，fh，2)，g1'，'valid');

a2=nv2(es(z1，fh，2)，h1'，'valid');

z1=nv2(es(1，fh，1)，h1，'valid');

a3=nv2(es(z1，fh，2)，g1'，'valid');

a4=nv2(es(z1，fh，2)，h1'，'valid');

%iageb

z1=nv2(es(2，fh，1)，g1，'valid');

b1=nv2(es(z1，fh，2)，g1'，'valid');

b2=nv2(es(z1，fh，2)，h1'，'valid');

z1=nv2(es(2，fh，1)，h1，'valid');

b3=nv2(es(z1，fh，2)，g1'，'valid');

b4=nv2(es(z1，fh，2)，h1'，'valid');

%seleteffiientsandstrethe

e(1，i1)={sel(a1，b1，ap)};

e(2，i1)={sel(a2，b2，ap)};

e(3，i1)={sel(a3，b3，ap)};

%pyinputiagefrnextdepsitinstage

1=a4;

2=b4;

end;

%seletbaseeffiientsflastdepstinstage

a4=selb(a4，b4，p);

%lpverdepsitindepth->synthesis

fri1=zt:-1:1

%defineatualfilters(insertingzersbeteeneffiients)

h2=fliplr([zers(1，flr(2^(i1-2)))，0.5，zers(1，flr(2^(i1-1)-1))，0.5，zers(1，ax([flr(2^(i1-2))，1]))]);

g2=fliplr([zers(1，flr(2^(i1-2)))，0.5，zers(1，flr(2^(i1-1)-1))，-0.5，zers(1，ax([flr(2^(i1-2))，1]))]);

fh=flr(length(h2)/2);

%filter(rs)

a4=nv2(es(a4，fh，2)，h2'，'valid');

a3=nv2(es(e{3，i1}，fh，2)，g2'，'valid');

a2=nv2(es(e{2，i1}，fh，2)，h2'，'valid');

a1=nv2(es(e{1，i1}，fh，2)，g2'，'valid');

%filter(luns)

a4=nv2(es(a4+a3，fh，1)，h2，'valid');

a2=nv2(es(a2+a1，fh，1)，g2，'valid');

%addiages

a4=a4+a2;

end;

%pyiage

y=a4;

5．3实验结果

下面将本文的算法用于多聚焦图像的交融。多聚焦图像指的是对一样的场景用不同的焦距进展拍摄，得到镜头聚焦目的不同的多个图像。经过图像交融技术后，就可以得到一个所有目的都聚焦明晰的图像。图5-1中左边的目的较为明晰，图5-2中右边的目的较为明晰。

图5-1聚焦在左边的图像

图5-2聚焦在右边的图像

我们分别利用基于pa的算法、金字塔图像交融法和小波变换法的算法程序得到的的交融图像结果，如图5-3、图5-4、图5-5所示

图5-3基于pa算法的交融图像

图5-4基于金字塔图像交融算法的交融图像

图5-5基于sidt小波变换的交融图像

从实验结果可以看出，三种方案都可以得到较满意的视觉效果，消除了原图像的聚焦差异，进步了图像的明晰度，在合成图像中左、右两边的目的都很明晰。但通过比较分析，我们可以看出基于小波变换的交融图像〔图5-5〕最为明晰，所表现的图像细节效果最好，重影现象消除得最干净。图5-3的明晰度不够，而图5-4的细节表现力较弱，只有图5-5的边缘最明晰，重影消除地最干净，细节得到了最好地保存。

第六章总结与展望

6.1本论文工作的总结

图像拼接技术一直是计算机视觉、图像处理和计算机图形学的热点研究方向。它可以用来建立大视角的高分辨率图像，在虚拟现实领域、医学图像处理领域、遥感技术领域和军事领域中均有广泛的应用。

本文总结了前人在图像拼接领域的研究成果和研究现状，按照图像拼接的流程(图像预处理、图像配准和图像交融)，详细介绍了图像拼接技术，主要完成的工作有:(1)图像预处理主要指对图像进展几何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存在明显的几何畸变。

(