图像拼接.doc

第 卷 第 期 中国图象图形学报 Vol. ,No. 200 年 月 Journal of Image and Graphics .,200图像拼接技术综述作者 潘 誉 江南大学 无锡市 214000摘 要 ： 图像拼接(image mosaic)技术是将一组相互间存在重叠部分的图像序列进行空间匹配对准，经重采样融合后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接是数字图像处理领域的一个重要的研究方向，在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础,而且图像配准算法的计算量一般非常大,因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。 关键词 ： 图像拼接；全景图像；图相配准；图像融合A summary of the Image stitching technologywriter Panyu Jiangnna universiry wuxi 214000 Abstract ： Image mosaic is a technology that carries on the spatial matching to a series of image which are overlapped with each otherand finally builds a seamless and high quality image which has high resolution and big eyeshot compared with a single image Image mosaic is an important research field of image processing,and has widely applications in the fields of photogrammetry,computer vision，remote sensing image processing,medical image analysis，computer graphic and so on.Image registration and fusion of images are two key technologies of image mosaics. Image Registration is the foundation of image fusion, and generally very large amount of Image Registration algorithm for computing, and image stitching technology development depends to a large extent on Image Registration technique innovation. Key words ： Image mosaics ; panoramic images ; figure to match prospective ; image fusion1 引言 图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅大型的无缝高分辨率图像的技术。使用普通相机获取宽视野的场景图像时，因为相机的分辨率一定，拍摄的场景越大，得到的图像分辨率就越低；而全景相机、广角镜头等不仅非常昂贵，而且失真也比较严重。为了在不降低图像分辨率的条件下获取超宽视角甚至360。的全景图，利用计算机进行图像拼接被提出并逐渐研究发展起来。现在，图像拼接技术已经成为计算机图形学的研究焦点，被广泛应用于空间探测、遥感图像处理、医学图像分析、视频压缩和传输、虚拟现实技术、超分辨率重构等领域。图像配准和图像融合是图像拼接的两个关键技术。图像配准是图像融合的基础，而且图像配准算法的计算量一般非常大，因此图像拼接技术的发展很大程度上取决于图像配准技术的创新。早期的图像配准技术主要采用点匹配法，这类方法速度慢、精度低，而且常常需要人工选取初始匹配点，无法适应大数据量图像的融合。近十年来，许多图像自动拼接技术被提出并实现。1992年，剑桥大学的Brown概述了图像配准技术的基本理论以及主要方法。2003年，Zitov6等人综述了随后十年的图像配准领域的相关方法 。2004年，国内关于图像拼接技术的综述性文献 把图像拼接技术分为基于自适应流形和基于人工确定流形两类进行论述，但是一些较新的技术没有介绍。2 综述2.1 图像拼接技术的特点图像拼接技术是以多幅图像为处理对象，需要对两幅或两幅以上的图像进行综合的分析，因此相对于图像压缩、图像分割、图像编码等图像处理技术来说，有其自身的特点115l：多样性、针对性和复杂性。1、多样性客观世界中的自然物体和人造物体种类繁多、形状各异，使得图像的内容千变万化；由于光照条件的变化和景物中不可避免的物体移动，所以相机从不同角度采集的图像之间以及在不同时间采集的同一物体的图像之间都存在着差异；相机在采集图像的过程中，存在着多种运动方式，如平移、旋转、倾斜等，这也使得到的图像具有不同的特点。以上多方面的原因造成了图像拼接技术的处理对象的复杂性和不可把握性，也决定了图像拼接技术的多样性。因此，对于不同类的图像，需要不同的处理方法。2、针对性不同内容的图像，以及在不同条件下得到的图像，如柱面图像、球面图像和视频图像序列等，它们都具有鲜明的特点。因此，针对这些特点产生了特定的图像拼接算法。一般来说，图像拼接算法的针对性都很强，对于某种条件下产生的图的拼接算法可能完全不适用于另一条件下产生的图像。3、复杂性从图像的采集到生成无缝的全景图，中间需要经过多个环节。这就决定了图像拼接技术具有复杂的特点，图像拼接算法一般都是多种处理手段和算法的总和。图像拼接技术的特点决定了它没有标准的测试图像，也没有统一的评价标准，衡量一个算法的优劣主要靠人的主观视觉感知。2.2 图像拼接流程 图像拼接的方法很多，不同的算法步骤会有一定差异，但大致的过程是相同的。一般来说，图像拼接主要包括以下五步：a)图像预处理。包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作。b)图像配准。就是采用一定的匹配策略，找出待拼接图像中的模板或特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系。C)建立变换模型。根据模板或者图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立丽幅图像的数学变换模型。 d)统一坐标变换。根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换。e)融合重构。将带拼接图像的重合区域进行融合得到拼接重构的平滑无缝全景图像。2.3 图像的缝合图像缝合的主要目的是保证在图像与图像的重叠区域能够连续, 并且没有可见的缝合线。目前存在很多图像重叠区域的缝合方法，主要包括：1、直接平均法将配准后图像之间的重叠区域对应像素点的灰度值直接进行叠加求平均，相当于对图像进行了低通滤波，最终的拼接图像中会存在较为明显的痕迹。若场景中存在运动目标，则最终的拼接图像中沿着运动目标的轨迹会产生“鬼影”(ghost-like)现象。2、中值滤波法该方法对配准的图像的重叠区域进行中值滤波，在一定条件下，能够克服直接平均法所带来的图像细节模糊的现象，保持具有较高的空间频率的图像内容，但在最终的拼接图像中仍然存在明显的痕迹。3、加权平均法加权平均法类似于直接平均法，但重叠区域的像素值不再是简单的叠加，而是先进行加权后再叠加平均.对每帧图像来说，图像的中心区域的像素具有较高的权值，图像边缘区域的像素的权值较低，这样可以实现图像内容的平滑过渡，有效的消除图像中的拼接痕迹。4、多分辨分析法该方法首先将图像分解成一系列具有不同分辨率、频率特性及方向特性的子带图像，然后在各层子空间上进行拼合，最后利用重构算法合成出原分辨率下重叠区域的图像数据，即可得到拼合后镶嵌图像。该方法能够有效地实现图像内容的平滑过渡，但计算较为复杂2.4图像融合技术在获得待配准图像之间的空间变换关系之后，为了得到合成图像，就需要选择合适的图像融合策略，来完成图像的拼接。所谓图像融合是指综合两个或多个源图像的信息，以获取对同一场景的更为精确、更为全面、更为可靠的图像描述。图像融合作为信息融合的一种有力工具，已广泛地应用于军事、遥感、机器人视觉和医学图像处理等领域。根据图像的表征层来划分，图像融合可分为三类：像素级融合、特征级融合和决策级融创矧。像素级(数据级)融合是在图像严格配准的条件下，直接进行像素关联融合处理；特征级融合是在像素级融合的基础上，使用模式相关、统计分析的方法进行目标识别、特征提取，并得到融合结果；决策级融合主要是基于认知模型的方法，采用大型数据库和专家决策系统，模拟人的分析、推理过程，以增加判决的智能化和可靠性。像素级融合是最基本的处理手段，也是研究最多的一种，目前主要有以下几种方法：一、平均值法对于待拼接的两幅图像，配准后图像之间重叠区域像素点的灰度值采用其重叠区域的平均值.二、加权平均法加权平均融合法类似于平均值法，但重叠区域的像素值不再是简单的叠加，而是先进行加权后再叠加平均。三、中值滤波法中值滤波法的主要思想是利用中值滤波器来处理重叠区域像素。将中值滤波器作用在边界附近区域，当某个像素的灰度值与周围像素的灰度值差别较大的时候，对这个像素进行中值滤波从而使它的值接近于周围像素的值，这样就会消除光强的不连续问题。中值滤波法能够克服直接平均法所带来的图像细节模糊的现象，保持具有较高的空间频率的图像内容，在场景存在运动目标的情形下，能突出运动目标，保持原有的背景。故该方法可以用于某些需要提取运动目标和保持原有背景的场合。四、多分辨率技术从符合人眼视觉特性和观察特点出发，多重灰度图像的融合一般采用多分辨率结构(MultiresolutionArchitecture)进行相应的像素级处理。常用的多分辨结构有高斯金字塔(Gaussian Pyramid)、拉普拉斯金字塔(Laplacian Pyramid)、对比度金字塔、梯度金字塔和小波等。文献351采用Laplacian多分辨率金字塔方法，首先将图像分解成一系列具有不同分辨率、率特性及方向特性的子图像，在每个分解的频率上，将图像重叠边界附近加劝，然后利用重构算法将所有频率上的图像拼合成原分辨率下的全景图像。多分辨率样条法是在频域上处理边界附近区域，因此工作量相对比较大，但融合质量高，具有很高的应用价值。2.5全景图像 251立方体全景图立方体全景图像是由空间全方位六个平面图像投影到立方体表面拼接而成。通常获得立方体全景图的方式有以下三种：(1)使用三维软件来生成无缝拼接于一个立方体的6个表面上的贴图；(2)使用特殊的拍摄装置，依次在水平、垂直方向图像拼接技术研究每隔90度拍摄一张照片，将获得的6幅照片无缝拼接成立方体全景图；(3)使用180度鱼眼镜头，拍摄得到两张半球状照片，经过处理，得到一张长宽比为2：1的矩形图片，再使用相关软件将其转换为六幅立方体图片。252球面全景图球面全景图是将普通相机拍摄的相片经拼接形成一个球面的形状。拍摄球面全景图像时，将相机固定在三角架上，以相机的镜头中心为旋转中心，分别以空间两个互相垂直的轴(世界坐标系的X轴和Y轴)为旋转轴，旋转相机拍摄。首先将相机向上仰起60。，平转相机一周进行拍摄；然后平放相机，再平转相机一周进行拍摄；最后将相机向下倾斜604，平转相机一周进行拍摄，这样就可以完整地采样视点空间中的所有景物信息。253柱面全景图柱面全景图是指在观察点固定的情况下，将相机固定在三角架上，在同一水平面内旋转一周拍摄场景，得到一组具有重叠区域的连续环视图像序列，荐对图像序列作适当的柱面投影变换，得到统一坐标空间上的柱面图像序列，然后在该柱面空间上使用合适的算法对相邻的柱面图像进行拼接，形成一幅完整的360度柱面全景图像。柱面全景图在水平方向能够实现360度的环视，而在垂直方向用户视线的转动角度小于1806，但在绝大多数应用中，横向360度的环视环境已足以表达空间信息，故柱面全景图是虚拟环境的较为理想的选择。 2.6图像拼接前景展望 图像拼接技术作为数字图像处理的一个重要分支，不断与其它学科结合，发展速度日新月异，但是还有许多问题需要进一步解决。目前国内外对图像配准和图像融合技术的研究还不够系统、不够深入，还没有形成完整的理论框架和体系。无论在理论上还是在应用上均处于初级阶段，还需做大量深入、细致的研究工作。根据作者对图像拼接技术研究和体会，总结出图像拼接技术在以下几个方面有待于进一步研究：1、较大几何位置差别条件下的配准技术的实现。在待配准图像之间有较大的尺寸比例差别、较大的旋转角及较大的平移时甚至还伴随着各自图像的畸变，或存在较严重的几何校正残余误差等情况下的配准，是图像配准技术存在的最大的困难。许多算法在上述差别较小时适用，当图像灰度差别增大时适用区域受到了限制，如何提高算法的适用性，开发智能型的通用的图像配准方法是图像配准技术追求的最高目标。2、阙值的自适应选取。现有的图像配准方法中很多都需要选取阈值，通常凭经验人工选取阈值，而阈值的选取直接影响到配准结果。本文的算法在特征点的提取、特征点的初始匹配以及误匹配的剔除中都涉及到了阈值的选取，如果能够实现阈值的自适应选取，会有效的增强方法的健壮性。3、高配准率快速配准算法的实现。目前，高配准率快速的图像配准算法的研究有着很大的实用价值和前景，在导弹的地形和地图匹配制导、序列图像目标分析、跟踪、识别、雷达目标跟踪与识别等应用中都要求高配准率下的快速图像配准。但目前已有的基于灰度的图像配准方法中遍历的搜索和基于特征的图像配准方法中的特征匹配都是比较耗时的运算，当待配准的图像寸变大时，图像数据量增大，特征点数量随之增多，特征匹配的计算量更是呈几何级数增长，在这种情况下要实现高精度的配准，必然占用较长的运算时间。而传统的利用人工选