图像融合-图像拼接实习报告论文.doc

图像融合图像拼接1）综述图像融合的方法；2) 选择合适的目标（可以使风景、建筑、汽车等），自行用数码相机采集子图像；3）将子图像转换为灰度图像;4）设计图像算法并编写程序，实现两幅图像的拼接；提示：1）拍摄的左右子图像，必须是在相同距离、同等光照下拍摄的正面图像；2）要有一个明确的标识出现在左右图像中。3）可以先用windows画图工具生成简单图像进行算法测试，然后在用真实图像。1 引言12 图像融合拼接的方法22.1 图像配准32.2 图像处理32.2.1中值滤波法消除拼接缝42.2.2利用小波变换的方法消除拼接缝42.2.3利用加权平滑的方法消除拼接缝53 图像拼接算法5参考文献5附件：程序6图像融合图像拼接摘 要：选择图像拼接就是想两张图像拼接在一起是别人看不出来是两张图片，能完美的将两张图片拼接在一起。图像拼接技术可以解决由于相机等成像仪器的视角和大小的限制，不能产生很大图片的问题。所谓 “图像拼接”就是将两幅或者两幅以上相邻间具有部分重叠的图像进行无缝拼接， 生成一张具有较宽视角的高分辨率图像或者360度视角的全景的技术，涉及到计算机视觉，计算机图形学，图像处理以及一些数学工具等。该技术为图像降运动物体去除，模糊消除噪，视场扩展，空间解析的提高，和动态范围增强提供了可能性。对图像拼接的两个主要过程：图像配准和图像融合分别进行了详细介绍。图像配准是图像拼接的核心技术，本文还对现有的图像配准方法进行归类总结，对每个配准算法进行优缺点描述。对目前现有以及常用的图像融合方法也进行了详细的介绍。最后提出了图像拼接技术不足。关键词：图像拼接 图像配准 图像融合1 引言这个学期我们学习了图像处理这门课程，这么课程主要是讲解了对于图片的处理以及一下如何处理图片的方法。图像拼接现在在我们的生活中越来越多的出现了，我们可以看到许多图像都是有图像融合、图像拼接技术做出来了。我们有时候会遇见一些状况，我们出去玩的时候由于地方太小了，我们的照相机不能找到全部的图片，现在我们学习了图像拼接技术。可以将我们需要照相的东西照成两份，然后在通过拼接技术来完成一副完好的图像这个就是我们李忠学历这个技术的需要。现在图像拼接技术最早是用于航空航天领域，现在已经广泛的应用于数字视频、模拟现实技术以及图像分析领域。图像拼接的前提条件是相邻图像之间有一部分在逻辑上是相同的, 即必须有一定的重合。拼接的主要工作就是确定相邻图像在宽度,高度上的重叠程度去掉重叠, 进行平滑连接得到全景图像。这就是图像融合图像拼接技术。下面是一张经过拼接的图片，经过三张粉笔拍出来的照片经过拼接处理之后得到的。上面那一幅图就是有三张图片拼接而成的一张图片，我们不会以为他是拼接出来的。因为图片拼接技术现在已经很成熟了，我们可以处理各种各样的图片。完成我们需要的图片。但是我们只是可以做到肉眼上的看不到图像拼接的缝隙，但是在计算机上还是可以验证出来图片是不是被拼接的。2 图像融合拼接的方法图像拼接的前提条件是相邻图像之间有一部分在逻辑上是相同的，即必须有一定的重合。拼接的只要工作就是确定相邻图像在宽度、高度上的重叠程度，去掉重叠，进行拼花连接得到全景图像，图像拼接的一般步骤：（1）借助摄像设备拍摄场景图像序列；（2）讲所有帧图像数字化，以便于计算机进行处理；（3）对于图像进几何校正（非必须），是相同的场景在图像重叠所在的图像具有相同的形状个一直的空间相对位置；（4）确定配准算法，用算法对图像进行配准定位；（5）进行图像融合，消除拼接的接缝；（6）输出完整图像。其中图像拼接的一般过程又可以归纳为主要是图像配准和图像融合两个步骤。当然对于一些几何严重变形的图像需要在配准之前进行图像几何校正。其中图像配准是图像拼接的核心。12.1 图像配准所谓的图像配准就是把同一场景在不同时刻，不同视角，不同传感器下拍摄的图片进行空间上的对齐与灰度上的融合。图像配准的依据是图像之间的相似性。由图像的获取方式，将配准问题大致的分为四类：(1)不同的观察点获取的图像之间的配准(多观察点配准)，一般选用透视变换的方法，主要应用在计算机视觉中；(2)不同的时间获取的图像之间的配准(时间序列配准)。方法特点是需要容忍图像的差异和形变对配准造成的影响，(3)不同传感器获取的图像之间的配准(多模态配准)。(4)场景到模型的配准(模板匹配)。图像配准理论上可以定义为：两幅待配准的图像。2.2 图像处理图像融合的主要问题是如何使拼接的两幅图像在拼接之后不出现明显的拼接接缝,在亮度上没有明显的差别。目前图像融合的方法很多,主要的方法有三种:重叠区域图像数据 的拼接合并时只使用一次。重叠区域图像数据在合并时简单取平均；重叠区域图像数据在进行数据融合时采用淡入淡出的思想,使拼接后的图像过渡区平滑自然。经典的算量大, 精度低.块匹配,计算量大,精度高。网格匹配，很难选择好初始步长。(3)基于特征的方 法可分为四个步骤:特征提取,征匹配,换模型评估,像插值和重采样,常特变图用的插值方法有三种: 最近邻插值,样条插值,和双线性插值。确定了图像配准的方法,图像拼接的方法也 就随之而确定出来了,目前基于特征的图像拼接方法最为常见。把基于像素的方法和基于特征的方法相结合起来是一个行之有效的方法。 图1 拼接前图 图2拼接前图图3拼接后完成图图4拼接前图将图3和图4在进行一次拼接得到图5 第二次拼接的完成图图6 拼接前图在通过拼接图5与图6得到图7完成拼接图7 经过三次拼接所得成品图2.2.1中值滤波法消除拼接缝中值滤波法是对接缝附近的区域进行中值滤波。对与周围灰度值差比较大的象素取与周围象素接近的值，从而消除光强的不连续性。中值滤波器处理接缝附近的狭长地带。该方法速度快，但质量一般。平滑的结果会使图像的分辨率下降，使图像细节分辨不出，产生图像模糊。2.2.2利用小波变换的方法消除拼接缝小波变换方法也是目前比较常用的一种方法，他充分利用小波变换的多分辨率特性，很好地解决了拼接图像的接缝问题。其原理为：由于小波变换具有带通滤波器的性质，在不同尺度下的小波变换分量，实际上占有一定的频宽，尺度j 越大，该分量的频率越高，因此每一个小波分量所具有的频宽不大，把要拼接的两幅图像先按小波分解的方法将他们分解成不同频率的小波分量，只要分解得足够细，小波分量的频宽就能足够小。然后在不同尺度下，选取不同的拼接宽度，把2 个图像按不同尺度下的小波分量先拼接下来，然后再用恢复程序，恢复到整个图像。这样得到的图像可以很好地兼顾清晰度和光滑度2 个方面的要求。但是，小波变换也存在缺点，如小波变换的算法比较复杂，需要在小波变换域内先进行拼接处理，在计算过程中涉及到大量的浮点运算和边界处理问题，对实际生产中的大容量图像进行处理时计算机内存开销很大，且处理时间较长，拼接速度慢。2.2.3利用加权平滑的方法消除拼接缝在实际中，使用较多的方法还有对重叠区域进行加权平滑的方法。这种方法的思路是：图像重叠区域中象素点的灰度值Pixel 由两幅图像中对应点的灰度值LPixel 和RPixel 加权平均得到，即：P ixel 一k X LPixel + ( l 一k ) X RPixel 其中：k 是渐变因子，满足条件：o k 1 ，在重叠区域中，按照从左图像到右图像的方向，k 由1 渐变至0 ，由此实现了在重叠区域中由左边重叠区慢慢过渡到右边重叠区的平滑拼接。23 图像拼接算法图像拼接中的关键步骤是图像配准,图像拼接的算法在很大程度上也是由图像配准的方法决定的。归纳目前图像配准的文献。可以把图像配准方法分为3类:(1)基于频域的(相位相关度方法)Fourier变换位移理论:设f2(x,y)为 f1(x,y)在 x 和 y 方向分别平移 x0 和y0 后的图像, 即: f2(x,y)=f1(x- x0,y- y0).若 f1 和 f2 对应的傅立叶变换分别为 F1(u,v)和 F2(u,v)则它们之间有如下 关 系: F2(u,v)=F1(u,v)e - j(ux +vy ), 则 f1(x,y)和 f2(x,y)的互功率谱其 中 F*2 表示 F2 的复共轭。进行傅立叶逆变换, 在(x,y)空间的 (x0,y0)处将形成一个单位脉冲函数,脉冲位置即为两幅被配准图像间的相对平移量和。傅立叶变换处理具有平移旋转的图像一般是先进行旋转,再进行平移。该方法具有简单而精确的特点,后来成为了最有前途的图像配准算法之一,但是相位相关度法一般需要比较大的重叠比例(通常要求配准图像之间有50% 的重叠比例),如果重 叠比例较小,则容易造成平移矢量的错误估计,从而较难实现图像的配准。(2)基于像素灰度级的方法:一般是取出待匹配图像的重叠部分有特征的像素,通过评价函数给出待配准图像与基准图像之间的相似度值。常用的评价函数有互相关。如果两幅图像完全匹配则，互相关系数达到最大值。还有利用两幅图像灰度差值平方和最小的评价函，使得根E 取得最小值的像素区域位置,即为最佳匹配位置。3参考文献1中 文 核 心 期 刊 微 计 算 机 信 息 管 控 一 体 化 )2006 年 第 22 卷 第 10-3 期 2现场总线技术应用 200 例-256-3贺彬，王国宇。不同视点图像拼接算法附件：程序源程序：#include stdafx.h#include Zoom.h#include cdib.h#include #include LPBYTE WINAPI Zoom(CDib* pDibBase , LONG Begin, LONG End)/ 基准图象的宽度和高度LONG lWidth, lHeight;lWidth = pDibBase-m_lpBMIH-biWidth;lHeight= pDibBase-m_lpBMIH-biHeight;/ 计算结果图象的存储大小尺寸CSize sizeBase;sizeBase = pDibBase-GetDibSaveDim();/ 截图后图像的宽度和高度LONGlNewWidth;LONGlNewHeight;/ 截图后的图象CDib* m_pDibResult; /如果输入的Begin 小于0 则if(BeginlWidth)End=lWidth;/ 计算截图后的图像实际宽度/ 此处直接加0.5是由于强制类型转换时不四舍五入，而是直接截去小数部分lNewWidth = (LONG) (End-Begin);/ 计算图像高度lNewHeight = lHeight;/ 将此图象用CDib类封装m_pDibResult = new CDib(CSize(lNewWidth,lNewHeight), 8); / 计算结果图象的存储大小尺寸CSize sizeSaveResult;sizeSaveResult = m_pDibResult-GetDibSaveDim();/ 拷贝调色板memcpy(m_pDibResult-m_lpvColorTable, pDibBase-m_lpvColorTable, m_pDibResult-m_nColorTableEntries*sizeof(RGBQUAD);/ 应用调色板m_pDibResult-MakePalette();/ 指向BITMAPINFO结构的指针（Win3.0）LPBITMAPINFOHEADER lpbmi;/ 指向BITMAPCOREINFO结构的指针LPBITMAPCOREHEADER lpbmc;/ 循环变量（象素在新DIB中的坐标）LONGi;LONGj;/ 象素在源DIB中的坐标LONGi0;LONGj0;/ 获取指针lpbmi = (LPBITMAPINFOHEADER)m_pDibResult-m_lpImage;lpbmc = (LPBITMAPCOREHEADER)m_pDibResult-m_lpImage;/ 对于其它格式的DIBlpbmc-bcWidth = (unsigned short) lNewWidth;lpbmc-bcHeight = (unsigned short) lNewHeight; / 分配内存给合并后的图象 LPBYTE lpImgResult; lpImgResult = (LPBYTE)new unsigned charsizeSaveResult.cx * sizeSaveResult.cy; / 分配内存给合并后的图象 LPBYTE lpBase; lpBase = (LPBYTE)new unsigned charsizeBase.cx * sizeBase.cy; /指向源图象的指针 LPBYTE lpImage ; lpImage = pDibBase-m_lpImage;/ 针对图像每行进行操作for(i = 0; i l