07通信图像配准初稿

1、科技学院 2011 届本科图像超分辨算法的研究与实现图像配准专业：通信工程指导教师：刘洪：周靖学生学生学号： 072004111473中国贵阳2011 年 5 月图像超分辨算法研究与实现图像配准摘要超分辨算法是增强图像或分辨率的技术，它的目的是使输出的图像或的分辨率比输入的任意帧的分辨率都高。随着社会的发展，科学进步越来越快，人们对医学，遥感，军事，天文等各方面的图像质量的要求也越来越精细，这样将有效的提高目标的识别能力和定位测量的精度。由于某些物理条件的限制，人们得到的往往是低分辨率图像，这就不能满足人们的需要，于是人们利用多幅低分辨图像来重建获得超分辨图像。超分辨图像的重建主要利用低分辨率

2、图像之间存在着像素内位移，而这些不同位移的低分辨率图像均含有原始高分辨率图像的信息，这也是超分辨率图像重建的依据。图像超分辨重建技术通常由配准和重建两个串行的步骤：首先利用子像素级的图像配准技术将所有的低分辨率图像变换到高分辨率图像的坐标系统中，然后利用重建算法对这些不规则的采样点进行超分辨率重建，以此获得高分辨率的图像。对低分辨率图像进行精确配准是实现图像超分辨重建的关键。因此，本文主要研究的是图像配准的方法以及图像配准的实现。：超分辨率重建；图像配准；配准算法Image super resolution algorithms and implemenionImage registratio

3、nAbstractSuper resolution algorithm is enhanced image orresolution technology, its pureis to make the output image orresolutionn any frame resolution input is higher.With the development of society, the scientific progress faster, people to medical, remotesensing, military, astronomy and so on vario

4、us aspects of image quality requirements areincreasingly fine, so as to improve measurement.Because some physical limirecognition ability anditioning the accuracy ofions, people get is often low resolution image, it cansatisfy peoples needs, so people use of low resolution image to rebuild get super

5、 resolutionimages. Super resolution image reconstruction main use low resolution image exist betnpixel displacement, and these different withhe displacement of low resolution images arecontains original high-resolution images of information, this is also the basis ofsuper-resolution reconstruction i

6、mage. Image super resolution reconstruction techniqueusually consists of registration and reconstruction two serial steps constitute:sub-pixel levels of image registration technology will all the low resolution imageusetransformation to high resolution image coordinate system, and by using the recon

7、structionalgorithm of sresolution images.ling of these irregular po, super-resolution reconstruction to obtain highAccuraow-resolution images to achieve image registration is the key tosuper-resolution reconstruction. Therefore, this pmethod and image registration is realized.r mainly studies is ima

8、ge registrationKey wordper resolution reconstruction，Image registration ，Registration algorithm摘要IAbstract.II第一章绪论11.1研究背景11.2超分辨重建基本流程21.3超分辨重建与图像配准的关系21.4关于的相关介绍第二章 图像配准2.1 图像配准定义2.2 图像变换类型2.3 图像配准算法分类第三章 图像配准算法介绍3.1 空域图像配准3.1.1 基于级数展开的配准算法3.1.2 基于梯度的方法3.2 基于块的配准算法3.2.1 HBS 算法3.2.2 MVCB 算法3.3 基于光流

9、的配准算法3.3.1 多分辨分层算法3.3.2 基于背景配准的光流算法第四章 keren 算法Keren 算法原理Keren 算法实现流程超分辨重建插值算法第五章实验结果5.1 Keren 配准与超分辨重建结果致谢参考文献第一章 绪论随着图像处理应用的发展，对图像的分辨率的要求越来越高。人们曾提出通过使用高精密度的成像设备，来提高获取图像的分辨率，但这种仅通过改善硬件设备的方给使用者带来较高的费用支出，同时硬件改善的技术非常，而且很难在短时间内克服。因此又有人提出从方面着手，采用超分辨率重建技术来提高图像分辨率有着极大的实用价值，并且较于通过硬件改善来获得要简单得多。超分辨率重建需要解决以下问

10、题：首先利用子像素级的图像配准技术将所有的低分辨率图像变换到高分辨率图像的坐标系统中，然后利用重建算法对这些不规则的采样点进行超分辨率重建，以此获得高分辨率的图像。为了实现超分辨率重建算法，需要寻找输入序列中图像之间高度精确的点对点的对应关系，该过程即为图像配准。本章简述了本课题的研究背景、图像超分辨重建的基本知识和图像超分辨重建和图像配准的关系，以及的基本介绍。1.1 研究背景人类的认知过程里有很大一部分是通过图像来获取，高分辨的图像可以为人们更好的处理问题提供有用的信息。因此，高分辨率的图像在诸多领域都们不断地追求着，例如，图像的目标识别，地质结构的分析，医学图像的等，都对图像的分辨率有着

11、极高的要求。但是人们以前通过提高成像设备的精度来获取高分辨图像的想法，由于受到在图像时的气候，运动，噪声等的影响，导致图像的模糊和变形，使图像的分辨率下降，从而不能够满足科研的需要。再者，高精度的成像设备价格昂贵，在普通的应用中无法使用，另一方面，由于成像系统受其传感器阵列密度的限制，高密度的图像传感器目前已接近极限，例如在 0351m 的CMOS 技术水平下，一个像素的面积为 40m 2，难以进一步减小。提高空间分辨率的另法是增加尺寸，但它会导致电容的增加，电容的增加会减慢电流的传输，因此增加的尺寸的方法被认为是无效的。由于以上的情况，越来越多的人开始关注应用的方式获得高分辨图像的方法，这种

12、方法被称为图像超分辨重建技术。分辨率通常是指成像系统的分辨率和显示或硬拷贝输出图像的信源总数，其中成像系统的分辨率与成像过的光学系统有关。超分辨率重建技术旨在同时改善这两个方面的分辨率。目前，图像超分辨重建已经在很多领域广泛应用，如图像，医学研究，系统等，因此图像超分辨重建技术的研究具有十分重要的意义。1.2 超分辨重建基本流程超分辨重建是通过输入的低分辨率图像来估计输出的高分辨图像，它的主要流程有：（1）.图像配准，对低分辨率图像组进行配准。图像配准是在各帧图像之间寻找最佳的变换，使图像的内容达到空间上对齐；（2）.高分辨率插值，配准后的图像被投影到高分辨率网格上时是非均匀分布的，因此，需要

13、再通过直接的或迭代的插值过程产生均匀一致的高分辨率图像；（3）.消除模糊噪声，经过以上 2 步后得到的图像还只是高分辨率图像的一个模糊、含噪的版本，需对其进行图像复原以消除模糊和噪声。1.3 超分辨重建与图像配准的关系图像超分辨重建技术通常由配准和重建两个串行的步骤：首先利用子像素级的图像配准技术将所有的低分辨率图像变换到高分辨率图像的坐标系统中，然后利用重建算法对这些不规则的采样点进行超分辨率重建，以此获得高分辨率的图像。图像配准是图像超分辨重建的取得成功与否的一个重要环节。由于配准算法只能利用低分辨率图像序列上的信息，所以，很难达到精确的配准精度，而不精确的图像配准造成的影响比缺少配准信息

14、的更大，所以具有子像素精度的图像配准算法十分重要。虽然目前已经研究出了许多配准算法，但在实际应用中仍然无法获得令人满意的效果，同时这些配准算法的适用场合也是非常有限的。因此需要寻求一种更为可行的算法这有可能同时提高配准精度和重建算法的效果，提高其精度和拓宽其适用的范围。1.4 关于的相关介绍是矩阵（Matrix Laboratory）的简称，是Math Works公司的商业数学，用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境，主要包括和两大部分。1.4.1 基本功能主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以

15、及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言（如 C、Fortran）的编辑模式，代表了国际科学计算的先进水平。它在数学类科技应用中在数值计算方面首屈一指。可以进行矩阵运算、绘制函数和数据、实现算法、创建用户界面、连接其他编程语言的程序等。1.4.2 应用可以用来做以下工作：数值分析；数值和符号计算；工科学绘图；控制系统的设计与仿真； 数字图像处理技术；数字信号处理技术；通讯系统设计与仿真；财务与金融工程。其主要的应用领域是：工程计算、控

16、制设计、信号处理与通讯、图像处理、信号检测、金融建模设计与分析。的基本数据是矩阵，它的指令表达式与数学、工常用的形式十分相似，故用来解算问题要比用 C，FORTRAN 等语言完成相同的事情简捷得多，并且也吸收了像 Maple等的优点,使成为一个强大的数学。1.4.3 特点具有如下特点：1）高效的数值计算及符号计算功能,使用户从繁杂的数算分析中解脱出来;2)具有图形处理功能,实现计算结果和编程的可视化;3)友好的用户界面及接近数学表达式的自然化语言,使学者易于学习和掌握;4)功能丰富的应用工具箱(如信号处理工具箱、通信工具箱等) ,为用户提供了大量方便实用的处理工具。1.4.4 优势（1）友好的

17、工作和编程环境；（2）简单易用的程序语言；（3）强大的科学计算机数据处理能力；（4）出色的图形处理功能；（5）应用广泛的模块集合工具箱；（6）实用的程序接口和发布；（7）应用的开发。本文所用到的是的部分。第二章 图像配准由于社会的不断发展，图像配准已在多种领域广泛。通过对图像超分辨的学习和研究，使图像配准能为社会来长足进步，令学生在领域应用所学知识，而且学生可以根据自身的行动的反馈来形成对客观事物的认识和解决实际问题的方案，从而提高图像配准在各方面的质量和精度，从而使图像配准在军事科研，影视等方面进一步提高。2.1 图像配准定义图像配准(Image registration)就是将不同时间、不

18、同传感器或不同气候、照度、摄像位置和角度等条件下获取的两幅或多幅图像进行匹配、叠加的过程。简而言之，图像配准的过程就是寻求图像间一对一的过程，是将图像中对应于空间同一位置的点联系起来。如果待融合图像能够很好的经过亚像素精度的配准，就可以通过有效的融合算法得到满意的融合图像。配准结果的好坏直接影响图像融合的结果。(1).图像配准模型假设有给定尺寸的二维矩阵I1和I2代表两幅图像I1(x，y)和I2(x，y)分别表示相应位置(x，y)上的灰度值，则图像间的可表示为：X1X2X3X4X7X5X8X6X9（a）中心点在垂直方向上的偏导基于特征的算法、基于光流的算法、基于块的算法、像素递归算法和最大后验

19、概率算法。a).基于级数展开的算法，对图像帧之间运动较小的情况能获得比较精确的配准精度，可以用迭代法求解具有较大偏移量和旋转角的图像；b).基于特征的算法是利用提取到的特征完成帧间图像特征之间的匹配，通过特征的匹配关系建立图像间的配准变换，通常所用到的图像特征有：角点、高曲率点、直线段、边缘、重心等等；c).基于光流的算法依赖于亮度值的瞬间变化(光流是指图像中的亮度模式在运动过的表观速度)。它包含有两个方程：光流方程和在求解速度矢量的两个分量的过所必需的方程；d).基于块的算法是将各图像帧分解成图像块，并假设图像块中的像素具有大致相同的运动；e).像素递归算法是在某一像素的因果邻域上获得位移帧

20、差值的最小值，这个过程可以递归更新该像素的配准情况；f).最大后验概率算法在最近几年已成为研究的热点。这些算法的优点是可以产生精确的配准精度，缺点是运算复杂度很高。（2）.频域法频域法利用相位差来实现图像配准，通过两副图像的相位相关性可获得与频率相关的噪声的特性。大多数频率域的方法基于这样的事实: 两幅相对平移的图像在频率域上表现为相位的移动, 两者相位相关性就可以估计平移值。而旋转和缩放尺度的估计, 是通过对频谱的幅值作对数极变换, 将估计旋转和缩放问题转换成估计水平与垂直平移问题后, 再用相位相关法估计。这种算法局限于全局运动模型，对图像转换形式较为复杂的情况为力，而且它既不能考虑图像模糊

21、对图像运动的影响，也不能加入运动的先验约束。第三章 图像配准算法介绍图像配准的基本流程如下：第一步，先对两幅图的特征点进行提取；第二部，通过进行相似性度量找到匹配的特征点对；第三部，再通过匹配的特征点对得到图像空间坐标变换参数；最后，再由空间变换参数进行配准。3.1 空域图像配准空间域的方法通常考虑一般的运动模型，可以基于整个图像或是选择一些相应的特征向量。以下介绍两种空域配准方法。3.1.1 基于级数展开的配准算法Keren 等提出了基于展开的图像配准方法。该方法对噪声具有一定的鲁棒性,但由于取级数的近似值, 适用于估计位移变化不大的配准问题，对于有较大的偏移量和旋转角的情况可通过迭代的方法

22、求解。该算法的如下:假定g和f分别表示位移前后的图像，a是水平位移，b是垂直位移，旋转角为其中b) 经过计算得到运动参数的近似值, 将解加到已有的运动估计上;c) 用b) 中得到的运动估计调整f再将调整后的f代入步骤b) 。迭代一次, f对运动参数的修正越来越小, 参数也越来越精确。近g一步,3.2基于块的配准算法基于块的配准算法是把一帧实时图像分为若干个大小相等的子图像块，将每一子图像块作为模板在相邻参考帧图像中的一定搜索范围内进行相关计算，根据匹配准则，找出最优匹配位置，该位置对应的二维位移偏移量(dx,dy)即可作为模板子图像块运动速度矢量的估计值。其运算量和配准效果主要取决于匹配准则和

23、搜索策略两个。匹配准则是判断块相似程度及最优点的依据,它的好坏将直接影响配准效果的好坏。目前，有四种常用的匹配准则：最小绝对差(MAD)、最小均方误差(MSE)、归一化互相关函数(NCCF)和求和绝对差(SAD)。搜索策略是指在搜索范围内如何选取匹配操作的搜索位置，以及在这些操作位置上如何应用匹配准则。3.2.1基于块的梯度下降法HBS(horizon-bias search)算法是一种基于水平偏置中心分布模型的搜索算法，它使用了两个偏向性的模板，其收索模板模型符合运动矢量的真实分布规律，有利于快速找到最佳运动矢量，且遍历一次模板所搜索的总点数更少，因而运动矢量分布在搜索中心及其附近，只需进行

24、一次模板搜索。因此，HBS算法比其他算法(如DS、HEXBS等)速度更快。3.2.2 MVCB算法MVCB(motion vector correlation based motionestimation algorithm)算法是基于运动矢量相关性的自适应运动估计搜索算法。其步骤如下：（1）根据当前块的坐标判断是否处于图像帧的边沿。若当前块为帧的第一行、第一列或最后一列宏块，则跳至步骤(4)，否则，转至步骤(2）；（2）根据矢量相关阈值，判断当前宏块左、上和右上3个相邻运动矢量间的相关性。若3个矢量两两相关，则宏块为相关类型宏块，转至步骤(3)；若3个矢量不为两两相关，则宏块为独立类型宏块，

25、跳至步骤（4）；（3）取3个相邻运动矢量为候选搜索中心，每个中心以及其上、下、左和右4个相邻点为候选搜索点，遍历候选搜索点，其中，对相互的点仅执行一次搜索。得到的最优匹配点对应的矢量即为当前块的运动矢量。跳至步骤(5)。（4）用HBS算法进行运动搜索得到当前宏的运动矢量。（5）搜索结束。一般的基于块的配准算法固定块的大小，因此存在如何选择合适的块大小问题。采用大图像块的优点是配准的稳定性较高，缺点是配准的精度较低；而采用小图像块的特点则与大图像块正好相和以上两者的优点，可以采用分级块配准算法来获取超分辨重建所需的子像素位移矢量。3.3 基于光流的配准算法光流是场景中可见点的三维速度矢量在像平面

26、的投影，基于光流的配准算法是用从图像序列中估算出的各目标的运动信息来确定图像间目标或点的对应关系或相对形变的算法。它利用了时空图像亮度梯度来对图像像素点的光流场进行估计。基于光流的算法具有诸多优点：(1)可以基本正确地检测子像素级的移动距离，精度较高；(2)与前两种配准算法相比，能检测相对复杂的运动；(3)具有较好的稳健性，易于实现。下面介绍两种基于光流的算法。3.3.1 多分辨分层算法多分辨分层算法首先由金字塔分解成不同的分辨层，然后再将最低分辨层计算好的流速到下一层，并最为流速初始值，再做进一步修正。多分辨分层算法克服了微分光流算法在计算高运动速度时带来，提高了计算精度。下面给出了偏微分方程：第四章 keren 算法Keren算法属于梯度算法,它是基于级数展开的配准方法，是Lucas - Kanade平移变换算法的基础上扩展到旋转 -