（模式识别与智能系统专业论文）图像超分辨率重建中的配准算法研究.pdf

硕十论文图像超分辨牢重建中的配准算法研究 摘要 图像超分辨率重建技术是一种利用同一场景的有相互位移的多帧低分辨率图像 来重建高分辨率图像的技术。此技术旨在突破图像采集设备的分辨率限制，通过信息 融合技术实现图像分辨率的提高。它通常由配准和重建两个串行的步骤构成：首先利 用子像素级的图像配准技术将所有的低分辨率图像变换到高分辨率图像的坐标系统 中，然后利用重建算法对这些不规则的采样点进行超分辨率重建，以此获得高分辨率 的图像。显然，图像配准是实现超分辨率重建的前提，其结果在很大程度上影响着重 建的效果。目前，超分辨率重建中常用且有效的配准算法是基于光流的算法。 本文着重研究基于光流的配准算法，同时也探讨由一个彼此间存在相对运动的、 模糊的、下采样的、含噪声的低分辨率图像序列重建一幅高分辨率图像的理论和方法。 论文主要的研究成果如下： ( 1 ) 基于光流的配准算法研究。首先分析了l u c a s k a n a d e 和h o m s c h u n c k 这 两种经典光流算法中参数的选择对光流场估计结果的影响。然后提出了一种基于耦合 偏微分方程的全局平滑约束算法，并在此基础上将局部平滑约束嵌入到全局平滑约束 算法之中得到混合算法，使之对降质图像也能较好地估计出光流。最后对新算法中的 参数p 给出了一种自适应选择的方法。 ( 2 ) 配准后的超分辨率重建技术研究。首先对超分辨率重建的基本理论进行了 比较全面、客观的论述。然后在新配准算法的思路上提出一种基于耦合偏微分方程正 则化方法的超分辨率重建算法，该算法不仅抑制了平坦区域中的随机噪声，而且具有 较好的纹理保持特性。最后在新配准算法和新重建算法的基础上实现了超分辨率重 建，实验表明，新算法用于超分辨率重建能有效地提高重建图像的质量。 关键词：超分辨率，图像配准，光流，正则化，耦合 a b s t r a c t顾i j 论文 a b s t r a c t i m a g es u p e r - r e s o l u t i o n ( s r ) r e c o n s t r u c t i o ni s t h ep r o c e s so fp r o d u c i n gah i g h - r e s o l u t i o n ( h r ) i m a g ef r o mas e q u e n c eo fl o w - r e s o l u t i o n ( l r ) i m a g e s t h e s el ri m a g e s s h o u l dr e p r e s e n tt h es a m es c e n c e ，b u tw i t had i f f e r e n tr e l a t i v em o t i o n i to v e r c o m e st h e i n h e r e n tr e s o l u t i o nl i m i t a t i o nb yb r i n g i n gt o g e t h e rt h ea d d i t i o n a li n f o r m a t i o nf r o me a c hl r i m a g e s g e n e r a l l y , t h e r ea r et w os e r i a ls t e p si ns u p e r - r e s o l u t i o ni m a g i n g t h ef i r s ti st o e s t i m a t et h em o t i o np a r a m e t e r s t h es e c o n di st oa p p l yt h ei n f o r m a t i o no b t a i n e df r o mt h e d i f f e r e n tr e g i s t e r e di m a g e st ot h er e c o n s t r u c t i o no fas h a r ph r i m a g e s or e g i s t r a t i o np l a y s ac r i t i c a lr o l ei ns rr e c o n s t r u c t i o n a ne r r o ri nr e g i s t r a t i o nt r a n s l a t e sa l m o s td i r e c t l yi n t o d e g r a d a t i o no ft h er e s u l t i n gh ri m a g e a tp r e s e n t ，t h ec o m m o na n de f f e c t i v er e g i s t r a t i o n a l g o r i t h mi ni m a g es rr e c o n s t r u c t i o ni so p t i c a lf l o wb a s e dm e t h o d 。 t h i sp a p e rf o c u s e so no p t i c a lf l o wb a s e di m a g er e g i s t r a t i o n ，a n ds t u d i e st h ea p p r o a c h t oo b t a i nah ri m a g ef r o mo b s e r v e dm u l t i p l ew a r p e d ，b l u r r e d ，d e c i m a t e da n dn o i s yl r i m a g e s t h em a i nc o n t r i b u t i o n so ft h ep a p e ra r ea sf o l l o w s ： 1 o p t i c a lf l o wb a s e di m a g er e g i s t r a t i o ni ss t u d i e d t h ec l a s s i c a la l g o r i t h m s ，s u c ha s l u c a s k a n a d ea n dh o r n s c h u n c k ，a r ed i s c u s s e d ，w h e r et h er e s u l t so ft h eo p t i c a lf l o wf i e l d u s i n gd i f f e r e n tp a r a m e t e r sa r eg i v e n w ep r o p o s eag o b a lc o n s t r a i n ta l g o r i t h mb a s e do n c o u p l e dp a r t i a ld i f f e r e n t i a le q u a t i o n ，t h e nw ei n t r o d u c el o c a lc o n s t r a i n ts ot h a tt h eo p t i c a l f l o wo ft h ed e g r a d e di m a g ec a na l s ob ee s t i m a t e da c c u r a t e l y f i n a l l y ，w eg i v eaa d a p t i v e s e l e c t i o nf o rp a r a m e t e rpi nn e wa l g o r i t h m 2 s rr e c o n s t r u c t i o nt e c h n i q u ea f t e rr e g i s t r a t i o ni ss t u d i e d ac o m p r e h e n s i v er e v i e w o ft h eb a s i c t h e o r i e sa n dt e c h n i q u e so fs ri sa d d r e s s e d w ep r o p o s ear e g u l a r i z a t i o n m e t h o db a s e do nc o u p l e dp a r t i a ld i f f e r e n t i a le q u a t i o nt os l o v et h ei l l p o s e dp r o b l e mo fs r r e c o n s t r u c t i o n t h em e t h o dc a ne l i m i n a t er a n d o mn o i s ei nt h es m o o t hr e g i o n ，a n da l s oc a n p r e s e r v et e x t u r e f i n a l l y ，w er e a l i z es rr e c o n s t r u c t i o no nt h eb a s i so fn e wr e g i s t r a t i o n a l g o r i t h ma n dn e wr e c o n s t r u c t i o na l g o r i t h m t h ee x p e r i m e n t ss h o wt h a t t h en e w a l g o r i t h m su s e df o rt h es rr e c o n s t r u c t i o nc a ne f f e c t i v e l yi m p r o v et h eq u a l i t yo ft h e r e c o n s t r u c t i o ni m a g e k e yw o r d ：s u p e r - r e s o l u t i o n ，i m a g er e g i s t r a t i o n ，o p t i c a lf l o w , r e g u l a r i z a t i o n ，c o u p l e d n 硕j ：论文图像超分辨率重建中的配准算法研究 图表目录 图1 1 1 图像的退化过程l 图1 2 1 超分辨率重建过程的基本环节2 图1 2 2 图像配准与超分辨率重建关系示意图3 图1 3 2 1 四种基本的图像变换6 图2 1 1 三维物体上一点运动的二维投影1 3 图2 1 2 光流场与运动场示意图1 4 图2 3 1 基本等式确定的约束线1 7 图2 4 2 1g a u s s i a n 标准方差p 对光流场估计的影响1 8 图2 5 2 1 权重a 对光流场估计的影响2 1 图2 5 2 2 迭代次数门对光流场估计的影响2 2 图3 1 2 1 耦合t v 全局平滑约束算法流程图2 9 图3 1 3 1 1w o m a n 图像平移序列光流场3 0 图3 1 3 1 2w o m a n 图像旋转序列光流场3 l 图3 1 3 2 1 降质w o m a n 图像平移序列光流场3 2 图3 1 3 2 2 降质w o m a n 图像旋转序列光流场3 3 图3 2 3 1 改进的耦合t v 局部与全局混合约束算法估计的光流场3 5 图4 1 1 图像超分辨率重建过程3 8 图4 2 2 1 图像退化过程举例4 1 图4 3 3 1 各种算法对w o m a n 图像序列的重建效果4 6 图4 3 3 2 各种算法对s q u a r e 图像序列的重建效果4 6 图4 3 3 3 各种算法对b a b o o n 图像序列的重建效果4 7 图4 3 3 4 各种算法对d i v e r g e n t 图像序列的重建效果4 7 图4 3 4 1 p 值的选择对卡通图像序列的超分辨率重建影响4 8 图4 3 4 2 p 值的选择对纹理图像序列的超分辨率重建影响4 9 图4 4 1 1 双线性插值法5 0 图4 4 1 2 双三次插值法5 l 图4 4 1 3 图像插值方法示例51 图4 4 1 4 基于新算法的超分辨率重建流程图5 2 v 图表h 录硕i ：论文 图4 4 2 1 新算法对r o t a t e 序列的重建效果5 3 图4 4 2 2 新算法对t a x i 序列的重建效果5 4 图4 4 2 3 新算法对r u b i k 序列的重建效果5 4 图4 4 2 4 新算法对t r a n s t r e e 序列的重建效果5 5 表1 3 2 1 各种光流算法的计算误差比较4 表3 1 3 1 1 三种光流算法对w o m a n 图像平移序列的计算误差比较3 0 表3 1 3 1 2 三种光流算法对w o m a n 图像旋转序列的计算误差比较3l 表3 1 3 2 1 三种光流算法对降质w o m a n 图像平移序列的计算误差比较3 2 表3 1 3 2 2 三种光流算法对降质w o m a n 图像旋转序列的计算误差比较3 3 表3 2 3 1 耦合t v 算法与改进的耦合t v 算法的计算误差比较3 5 表3 3 1 非自适应与自适应方法估计光流的计算误差比较3 6 表3 4 1 各种光流算法的计算误差比较3 7 表4 3 3 1 运动模型己知的图像序列的超分辨率重建的p s n r 值比较4 8 v i 声明尸咧 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学 位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布 过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的 材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明 确的说明。 研究生签名： 2 0 0 陴6 月幼日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上 网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权 其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文， 按保密的有关规定和程序处理。 研究生签名： 重】遗 2 8 年6 月幻日 硕 ：论文 图像超分辨率重建中的酣准算法研究 1 绪论 随着图像处理应用的发展，对高分辨率图像的需求越来越大。人们提出通过使 用更好的成像设备来增强传感器阵列密度，提高获取图像的分辨率，但这种仅通过改 善硬件设备的方法会给使用者带来较高的费用支出，而且硬件改善面临的技术困难很 难在短时间内克服。因此从软件方面着手，采用超分辨率重建技术来提高图像分辨率 有着极大的现实意义和应用价值。超分辨率重建要解决下列问题：给定一组观察图像， 以高于给定的任何一幅单帧图像的分辨率估算一幅新图像。为了实现超分辨率重建算 法，需要寻找输入序列中图像之间高度精确的点对点的对应关系，该过程即为图像配 准。 本章简述了本课题的研究背景、图像配准的相关知识和超分辨率重建中常用的 配准算法，并介绍了本文的主要工作及创新点。 1 1 研究背景 图像信息是人类认识世界的重要知识来源，人类所得的外界信息有7 0 以上是来 自图像。高分辨率图像意味着可以提供更多的信息，从而可以更好地处理问题。因此， 在实际应用的许多领域，人们不断地追求着高分辨率的图像。例如，卫星遥感图像的 目标识别、医学图像病情的判断和地震图像地质结构的分析，都对分辨率提出了比较 高的要求。但我们知道，在获取图像的过程中有许多因素会导致图像质量的下降即退 化，如光学系统的像差、大气扰动、运动、模糊、降采样和系统噪声等，它们会造成 图像的模糊和变形，会使所观测的图像分辨率很低，达不到应用的要求。 光学 咂引寸因h 嗍鸳 h r 图像 系统 像差 图1 1 1 图像的退化过程 提高图像分辨率最直接的办法是提高采集设备传感器的密度。然而高密度的图像 传感器( 如c c d ) 的价格相对昂贵，在一般应用中难以承受；另一方面，由于成像系 统受其传感器阵列密度的限制，高密度的图像传感器目前已接近极限【l 】，例如在 0 3 5 1 x m 的c m o s 技术水平下，一个像素的面积为4 0 “m2 ，难以进一步减小。提高 空间分辨率的另一种方法是增加芯片尺寸，但它会导致电容的增加【2 】。因为大电容 l 1 绪论形j 1 j 论义 很难加速电荷传输率，因此这种方法被认为是一种无效的方法。 鉴于上述情况，越来越多的研究者开始关注于用信号处理的方法对图像的分辨率 进行提高，这一方法被称为超分辨率重建技术。其核心思想是用时间带宽( 获取同一 场景的多帧图像序列) 换取空间分辨率，实现时间分辨率向空间分辨率的转换，使得 重建图像的视觉效果超过任何一帧低分辨率图像。这种方法的优点是不涉及硬件、成 本低，而且现有的图像系统还可以使用，是一种比较经济方案。 目前，图像超分辨率重建已经广泛应用于许多领域，如采集军事与气象卫星遥感 图像、医学成像系统、银行证券等部门的安全监控系统等，具有非常重要的应用价值 和广阔的应用前景，因此对其研究具有十分重要的意义。 1 2 超分辨率重建与图像配准的关系 图像超分辨率重建指的是从低分辨率图像中构造出高分辨率图像的技术。它最初 是以单帧图像重建的概念和方法提出的。对于单帧图像重建问题，主要解决思路是围 绕重采样和插值算法来进行的。然而，这样通常会出现一些平滑效应，导致图像的边 缘细节不能被很好地重构出来。多帧图像重建技术的出现弥补了这一不足。该技术是 通过充分利用各帧低分辨率图像提供的不完全相同的信息来提高图像分辨率的。其必 要条件是：图像序列中的各帧图像间存在运动，使得各帧图像能从不同角度观察到同 一个场景不完全相同的细节，提供互补的非冗余信息。在这一过程中，必须要知道各 低分辨率图像彼此之间的微运动量，这就需要采用子像素精度的图像配准技术。 文献中提出的大多数超分辨率图像重建算法都是由三个阶段组成的：图像配准、 插值和消除模糊与噪声( 如图1 2 1 所示) 。这些步骤根据采用的重建算法既可以分 开实现，也可以同时进行。图像配准是在各帧图像之间寻找最佳的变换，使图像的内 容达到空间上的对齐。配准后的图像被投影到高分辨率网格上时是非均匀分布的，因 此，需要再通过直接的或迭代的插值过程产生均匀一致的高分辨率图像。此时的图像 还只是高分辨率图像的一个模糊、含噪版本，需对其进行图像复原以消除模糊和噪声。 2 低恻 分像 辨j 孚 率列 i - _ - 高分溺除 图像 辨率梭湖 配准 插值噪声 图1 2 1 超分辨率重建过程的基本环节 圈 像 帧 频域超分辨率重建算法只包含了图像配准和插值两个环节，在频域内求解位移方 唾论立幽像超分辨宰重建中的e 准算法研究 程就相当于插值过程。空域超分辨率重建算法包含了以上三个环节，而大多数空域算 法( 如迭代反向投影 3 、最大后验概率估算 4 和自适应滤波算法 5 】等) 把插值和消 除模糊与噪声两个环节综合成了一个过程，本文研究的也正是这种情况。 显然，无论哪种算法，图像配准都是超分辨率重建取得成功的一个非常重要的因 素。由于配准算法只能利用低分辨率图像序列上的信息很难达到精确的配准精度， 而不可靠的图像配准造成的影响比缺少配准信息更太( 如图122 所示) ，所以具有子 像素精度的图像配准算法十分重要。虽然目前已经研究出了许多配准算法，但在实际 应用中仍然无法获得令人满意的效果，同时这些配准算法的适用场合也是非常有限 的。因此需要寻求一种更为可行的算法这有可能同时提高配准精度和重建算法的效 果，提高其精度和拓宽其适用的范围。 1 3 图像配准原理 回塑堂盘；罩l 譬蕾；嗣每甬震黼 a ) 精确的图像配准与超分辨率重建 f b l 粗略的图像配准与超分辨率重建 图i2 2 图像配准与超分辨率重建关系示意图 1 , 3 1 图像配准定义 图像配准是将不同传感器、不同时间、不同角度下获取的同一场景的两幅或多幅 图像进行最佳匹配的处理过程是图像处理领域的一个基础问鏖。简单来说，图像配 准的过程是寻求图像间一对一映射的过程，也就是说，要将图像中对应于空间同一位 霹 鸯 鞋 l 绪论硕l j 论文 置的点联系起来。这里的映射一般称为变换，在二维空间中表现为二维变换。 假设有给定尺寸的2 维矩阵，。和，：代表两幅图像，1 ( x ，y ) 和j ：( x ，y ) 分别表示相 应位置( x ，y ) 上的狄度值，则图像间的映射可表示为： j r 2 ( x ，y ) = g ( t l ( f ( x ，y ) ) ) ( 1 3 1 1 ) 式中表示一个2 维空间坐标变换，即：( x ，y ) = f ( x ，y ) ，g 是1 维狄度或辐射 变换。 配准问题的任务包括找到最优的空间变换和狄度变换g 。通常灰度变换g 是不 需要的，但在如传感器变化( 如光学到雷达) 等应用中可能要用到。大多数情况下， 寻找空间或几何的变换是解决配准问题的关键，这一变换一般可参数化为两个单值函 数六和 ： ，2 ( x ，y ) = 1 l ( 六( x ，少) ， ( x ，j ，) )( 1 3 1 2 ) 1 3 2 图像变换类型 对于所有图像配准技术最根本的问题是找出适当的图像转换或映射类型以正确 匹配两幅图像。空间变换的选取与图像的变形特征有关，图像的几何变换可以分为全 局、局部两类，全局变换对整幅图像都有效，通常涉及矩阵代数，典型的变换运算有 平移、旋转、缩放；局部变换有时又称弹性映射，它允许变换参数存在对空间的依赖 性。对于局部变换，由于局部变换随图像像素位置变化而变化，变化规则不完全一致， 需要分段小区域处理。经常用到的主要变化【6 】有线性变换( 1 i n e a rt r a n s f o r m a t i o n ) 和非 线性变换( n o n l i n e a rt r a n s f o r m a t i o n ) 。其中，线性变换包括刚体变换( r i g i db o d y t r a n s f o r m a t i o n ) 、仿射变换( a f f i n et r a n s f o r m a t i o n ) 、投影变换( p r o j e c t i v et r a n s f o r m a t i o n ) 。 它们所适应的变换如表1 3 2 1 。 表1 3 2 1图像变换模型与变换之间的关系 反转旋转平移缩放投影扭曲 刚体变换 适用适用适用 仿射变换 适用适用适用适用 投影变换适用 适用适用 适用适用 菲线性变换适用适用适用适用适用 适用 ( 1 ) 刚体变换 如果第一幅图像中的两点问的距离经变换到第二幅图像后仍保持不变，则这种变 换称为刚体变换。刚体变换可分解为平移、旋转和反转( 镜像) 。在二维空间中，点( x ，y ) 经刚体变换到点( x ，y ) 的变换公式为： 4 硕 ：论文 图像超分辨牢藿建中的配准算法研究 计p o o s n e 缈捌翻 3 2 ， 其中缈为旋转角度，l ；：i 为平移量。 ( 2 ) 仿射变换 经过变换后的第一幅图像上的直线映射到第二幅图像仍然为直线，并且保持平行 关系，这样的变换称为仿射变换。仿射变换可以分解为线性( 矩阵) 变换和平移变换。 在2 d 空间中，变换公式为： ；： = 三：芝 ； + 乏 c ，3 2 2 ， 其中i a i i0 1 2l 为实数矩阵。 l a n 口2 2j ( 3 ) 投影变换 经过变换后第一幅图像上的直线映射到第二幅图像上仍为直线，但平行关系基本 不保持，这样的变换称为投影变换。投影变换可用高维空间上的线性( 矩阵) 变换来 表示。变换公式为： x 。：鱼竺堕生堕 y ：堕竺堕坚堕( 1 3 2 3 ) a 3 1 x + a 3 2 y + a 3 3a 3 i x 十a 3 2 y + 口3 3 ( 4 ) 非线性变换 非线性变换可把直线变换为曲线。在2 d 空间中，可以用以下公式表示： o ，y ) = f ( x ，y )( 1 3 2 4 ) 其中，f 表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非 线性变换如多项式变换，在2 d 空间中，多项式函数可写成如下形式： x 剐+ a t o x + 口o l y + 口2 0 x ：+ 口l l 砂+ 口0 2 鬈t ”( 1 3 32 5 ) y 。= b 0 0 + 6 1 0 x + b o l y + b 2 0 x 2 + b n 砂+ b 0 2 y 2 + 、。 非线性变换比较适合于那些具有全局性形变的图像配准问题，以及整体近似刚体 但局部有形变的配准情况。 以上图像变换模型均为参数模型，由其对应的配准问题仅需求解模型中若干参 数。还有一类非参数模型，需求解整个运动矢量场来实现图像配准，其难度大大增加， 但适用性更为广泛。 在图像配准中，采用不同的图像变换模型说明的图像之间的映射关系将会不同。 i 绪论 顾i ：论文 因此，对于不同类型的图像，选取恰当的图像变换模型可以提高图像的配准精度。 1 4 图像配准算法 g l o b a l 图1 3 2 1四种基本的图像变换 r i g i d a f 丘n e 1 4 1 图像配准算法分类 如何对各种配准算法分类，人们也进行了一些探索，并提出了不同的分类方法。 其中在b r o w n 7 的文献中，提出可以以三个主要范畴来进行图像配准分类，它们分 别为：特征空间、相似性准则和搜索策略。特征空间从图像中提取用于配准的信息， 搜索策略从图像转换集中选择用于匹配的转换方式，相似性准则决定配准的相似程 度，然后基于这一结果继续搜索，直到找到能使相似性度量有令人满意结果的图像转 换方式。根据图像配准的这三个主要范畴选择的区别，产生了对各种具体的图像配准 技术的不同分类方法。本文将图像配准算法分为空域法、频域法和空频域法三类。其 中，最为常用的是空域法。 ( 1 ) 空域法 空域法适合于大多数运动模型，可以基于整个图像或是选择一些相应的特征向 量，其主要包括以下六种：基于t a y l o r 级数展开的算法【8 】、基于特征的算法【9 】、基 于光流的算法【l o 】 1l 】、基于块的算法【1 2 - 1 4 】、像素递归算法【1 5 】【1 6 和最大后验概率 算法 1 7 1 9 。 6 硕i j 论文 图像超分辨率草建中的配准算法研究 基于t a y l o r 级数展开的算法基于刚体变换模型，它充分利用t a y l o r 级数的性质， 对图像帧之间运动较小的情况能获得比较精确的配准精度，对于有较大的偏移量和旋 转角的情况可通过迭代的方法求解。 基于特征的算法利用提取到的特征完成帧间图像特征之间的匹配，通过特征的匹 配关系建立图像间的配准映射变换。常用到的图像特征有：几何特征，如角点、高曲 率点、直线段、边缘、轮廓、闭合区域、特征结构，以及统计特征，如矩不变量、重 心等等。但提取适当特征并建立对应关系不是一件简单的事，这一过程的运算量很大。 在这类算法的研究早期，采用刚体运动作为运动模型，这样就导致求解一组非线性方 程。 基于光流的算法依赖于亮度值的瞬间变化( 光流是指图像中的亮度模式在运动过 程中的表观速度) 。其包含两个方程：一个是光流方程，它把某一点的图像亮度变化 与亮度模式的运动联系起来；另一个是在求解速度矢量两个分量的过程中所必需的方 程，它源于流速度光滑性约束。通常以迭代方式来求解上述方程。 基于块的算法是将各图像帧分解成图像块，并假设图像块中的像素具有近似相同 的运动。对于某一帧中的特定图像块，在参考帧的某一区域上进行搜索，并把参考帧 上的最佳匹配块对于当前帧图像块的相对位移作为当前帧图像块中心像素点的运动 矢量。基于块的算法具有结构简单、运算复杂度低的优点，但它局限于逐块平移的运 动场。 像素递归算法是在某一像素的因果邻域上获得预测误差( 位移帧差值) 的最小值， 这个过程可以递归更新该像素的配准情况。这类算法有两个特点：一个是假设某点邻 域内的所有像素在估算该点的运动时同等重要；另一个是采用双线性算子进行插值。 结合m a r k o v 随机场模型的最大后验概率算法在近几年已成为研究的热点。这些 算法的优点是可以产生精确的配准精度，缺点是运算复杂度很高。 ( 2 ) 频域法 频域法利用相位差值来实现图像配准，其可获得对频率相关的噪声的鲁棒性。最 主要的频域法是f o u r i e r 变换域法 2 0 1 。f o u r i e r 变换有许多性质可被用于图像配准： 平移、旋转、镜像和缩放等变换在f o u r i e r 变换域有相应的体现；f o u r i e r 变换域法有 成熟的快速算法且易于硬件实现。这些优点都使其成为频域配准的主要算法，但这种 算法局限于全局运动模型，对图像转换形式较为复杂的情况无能为力，而且它既不能 考虑图像模糊对图像运动的影响，也不能加入运动的先验约束。 ( 3 ) 空频域法 由于f o u r i e r 变换域法的空间局域性较差，因此，可以采用空频域法( 如空域时域 连续小波变换算法 2 1 1 、复数小波变换算法【2 2 】和基于小波的运动模型【2 3 】等) 进行从 粗到细的配准。 7 i 绪论 硕i j 论义 超分辨率中的图像配准与图像处理中通用的图像配准大体上是相同的，但也存在 着一些区别：( 1 ) 超分辨率中处理的是连续拍摄的图像序列，图像序列间涉及到的运 动较细微，且这些运动是随机的；( 2 ) 超分辨率中要求配准精度达到子像素级，许多 基于运动的相关性的配准算法对子像素级的运动不再适用；( 3 ) 超分辨率中的图像存 在着噪声、模糊、下采样等因素，需考虑这些因素对配准效果的影响；( 4 ) 超分辨率 的数据资源是整个图像序列。鉴于所查阅文献，在图像超分辨率重建中，比较常用的 是空域法中的基于t a y l o r 级数展开的配准算法【8 【2 4 - 2 7 、基于块的配准算法 2 8 - 3 3 】 和基于光流的配准算法 3 4 3 7 。下面简单介绍上述三类配准算法。 1 4 2 基于t a y l o r 级数展开的配准算法 k e r e n 算法【3 8 】是基于t a y l o r 级数展开的配准算法中最具代表性的，也是超分辨率 技术中应用比较广泛的一种子象素级配准算法。它基于刚体变换模型，即假定参考图 像厂与目标图像g 之间存在旋转角度秒、水平位移a 和垂直位移b 的偏移，则 g ( x ，y ) = f ( x c o s o y s i n 0 + a ，y c o s 0 + x s i n 0 + b )( 1 4 2 1 ) 当口较小时，c o s ) 和s i n 口可用t a y l o r 级数展开 g ( x ，y ) f ( x + a y 8 一x 臼2 2 ，j ，+ b + x 8 一y 8 2 2 )( 1 4 2 2 ) 然后基于上式进行2 维t a y l o r 级数展开 g ( x ，j ，) ( 工，y ) + ( 口一y 8 一x 8 2 2 ) 孚+ ( 6 + x 8 一y 8 2 2 ) 孚 ( 1 4 2 3 ) ( o y 获得误差函数e ( a ，b ，目) 脚，啪) = 【m ，卅( a - y s - x 8 2 2 ) 篆+ ( 6 + 石口一2 ) 考- g ( 训) 】2 ( 1 4 2 4 ) 配准的准则即是寻找使e ( a ，b ，8 ) 取得最小值的( 口，b ，8 ) 。于是对e ( a ，b ，8 ) 关于a 、b 和 秒分别求偏导，并令偏导等于零，忽略非线性项和小系数项，则可得： ( 篆) 2 口+ 一o 傲fo 砂f 6 + r 篆】秒= 篆( g 一) 【篆雾】口+ 【( 善) 2 】6 + f r 雾】p = 雾( g 一厂) ( 1 4 2 5 ) 【唾” 唔 购秒= 地 其中尺：x o f - y 娑，解此线性方程组即可得( 口，b ，秒) 的解。 咖o x 为了增加算法的计算效率和对噪声的鲁棒性，k e r e n 算法采用了三层高斯金字 塔，也就是对两张n xn 个象素的原始图像进行高斯滤波和下采样，变成两张 硕j ：论文图像超分辨率重建中的配准算法研究 n 2 n 2 个像素的图像，重复上述过程，得到两张n 4 n 4 个像素的图像，这样 就构成了分辨率由粗到精的金字塔。从粗的第一层开始求取( a s b ，曰) ，根据( 口，b ，0 ) 对 第二层的图像进行旋转和平移更正，然后插值获取新的第二层图像，重新计算新的 ( 口，b ，口) ，以此类推，最后计算出原始图像高精度的配准参数。 k e r e n 算法精度高，且优于由m a r c e l 提出的频域法 3 9 】，但它有一个主要的缺点： 基于小角度目的t a y l o r 级数展开。实验证明，一般对于6 。以内的小角度都能获得比 较高的配准精度，但对于图像之间有较大旋转角度的情况，直接采用k e r e n 算法将带 来比较大的误差。 1 4 3 基于块的配准算法 基于块的配准算法是一种相关分析方法，它是把一帧实时图像分为若干个大小相 等的子图像块，将每一子图像块作为模板在相邻参考帧图像中的一定搜索范围内进行 相关计算，根据匹配准则，找出最优匹配位置，该位置对应的二维位移偏移量( 出，咖) 即可作为模板子图像块运动速度矢量的估计值。其运算量和配准效果主要取决于匹配 准则和搜索策略两个因素。 匹配准则是判断块相似程度及最优点的依据。因此，匹配准则的好坏将直接影响 到图像配准的精度：而且，配准运算复杂度和数据读取复杂度在很大程度上也取决于 所采用的匹配准则。因此提高配准算法的速度可以有两种途径，一种是尽可能减少搜 索匹配的点数，另外一种是降低匹配准则的计算复杂度。目前，有四种常用的匹配准 则：最小绝对差( m a d ) 、最小均方误差( m s e ) 、归一化互相关函数( n c c f ) 和求和绝对 差( s a d ) 。其中，m a d 、m s e 和s a d 的最小值对应着最优匹配，n c c f 的最大值对 应着最优匹配。 搜索策略是指在搜索范围内如何选取匹配操作的搜索位置，以及在这些操作位置 上如何应用匹配准则。它包含在哪些搜索位置上进行匹配操作和如何进行匹配准则。 目前，搜索精度最高的是全搜索法( f s ) ，它对搜索范围内的每一像素点进行匹配运算 以得到一个最优的运动矢量。但它的计算复杂度过高，不适合实时处理。为此提出了 各种快速配准算法，如三步法( t s s ) 4 0 、二维对数法( t d l ) 4 1 、交叉法( c s ) 4 2 】，主 要是通过限制搜索位置的次数来减小计算量，但它们在第一步中搜索步长较大，不利 于估计小的运动块。新三步法( n t s s ) 4 3 、新四步法( n f s s ) 4 4 、基于块的梯度下降 法( b b g d s ) 4 5 等利用运动矢量具有中心偏移的分布特性，提高了匹配速度，减小了 陷入局部极小值的可能性，但它们都是以原点作为初始搜索中心，没有充分利用相邻 块之间的运动相关性。预测搜索法( p s a ) 4 6 和自适应运动跟踪法( a m t s ) 4 7 1 等利用 相邻块的运动相关性选择一个反映当前运动块趋势的预测点作为初始搜索点，以提高 搜索和预测的准确性。菱形法( d s ) 4 8 1 1 拘综合性能较其它算法优越，但它不能根据图 9 l 绪论 硕i j 论文 像的内容( 运动类型) 作出灵活处理，即不管是什么样的运动，一律先用大模板来搜 索，再使用小模板，这对小运动是一种浪费。上述这些算法通过不同的搜索模板和搜 索方式，大大减少了搜索时间，但配准精度仍与f s 有较大的差距，搜索速度仍难以 很好地满足实际要求。因此，有必要寻找更加有效的基于块的配准算法。一般的基于 块的配准算法固定块的大小，因此存在如何选择合适的块大小问题。采用大图像块的 优点是配准的稳定性较高，缺点是配准的精度较低；而采用小图像块的特点则与大图 像块正好相反。综合以上两者的优点，可以采用分级块配准算法【3 3 】来获得超分辨率 重建所需的子像素位移矢量。 总的来说，基于块的图像配准具有结构简单、运算复杂度低的优点，其缺点是只 适用于逐块平移的运动场。 1 4 4 基于光流的配准算法 基于光流的配准算法是用从图像序列中估算出的各目标的运动信息来确定图像 间目标或点的对应关系或相对形变的算法。它是一种连续处理的方法，利用了时空图 像亮度梯度来对图像像素点的光流场进行估计。 光流技术最早在2 0 世纪8 0 年代初由h o r n 4 9 等人提出，他们依据同一运动物体 引起的光流场应该是连续的、平滑的这一特点，利用整体平滑约束将光流场的计算问 题转化为了一个变分问题；l u c a s 和k a n a d e 5 0 假定在一个小的空间邻域上运动矢量 保持恒定，然后使用了加权最小二乘法估计光流；n a g e l 5 1 】考虑到基本等式本身已对 光流场在该点灰度场的梯度方向上有了约束，提出附加的光滑性约束应使光流场在沿 着其梯度的垂直方向上的变化率最小，据此导出了一种新的迭代算法；t r e t i a k 和 n a g e l 5 2 5 3 认为光流场计算属于一类微分问题，涉及到图像灰度的时空导数计算， 因而提出了一个基于二阶微分算子的附加约束；w o h u 5 4 等人采用了多重局部约束和 非线性平滑条件来计算时变图像的光流场；t e r z o p o u l o s 和h i l d r e t h 5 5 分别提出了更 好的有向平滑度约束条件；h a r a l i c k 等人 5 6 将物体表面分割为多个小平面，并假设每 个小平面有近似的运动，且在短时间内为常量，进而依据此思想得到了附加约束。国 内复旦大学吴立德教授【5 7 】领导的课题组对灰度时变图像的光流场计算理论和方法 进行了研究，并提出了多通道方法。 进入2 1 世纪的不到1 0 年里，光流技术获得了空前的发展，其中以基于微分法框架 下的光流估计算法最为有效和典型。当前的微分光流估计算法主要从以下三个角度展 开工作：光流保真项( f i d e l i t yt e r m ) 的设计，光流j 下则项( r e g u l a r i z a t i o nt e r m ) 的设计，以 及快速算法的设计。2 0 0 1 年，f a m e b a c k 等人【5 8 】基于光流估计中的亮度不变假设引入 了运动张量的概念，使得研究人员可以从结构张量的角度更为深刻的认识亮度不变假 设的重要性，女n l u c a s 等人 5 0 】提出的加权最小二乘法估计光流算法本质上是一种噪声 l o 硕卜论文图像超分辨牢重建中的配准算法研究 鲁棒的局部光流估计；2 0 0 5 年，b r u h n 等人 5 9 1 在保真项中引入稳健范数，进一步提 高光流估计的鲁棒性，并且提出一种全局局部耦合的光流估计算法；另外，为了解 决大运动情形下的光流估计，注意到此时亮度不变假设一般不再成立，p a p e n b e r g 等 人【6 0 】于2 0 0 5 年基于梯度不变假设引入图像的梯度保真项，以实现亮度不变假设和梯 度不变假设的折中，同时在多分辨率框架下实现光流估计的数值求解。为了解决光流 估计问题的病态性，对光流场的正则性约束是十分必要的。2 0 0 1 年，w e i c k e r t 等人 【6 1 6 2 1 对光流场中的正则项约束进行了详细的总结，主要包括：基于图像的各项同 性正则项，基于图像的各项异性正则项，基于光流场的各向同性线性j 下则项，基于光 流场的各向同性非线性正则项，以及基于光流场的各向异性正则项。这些正则项约束 对光流估计的稠密性、边缘保持性及边缘光滑性具有重要的作用，是光流估计算法设 计过程中不可或缺的重要组成部分。微分法光流估计最终转化为线性或非线性方程组 的求解问题，并且通常采用j a c o b i 或g a u s s s e i d e l 等数值迭代法进行求解。近几年，多 重网格技术作为一种有效的快速算法在图像处理领域中得到了广泛应用。对于光流估 计而言，2 0 0 5 年b r u h n 等人【6 3 】提出采用完全多重网格算法快速实现基于光流场各向 同性线性正则项的光流估计，随后他们又进一步将多重网格算法推广应用到基于光流 场各向同性非线性以及各向异性正则项的光流估计中。 在诸多的图像配准算法中，基