（电路与系统专业论文）基于正则化map方法的图像超分辨率重建.pdf

摘要 超分辨率( s u p e r - r e s o l u t i o n ) 重建是通过图像处理技术从多幅低分辨率图像 ( 1 0 w r e s o l u t i o n ) 中获得一幅高分辨率图像( h i g h r e s o l u t i o n ) 的过程。 已有文献一 般在假设位移已知或点扩展函数( p s f ) 已知的情况下重建s r 图像，但很少涉 及两者都未知的情况。可在实际情况中，能够得到的往往只是同一场景的多幅 图像数据，而位移和p s f 都是未知的。在这种情况下，如何重建出一幅高分辨 率图像便是本论文要解决的问题。本论文提出了一种新型实用的基于未知位移和 未知p s f 的s r 重建方法。我们首先利用l r ( 1 0 w r e s o l u t i o n ) 图像帧内像素 点的相关性，再利用块匹配算法获得亚像素点位移估计。然后在选择了m l 算 法进行盲解卷积。本论文最大的特点是除了需要低分辨率图像数据外，不需要额 外的先验知识，而且提出的解决s r 重建问题的方法在位移估计和盲解卷积上 采用了简单易用的方法，整体方法计算复杂度低，实用性强。在仿真结果上， 得 到了较好的重建效果。 由于s r 重建问题往往并不是由一个单一算法就能够解决的问题，常常是需 要一个整体的解决方案，因此，为了获得良好的重建效果，本论文详细地分析比 较了各种可能用于s r 重建问题的方法，具体的如统计方法，图像处理方法，优 化算法等，其中对于运动估计，比较了常用的几类估计方法，从中选择了块匹配 算法。对于盲解卷积方法，同样比较了几种可用的方法，并从中选择了一种计算 简单，应用方便的盲解卷积方法。 此外，为了更好地适应于快速s r 重建问题，我们也对一些方法进行了改 进，如在运动估计和盲解卷积方法上，我们对相应算法做了改进，使其能在计算 上效率更高，使重建效果更好。 关键词：s r ；运动估计；盲解卷积；t v 正则化方法 a b s t r a c t s r ( s u p e r - r e s o l u t i o n ) r e c o n s t r u c t i o ni sar e s t o r i n gm e t h o dw h i c hm a k e su s eo fas e r i e so fl r i m a g e st or e s t o r ea nh ri m a g eb a s e do ni m a g ep r o c e s s i n gt e c h n o l o g y s e v e r a lc o m m o ns r m e t h o d sa r ea n a l y z e d i nl i t e r a t u r e ，t h em o t i o no rp s f ( p o i n ts p r e a df u n c t i o n ) i sg e n e r a l l y s u p p o s e da sk n o w n h o w e v e r , l e s ss t u d yc o n s i d e r st h ec a s et h a tb o t ho ft h e ma r eu f i k n o w n h o w e v e r , i na r e a ls i t u a t i o n ，t h e r ei so n l yi m a g ed a t aa n dt h em o t i o na n dp s fa r eu n k n o w n i nt h i s s i t u a t i o n , h o wt or e c o n s t r u c th ri m a g ei st h ek e yp r o b l e mt h ep a p e rd e a l s 诵t 1 1 i nt h i sp a p e r , a u s e f u ls rr e c o n s t r u c t i o nm e t h o df o ru n k n o w l lg l o b a lt r a n s l a t i o na n du n k n o w np s fi sp r o p o s e d f o rm o t i o ne s t i m a t i o n ，t h er e l a t i o no fp i x e l si na l ll r ( 1 0 w - r e s o l u t i o n ) i m a g ei su s e dt or e a l i z et h e s u b - p i x e lt r a n s l a t i o ne s t i m a t i o na n df o rs p e c i f i ce s t i m a t i o na l g o r i t h m ，t h ee a s i l yu s e d b l o c k - m a t c h i n ga l g o r i t h mi sc h o s e n f o ru n k n o w np s f , t h en e c e s s i t yo fb l i n dd e c o n v o l u t i o ni s d i s c u s s e d s i n c en i la l g o r i t h mi sl e s sc o n s t r a i n t , i ti sc h o s e nf o rb l i n dd e c o n v o l u t i o n t h e o u t s t a n d i n gc h a r a c t e r i s t i co ft h ep a p e ri st h a tt h eo n l yn e c e s s i t yf o rs rc o n s t r u c t i o ni st h el r i m a g ed a t as h o w i n gt h es a m es g e i l e b e s i d e s ，t h es rm e t h o dp r o p o s e di se a s i l ya p p l i e dw i t hl e s s c o m p u t i n gc o m p l e x i t y n es i m u l a t i o nr e s u l t sh a v eb e e np r e s e n t e dt os h o wt h ee f f e c t i v e n e s so f t h ep r o p o s e da l g o r i t h m s i n c et h ep r o b l e mo fs rr e c o n s t r u c t i o ni su n a b l et ob es o l v e db yo n em e t h o d ，a no v e r a l l a p p r o a c hi su s u a l l yn e e d e d t h u si no r d e r t oi m p r o v et h er e s t o r i n ge f f i c i e n c ya n dr e s t o r i n ge f f e c t ， al o to fm e t h o d sw h i c ha r ea b l et ob eu s e di ns rr e c o n s t r u c t i o na r ed i s c u s s e da n dc o m p a r e d ，s u c h a ss t a t i s t i c a lm e t h o d s ，i m a g ep r o c e s s i n gm e t h o d sa n do p t i m i z a t i o na l g o r i t h mc t c s p e c i f i c a l l yf o r m o t i o ne s t i m a t i o n ，b l o c km a t c h i n gm e t h o di sc h o s e na f t e rs e v e r a lm o t i o ne s t i m a t i o nm e t h o d s d i s c u s s e da n df o rb l i n dd e c o n v o l u t i o nm e t h o d ，ac o n v e n i e n tm e t h o di sc h o s e nf r o ms e v e r a lb l i n d d e c o n v o l u t i o nm e t h o d s b e s i d e s ，s e v e r a le x i s t i n gm e t h o d sa r ei m p r o v e di no r d e rt or e c o n s t r u c th ri m a g ef a s t e ra n d b e r e r f o re x a m p l e ，i nm o t i o ne s t i m a t ea n db l i n dd e c o n v o l u t i o n ，w eh a v ei m p r o v e dt h ee x i s t i n g a l g o r i t h m s ，w h i c he n h a n c et h ee f f i c i e n c yo f r e c o n s t r u c f i o n k e y w o r d s ：s r ；m o t i o ne s t i m a t i o n ；b l i n dd e , c o n v o l u t i o n ；t vr e g u l a r i z a t i o n 致谢 在此我要感谢在我硕士学 - - j 阶段给与我指导帮助的各位老师。首先我要感谢 我的指导老师李春光老师，在我的学 - j 阶段，在学 - - j 上给了我莫大的指导，也是 他给了我机会，来研究这个课题，并且在这个方向上，李老师给了我很多建议和 启发。李老师在自己的研究领域建树颇丰，仔细认真的作风很使我敬佩。 我要感谢刘英老师对本论文的悉心指导修改，并指出了本论文中的诸多不 足，对于刘老师的帮助，作者表示衷心的感谢。 浙江大学硕士学位论文 第一章绪论 在本章中，我们给出s r 重建问题的研究背景、国内外的研究现状和s r 重 建问题的研究内容，最后给出了本论文的结构和意义并对论文内容进行了概述。 1 1 研究背景 在大部分图像数据应用领域里，常常要求获得具有高分辨率的图像。相对于 相同尺寸的低分辨率( 1 0 w r e s o l u t i o n ) 图像，高分辨率( h i g h r e s o l u t i o n ) 图像具 有更高的像素密度，因而意味着能提供更多的细节信息，而这些细节信息在许多 应用中至关重要。如h r 图像有助于较早地对病症做出诊断，使病人得到及时的 医治，h r 卫星图像能更容易地辨别出相似目标，改进模式识别的性能。此外， h r 图像也可以用于h d t v 中获得更好的视觉效果。 尽管c c d 和c m o s 图像传感器有很大的发展，但是要获得高分辨率的图像 在技术和经济上都有很大的压力。例如，为了获得更高的分辨率，需要减小单位 面积里的像素点的大小，这样的后果之一是制造对应的c c d 或c m o s 电路就会 困难很多；其次，由于像素点减小，对于每个像素点来说，信号能量相对于噪声 也会相应地减小，从而降低了h r 图像的效果。而利用图像处理算法的超分辨率 图像重建方法，在经济上和技术上相对于前者就会有更多的提升空问。 超分辨率( s u p e r - r e s o l u t i o n ) 图像重建是指通过信号处理技术，利用一系列 l r 图像来重建出h r 图像的过程。s r 重建的一个重大优势是能利用相对廉价的 l r 图像重建出一个h r 图像。s r 重建具有重要的现实意义。在监控、医学和卫 星成像领域，我们可以利用s r 重建更有效的放大r o i ( r e g i o no f i n t e r e s t ) 。在安 保领域，我们突出显示一部分图像区域，如一个犯罪分子的面部特征和车辆的车 牌号码，在这方面，s r 重建能获得更多的有用细节。在医学成像方面，如c t 和核磁共振成像，虽然我们能获得很多的图像数据，但它们的图像质量和分辨率 往往不能满足我们的要求。通过s r 重建方法，我们可以利用这些数据获得具有 更高质量的图像。在卫星遥感领域，同样尽管我们能获得许多图像数据，但是得 到的图像分辨率和质量也往往不能满足我们的要求。而s r 重建方法可以利用这 些图像得到更多有用的细节信息。在天文学领域，若通过提高光学设备精度来 获得更精确的宇宙信息，在经济上将是一笔很大的开销。但如果能够用现有的图 浙江大学硕士学位论文 像设备获得一系列l r 图像数据，通过s r 重建方法来获得高质量的图像，就可 以有效地节约开支。 1 2 国内外研究现状： t s a i 和h u a n g 【1 】首先提出了如何从多幅l r 图像中获得h r 图像的问题， 并利用频域方法给出了一个解决方案。他们假设l r 图像之间只含有位移偏 差，且图像没有降质和噪声。基于傅里叶变换的频移特性，l r 图像的离散傅里 叶变换( d f t ) 和h r 图像连续傅里叶变换( c f t ) 之间的假频关系和h r 图像是 带宽有限的这三条性质，来建立l r 图像与h r 图像的之间的系统方程。k i l n 等 人在频域内对s r 重建问题做了进一步的扩展，l r 图像不仅含有模糊( b 1 岫 且有噪声，并提出加权序贯最小二乘法【2 1 和引入正则项来得到更优的解3 1 。 在空间域内，人们也提出了许多s r 重建方法，如i r a n i 和p e l e g 的迭代反 向投影( i t e r a t i v eb a c kp r o j e c t i o n ) 方法【4 】，s t a r k 等人的p r o j e c t i o no n c o n v e xs e t s ( p o c s ) 方法【5 】，m a x i m u ml i k e l i h o o d ( m l ) 方法【6 】，m a x i m u map o s t c r i o r i ( m a p ) 方法m 下面将对这些方法做简要的介绍。 i r a n i 和p e l e g 提出的i b p 方法类似于c t 里的反向投影方法，其中每个l r 图像的像素点的值是由h r 图像某个区域的投影得到的，在已知p s f 的前提下， 对于每个h r 图像区域，假设p s f 作用于此区域的中心，那么每个l r 图像的像 素点的值只与区域中心和p s f 的作用范围有关。那么只要知道l r 图像的相对运 动参数，就可以反向投影确定h r 图像。假定变形只包括位移和旋转，以一个 l r 图像作为参考帧，利用泰勒级数展开，把对运动的非线性估计近似为线性估 计，得到相对于参考帧的运动参量。之后为待求h r 图像赋初值，根据相应的运 动参数并反向投影计算出新的l r 图像，再与相应的观测图像进行比较后得到残 差，利用残差迭代求出h r 图像。这种方法的优点是比较直观，但没有解决s r 重建问题本身具有的病态特性。 p o c s 方法是一种利用包含先验知识的迭代方法重建h r 图像的方法，先验 知识可以看成是附加约束，使h r 图像的解被限制在一个闭约束集合中。如果我 们估计出运动参数和已知p s f ，对于每幅l r 图像必然存在一个约束集可以利用， 即对一个s r 重建进行下采样，模糊，变形后与相应的观测图像进行比较后得到 残差距离，这个残差必然被包含在一个高维闭空间内，若这些闭空间有交集那么 浙江大学硕士学位论文 就可以得到一个可用的s r 重建。这种方法比较直观，但缺点是收敛速度慢，而 且解可能不是唯一的，虽然可以通过加入更多的闭凸集来解决这一问题，但是这 样有可能使各个凸集之间不存在交集。虽然这种方法在解决病态问题上有一定的 帮助，但在计算上开销太大。 对于m l 方法，我们可以先利用配准方法求出运动参数，再利用m l 方法进 行重建，也可以利用e m ( e x p e c t a t i o nm a x i m u m ) 算法来同时估计运动参数和 h r 图像同。这样，我们只需要对一系列含有噪声、模糊、下采样和未知运动参 数的观测图像进行估计就能进行重建，而不需要先利用图像配准方法得到运动参 数再重建。那么，这个问题可以被看成是盲解卷积问题。但不同于一般的未知 p s f 的盲解卷积图像复原问题，这里我们已知确切的p s f ，而盲解卷积的对象是 观测模型中的运动参数。这种方法更具有一般性，不仅能对全局运动参数进行估 计，也可以对局部参数进行估计，后者对于场景中包含运动物体的s r 重建问题 是很重要的。但是由于未知参数的引入，增大了s r 重建问题的自由度，使这一 问题的病态特性更加严重。 e l a d 和f e u e r1 8 提出了一种统一的方法，可以把一些主要的方法如m l 方法，m a p 方法，p o c s 方法等放入一个更普遍的框架中。虽然假设位移和模 糊是已知的，但提出的这种普遍的解决s r 重建问题的框架还是很有价值的， 即：通过最小化代价函数( c o s tf u n c t i o n ) 来得到要估计的h r 图像，而代价函 数一般有数据项( d a t at e r m ) 和正则项( r e g u l a r i z a t i o nt e r m ) 组成。对于正则项的 选择既有通过如( m a r k o vr a n d o mf i e l d ) m r f 得到的t i k h o n o v 正则项【9 】，也 有像具有非线性特征的t v 正则项1 0 】，而对表示正则项在代价函数里权重的正 则化参数( r e g u l a r i z a t i o np a r a m e t e r ) 的选择，人们也提出了很多方法，如c r o s s v a l i d a t i o n 方法【1 1 】【1 2 1 ，h i e r a r c h i c a lb a y e s i a n 方法 1 3 1 等。b a k e r 和k a n a d e 【1 4 】提 出了一种基于识别的方法来处理s r 重建问题，虽然该方法能够取得较好的效 果，但由于需要更多的先验知识，从而限制了该方法的应用。在解决s r 问题 中，也有许多注重计算和存储效率的方法，如文献f a r s i u 和z o m e t 等人的方法 【1 6 】【1 7 】 国内对于s r 重建问题的研究，虽然起步比较晚，但也得到了许多学者的关 注，有许多工作被提出来。如刘良云等人提出了一种利用序列子集的共轭梯度算 浙江大学硕士学位论文 法来加快运算速度【3 6 1 ，赵书斌等人提出了一种基于小波域的l s 算法进行图像重 建【3 7 1 ，刘志军等人提出了一种基于并行遗传算法的复原方法实现s r 重建3 8 1 等。 这些方法虽然有一定的创新，但在s r 重建上都存在一些不足。 总之，已有的在各种s r 重建方法中，既有其各自的优势，也有其不足之 处，这就要求我们结合这些方法的优点和一般性来解决s r 问题。 1 3s r 重建的研究内容： 对于s r 重建主要有以下几个研究内容，( 图1 1 ) ： 1 ) 观测模型的建立： 为了更加全面地、更好地分析研究s r 重建问题，首先我们需要建立联系 l r 图像和h r 图像的观测模型，好的观测模型可以使我们更好地了解到h r 图像和l r 图像之间的关系。这些模型通常分为两类：对静止图像( s t i l li m a g e ) 建模和对视频图像的建模。本文主要关注对静止图像的观测模型的建立。 2 ) 代价函数的建立： 为了求解出s r 问题，我们把各种标准和约束条件在数学形式上表现为能 量函数的形式，使能量函数达到极值的解便是要求得的s r 重建问题的解。在 这方面我们要比较各种产生能量函数的方法以找到一个合理的方法来建立能量 函数。 3 ) 运动偏差估计： 运动偏差估计是s r 重建问题的重要步骤。因为我们得到的是l r 图像，那 么实际上这个估计问题可以看成是如何通过l r 图像内的运动偏差估计出h r 图像内的运动偏差。因此，我们有必要研究如何通过许多含有运动偏差的l r 图 像来获得h r 图像尺度下的运动估计。 4 ) 先验模型的选择： 为了更好地解决s r 重建问题，我们通常需要借助于先验知识。那么先验 知识的选择将对s r 重建质量具有重大的影响。因此本文将研究选择怎样的先验 知识以获得质量更好的s r 重建问题的解。 5 ) 正则化参数的估计： 正则化参数体现了先验知识在能量函数里所占的比重，太大的正则化参数会 减小观测数据对重建的贡献，太小又不能很好的解决s r 重建问题本身具有的 浙江大学硕士学位论文 病态特性( i l l c o n d i t i o n e d ) 。因此，为了获得良好的重建效果，我们也要研究如 何获得好的正则化参数的方法。 6 ) 对未知点扩展函数p s f ( p o i n ts p r e a df u n c t i o n ) 的处理： 对于点扩展函数，认为其已知是不太合理的，对这方面的讨论将在后面详细 展开。对于未知的p s f ，那么我们便要通过盲解卷积的方法来求解s r 重建问 题。因此盲解卷积方法的研究将是本文讨论s r 重建问题中一个至关重要的环节。 7 ) 计算方法： 为了高效地获得重建后的图像，我们有必要对一些计算方法进行研究，如最 速梯度下降法，共轭梯度法等。为了获得更好的收敛速度和更短的计算时间，我 们有必要对计算方法的细节进行讨论。 图1 1s r 重建的研究内容 f i g 1 1t h er e s e a r c hc o n t e n to fs rc o n s t r u c t i o n 浙江大学硕士学位论文 1 4 论文的内容、结构和意义 本文为了从多幅具有位移、模糊、欠采样的l r 图像获得一幅h r 图像， 我们分别对图像的位移估计、求解建立的能量函数的极值等方面进行了研究。本 文的主要研究内容包括： ( 1 ) 位移估计，这里对于运动估计，假设只含有位移信息的变化。由于我 们获得的图像是l r 图像，而要得到的位移是在h r 图像网格上，因此为了估 计出h r 图像网格上的位移，我们需要利用l r 图像帧内像素点的相关性。本 文对比了几种常用的位移估计算法，从中选出了块匹配算法用于位移估计。 ( 2 ) 先验知识的选择，为了更好地利用先验知识，我们对两种先验知识的 表现形式t i k h o n o v 正则项和t v 先验进行了讨论，并选择其中一个t v 先验。 ( 3 ) 计算方法，在计算上，要求对大矩阵求逆，这里我们采用迭代方法求 解，主要考虑的方法有最速梯度下降法和共轭梯度法，本文采用最速梯度下降法。 ( 4 ) 盲解卷积方法，文章中讨论了常用的两种盲解卷积方法：子空间法和 m l 方法。鉴于m l 方法的优良特性，本文采用了m l 方法。此外，为了能够得 到更好的解，我们对m l 方法加入了一些约束条件。 本文的结构安排如下： 第一章绪论 介绍了s r 图像重建问题的研究背景，国内外的研究现状以及s r 重建问 题的主要内容和概论了本论文的内容、结构和意义。 第二章观测模型和位移估计 建立了从l r 图像到h r 图像的观测模型，对于位移估计，我们讨论了几 种常用的位移估计方法，给出了一种相对高效的算法。 第三章m a p 估计和先验模型的选择 在这一章里我们先利用m a p 估计方法来建立能量函数，对于先验概率， 我们对具有二次型特征的t i k h o n o v 先验和具有非线性特征的先验方法进 行了讨论，在此基础上，我们利用了近似方法把非线性的t v 先验用二次型形 式近似表示出来，并对正则化参数的估计进行了讨论。 第四章计算方法和盲解卷积方法 浙江大学硕士学位论文 讨论了获得能量函数的几种方法，并对最速梯度下降法和共轭梯度法进行 了比较，介绍了常用的两种盲解卷积方法：子空间方法和m l 方法，并对m l 方 法做了详细讨论。 第五章仿真结果 在这一章里，我们给出本论文具体用到的方法，并利用一系列l r 图像重 建出一幅高分辨率图像，对各种仿真实验结果进行了讨论。 第六章总结与展望 总结了本文的主要工作，提出了现今工作的不足，和以后改进的方向。 文章的意义： 本论文提供的s r 重建方法是在未知位移和p s f 的情况下，从l r 图像 中恢复出一幅h r 图像。本论文的创新性在于结合了亚像素点估计和盲解卷积 方法来实现s r 重建，在这方面，作者查阅了大量文献，并没有发现有类似的 重建方法。本论文的另一个贡献在于其易用性和重建效果，提出的方法易于实用 且重建效果良好。此外在重建效率上，此方法的时间空间计算复杂度相对较低。 浙江大学硕士学位论文 第二章观测模型和位移估计 本章给出了描述h r 图像和l r 图像关系的观测模型和论述了常用的位 移估计方法。通过分析比较，给出了本文采用的方法。在观测模型的建立上，虽 然有许多文献都有所涉及，但本论文在观测模型的建立过程中，还是加入了图像 尺度这一概念，从而能更好能理解l r 图像与h r 图像之间的关系。在位移估计 方面，我们提出了利用l r 图像内的相关性，来实现亚像素点级的位移估计。需 要指出的是，虽然求解位移估计在很多文献中都被提及，但本论文强调了通过位 移估计获得亚像素点的位移偏差，并利用l r 图像内的相关性来更好地实现对位 移的估计。 2 1 观测模型 为了解决s r 重建问题，我们首先要建立从l r 图像到h r 图像之间联系 的观测模型。需要指出的是，为了能够重建h r 图像，对l r 图像也有一定的 要求。首先这一系列l r 图像与重建的h r 图像呈现的应是相同的场景。为了 更好地理解相同场景的概念，我们有必要对图像的尺度( s c a l e ) 做进一步的说明。 对于一幅图像一般有两个尺度一个是外尺度，一个是内尺度。对于外尺度，我们 可以认为是图像表现对象的大小，如表现一棵树的图像和表现一棵草的图像是具 有不同的外尺度的。对于内尺度，可以理解为对于拍摄对象反映的精细程度，这 个尺度可以由分辨率的大小来体现。对于所有l r 图像我们要求它们表现的场 景具有相同的外尺度。例如，多幅l r 图像表现的是同一棵树的场景，可由于 拍摄的距离和光学焦距的不同，有的只反映了树的局部而有的反映是其他的场景 信息。对于内尺度，由于图像摄取设备表现现实场景的精细程度是有限的，这体 现在分辨率上是有限的，不同图像的分辨率有高有低，在s r 重建问题上，虽 然l r 图像和h r 图像在外尺度一样的情况下反应同一个场景，但在内尺度上， l r 图像比h r 图像的分辨率要低。这里为了讨论方便，我们认为l r 图像都 有相同的外尺度。对于内尺度，我们要进一步说明，对于相同的外尺度，如果把 摄像设备看成是从现实世界中通过采样获得数据，那么更高的分辨率相当于更高 的采样频率，因此，l r 图像便是由具有低带宽设备获得的图像，而h r 图像 便是由具有高带宽设备获得的图像。这两者的采样过程都是均匀采样，而每个采 浙江大学硕士学位论文 样点相当于网格上的一个点，那么h r 图像相对于l r 图像具有更密集的网 格。如果一系列l r 图像网格上的点都不完全相同，那么不难看出这些l r 图 像所含有的信息要多于任意一幅l r 图像所含的信息，如果有足够多的含有不 同采样值的l r 图像，这些l r 图像所含信息与一幅h r 图像相同，那么我 们便能从这些l r 图像中获得一幅具有更精细的内尺度的图像。 为了实现s r 重建，我们需要获得含有不同信息的l r 图像。对于这些l r 图像，使它们具有不同信息的方法之一就是使它们网格上的点对应不同的h r 图像网格上点，即使它们相对于h r 图像网格有不同的偏移，亦即在亚像素 ( s u b p i x e l ) 上的偏移。如果不是在亚像素级，那么l r 图像之间含有的信息将 在很大程度上是相同的，这样就不能获得h r 图像了。为了获得满足要求的l r 图像，我们可以通过在不同的位置安放多个相机获得，也可以由一个相机经过多 次拍摄得到。对于一个相机我们可以控制它的移动来获得多幅l r 图像，如扫 描仪控制它在不同的初始位置开始扫描，或者是天文望远镜，虽然获得不同的 l r 图像需要通过转动望远镜，l r 图像间的偏移将会是很复杂的，但是如果转 动的角度不是很大，也可以把l r 图像间的偏移看成是简单的位移。对于一个相 机，由于场景内物体的移动，也可以获得多幅l r 图像，不过在这方面的应用 相对困难，这是因为物体的运动形式可能相当复杂，这就给解决s r 重建问题 带来了很大的困难。 在获得l r 图像的过程中，不仅有在空间上分辨率的损失，还有模糊( b l u r ) 和噪声对图像的影响，那么在s r 重建中，我们不仅需要对分辨率进行加强， 而且要去除模糊和噪声，图2 1 表现了l r 图像和h r 图像间的关系。 根据以上讨论我们可以建立观测模型的数学表达式： 兰t = c b f 一x + 一n 1 ksn( 2 1 ) 这里所有的图像都以列展开成一个一维列向量，对于获得的n 幅每幅大小为 m 2xl 的图像世。) n i ，我们认为这些图像与一幅理想的l 2xlh r 图像表示 相同的场景。其中，l m ，更确切的说，每一幅获得的l r 图像是由h r 图像经 过任意的位移、模糊、下采样且含有噪声。这里我们假设噪声为高斯噪声，位 移为任意的全局位移，相同的p s f ( 这里我们用p s f 体现图像降质的程度) ， 和相同的下采样其中e 是一个大小为r r 表示全局位移的矩阵，b 是一 浙江大学硕士学位论文 个大小为l 2 r 的模糊矩阵，c 是大小为m 2 r 的下采样矩阵。是具有 观测图像大小的噪声向量。我们认为全局位移e 和模糊矩阵b 都是未知的。 图2 1l r 图像和i t r 图像间的联系 f i g 2 1t h er e l a t i o nb e t 、j l ，e e nl ri m a g e sa n dh ri m a g e 2 2 运动估计 对于运动估计，这里有两点要说明，第一我们认为这里的偏移只有全局位移， 第二，从l r 图像中直接估计出的偏移不会对解决s r 重建问题有任何贡献， 而是需要利用l r 图像帧内像素的相关性来估计出h r 图像网格级上的偏移。 运动估计算法在图像应用上可以说非常广泛，例如在视频压缩编码上，为了 进一步减小对带宽的占用，减小帧之间的短时冗余，可以利用运动估计来达到这 个目的。在机器视觉和机器人邻域，可以利用运动估计来进行目标物体的跟踪等。 在s r 重建上，运动估计也是关键技术。因此我们有必要对运动估计方法进行 详细的讨论。 运动估计方法可以分为四大类1 8 1 ：梯度方法、像素递归方法( p e l r e e u r s i v e t e c h n i q u e s ) 、块匹配方法( b l o c k m a t c h i n g ) 、频率域方法。梯度方法是利用一系列 图像，从中解出光流( o p t i c a lf l o w ) 方程并得到一个运动场( m o t i o nf i e l d ) ，而像 素递归方法和块匹配算法都是在视频压缩编码中发展起来的，像素递归法可以看 成是梯度方法的一个子集，块匹配方法是基于最小化差异测度( d i s p a r i t y m e a s u r e ) 来进行运动估计，频率域方法利用图像之间变换参数的关系来获得运动估计。本 浙江大学硕士学位论文 论文主要对梯度法和块匹配算法进行详细的讨论。 1 ) 梯度法： 若有第尼幅图像在像素点0 ，y ) 的值为l ( x ，y ，r t ) ，垡= ( d ，d ，) 是其它任 一图像l ( x ，y ，) 与第刀幅图像i ( x ，y ，1 ) 的偏移，我们有： l ( x ，y ，n i ) = ，( 工+ d 。，y + d y ，刀) ( 2 2 ) 对j + d 。，y + d y ，行) 进行泰勒展开我们有： l ( x + d ，y + d y 疗) = l ( x ，y ，n ) + d _ a i ( 2 3 ) 把( 2 3 ) 代入( 2 2 ) ，有： i ( x ，y ，z ) 一l ( x ，y ，n i ) + _ a a t = 0 ( 2 4 ) 这里式( 2 4 ) 便是光流约束方程( o p t i c a lf l o we q u a t i o n ) ，从式( 2 4 ) 中解出垡便 是我们要求的偏移。由于我们只有式( 2 4 ) 一个约束条件，而要求的未知量有 两个，所以往往要加一定的约束条件，以便得到更好的解。 在梯度法里，l u c a s k a n a d e 提出了一种利用迭代来求解光流约束方程的方法 0 9 。首先我们发现式( 2 4 ) 与式( 2 2 ) 两个方程是等价的，只是( 2 4 ) 式把 i ( x + d ，y + d y 刀) 以泰勒级数展开，以便使偏移垡能够显示的表达出来。换句 话说，式( 2 2 ) 也是光流约束方程。那么我们可以直接利用式( 2 2 ) 来求解偏移。 我们利用式( 2 2 ) 建立一个能量函数： 知, , i - w ，凡+ w ， 占( d ) = i ( x ，y ，以) 一地+ 以，y + d y ，刀，) ( 2 5 ) x 。x o w xy 2 y o w y 其中( 比，w ，) 是累加器窗口的大小，使能量函最小的d 便是要求的偏移d 。要 注意的是，窗口大小选择要适当，太小将会受到噪声相对严重干扰，太大则对小 的物体偏移估计不准。可以看出l u c a s k a n a d e 的方法是一种迭代搜索方法，为 了快速求得偏移，一般会使用图像金字塔方法，即对图像进行l a p l a c i a n 滤波， 之后下采样得到图像厶，再对图像厶进行相同的操作得到厶一次次往下达到 金字塔的各级。为了求出偏移，我们先在最低级利用l u c a s k a n a d e 算法求出偏 移，之后再在下一级求出新的偏移，最后在原级求得真实的偏移。 浙江大学硕士学位论文 这样做的原因是为了减小搜索范围，下一级与上一级的偏移只会相差一个像素 点，而最低级的搜索范围相对原级的大大减小了，例如，在一个四级的金字塔里， 原级偏移的范围为8 0 个像素点，如果直接计算那么我们要有8 0 x8 0 次迭代，而 利用金字塔我们只需要1 0 x 1 0 + 3 x 4 次，通过1 1 2 次迭代即可获得偏移，在计算时 间上效率大大的提高了。 2 ) 块匹配算法： 块匹配算法在运动估计中，尤其是在视频压缩编码中具有重要的作用，这一 类算法是通过在两幅图像之间进行块匹配来寻找最小化差异测度，从而获得参数 估计。在块匹配中，先把图像分为多个子块，对于每个子块，认为每个像素点具 有相同的偏移，这里我们认为偏移只是位移差，即偏移向量d 。为了求得偏移 向量，我们并不是以一个像素点来比较而是通过一个像素区域来比较，即通过寻 找最匹配的两个像素块来获得偏移向量。我们利用一些准则来评判两个像素块是 否匹配，如平均绝对距离( m e a na b s o l u t ed i s t a n c e ) ，均方距离( m e a ns q u a r e d i s t a n c e ) 等。 为了求得偏移向量我们先要定义测量窗口形，通常这个测量窗口的大小与 块的大小相同，我们还要定义搜索范围s ，为了求得偏移向量垡，我们需要最小 化匹配准则： 垡2 鹕曾( 秽( x , y , n h ( x + d ：, , y + d y , n i ) 0 2 引 对于式( 2 6 ) 中的范数，如果取的是一范数，那么这个匹配标准就是平方绝对距 离，如果取的是二范数，则是均方距离。直接通过式( 2 6 ) 求解偏移向量一d ， 这样的处理便是全搜索算法( f u l ls e a r c h ) ，对比前面提到的l u c a s k a n a d e 算法， 可以看出全搜索算法和l u c a s k a n a d e 算法是非常相似的。 在块匹配方法中，还有其它的一些搜索算法。虽然全搜索算法能够在搜索区 域里找到一个全局最优解，可是这种算法对一些不可能的点也进行了处理，效率 上有很大的损失，为了克服效率上的不足，人们提出了很多快速块匹配搜索算法， 如三步搜索( t h r e e s t e ps e a r c h ) ，共轭方向搜索( c o n j u g a t ed i r e c t i o ns e a r c h ) ，交叉 搜索( c r o s ss e a r c h ) ，新三步搜索( n e wt h r e e - s t e ps e a r c h ) 2 1 1 ，四步搜索( f o u r - s t e p s e a r c h ) 等，这里我们要介绍一种菱形搜索( d i a m o n ds e a r c h ) 算法【2 们。 浙江大学硕士学位论文 一、 ，过，、 - ( 兴搡) 人 ， k， 丫 i 毛h 、 工 ( a ) 大的菱形搜索模式( b ) 小的菱形搜索模式 图2 2 菱形搜索中的两种搜索模式 f i g2 2t w os e a r c hm o d e li nd s 菱形搜索算法的计算过程分为以下三步： 第一步，首先使起始的搜索点和大的菱形模式的中心点重回，搜索范围s 为 大的菱形模式的九个点，对这个九个点分别计算平均绝对距离，如果最小的平均 绝对距离是在大的菱形模式的中心取得的，则进入第三步，否则进入第二步。 第二步，前一步计算了九个点的平均绝对距离，使新的中心点移动到平均绝 对距离最小的点，以这个点为中心再建立一个大的菱形模式，计算各个点的平均 绝对距离，如果最小的是在中心点取得，进入第三步，否则，重复第二步。 第三步，从大的搜索模式进入小的搜索模式，再来计算各点的平均绝对距离， 最小点对应被匹配块的中心，之后计算各步的总偏移便是要求的偏移。 这种搜索方法好处是搜索范围大大的减小了，可是不一定能获得全局最优 解，只能得到局部最优解。 由于我们涉及的是全局位移，只要比较l r 图像中处于中心的块就能估计 出偏移向量，即便使用全搜索算法，计算代价也并不高。 这里对于偏移我们只涉及到了位移，事实上运动估计算法也可以对角度偏移 进行估计。一种简单的处理方法就是在搜索范围s 中加入一个角度集合，如果角 度精度为1 的话，那全搜索的时间为d ( 互l t ox 3 6 0 ) ，其中乃是在单位精 度下对角度搜索一次花费的时间，而正、瓦是对位移搜索花费的时间，我们可 以对要匹配的块进行处理，先把需要匹配的块分别计算在八个方向上的梯度值， 再旋转块使具有最大梯度值的方向朝上，在匹配时，对窗口内的像素块做相同的 浙江大学硕士学位论文 处理，这样使之具有旋转不变性，在此基础上求得位移偏移，之后再来求角度偏 移，这样处理后的搜索时间为d ( lx t , x t + t o x3 6 0 ) ，t 为处理窗口内像素块的 时间。可见求解旋转偏移计算复杂，而实际应用中存在旋转的情况又相对较少， 所以本论文并讨论不存在旋转偏移的情况。 前面我们提到了一些位移估计的方法，可单纯对l r 图像进行位移估计，很 难实现亚像素级( s u b p i x e l ) 的配准。这是因为对于c f , ，c 是一个奇异矩阵，想 要求出真正的疋将是一件非常困难的事。这里为了达到亚像素点配准，我们 利用了l r 帧内像素点的相关性来进行配准，我们先对l r 图像进行双线性插 值，之后利用前面提到方法进行位移估计。 浙江大学硕士学位论文 第三章m a p 估计和先验模型的选择 本章阐述了如何获得用来重建h r 图像的能量函数的方法和先验模型的选 择。在能量函数的建立和先验模型的选择上，我们系统讨论了许多已有的方法， 并对它们进行了比较。在这个过程中，我们给出了对先验知识一些新的认识，例 如近似计算后1 、，先验和m r f 先验之间的关系。 3 1 能量函数的建立 在前面的一章中我们建立了观测模型式( 2 1 ) ，利用观测模型我们可以建立 解决s r 重建问题的能量函数。获得能量函数通常有以下两种方法：一种是通 过残差范数来建立能量函数，另一种是通过概率来建立能量函数。这两种方法各 有优势，第一种方法比较简单，不需要利用统计知识，第二种方法，在高斯模型 下的理论方法较成熟，可是对于分布有严格的要求。下面，我们将对这两种方法 的优缺点进行详细的讨论。首先我们来讨论基于残差范数的方法，之后我们再来 讨论基于统计特性建立能量函数的方法。 3 1 1 最小化残差范数方法 我们可以把估计问题转化成一个最小化残差范数问题： 曼= a r g m i n p ( y ，0 ，z ) 】 ( 3 1 ) 在式( 3 1 ) 中，y ，0 ，工，分别代表获得的数据，模型参数和代估参量，对于 能量函数p ，若利用厶范数，我们可以得到能量函数的形式为： j = a r g m i n i l y e ( x ) l l ： ( 3 2 ) 这个能量函数也可以认为是通过最小二乘方法得到的。 更一般的是建立三。范数下的能量函数形式为： 圣= a r g r a i ny p ( x ) 1 1