（信息与通信工程专业论文）视频和图像序列的超分辨率重建技术研究.pdf

摘要 摘要 随着视频和图像处理技术的飞速发展，人们对高分辨率视频和图像序列的需求越 来越强烈。高分辨率图像能提供目标的更多细节信息，对于图像的分析和处理有重要 作用。然而在某些应用场合，由于光学物理器件、处理器性能、信道传输带宽或存储 容量等的限制，人们获得图像的分辨率往往较低，并且无法或很难通过直接方式突破 这些限制。因此，如何在现有条件限制下，提高图像和视频序列的空间分辨率，就成 为人们研究的重点。 多帧图像的超分辨率重建技术已被证明是一种行之有效的解决上述问题的方法。 它将同一场景的多幅图像之间互为补充的信息，用信号处理的方法进行融合，得到一 幅分辨率增强的图像。这一技术可在不改变物理条件的情况下，有效地提高图像的空 间分辨率，为目前在光学物理器件性能受限的情况下获取高质量的图像，或在视频压 缩处理器性能及通信带宽受限的情况下，获得高质量的视频和图像提供了一种很好的 解决方法，因此有广泛的应用前景，对该技术的研究具有重要的理论与实用意义。 本文对视频和图像序列的超分辨率重建技术中的模糊参数估计、块匹配运动估计 以及基于正则化的超分辨率重建等若干关键问题进行了研究，并取得了一些研究成 果。主要工作和研究成果如下： i 提出了一种自适应估计模糊参数的超分辨率重建算法。视频序列的超分辨率 处理应用中，成像系统的点扩散函数( p s f ) 通常是未知的，而为了获得最 佳的重建质量，必须预设成像系统的p s f 。该算法利用多幅低分辨率图像之 间的相互验证关系，训练并自动获得成像系统的p s f ，降低了模糊参数调整 的复杂度。实验结果表明该算法能更好地保持图像细节，使重建图像的纹理 更清晰。 提出了一种基于位置采样的金字塔型块匹配快速算法，并在具体的项目需求 下，设计了该运动估计处理器的知识产权核( i p ) 和一种基于微控制器 ( m c u ) 架构的可编程块匹配协处理器口。算法分析了现有的金字塔型块 匹配算法的缺陷，通过将像素采样改进为位置采样，降低了上层运动估计匹 配的误判概率。算法运算过程中，位置采样后每一层的运算结构有很强的相 似性，通过复用硬件结构大大节省了硬件资源。算法在图像质量损失很小的 情况下，大幅度降低了运算量和硬件资源占用率，可以满足视频序列实时处 理的要求。 提出了一种多边滤波正则化的超分辨率图像复原算法。通过将滤波对象由一 阶梯度扩展到二阶梯度，多边滤波正则化在保持图像全局平滑的同时，更好 地保护了屋顶边缘纹理。这一函数对陡坡位置有很好的滤波作用，并且可以 视频和图像序列的超分辨率重建技术研究 自动调整滤波参数，解决了重建算法中参数调整复杂的问题。对合成图像和 真实视频序列的仿真结果表明，这一算法可以获得很好的重建质量。 提出了一种内嵌正则化的超分辨率重建算法。该算法改进了正则化超分辨率 重建算法中的条件概率项和正则项的结合方式，将正则化函数直接作用于条 件概率项，提高了正则化函数的校正效率，并加快了重建运算的速度。对合 成图像和真实视频序列的仿真结果表明，该算法运算量较小，迭代收敛速度 快，而且重建图像质量好。 。 关键词：图像视频超分辨率重建空域算法块匹配运动估计p 模糊参数估 计正则化多边滤波 西安电子科技大学博士学位论文 a b s t r a c t v a b s t r a c t w i t ht h er a p i di m p r o v e m e n t so fv i d e oa n di m a g ep r o c e s s i n gt e c h n o l o g i e si nr e c e n t y e a r s ，t h ed e m a n df o rh i g h q u a l i t yv i d e oa n di m a g es e q u e n c e sg r o w sf a s t ah i 曲一q u a l i t y i m a g ea l w a y sc o n t a i n sf u r t h e rd e t a i l e di n f o r m a t i o no ft a r g e t s ，a n di ti so fg r e a tv a l u ef o r a n a l y s i sa n dp o s t - p r o c e s s b u ti ns o m ea p p l i c a t i o na r e a s ，u n d e rl i m i t e do p t i c a le l e m e n t s ， p r o c e s s o r s ，c h a n n e lb a n d w i d t h so rs t o r a g ec a p a c i t i e s ，t h ei m a g er e s o l u t i o ni sa l w a y s u n a b l et om e e to u rn e e d s f u r t h e r m o r e ，i ti si m p o s s i b l eo rh a r dt ob r e a kt h el i m i t a t i o n s s o ， h o wt oe n h a n c et h es p a t i a lr e s o l u t i o no fv i d e oa n di m a g es e q u e n c e su n d e rt h e s el i m i t a t i o n s b e c o m e sar e s e a r c hh o t s p o t s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o nt e c h n i q u eh a sb e e np r o v e dt ob ea ne f f i c i e n t t e c h n i q u et os o l v et h ea b o v ep r o b l e m s i tf u s e sc o m p l e m e n t a r yi n f o r m a t i o no fs e v e r a ll o w r e s o l u t i o ni m a g e sb ys i g n a lp r o c e s s i n gm e t h o d st og e tah i g hr e s o l u t i o ni m a g e i tc a n e n h a n c et h es p a t i a lr e s o l u t i o no fi m a g e se f f e c t i v e l yw i t h o u ta n yu p g r a d eo fc u r r e n t e q u i p m e n t s t 1 1 i st e c h n i q u ep r o v i d e su sw i t ha ne f f i c i e n ta p p r o a c ht oo b t a i nh i g h q u a l i t y v i d e o sa n di m a g e s s u b j e c t t ot h ec o n s t r a i n t so fo p t i c a l d e v i c e s ，p r o c e s s o r s o r c o m m u n i c a t i o nc h a n n e l s t h e r e b y , i ti sw o r t h yo fn o t i c eb o t hf o ra c a d e m i cs t u d i e sa n d a p p l i c a t i o n s ，a n di tp e r m i t sw i d e s p r e a dd e p l o y m e n t t h ed i s s e r t a t i o ni n v e s t i g a t e ss e v e r a lk e yi s s u e so fs u p e r - r e s o l u t i o no fv i d e oa n di m a g e s e q u e n c e si n c l u d i n gb l u rp a r a m e t e re s t i m a t i o n , b l o c kb a s e dm o t i o ne s t i m a t i o na n d r e g u l a r i z a t i o nb a s e di m a g er e c o n s t r u c t i o n ，a n dh a so b t a i n e dm a n yr e s u k s n em a i nc o n t r i b u t i o n sa n di n n o v a t i o n p o i n t so f t h ed i s s e r t a t i o na g ea sf o l l o w s ： i an o v e la d a p t i v ee s t i m a t i o na l g o r i t h mo fb l u rp a r a m e t e rf o rs u p e rr e s o l u t i o n i m a g er e c o n s t r u c t i o ni sp r o p o s e d n ep s f ( p o i n ts p r e a df u n c t i o n ) o fo p t i c a l d e v i c ef o rac e r t a i nv i d e os e q u e n c ei sa l w a y su n a v a i l a b l e ，b u ti tm u s tb ep r e s e t f o rr e c o n s t r u c t i o np r o c e s s b ye x p l o i t i n gt h em u t u a lv a l i d a t i o np r o p e r t ya m o n g a l lt h el o wr e s o l u t i o ni m a g e s ，t h i sa l g o r i t h ma d j u s t sa n de v a l u a t e st h eb l u r p a r a m e t e ra u t o m a t i c a l l y , a n dt h eb e s tp a r a m e t e ri sa c q u i r e db yt r a i n i n gp r o c e s s s i m u l a t i o nr e s u l t ss h o wt h a tt h em e t h o dc a nf u r t h e rp r e s e r v et h ed e t a i l e dt e x t u r e ， a n do b t a i nh i 啦r e s o l u t i o ni m a g ew i t hb e t t e rq u a l i t y an o v e lp y r a m i d a lm o t i o ne s t i m a t i o na l g o r i t h mb a s e do i ld o w n - s a m p l i n go f s e a r c hp o i n t si sp r o p o s e d ，a n di t si pa r c h i t e c t u r ei sd e s i g n e du n d e rc e r t a i np r o j e c t r e q u i r e m e n t w ea n a l y z et h es h o r t a g eo fc u r r e n tp y r a m i d a la l g o r i t h m s ，a n d r e p l a c ep l x e lc r o w n - s a m p l i n gw i t hs e a r c h m g - p o m td o w n - s a m p l i n g b vd o i n gs o ， f a l s es e l e c t i o no fc a n d i d a t em a t c hp o i n ta th i 【曲l e v e l si sa v o i d e d i nv l s i i m p l e m e n t a t i o n ，e a c hp r o c e s s i n gl e v e lh a ss i m i l a ra r c h i t e c t u r e ，a n dh a r d w a r e r e s o u r c e sa r es a v e do b v i o u s l y t h ea l g o r i t h mr e d u c e st h et o t a lc o m p u t a t i o nl o a d a n do c c u p a n c yr a t eo fh a r d w a r er e s o u r c e ss h a r p l ya tt h ec o s to fl i n l ed e c l i n eo f i m a g eq u a l i t y , a n di tm e e t st h er e q u i r e m e n to fr e a l - t i m ev i d e op r o c e s s i n g i u an o v e lm a ps u p e r - r e s o l u t i o ni m a g er e c o n s t m c t i o na l g o r i t h mb a s e do nt r i l a t e r a l r e g u l a r i z a t i o ni sp r o p o s e d t h en e wr e g u l a r i z a t i o nf u n c t i o nc o u l db e t t e rp r e s e r v e s l o p ea n dr o o fe d g ew h i l ek e e pg l o b a ls m o o t h i n g t h i sa l g o r i t h mc a l la d j u s tt h e p a r a m e t e r s o f r e g u l a r i z a t i o n f u n c t i o na u t o m a t i c a l l yd u r i n g p r o c e s s i n g s i m u l a t i o nr e s u l t so ns y n t h e t i ci m a g ea n dr e a lv i d e os e q u e n c e sc o n f i r mt h e e f f e c t i v e n e s so ft h i sa l g o r i t h ma n dd e m o n s t r a t ei t ss u p e r i o r i t yt oo t h e rs u p e r r e s o l u t i o na l g o r i t h m s i v an o v e ln l 心a l g o r i t h mw i t he m b e d d e dr e g u l a r i z a t i o ni sp r o p o s e db a s e do nt h e a n a l y s i sa n di m p r o v e m e n to fi n t e g r a t i o nm e t h o do fs i m i l a r i t yt e r ma n d r e g u l a r i z a t i o nt e r mi ni t e r a t i v es o l v i n gf u n c t i o n b ye m b e d d i n gr e g u l a r i z a t i o ni n s i m i l a r i t yt e r m ，t h er e c t i f ye f f i c i e n c yo fr e g u l a r i z a t i o nt e r mi si m p r o v e da n dt h e c o n v e r g e n c er a t ei sa c c e l e r a t e d s i m u l a t i o nr e s u l t so fs y n t h e t i ci m a g e sa n dr e a l v i d e oc o n f i r mt h a t ，t h ec o n v e r g e n c er a t ei sf a s t e ra n dt h er e c o n s t r u c t e di m a g e q u a l i t yi sh i g h e rt h a no t h e rt i k h o n o vr e g u l a r i z a t i o nb a s e da l g o r i t h m s k e y w o r d ：v i d e o ，i m a g es e q u e n c e s ，s u p e r - r e s o l u t i o n ，s p a t i a lr e c o n s t r u c t i o na l g o r i t h m ， b l o c km a t c hm o t i o ne s t i m a t i o n ，i p , b l u rp a r a m e t e r , a d a p t i v ee s t i m a t i o n ，r e g u l a r i z a t i o n ， t r i l a t e r a lr e g u l a r i z a t i o n 西安电子科技大学博士学位论文 缩略语 c f t d f t f f r f p g a h d t v h r p l r l s i n l 心 m l m p e g m i 江 p o c s p s f p s n r s a d s d t v s o c s r v l s i 缩略语 c o n t i n u o u sf o u r i e rt r a n s f o r m d i s c r e t ef o u r i e rt r a n s f o r m f a s tf o u r i e rt r a n s f o r m f i e mp r o g r a m m a b l eg a t ea r r a y h i g hd e f i n i t i o nt e l e v i s i o n h i g hr e s o l u t i o n i n t e l l e c t u a lp r o p e r t yc o r e l o wr e s o l u t i o n l i n e a rs p a t i a ll n v a r i a n t m a x i m u map o s t e r i o r i m a x i m u ml i k e l i h o o d m o t i o np i c t u r ee x p e r t sg r o u p m a r k o vr a n d o mf i e m p r o j e c t i o no n t oc o n v e xs e t s p o i n ts p r e a d f u n c t i o n p e a ks i g n a lt on o i s er a t i o s u m o f a b s o l u t ed i f f e r e n c e s t a n d a r dd e f t n i t i o nt e l e v i s i o n s y s t e mo n 国妒 s u p e r r e s o l u t i o n v e r yl a r g es c a l ei n t e g r a t d n 连续傅里叶变换 离散傅里叶变换 快速傅里叶变换 现场可编程逻辑阵列 高清晰度数字电视 高分辨率 知识产权核 低分辨率 线性空不变 最大后验概率 最大似然概率 运动图像专家组 马尔可夫随机场 凸集投影法 点扩散函数 峰值信噪比 绝对差和 标准分辨率数字电视 芯片片上系统 超分辨率技术 超大规模集成电路 西安电子科技大学博士学位论文 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其 他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本 勰匀也 本人签名：堑：! ! 日期迎里：乡 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在 校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校 后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在解密后遵守此规 定) 本人签名： 导师签名：日期丑星! 三竖 第一章绪论 第一章绪论 【摘要】本章介绍了视频和图像序列的超分辨率重建技术的研究背景、研究成 果、技术现状和研究动态，并指出了超分辨率重建技术的主要研究方向 1 1 引言v一 随着图像传输和处理技术的飞速发展，人们对高分辨率的图像和视频信息的要求 日趋提高。然而，高分辨率的图像和视频数据在获取和处理过程中受到多方面制约。 提高图像空间分辨率的途径通常有两种【l 】。一种是通过改进成像器件的物理特性，如 降低像元尺寸、增大芯片面积等。但这一方法有内在缺陷，芯片面积增大会引起电荷 转移速率下降，降低像元尺寸会使单位像元受光量减少、成像单元受散粒噪声的影响 加大，进而导致成像图像的质量急剧下降。另一种是改进光学镜头的焦距和孔径。在 航拍图像的超分辨率重建中，为了提高图像的空间分辨率并保持足够地面覆盖范围， 通常采用增大相机光学系统的焦距和孔径的方法。但这种大型光学系统受光学材料、 加工、制造成本等的制约，现有的光学成像系统已接近光学器件制造工艺和系统空间 运载能力的极限。而在民事应用中，为了降低成本，考虑易用性，也很少会采用加大 焦距和孔径的方式。因此如何在现有的硬件水平下提高图像的空间分辨率成为迫切需 要解决的问题，超分辨率图像重建技术正是在这一需求下提出的新方法。 对超分辨率图像重建技术( s r ，s u p e rr e s o l u t i o n ) 的研究源于二十世纪六十年 代的美国国家航天局，为了使卫星拍摄的图像提供更多更有用的信息，h a r r i s 和 g o o d m a n 首次提出了超分辨率图像重建的概念【2 】。由于当时理论分析的前提条件过于 苛刻，s r 技术并没有得到深入研究，但对这一技术的探索一直延续。八十年代末， 人们在超分辨率图像重建方法的研究上取得了突破性进展。h u n t 等人不仅在理论上 证明了超分辨率存在的可能性【3 】，而且提出了多种实用的重建方法，超分辨率重建技 术逐渐在学术和应用领域占据一席之地。 根据超分辨率图像重建处理的低分辨率( l r ，l o wr e s o l u t i o n ) 源图像和高分辨 率( h r ，h i g hr e s o l u t i o n ) 目标图像的不同，s r 技术可以分为四层【4 j ，其中应用最 广泛的为多帧图像的超分辨率重建技术。多帧图像的超分辨率是指对同一场景的多幅 图像做处理，用数字信号处理的方法将不同图像中互为补充的信息融合到一幅图像 中，从一系列低分辨率图像中重建出高分辨率图像的方法【l 】。多帧图像的s r 常用于 提高图像的空间分辨率或视频序列的时间分辨率，本文研究的内容为基于运动的、提 高空间分辨率的多帧图像的超分辨率重建，即多幅l r 图像之间存在空间位置的亚像 素相对位移。 西安电子科技大学博士学位论文 视频和图像序列的超分辨率重建技术研究 多帧图像的超分辨率重建技术最初只应用于卫星影像的分辨率增强，随着技术的 发展，其应用领域由航天应用逐渐扩展到军事和民用。近年来，超分辨率技术在航天、 军事和民用领域中的应用越来越广泛，从遥感影像融合到军事侦查、从医学成像到计 算机视觉，从公共安全到多媒体电子消费，超分辨率重建技术已经受到越来越多的青 睐。其典型应用如【5 ，6 】提高遥感侦查影像的空间分辨率“冻结”视频帧的超分辨率 复原，视频的时空分辨率增强，视频编码器和解码器的复杂度均衡1 8 j ，医学成像影像 的分辨率增强等。 1 2 国内外研究现状及成果 超分辨率图像重建的目的是从低分辨率图像序列中重建高分辨率图像。由于获取 时间或获取条件的不同，l r 图像序列中每一幅图像包含的细节信息和图像特性都不 同。郝鹏威【5 】对超分辨率图像质量增强的方法进行了研究，分析了可用于增强图像空 间分辨率的信息来源，如不同的点扩散函数、亚像素位移、亚像素采样和非线性采样 等。在这些情况下，每一幅l r 图像中都包含了原始高分辨率图像中的某一部分信息， 并且在获取参数不同的情况下，每一幅l r 图像所包含的信息都不相同。如果有足够 多的互不相同的高分辨率细节信息，就可以很好地重建原始的高分辨率图像。 然而，超分辨率重建技术并不能理想地复原原始的高分辨率图像。由于存在噪声 的影响，即使l r 图像序列是精确配准的且光学镜头的点扩散函数是已知的，直接通 过插值或逆滤波的方法得到的求解函数仍旧是病态的。因此原始的高分辨率图像不可 能被完美地重建。目前，所有的超分辨率重建算法都只能在保证解的稳定性的前提下， 尽可能地提高重建高分辨率图像的质量。 超分辨率图像重建主要包括三个步骤：配准或运动估计、重建和复原，三个步骤 可以是独立运算的也可以联合计算。配准或运动估计是根据一幅选定的l r 参考图像， 计算其他l r 图像相对于这一参考图像的亚像素位移，在大多数算法中，精确的运动 估计对于超分辨率图像重建的质量影响很大。图像重建即根据多帧l r 图像像素及其 相对位移关系计算高分辨率重建图像。 超分辨率图像的配准通常可以分为基于图像灰度的配准方法和基于图像特征的 配准方法【1 0 1 。基于灰度的配准通常直接利用整幅图像的恢复信息建立两幅图像之间的 相似性度量，然后采用某种搜索方法使相似性度量值最大或最小。这种方法直接利用 图像灰度信息，估计精度高，鲁棒性强，但同时计算量较大。基于特征的配准方法可 提取各类图像中保持不变的特征，作为两幅图像配准的参考信息。由于提取了显著信 息，其运算量较小，但同时对于特征提取和匹配的错误很敏感。 对于只有平移的多幅图像和视频序列之间的配准，应用最多的是块匹配算法 1 1 1 。 块匹配算法在视频压缩领域也称为运动估计，是视频压缩编码中时域压缩的一种重要 方法。视频编码标准中，图像通常被分割为大小相等的块，并以块为单位做运动估计。 西安电子科技大学博士学位论文 第一章绪论 计算时，在参考图像中以对应位置为中心，划定一个矩形框作为匹配窗口，在匹配窗 口中搜索与处理块最为匹配的块。按照匹配位置的完整性，算法可分为全搜索运动估 计和快速运动估计算法。由于全搜索运动估计运算量较大，效率较低，目前已很少使 用，但其性能最好，通常被用作性能比较的参考。快速运动估计算法通过挖掘物体本 身的运动特性和相邻块间的相关特性等方法，用尽量少的运算量获得与全搜索法相等 或相近的搜索性能，因此应用更为广泛。典型的快速算法如三步法【1 2 】，钻石搜索法【1 3 】 和p m v f a s t 【1 算法等。 对于既有平移又有旋转的图像的配准，其配准方法较为复杂。i r a n i 等【l 剀和k e r e n 等【l6 j 通过对旋转和平移后的图像用泰勒级数近似做配准，获得了较好的配准性能，但 其只能应用于中心旋转的特殊情况。l u c a s - k a n a d e 1 n ：b - 法的适用性更强，它采用了一 种两幅图像之间更一般的仿射变换参数，在最小均方误差匹配准则下，用梯度法不断 更新映射参数，最终得到最佳的匹配参数。 基于图像特征的匹配算法中，算法首先对每一幅图像用特征提取算法( 如h a r r i s 检测法、m o r a v e c 算子、f o r s m e r 算子等) 自动检测大量的特征点。然后筛选在两幅 图像之间一致的特征点，并利用这些特征点用非线性估计器高精度地估计图像之间的 变换参数。c a p e l 和z i s s e r m a n 掣1 8 】提出并详细介绍了这种配准过程。l i i n 【l9 】对基于 l u c a s - k a n a d e 的算法和基于特征匹配的算法进行了比较，目前特征匹配的算法仍主 要借鉴于计算机视觉领域的研究成果【1 1 】。 由于目前最常见的对同一场景的多幅图像都来自于对同一场景拍摄的视频序列， 而基于块匹配的配准本身在视频压缩、处理以及图像的配准方面都有广泛应用，因此 本文着重对基于块匹配的运动估计算法进行了研究【2 u ，2 1 j 。 超分辨率图像重建技术最初是在频域中进行运算的。t s a l i 和h u a n g 2 2 j 是对频域算 法最早做研究的一批学者。他们假设l r 图像序列是无噪声的，并且原始的模拟图像 的频率是带宽有限的。利用傅里叶变换在频域的平移特性以及连续傅里叶变换( c f r ) 和离散傅里叶变换( d f t ) 之间的混叠关系，建立了带混叠的l r 图像的d f t 变换系 数与未知的高分辨率图像的c f t 采样值之间的关系方程组。通过解联立的方程组， 得到原始高分辨率图像的d f t 系数，进而通过d f t 逆变换得到原始高分辨率图像。 t s a j 和h u a n g 的方法理论直观、计算简单，但模型中没有考虑光学系统的点扩散函数、 运动模糊和观测噪声的影响，由于模型前提是l r 图像之间是整体平移的，从而限制 了算法在大多数实际应用中的适用性【7 】。 t e k a l p 等人【2 3 】对这一技术进行了改进，考虑了线性空不变( l s i ，l i n e a rs p a t i a l i n v a r i a n t ) 点扩散函数( p s f ，p o i n ts p r e a df u n c t i o n ) 和观测噪声的影响，并采用最 d , - - 乘法计算系统方程的解。k i m 等【2 4 】也对频域算法进行了改进，考虑了噪声的情 况，并用加权的最小二乘法进行计算。k a l t e n b a c h e r 和h a r d i e 在t s a i 的基础上提出了 一种估计图像整体平移参数的计算方法，该方法在计算整体平移时的性能比t s a i 方 西安电子科技大学博士学位论文 视频和图像序列的超分辨率重建技术研究 法有重大改进【7 1 。郝鹏威5 1 从分辨率较低的欠采样图像会导致相应频率域频谱混叠的 理论出发，给出了多幅欠采样图像在频率域解混叠的更一般公式。后来还出现的多种 改进算法，但都只是对t s a i 算法的改进，都存在着与t s a i 算法中假设整体平移相似 的缺点，并且，频域算法都无法集成图像的先验知识，因此频率域算法至今没有取得 实质的突破1 7 j 。 由于频域法在工程中无法实用，人们转而研究空域的直接处理算法。空域算法在 空域对低分辨率图像的成像过程进行建模，它可以对全局和局部运动、光学模糊、运 动模糊、空间可变点扩散函数、非理想采样和压缩域的视频图像处理等各种实际遇到 的情况进行建模，因此更接近于工程应用。 目前，空域超分辨率图像重建的主要方法有非均匀采样内插法、迭代反投影法、 随机概率论法、凸集投影法和混合算法等。 非均匀采样插值算法是空域算法中计算效率较高的算法。它将低分辨率配准后的 像素放入高分辨率网格中。低分辨率像素在高分辨率网格中是非均匀分布的无序采样 值，对这些采样值做内插，然后重采样，即可得到高分辨率网格上位置分布规则的像 素值。基于这一思想的算法有n a v a l 研究实验室提出的t a r i d 算法【2 5 2 6 1 ，d e l a t m a y 插值算法和p h a m 等2 刀提出的鲁棒的融合算法等。 迭代反投影算法通过将预估计的高分辨率图像( 通常由一幅低分辨率图像插值得 到) 代入观测模型，经过仿射变换、模糊和下采样后得到对应的低分辨率估计图像。 计算估计的l r 图像与真实的l r 图像之间的差，并选用一个合适的算子进行反投影， 将估计误差投影到高分辨率网格，更新估计的高分辨率图像。通过循环迭代不断更新 高分辨率图像像素，来改善高分辨率图像的质量。p e l e g 掣2 s 首先将这种迭代反投影 的思想引入超分辨率图像重建，i r a n i 和p e l e g 等 2 9 ，3 0 】对算法进行了一系列的改进， b o r m a n 3 1 j 等对这种方法解的唯一性进行了分析。 凸集投影法( p o c s ，p r o j e c t i o no n t oc o n v e xs e t s ) 3 2 剀是一类影响较大的算法， 由s t a r k 和o s k o u i 3 5 】提出。在这类算法中，超分辨率图像重建算法的解空间由限制高 分辨率图像特性的多个凸集构成，每一个凸集都将超分辨率的解限制在某一可行的范 围内，如正定性、能量有界性、与低分辨率图像像素的观测一致性以及全局光滑性等。 p a t t i 等【3 6 】在s t a r k 的基础上提出了一种保持观测一致性的凸集投影算法，考虑了空间 变化的点扩散函数以及运动模糊等参数。t e k a l p 、e r e n 和s e z a n 3 7 - 4 0 等人又对p o c s 的模型和计算的鲁棒性等问题做了进一步改进，使其更具有普适性。 基于概率论的超分辨率重建算法是目前最有前景的一类算法。这类算法包括最大 似然概率算法【4 1 1 ( m l ，m a x i m u ml i k e l i h o o d ) 和最大后验概率算法【4 2 删( m a p ， m a x i m u map o s t e r i o r i ) ，m l 算法可看作是m a p 算法无先验概率的一种特例。m a p 算法最早由s c h u l t z 和s t e v e n s o n 1 ，4 2 1 引入。他们利用h u b e r - m a r k o v 先验模型，将超分 辨率问题变为一个具有唯一解的条件最优问题。h a r d i e 4 5 , 4 7 、l o r e t t e 4 8 1 、s e m e n t i l l i 4 9 、 西安电子科技大学博士学位论文 第一章绪论 f a r s i u 【5 0 1 、b o r m a n 3 1 1 、c h e e s e m a n 5 1 1 等对m a p 算法也做了较为深入的研究，使m a p 超分辨率重建算法不断完善，成为应用最为广泛的超分辨率重建算法。 正则化技术在图像复原中应用较为广泛，是解决病态问题的一类经典解法 s 2 - 5 4 1 。 它通过在迭代过程中加入正则项，限制最终的迭代结果。有部分文献i l j 将正则化算法 作为单独的一类算法进行分析，并分为随机正则化和确定性正则化方法。而实际上随 机正则化算法等同于基于概率论的算法，确定性正则化算法是随机正则化算法的特 例，因此这类算法都可以归结为m a p 算法。本文在后续内容中不再区分正则化算法 和m a p 算法。 空域超分辨率图像重建中，低分辨率图像的亚像素配准精度和点扩散函数对于重 建质量非常重要。然而，实际应用过程中这些参数通常都无法精确地获得。l e e 和 k a n g 5 5 等提出了一种考虑亚像素配准误差的正则化自适应高分辨率图像重建算法。 g a l a t s a n o s 等【5 6 ，5 7 】在混合贝叶斯框架下提出了一种在模糊参数精度不够高的情况下 的图像复原算法，这一算法中p s f 被分为确定的已知部分和随机的未知部分，未知 部分被建模为平稳的零均值白噪声。他们提出了两种迭代方法，在计算未知部分的同 时重建高分辨率图像。本文【5 8 】对p s f 未知的情况进行了分析，通过类比训练的方法， 用多幅低分辨率图像之间的互相验证关系计算p s f 函数的参数，获得了很好的重建 效果。 对超分辨率重建技术的研究中，还有一类对时变和空变参数和不精确估计的超分 辨率重建算法的研究峰蛐1 1 ，以及对超分辨率重建运算的鲁棒性的研究。针对超分辨率 重建技术的鲁棒性，z o m e t 6 2 1 和f a r s i u 【5 0 6 3 1 等做了部分深入研究。z o m e t l 6 2 将超分辨 率重建中常用的均值滤波替换为中值滤波，这一算法对由于数据异常造成的错误为对 称分布的情况有很好的鲁棒性。然而，这一算法需要设定一个阈值以判断错误偏移是 由于异常点造成的还是由于混叠信息造成。并且，z o m e t 没有对算法的鲁棒性能做数 学证明。f a r s i u 如6 3 】对z o m e t 的方法进行了理论证明，证明了超分辨率重建的迭代运 算中l 1 范数相对于l 2 范数的鲁棒性。他对m a p 迭代公式中的条件概率项和先验概 率项都采用l 1 范数进行计算，提出了一种双边总变差正则化【5 0 】的重建算法。除此以 外，p a t t i 等【删针对隔行视频信号的超分辨率重建鲁棒算法进行了研究。 随着超分辨率重建技术的不断成熟，其应用领域也不断扩展。近几年，人们在应 用需求的驱动下将超分辨率重建扩展到压缩域【6 5 ，6 6 1 ，并提出了基于超分辨率重建技术 的视频压缩编解码新框架【8 ，1 1 】。超分辨率技术在压缩域视频的应用目前主要有两种方 式：一种为直接对解码后的视频序列做超分辨率重建，以获得空域或时域分辨率增强 的薪序列。在这种方式中，由于s r 只作为后处理技术，对视频编解码系统没有影响， 容易兼容到现有的系统中，因此相关研究较多。另一种为在视频压缩编码端人为地加 入下采样，以降低压缩码率，并将辅助信息以视频编码标准中支持的用户数据方式传 输到解码端，在解码时采用超分辨率重建技术联合解码，以获得高质量的解码图像。 这种方式对编解码系统做了进一步改进，相当于将视频编码中的一部分运算转移到解 西安电子科技大学博士学位论文 视频和图像序列的超分辨率重建技术研究 码端，在当前视频压缩编码负担日益加重的情况下，这一方法不失为一种很好的改进 技术，因此对这一技术的研究也在日益增多，并逐渐成为研究热点【8 ，6 6 1 。 对压缩域的重建技术主要集中在如何在s r 重建模型中有效地对量化误差和运动 补偿进行建模，并在解码图像的s r 重建中加入更有效的正则化函数。在这些方面， 主要的贡献者如b r u c k s t e i n 6 7 1 、m o l i n a 8 1 、s e g a l l 6 5 , 6 8 、b a r r e t o 6 6 1 等做了大量卓有成效 的工作。已有的实验表明，在低码率情况下，基于s r 的视频编解码技术性能高于标 准的视频编解码技术，因此在手持终端等低功耗应用以及信道带宽有限的应用中有广 泛的实用前景。 1 3 本文研究内容及主要贡献 本文结合航天五院c a s t 创新基金项目“稀疏孔径系统图像的超分辨率复原技 术”( 项目编号c a s t 2 0 0 7 4 6 ) ，国家自然科学基金项目“基于m p e g - 4 的视频联合信 源信道编码”( 项目编号6 0 3 7 2 0 4 3 ) 和“内容基视频编码中的运动补偿”( 项目编号 6 0 0 0 2 0 0 7 ) ，以及中星微公司委托项目“运动估计加速器f p g a 硬件系统”和方泰公 司委托项目“可编程运动估计处理器设计”等对视频和图像序列的超分辨率重建中的 关键问题进行了深入研究。本文的主要贡献如下： i 提出了一种自适应估计模糊参数的超分辨率重建算法。视频序列的超分辨率 处理应用中，成像系统的p s f 通常是未知的，而为了获得最佳的重建质量， 必须不断调整成像系统的p s f 。该算法通过利用多幅低分辨率图像之间的相 互验证关系，训练并自动获得成像系统的p s f 。在重建的过程中改进了超分 辨率复原的一般处理流程，减少了迭代运算量。对合成图像和真实视频序列 的实验结果表明，该算法更好地保持了图像细节，复原图像的纹理更清晰。 提出了一种基于位置下采样的金子塔型块匹配算法及其i p ( i n t e l l e c t u a l p r o p e r t yc o r e ) 设计结构，并在块匹配