（信号与信息处理专业论文）图像超分辨率重建关键技术研究.pdf

中文摘要 图像超分辨率处理技术是指利用多帧关于同一场景的有相互位移的低分辨 率降质图像来重建高分辨率高质量图像的技术。图像超分辨率处理技术可突破图 像采集设备的分辨率限制，充分利用多帧图像之间的互补信息，实现像素级的图 像信息融合。图像超分辨率处理和成像技术在遥感、军事、高清晰度电视、医学 成像、公共安全等领域有很广泛的应用前景。 图像超分辨率重建算法可以分为两大类，即频域算法和空间域算法。频域算 法只能对全局位移的图像序列进行处理；空间域算法使用通用的观察模型，具有 更好的适应性和重建效果，是目前的主要研究方向。空间域算法包括迭代反投影 方法，最大后验概率方法( m a p ) ，凸集投影法( p o c s ) ，混合m a p p o c s 方 法以及白适应滤波方法等。本文全面介绍了图像超分辨率重建的研究现状，针对 参考帧重建，运动估计、利用运动估计信息共轭梯度法加权重建图像，重建图像 的质量评价三个方面作了深入地研究。 本文探讨了传统的数字图像内插算法，研究了使用全相位内插算法来重建参 考帧，并根据数字图像在边缘轮廓局部特点：跨越边缘方向的灰度值变化比较尖 锐，沿边缘方向的灰度值变化比较平滑；提出了改进的全相位内插算法来重建参 考帧。 运动估计是超分辨率图像重建的一项核心技术，在图像重建过程中的作用是 把观察帧投影到参考帧上，运动估计的准确性对重建效果有决定性的影响，关键 是如何准确地获得半像素运动信息。本文提出了基于帧差的运动估计方法，该方 法与传统块匹配运动估计( b m a ) 相比，搜索结果准确，尤其提高了边缘区域 的搜索准确性，符合图像重建算法的要求。块匹配运动估计方法和光流法运动估 计方法各有优缺点，本文将二者相结合加权，用共轭梯度法进行图像超分辨率重 建。 超分辨率重建图像的评价，目前没有统一的方法。本文针对超分辨率重建图 像的特点，提出了基于边缘基元和边缘局部相似度的评价方法，边缘区域是图像 超分辨率重建的重点，对人眼观察图像起到重要作用，本文研究了考虑人眼观看 感受，加强边缘的超分辨率重建方法。同时，文中对各算法做了仿真实验，得到 了较理想的结果。 关键词：超分辨率全相位插值运动估计共轭梯度法重建图像质量评价 a bs t r a c t i m a g es u p e rr e s o l u t i o n ( s r ) p r o c e s s i n gi st h et e c h n o l o g y t or e c o n s t r u c th i g h r e s o l u t i o na n dh i g hq u a l i t yi m a g e sf r o mag r o u po fw a r p e d ，b l u r r e da n dn o i s e dl o w r e s o l u t i o n ( l r ) i m a g e sa b o u tt h es a m es c e n e i tb r e a k st h r o u g ht h er e s o l u t i o nl i m i to f i m a g ea c q u i s i t i o ne q u i p m e n t ，u s e sc o m p l e m e n ti n f o r m a t i o n i nm u l t i - f l a m ea n dc a n a c h i e v ed a t af u s i o no np i x e ll e v e l i m a g es rp r o c e s s i n gh a sp r o v e dt ob eu s e f u li n m a n yp r a c t i c a la p p l i c a t i o n s ，s u c h a sr e m o t es e n s i n g ，m i l i t a r yd e t e c t i o n ，h d t v ， m e d i c a li m a g i n g ，m a c h i n ev i s i o na n dp u b l i cs e c u r i t y ，e t c s u p e r r e s o l u t i o n a l g o r i t h m s i n c l u d e f r e q u e n c y d o m a i na p p r o a c h a n d s p a t i a l d o m a i na p p r o a c h f r e q u e n c yd o m a i na p p r o a c hc a no n l y d e a lw i t hi m a g e s e q u e n c e st h a to n l yt r a n s l a t i o n a lm o t i o n sa r ea l l o w e d s p a t i a lm e t h o d sw h i c h a r et h e m a j o rr e s e a r c hd i r e c t i o n sh a v eb e t t e ra d a p t a b i l i t ya n dp e r f o r m a n c eb yu s i n gg e n e r a l o b s e r v a t i o nm o d e l s s p a t i a lm e t h o d si n c l u d et h ei t e r a t i v eb a c k - p r o j e c t i o n ( i b p ) m e t h o d ，s t o c h a s t i cm e t h o d ( m a p ) ，p r o j e c t i o no nc o n v e xs e t ( p o c s ) m e t h o d ，h y b r i d r e c o n s t r u c t i o nm e t h o da n da d a p t i v ef i l t e rm e t h o d ，e t c t h i sp a p e ri n t r o d u c e sr e s e a r c h o fi m a g es u p e rr e s o l u t i o nr e c o n s t r u c t i o nt e c h n o l o g i e sa l l a r o u n da n ds t u d i e st h r e e a r e a si n d e p t h ：r e f e r e n c ef r a m er e c o n s t r u c t i o n ；m o t i o ne s t i m a t i o na n dc o n j u g a t e g r a d i e n ti m a g er e c o n s t r u c t i o n t h a tu s e dm o t i o n e s t i m a t e di n f o r m a t i o n ；q u a l i t y a s s e s s m e n to fi m a g er e c o n s t r u c t i o n t r a d i t i o n a li m a g ei n t e r p o l a t i o na l g o r i t h m sa r es t u d yi nt h i sp a p e r f o rr e f e r e n c e f l a m er e c o n s t r u c t i o n ，a 1 1 p h a s ei n t e r p o l a t i o na l g o r i t h m sa r ep u tf o r w a r d b a s eo nt w o f a c t o r so fa ne d g ep r o f i l e ：t h eg r a yv a l u ea c r o s st h ee d g eo r i e n t a t i o ni ss h a r pa n dt h e g r a y v a l u ea l o n gt h ee d g eo r i e n t a t i o ni ss m o o t h ，t h i sp a p e rp r o p o s e sm o d i f i e d a 1 1 p h a s ei n t e r p o l a t i o na l g o r i t h m m o t i o ne s t i m a t i o ni sa l li m p o r t a n tt e c h n i q u ei ns u p e rr e s o l u t i o np r o b l e m s ，i ns r r e c o n s t r u c t i o nm o t i o ne s t i m a t i o ni su s e dt op r o j e c tt h eo b s e r v a t i o nf r a m e so n t ot h e r e f e r e n c ef r a m e t h ea c c u r a c yo fm o t i o n e s t i m a t i o nh a sg r e a te f f e c tt ot h e r e c o n s t r u c t i o nr e s u l t s t h ek e yt ot h es ri m a g er e c o n s t r u c t i o ni s t h ea c c u r a t e k n o w l e d g eo ft h es u b p i x e lm o t i o ni n f o r m a t i o no f t h en e i g h b o rf r a m e s ，t h i sp a p e rp u t f o r w a r dm o t i o ne s t i m a t i o na l g o r i t h mb a s eo nf r a m ed i f f e r e n c e s c o m p a r e dw i t h t r a d i t i o n a lb l o c km a t c h i n ga l g o r i t h m ( b m a ) ，t h er e s u l t s o ft h i sa l g o r i t h ma r e a c c u r a c ye s p e c i a l l yi ne d g ea r e a c o n s i d e r i n gt h eb e n e f i ta n dd e f e c to fb m a a n d o p t i c a lf l o wm e m o d ，t h i sp a p e rs t u d i e sc o m b i n e dm e t h o d ，g e t sw e i g h ti n f o r m a t i o n 。 a n du s e sc o n j u g a t eg r a d i e n tt or e c o n s t r u c ts r i m a g e a tp r e s e n t ，t h e r e sn ou n i f o r ma s s e s s m e n tm e t h o do n t h eq u a l i t yo fs r r e c o n s t r u c t i o ni m a g e c o n s i d e r i n gt h ec h a r a c t e r i s t i c so fs r i m a g e ，t h ea s s e s s m e n t m e t h o db a s e do ne d g eb l o c ka n dt h er e l a t i v eo fl ri m a g ee d g ei sp r o p o s e d e d g e a r e a sa r ei m p o r t a n ti ns rr e c o n s t r u c t i o n ，e s p e c i a l l yf o rh u m a n b e i n g sv i s u a ls y s t e m e d g ee m p h a s i z e dm e t h o di ss t u d i e db a s e do nt h eh u m a nv i s u a ls e n s a t i o n i nt h i s p a p e r , t h e s ea l g o r i t h m sa r ee m u l a t e da n dt h er e s u l t sa r eb e t t e r k e y w o r d s ：s u p e rr e s o l u t i o nr e c o n s t r u c t i o n ，a 1 1 p h a s ei n t e r p o l a t i o n ，m o t i o n e s t i m a t i o n ，c o n j u g a t eg r a d i e n ta l g o r i t h m ，r e c o n s t r u c t i o ni m a g eq u a l i t ya s s e s s m e n t 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨盗苤堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：7 百窘己南 签字日期：细7 年夕月口日 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘堂有关保留、使用学位论文的规定。 特授权丕鲞盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：巧孚了荔 签字日期：伽r 7 年7 月i o 日 z、 导师签名： 7 j 玄函馕 签字日期：饥| 7 年7 月，o f f 天津大学博士学位论文 第一章概述 1 1 超分辨率重建的主要概念 超分辨率( s u p e rr e s o l u t i o n ) 是去除由成像系统造成的模糊( 散焦模糊、运动模 糊、欠采样等) 以及重建超出光学系统衍射极限之外的空问频率信息【l 2 j 。 视频图像重建是指：由于光学模糊( 包括线性运动或散焦模糊) 会造成视频 图像的退化，而对这些退化的视频图像进行的空间( 图像) 去模糊操作。一个物点 ( o b j e c tp o i n t ) 在若干图像像素上扩散时就会呈现光模糊，造成这种现象的原因可 能是由于目标和摄像机之间的相对运动，或者是由于散焦成像。物点空间扩散的 范围是由成像系统的点扩散函数( p s f ) 黼t 3 4 j 。 超分辨率重建技术是由低分辨率图像序列来估计一幅( 或一个图像序列) 较 高分辨率的图像。同时还能够消除加性噪声以及由有限检测器尺寸和光学元件产 生的模糊。它是图像融合领域中的一个重要分支p ，6 j 。 c c d 相机在对空间频率较丰富的景物进行成像时，由于c c d 像元尺寸的限 制使得图像分辨率低，混频现象有时很严重。超分辨率图像重建技术利用视频图 像序列中各帧之间的冗余信息，重建出超分辨率图像，消除和降低混频效应。按 照傅里叶光学的观点，光学成像系统是一个低通滤波器，由于受到光学衍射的影 响，其传递函数在由衍射极限分辨率所决定的某个截止频率以上的值均为零。显 然，普通的图像重建技术如去卷积等只能将物体的频率重建到衍射极限相应的截 止频率处，而不能超越它。这样截止频率之外的能量和信息被无可奈何的丢失了。 超分辨率图像重建就是试图重建截止频率之外的信息，以使图像获得更多的细节 和信息。 许多成像系统，如红外成像仪和c c d 照相机等，在采集视频图像的过程中 受其固有的传感器阵y u 排- y o 密度的限制，图像的分辨率不可能很高。同时欠采样 效应又会造成图像的频谱交叠，使获取的图像因变形而发生降质( 其理论依据是 奈奎斯特采样定理) 。虽然成像系统的光学元件能够有效地限制传感器阵列上的 频带宽度，使获取的图像有可能避免变形效应的发生，但这要求光学元件与传感 器阵列进行有效的组合。这在实际应用场合中是很难做到的。如果采用增加传感 器阵列密度的办法来提高图像分辨率和消除变形效应，则费用可能很昂贵或者很 难实现。因此，如果能够利用低分辨率c c d 相机成像，再利用图像融合技术来 重建高分辨率图像，便能够降低风险和成本1 7 】。 超分辨率视频图像重建问题目前已成为一个比较活跃的研究领域【& 1 0 】，三维 第一章概述 时空采样相对一个二维静止图像采样栅格而言包含更多的信息，超分辨率图像重 建利用了这种包含在多帧图像中的附加信息去重建一个高分辨率的静态图像或 一个高分辨率图像序列。1 9 8 1 年t a s i 和h u a n g 第一次提出了从多帧互有位移的图 像序列中插值产生一帧高分辨率图像的概念【1 1 1 ，首次解决了超分辨率图像重建没 有唯一解的问题。k i m 将t s a i 和h u a n g 建立在频域的算法模型扩展到包含噪声的 情z e 1 2 】。s t a r k 从集投影理论发展出凸集投影算法( p o c s ) 1 3 - 1 5 】，加快了求解的 速度，但是一些非线性约束条件的加入会影响算法的收敛性。t e k a o p 发展t p o c s 方法【l6 1 ，使之适用于更广泛的超分辨率模型。s c h u l t z 提出了基于b a y e s i a n 估计的 多帧图像超分辨率算法【r 7 1 ，提高了超分辨率图像的质量；缺点是模型复杂，计算 量大。m i r a n i 提出了迭代后向投影( i b p ) 算法，这种算法运算量小，收敛速度 较快【18 1 。 在传统的单帧图像重建问题中，仅有一幅输入图像可以利用。而从一个欠采 样的、退化的视频图像序列中可以利用存在的附加时空数据信息。特别是由于摄 像机和景物之问的相对运动导致了视频图像序列之问包含相似但不完全同一的 信息，这些附加信息的存在以及包含的先验约束能够重建超分辨率的图像。 超分辨率的视频图像重建是一个不确定的逆问题：对一个给定的观察图像的 集合存在可能解的多样性。处理这样的问题可以根据先验知识约束解空间，包含 平滑度、确定性等约束对获取高质量的超分辨率图像是至关重要的，因此研究重 点应该放在能够包含先验知识的方法上。 1 2 图像超分辨率重建技术的发展历史 图像超分辨率重建技术通常可以分为两大类：单帧图像重建( 静态图像插值) 方法和多帧图像重建( 序列图像重建) 方法。 单帧图像重建也称为图像放大，是指利用一帧探测器采集到的低分辨率图像 的信息，通过重建算法提高图像分辨率的方法。最早是在6 0 年代由h a r r i s 和 g o o d m a n 以单帧图像复原的概念和方法提出的【”】，其中插值是最常用的方法。 很多文献对单帧图像重建算法进行了很好的研究 2 0 - 2 3 】。如最近邻插值、双线性插 值、三次样条插值和局部自适应放大插值等。虽然这些方法重建速度快，并且能 够使图像有一定改善，但由于受到图像固有信息的限制，仍然不能去掉由于低分 辨率取样所得到的图像的混淆和模糊。 为了增加利用图像的信息，人们逐渐将研究热点转向多帧图像重建。多帧图 像重建充分利用了不同帧图像之问类似而又相异的信息，其超分辨率复原能力好 于利用单帧图像进行复原所获得的超分辨率能力。主要的重建方法可以分为两大 类：频率域方法和空问域方法。 天津大学博士学位论文 频域的方法就是通过频谱解混叠来改善图像空间分辨率，目前频域图像重建 方法主要包括解混叠重建方法、递归最d , - - 乘法和基于多通道采样定理的方法。 通过解混叠进行超分辨率重建最早的研究工作是由t s a i 和h u a n g 在1 9 8 4 年 进行的，当时是为了改善陆地卫星( l a n d s a t ) 成像的分辨率。陆地卫星在轨期问可 以获得地球上同一地区的多幅图像，形成了一系列相似但并非完全相同的图像序 列。他们利用离散傅里叶变换和连续傅里叶变换之间的平移、混叠性质，给出了 一个解混叠的方法。随后t e k a l p ，o z k a n 和s e z a n t l 6 】，以及k a l t e n b a c h e r 和h a r d i e e 2 4 】 对其方法进行了改进和提高。k i m ，b o s e 和v a l e n z u e l a t l 2 】在1 9 9 0 年对t s a i 和h u a n g 的求解公式进行了重大改进，使得超分辨率重建过程考虑到观测值噪声以及空间 模糊等因素，提出了用递归最小二乘、加权递归最小二乘方法求解系统的线性方 程组。随后他们又给出了一种解混叠的总体最小二乘方法。这些方法的一个共同 特点是：整个信号频谱的混叠公式可以分解为一个个相互独立的小方程组进行求 解，只是求解的方法各有差异。 当考虑到普遍的运动类型以及退化模型时，频率域方法仅能进行整体运动估 计，很难将采样空间中变化的运动模型局部等价到其傅里叶变换域上。空间域超 分辨率图像重建方法可以解决这一问题，其基本处理流程如图1 - 1 。 显然，空间域方法进行超分辨率重建时，将复杂的运动模型与相应的插值或 迭代及滤波重采样放在一起处理，作为图像重建的全部内容，这样更符合图像退 化的复杂过程。空间域图像超分辨率重建方法主要包括概率论方法( p r o b a b i l i t y m e t h o d s ) 、集合论方法( s e tt h e o r e t i cm e t h o d s ) 以及近几年出现的小波变换 ( w a v e l e tt r a n s f o r m ) 方法等。 图1 - 1空问域超分辨率图像重建流程图 超分辨率重建问题是一个病态问题，欲使病态问题转化为可解的问题，需要 预先给予一定的先验附加条件，通过这些先验限制条件就能够得到很好的重建结 果。最大后验概率估计( m a x i m u map o s t e r i o r i 简称m a p ) 就是典型的概率论方 法。s c h u l t z 、s t e v e n s o n 最早在1 9 9 2 年将m a p 应用于以h u b e r _ m a r k o v 随机场作 为先验知识的图像内插，以改善图像的清晰度【2 5 1 。后来s c h u l t z 、s t e v e n s o n 把他 们早期的研究成果推广到图像超分辨率重建，提出了一种基于运动补偿欠采样矩 第一章概述 阵的观测值模型2 6 1 ，该模型较好地解释了发生在成像期间的相对运动，但他们在 早期并没有考虑由于运动产生的模糊。s c h u l t z 认识到精确的运动估计信息对超 分辨率重建的重要性，所以对亚像素级精度运动估计进行了深入的研究，提出检 测和排除不精确运动估计矢量的方法【2 7 1 ，得到了较精确的运动估计参数，同时极 小化不精确运动矢量产生的噪声，使得超分辨率图像重建的效果得到了改善。 h a r d i e 、b a m a r d 和a r m s t r o n g 2 8 】也提出了一种本质上与s c h u l t z 和s t e v e n s o n 相同 的m a p 方法，不同的是他们考虑了整体和非整体的运动模型。后来h a r d i e 等人 把该算法用来处理夜视图像【2 9 】。m ak a i g u a n g 将蒙特卡洛方法用于超分辨率重建 3 0 - 3 2 o 目前m a p 超分辨率图像重建算法已经得到广泛的应用t 3 3 - 3 5 1 ，这主要是因为 该算法的框架模型是直接考虑先验知识的，以m a p 作为先验知识的模型可以提 供十分方便、直观和符合实际的成像模型；并且在m a p 这样的框架内可以实现 运动估计和超分辨率重建的同时求解。 图像超分辨率重建的另一种方法就是基于集合论的凸集投影( p r o j e c t i o n o n t oc o n v e xs e t 简称p o c s ) 方法，在这种算法中，限制集定义为超分辨率解 空间中可行解的限制条件，每一个限制条件则定义为向量空间中的凸集合 ( c o n v e xs e t ) 。这些限制条件一般为超分辨率解提供较理想的性质，比如正定 性、能量有界性、观测数据一致性以及光滑性等。超分辨率重建的解空间就是这 些凸的限制集的交空间。y o u l a 和w e b b 首先将凸集投影的理论用于图像恢复【3 6 | ， 接着s e z a n 和s t a r k 把该理论应用于图像恢复并给出相应的结果u3 1 。s t a r k 和 o s k o u i 首次将p o c s 应用于超分辨率图像重建【l 引。t e k a l p 、o z k a n 和s e z a n 提出 了一种基于p o c s 的超分辨率重建理论框架【1 6 】，他们同时考虑了频率混叠、探测 器模糊、运动模糊以及加性噪声，并获得了较好效果。接着，p a t t i 、s e z a n 、t e k a l p 在该模型中加入了孔径曝光期间由于运动产生的空间模糊，使p o c s 法得到了更 广泛的应用 3 7 , 3 8 1 。随着人们对该算法的进一步研究，一些更为理想的算法改进被 提出。s t e m 、k e m p n e r 【3 9 】等人根据一定的判据对图像进行选择，这样可以剔除一 些严重模糊的图像，然后再用凸集投影的方法进行图像重建，从而得到比把所有 图像都用来重建更为理想的结果，并且可以减少计算量。l i 、s a n n i n o 、k a r i 4 u j 提出一种新的适合低分辨率图像序列的运动估计算法，图像重建的算法采用凸集 投影方法，结果表明将运动估计跟凸集投影重建算法结合起来可以提高图像的清 晰度。 小波变换是近年来在m a l l a t 等人的奠基工作上迅速发展起来的一种新的数 学理论，它在时域和频域同时具有良好的局部化性质，因此优于傅里叶变换。由 于它对高频成分采用逐渐精细的时域或空域取样步长，从而可以聚焦到图像的任 何细节，因此被称为是数学上的显微镜。国内外许多研究者对它进行了深入的研 天津大学博士学位论文 究，并将它应用于超分辨率图像重建领域中，出现了基于小波变换方法的超分辨 率重建的新方法。f o r d 和e t t e r 4 l 】对基于小波变换的一维信号非均匀采样进行了 研究，给小波域插值重建打下了基础。n g u y e n 和m i l a n f a r 4 2 成功地将该方法扩 展到序列低分辨率图像小波域插值重建中。 g u n t u r k 和s e g a l l 针对压缩视频的超分辨率重建进行了研究 4 3 , 4 4 j 。f a r s i u 对 多帧图像去马赛克进行了研究【4 5 j 。 1 3 图像超分辨率重建的应用领域 图像超分辨率重建技术在以下领域具有十分重要的应用前景： 1 公共安全领域 视频信号是由连续的多帧图像序列排列的，若对视频信号中的某一段进行处 理，就可以得到更高分辨率的静止图像，此即为视频信号帧“冻结”的技术。这对 于普通摄像机监控系统，能更有效的提高识别能力。比如，超分辨率图像重建技 术可以利用普通监视录像资料，重建出高清晰度的目标图像，从而有利于相关人 员的辨识。 2 计算机视觉领域 图像超分辨率重建技术有可能使图像实现从检出水平( d e t e c t i o nl e v e l ) 向识别 水平( r e c o g n i t i o nl e v e l ) 的转化，或更进一步实现向细辨水平( i d e n t i f i c a t i o nl e v e l ) 的 转化。图像超分辨率重建技术可以提高图像的识别能力和识别精度。超分辨率图 像重建技术可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨 率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。 3 军事遥感侦察领域 目前，遥感图像数据量存在一个矛盾，遥感图像数据量既多又少获取的 数据量多，有用的信息少。陆地资源卫星每天约绕地球旋转1 4 圈，1 8 天左右就 能对地面同一区域覆盖一次，这样，就能够获得同一地区多次重复的图像数据， 但由于成像设备的硬件技术原因，往往得不到想要的高分辨率图像；同时，由于 高分辨率相机造价昂贵，体积和重量都很大。因此若能利用低分辨率相机成像， 再对这些重复图像数据进行超分辨率重建，生成高分辨率图像，这样可以降低风 险和成本，同时提高现有图像资料的应用价值和军事目标的识别能力。 4 资源与环境的卫星遥感应用领域 地球资源卫星的发射是为了获取多光谱图像，通过对这些图像进行一系列的 处理，可以获取不同的有用信息。例如：植被的分类及分布、区域地理结构以及 水资源的分布面积等信息。但是由于现有成像技术的限制，图像的分辨率限制了 图像的判别和定位的精度，利用超分辨率图像重建技术对这些图像进行重建，从 第一章概述 而提高所需资料的获取精度。 5 医学成像( c t 、超声波成像等) 领域 医学检测中往往需要通过层析成像技术识别并确定出病体的精确位置及详 细情况：如阴影的边缘、病体占位的大小及位置等。由于硬件设备及现有的成像 技术的限制，还不能够获取满足更高要求的高清晰图像。由于层析成像技术的特 殊机理，超分辨率图像重建技术可以在该领域获得重要的应用。 1 4 论文的主要创新点和组织结构 本文以低噪声的视频序列中的多帧图像来重建单帧超分辨率图像为主要研 究对象，对常用的图像超分辨率重建方法进行了分析。本文把全相位滤波的思想 用于图像超分辨率重建，设计全相位内插模版用于重建多帧超分辨率重建的参考 帧，提出了针对边缘区域改进的全相位方法。本文根据常用运动矢量的估计方法， 提出了考虑大帧差值点的分层块匹配方法，这种方法出现大的运动估计误差少。 、块匹配运动估计方法和光流法运动估计方法各有优缺点，本文提出了二者相结合 加权的方法，用共轭梯度法进行图像超分辨率重建。针对超分辨率重建图像的评 价，提出了基于局部基元和边缘局部相似度的评价方法。该方法重点关注了边缘 区域，边缘区域是图像超分辨率重建的重点，对人眼观察图像起到重要作用，本 文提出了考虑人眼观看感受，加强边缘的超分辨率重建方法，取得了较好的实验 结果。具体安排如下： 第一章介绍图像超分辨率重建研究背景、发展历史和应用方向。概述了本文 的组织结构和创新点。 第二章具体讲述了超分辨率图像重建问题的模型、频域处理方法、空域处理 方法、最大后验概率方法和凸集投影法等。 第三章介绍了单帧图像内插的常用方法，概述了全相位理论，并根据全相位 理论给出了全相位沃尔什，全相位傅里叶，全相位反余弦内插模板，并进行了实 验比较分析。 第四章针对单帧图像内插方法的主要误差出现在图像的边缘部位，本文提出 了基于边缘改进的全相位内插算法，给出实验结果。 第五章介绍了运动估计的原理和常用方法，提出基于帧差点的分层块匹配运 动估计方法，并给出实验结果。 第六章提出了基于帧差点的分层块匹配运动估计和光流估计相结合的半像 素偏移加权内插的方法，研究得出根据不同像素点的超分辨率重建的准确性加权 平滑的方法，并给出实验结果。 天津大学博士学位论文 第七章研究超分辨率图像重建的质量评价，提出了两种针对边缘局部的评价 方法。 第八章研究基于人眼视觉模型的图像超分辨率重建方法。 第九章对全文的研究工作进行最后的总结，包括存在的和需要深入解决的问 题及发展前景。 天津太学博f ，学仲论文 第二章图像超分辨率问题模型和常用解法 暇像超分辨丰亚北拉术的基本思恕是在现有成像系统的前提下，采取某种软 件披术方法突破其成像技术极限咀获取更高卒问分辨率的图像，其h 的就是对低 分辨牢的降质引像或序列进“融台j “牛一幅高分辨率的图像或青高分辨率的l 划 像序列消除频谱能叠，1 重建截止频率之外的信息，使图像的细节信息更p 甫 同时消除加性噪声和南有限检测器h 、j 和光学元件产生的模糊。就h 前的研究水 平，图像超分辨率重建依然是一个模型不完善的病态逆问题。 本章介绍了图像超分辨率重建的定义成像系统的原理，造成降质的因素 超分辨率图像重建数学模型的建立频域算法和空域算法的原州。 2 1 问题的描述与定义 2 1 1 分辨率 图像的分辨率简芹来说就是成像系统列图像细节的分辨能力，也是图像中h 标细微程度的指标。它表目；景物信息的详细程度系统的仃环节都可能对蚓像 的虽终分辨率造成影响。本文讨论的数字图像的空问分辨率是图像的重要参数， 也是图像质量砰价的关键指标。 影响图像审问分辨车的因索有：被观察景物的对比度、形状、数1 4 及成像系 统的镜头、n d , i 现场、辐射光波妊、成像孔径、成像姿态等。f | _ 【最基本的是e h 光 的衍射决定的分辨极限、成像系统的点扩散函数、信噪比三个方面。 描述成像系统的空问分辨率的传统方法是两血分辨极限准则，萁中最常爿 的 是r a y l e i g h 准则和s p a r r a w 准则。由于光的衍射，即使不存在像差，h 标物上的 一点也会通过光学系统在成像面l 形成一个被称为a i r j 像斑的圆盘激斑，该散 斑以原h 标物点对麻的几何像点为巾心，以光的波长为半径。如图2 - 1 所小r 图2 - ia 1 w 斑示意图 第一辛闰像超分辨市世 饕和常用斛诖 衍射图样r r l 中心亮k 至第暗叫、的包m 山的斑点，即a i r y 斑。 根据r a y l e i g h 准9 1 0 ，两个a i r y 像斑的中心最大值点若刚好相札落在* 十 像斑的边缘零点上，则认为返两个像斑对麻的原h 标物j _ 是可分辨的，此叫t f 分 月泪，离就是r a y l e i g h 分辨极限。s p a r t a w 准则认为这个分辨极限府该是阿个相邻 近的a i r y 像斑使中间亮度没有凹陷h , i 的h 标物点自q 距离，如图2 - 2 所不。考虑 成像系统相差存在的情况下，h 标物点成像的散斑会更火，也不一定是圆盘状， 此驯为定义在空域上的点扩散函数( p s f ) 。 扩散函数波及的范同越大，吲像 的空问分辨率就越差。 图2 - 2s p a r r a w 示意图 光学成像系统的调制传递函数( m t f ) 描述的是光学系统对物面光强分布h j j 暗变化的备种卒问分辨率的传递特性，它存数值l 是光学系统的的光学传递函数 的模，而光学传递函数则是成像 扩散函数( p s f ) 的傅里n | _ 变换。m t f 值存 0 i 之间，一般来酏，它随着空问频率的增高| f 】下降并有一定的截止频率即 光学系统是不能够传递高于截止频率的图像的。 由系统醴差和随机误差形成的成像误差是任何成像系统都不可避免的。系统 误差导致成像的点j r 散函数的形状不能精确确定。随机误差的存在则导致成像不 具备完全的1 重复性。因此图像的空间分辨率与成像系统的信噪比( s n r ) 有 着r 分密切的戈系。误差会引起图像分辨率的变化，单点空问分辨率是指成像系 统在有噪声的情况f 对h 标物点的精确定位能力。芹点的空间分辨率则指成像系 统在有噪声情况下对h 标物的两个点的分辨能力。有噪声情形下的图像空问分辨 率一股是通过统计方法估算得到的。 2 1 2 图像的数宇化 为了用计算机来处胖，图像必须用适、的离散数据结构来表达，例如矩阵。 传感器获得的图像是平面上两个半标、y 的连续函数九”，) 。图像数字化是指将 两个华标x 、y 采样为一个行n 列的矩阵( e r 小”，第k 行第，列元豪表不 天津大学博士学位论文 为j 厦k , 0 ，将连续样本数值苁忽d 离散量化为整数数值，仍用苁疋d 表示，若图像函 数的连续范围被划分成l 个区问，则以毛d 取值为o ，1 上一1 ，一般工个区间是等 间隔的，且一般取l = 2 k ，k 为自然数。采样及量化越精细( 从n 、l 越大) ，对 连续函数的a x , y ) 近似就越好。 一个连续的图像函数舷y ) 可以用平面上离散的栅格点来采样，也可以将图 像函数在一组正交基下展开。傅里叶变换，离散余弦变换都是用展开式的系数来 表示数字化图像。 设图像的采样点x = k a l v ，y = l 厶y ，k = l ，2 一，m ，l = 1 ，2 ，n 。为x 轴采样 间隔，匆为y 轴采样间隔，采样矩阵火危d = 以k a s x , l a y ) 构成了离散栅格图像。 规格化栅格上的理想采样函数s ( 训) 可以用一组狄拉克分布( d i r a cd i s t r i b u t i o n ) 8 ( x ，y ) 来表示 j ( x ，y ) = 5 ( x - k a x ，y l a y ) ( 2 1 ) 5 ( x ，y ) 定义为 砸棚= 佬意，砸川一， ( 2 - 2 ) 采样的图像石力是连续图像舷y ) 和采样函数j 力的乘积 z ( x ，j ，) = 厂( x ，y ) s ( x ，y ) = ( x ，j ，) 6 ( x - k a x ，y - l a y ) ( 2 3 ) 公式( 2 3 ) 中的狄拉克分布组合可以看作是周期为厶、匆的周期函数并 可展开为傅里叶级数。为了达到傅里叶变换的周期性条件，暂时假设采样栅格覆 盖整个平面 妻艺万。一尼缸，y l a y ) ：宝宝。p 2 州篆+ 万n y ( 2 4 ) 傅里叶系数的计算公式 = 五1 万垮a x 乓a y 耋耋万( x 一尼缸，y 一，缈) p 之硝争秒螂 ( 2 - 5 ) 上式积分中只有k = 0 ，k0 的一项在整数范围内积分不等于0 ，则 = 忑1 石虐虐万( ) p 勘八署焉) 出咖 ( 2 - 6 ) 上式中的积分恒为1 ，则系数a 。表示为 口：上 , 2 - 7 ) 口一5 石石 所以当从- 时，公式( 2 3 ) 可表示为 伽m y ) 击黑磐州争爹 协8 ， 第二章图像超分辨率问题模型和常用解法 在频域中表示为 f s ( u ，v ) ：志荟丕兀沪去一专) 9 因此，采样后图像的傅里叶变换是图像傅里叶变换f ( u ，1 ，) 的周期延拓。 图像傅里叶变换f ( u ，1 ，) 的周期延拓会引起图像失真，这种现象称为混叠，发 生于延拓分量彼此重叠时：设图像函数触，力是有限带宽的频谱，其傅里叶变换 f ( u ，v ) 在川 u ，i v l y 时等于0 。队v 为f ( u ，v ) 的最高频率，称为奈奎斯特频 率。对于带限频谱的图像，只要采样间隔满足下列条件，其周期性重复的傅里叶 变换f ( u ，y ) 就不会发生混叠。 1 2 u 1 2 v 缸 。a v ( 2 1 0 ) 依据信号处理理论中的香农采样定理( s h a n n o ns a m p l i n gt h e o r e m ) ，2 u , 2 v 称为奈奎斯特采样率( n y q u i s tr a t e ) 。在图像分析中该定理的一个简单的物理解 释是，采样频率必须大于奈奎斯特采样率，在空域，采样间隔应该比图像中感兴 趣的最小细节的尺寸的一半还要小。实际数字图像的采样就是因为达不到奈奎斯 特采样率而使图像的频谱产生混叠，这是图像分辨率损失的一个重要原因。 2 1 3 成像系统的数学描述与图像重建原理分析 设物函数为他) ，成像系统用符号， 】表示，像函数为如，则物和像的 映射关系可以表示为 4 6 】： g ( x ，y ) = i l f ( x ，y ) l ( 2 1 1 ) 按照线性系统的性质，物函数似力对成像系统是一个复杂的激励，可以将它分 解成无数个“基元点”的激励之和，最简单的基元点函数就是6 函数。利用6 函数 的选择性，可以把物函数f i x , y ) 表示为带有权重因子厂( 孝，刁) 的6 函数的线性组合， 即 f ( x ，y ) = li ( 毒，q ) 8 ( x - 孝，y - r 1 ) d , 咖 ( 2 1 2 ) 那么，只要求出成像系统对6 函数的相应( 输出) 表达式，将它与每个基元点的 加权因子相乘且求和，就可得到像函数： g ( w ) = ，【( w ) _ ，l 厂( 善，r t ) 8 ( x 一毒，y - r 1 ) d d r l ( 2 - 1 3 ) 由于厂( 孝，r t ) n - 7 以看成是加在8 ( x 一善，y r t ) a ：- 的权重因子，按线性性质，符号， 】 可移到积分内作用于j 函数，即： g ( x ，y ) = 厂( 善，r 1 ) i 【万( x 一善，y 一, 7 ) a 4 d , 7 ( 2 1 4 ) = li ( 善，r i ) h ( x ，y ，善，叩) d 善d 7 7 天津大学博士学位论文 式中h ( x ，y ，孝，7 7 ) = ， 万 一孝，y - r 1 ) 】为成像系统的冲击响应，又称为点扩散函数 ( p s f ) ，其物理概念是物点经成像系统后不再是一点，而是具有同一个圆心的弥 散的同心圆。由于成像系统是一个空间不变系统，即物点在前景