（信号与信息处理专业论文）序列图像超分辨率复原技术的研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 超分辨率复原技术是指通过信号处理的方法，将退化降质的低分辨率图像 重建为高质的高分辨率图像，这可弥补实际成像系统由于硬件实现条件和成本 限制导致的分辨率不高的局限，并可有效的改善成像过程的退化降质。超分辨 率复原在模式识别、视频处理、遥感图像、医学图像等领域具有广阔的应用前 景，是近年来图像处理领域的热点研究课题。 超分辨率复原最初只在频域进行，但由于频域法的观测模型仅限于全局平 移运动模型和l s i ( 线性移不变) 模糊，其适用范围受到很大限制，目前研究多 集中在空域。m a p ( 最大后验估计) 超分辨率复原是空域法中普遍采用的主流 算法之一，其能灵活而鲁棒的描述噪声特性和空域先验信息，具有全局最优解 存在、唯一等突出优点。本文主要讨论m a p 超分辨率复原的相关问题。 对于m a p 超分辨率复原框架的先验模型项，本文提出一种边缘保持自适应 先验模型，该先验模型具有边缘保持能力强、收敛速度快的特点，且其尺度和 类型在实际应用中可灵活调节。在m a p 框架下，基于该模型分别导出了单图像 超分辨率复原算法、选择性图像增强算法、图像复原算法及高斯滤波算法。 针对传统序列图像m a p 法的局限性，本文给出了一种时空联合自适应序列 图像超分辨率复原算法，时空联合自适应机制的引入使得算法在保持边缘的同 时可减小错误运动估计矢量对重建图像质量的影响。实验表明，该算法具有重 建质量好、边缘保持能力强、收敛速度快等特点。本文还给出了一种序列图像 帧迭代超分辨率复原算法框架。 为整合低分辨率退化成像过程涉及的亚采样和模糊环节，给出了抽样一模糊 卷积核的概念，并将其应用到适用于综合考虑亚采样、模糊、运动变形、噪声 的完整观测模型的超分辨率复原算法中。为使超分辨率算法能对实际模糊图像 进行处理，给出了一种基于三次样条插值的圆对称点扩散函数( p s f ) 的重构方 法，实验表明，该方法能较好的估计出具有圆对称性的实际模糊图像的p s f 。 关键字：图像处理；超分辨率复原；m a p ( 最大后验估计) ；图像先验模型； 时空联合自适应；p s f ( 点扩散函数) 西南交通大学硕士研究生学位论文第1 i 页 a b s t r a c t s u p e r - r e s o l u t i o nr e s t o r a t i o n ( s r r ) r e f e r st or e s t o r i n gah i g h r e s o l u t i o na n d h i 曲q u a l i t yi m a g ef r o mm u l t i p l el o w r e s o l u t i o nd e g r a d e do b s e r v a t i o n sb ys i g n a l p r o c e s s i n g w h i c hc a i lr e m e d yd e ! f e c t so fr e s o l u t i o na n dq u a l i t yl i m i tc a u s e db yt h e p h y s i c a la n dc o s tr e s t r i c to fh a r d w a r ea n dv a r i o u sn a t u r a ld i s t o r t i o n i ni m a g i n g p r o c e s s i nr e c e n ty e a r s s r ri sah o tr e s e a r c hi s s u ew h i c hc a nb ew i d e l yu s e di n p a t t e r nr e c o g m t i o n ，v i d e op r o c e s s i n g ，r e m o t es e n s i n g ，m e d l c a ji m a g i n g ，e t c s r ra p p r o a c hi so r i g i n a l l yp r o p o s e di ns p e c t r u md o m a i n 。h o w e v e r , a st h e o b s e r v a t i o nm o d e li sr e s t r i c t e dt og l o b a lt r a n s l a t i o n a lm o t i o na n dl s i ( 1 i n e a rs h i f t i n v a r i a n t ) b l u r , t h es p e c t r u md o m a i ns r ra p p r o a c hi s1 i m i t e de x t r e m e l y , w h i l et h e s p a t i a ld o m a i nr e l a t e da p p r o a c hi sm u c hm o r ea c t i v er e s e a r c hi s s u ei nt h el i t e r a t u r e m a p ( m a x i m u map o s t e r i o r i1s r ri so n eo ft h em o s tp o p u l a ra n de r i e c t i v es p a t i a l s r ra p p r o a c h w h i c hi sf l e x i b l ea n dr o b u s ti nm o d e l i n gn o i s ec h a r a c t e r i s t i e sa n da s p a t i a lp r i o r ik n o w l e d g ew i t hae x i s t e n ta n du n i q u eg l o b a lo p t i m a ls o l u t i o n i nt h i s p a p e r , w em a i n yd i s c u s sm a p s r ri s s u e i n t h i sp a p e r , a ne d g e - p r e s e r v i n ga d a p t i v ei m a g ep r i o rw i t hs g o n ge d g e p r e s e r v i n ga b i l i t ya n df a s tc o n v e r g e n c es p e e di sp r o p o s e df o rt h ep r i o rt e r mo f m a ps r rf r a m e t h es c a l ea n dt y p eo ft h ep o p o s e dp r i o rc a l lb ea d j u s t e dm a n u a l l y u n d e rv a r i o u sa p p l i c a t i o ne n v i r o n m e n t as s ra l g o r i t h mf o ras i n g l ei m a g e ，a s e l e c t i v ei m a g ee n h a n c e m e n ta l g o r i t h m ，ac o n v e n t i o n a li m a g er e s t o r a t i o na l g o r i t h m a n dag a u s s i a nf i l t e r i n ga l g o r i t h ma r ed e r i v e df r o mt h ep r i o rm o d e la n dm 匕心f l a m e 。 r e s p e c t i v e l y t om e e tt h ew e a k n e s so fc o n v e n t i o n a lm a p a l g o r i t h m sf o ri m a g es e q u e n c e s a s d a t i o t e m p o r a la d a p t i v es i 冰a l g o r i t h mb a s e do nm a pf r a m ei sp r o p o s e d t h e s p a t i o t e m p o r a la d a p t i v em e c h a n i s m w h i c hi si n d u c e dt o 脚s r rf r a m e c a l ln o t o n l yp r e s e r v ee d g e sb u ta l s op r e v e n tr e c o n s t r u c t e di m a g ef r o mt h ei n f l u e n c eo f i n a c c u r a t em o t i o nv e c t o r st os o m ee x t e n t e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt h e p r o p o s e da l g o r i t h mc a np r e s e r v ee d g e so ft h er e c o n s t r u c t e di m a g ee f f e c t i v e l yw i t l l g o o dr e c o n s t r u c t e dq u a l i t ya n d f a s t c o n v e r g e n c es p e e d b e s i d e s an o v e l f r a m e i t e r a t i v es s ra l g o r i t h mf r a m ef o ri m a g es e q u e n c e si sp r o p o s e di nt h i sp a p e l t h es a m p l e b l u rk e m e li sp r o p o s e dt om o d e ls u b s a m p l i n ga n db l u ri o i n t l y r e l a t e di nd e g r a d ei m a g i n gp r o c e s s w h i c hi su s e df o rs r ra l g o r i t h m sa p p l i c a b l ef o r o b s e r v a t i o nm o d e lc o n s i s to fm a t r i x e so fs u b s a m p l i n g b l u r , w a r p i n ga n dn o i s i n g i n 0 r d e rt op e r f o r mt h ep r o p o s e ds i 冰a l g o r i t h m so na c t u a lb l u ri m a g e s ，an o v e l c i r c u l a r l ys y m m e t r i cp s f ( p o i n t s p r e a df u n c t i o n lr e c o v e r ym e t h o db a s e do nc u b i c s p l i n ei n t e r p o l a t i o ni sp r o p o s e d e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt h ep r o p o s e d m e t h o dc a nr e c o v e rc i r c u l a r l ys y m m e t r i cp s fo fa c t u a lb l u ri m a g e se f f e c t i v e l y k e yw o r d s ：i m a g ep r o c e s s i n g ；s u p e r - r e s o l u t i o nr e s t o r a t i o n ；m a p ( m a x i m u m a p o s t e r i o r i ) ；i m a g ep r i o r ；s p a t i o - t e m p o r a la d a p t a t i o n ；p s f ( p o i n t - s p r e a df u n c t i o n ) 西南交通大学学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所 得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均己在 文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： 1 、提出了一种边缘保持图像先验模型，基于该先验模型和m a p 框架，导 出了单图像超分辨率复原算法、选择性图像增强算法、传统图像复原算法及图 像滤波算法。 2 、针对目前序列图像m a p 超分辨率复原算法存在的局限性，给出了时空 联合自适应序列图像超分辨率复原算法，时空联合自适应机制的引入使得算法 同时具有重建质量好、边缘保持能力强、收敛速度快等优点。 3 、给出了序列图像帧迭代超分辨率复原算法框架，该算法框架目前还比较 粗糙，但其具有较大的发展空间。 4 、给出了抽样模糊卷积核的概念，并成功的将其应用到含模糊环节的单 图像和序列图像超分辨率复原算法中。 5 、给出了一种基于三次样条插值的p s f 重构方法，该方法可估计出具有圆 对称性质的实际模糊图像的p s f ，可广泛的应用于传统图像复原和超分辨率复 原等领域。 弛殄1 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密彤使用本授权书。 ( 请在以上方框内打“) 鬻篙释删 日期：硼弓1 1 指导老师签名： 醐：1 ，多 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 课题的研究背景和意义 高分辨率图像在诸多领域有着重要应用，而实际成像系统( 如c c d 、c m o s 图像传感器、红外成像仪等) 采集到的数字图像往往为模糊、含噪的低分辨率 退化图像。这一方面是由于成像过程中不可避免的受到诸多外界环境因素影响， 另一方面由于受传感器排列密度等硬件实现条件和成本的限制，图像在离散化 过程中由于亚采样分辨率进一步降低。采用高性能的传感器能获得更高分辨率 的数字图像，但这意味着成本显著增加，且在诸如遥感成像等硬件不可更换的 场合，从硬件角度考虑提高图像的分辨率是不现实的。传统的图像复原技术可 采用软件的方法在一定程度上改善由于模糊和噪声等因素导致的图像退化降 质，但其仍然存在着由亚采样导致的分辨率不高的局限。超分辨率复原技术即 是在此背景下提出来的。 所谓超分辨率复原，是指通过信号处理的方法，将退化降质的低分辨率图 像重建为高质的高分辨率图像。超分辨率复原技术能在现有硬件条件下改善由 于亚采样导致的低分辨率局限，并能改善由于环境因素导致的图像退化降质， 且成本低廉。因此，超分辨率图像复原技术的研究具有十分重要的意义，其在 模式识别、视频处理、遥感图像、医学图像处理等领域重要的应用价值和广阔 的应用前景。 1 2 国内外研究现状 超分辨率复原技术最初只对单图像进行处理，其核心思想是试图通过对成 像系统截止频率之外的信号高频成分估计来提高图像的分辨率，该种方法由于 可利用的信息只有单图像，超分辨率复原效果有着固有的局限。序列图像的超 分辨率复原技术旨在采用信号处理方法通过对序列低分辨率退化图像的处理来 获得一幅或者多幅高分辨率复原图像。由于序列图像超分辨率复原可利用帧间 额外信息，比单超分辨率复原效果更好，目前己成为该领域内的研究重点，相 关综述文献见 1 7 。 目前序列图像的超分辨率复原主要分为频域法和空域法两大类。频域法的 观测模型是基于傅立叶变换的移位特性，理论简单，运算复杂度低。但由于频 域法的观测模型仅限于全局平移运动模型和l s i ( 线性移不变) 模糊，其适用 范围受到很大限制，目前研究多集中的空域。空域法较频域法具有更好的先验 约束能力，并且其观测模型可涉及全局运动、局部运动、仿射模型等各种运动 模型、光学模糊、帧内运动模糊等各种空移不变与空移可变点扩展函数，等等， 其适用范围更广。e l a d 和f e u e r 提出了一个普适的空域观测模型瞪j ，该模型描 西南交通大学硕士研究生学位论文第2 页 述了图像获取中平移旋转变形、光学与运动模糊、点扩展函数模糊、欠采样等 环节，对空域算法的设计提供了很好的指导。目前超分辨率复原研究主要集中 在空域中进行，常用的空域法有非均匀插值法、迭代反投影方法( i b p ) 、凸集 投影法( p o c s ) 、最大后验估计法( m a p ) 、最大似然估计法( m l ) 、滤波器法、 学习法等，其中，m a p 和p o c s 法研究较多，发展空间较大。 1 2 1 频域法 t s a y 和h u a n g 9 】对序列图像的超分辨率复原算法作了开创性的工作，他们 首次提出了一种基于频域的算法，其思想是利用原高分辨率图像与具有全局平 移运动的多幅低分辨率图像d f t 之间的混叠关系，通过多幅低分辨率图像的混 叠频谱解出原高分辨率图像的频谱，再通过i d f t 重构原高分辨率图像。该模型 理论简单、运算复杂度低，但观测模型仅局限于全局位移和l s i 模型，因此应 用范围受很大局限。k i m 1 0 h 1 2 】等人对t s a y 等的模型进行了一定的改进和扩展。 此外，一些学者在d c t 域【b 】、小波域【1 4 】等其它变换域也作了超分辨率复原的 相关研究。 1 2 2 非均匀插值法 非均匀插值具有简单、实时性强的优点，其算法流程通常包括运动估计( 注 册) 、非线性插值融合高分辨率图像、图像复原去模糊等环节。u r 等人【15 】基于 广义多通道采样定理6 | ，在假设运动矢量己知的前提下，对具有全局平移运动 的低分辨率图像进行非线性插值，之后进行去模糊处理。l i n 等人【17 j 在交通图 像的非均匀插值超分辨率复原研究中深入讨论了运动估计误差对算法性能的影 响。k o m a t s u 等人【l8 j 使用块匹配技术来进行运动矢量估计，通过执行 l a n d w e b e r t l 9 】算法来估计高分辨率图像。p a n a g i o t o p o u l o u 等人【2 0 j 提出了基于梯 度信息的位移配准、k r i g i n g 插值与维纳滤波复原相结合的超分辨率复原算法。 f r a n k e 【2 1 】和s a n d w e l l l 2 2 j 分别提出了基于局部瘦样条插值和双调和样条插值的超 分辨率复原算法。 1 2 - 3 迭代反投影法( i b p ) 迭代反投影法( i b p ) 具有直观、简单的优点，但其包含先验知识的能力较 弱。i r a n i 和r e l e g 提出了一种迭代反投影方澍2 3 】，其思想是将由估计的高分辨 率图像模拟得到的低分辨率图像与观测的实际低分辨率图像相减得到误差，这 个过程不断迭代直到误差值最小时算法终止。y u 等人1 2 4 j 将i b p 算法应用于3 d 人脸图像的超分辨率复原，t o m 等人1 2 5 j 将i b p 算法应用于彩色视频序列的超分 辨率复原，l i a o 等人【2 0 j 将i b p 算法应用于包含运动模糊、亚采样、噪声、仿射 变换等复杂观测模型的快速序列超分辨率复原。 西南交通大学硕士研究生学位论文第3 页 1 2 4 凸集投影法( p o c s ) p o c s 法对各种成像模型均可方便地加入空域先验信息，其具有很强的边缘 保持能力，但其解不唯一，计算量较大，收敛速度慢、稳定性差。p o c s 法的思 想是通过迭代计算在解空间中寻求满足所有约束凸集条件的点为收敛解，其中 凸集用于描述己知的图像先验信息。p o c s 法由s t a r k 和o s k o u i 首次提出1 2 7 | ， t e k a l p 弱j 、p a t t i p 9 3 0 1 等人对p o c s 法进行了改进，其分另u 考虑了物理尺寸引起 的模糊、传感器噪声和运动模糊与噪声问题，p o c s 法的新近进展见 3 1 3 4 】。 1 2 5 最大后验估计法( m a p ) 、最大似然估计法( m l ) 最大后验估计法( m a p ) 、最大似然估计法( m l ) 都是在b a y e s 框架下的 基于统计理论的超分辨率复原方法。 m a p 法根据b a y e s 理论通过低分辨率图像在先验信息约束下的最大后验概 率求解来重建原高分辨率图像，其能较好的利用先验信息，同时具备p o c s 法 所不具有的全局最优解存在且唯一等突出优点，事实上己成为该领域的主流算 法之一。s c h u l t z 和s t e v e n s o n 利用h u b e r m a r k o vg i b b s 先验模型，将问题变成 一个具有惟一解的有约束的最优问题，在单图像和视频序列中提出了m a p 超 分辨率复原法p ”引。邵文泽等【3 7 提出基于双边滤波和广义h u b e r - m a r k o v 模型的 含噪图像m a p 超分辨率重建算法。c h a n t a s 等【3 8 】在m a p 的超分辨率复原算法 中，其提出了一种局部边界自适应保持策略，然后采用一种有效的两步重建方 法，该方法首先对低分辨率退化图像进行注册，然后采用同时进行复原、插值、 注册的d f t 域迭代算法。s h e n ”j 等人在提出了一种基于m a p 的同时进行运动 估计、运动分割、超分辨率复原的算法。 最大似然估计法( m l ) 其可视为m a p 法在等概率先验模型下的特例，因 此无先验项，而超分辨率复原是一个病态性问题，m a p 比m l 算法性能更好。 t o m 等【4 0 】采用e m 算法来解决m l 估计问题，其能同时估计亚像素位移和噪声 的变化。 1 2 6 滤波器法、学习法 滤波法和学习法是目前超分辨率复原算法中较新的方法。滤波法主要用于 视频处理等对实时性要求较高的场合，其更加注重算法的执行速度，对超分辨 率复原效果要求低于m a p 、p o c s 法。e l a d 等人提出了一种基于自适应滤波理 论的最小二乘估算器【4 1 】【4 2 1 ，以及递归最陡下降算法( r s d ) 和递归最小均方算 法( r l m s ) 两种迭代算法 4 3 】1 4 4 。a l a m 等1 4 5 】在超分辨率复原中引入了w i e n e r 滤波法，n a r a y a n a n 等1 4 6 1 提出了基于p w s 滤波器( p a r t i t i o n b a s e dw e i g h t e ds u m f i l t e r s ) 的超分辨率复原算法。 b a k e r 等1 4 7 提出了一种基于识别先验知识的超分辨率复原算法，即学习算 西南交通大学硕士研究生学位论文第4 页 法，其思想是通过学习识别特定的对象，将得到的识别先验知识用于超分辨率 复原。此外，p a r k 等人【4 8 在人脸图像的超分辨率复原研究中提出了基于流形学 习( m a n i f o l dl e a r n i n g ) 的学习算法，p a t i l 等人 4 9 1 提出了针对实际图像训练集和 神经网络的学习算法，g a j j a r 等人1 5 0 提出了基于非均匀g a u s s m a r k o v 随机场 ( i g m r f ) 先验模型的学习算法。基于学习的算法是一种新颖的方法，可以解 决传统方法的许多困难，但改种算法目前还不成熟，需要进一步深入研究。 1 3 应用领域 如前所述，由于硬件实现条件和成本的限制，加之成像过程中不可避免的 各种环境因素影响，实际成像系统获取的图像往往退化降质为模糊、含噪的低 分辨率图像，这极大的影响了图像的视觉质量和后续处理。超分辨率复原技术 通过信号处理的方法能恢复、改善退化图像的分辨率，不受硬件条件限制且成 本低廉，其在模式识别、视频处理、遥感图像、医学图像处理等领域具有广阔 的应用前景。 1 3 1 模式识别 超分辨率图像复原可以提高采集图像的质量，能够提供更多更准确的图像 细节信息，从而可以提高模式识别的精度，对一些模式识别算法性能的提高起 着重要作用。例如，在视频监控系统中【5 l j 可基于超分辨率复原技术对感兴趣区 域进行缩放，进一步提高监控目标识别的准确性，此在交通、司法等方面有着 重要作用。在人脸识别领域，学者已经基于超分辨率复原作了大量的研究工作， 取得了较好的效果，见文献 5 2 5 4 。 1 3 2 视频处理 超分辨率复原技术可应用于视频处理相关的多个研究领域。目前视频图像 正在向高清电视信号( h d t v ) 方向发展，超分辨率复原技术将有助于将低分 辨率视频图像转换为高清电视信号。由于视觉暂留效应，人跟对快速播放的视 频图像的主观评价通常好于具体的单帧图像，打印具体帧时，单帧图像的质量 可能较差。采用序列超分辨率复原技术，可以获得单帧或多帧的高分辨率图像， 这可应用于视频打印、视频捕捉等领域一j 。目前的视频多为压缩视频，压缩视 频的超分辨率复原技术对提高压缩视频的质量有着重要意义【5 5 1 1 5 6 】。此外，超分 辨率复原技术还可与马赛克处理等采用视频处理方法配合进行视频处理【5 。 1 3 3 遥感图像处理 卫星遥感成像系统不可避免的受到大气扰动、散焦、相对运动和随机噪声 西南交通大学硕士研究生学位论文第5 页 等环境因素的干扰，造成遥感图像的退化降质。超分辨率复原技术能在现有硬 件条件下提升、超越卫星遥感图像分辨率极限的潜力，并且成本低廉，可应用 于卫星遥感图像的军事目标识别等领域，国内外相关研究机构对此作了大量的 研究工作。 李金宗等针对遥感图像的超分辨率复原问题，提出了给出了网格化方法的 一些概念1 5 圳，并提出了抑制振铃的频域补偿滤波器及其自适应算法【5 9 】。孟庆武 等叫j 提出了一种通过空域迭代联合估计混叠度、运动参数和高分辨率图像的 j e m a p 算法，该算法包含先验能力强，可解开亚采样低分辨率图像的混叠。孙 雷等【o l j 提出了一种基于a p e x 算法的新的遥感影像高分辨重建方法，这种方法 可以利用单图像进行重建，减轻了数据的获取和处理难度，能够有效地提高遥感 图像的分辨率。 m e r i n o 等1 6 2 j 首次将其可变像素线性重建算法( v a r i a b l e p i x e ll i n e a r r e c o n s t r u c t i o na l g o r i t h m ) 应用于对地遥感图像超分辨率复原中，其主要思想是 根据每个像素的统计重要性来衡量图像，同时去除图像的几何失真和亮度失真。 a t k i n s o n 等1 6 3 j 将增强卫星图像空间分辨率看作是将图像的像素大小尺度减小的 过程，提出了所谓“d o w n s c a l i n gc o k r i g i n g ”概念的超分辨映射算法，该算法的 思想考虑了不同图像的不同尺度像素与重建的高分辨精细像素之间的加权关 系。a g u e n a 等畔j 将凸集投影p o c s 超分辨率技术应用到了遥感图像融合之中， 其数据源采用了l a n d s a t - 7 和c b e r s 1 两种不同类型不同分辨率的图像数据 来共同重建融合图像。更多的遥感图像超分辨率重建的最新进展见文献 6 5 6 8 。 1 3 4 医学图像处理 医学图像处理在现代医学临床实践中具有举足轻重的地位，获取高分辨率 的医学图像对疾病的正确诊断有着重要意义。由于硬件实现条件和成像机理的 限制，诸如c t 、超声波图像、磁共振成像( m ) 等医疗成像器材获取的医学 图像分辨率还不够高，采用超分辨率复原技术对获取的图像进行处理是提高图 像分辨率的有效技术手段，这也是目前医学图像处理领域的热点研究课题【6 9 7 0 】。 1 4 本文的主要工作 鉴于超分辨率复原技术背景和应用方向，本文在m a p 超分辨率复原算法框 架下探讨了超分辨率复原的一些关键技术，主要作了以下工作： ( 一) 针对传统m a p 算法中先验模型的局限性，提出具有边缘保持能力的 自适应先验模型，该先验模型可应用于超分辨率复原、图像增强、图像复原和 图像滤波等领域。 ( 二) 在序列图像m a p 超分辨率复原框架下引入时空联合自适应机制，给 出时空联合自适应序列图像超分辨率复原算法，该算法具有重建质量好、边缘 西南交通大学硕士研究生学位论文第6 页 保持能力强、收敛速度快等特点。 ( 三) 给出序列图像帧迭代超分辨率复原算法框架，基于该算法框架有望 发展一系列算法。 ( 四) 为整合低分辨率退化成像过程涉及的亚采样和模糊环节，给出抽样 模糊卷积核的概念，并将其应用到适用于综合考虑亚采样、模糊、运动变形、 噪声的完整观测模型的超分辨率复原算法中。 ( 五) 给出一种估计实际模糊图像p s f 的方法，该方法可应用于传统图像 复原领域和超分辨率复原领域。 本文章节安排如下g 第2 章介绍了m a p 超分辨率复原算法涉及的理论基础和数学工具，包括观 测模型、m a p 框架、梯度投影与梯度下降算法等内容。 第3 章集中讨论了m a p 框架涉及的先验模型。在分析传统先验模型优缺点 的前提下，提出了具有边缘保持能力的自适应先验模型，作为模型的支撑，分 别导出基于模型的单图像超分辨率复原算法、选择性图像增强算法、图像复原 算法和高斯滤波算法，并通过实验对相关算法的有效性进行了验证。 第4 章在第3 章先验模型基础上，通过分析传统序列图像m a p 超分辨率复 原的局限性，给出时空联合自适应序列图像超分辨率复原算法，并通过实验对 在重建质量、边缘保持能力、收敛速度、运行时间等方面对算法进行了详尽的 对比分析。本章最后还给出了一种序列图像超分辨率复原的帧迭代算法框架。 第5 章首先给出抽样模糊卷积核的概念，然后讨论了其在单图像和序列图 像的超分辨率复原算法中的应用，接着给出一种基于三次样条插值的圆对称点 扩散函数( p s f ) 的重构方法，并通过实验对该方法进行了对比分析，最后简要 介绍了基于本文研究成果的超分辨率图像应用软件。 最后，对本文总体工作作了总结，并对未来的工作作了分析和展望。 西南交通大学硕士研究生学位论文第7 页 第2 章m a p 超分辨率复原的理论基础 超分辨率复原算法通常是建立在特定的观测模型基础上的，观测模型是实 际成像过程的近似数学建模，其通常描述了运动变形、模糊、亚采样、噪声等 图像退化环节。对于序列图像超分辨率复原，为有效的利用帧间额外信息，需 要对低分辨率序列进行亚像素精度的运动估计配准。m a p 超分辨率复原是空域法 中的一类主流算法，其具有统一的b a y e s 理论框架，算法实现过程涉及目标函 数的最优化迭代求解。本章对上述m a p 超分辨率复原涉及的观测模型、运动估 计、理论框架和最优化求解方法等理论基础作了简要介绍。 2 1 观测模型 序列图像采集过程中的退化降质过程和超分辨率复原流程可表示为如图 2 1 所示的简化模型【3 7 】： 图2 1序列图像退化和超分辨率复原流程示意图 图2 1 中，y p 为w h 大小的退化低分辨率( l r ，l o wr e s o l u t i o n ) 序列图 像，y k 为待重建参考图像，x k 为y k 在亚采样前q w q h 大小的的原高分辨率图 像，文k 为进行超分辨复原得到的x k 的估计高分辨率图像，n 9 为w h 大小的 第p 帧误差噪声向量，m p 为第p 帧q ：w h q 2 w h 大小的运动变形矩阵，d 为 w h q 2 w h 大小的均值亚采样矩阵( q 为分辨率增强因子) ，b 为q 2 w h q 2 w h 大小的模糊矩阵。 理想高分辨率图像x k 经过运动变形( m p ) 、光学模糊( b ) 、亚采样( d ) 、 加性噪声( u p ) 等退化环节后得到实际采集到的低分辨率图像序列y p 。超分辨 率复原就是对低分辨率图像序列y p 进行软件处理，进而得到x k 的估计高分辨率 图像殳。 图2 1 所示的序列图像退化过程可以建模为如下的观测模型【1 】【8 】【3 7 】： y p = d b m p x + i t pk n p j + r ( 2 1 ) 西南交通大学硕士研究生学位论文第8 页 式( 2 1 ) 中x k 、y p 、i i p 均写为一维向量。对不同的成像环境，图2 1 所示 的部分图像退化环节可以忽略，式( 2 1 ) 所示的观测模型可进一步简化。本文 讨论的超分辨率复原问题涉及到包含不同退化环节的观测模型，主要还涉及到 式( 2 1 ) 的如下简化模型： y = x + n ( 2 2 ) y = b x + n ( 2 3 ) y=dx+n(2-4) y = d b x + n ( 2 5 ) y r = d m p x 丘+ i ! pk n p k + n ( 2 6 ) 式( 2 2 ) 、( 2 3 ) 分别为单图像的滤波、复原退化模型，式( 2 4 ) 、( 2 5 ) 为单图像超分辨率复原退化模型，式( 2 3 ) 为忽略模糊环节的序列图像超分辨 率复原退化模型。 2 2 亚像素精度运动估计 序列图像超分辨率复原技术的处理对象般是同一场景的具有一定全局或 局部运动变形的低分辨率图像序列。这些序列之间的大部分内容相似，但也有 各自的轻微差异，这意味着对于待重建的参考帧图像来说，相邻的各图像具有 不同的额外信息，而这些额外信息正是提高参考图像的分辨率的关键。为此， 在超分辨率复原过程中，通常采用运动估计的方法，将相邻的各图像细节配准 到参考图像的坐标系中，且运动估计的精度必须达到亚像素精度级。运动估 计的精度和实时性对相应超分辨率算法的性能有着决定性影响。 事实上，运动估计技术是视频和图像处理领域的基础研究课题，其在视频 编码、视频对象分割、视频监控、遥感与医学图像配准等领域具有重要的应用 价值，国内外研究者已对此作了多年的研究 7 1 7 4 】，但由于运动类型的复杂性， 相关研究还不完善。超分辨率复原中主要考虑全局平移和旋转运动【38 1 、局部平 移【1 4 儿3 6 j 、仿射变换【3 圳1 7 l j 等较简单的运动类型。由于超分辨率复原中要求运动估 计精度达到亚像素精度级，通常需要在传统运动估计算法基础上进行分级匹配 和插值计算，此外，通常需要对获取的运动矢量进行可信度验证以减少错误运 动矢量对算法性能的影响。 由于局部平移运动在视频序列中非常普遍，本文对序列图像的超分辨率复 原的主要考虑局部平移模型。s c h u l t z 等1 3 6 j 在具有局部平移运动的视频序列超分 辨率复原中，提出了一种典型的分级块匹配亚像素精度运动估计方法，该文献 给出的示意图见图2 2 。该方法在第0 级采用平均绝对差分标准( m a d ) 实现 整数值精度的块匹配，第1 级将原图像采用m a p 放大两倍后再进行1 2 精度的 匹配，第2 级( 末级) 将原图像采用m a p 法放大4 倍后实现1 4 精度的匹配。 由于视频序列视频对象的运动，参考帧中的部分像素在待匹配帧中观测不到， 西南交通大学硕士研究生学位论文第9 页 反之亦然。因此运动估计中需要识别并去除这部分错误估计点，s c h u l t z 等采用 了u p d 算法进行检测，其思想是求取待匹配图像末级放大图像与参考图像末级 放大图像对应匹配点之的差，当其绝对值超过一定闽值毛i ，j 后则判定为错误估 计点。阈值毛i ，j 的确定可以采用试探法设定为适当的全局部固定阈值，也可以 采用自适应技术对不同的像素点自动求取适当的阈值。 y 扯 y 哪 图2 - 2 分级块匹配亚像素精度运动估计方法 张新明等【1 4 】对s c h u l t z 的方法进行了改进，其采用双线性插值来进行当前级 图像到下级图像的放大处理，在确定阈值阈值毛i j 时提出了移位帧差法来自适 应的进行运动估计的可靠性验证。 上述分级块匹配运动估计方法在各级都要进行图像子块的矢量匹配搜索， 这导致算法的耗时严重，虽然目前已有穷尽搜索外的各种快速搜索算法【7 1 1 ，但 搜索的可信度和实时性改善有限。王维东等1 75 】和s u h 掣7 6 j 为降低亚像素精度估 计的计算复杂性，分别给了基于双线性插值和多项式的亚像素精度运动矢量快 速估计方法，其均可在已知整数级运动矢量的前提下不插值直接估计出分数级 的运动矢量。 2 3m a p 超分辨率复原框架 对于序列图像退化模型，m a p 超分辨率复原就是求取使得后验概率p ( x 。l y k - n ，y 。，yk + n ) 最大的图像文k 将其作为低分辨率参考图像y 。的重建高分 辨率图像，即： i 。= a r gm a xp ( x 。l yk - n ，y 。，y 洲) ( 2 7 ) 假设噪声向量n p 相互独立，由b a y e s 理论并取对数，则m a p 超分辨率复 原算法框架为【1 4 】【3 “3 9 】： 西南交通大学硕士研究生学位论文第1 0 页 i 。= a r gr a i nq ( x 。，w ) = a r gr n i n 一l o g p ( x 。) 一l o g p ( y 9 i x 。) ) ( 2 8 ) p = k - n s 上 o ( x 。，w ) = 0 ( 2 9 ) 式( 2 8 ) 中q ( xk ，w ) 为待优化求解的目标函数( w 为目标函数的参数 向量) ，式( 2 9 ) 中( x k w ) 为约束条件。m a p 超分辨率复原算法的实质 就是在式( 2 - 9 ) 的约束条件下目标函数q ( x kw ) 的最优化求解问题。 目标函数q ( x k w ) 由先验模型p ( x 。) 与条件概率p ( y pi xk ) ( p _ k n ， k ，h - n ) 两项组成，先验模型与条件概率的不同决定了基于m a p 框架构的 超分辨率复原算法的不同。先验模型对目标函数其规则化作用，保证解的存在 性和唯一性，而条件概率项是与实际成像过程观测模型的反映，两者在目标函 数中的权重对最终重建的高分辨率图像有重要影响。约束条件一般涉及参考图 像的噪声特性，也与观测模型有关。 类似2 1 节观测模型的简化，式( 2 - 8 ) 、( 2 9 ) 的m a p 超分辨率复原算法 框架可以简化为单图像的m a p 超分辨率复原和传统m a p 复原、滤波算法框架： = a r gm i nq ( x ，w ) = a r gm i n 一l o g p ( x ) - l o g p ( y l x ) ) ( 2 - 10 ) s t o ( x v 0 = 0 ( 2 1 1 ) 式( 2 1 0 ) 、( 2 1 1 ) 对单图像的m a p 超分辨率复原，x 、文分别为重建中 和重建出的高分辨率图像，y 为低分辨率退化图像；对传统m a p 复原、滤波， x 、文分别为重建中和重建出的复原图像，y 为模糊或含噪退化图像。 2 4 梯度投影与梯度下降算法 m a p 超分辨率复原的q ( x k w ) 函数一般为凸函数，其全局唯一解存在 且唯一。梯度投影算法、梯度下降算法分别适用于凸函数的约束与非约束问题 的求解，本文涉及到的目标函数主要采用这两种算法进行数值求解，本节对其 进行简要介绍【3 5 3 6 1 。 设q ( x ，w ) 为待优化的目标函数，p 为投影矩阵，1 1 为迭代步数，n m 戤为 最大迭代步数，为第n 步迭代步长，e 1 1 为第i 1 步收敛误差，e t i l i 。为收敛闽值， x 。为第1 1 1 步迭代出的重建图像，g n 、d n 分别为以图像x n 计算的目标函数的梯 度向量和梯度投影向量，其中： d n p g 。 ( 2 - 1 2 ) ：黑芝擎(213)(i n5 玎两浅而奇 屹。 乞= 可i l x o - x n , l l ( 2 1 4 ) 梯度投影算法用于求解有约束的目标函数，一般用于参考图像不考虑噪声 西南交通大学硕士研究生学位论文第11 页 时的m a p 超分辨率复原算法中，其计算流程为： ( 1 ) 初始化n = 0 、x n 及相关参数。 ( 2 ) 计算梯度g n 。 ( 3 ) 计算d n = - pg n 。 ( 4 ) 计算步长。= 盂鼍器。 ( 5 ) 更新x 。- - - - - x 。+ a 。d 。，迭代步数n - - n + 1 。 ( 6 ) 计算e 。：喇，如果e n 迭代步数上限n 功衄，算法终止；否则，转入( 2 ) ，继续计算。 梯度下降算法用于求解无约束目标函数，一般用于参考图像含噪声时的 m a p 超分辨