（电子科学与技术专业论文）基于遗传算法的超分辨率图像复原技术的实现.pdf

国防科学技术大学研究生院学位论文 a b s t r a c t r e c e n ty e a r sh a v es e e ng r o w i n gi n t e r e s ti nt h ep r o b l e mo fs u p e r - r e s o l u t i o nr e s t o r a t i o no f s t i l li m a g eo rv i d e os e q u e n c e s w h e r e a si nt h et r a d i t i o n a ls i n g l ei m a g er e s t o r a t i o np r o b l e mo n l y as i n g l ei n p u ti m a g ei sa v a i l a b l ef o rp r o c e s s i n g , t h et a s ko fr e c o n s t r u c t i n g s u p e r - r e s o l u t i o n i m a g e sf r o mm u l t i p l eu n d e r s a m p l e da n dd e g r a d e di m a g e sc a nt a k ea d v a n t a g eo ft h ea d d i t i o n a l s p a t i o - t e m p o r a ld a t aa v a i l a b l ei nt h ei m a g es e q u e n c e i np a r t i c u l a r , c a m e r aa n ds c e n em o t i o n l e a dt of r a m e si nt h es o u r c ei m a g es e q u e n c ec o n t 咖n i n gs i m i l a r , b u tn o ti d e n t i c a li n f o r m a t i o n t h ea d d i t i o n a li n f o r m a t i o na v a i l a b l ei nt h e s ef l a m e sm a k e sp o s s i b l er e c o n s t r u c t i o no fv i s u a l l y s u p e r i o rf r a m e sa th i g h e rr e s o l u t i o nt h a nt h a to f t h eo r i g i n a ld a t a s u p e r - r e s o l u t i o nr e s t o r a t i o nf r o ma ni m a g es e q u e n c ei saw e l lr e c o g n i z e de x a m p l eo fa n i l l - p o s e di n v e r s ep r o b l e m s u c hp r o b l e m sm a yb ea p p r o a c h e du s i n gr e g u l a r i z a t i o nm e t h o d s w h i c hc o n s t r a i nt h ef e a s i b l es o l u t i o ns p a c eb ye m p l o y i n ga - p r i o r ik n o w l e d g e i nt h i sp a p e r , w e r e g a r dt h er e s t o r a t i o np r o b l e ma sar e g u l a r i z e di m a g ei n t e r p o l a t i o np r o b l e m ，a n dm a i n l yd e a l w i t l li m a g ei n t e r p o l a t i o na l g o r i t h m st oe n h a n c et h ei m a g eq u a l i t yi nt h es e n s eo f r e s o l u t i o n t h e r e g u l a r i z e di m a g ei n t e r p o l a t i o ni st of i n dt h ei n v e r s es o l u t i o nd e f i n e db yt h ei m a g ed e g r a d a t i o n m o d e ls u b j e c tt oap r i o r ic o n s t r a i n t s w ep r o p o s eag e n e r a lf r a m e w o r kb a s e do ni n t e r p o l a t i o n b e t w e e ni m a g ef r a m e s r e s t o r e dh i g h - r e s o l u t i o ni m a g ew i t hs m o o t h n e s sc o n s t r a i n tc a l lb e o b t a i n e df r o ml o wr e s o l u t i o ni m a g ef r a m e s g e n e t i ca l g o r i t h mi sas e a r c ha l g o r i t h mb a s e do nm e c h a n i c so f n a t u r a ls e l e c t i o na n dn a t u r a l g e n e t i c s i tu s e sp r o b a b i l i s t i c t r a n s i t i o nr u l e st og u i d ei t s e l ft o w a r da no p t i m u ms o l u t i o n c o m p a r e dt oo t h e rs e a r c ha l g o r i t h m s ，g e n e t i ca l g o r i t h mh a sa ne x c e l l e n tp a r a l l e l i s ma n d m a t h e m a t i cs i m p l i c i t y r e c e n ty e a r s ，g e n e t i ca l g o r i t h mh a sb e e nw i d e l yu s e di nm a n yd o m a i n s ， i n c l u d i n gi m a g ep r o c e s s i n g i nt h i sp a p e r , g e n e t i ca l g o r i t h mi sa p p l i e dt oi m p l e m e n tb o t hm o t i o n e s t i m a t i o na n dh i i g h - r e s o l u t i o nr e s t o r a t i o na n dt h ee x p e r i m e n tr e s u l t ss h o wi t sf e a s i b i l i t y k e y w o r d s ：s u p e r - r e s o l u t i o nr e s t o r a t i o n ；g e n e t i ca l g o r i t h m ；i m a g es e q u e n c e ； i n t e r p o l a t i o n ；m o t i o ne s t i m a t i o n 第页 国肪科学技术人学研究生院学位论文 图目录 图2 一l 能量连续降减法框图8 图2 2 序列图像通用成像模型1 2 图3 1 遗传算法的运算过程示意图1 7 图4 - 1 低分辨率图像与高分辨率网格的关系。2 6 图4 2 低分辨率图像与高分辨率图像的关系2 7 图4 - 3 序列帧问正则化插值超分辨率复原算法框架2 8 图4 4 数据可靠性判别示意图3 0 图4 5 随机行交叉3 1 图4 6 随机块交叉31 图4 - 7 遗传算法实现图像序列帧间插值的流程图3 2 图4 - 8 无噪声图像序列的复原结果3 4 图4 - 9 有噪声图像序列的复原结果3 5 图4 - t 0 无噪声单帧图像复原结果3 6 图4 - 11 有噪声单帧图像的复原结果3 6 图4 1 2 细节较丰富的单幅图像复原3 7 图4 - 1 3 单幅模糊图像的复原3 7 图5 一i 图像配准示意图4 l 图5 - 2 单点交叉和基本位变异的示意图4 2 图5 - 3 多帧图像运动估计结果示意图4 4 表目录 表5 - 1 无噪声情况下的运动估计结果4 3 表5 2 有噪声情况下的运动估计结果4 3 表5 - 3 多帧图像运动估计结果“ i i i 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：蕉i 蓬焦皇泣丝丝金盎璺鏖复盈垫苎鱼塾壑 学位论文作者签名：盘超翌日期：细牛年月店日 学位论文版权使用授权书 本人完全7 解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查间和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：垒，立蓬缝蔓溘堑2 蕉壹豸至璺 垦量醒筮查鲍塞i 垒一 学位论文作者签名：盘煎丕 日期：扣牛年”月百日 作者指导教师签名 孑寻7 翰澎 - + 十- 一 日期：a 牛年月西日 国防科学技术大学研究生院学位论文 第一章绪论 1 1超分辨率图像复原技术概述 1 1 1超分辨率图像复原技术的研究背景 我们知道，在获取图像的过程中有许多因素会导致图像质量的下降即退化，如光学系 统的相差、大气扰动、运动、离焦和系统噪声，它们会造成图像的模糊和变形。而当图像 接收器件对图像进行接收存储时，由于模数转换和接收器件固有的采样频率的影响，图像 质量会进一步退化。如何对所获得的图像进行有效处理，使其恢复到没有退化前的原始图 像，已经成为国际上图像复原领域最为活跃的研究课题之一。其中图像分辨率是衡量图像 恢复的重要标志，获得图像的分辨率越高，图像越接近原始真实图像。图像超分辨率就是 研究从低分辨率的图像中获取高分辨率图像的技术。 在数字成像快速发展的今天，人们对数字图像的分辨率有着越来越高的要求，但对于 现有的许多成像系统，如c c d 照相机等，在采集图像的过程中，受其固有的传感器阵列 排列密度的限制，图像的分辨率不可能很高，同时欠采样效应又会造成图像的频谱混叠， 使获取的图像更加模糊。虽然成像系统的光学元件能够有效地限制传感器阵列上的频带宽 度，使获取的图像有可能避免变形效应的发生，但这要求光学元件与传感器阵列进行有效 的组合，而在实际应用中是很难做到的。如果采用增加传感器阵列密度的办法来提高图像 分辨率，则费用可能很昂贵或者难以实现。因此，如果能够利用低分辨率c c d 相机成像， 再利用图像超分辨率技术来重构高分辨率图像，便能够降低风险和成本。法国s p o t 、美 国e a r t h s a t 等公司已在尝试采用该项技术【l 】，他们利用多个卫星同时成像，从而重构高分 辨率图像；美国d a y t o n 大学和w r i g h t 实验室在美国空军的支持下，对红外c c d 相机进行 了机载实验，利用2 0 幅低分辨率红外图像，取得了分辨率提高近5 倍的实验结果。 1 1 2 超分辨率图像复原技术的应用 超分辨率技术主要应用在以下领域：卫星图像、视频监控、视频标准转换、数字镶嵌、 医疗数字影像等： ( 1 ) 在采集军事和气象遥感图像时，由于受到成像条件与成像系统分辨率的限制， 不可能获得清晰度很高的图像，由多幅低分辨率图像来复原高分辨率图像具有十分重要的 意义； ( 2 ) 在银行、证券等部门的监控系统中，当有异常情况发生后，可对拍摄的视频图 像进行复原处理，以获取较高分辨率的视频图像帧，为事件的处理提供重要线索； ( 3 ) 把普通视频信号转化成高清晰度电视标准或产生合成视频变焦，合成视频变焦 是把视频显示的一个区域按某一倍数进行放大，然后重新播放； ( 4 ) 在医学成像系统中，如c t 、磁核共振成像仪和超声波仪器等，可采用超分辨率 第1 页 国防科学技术大学研究生院学位论文 技术提高分辨率； ( 5 ) 根据视频信号打印超分辨率静态图像，以扩大图像和增加细节。 1 1 3 超分辨率图像复原的国内外发展状况 超分辨率图像复原的概念和方法最早由h a r r i s 和g o o d m a n 于2 0 世纪6 0 年代提出，其 理论基础主要包括解析延拓理论，信息叠加理论和非线性操作等。随后有许多人对其进行 了研究，并相继提出了各种复原方法，如长椭球波函数法、线性外推法、叠加正弦模板法。 这些方法虽然得到了令人印象深刻的仿真结果，但由于图像中噪声等因素的影响，在实际 应用中并没有获得理想的结果，a n d r e w s 和h u n t 称之为“超分辨率神话”【”。 2 0 世纪8 0 年代以来，人们在超分辨率图像复原方法研究上取得了突破性进展，h u n t 等人不仅在理论上说明了超分辨率存在的可能性，而且提出和发展了许多有实用价值的方 法，如能量连续降减法口】、b a y e s 分析法和凸集投影法【4 】。与此同时，利用序列和多幅图像 进行超分辨率图像复原逐渐成为人们的研究热点。通常情况下，相机与场景之间有一些细 微的运动，这些信息将有助于提高图像的分辨率。如果图像之间存在细微的运动，首先就 是校准这些图像，如计算一幅图像相对于另一幅图像像素的位移( 如偏移量) ，像素之间 的对应关系被计算出来以后，低分辨率的输入图像就可以被融合以获得高分辨率的图像。 很多学者提出了多种不同的技术，包括t s a i 和h u a n g 提出的基于频域的方法【5 1 ，c h i a n g 和 b o u l t 提出的基于边缘的方法。这些方法大部分是基于“重建约束”的，即当高分辨率图像 经过仿射变换和下采样后，应该可以生成低分辨率的输入图像。这种“重建约束”被很多 相关学者采用，如p e l e g 在此基础上提出的迭代反投影( i b p ) 方法【6 】，h a r d i e 等人将其 嵌入到贝叶斯框架中集成高分辨率图像的先验模型【7 1 。由于这一类方法充分利用了序列图 像之间不同但又有联系的信息，所以其超分辨率复原能力优于利用单幅图像进行复原所获 得的超分辨率能力。 国内对超分辨率复原技术的研究起步较晚，但这一技术在近几年也逐渐成为一个新的 研究热点：一方面是提出新算法或对已有算法进行改进，如苏秉华等人提出基于 p o i s s o n m a r k o v 场的超分辨率复原算法【8 9 】，有效减少和去除复原图像中的振荡条纹；潘逢 治等人提出一种利用神经网络将现有帧内插值与残差线性恢复相结合的算法【l0 1 ，具有较强 的泛化能力；刘志军等人提出基于并行遗传算法的超分辨率复原算法i l l 】；王程等人提出基 于m a p 框架的图像序列超分辨率算法 1 3 j 4 ；汪雪林等人提出基于小波域局部高斯模型的 超分辨率算法，将图像超分辨率问题转化为小波域约束优化问题，重构出的图像在信噪比 和视觉效果方面有所提剐”】；袁小华等人在正则有参超分辨率盲恢复框架的基础上，引入 基于图像局部光滑特征的正则处理，提出了一种自适应正则有参超分辨率盲恢复算法【l ”。 另一方面是从算法的实时性出发，考虑节省存储空间，提出一些较实用的方法，如邵凌等 人的重建高分辨率图像的实时串行迭代算法 1 7 , 1 8 ，刘良云等设计的序列子集共轭梯度最优 化算法【1 川等。 第2 页 国防科学技术大学研究生院学位论文 1 2 遗传算法概述 近代科学技术发展的显著特点之一是生命科学与工程科学的相互交叉、相互渗透和相 互促进。进化计算( e a - - e v o l u t i o n a r y a l g o r i t h m s ) 是一类借鉴生物界自然选择和自然遗传 机制的随机化搜索过程的算法，其中，以遗传算法( g a - - g e n e t i c a l g o r i t h m s ) 的研究最广 为人知。 众所周知，在人工智能领域中。有不少问题需要在复杂而庞大的搜索空间中寻找最优 解或准最优解。在求解此类问题时，若不能利用问题的固有知识来缩小搜索空间则会产生 搜索的组合爆炸。因此，研究能在搜索过程中自动获取和积累有关搜索空间的知识，并自 适应地控制搜索过程，从而得到最优解或准最优解的通用搜索算法一直是令人瞩目的课 题。 遗传算法是一类模拟生物界遗传选择和自然淘汰机制的随机化搜索算法。它将适者生 存的进化思想引入串结构，在串之间进行有组织而又随机的信息交换。随着算法一代一代 地进行，优秀的个体不断组合，产生出更好的个体。这样，好的特征被保存下来，差的特 征不断淘汰，使新一代个体在总体上胜于旧个体，群体整体性能不断提高，最终达到最优 值。 1 2 1遗传算法的发展简述 遗传算法起源于对生物系统所进行的计算机模拟研究。早在2 0 世纪4 0 年代，就有学 者开始研究如何利用计算机进行生物模拟的技术，他们从生物学的角度进行了生物的进化 过程模拟、遗传过程模拟等研究工作。进入6 0 年代以后，美国密执安大学的h o l l a n d 教 授及其学生们受到这种生物模拟技术的启发，创造出了一种基于生物遗传和进化机制的适 合于复杂系统优化计算的自适应概率优化技术遗传算法。2 0 世纪7 0 年代d ej o n g 基 于遗传算法的思想在计算机上进行了大量的纯数值函数优化计算实验。在一系列研究工作 的基础上，由g o l d b e r g 进行归纳总结，形成了遗传算法的基本框架。1 9 7 5 年是遗传算法 研究历史上十分重要的一年。h o l l a n d 在他的著名专著中系统地阐述了遗传算法的基本理 论和方法，并提出了对遗传算法理论研究和发展极为重要的模式理论( s c h e m at h e o r y ) 。 该理论首次确认了结构重组遗传操作对于获得隐含并行性的重要意义。同年，d ej o n g 把 模式理论与计算实验结合起来，他将选择、交换和变异操作进一步完善和系统化，同时又 提出了诸如代沟等新的遗传操作技术，为遗传算法及其应用打下了坚实的基础。进入八十、 九十年代，遗传算法迎来了兴盛发展时期，无论是理论研究还是应用研究都成了十分热门 的课题。尤其是遗传算法的应用研究显得格外活跃，不但它的应用领域扩大，而且利用遗 传算法进行优化和规则学习的能力也显著提高，此外一些新的理论和方法在应用研究中亦 得到了迅速的发展，这些无疑均给遗传算法增添了新的活力。 第3 页 国防科学技术大学研究生院学位论文 1 2 2 当前遗传算法的主要研究和应用领域 与传统算法相比，遗传算法对于搜索空间不需要限制性的假设( 如连续、导数存在、 单峰等) ，计算简单，提供了一神求解复杂系统优化问题的通用框架，它不依赖于问题的 具体领域，对问题的种类有很强的鲁棒性，尤其适用于处理传统搜索方法难以解决的复杂 和非线性问题，可广泛应用于自动控制、图像识别、组合优化等领域，是二十一世纪有关 智能计算中的关键技术之一。 以下是当前遗传算法的一些主要应用领域： ( 1 ) 函数优化。函数优化是遗传算法的经典应用领域，也是对遗传算法进行性能评 价的常用算例。 ( 2 ) 组合优化。随着问题规模的增大，组合优化问题的搜索空间也急剧扩大，有时 在目前的计算机上用枚举法很难或甚至不可能求出其精确最优解。对这类复杂问题，人们 已意识到应把主要精力放在寻求其满意解上，而遗传算法是寻求这种满意解的最佳工具之 一，已在求解旅行商问题、背包问题、装箱问题、图形划分问题等方面得到成功的应用。 ( 3 ) 图像处理。 ( 4 ) 生产调度问题。遗传算法已成为解决复杂调度问题的有效工具，在单件生产车 间调度、流水线生产车间调度、生产规划、任务分配等方面遗传算法都得到了有效的应用。 ( 5 ) 自动控制。在自动控制领域中有很多与优化相关的问题需要求解，遗传算法已 在其中得到了初步的应用，并显示出了良好的效果。 此外，遗传算法在机器人学、人工生命、遗传编程和机器学习等领域也得到了广泛的 研究和应用。 1 2 3 遗传算法在图像处理领域的应用前景 图像处理是计算机视觉中的一个重要研究领域。在图像处理过程中，如扫描、特征提 取、图像分割等不可避免地会存在一些误差，这些误差会影响图像处理的效果。如何使这 些误差最小是使计算机视觉达到实用化的重要要求。遗传算法在这些图像处理中的优化计 算方面找到了用武之地，已经开始应用于图像分割【2 3 2 4 2 5 1 、图像增强 2 6 , 2 7 1 、图像恢复2 8 2 9 州、 图像识别1 3 l 】等方面。进行处理时不像传统算法局限于邻域特性的最佳，而是考虑了整幅图 像的全局最佳使图像的处理效果较接近人眼的观察效果。对于采用穷举法选取图像参数 的算法，如o t s u 法等，遗传算法可使算法的搜索空间大大减小，提高算法的效率。而且， 对于噪声、图像光照等的影响，由于遗传算法鲁棒性，可使算法适用于不同环境。可见， 遗传算法在图像处理领域里具有广阔的应用前景。 1 3本文的主要内容及章节安排 论文的主体分为五部分。 第4 页 国防科学技术大学研究生院学位论文 首先在第一章概述了超分辨率图像复原技术的发展和应用背景，介绍了遗传算法的研 究历史和应用领域尤其是在图像领域的应用前景。 第二章介绍了超分辨率图像复原技术的数学物理基础，讨论了几种典型的超分辨率复 原算法，并简单概括了其发展方向。 第三章讲述了基本遗传算法的运算过程和基本实现技术，阐述了遗传算法的基本原 理，并简单讨论了遗传算法与传统优化方法的不同之处。 第四章在分析现有的一些超分辨率复原算法缺陷的基础上，提出了基于重建的图像序 列帧问插值的复原方法，给出采用二维遗传算法实现该方法的过程，并对复原结果进行了 比较和分析。 第五章讨论了图像序列之间的运动估计问题，在采用遗传算法实现图像初步配准的基 础上，进一步用梯度方法对结果进行修正，得到比较令人满意的运动估计参数。 第5 页 国防科学技术大学研究生院学位论文 第二章超分辨率复原的理论基础 2 1超分辨率复原的数学物理基础 对于一个线性位移不变的成像系统，其成像过程可以用下式加以描述 g ( x ) = ( 功+ - 厂( 功 ( 2 1 ) 这里9 0 ) 表示像：( x ) 表示原场景； ( 曲为点扩散函数：表示卷积运算。对( 2 1 ) 式作傅 氏变换，有 嬲黧g c u ) h 扩4 ( u j ( 2 2 ) 【f ( “) = ) 、。 这里的g ( u ) ，( “) 和日( “) 分别表示g ( x ) ，f ( x ) 和 ( 曲的傅氏变换。从( 2 2 ) 式可以看到， 由于在截止频率之外日( “) = 0 ，因此要想复原出截止频率之外的信息，无论在理论上还是 在实际中都是不可能的。以上结论等价于把成像系统看作为一个傅氏滤波器，对f ( “) 的解 进行了限制。然而实际中还存在着许多其他的方法对f ( “) 进行估计，而这些方法并不具备 傅氏滤波器的性质，采用这些方法可成功的实现截止频率之外信息的复原，主要基于以下 几个方面的理论【3 2 】： ( 1 ) 解析延拓理论 如果一个函数f ( x ) 是空域有界的( 即在某个有限范围之外全为o ) ，则其谱函数f ( “) 是 一个解析函数。解析函数的一个性质是，若其在某一有限区间上为已知，就会处处己知。 这就意味着，如果两个解析函数在任一给定的区间上完全一致，则它们必须在整体上完全 一致，即为同一函数。根据给定解析函数在某区问上的取值对函数的整体进行重建叫做解 析延拓。 对于一幅图像，由于其空域有界，因此谱函数必然解析。从式( 2 2 ) 可以看到，在截止 频率以下的，( “) 可通过该式计算获得。则根据解析延拓理论，截止频率以上的信息可采用 截止频率以下的f ( u ) 重建，从而实现图像的超分辨率复原。 ( 2 ) 信息叠加理论 对于非相干成像，实际的图像应具备非负性和有界性的约束条件。即物体或图像的最 小光强应大于0 ，且物体或图像具有一定的大小，可表示如下 第6 页 国防科学技术大学研究生院学位论文 般) 0 ：(23)0 【，( x ) = ，x 正x 、。 这里表示物体的大小或范围。式( 2 3 ) 还可以用以下形式表示 f ( x ) r e e t ( x x )( 2 4 ) ( x ) 的傅氏谱可分成两部分，f o ( u ) 是截止频率以下部分，f b ( u ) 是截止频率以上部分。对 ( 2 4 ) 式作傅氏变换有 f ( u ) = e ( “) + 巧( “) 】* s i n e ( x x ) ( 2 5 ) 从( 2 5 ) 式可以看到，由于s i n e 函数是无限的，则截止频率以上的信息通过卷积叠加到了截 止频率以下的频率成分中。换句话说，对于有界受限目标，截止频率以下的频率成分中包 含了目标的许多信息( 包括低频和高频信息) 。如果能找到一种方法将这些信息分离出来， 就可以实现图像的超分辨率复原。 ( 3 ) 非线性操作 考虑到噪声对成像过程的影响，一般成像过程可表示如下 g ( 石) = ，( x ) ( x ) + n ( x ) ( 2 6 ) 这里 ( x ) 表示噪声。由于噪声的影响，由此解得的目标估计y , c x ) 一般会破坏( 2 6 ) 式中的非 负性。同时，由于日( “) 的低通作用，解得的目标估计z ( x ) 会破坏( 2 6 ) 式中的有界性。因 此在图像复原计算中，必须施加以下的约束条件：目标解的空间截断和非负的数字截断。 由此带来的运算是一个非线性运算，而信号的非线性操作具有附加高频成分的性质。因此， 通过对约束操作引入高频分离的逐步调整，可实现图像的超分辨率复原。 综上所述，低频分量中含有高频的信息和物体非负有界的约束条件是实现超分辨率复 原的根据。 2 2常用超分辨率复原算法简介 超分辨率复原算法很多，包括利用单幅图像和图像序列进行复原，由于大多数基于图 像序列的超分辨率复原算法承袭了单幅图像超分辨率复原的算法思想，因此首先简要介绍 几种常用的超分辨率复原算法思想，然后在此基础上引入基于序列的超分辨率图像复原中 的算法框架。 2 2 1 基于单幅图像的超分辨率复原算法 1 能量连续降减法 设已知一个物函数，( x ) 通过一个传递函数为日( “) 的光学系统后输出f o ( x ) ，其谱函数 第7 页 国防科学技术大学研究生院学位论文 为f o ( u ) ，以) 的截止频率小- y - f ( x ) 的谱函数f ( “) 的频率范围，由于村0 ) 是带限的， 使得由f o ( u ) 得到的f o ( x ) 不再是空间有界的。算法思想就是首先由工( x ) 计算其谱函数 f o ( u ) ，同时对函数五( x ) 施以空间有界约束得函数石( x ) ，对彳( x ) 进行付氏变换得其谱函 数e ( “) ，然后只在通带范围内将e ( “) 用f o ( u ) 替换得到f a u ) ，对f a u ) 进行反付氏变换并 对所获得的函数五( x ) 施以空间有界约束不断重复这个过程，如图2 - 1 所示，其结果是 使下式 e = cj 厂( 功一z j 2 d x ( 2 7 ) 的误差能量连续下降，从而实现超分辨率信息的复原。 空域 旌 空 有 约 加 问 限 束 付氏变换 反付氏变换 频域 施加 通频骷 已知i 约求 图2 - 1 能量连续降减法框图 2 b a y e s 分析法 设图像是一个非平稳随机场，即把原图像f ( x ，y ) 和退化图像g ( x ，y ) 均作为随机场。根 据b a y e s 分析理论，在已知图像g 的条件下，目标，的概率分布可写为 p ( f l g ) - 警 ( 2 8 ) 这里- p ( f l g ) 表示已知图像g ，目标为的条件概率( 后验概率) ；p ( g l f ) 为已知hj f 示f ， 图像为g 的概率；p ( ，) 和p ( g ) 分别表示目标和图像的先验概率。通过适当地选择厂，使 p ( f l g ) 达到最大，这时对应的f 就是复原的最佳估计。此时有 州p ( i l g ) ) = 一二壁岳攀) ( 2 9 ) 上式等价于 第8 页 m a x 1 n ( p ( g l ) ) + l n ( p ( ，) ) 】 ( 2 1 0 ) 对( 2 1 0 ) 式最大化计算目前主要有以下两种方法： ( 1 )最大后验概率估计( m a p e ) 如果取 堂掣+ 掣k i ，= 。 亿 可 i ，1 山” 山此式获得的厂= 为最大后验概率条件下的目标估值。 ( 2 )最大似然估计( m l e ) 如果取 掣k = 。 z ， 由此式获得的f = 歹k 为最大似然估值。 要想实现以上计算，需确定尸( g i 厂) 和尸( 厂) 的分布，而p ( g i 厂) 和p ( f ) 的分布取决 于对图像的统计模型假设。目前常用和重要的图像统计模型有高斯模型( g a u s s i a a ) ，泊 松模型( p o i s s o n ) ，马尔可夫模型( m a r k o v ) 和吉布斯模型( g i b b s ) 。在计算过程中， 通常采用迭代法进行最优计算。 3 凸集投影法( p o c s ) 假设，( x ) 是一未知信号，但其具有性质，而，。对于每一个7 r ，( i s i m ) 都有一 个相关的集合g ，该集合中所有的信号都具有特性乃，通常g 是闭凸集。设只代表把一个 矢量投影到g 上的投影运算。假定c o = n g 为非空集，则，( 曲必属于解集g 。基于以上 思想，如果e 表示图像的先验信息，耳标的估计可根据下式进行迭代运算 f “= 只只。b 片 ，”】f o - - - f o ( 2 1 3 ) 这里五为一个任意的初始点，其弱收敛于c o 中的可行解。因此，物体的估计可通过依次在 各个独立集上的投影得到。从上面可以看出，所谓对凸集e 的投影运算就是解下面的最小 化问题，即 m i n 6 一1 1 2 当，f g ( 2 1 4 ) 第9 页 国防科学技术大学研究生院学位论文 其中f 是需向c 投影的信号( 厂”) ，正是，的投影( f ”1 ) 。 常用的约束特性及相应的投影算子【4 】如下； ( 1 ) 信号幅值的约束集巴： c a = g ( x ，y ) ：口s g ( x ，y ) ，p 口) f ( x ，y ) 向。的投影为 f 口， f ( x ，y ) 卢 ( 2 ) 能量约束集c ，： c 。= g ( t y ) ：l l g l l 2s e ) 其中，e 是重建图像所允许的最大能量。 f ( x ，y ) 向吒的投影为 姚_ 嬲嚣 式中，e ，口l i ：1 1 2 。 ( 2 15 ) ( 2 1 6 ) ( 2 1 7 ) ( 2 1 8 ) ( 3 ) 参考图像约束集q ： g = g ( x ，) ，) ：l l g - f , l l 妇, ( 2 1 9 ) 其中，厶是一个已知的参考图像，如是预先设定的一个阈值。o 有时也称为圆球约束， 因为c 。包含了所有以厶为圆心、以为半径的r 函数。f ( x ，y ) 向c j 的投影算子为 f f ，l j ，一删唧 g 2 晶产r 。 + e - 妒f - 习f r ，i i ：- ：, l l 2 2 实际上，g 可以看作是q 的一般形式，对于( 8 1 7 4 6 ) 式令矗= o ，靠= e 1 2 , 日= 1 1 ：1 1 2 。 ( 4 ) 支撑域约束集g ： q = g ( x ，_ y ) ：g ( x ，力= 0 ，当( x ，y ) 仨a ( 2 2 1 ) e 式中，a 是一个r r 的有限区域。 第1 0 页 国防科学技术人学研咒生院学位论文 f ( x ，y ) 向g 的投影算子为： 畔= 盎纛。a 。 ( 2 2 2 ) 2 2 2基于序列图像的超分辨率复原算法1 图像序列超分辨率复原技术可分成频域和空域两类算法，在早期的研究中，大量的工 作都集中在频域中：但随着更多通用的退化模型的建立，近几年的研究工作几乎全部都集 中的空域中。 1 频域法1 5 1 频域的方法主要基于三个基本的准则：付氏变换( f t ) 的平移特性，连续付氏变换 ( c f t ) 和离散付氏变换( d f t ) 之间的关系，原始场景是有限带宽的。这些性质使得可 以利用一个等式把低分辨率图像的d f t 系数与未知场景的c f t 采样联系起来，求解这些 等式以产生原始场景的频域系数，然后通过d f t 逆变换进行复原。 设原始的连续场景表示为f ( x ，y ) ，平移产生p 帧图像l ( x ，y ) = f ( x + & x p ，y + a y p ) ， p = 1 2 ，p 。f ( x ，y ) 的连续傅氏变换为f ( u ，( 墨y ) 的连续傅氏变换为只( “，v ) 。对 ( x ，_ y ) 进行取样得到观察图像仰，i ) = ，( m 瓯+ 止，”g + q ) ， 其中 m = 0 , 1 ，m i ；n = o 1 ，n - 1 ，相应的离散傅氏变换为( 七，z ) 。( 七，d 与e 似，v ) 之间存 在如下关系： 。( 刈) = a 羞喜只( 盍+ 吮，击+ 娼) ( 2 2 3 ) 式中，丘= 】正厶= 1 4 分别是x 和y 方向的取样率，即频域中e ( ，v ) 重复出现的间隔， 口= 1 盈t 。由于丘( “，n f ( u ，之间又有 虎( “，v ) = p 所叩+ 啡”f ( u ， ( 2 2 4 ) 如果f ( x ，y ) 的带宽有限，必定存在l ，l 使得当川l 丘，i v l - l , f ，时f ( u ，v ) 寸0a 假定 ，y ) 是带宽有限的，利用( 2 2 3 ) 和( 2 2 4 ) 式可得到矩阵形式的方程组 y = 伽 ( 2 2 5 ) 其中y 是p x l 的列矢量，其第p 个元素是冗( j i ，f ) ；中表示运动估计；f 表示f ( u ，。对 应每一个频率点都可以建立一个如( 2 2 5 ) 所示的方程组，从而通过确定p 帧图像的离散傅氏 第1 1 页 国防科学技术大学研究生院学位论文 变换g ( k ，) 和运动估计o 。再由各个频率点决定的方程组就可以解得f ，最后利用傅氏反 交换求得f ( x ，y ) 。 频域方法的特点是原理简单，并且有快速算法；但是由于平移运动和非移变降质模型的 限制，使得难以加入空域的先验知识。 2 空域法 另一类超分辨率图像序列复原方法在空域实现，其模型可统一成一个线性观测模型， 这样的模型可以表示全局运动和非全局运动，可以表示光学模糊和运动模糊，还可以表示 移变p s f 和非理想采样等信息，比起频域法能更好地表示实际的降质过程。此外，空域法 还易于引入问题的先验知识。 设待恢复的高分辨率图像为z r “”，将z 进行行( 或列) 串接得到的列矢量，记为 ze r ”，定义观测到的第p 帧低分辨率图像为y 。r “”，m ，同样进行行( 或列) 串接得到矢量，蚱皿”，蚱和：的关系见图2 - 2 。 位模 降 厅一 z 移糊 采 一上 。矩矩 样 阵阵 矩”w 阵 q缉s 图2 - 2 序列图像通用成像模型 其中位移矩阵c j 露护。舻表示第p 次取样时图像：的位移变化：日，r 2 8 矿表示第p 次采样时的图像模糊效应，如果图像模糊效应平移不变，则z l 是t o c p l i t z 矩阵；降采样矩 阵se 盂柙表示从超分辨率图像z 到低分辨率图像雌的降采样关系：噪声矢量是采样 过程中各种噪声的总和。儿可以写成 y p = s l i p q z + ，p = l ，2 ，- ，p ( 2 2 6 ) 其中，p 是低分辨率图像的帧数。定义 第1 2 页 国防科学技术大学研究生院学位论文 j ，= y l 儿 ： y e r p m 2 x l ，日= 册l q s h 2 c 2 s h 工p 曰2 x ，一= 仇 一2 ： b r “， 则( 2 2 6 ) 式可表示成 y = 肫+ 以 ( 2 2 7 ) 式( 2 2 7 ) 是考虑了各种实际情况后的通用成像模型，序列图像超分辨率复原算法都可基于此 模型来实现。 在空域法中，具有代表性的算法有m a p 、p o c s 和i b p 算法( 迭代反投影) ，其基本 方法如下： ( i ) m a p 算法 同2 2 1 节所介绍的m a p e 思想类似，对高分辨率图像的估计可通过下式得到 ：= m a x p ( z i 力 ( 2 2 8 ) 利用b a y e s 准则，可得 z = 峄掣产 注意到( 2 2 9 ) 中右式的分母不是z 的函数，因此( 2 2 9 ) 可等价于 z = m a x p ( yz ) p ( z )( 2 3 0 ) 采用对数形式重写( 2 3 0 ) 式，有 ：= m i n 上( ：) ：二0 一1 0 9 p ( ylz ) 卜l o g 【h z ) 】) ( 2 3 1 ) 对z 的估计转化为对上式求最小值的问题，可以为z 选取一个初值z ( 0 ) ，如将某一帧低 分辨率图像的双线性插值作为z ( 0 ) ，然后用迭代的方法更新对z 的估计，直到得到满足要求 的高分辨率图像。实际中需要注意的是，求解时要确定图像先验模型p ( z ) 和条件概率密 度p ( y l z ) ，由y 估计z 通常是一个病态的求逆问题，如果求解不当会造成噪声的扩大。但 是，如果p ( z ) 选取适当，可以在一定程度上避免这样的结果。一个适当的图像统计模型必 须准确地反映出z 的真实成像随机过程的特性。尽管图像统计模型的选取跟实际应用密切 相关，但是一个简单的g i b b s 分布可以适用于很多的成像模型。 ( 2 ) p o c s 算法 图像序列的p o c s 算法同2 2 1 节中的p o c s 算法思想相同，将其中常用的几种约束 第1 3 页 国防科学技术大学研究生院学位论文 特性及相应的投影算子运用到序列超分辨率复原算法中时，具体的约束表示可以是： 数据一致性通常用集合f z ：i j y 一胁 0 ，i = l ，2 ，n ，相应投影算予参考式( 2 1 6 ) ； 能量有界用集合 z ：l | z | 1 2se ，相应投影算子参考式( 2 t 8 ) 。 除了上述三种约束集合与投影算子之外，还有其他的一些约束集合与相应的投影算 子。对于某个定义了的约束凸集q ( a 是表示凸集性质的参数) ，相应的投影算子只将z 空 间中的一点投影到q 上距该点最近的一点。 ( 3 ) 迭代反投影法( i b p ) 给定高分辨率图像的估计2 和观测模型日，模拟成像过程得到低分辨率图像多= 厦。 定义第珂次迭代得到的模拟低分辨率图像多”与实际观测到的低分辨率图像y 之间的误差， 通过一个反投影算子日”将误差反投影到第n 次迭代的高分辨率图像估计2 0 上。通常取 日”* 日。写成数学表达式，即 “”二爹二2 二盆， 眨s z ， = 2 ”+ 月8 9 ( j ，一眨4 ) 、。7 当误差满足要求的时候，迭代结束。 i b p 方法实际上就是要求高分辨率重建图像与观测数据匹配( 通过观测模型) 。然而， 由于超分辨率复原本身是一个病态求逆的问题，因此i b p 方法的解通常也不是唯一的。此 外，i b p 方法也很难引入问题的先验知识。 2 3超分辨率复原发展方向 为了获得高质量的高分辨率图像，满足不同情况的实际应用要求，目前超分辨率图像 复原的研究和未来的发展主要集中在以下