（物理电子学专业论文）红外图像的超分辨率算法研究.pdf

硕士论文红外图像的超分辨率算法研究 摘要 红外图像和超分辨率技术是图像处理领域的研究焦点。本文将二者的结合作为研究 对象，以超分辨率算法为中心展开研究。目前通用的超分辨率的定义是：根据同一场景 的具有互补信息的多帧低分辨率图像处理得到一幅高分辨率图像的技术。 本文详细剖析了超分辨率模型，深入研究了超分辨率反解问题的不适定性，结合实 验分析了超分辨率问题的病态成因，进一步的分析了数据误差对重建结果的影响。为将 超分辨率问题转化为良性问题求解，引入正则化思想。本文针对红外图像，围绕图像配 准及多帧图像的超分辨率的正则化方法这两个部分展开。在图像配准部分，本文在传统 的块匹配方法的基础上，提出在最佳匹配点附近插值再匹配的思想，实现亚像素级的估 计精度。针对l k 光流算法，引入高斯金子塔对图像进行分层，图像由粗到细依次匹配 不断的迭代修正运动矢量，解决光流计算精度较差的问题。在超分辨率重建部分，对正 则化模型做一定的改进，提出自适应的正则化参数。本文考虑每帧图像的相对贡献量， 在超分辨率模型中引入权重系数，提出该权重系数的求解方法，减少了因主观因素而引 起的重建误差。 实验结果的主观的判断和客观的评价指标分析表明，本文算法重建的图像取得了更 好的视觉效果和更高的图像分辨率。实验结果初步验证了本文算法的有效性和优越性。 关键字：超分辨率，不适定性，红外图像预处理，图像配准，自适应正则化 a b s t r a c t f o rd e c a d e s ，i i l 加r e di m a g ea 1 1 ds u p e r - r e s 0 1 u t i o nr e c o n s t m c t i o n ( s i 球) h a v eb e e nh o t r e s e a r c ht o p i c si i lm ef i e l do fd i g i t a li m a g e p r o c e s s i n g t h ep a p e rm a i l l l ym a l 【e sas t u d yo f l l l t r a r e d l m a g e ss u p e r - r e s o l u t i o nr e c o n s t m c t i o n s u p e 卜r e s o l m i o nr e c o n s 仃u c t i o ni sa r e s o l u t l o ne i l l l a i l c e m e n tt e c l l l l o l o g yf o r e s t i i i l a t i n gal l i 曲e rr e s 0 1 u t i o ni m a g e 舶mas e q u e n c e o fo b s e r 、，e d l1 0 w * r c s 0 1 u t i o n ，w m c hm a k e 蹦1u s e o f 龀s i i l l i l 虬b u tn o tt 王l es 锄ei n f b n i l a t i o n a m o n ge a c ho b s e a t i o n t h et l l e s i sc 秭e so nt h er e s e a r c ha b o u t 也ei m a g ef o 硼a t i o nm o d e lo fs 剐艮w 1 1 i c hi sa t ) ，p i c a l l yi l l 。p o s e da n di n v e r s ep r o b l e m s oi tn e e d st op u tf o n ，砌a i le f f e c t i v er e g u l a r i z a t i o n t e 肌t oa c l l i e v ea 砌q u ea 1 1 ds t a b l es o l u t i o n 1 l l i sm e s i sf o c u s e so nt 1 1 e s u p e 卜r e s o l u t i o no f 1 m a g es e q u e n c ea i l di ti sc 硎e do u thm ef o l l o 砸n g 唧e c t s ：1 1 1 疳a r e di m a g ep r e p r o c e s s i l l g ， 1 m a g er e g l s n a t l o n 锄dt h er e g u l 撕z e dr e c o n s 咖c t i o na l g o r i t h i n s i n c et h ea c c u r a c vo ft l l e r e g l s t i a t l o na l g o r i t l l 】 i lr e s u l t sp l a yak e yr o l ei ns i 汛，t h ep a p e rp r o p o s e sa i la l g o r i t l l l i lt h a t c o m b i n e st l l el k o p t i c a lf l o wm e t t l o da n dg a u s s i a i lp y r a m i dm e t l l o da 1 1 da c m e v eam o t i o n e s t l m 砒l o no f s u b p i ) 【e la c c u r a c y a n dt h e 廿1 e s i sp u t sf o r w a 帕an e wm o d e lo fa d a p t i v e r e g u l a n z a t l o nm e m o d ，r e s e a r c l l i n gi m o 恤c h o i c e so ft l l er e g u l 撕z a t i o np 猢e t e ra l l dt 1 1 e c o 咖b u t i o no fe a c hi m a g e a l lt h o s ei m p r o v e m e n t sc a l lr e d u c ec o m p 嗽i o m l c o m p l e x 蛔 a n da v o i de t t o r e x p e r i m e n t a lr e s u l t so ft h er e v i s e dm e t h o di l l u s t r a t et 1 1 e a d v a l l t a g e sn o to n l y 南r q 砌i t a t i v ec a l c u l a t i o nb u ta l s of o rq u a l l t i 切廿v e 删y s i s m se x p e r h n e n t a li m a g e ss h o wm e n e wm e t h o di se 腩c t i v ea i l d b e t t e rt h 趾o t h e r s a n dt h en e w a l g o r i t l l i i lc a l ll l i g l d i 出t 1 1 e d e t a i l so f m el ri m a g e sa n d i m p r o v em ei i 心a r e di m a g e sr e s o l u t i o n k e y w o r d s ： s u p e 卜r e s o l u t i o l l ， i 1 1 p o s e d a i l d i n v e r s e p r o b l e m ， i n 丘a r e d i m a g e p r e p r o c e s s i n g ，i m a g er e g i s 昀t i o n ，a d 印t i v er e g u l a r i z a t i o nm e t h o d i i 硕士论文 红外图像的超分辨率算法研究 目录 摘兰晕。i a b s t r a c t 。i i 1 绪论。1 1 1 课题背景1 1 2 发展历史和研究现状一2 1 3 研究思路和章节安排一3 1 3 1 研究思路3 1 3 2 章节安排4 2 红外图像和超分辨率技术5 2 1红外图像的基本特征。5 2 2 超分辨率的理论基础一5 2 2 1 数学物理基础6 2 2 2 退化模型8 2 3 超分辨率问题的不适定性9 2 3 1 反问题和不适定问题9 2 3 2 病态反问题的本质。1 0 2 4 超分辨率算法综述1 3 2 4 1 非均匀采样内插法1 4 2 4 2 迭代反向投影( i b p ) 1 4 2 4 3 贝叶斯分析法( m a p m l ) l5 2 4 4 凸集投影法( p o c s ) 1 6 2 4 5混合m l 脚p o c s 方法17 2 5图像的质量评价1 7 3 多帧图像配准2 0 3 1 引言2 0 3 2配准准则2 0 3 3 空间变换2 1 3 4 基于块匹配的运动估计2 2 3 4 1 块匹配原理一2 2 3 4 2 快速块匹配算法2 3 3 5 基于光流法的运动估计2 7 i i i 目录 硕士论文 3 5 1h o m & s c 胁l c k 算法2 7 3 5 2l u c 嬲& k a i l a d e 算法2 8 3 5 3 改进的l k 光流算法2 9 4 正则化超分辨率重建3 1 4 1 正则化理论31 4 1 1经典正则化模型。3l 4 1 2 自适应正则化模型3 3 4 2 正则化参数的选择3 5 4 2 1 经验选择法3 7 4 2 2l 曲线法3 7 4 2 3 广义交叉验证法( g c v ) 3 8 4 2 4 改进的正则化参数3 9 4 3本文算法的实现步骤3 9 4 4实验结果与分析4 l 4 4 1 评价指标一4 l 4 4 2 实验结果4 l 5 总结和展望5 0 5 1 总结5 0 5 2 展望5 0 致谢5 2 参考文献5 3 i v 硕士论文红外图像的超分辨率算法研究 1 绪论 1 1 课题背景 图像分辨率是衡量图像对细节分辨能力的参数。根据不同的细节，图像分辨率又可 以分为时间分辨率、空间分辨率、灰度分辨率以及光谱分辨率。本文主要讨论空间分辨 率，图像的超分辨率( s r ：s u p e r - r e s o l u t i o n ) 也是相对于空间分辨率而言的。超分辨率实 质上是通过软件技术提高图像分辨率的一种统称。目前，研究的超分辨率并没有在真正 意义上实现超分辨率，而是相对于原始的低分辨率图像而言，在某种程度上提高了图像 的分辨能力。 早期的研究者主要利用单帧图像插值的方法提高图像的分辨率。在超分辨率技术出 现之前，他们一直认为双线性插值和双三次插值是提高图像分辨率的最好的方法。但是， 图像插值仅仅是增加了图像中的像素个数，提高了图像的视觉效果，图像中的有用的细 节特征并没有增加，所以并没有增加图像的分辨率。佻i 和h u a n g 于1 9 8 4 年提出利用 多帧低分辨率图像提高图像分辨率的方法，该方法的核心思想是利用图像序列的空域和 频域信息，通过多幅只有平移的低分辨率序列图像( l r ：l o w - r e s o l u t i o n ) 处理得到了一幅 高分辨率图像( h r ：h i g l l r e s o l u t i o n ) 。自此之后，人们将从单帧或多帧图像中处理得到高 分辨率图像的方法统称为超分辨率技术，超分辨率技术在国内外迅速发展起来。 近3 0 年来，超分辨率图像技术因其不受硬件水平的限制，无需改变当前的成像系 统，不需要高昂的成本等得天独厚的优势，在各个领域得到了较大的发展和应用。比如： 在医学图像诊断领域，超分辨率技术有助于医生及时确诊病情，减少误诊和漏诊的可能 性；在视频监控领域，超分辨率技术可以帮助公安人员快速的辨识目标，提高社会的安 全性；在生物医学领域，提高对人脸和指纹的细节识别能力对公安侦查具有实际的应用 价值；在遥感图像领域，提高航天航空图像的空间分辨率有助于提高对目标监控和识别 的精度，对军用和民用领域影响深远。 超分辨率技术自1 9 8 4 年产生以来，受到了众多学者的关注，超分辨率理论和算法 的发展是大家有目共堵的，图像的质量得到了大幅度的提升。然而这些研究主要集中在 可见光图像的研究和应用中，对红外图像的研究甚少。和可见光图像相比，红外图像具 有低分辨率，低对比度，边缘平滑，细节模糊等缺点【l j 。对于同一场景，红外图像的图 像质量存在严重的偏差，图像分辨率远不能满足人眼对分辨率的需求。红外图像和可见 光图像质量存在显著差别根本原因是可见光图像和红外图像的成像原理大不相同。 自然界中一切温度高于绝对零度的物体，无时无刻的都在向外界发射红外线。物体 的不同部分由于温度不同，向周围散发红外辐射的能力也大不同，温度越高，红外辐射 的能力就越强。红外成像系统根据物体间存在温差和辐射率差这一特性，将人眼不可见 1 l 绪论硕士论文 的红外辐射转化为图像呈现在显示器上。红外成像以其被动式、抗干扰性强、目标识别 能力强、可在夜间和恶劣环境下工作等优势，在公安监控、夜间安全驾驶、导航、无损 探测、生物医学、海上救援、森林消防、航空资源勘探等领域取得了广泛的应用，并促 使红外图像处理技术已经成为2 1 世纪国防建设和信息化社会建设的最重要的高新技术 之一。如何提高红外图像的分辨率己成为国内外科研者普遍关注的课题。 图像超分辨率重建又分为基于单帧图像的超分辨率重建和基于多帧图像的超分辨 率重建。对于多帧图像超分辨率重建技术，不同的学者给出了不同的定义。目前一个公 认的定义是：通过多帧有相似但是不完全相同细节的低分辨率图像，利用软件方法处理 得到一幅或者多幅高分辨率图像的技术。 1 2 发展历史和研究现状 超分辨率概念最早出现在光学领域。在光学领域中，超分辨率技术是指试图复原衍 射极限以外的数据的过程。1 9 5 5 年，t o r a l d od if 删1 c i a 首次在雷达领域使用了超分辨率 的概念。基于单幅图像的超分辨率重建的概念最早是由j l h a r r i s 和j w g o o d m a l l 分别 于1 9 6 4 年和1 9 6 5 年提出，称为h a r r i s g o o d m a i l 频谱外推法【2 j 【3 j 。此后，超分辨率技术 在频率域首先得到了发展，效果相对较好的频域算法有：如椭圆球波函数法( 1 9 6 6 ， c w b 锄e s ) 引、能量连续递减( 1 9 7 4 ，r w g e r c h b e 娼) 引、线性外推法【6 j 以及叠加正弦模 板法( 1 9 7 5 ，s w a d a k a ，t s a t o ) p j 等。这些算法在某些特定的条件下得到较好的仿真结果， 但在实际应用中的效果并不理想。 超分辨率重建技术在频域的发展受到了限制，人们开始将目光投向在空域的发展。 上世纪8 0 年代，研究者开始研究基于多帧序列低分辨率图像中重建超分辨率图像。自 此，图像的超分辨率重建技术得到了突破性的进展。t s a i & h l l a l l g 【8 】于19 8 4 年首次从只 有平移的多幅低分辨率场景来重建了单幅h r 图像，并给出了频域解决方案。频域方法 缺点比较明显，只适用于有全局平移运动和线性空间不变的退化模型，缺乏灵活性，且 不能很好的包含先验知识。 超分辨率重建技术在频域的局限性，促使人们开始逐渐将目光投向空域方法的发 展。经过多年的研究，有学者利用贝叶斯理论重建超分辨率图像，此后，图像超分辨率 的空域方法成为超分辨率重建技术的研究热点。空域方法与其它方法相结合又派生出许 多新的方法和类型。1 9 9 5 年，b r h u n t 等人从理论上证明了超分辨率重建存在的可能 性例。1 9 9 7 年，s t a r k 和o s k o u i 提出了凸集投影算法( p o c s ) ，pa _ t t i 等人在前人研究的基 础上，扩展了图像的超分辨率重建模型，并考虑混叠、噪声、运动模糊以及传感器模糊 的p o c s 方法。超分辨率在空域上的发展尤为迅速，产生了许多经典的超分辨率算法， 本文将在第二章简要的阐述几种比较有代表性的算法。 目前，国外对图像超分辨率技术的研究相当的活跃。美国w r e i 珊a n n 研究所的研究 2 硕士论文红外图像的超分辨率算法研究 人员正在研究一种超分辨率放大技术，可以将原本模糊或者低分辨率的图片在强制放大 后仍然保证较为清晰的效果。研究的核心思想就是将图像划分成许多微小的图像块，对 这些图像块按照一定的准则进行查询比较，将重合的图像放在一起，如此往复，得到一 幅高分辨率的图像。以色列魏茨曼科学研究所研究了一种新型算法可以使图像放大三倍 不失真。最近，新加坡研究人员对图像处理的标准测试图像l e n a 头像进行处理，整幅 图像约5 0 姗2 ，像素点间的距离只有2 5 0 ，2 聊，该技术已经接近光学显微镜的分辨极限， 这项技术在国内外引起轰动。 我国对图像超分辨率重建领域的研究和国外还有很大的差距，对红外图像的超分辨 率重建的研究也是最近几年才刚刚开始的。但是，随着人们对高分辨率图像的需求，国 内众多的科研院所和大学开始致力于图像超分辨率的研究。目前，研究红外图像超分辨 率的主要高校包括北京理工大学、南京理工大学、哈尔滨工业大学的图像信息与工程研 究所、武汉大学遥感信息工程国家重点实验室、香港中文大学等；主要的研究所包括长 春光机所、西安光机所、武汉高德红外、上海技术物理研究所、中电3 8 所等等。其中 做成突出贡献的有：哈尔滨工业大学教授李金宗和他的团队重点研究单帧图象复原与超 分辨率处理技术，该算法可将原分辨率三米的遥感图像分辨率提高1 6 倍以上，将真实 遥感图像的对比度改善8 招以上。他们的研究已经形成了系统的技术方案，目前已经被 多家单位实际使用，该技术理论充实，应用方便，适应性较强，他们的研究对图像超分 辨率的研究具有重要的意义。 但是，目前我国的研究无论是从深度还是从广度上都和国外的研究有很大的差距。 因此，深入研究红外图像的超分辨率技术，对提高红外图像质量，缩小我国在红外领域 和发达国家之间的差距，加快红外成像技术在我国国防建设中的应用步伐都有着非常重 大的意义。 1 3 研究思路和章节安排 1 3 1 研究思路 本文主要研究多帧红外图像的超分辨率重建技术，研究的主要目标是提高红外图像 的分辨率，增强红外图像的细节。文章的研究内容包括红外序列图像的获取，红外图像 的预处理，侧重研究了图像问的配准，利用配准后的结果，进行红外图像的超分辨率重 建，最后对重建后的图像进行质量评价。本文具体的研究思路可用图1 1 表示： 多帧篓盐图像h 红外预处理h 图像配准h 超分辨率重建 图1 1 本文研究思路 实验分析 图像的质量评价 l 绪论 硕士论文 1 3 2 章节安排 本文的研究内容主要分为以下几个部分： 第一章绪论。主要介绍本文的课题背景，国内外研究现状以及提出本文的研究思 路及章节安排。 第二章红外图像和超分辨率技术。首先根据红外图像的基本特性，在超分辨率重 建前对红外图像做灰度拉伸，对比度增强或去噪等预处理。其次，分析超分辨率技术的 理论基础，总结出红外成像的退化模型卜胁。由于退化矩阵h 的维数巨大，希望直接 通过求逆反解出高分辨率x 几乎是不可能事情。本文深入研究了超分辨率反解问题的不 适定性及其求解。此外，本章还比较分析几种效果较好的超分辨率算法的优缺点，对图 像重建原理进行了全面深度的解剖。最后，提出图像的质量评价方法。总体而言，本章 内容是后续各章内容的基础。 第三章多帧图像配准。图像配准是超分辨率重建的保障和前提，是本文的一个研 究重点。本章重点讨论了基于块匹配的运动估计算法和基于光流匹配的运动估计算法。 在光流算法中通过高斯金字塔变换将原始序列图像分成不同的分辨率的图层，解决图像 中存在大位移运动时光流计算精度较差的问题。 第四章正则化超分辨率重建。首先，介绍经典的正则化模型和常用的正则化项， 在此基础上提出自适应正则化模型。在构建模型过程中引入自适应权重系数表征各帧低 分辨率图像的贡献量。由于正则化参数对模型的重建结果有着非比寻常的影响，而经典 的正则化理论大多数使用固定值，需要根据重建效果人为设置正则参数。这种方法受主 观影响较大，往往不能获得全局最优解。本文在模型求解过程中，提出了使用自适应的 正则化参数。最后，利用m a t l a b ( i 匕0 0 9 a ) 进行实验分析。 第五章总结和展望。对全文所做的工作进行总结，展望红外图像的超分辨率技术 的发展前景。 4 硕士论文 红外图像的超分辨率算法研究 2 红外图像和超分辨率技术 2 1 红外图像的基本特征 和可见光图像相比，红外图像质量较低，视觉效果较差，远不能满足人眼对分辨率 的需求。研究分析红外图像的基本特征，对提高红外图像的分辨率具有深远的意义。 红外图像表征物体的红外辐射分布。红外图像的灰度变化记录了景物不同部分的不 同的辐射能力。研究表明，红外图像具有如下的特征： ( 1 ) 灰度层次不分明而且灰度分布较集中 红外探测器可探测的温度范围较广，而实际景物的温度范围相对较低，在加上景物 间的温度差异较小，因此红外相机摄取到的图像灰度的层次不分明、纹理特征不明显【1 0 】。 ( 2 ) 对比度较低，纹理不明显 由于景物和周围环境存在着热交换、空气热辐射和吸收，从而导致了自然状态下景 物之间的温度差别不大，红外图像中景物与背景的对比度较低i l o 】。 ( 3 ) 性噪比较低 红外图像的噪声来源较广，包括元器件的内部噪声，系统噪声，以及随机噪声等等。 这些噪声较低了红外图像的性噪比。 ( 4 ) 红外传感器得到的相邻两帧图像之间的差别不大 红外图像的摄取帧速约为2 5 3 0 叫s 之间，景物表面的辐射分布基本上保持不变， 这个特性为序列图像的超分辨率重建提供了保证。 基于上述特点，为了保证红外图像的重建效果，在超分辨率重建前，需对红外图像 进行灰度拉伸，对比度增强和去噪等预处理。关于红外图像的预处理，参见文献 1 1 。 2 2 超分辨率的理论基础 序列图像超分辨率重建的基本思想是通过一系列的l r 图像间互不相同的信息来提 高图像的分辨率。这意味着，若图像间没有亚像素的位移，只存在整像素的位移，是根 本无法重建h r 图像的。关于亚像素位移的示意图，如图2 1 所示。 2 红外图像和超分辨率技术 硕士论文 琥图像l l r 图像2 嫩图像3 i 亚像素位移：i 整像素位移： - ，。、， ：jl， ?! ， ， ： ， 图2 1 亚像素位移不意图 在讨论各种s r 算法之前，我们首先介绍能够成功重建超分辨率图像的三大理论： 解析延拓理论、信息叠加理论和非线性理论。其次，建立多帧l r 图像和h r 图像之间 的关系。图像的退化模型阐述了从理想图像到l r 图像的降质过程，属于正过程；而超 分辨率重建过程可以理解为图像降质过程的反向过程。换句话说，如何处理一系列的 l r 图像得到h r 图像是本文的研究重点。 2 2 1数学物理基础 假设场景辐射能量在物平面上的分布用厂( x ，y ) 表示，通过成像系统日后，在成 像平面上得到的图像为日 厂( x ，y ) 】，如果同时存在加性噪声刀( x ，y ) ，则退化后的图像 g ( x ，y ) 1 1 2 j 可表示为： g ( x ，y ) = 日【( x ，y ) 】+ ，z ( x ，y )( 2 2 1 ) 其中h 回是成像系统退化的物理过程。日 厂( x ，y ) 】可用艿函数加权积分的形式表示，当 日 厂( x ，j ，) 】为线性算子时， 6 田腰圈 硕士论文 红外图像的超分辨率算法研究 日 厂( x ，y ) 】= 日 i j 厂( a ，卢) 6 ( x a ，少一卢x 地d 卢】 2i j h 厂( a ，p ) 6 ( x a ，y 一卢) f h d 卢 = 厂( a ，卢) 日 6 ( x 一口，y 一卢) 】d a d p 、。 乞( 2 2 2 ) 2 厂( a ，卢) 办( x ，y ；a ，卢) d a d 卢 如果成像系统是一个空间不变系统，则乃( x ，y ；a ，卢) = 办 一a ，y 一卢) 成像过程可以用数学公式描述为： g ( x ，y ) 2i j 厂( a ，卢) j i 2 ( x a ，y p x 地d p + ，2 ( x ，y ) ( 2 2 3 ) = 厂( x ，y ) 木办( x ，y ) + ，2 ( x ，y ) 其中，g ( x ，y ) 代表退化图像，厂( x ，y ) 代表输入的图像函数，办( x ，y ) 代表成像系统的 点扩散函数，刀( x ，y ) 表示加性噪声，“ 表示卷积符号。图2 2 表示l r 图像和h r 图 像间的关系12 1 。 厂( x ，) )g 力 图2 2 图像退化过程 对式( 2 2 3 ) 利用傅里叶变换，空间域上的卷积关系转化为频域上是乘积的关系。因此式 ( 2 2 3 ) 的频域描述如下： g ( 甜，v ) = 日( “，v ) f ( 甜，1 ，) + ( “，v )( 2 2 4 ) 即： f ( ) ：业掣 ( 2 2 5 )7 日( “，v ) 、 其中，g ( “，v ) ，f ( ，1 ，) ，日( “，v ) ，( “，v ) 分别表示g ( x ，y ) ，厂( x ，y ) ，办( x ，y ) ，聆( x ，y ) 的傅里叶 变换。 从上式( 2 2 3 ) 和( 2 2 5 ) 可知，从g ( x ，y ) 中复原出厂( x ，y ) 需要反解卷积，计算过程 比较繁重；而在频域上只需要解除法运算，比较容易实现。但是，当日( 甜，1 ，) 非常小时， f ( “，v ) 变得无穷大，受噪声的影响显著增强；在截止频率以外，传递函数日( “，v ) 为o 时，f ( 甜，v ) 将变得没有意义。所有如果希望通过式( 2 2 5 ) 重建出截止频率以外的信息， 传统的图像复原理论根本行不通，最多只能恢复截止频率以内的f ( “，v ) 。而使用s r 技 术可以成功的重建截止频率以外的信息，但是需要以下三大理论的支持1 3 】【1 4 】： ( 1 ) 解析延拓理论 如果函数厂( x ，y ) 满足有界性，那么其频谱函数f ( “，v ) 是解析函数【15 1 。解析延拓的 同一性定理【l5 】：如果两个解析函数在同一区域上存在无穷多个相等的点，则这两个函数 2 红外图像和超分辨率技术 硕士论文 必然在整体上相等。换句话说，只要已知解析函数的某区域上的取值就可以重建出函数 整体。而对于真实图像是非负有界的，所以通过截止频率以内的f ( “，v ) 重建出截止频率 以外的f ( “，v ) 的想法是可行的。 ( 2 ) 信息叠加理论 频谱函数f ( ”) 可以表示为两部分和的形式，一部分用巧 ) 表示截止频率以内的频 率，另外的一部分用e ) 表示截止频率以外的频率，其公式表示如下式，关于其详细 的理论参见文献 1 2 】。 f ( ”) = ( 巧( 甜) + e ) ) 木s i n c ( 吒) ( 2 2 6 ) 由此可见，e ( 材) 中包含了物体的低频分量和高频分量。这意味着，只要能够成功 的分离低频分量和高频分量，想要重建出超分辨率图像就不再是神话了。 ( 3 ) 非线性理论 理论( 1 ) 和理论( 2 ) 都没有考虑噪声给图像带来的影响，设图像满足非负有界性。然 而在实际问题中，成像系统的噪声是不可忽略的，噪声的影响导致图像可能不满足非负 有界性。往往需要通过添加约束条件使其满足非负有界性，这些约束引入非线性计算。 非线性计算具有附加高频信息的特性。s r 重建正是基于这一特性不断修正高频信息的。 综上所述，解析延拓理论、信息叠加理论和非线性理论构成了s r 重建的三大理论 基础。 2 2 2退化模型 为了形象直观的表示图像的降质过程，本文用图2 3 反映原始场景x 到序列低分辨 图像之间的映射关系： 8 礁l 图2 3 图像的降质过程 硕士论文红外图像的超分辨率算法研究 假设原始场景代表高分辨率图像，用大小为叫嵋g 鸩的矩阵x 表示，原始高分辨 率图像经过运动、模糊、降采样以及噪声等降质过程【l6 】生成幅大小为m m ：的低分 辨率图像 m ，儿) 。退化模型可表示为： 败= 哦坟e x + 仇 1 七 ( 2 2 7 ) 其中，矩阵e ，最，砬和怖分别代表几何运动、模糊、降采样以及成像过程中产生的 噪声。矩阵疋包括进行平移，旋转或其他运动变换；反表示模糊矩阵，由系统的点扩 散函数决定；q 表示降采样矩阵。体表示成像过程中的噪声，一般来说，为了便于计 算，我们通常假设为零均值高斯噪声。 假设同一幅场景的采样算子、模糊算子保持不变，或者预处理为一致情况，则退化 模型可以表示为： 败= 啦x + 体 l 尼 ( 2 2 8 ) 为表达方便，记峨= 砬反疋为总的退化矩阵，式( 2 2 8 ) 可以表示为： 炸= k x + 1 七 ( 2 2 9 ) 对于n 幅低分辨率图像来说，可以列出n 个如式( 2 2 9 ) 所示的方程，则多帧图像的 退化模型为： m ： y n 伤 ： 巩ji ( 2 2 1 0 ) 将其中的矩阵向量化，并将这个方程合并，就得到如下式所示的总体退化模型： y = m + ( 2 2 1 1 ) 从该式可以看出，想要重建出高分辨率图像x ，必须确定日和附加噪声。 根据实际的应用问题建立了数学模型之后，首先需要验证该模型的可行性以及需要 考虑解的存在性等问题，文章2 i 3 节对该模型做出了详细的分析，研究表明，超分辨率 问题是不适定的反问题。 2 3 超分辨率问题的不适定性 2 3 1反问题和不适定问题 迄今为止，反问题并没有一个明确的定义。1 9 7 6 年，斯坦福大学教授k e l l e r 针对反 问题给出了如下描述【l7 】：在两个问题中，如果其中一个问题的求解需要用到另一个问题 的部分信息，那么这两个问题互为正反问题，把其中一个问题称为正问题，另一个问题 称为反问题。我们习惯将由因索果的过程称为正问题，将由果索因的过程称为反问题。 在经典的数学物理问题中，适定问题( 或称良性问题) 要求同时满足阿达玛 ( h a d 锄a r d ，1 9 2 3 ) 条件【l 引，即“存在性、唯一性、稳定性”。如果一个问题不能够同时 9 2 红外图像和超分辨率技术硕士论文 满足以上三个条件，我们则称之为不适定问题【1 8 】( i l l - p o s e dp r o b l e m ) ，也可称为病态问 题。 通常将满足适定性的问题称为正问题，而把求解过程不符合客观规律，不能同时满 足适定性的三个条件的问题称为反问题。在实际应用中，大多数反问题都是不适定问题。 本文所研究的s r 问题就是不适定的反问题，主要表现在以下三个方面： ( 1 ) 超分辨率问题的解不一定存在 噪声的存在可能导致退化系统不可逆，以及运动估计误差等因素的影响，使得观测 到的低分辨率图像间无法匹配，这样将无法重建出符合要求的高分辨率图像。 ( 2 ) 超分辨率重建问题的解不唯一。 由于客观条件的限制，根据式( 2 2 9 ) 所建立的方程组往往是超定的或者是欠定的， 这会导致超分辨率问题的不唯一。比方说，当输入的低分辨率图像有帧，而超分辨率 重建将水平放大因子是p ，垂直放大因子是g ： o 是日的，个奇异值，为m 的对角阵。日的广义逆h 一1 可表示为： 日= 矿_ 1 u r( 2 3 4 ) 其中一：纰，= ：l ，】，为m 的对角阵。 q 仃2 仃r 一1 仃r 1 0 硕士论文红外图像的超分辨率算法研究 将式( 2 3 4 ) 采用奇异值值展开有： 日= 仃， ( 2 3 5 ) 对应的式( 2 3 2 ) 可以写成： 垆矿涉圳- 2 喜警n2 喜警一务 ( 2 3 6 ) 括lo ff = lu fu f 其中s = 主冬匆代表无噪声的输入数据求得的解，& = 窆冬气代表噪声引起的解 的扰动f 2 0 1 。 判断一个问题是否是病态问题及其病态程度可以用条件数衡量，如果条件数较小 ( 接近1 ) ，则矩阵h 是良性的；否则，称为病态的。矩阵日条件数定义为q 仃，q 是矩阵日的最大奇异值，仃，最小奇异值。当矩阵h 很大时，小数值的奇异值就越多， q 专o 。随着q 的减小，岛中分子的衰减速度远远慢于q 衰减的速度，从而彳以被 逐渐放大，造成& 不收敛，最终导致x 的无解或者解没有实际意义。换句话说，输入数 据中的噪声会被小数值的q 放大；日的条件数越大，其病态性就越严重，数据误差对 方程解的影响就越大。 本节实验在m a t l a b ( i 匕0 0 9 a ) 环境下生成大小为6 4 6 4 的退化矩阵日，进一步的 观察分析数据误差对重建结果的影响。图2 4 和图2 5 表示y 是否受噪声污染时， q ，i 彰y l ，i 矿y l q 三者的关系。图2 4 为无噪声污染情况下的奇异值分布，图2 5 为有 噪声污染情况下的奇异值分布。 图2 4 无噪声污染情况下的奇异值分布 2 红外图像和超分辨率技术硕士论文 图2 5 有噪声污染情况f 的奇异值分布 上图中“一 代表矩阵日的奇异值分布情况，其条件数已经达到1 0 2 0 量级以 上，该问题具有严重的病态性。图2 4 中可以看出，i 彳。yi q 值随q 的减小，没有大幅 度的上升，因此解相对比较稳定。图2 5 反映当y 受噪声污染时，在f 9 后，i 甜? 。y i q 随q 的减小迅速增大，l 群少i q 的值被放大1 0 ”量级。 上文对超分辨率问题病态性的成因进行了详细的剖析，正是由于问题的病态性，使 得以往的众多方法求得的数学意义上的解不具备物理意义。 了解了病态问题的成因，相应的解决方法也应运而生。要想获得病态问题的有效解， 需要根据病态问题的物理特性，引入相应的先验约束条件，将病态问题转化为良性问题， 使问题的解较为接近真实值，通常将这类思想定义为正则化思想。 t i k h o n o v 正则化方法1 2 l j 是应用最早最广泛的方法，其基本思想是使得足中分子的 衰减速度快于q 衰减的速度，从而保证有界性。1 墩h o n o v 正则化的定义如下： x = 铀驾n l i l l | i y 一月k i i z + a | i 三( x x ) | 1 2 ) ( 2 3 7 ) j 式中，i ly 一胁1 1 2 表示数据项( 残差范数) ，描述了所求高分辨率图像与低分辨率观 测图像相一致的程度；i i 一x ) 0 2 表示正则项，表示和真实解的接近程度；a 为正则化 参数，控制着求解过程中数据项和正则项之间的相对贡献量；x 为假设的真实解，一般 情况下很难获得，通常假设其为o 。 当三= ，时，为标准t i l 【l l o n o v 正则化方法： 1 2 硕士论文红外图像的超分辨率算法研究 x = a r g i l l i n i i y 一月父1 1 2 + ai i x l l 2 ) 式( 2 3 8 ) 有唯一、稳定解，但是当约束算子为单位矩阵时， 了已观测图像的能量，对解的约束并不强。 求解式( 2 3 8 ) ，解得： 曼= ( 日r 日+ a ，) 一1 日r ) ， 式( 2 3 9 ) 所对应的奇异值表示方法为： 拈饵啊托矿旧* 喜秀) 警) h ( 2 3 8 ) 正则项只是简单的反映 ( 2 3 9 ) ( 2 3 1 0 ) 比较式( 2 3 1 0 ) 和式( 2 3 6 ) 可知，式( 2 3 1 0 ) 相当于在式( 2 3 6 ) 中增加了一个因子 ( 最】。随着q 的减小，【鑫】迅速减小并趋近于o ，从而可以保证了式( 2 3 1 0 ) 的 收敛性。 由此可看出，正则化参数对t i k l l o n o v 正则化方法重建效果的影响很大。a 越大， 重建图像受噪声影响就越小，但是正则化误差也越大。当a 越小，t i l 【h o n o v 方法就越趋 近于最小二乘意义下的解。本文将在第四章详细介绍正则化参数的选择。 2 4 超分辨率算法综述 目前，超分辨率算法大致可分为频域法、空域法。频域法的核心思想是利用傅里叶 变换的位移特性和频谱混叠特性，提高图像的空间分辨率。频域方法假设运动模型是全 局平移运动，建立原始场景的连续傅里叶变换( c f t 脚，砂和l r 图像的离散傅里叶变换 ( d f t ) 之间的关系。最后，利用最小二乘法求解得到讹砂，再对讹砂进行反傅里叶变 换即得所求的高分辨率图像。 频域法主要的扩展包括消混叠重建方法( t s a i & h u a n g ，1 9 8 4 ) 、递归最小二乘法( k i i l l ， 1 9 9 0 ) 、递归整体最小二乘法( b o s e ，飚m ，v 甜e n ，1 9 9 3 ) 、基于广义采样定理的方法 r & g r o s s ) 。近十多年来小波分析迅速发展，小波分析是传统傅里叶分析发展史上的里 程碑。近年来，也已经产生了多种基于小波变换的超分辨率算法 ( n g u y e n & m i l 孤l f 犯2 0 0 0 ；c h a nna l ，2 0 0 3 ；n ge ta l ，2 0 0 4 ) 。 频域法的理论清晰直观，计算量小；但是频域法的缺点也是很明显的：频域法假设 运动模型是全局平移运动，前提太过于理想化，算法的适应性不强；和空域法相比，最 大的劣势是不能包含先验约束条件，灵活性较差。频域方法的局限性阻碍了频域方法的 发展，而空域方法虽起步较晚，但发展较快，产生了大量的超分辨率重建模型，本文主 要介绍以下几种典型的方法： 2 红外图像和超分辨率技术硕士论文 非均匀采样内插法 迭代反向投影( 脚) 贝叶斯分析法( m a p ，m l ) 空间域方法 凸集投影法( p o c s ) m i 瓜厦a p p o c s 混合法 自适应滤波法 正则化法 2 4 1非均匀采样内插法 非均匀采样内插法是超分辨率空域算法中最直观的方法。该算法顺序执行运动估 计、非均匀插值、去噪去模糊这3 个过程。 其执行过程如下【2 2 】：选择某一帧图像作为参考帧，对其余的l r 图像相对于参考帧 进行图像配准，求解相对运动参数。根据运动参数将所有的低分辨率图像投影到参考帧 上，得到非均匀采样的空间分布图，如图2 6 ( b ) 所示。由于低分辨率图像之间的运动关 系是任意的，低分辨率图像的像素可能并没有落在参考帧的整数网格上，这