（电路与系统专业论文）微波图像超分辨率分析.pdf

武汉科技大学硕士学位论文第1 页 摘要 微波成像技术因其独特的属性广泛的被人们应用于当今世界。比如，它被动的工作方 式可避免电磁波的辐射具有较好的隐蔽性和鲁棒性；自然光和热对它的成像过程几乎没有 什么影响；微波成像保留了物体本来的几何形状，与光学图像类似，这有利于识别物体； 微波具有穿透一些物体的性能，它能穿透云、雨、雪和烟雾，能在恶劣的天气情况下全天 候的工作；微波成像还可获取物体的组成、结构和介电性能等信息，这是光学图像和红外 图像无法替代的；由于微波具有对金属敏感的特性，微波成像技术在军事领域中也起着重 要的作用。 然而，由于受到天线口径等因素的限制，微波图像存在着分辨率低这样一个固有的缺 陷。此外，成像系统和周围环境的噪声也是难以避免的，因此人们获得的微波图像常常是 被模糊、降质和位移过了的。为了获得高分辨率的图像，满足人类视觉和机器视觉的需求， 同时避免更换原有设备的开支，引入了超分辨率算法。 本文提出的w f i p o c s 算法，是一种基于分形插值、小波理论以及凸集投影技术的超分 辨率分析算法。此算法是对经过维纳滤波预处理后的微波图像，进行基于小波变换的分形 插值放大，再使用i p o c s 方法对放大后的图像进行修正，最后获得高分辨率图像。实验结 果显示，w f i p o c s 算法提高了微波图像的空间分辨率，并且此算法还可以应用于特别是纹 理结构复杂的光学和红外图像。 关键词：微波图像；超分辨率；小波变换；分形插值；改进的p o c s 方法 第1 i 页武汉科技大学硕士学位论文 a b s t r a c t m i c r o w a v ei m a g i n gt e c h n i q u ei sw i d e l yu s e dn o w a d a y sf o ri t su n i q u ec h a r a c t e r i s t i c s s u c h a st h ep a s s i v ew o r k i n gm e c h a n i s mo ft h ei m a g i n gt e c h n i q u ec a na v o i de l e c t r o m a g n e t i cw a v e e m i s s i o n ，w h i c hh a sh i g hq u a l i t yo fc o n c e a l i n ga b i l i t ya n dr o b u s ta g a i n s ti n t e r f e r e n c e ；t h e n a t u r a ll i g h to rt h 锄a le m i t t e rh a sl i t t l ei n f l u e n c eo nt h ei m a g i n gp r o c e s s ；t h ei m a g eo b t a i n e db y m i c r o w a v ei m a g i n gt e c h n i q u el o o k ss i m i l a rt ot h eo p t i c a li m a g e ，w h i c hp r e s e n t st h er e a ls h a p e o ft h eo b j e c t i ti sc o n v e n i e n tf o rr e c o g n i t i o nt h eo b j e c t m i c r o w a v eh a st h ec a p a b i l i t yo f p e n e t r a t es o m eo b j e c t s i tc a np e n e t r a t ec l o u d ，r a i n ，s n o wa n ds m o gl a y e r , s om i c r o w a v ei m a g i n g s y s t e mc a nw o r k2 4 一h o u rl o n g i tc a no b t a i nt h ec o m p o s i t i o n ，s t r u c t u r ea n dt h ed i e l e c t r i c p r o p e r t ye ta 1 o ft h et a r g e to b j e c t ，w h i c hc a nn o tb ea c h i e v e db yo p t i c a lo ri n f r a r e di m a g i n g s y s t e m m i c r o w a v ei m a g i n gt e c h n i q u ei se s s e n t i a li nt h ea p p l i c a t i o no fm i l i t a r ya f f a i r s ，s i n c et h e m i c r o w a v er a yp r e s e n t sa c u t ec h a r a c t e r i s t i cw h e ni te n c o u n t e r sm e t a lm a t e r i a l s h o w e v e r , t h ep a s s i v em i c r o w a v ei m a g eh a sa ni n h e r e n tp r o b l e mo f l o wr e s o l u t i o nd u et ot h e l i m i t e dc a l i b e ro ft h ea n t e n n a m o r e o v e r , t h en o i s ea r i s e nf r o mt h ei m a g i n gs y s t e ma n dt h e s u r r o u n d i n ge n v i r o n m e n to f t e nc a nn o tb ea v o i d e d a sar e s u l t ，p a s s i v em i c r o w a v ei m a g e sa r e a l w a y ss u f f e r i n gf r o mb l u r ，d e g r a d a t i o na n ds h i f t i n g f o rt h ev i s u a ln e e d so fh u m a nb e i n g sa n d t h em a c h i n ev i s i o n , s u p e r - r e s o l u t i o na l g o r i t h m sa r ee m p l o y e dt oo b t a i nt h eh i g hr e s o l u t i o n ( h r ) i m a g e ，m e a n w h i l ea v o i dt h eh i g hc o s to f t h ee q u i p m e n t s i nt h i sp a p e r , w eg e n e r a l l yd i s c u s st h es u p e r - r e s o l u t i o na l g o r i t h mb a s e do nf r a c t a li n t e r p o l a t i o n , w a v e l e tm e t h o da n dp o c st e c h n i q u e w ep r o p o s et h ew f i p o c sa l g o r i t h m ，w h i c hr e p r e s e n t st h e w a v e l e t b a s e df r a c t a li n t e r p o l a t i o ni n c o r p o r a t e st h ei m p r o v e dp r o j e c t i o no n t oc o n v e xs e t so p o c s ) t e c h n i q u e f i r s t l y , w ea p p l yd o w ns a m p l i n ga n dw i e n e rf i l t e r i n gt o al o wr e s o l u t i o n ( l r ) m i c r o w a v ei m a g e t h e n , t h ew a v e l e t - b a s e df r a c t a li n t e r p o l a t i o ni sa p p l i e dt op r e p r o c e s st h el r i m a g e f i n a l l y , t h ei p o c st e c h n i q u ei sa p p l i e dt os o l v et h ep r o b l e m sa r i s e nb yi n t e r p o l a t i o na n d t oa p p r o a c hah i g hr e s o l u t i o n ( h r ) i m a g e t h ee x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h ew f i p o c s a l g o r i t h mi m p r o v e ss p a t i a lr e s o l u t i o no fm i c r o w a v ei m a g e s f u r t h e r m o r e , t h ew f i p o c s a l g o r i t h mc a l lb ee x t e n d e dt oe n h a n c et h er e s o l u t i o ni nb o t ht h eo p t i c a li m a g e sa n dt h ei n f r a r e d i m a g e s e s p e c i a l l yf o r t h eo n ew h i c hh a sa b u n d a n tf e a t u r et e x t u r e s k e y w o r d s m i c r o w a v ei m a g e s ；s u p e r - r e s o l u t i o n ；w a v e l e tt r a n s f o r m ；f r a c t a li n t e r p o l a t i o n ； 口o c s 武汉科技大学硕士学位论文第l 页 第一章绪论 1 1 超分辨率复原技术的产生与发展 作为衡量图像质量的一个重要指标，数字图像的空间分辨率高表示有更高的像素密 度，可以为分析图像内容的处理提供更加丰富的细节信息。提高图像空间分辨率最直接的 方法就是提高采集设备的传感器密度，但由于工业技术的限制，已趋近于极限。( 例如， 对于o 3 5 , u m 的c m o s 工艺，一个像素的面积为4 0 l m 2 ，再继续减小，会导致信噪比的严重 下降。) 增加传感器芯片的尺寸，直接增加像素数也可以提高图像的空间分辨率，但是这 种方法会导致片内电容增加，c c d 电荷转移速度下降瞳3 。同时，高性能的光学器件和成像传 感器将产生昂贵的费用。 在成像系统硬件设备受限的情况下，运用信号处理的方法提高图像的质量，成为了当 今信号、信息处理领域的一项具有挑战意义的前沿课题。在获取图像的过程中，由于受到 成像条件和成像方式的限制，成像系统不能获得原始场景中的所有信息。如何去提高图像 的空间分辨率，改善图像的质量，一直以来都是图像获取技术致力解决的重要问题。而超 分辨率复原技术是解决这一问题的经济有效的方法。 超分辨率复原最早由h a r r i s ( 1 9 6 4 年) 和g o o d m a n ( 1 9 6 8 年) 分别提出，称为 h a r r i s g o o d m a n 频谱外推法口4 1 ，此法在研究初期未得到广泛的认可，直到二十世纪末才得 到突破性的进展。超分辨率复原技术得到广泛研究，是由1 9 8 4 年t s a i 和h 啪g 畸3 提出的从高 低分辨率图像序列复原单帧高分辨率图像开始，逐渐成为图像处理邻域的一个重要研究方 向。 广义上讲，超分辨率复原分为3 种睁1 0 1 ：单幅图像放大、多帧连续图像重建超分辨率单 帧图像、视频序列的超分辨率重建。其中，单幅图像放大主要是利用了对h r 图像的先验知 识，还有高频信息( 主要是以混叠形式存在) 进行复原；另两种，则是利用了相邻图像之 间的互补信息，达到超分辨率重建( 除先验知识和单幅图像信息外) 的目的。 超分辨率复原技术的基本思想：利用信号处理的方法，重建成像系统的截止频率之外 的信息。也就是，恢复成像过程中丢失的高频信息，获得高于成像系统分辨率的图像。此 技术不需硬件参与，就能提高图像空间分辨率，实现的成本低，现有的低分辨率成像系统 任然可以继续使用，还可以充分利用已经获取的大量图像资源n 1 j 刭。目前，超分辨率复原 技术在公共安全、计算机视觉、军事遥感侦察、机器人视觉、医学成像、资源与环境卫生 遥感、等领域已得到了初步的应用，并存在着巨大的发展潜力。 超分辨率复原技术的发展经历了频域方法、空域方法、基于学习的方法三个阶段。超 分辨率复原的主流技术有基于重建的方法( 频域方法和空域方法) 和基于学习的方法两种 n 3 j 引。基于重建的方法的核心是挖掘实际获取的低分辨率图像中的高频信息和多帧图像之 间的互补信息，结合图像的先验知识，求图像降质过程的逆过程，恢复重建图像过程中丢 失的高频信息。从早期的频域解混叠技术开始，到基于正则化重建的空域方法，基于重建 第2 页武汉科技大学硕士学位论文 的技术得到了广泛的研究，期间涌现出很多有效的方法。然而，当放大因子增大时能提供 的重建约束的有效信息越来越少，因此基于重建的超分辨率复原技术受到很大的制约。 基于学习的超分辨率复原技术则利用了不同图像在高频细节上的相似性u5 1 6 1 。经过学 习低分辨率图像和对应的高分辨率图像之间的关系来指导图像的超分辨率复原。其核心 是：很多看起来不同的图像在高频细节上都有着很多相似点，于是可以利用样本图像的学 习获得这一部分高频信息，从而用于其它图像的超分辨率复原。从信息源的来源分析，此 方法重点强调通过学习借鉴事例图像的信息。基于学习的方法对于特定图像( 例如人脸、 文本) ，在低分辨率图像的质量较差，放大倍数较高时可以获得较好的效果u 7 1 。 近年来，基于重建的和基于学习的超分辨率复原技术相互融合、优势互补，这是未来 图像超分辨率复原技术的一个发展趋势。 1 2 本文的研究目标与内容 微波图像超分辨率分析的研究目标是提高微波图像的分辨率。 本文的研究内容包括： ( 1 ) 通过了解微波的特性，找出应用微波的独特优势； ( 2 ) 建立图像退化的数学模型，应用典型的s p f 函数解决实际问题； ( 3 ) 分析微波图像降质的原因，建立微波图像的观测模型； ( 4 ) 学习超分辨率复原的数学物理理论基础； ( 5 ) 按照频域和空域的分类方法，总结基于重建思想的超分辨率复原方法； ( 6 ) 详细分析凸集投影算法的执行过程； ( 7 ) 通过实验探索将不同的插值方法应用于微波图像超分辨率复原的效果； ( 8 ) 分析小波变换的特点，将其应用在微波图像超分辨率复原中； ( 9 ) 通过实验来对比基于小波变换的双线性插值和分形插值方法的效果； ( 1 0 ) 提出一种基于小波变换、分形插值和凸集投影技术的超分辨率复原算法 w f i p o c s ，通过实验验证其再提高微波图像分辨率方面的有效性； ( 1 1 ) 从主观和客观两个角度研究图像质量的评价指标； ( 1 2 ) 将本文提出的w f i p o c s 算法推广应用于提高光学图像和红外图像的分辨率。 武汉科技大学硕士学位论文第3 页 第二章微波成像技术的理论基础 2 1 微波及其特点 微波是频率在3 0 0 m h z , 3 0 0 0 g h z ，相应波长为1 m o 1 m m 的电磁波。微波的低频段接近 于超短波，高频段与红外线相毗邻，因此它是一个频带很宽的频段，其宽度为3 0 0 0 g h z ， 比所有普通无线电波波段总和宽上万倍。通常将微波划分为分米波、厘米波、毫米波、亚 毫米波n 8 j 。 表2 1 微波波段 波段名称波长范围频率范围 频段名称 分米波 1 i l r l o c m3 0 0 m t t z 3 g h z特高频( u h f ) 厘米波 l o c m - l c m3 g h z - 3 0 g h z超高频( s h f ) 毫米波 1 c m - l m m3 0 g h z 3 0 0 g h z极高频( e h f ) 亚毫米波 l m m 一0 1 m m3 0 0 g h z 3 0 0 0 g h z超极高频 由表2 1 知，微波的波长小于普通无线电波的波长很多，正是由于这种数量的变化， 引起了电磁波性质的改变，使得微波具有一系列不同于普通无线电波的特点，例如频率高、 频带宽、信息容量大、波长短、能穿透电离层和方向性好等特点 ( 1 )频率高、频带宽、信息容量大、波长短 微波的振荡频率极高，每秒在3 亿次以上，振荡周期很短，在1 旷1 0 。1 2 s 之内，和低 频器件电子的渡越时间l o 。8 1 0 9 5 属同一数量级或者还小得多，必须考虑一些在低频段并 不显著的效应，因为这些效应在微波波段可能非常明显地表现出来。所以低频段所使用的 电子器件已经不再适用于此，必须研究在原理上完全新颖的微波电子器件。微波的频率高， 在不太大的相对带宽下，其可用频带很宽，频带宽意味着信息容量大，这就使得微波在需 要很大信息容量的场合得到了广泛的应用 1 5 3 。 ( 2 ) 似光性 微波的波长五比一般的宏观物体，比如，建筑物、飞机、船只等，的尺寸都小很多， 当微波照射到这些物体上时，通常会产生明显的反射现象。当微波的波长越短时，它的传 播特性就更加类似于几何光学，波束的定向性和分辨能力就越高，天线的尺寸也可以做得 越小嘲。 ( 3 ) 能够穿透电离层 微波被称微波是“宇宙窗口 n8 1 ，它能毫无阻碍，并且保持低衰减地穿过电离层。研 究微波，为卫星通信、导航定位以、天文学等研究和发展提供了极大的方便。 ( 4 ) 能够探索物质结构和特性 因为微波的量子能量不够大，所以还不足以来改变物质的分子的内部结构，也不足以 破坏分子间的作用键n 别。由物理学可以知道，在外加电磁场的周期力的作用下，分子、原 子，以及原子核所表现出的共振现象，常常都发生在微波波段，所以研究微波波段，为探 第4 页武汉科技大学硕士学位论文 索未知物质的内部结构和特性提供了方便的途径。与此同时，利用这一特性，人们可以开 发出许多更加适用于在微波波段工作的器件。 2 2 图像退化的数学模型 f ( x ，y ) n ( x ，y ) r 。，一、 h ( x ，y ) 7 l 7 图2 1 图像退化模型1 争2 2 1 ( x ，j ，) 如图2 1 图像退化过程可表示为，一个系统与加性噪声n ( x ，y ) 联合作用在f ( x ，y ) 上 产生退化图像g ( x , y ) 。其中各函数所表示的意义如下： g ( x , y ) ：成像系统的输出，即观测图像，表示退化后的图像； 厂“y ) ：成像系统的输入，即原始图像，表示理想图像退化之前的图像； 刀似j ，) ：表示加性观测噪声； 五“y ) ：表示点扩散函数p s f ( p o i n ts p r e a df u n c t i o n ) ，其物理意义是：一个点源通过 该成像系统后形成的扩散图像( 不考虑加性噪声) n 射。p s f 的卷积产生的图像退化现象叫 做模糊，图像的分辨率会因此而降低。模糊退化的共性是对原始图像低通滤波的结果，因 而丢失了高频分量，使得人眼敏感的边缘信息丢失。 假设成像系统是线性移不变系统，且有附加噪声n ( x ，y ) 的干扰，图像的退化模型可表 示为乜1 ： g ( x ，y ) = f ( x ，j ，) 枣 ( 五j ，) + n ( x ，j ，) ( 2 1 ) 由式2 1 ，图像退化可以表示成卷积和加噪两种运算的组合。若可以进行去卷积和去噪声 处理，则退化的图像就可以得到复原。其本质就是已知g ( x , y ) ，求f ( x ，y ) 。 对式2 1 两边进行傅里叶变换，得： g ( u ，v ) = h ( u ，v ) f ( u ，v ) + n ( u ，力 ( 2 2 ) 式中h ( u ，y ) 是系统的幅频特性，当它很小或者为零时，噪声会被放大。换言之，退化图像 中很小的干扰在n ( u ，y ) 取值很小时，会对图像复原产生很大的影响。在实际中，有几种典 型的h ( u ，1 ，) ，根据具体情况使用，可以取得较好的复原效果呦，2 2 瑚1 ： 由光学系统的散焦引起的图像模糊，其p s f 为： h ( u , v ) ：j l ( 7 r - d d ( 一u , v ) ) ( 2 3 ) ，r d d ( u ，v ) 式中d ( u ，力= , 1 2 + v 2 ，假设系统是线性移不变的，则p s f 此时是圆函数，d 是圆的直径， 以( ) 是第一类一阶b e s s e l 函数。 武汉科技大学硕士学位论文第5 页 由相机与景物的相对运动引起的模糊，其p s f 为： h ( u , v ) s i n 7 r ( a u + i f l i v i ) 一te x p ( 一万( 口甜+ 1 ，) 丁) ( 2 4 ) 7 r ( o r u + 咖) 丁 、。、。7 式中相机曝光时间为t ，口、是常数，分别表示在坐标轴上x 与y 方向上运动速度的分量。 由大气湍流引起的图像模糊，其p s f 为： h ( u ，y ) e x p 一c ( “2 + v 2 ) 。6 ( 2 5 ) 式中c 是与大气湍流性质有关的常数。 2 3 算法评价指标 图像信息工程的一项基础技术是研究如何评价图像的质量。图像的获取要经历：采集、 传输、处理和记录等一系列的过程，其中每个技术环节的性能优劣都会对最终获得的图像 的质量产生影响。对图像进行压缩编码处理，就是希望在保持图像质量的前提下，用尽可 能少的比特数来表示图像，达到节省信道的有效带宽和存储器的容量的目的。本文所研究 的图像恢复，则是研究如何补偿图像降质的问题，最终达到所获图像尽可能的接近原始图 像的目的。在处理这些问题时，合适的图像质量评价方法都是必不可少的。 人类的视觉系统由大脑控制经过复杂的相互作用，人类形成了对视觉场景的感知。视 觉质量的感知收很多因素的影响，例如空间保真度和时间保真度等。人们对图像质量的评 价也受到很多因素的影响，比如观察者身处的环境、观察者的精神状态和身体状态等。所? 以对于同一副图像的质量，不同的人，又或者是同一个人不同的时间或者空间，都有可能 给出不同的评价，这样的评价带有强烈的主观色彩，不利于科学的评价一副图像的质量。 为了更加客观的评价图像的质量，人们在不断的研究着图像质量的评价方法。 图像的质量通常包括：图像的逼真度和图像的可懂度啼5 捌。图像的逼真度描述被评价 图像与标准图像的偏离程度，通常是指图像细节方面的差异。图像的可懂度是指图像向人 们或者计算机提供信息的能力，通常包括了图像的整体和细节。长期以来，人们一直为研 究出科学的评价图像的质量，在图像的逼真度和图像的清晰度两个方面，定量评价的方法。 定量的评价方法可以消除定性评价方法的主观性，获得更客观的图像质量评价。 目前，图像质量的评价方法还是分为主观质量评价和客观质量评价。客观质量评价方 法是通过计算恢复图像偏离标准图像的误差来实现的。均方误差( m s e ) 和峰值信噪比 ( p s n r ) 是最常用的两个评价指标睛 。 均方误差的表达式： 至m 荟n ( 乃一) 2 ( 厶一) 2 m s e = 型尘l 二二( 6 1 ) m n 式( 6 1 ) 中，彳，分别表示mx n 的标准图像和恢复图像。 峰值信噪比的表达式： 第6 页武汉科技大学硕士学位论文 删= l o l l g 号笋 ( 6 2 ) 使用公式( 6 1 ) 和( 6 2 ) 求得的评价结果往往和人们的主观视觉效果不完全一致。 具有相同的p s n r 值的图像不能表示主观的图像质量一样；而主观上评价好的图像，其p s n r 值不一定高。这是由于m s e 和p s n r 反映的是恢复图像与标准图像的差异，而不是图像中 像素点的灰度差别。所以客观质量评价不能反映人眼视觉系统对图像的评价。 主观评价的方法往往要让大量观察者对图像进行评价打分，然后对结果进行统计。有 些场合使用人眼评价更适合，特别是供人们观看的图片。但是主观评价还是存在着前边所 提到的固有缺陷，以及操作复杂、不能实时传输等劣势m 3 。 数字图像质量的评价方法是一个非常重要的研究课题。多数情况下，逼真度的测量结 果和可懂度并不完全一致。如何使得逼真度的测量结果和可懂度即人们的主观观察结果统 一是研究的难点，有待人们继续研究。 2 4 本章小结 本章介绍了微波的频率与波长，列出了微波波段的划分表格，列举了微波的特性，并 说明了微波与普通无线电波相比较的优势所在。然后介绍图像退化的数学模型，以及应用 模型解决实际问题时的几种典型的s p f 函数。本章还从主观和客观两个角度介绍了图像质 量评价的指标。给出了客观评价指标的表达方法和物理意义。说明了主观评价方法和客观 评价方法的优势和劣势。指出了有待进一步深入研究的问题，即如何使得逼真度的测量结 果和可懂度即人们的主观观察结果统一。 武汉科技大学硕士学位论文 第7 页 第三章基于重建的超分辨率复原 3 1 概述 实际获取的l r ( l o wr e s o l u t i o n ) 图像可以看做是原始高分辨率h r ( h i g hr e s o l u t i o n ) 场景经过模糊、噪声、下采样等降质过程所得到的图像。而超分辨率复原过程就是要利用 信号处理的方法，推出成像过程的逆过程，重建原始的h r 图像。早期的超分辨率复原算 法通常是基于这一思想提出的，因而被统称为基于重建的方法憎1 。 基于重建的方法简单的说，就是通过对低分辨率l r 观测图像的获取过程进行数学建 模，再利用正则化方法构造高分辨率h r 图像的先验约束，运用l r 图像来估计h r 图像的 方法。图像的超分辨率复原问题最终转变成为一个在约条件下的代价函数最优化问题雎钉。 这类方法的优点是：结合先验知识很方便：将图像上采样这个病态问题转化成为良态问题； 取得的结果优于非模型化算法：等。 h r 图像的先验知识，一般是正则化约束项，可以人为定义成关于h r 图像的平滑约束 项。采用此法构造约束条件时，常常利用图像的局部平滑特征、边缘特性、像素值的非负 性及能量有限性等。但是现有的研究表明，当图像的放大系数较大时，正则化重建中的平 滑项会导致图像过于平滑乜1 。人们通常采用迭代算法( 例如梯度下降法、共轭梯度法等) _ 求解最优化问题。 3 2 基于重建的超分辨率分析算法 光学成像系统可以看成一个低通滤波器。由于光的衍射，光学成像系统的响应在截止 频率以外的均值为零。该截止频率是由衍射极限分辨率所决定的 2 5 。超分辨率复原技术 的目的就是在提高图像质量的同时恢复成像系统截止频率之外的信息，重建高于系统分辨 率的图像2 1 。 3 2 1 图像的观测模型 图3 1 所示是一个典型的图像观测模型n 羽，它描述了图像的降质过程。理想的高分 辨率图像会受到运动变形、模糊( 例如光学模糊、传感器和帧内运动模糊) 、下采样和噪 声等因素的影响，引起图像质量的下降。 图3 1 图像的观测模型 假设对同一场景多次成像，得到尼帧l r 图像 y 。 ，显然这后帧图像的降质过称不同。其 中任一帧l r 图像的降质过程可以表示为： 第8 页武汉科技大学硕士学位论文 ) ，( ”= d b ( m ( x + ，z ( k = 0 ，1 ，k ( 3 1 ) 式中，x 为理想h r 图像；d 为下采样矩阵，表示成像系统对原始h r 场景的下采样过程； 曰( ”为p s f 或衍射极限引起的模糊矩阵；m 似为第k 帧l r 图像在成像过程中由运动引起 的变形矩阵；刀( 通常为加性高斯白噪声。 如图3 1 所示，图像的超分辨率复原就是：由获取的一帧或多帧l r 图像 y 似 ，重 ， 建理想h r 图像工的过程。在对成像系统的通带内获取图像的低频信息进行复原的基础上， 恢复其截止频率以上的高频信息。 3 2 2 超分辨率复原技术的数学物理基础 ( 1 ) 解析延拓理论 由定理知，一个空域范围内有限的函数厂( x ) 的傅里叶变换f 似) ( 谱函数) 是一个解 析函数。若f 似) 在某个有限区间上为已知，则整个函数可以通过解析延拓求出。如果两个 解析函数，在任一给定区间上完全一致，则他们必须在整体上完全一致，即为同一函数。 解析延拓，就是根据给定解析函数在某区间上的取值对函数的整体进行重建乜引。 对于一幅图像，其空域是有界的，则其谱函数一定解析嗌1 。由上述分析可知，截止频 率以上的信息，可通过截止频率以下的谱函数f 似) 得以重建，从而实现图像的s r 复原。 ( 2 ) 正则化理论 图像的复原讨论的就是逆变换的存在性和唯一性的问题。要使方程获得定解， h a d a m a r d 提出必须满足三个条件j 方程的解存在；解唯一；解连续。满足以上三个条件称 为良态问题，若三者之一得不到满足，则问题是病态的嘲。数学家t i l d a o n o v 提出正则化处 理将病态问题转化为良态问题 1 2 1 。其方法就是将式3 2 所示泛函达到最小来求解。 e ( f ，g ，口) = m ( f ，g ) + a n ( f ) ( 3 2 ) 其中，为了保证求得的解逼近真解，m ( f ，g ) 表示的是解与原数据间的距离；o t n ( f ) 的存 在是为了克服病态问题，当有误差产生时，能保证解在真解的附近，并且连续的来自于数 据，从而不至于过分的将误差或噪声放大；口是控s q m ( f ，g ) 和n ( f ) 权重的正则化参数( 理 想情况下，若式3 2 达到最小，且肘( 厂，g ) - - 9 , 0 时，口专0 ) 。 正则化思想乜l2 8 1 的核心是：引入附加限制，并且定义一个紧集其中包含了真解，在紧 集和原来的解空间缩产生的交集中，找到稳定的、连续的真解，从而达到克服病态问题的 解空间太宽所引起的解不稳定的问题。 将此思想应用于s r 图像复原的核心是：利用解的先验知识，构造附加约束条件，限制 解的数据空间，使用统计和估计等方法，将图像复原的病态问题转化为良态问题，得到稳 定和特定的解。 3 2 3 频域方法和空域方法 基于重建的方法可分为频域方法和空域方法。 武汉科技大学硕士学位论文第9 页 频域方法是在频率域，消除频谱的混叠，重建图像的高频信息，从而提高图像的空间 分辨率。频域方法的数学理论基础是：傅氏变换的移位特性。下采样过程在频域表现为频 谱混叠。以下列举几种典型的频域算法： 1 由t a s i 和h u n g 1 提出的基于序列的超分辨率复原算法，是将图像序列模型化为同一 场景经整体平移后下采样的结果。其观测模型可表示为： y = o f ( 3 3 ) 式3 3 中，y 是多帧观测图像的傅里叶变换的逐行排列；f 是h r 图像傅旱叶变换的逐行 排列；是系数矩阵，表示各帧之间的时域平移所对应的频域相位变化关系。 若已知观测图像和各帧图像之间的平移关系，则可以求出】，和f ，再求解方程组( 3 3 ) ， 就可以得到h r 图像的傅里叶变换f ，最后进行傅里叶逆变换求解厂。 此算法计算简单，频域的系统方程可分离，这意味着超分辨率图像的单个频率点可以 相互独立计算，适于大规模并行实现。但其观测模型未考虑光学系统的s p f ，运动模糊和 观测噪声等因素的影响。 2 硒m 嘲1 等对公式3 3 进行了改进，考虑了观测噪声、空间模糊等因素。采用递归最小二 乘法、加权递归最小二乘法，求解频谱混叠系统线性方程组。还引入了线性不变、线性移 变模糊，以及观测值噪声，在一定程度上提高了复原算法的性能。 3 s u 啪3 等通过重叠观测图像序列的运动补偿子块，在一定程度上改善了t s a i 和h u n g 的 算法中非整体运动模型的缺陷，但是无法彻底解决平移运动模型的限制条件。 。 总的来说，频域方法的优点主要有：( 1 ) 理论简单，依赖的基本原理是傅氏变换理论； ( 2 ) 运算简单，可方便的实现并行处理方式；( 3 ) 去变形s r 机制具有一定的直观性。而 频域方法的缺点有：( 1 ) 运动模型和退化模型受限；( 2 ) 需要存在运动模型的傅里叶变换， 导致可选的运动模型变少。在s r 重构中，难以找到与空间域上运动，相对应的傅氏变换； ( 3 ) 难以包含先验知识。s r 复原问题是病态的，需要运用正则化方法来处理，从而化病态 为良态来解方程。通常为了有效的正则化，而用来约束解空间的先验知识，是通过空间域 实现的。由于频域法的固有特点，在频域空间较难实现，而且这些方法都是空域不变的。 所以基于上述原因，目前频域方法已经不是超分辨率复原的主流豫。 空域方法能建立更全面的观测模型( 可包括运动、模糊、非理想采样等) ，具有很强 的包含空域先验约束的能力( 例如基于集合理论的约束等) 。频域方法表现出较好的复原 性能，因而成为目前超分辨率复原技术的主流。下面介绍几种典型的空域方法： 1 非均匀插值方法 非均匀插值法b 卜蚓是超分辨率图像复原中最直观的方法。该方法依次执行：运动估计、 第1 0 页武汉科技大学硕士学位论文 非均匀插值、去模糊。简单的说，非均匀插值方法是先估算图像的相对运动信息，然后使 用插值的方法获得一幅h r 图像，最后对图像进行去模糊。 此法的优点有：计算的复杂度低，便于实用；缺点有：该方法的观测模型的使用前提 是所有l r 图像的模糊、噪声特征相同；无法保证复原算法的结果时最优的，因为忽略了 插值过程中引入的误差。 2 迭代反投影方法 迭代反投影法9 j ，首先给定一个h r 图像的初始估计z ，降质模型a ，产生一组模拟 的l r 图像序列y = a z ，使用反投影算子彳即将模拟的l r 图像y 与观测的l r 图像y 的误 差进行反投影，多次迭代更新图像复原的估计图像。将式( 3 4 ) 迭代，达到规定的最小误 差准则即可。其过程可表示为： g t + l = z t + a 即( j ，一y ，) = z t + a b p ( y 一彳磊) ( 3 4 ) 其中：f 为迭代次数；z ，为第f 次迭代所得h r 估计图像；y ，为z ，经降质模型彳后所得的 模拟的l r 图像。 迭代反投影方法的优点是：直观、简单、易实现；缺点是：难以运用关于图像的先验 知识；选取合适的么卯( 典型取值是a 。1 ) 难度大。 3 凸集投影方法 在凸集投影理论啪1 中，超分辨率( s r ) 解空间其中的解有多个限制条件，通常为图像 的较理想性质( 如正定、能量有界、数据可靠、平滑等) ，这些所有的限制条件被定义为 向量空间中的凸集合。s r 复原问题的解空间，就是凸集的限制集公共的交集。简单的说， 凸集投影方法( p o c s ) 就是从成像空间中任意一点开始，投影定位到凸集的交集上。 凸集投影算法运用了重复修正的原理。通过插值的方法得到h r 图像的初始估计图像， 从初始估计图像上的某一点开始，将图像当前估计值投影到凸集上，判断其是否满足凸约 束，若不满足，将其残差反投影到h r 估计图像上进行修正。当解落在图像解空间和约束 凸集的交集内时，停止迭代。通常投影到交集上的点不唯一，最终的结果和初始值的选取 有关。 凸集投影的算法要求在一个矢量空间内定义一些闭合的凸形约束集合，h r 图像就包含 其中。h r 图像的一个估计定义为这些约束集合交集内的一点。任意一个初始估计投影到约 束集合可获得h r 估计图像h 引。 假设h r 图像的初始估计为五，在凸集中求最优解的方法就是利用凸集投影算子迭代t 次，直至获得理想的h r 图像： f = 【斥足- i - 罡曰) f o ( 3 5 ) 武汉科技大学硕士学位论文第11 页 式( 3 5 ) 中：乞为投影算子，对应于到第个凸集的投影。投影算子将空间内的任一点映 射到该集合内离这一点最近的点上。 凸集投影算法给出了图像s r 复原的有效解集，如果是一个足够紧的凸集合，则有效 解集中的任解都可作为图像s r 复原的结果。 已知s p f 和噪声的统计特性，所以可定义如下闭凸限制： c ( 薯，只) = 夕i r ( o ( 玉，乃) 瓯。 f ：l ，2 ，l ( 3 6 ) l， ，( f ( 薯，y i ) 为( x l , y i ) 处的残差，定义为： ，( ( 玉，以) = g ( 。( 薯，y , ) - z z ) ( x ，y ) h ( x ，y ；誓，乃) f = l ，2 ，工 ( 3 7 ) xy 式( 3 7 ) 中，h ( x ，y ；薯，咒) ：观察图像在点( 而，咒) 处对应的p s f ； f ( x ，y ) ：理想h r 图像的一个估计在 ( x ，y ；而，咒) 作用域内的点； g ( o ( 而，乃) ：第f 幅l r 图像g ( ) 中任一点( 五，乃) 的像素值； 磊= c 皖o ( 瓯为噪声的标准差) ：反映了理想h r 图像厂( 工，y ) 位于c ( 而，乃) 内的置信度， 从统计意义上反映厂( 石，y ) 为c ( 玉，咒) 的元素。 当f ( x ，j ，) 为观测到的真实图像时，( 五，乃) 应与噪声相一致。c = 3 所对应的置信度为 9 9 。由残差进过边界限制，使得估计图像接近于观察图像，也就是说，再每次迭代后获 得的观察图像，在点( 薯，咒) 的值与拟成像过程在( 薯，乃) 的值相减后的绝对值，可被边界限 制。f f 意, f f t j f ( x , y ) ，其凸集g ( 置，乃) 的投影可定义为： 最( 玉，咒) 夕( 五y ) ：夕( 五y ) + lj 麟xxh 蹦m 2 ( 石，弘玉，咒) _ ”“7 毖x 鹅, y ；x i 啦嬲川炉(，咒) p ”“7 ，气五，乃) 磊 p ( 玉，咒) i 磊 ( 3 8 ) ，( f ) ( 玉，咒) 峨 l r 图像上的每一点( 五，乃) ，h ( x ，y ；五，咒) 是仅- 与x , y 相关，k x ，y 的取值范围已知， 这样就可以求得残差，然后运用凸集投影算子计算，经过若干次迭代，落在该凸集所约束 的范围内。理论上，迭代将一直进行到估计结果落在约束集合的交集内。实际中，通常会 规定迭代停止准则，比如主观判断图像质量，或是连续几次估计的变化落到设定的阈值内。 还有一些约束条件可实现更紧的域，能进一步改善结果。如幅度约束条件： r i 1 e = 歹f ( x , y ) t t f ( x ，y ) ( 3 9 ) 第1 2 页武汉科技大学硕士学位论文 通常口= 0 ，= 2 5 5 。 能量约束条件： q 2 厂：i l s l l ( 3 1 0 ) 当已知解与某参考图像相似时，有约束条件： g = s s h i i ( 3 1 1 ) 还可定义其它附加的约束条件。 凸集投影算法的执行过程可以简述如下： 1 选择一帧参考帧k ； 2 运动估计： ( 1 ) 将l r 图像g 气而，乃) 双线性插值到h r 网格上； ( 2 ) 平滑处理用高斯函数插值放大后的l r 图像； ( 3 ) 估计插值后l r 帧与参考帧k 之间的运动； 3 若( f ，j ) 处的运动估计是准确的，则定义集合q ，并计算该处的p s f h ( x ，j ，；玉，咒) ； 4 运动补偿： 5 对约束集合c 的所有点进行如下计算： ( 1 ) 算残差，( ( 毛，咒) ； ( 2 ) 用投影算子p 进行残余项的反投影运算； 6 利用幅度约束条件进行幅度约束； 7 当满足迭代停止条件时，停止迭代：否则，转( 6 ) 。 凸集投影方法的优点是：原理直观；可综合运用观测模型、运动模型、降质模型；模 型的复杂度对算法性能影响很小；具有很强的运用先验知识的能力。该方法的缺点是：结 果依赖于初始值的选取；投影过程的运算量较大。 本文使用改进的p o c s 方法( i p o c s ) 呻1 ，其核心是：在p o c s 修正过程中，由多个l r 像素点所对应的p s f 影响的h r 像素点，不是采取立即直接修正的方法，而是记录下各次 修正的值，在求得这些记录值得均值后进行修正。此方法综合考虑了观测图像前后点的p s f 对估计图像所对应像素点的共同作用，减小了后面的修正值对前面修正值的影响。 4 确定性正则化方法 确定性正则化方法口r 矧利用解的先验知识，将s r 复原问题转换成良态问题。如运用有 约束的最小二乘法( c l s ) 最小化l a 鲫g e 方程： 剐r 以- 形z l l 2 + 口ij q l l 2 ( 3 1 2 ) 式( 3 1 2 ) 中，c ：高通滤波器： 口：正则化参数。口越大，解越平滑，可运用于l r 图像数目小的情况；相反，口越小， 武汉科技大学硕士学位论文第1 3 页 则适用于l r 图像数目大、噪声小的情况。 由于多数图像都是自然平滑，其高频能量有限，所以