（控制科学与工程专业论文）基于先验约束的多幅图像超分辨重构技术研究.pdf

国防科学技术大学研究生院博士学位论文 摘要 不改变现存低分辨率成像系统，通过多幅互有位移、信息互补的低分辨率图 像获取高分辨率图像的超分辨重构技术，一直是图像处理领域中研究热点之一， 在刑事侦察、目标识别、医学诊断等领域具有广泛的应用。 本文从图像超分辨机理分析入手，围绕图像的去噪、配准、重构模型及算法 的设计，做了以下几方面的工作： 分析了成像系统的降质原因，讨论了成像系统的模糊辨识问题，针对实测数 据给出了一种有效估计系统降质点扩展函数的方法；分析了椒盐噪声的稀疏特性， 以解的稀疏性为先验信息，给出了图像去噪的扩展模型和相应的求解算法。对于 含椒盐噪声的图像，该模型具有显著的去噪效果，且能有效地保持图像特征。 分析了运用子图集代替原图做配准的优势，提出了一种选取子图的方法，并 对子图集进行了有效筛选。简化了相似性测度计算公式，分析了小波系数的特点， 依据小波变换的多分辨分析特征，提出了一种图像由粗到精、逐步迭代的快速配 准算法。该方法在稳定性和计算时间上，明显优于传统方法。 基于寄生波纹先验提出了一种能抑制寄生波纹的超分辨重构方法。分析了寄 生波纹产生的原因，针对配准误差、系统降质点扩展函数的估计误差以及噪声等 引起的寄生波纹，采用增加寄生波纹惩罚项的方法，建立了图像超分辨重构的正 则化模型。根据寄生波纹对图像不同区域的影响，给出了一种能够抑制寄生波纹 的参数选取方法。相对于传统方法该方法在不影响图像边缘重构效果的基础上， 能有效地抑制寄生波纹。 提出了利用先验图像的灰度分布信息来进一步改善图像质量的超分辨率重构 方法。分析了现有超分辨重构方法存在的不足，介绍了两种构造先验图像的方法。 利用最小鉴别信息原理，引入先验图像信息作为超分辨重构的信息补充和约束依 据，由此构造新的超分辨重构模型。基于置信策略，提出了一种选取正则化参数 的方法。当选取的先验图像灰度分布信息与真实图像的相似时，其重构效果能够得 到较大程度的提高；同时，相对传统的先验图像约束方法，该方法提出的灰度分 布特征约束更加简单有效。 主题词：超分辨重构，图像配准，图像去噪，先验约束，正则化方法 第i 页 国防科学技术大学研究牛院博士学位论文 a b s t p a c t s u p e r r e s o l u t i o ni m a g e r e c o n s t r u c t i o nf r o m m u l t i p l ei n t e r d i s p l a c e m e n t a n d i n f o r m a t i o n - c o m p l e m e n t e dl o w - r e s o l u t i o ni m a g e si so n eo ft h er e s e a r c hf o c u s e si nt h e i m a g ep r o c e s s i n ga r e a ，s i n c eab e t t e r r e s o l u t i o ni m a g ec a l lb eo b t a i n e db a s e do nt h i s t e c h n i q u e w i t h o u t c h a n g i n g c u r r e n tl o w - r e s o l u t i o n i m a g i n gs y s t e m s i t h a s c o m p r e h e n s i v ea p p l i c a t i o n si nt h ed o m a i no fp e n a lr e c o n n a i s s a n c e ，t a r g e tr e c o g n i t i o n ， m e d i c a ld i a g n o s i sa n ds oo n s t a r t i n g 、析t ha n a l y z i n gt h ed e g r a d a t i o nm e c h a n i s mo fi m a g e s t h i st h e s i sf o c u s e s o ni m a g ed e n o i s e ，i m a g er e g i s t r a t i o na n ds u p e r - r e s o l u t i o nr e c o n s t r u c t i o nm o d e l sa n d a l g o r i t h m s 诵t ht h ec o n s t r a i n to fp r i o ri n f o r m a t i o n t h em a i nw o r ki sa sf o l l o w s f i r s t l y ，t h i sp a p e ra n a l y z e dt h ed e g r a d a t i o nm e c h a n i s mo fi m a g i n gs y s t e m s t h e f u z z yi d e n t i f i c a t i o ni s s u eo ft h ei m a 百n gs y s t e mi sd i s c u s s e d a ne f f e c t i v em e t h o do f e s t i m a t i n gt h es y s t e md e g r a d a t i o np o i n ts p r e a df u n c t i o ni si n t r o d u c e db a s e do nr e a l m e a s u r e m e n td a t a s e c o n d l y ，t h ec h a r a c t e r i s t i c so ft h es a l ta n dp e p p e rn o i s ew a sa n a l y z e d t h e s o l u t i o ns p a r s e n e s sa c t e da st h ep r i o ri n f o r m a t i o n an e we x t e n d e dm o d e lw a sp r o p o s e d 诵t hc o r r e s p o n d i n ga l g o r i t h m e x p e r i m e n t ss h o w e dt h a tt h em o d e lh a sas i g n i f i c a n t d e n o i s i n ge f f e c to ni m a g e s 谢t hs a l ta n dp e p p e rn o is ew h i l em a i n t a i n i n gi m p o r t a n t f e a t u r e so ft h ei m a g e s t h i r d l y ，t h ep a p e rp r o p o s e daf a s ti m a g er e g i s t r a t i o na l g o r i t h mb a s e do nw a v e l e t t r a n s f o r m am e t h o dw a sg i v e nt os e l e c tt h es u b m a pe f f e c t i v e l yb yu s i n gt h ee f f i c i e n c y s u b - m a p si np l a c eo ft h ew h o l em a pt oc a l t yo u tr e g i s t r a t i o n t h et - t e s tm e t h o dw a s e m p l o y e dt of i l t e rt h es u n m a p s t h ef o r m u l at om e a s u r et h es i m i l a r i t yw a ss i m p l i f i e d ， a n dt h ew a v e l e tc o e f f i c i e n t sf e a t u r e sw a sa l s oa n a l y z e d b a s e do nt h em u l t i - r e s o l u t i o n a n a l y s i sf e a t u r e so ft h ew a v e l e tt r a n s f o r m ，af a s tr e g i s t r a t i o na l g o r i t h mu s i n gl a y e r e d a n di t e r a t e ds t r a t e g yw a sp r o p o s e d t h i sm e t h o di sp r o v e dt ob em u c hb e r e rt h a n t r a d i t i o n a lm e t h o d si nt h ea s p e c t so f b o t ht h ea c c u r a c ya n dt h ec a l c u l a t i o nc a p a c i t y f o u r t h l y ，t h i sp a p e rp r o p o s e dam e t h o do fs u p e r - r e s o l u t i o nr e c o n s t r u c t i o nu s i n g p a r a s i t i cr i p p l ea sap r i o r ii n f o r m a t i o n t h em e c h a n i s mo fp a r a s i t i cr i p p l eg e n e r a t i o n w a ss t u d i e d b a s e do nt h ep a r a s i t i cr i p p l ec a u s e db yr e g i s t r a t i o ne r r o r ，t h ep s f e s t i m a t i o ne r r o ra n dn o i s e ，as u p e r - r e s o l u t i o nm o d e lw a sa d o p t e db ya d d i n gap e n a l t y i t e mo fp a r a s i t i cr i p p l ew h i c hc a l lr e s t r a i nt h ep a r a s i t i cr i p p l e i na c c o r d a n c ew i t ht h e e f f e c to ft h ep a r a s i t i cr i p p l eo nd i f f e r e n tr e g io n s ，am e t h o do fc a l c u l a t i n gt h ea d a p t i v e r e g u l a r i z a t i o np a r a m e t e rw i t hw h i c ht os u p p r e s sp a r a s i t i cr i p p l ew a sg i v e n c o m p a r e d w i t ht r a d i t i o n a ls m o o t h i n g - b o u n dm e t h o d ，t h en e wm e t h o dc a ns u p p r e s st h ep a r a s i t i c r i p p l ew i t h o u ta f f e c t i n gt h er e c o n s t r u c t i o no ft h ee d g eo ft h ei m a g e 第i i i 页 国防科学技术大学研究牛院博士学位论文 f i n a l l y ，t h ep a p e rp r o p o s e dam e t h o do fs u p e r - r e s o l u t i o nr e c o n s t r u c t i o nt oe n h a n c e t h ei m a g eq u a l i t yw i t ht h eg r e yl e v e ld i s t r i b u t i o ni n f o r m a t i o no ft h ep r i o ri m a g e t h e d e f e c t so ft h ec u r r e n ts u p e 卜r e s o l u t i o nr e c o n s t r u c t i o nm e t h o d sw e r ea n a l y z e d t w o m e t h o d so fc o n s t r u c t i n gap r io r ii m a g ew e r ei n t r o d u c e d ap r i o r ii m a g ew a s a p p l i e dt o r e s t r a i n tt h er e s u l t so ft h es u p e r r e s o l u t i o ni m a g e s an e w s u p e r r e s o l u t i o nm o d e lw a s c o n s t r u c t e du s i n gt h e p r i n c i p l eo fm i n i m u mi d e n t i f i c a t i o ni n f o r m a t i o nt oo b t a i na r e c o n s t r u c t e di m a g e t h es t r a t e g yb a s e do nc o n f i d e n c el e v e lg a v ea na d a p t i v es c h e m et o s e l e c tt h er e g u l a r i z a t i o np a r a m e t e r s w h e nt h eg r e yl e v e ld i s t r i b u t i o ni n f o r m a t i o no ft h e p r i o ri m a g ei sm o r es i l i m a rt ot h a to ft h er e a li m a g e ，t h er e c o n s t r u c t i o nr e s u l t sc a r lb e i m p r o v e dt oag r e a t e re x t e n t ；a tt h es a m et i m e ，c o m p a r e dw i t ht r a d i t io n a lm e t h o d s ，t h e g r e yl e v e ld i s t r i b u t i o nc h a r a c t e r i s t i c sr e s t r a i n tp r o p o s e db yt h em e t h o dm e n t i o n e da b o v e i sp r o v e dt ob es i m p l e ra n dm o r ee f f e c t i v e k e yw o r d s ：s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ，i m a g er e g i s t r a t i o n ，i m a g e d e n o i s e ，p r i o rr e s t r a i n t 。r e g u l a r i z a t i o nm e t h o d 第i v 页 国防科学技术大学研究生院博士学位论文 图1 1 图1 2 图2 1 图2 2 图2 3 图2 4 图2 5 图2 6 图2 7 图2 8 图2 9 图2 1 0 图2 1 1 图2 1 2 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图4 1 图4 2 图4 3 图4 4 图目录 多幅图像的超分辨重构3 论文结构图1 1 光学图像的退化示意图1 3 低分辨率像素与高分辨率像素关系示意图1 4 低分辨率图像序列1 5 可观测到的高分辨率图像一1 6 低分辨率数据与高分辨率网格的关系1 7 图像的连续退化过程1 7 图像的离散退化过程1 8 系统退化形成多幅低分辨率图像的过程2 0 c a m e r a m a n 图像及其噪声直方图( 噪声密度为o 3 ) j 2 4 l a p l a c i a n 分布图2 6 c a m e r a m a n 图像去噪结果2 8 s y n t h 图像去噪结果一2 8 图像的配准示意图3 9 图像的配准精度示意图一4 1 子图集示意图一4 4 g i r l 图像及其小波分解图4 4 小波分解图像中第，层与j + l 层像素点的比较4 9 l e n a 图像的配准结果5 3 b e i n j i n g 地区遥感图像的配准结果5 4 寄生波纹示意图5 9 原始高分辨率图像一6 6 c a m e r a m a n 图像序列的超分辨重构结果一6 8 实拍图像序列的超分辨重构结果7 1 低分辨率图像一先验图像选取示意一7 4 低分辨率图像二先验图像选取示意一7 5 图像超分辨重构结果的比较一7 9 实拍的4 幅低分辨率图像及其先验图像一8 l 图像l 超分辨重构结果的比较8 2 图像2 超分辨重构结果的比较一8 3 图像3 超分辨重构结果的比较一8 4 第页 1 2 3 4 5 6 7 5 c j 5 5 5 5 5 图图图图图图图 国防科学技术大学研究生院博士学位论文 图5 8图像4 超分辨重构结果的比较一8 5 表目录 表2 1 信噪比s n r 的比较结果2 9 表3 1 图像配准中参数的选取_ _ 5 0 表3 2 两种方法关于搜索点与计算量的比较一5 2 表3 3l e n a 图像配准中相关参数值5 3 表3 4 b e i j i n g 地区遥感图像的配准参数5 5 表4 1 各图像处理结果的i s n r 比较6 7 表5 1图像处理结果的i s n r 比较8 0 第v 页 国防科学技术大学研究生院博士学位论文 缩略语说明 c c d ： c h a 唱ec o u p l e dd e v i c e ，电荷耦合器件 hr：highr e s o l u t i o n ，高分辨率 s r ： s u p e rr e s o l u t i o n ，超分辨率 lr：low r e s o l u t i o n ，低分辨率 ls：thel e a s ts q u a r e s ，最小平方 m e ：t h em a x i m u ml i k e h o o d ，极大似然 m a p ：m a x i m u map o s t e r i o r ip r o b a b i l i t y 最大后验概率 i b p ：i t e r a t i v eb a c kp r o j e c t i o n ，重复迭代后向投影 p o c s ：p r o j e c t i o no n t oc o n v e xs e t ，凸集投影 m r f ：m a r k o vr a n d o mf i e l d s ，马尔可夫随机场 r i g ： r e g is t r a b i l i t y ，匹配度 r o h r e g i o no fi n t e r e s t ，感兴趣区域 d f t - d i s c r e t ef o u r i e rt r a n s f o r m ，离散f o u r i e r 变换 f f t ：f a s tf o u r i e rt r a n s f o r m ，快速f o u r i e r 变换 i d f t ：i n v e r s ed i s c r e t ef o u r i e rt r a n s f o r m ，离散逆f o u r i e r 变换 i f f t ：i n v e r sf a s tf o u r i e rt r a n s f 0 1 t n ，快速逆f o u r i e r 变换 s a r ： s y n t h e t i ca p e r t u r er a d a r ，合成孔径雷达 p s f - p o i n t s p r e a df u n c t i o n ，点扩展函数 s n r ： s i g n a ln o i s er a t i o ，信噪比 i s n r ： i m p r o v e ds i g n a ln o i s er a t i o ，改进信噪比 g d ： s t e e p e s td e s c e n t ，最速下降法 c g ： c o n j u g a t eg r a d i e n t ，共轭梯度 p c g ：p r e c o n d i t i o n c o n j u g a t eg r a d i e n t ，预条件共轭梯度 第页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：兰皇丞 1 1 期：2 。9 年( ) 4 月l 【j 同 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适合本授权书。) 学位论文题目：墨王筮掌麴盎兽要理越醴錾型筮陛重翅蕉扭 学位论文作者签名： 2 童茎銎已兰 日期：2 0 0 9 年0 4 月1 0 日 作者指导教师签名：多二；刃让日期： 2 0 0 9 年0 4 月1 0 日 国防科学技术大学研究生院博士学位论文 第一章绪论 在大量的数字图像应用领域，人们经常期望得到高分辨率的( h r ：h i g h r e s o l u t i o n ) 清晰图像；而实际上，在图像的采集、传输和记录等过程中，许多不 良因素都会造成图像细节模糊、分辨率下降。虽然研制高精度的图像设备可以提 高图像的分辨率，但是受研制成本、研制周期以及技术水平的限制，不可能一味 地通过改进硬件设备来提高图像的分辨率。因此，基于现存的低分辨率图像系统， 通过多幅互有位移、信息互补的低分辨率图像( l r ：l o wr e s o l u t i o n ) 来获取高分 辨率的图像具有特别重要的理论意义和应用价值。 图像的超分辨重构是指利用图像间相似、互补的信息，在通频带内图像低频 信息复原的基础上，对截止频率之外的高频信息进行重构，以使重构图像更加接 近原始的高分辨率图像。近年来，通过多幅低分辨率图像获取高分辨率图像的超 分辨重构技术己成为图像处理领域中一个热门的研究方向，在刑事侦察、目标识 别、医学诊断等领域具有广泛的应用。 本章重点研究了多幅图像超分辨重构技术的研究背景、国内外研究现状，以 及本论文的研究内容和主要创新点。 1 1 研究背景 在人类社会所获取的外界信息中，绝大部分来源于人类视觉系统所接受的图 像信息。理论上，任何自然图像的频带都是无限带宽的【l 】；而实际上，图像采集、 传输和记录等过程中，光学系统的像差、大气的扰动、运动模糊、离散采样以及 系统噪声等不良因素都会造成图像质量的下降，从而影响图像的使用和后续处理。 因此，如何通过多幅低分辨率图像重构出高分辨率的、清晰的图像是人们普遍关 注的问题，其在国民经济诸多领域中都有强烈的需求。 2 0 世纪7 0 年代以来，电荷耦合器件c c d 、c m o s 图像传感器已被广泛用来 捕获数字图像。尽管对于多数应用场合这些传感器是适用的，但是当前的分辨率 水平和消费价格仍不能满足人们的需要，如科研人员需要一个接近3 5 毫米模拟胶 片的分辨率水平，这样在放大一个图像的时候就不会有可见的瑕疵；普通百姓通 常希望得到一个价格便宜、分辨率高的数码相机。 虽然减少像素尺寸可以提高图像的空间分辨率，但是目前的成像系统传感器 阵列密度已接近极限，难以进一步减少；虽然增加芯片的尺寸可以提高图像的空 间分辨率，但是很难提高大容量的耦合转换率 2 1 。此外，高精度传感器的高价格也 是一个必须考虑的重要因素。一个行之有效的方法是通过多幅互有位移、信息互 第l 页 国防科学技术大学研究生院博士学位论文 补的低分辨率图像l r ，采朋信号处理的方法来提高图像的空间分辨率，这样便可 以克服传感器和光学制造技术的限制。 按照傅立叶光学观点，光学系统是一个低通滤波器，由于受光学孔径衍射影 响，其传递函数在由衍射极限分辨率所决定的截止频率以外的值均为零p j 。目前， 多数图像复原方法至多将图像的频谱复原到衍射极限相应的截止频率处，而不能 超越，这样截止频率之外的能量和信息被无奈地丢失。 多幅图像的超分辨重构是图像处理领域中一个新兴的研究方向，它综合和继 承了单幅图像提高分辨率技术中诸多成熟的理论和方法，同时又增加了一些新的 研究成果。由于其利用了多幅图像间附加的空域、时域信息以及图像的先验约束， 因而能克服低分辨率图像系统固有的分辨率限制，重构出在视觉效果上超过原来 任何一幅低分辨率图像的高分辨率图像。多幅图像超分辨重构技术的应用十分广 泛，如用便宜的l r 数码相机可以重构高质量的数字图像，在监控、医学和卫星图 像应用中缩放感兴趣区域( r o i ) ，将一般的n t s c 格式低清电视信号转换为高清 电视信号等。 近年来，多幅图像超分辨重构技术虽然得到了很好的发展，但仍然存在一些 急需解决的问题。 噪声是引起图像退化的重要原因，在图像产生、传输和记录等过程中，经常 会受到噪声的干扰，由于噪声本身的高频特性，严重地影响了图像的配准精度， 限制了图像可能复原的程度，特别是空间高频段。经典模型中大多讨论的是高斯 噪声，而实际上不同的应用环境中，噪声的特性是不同的，比如椒盐噪声便是一 种十分常见的噪声。 图像配准对多幅图像超分辨率重构来说至关重要，其精度直接影响重构的效 果。通常，图像的配准只能在低分辨率图像序列上进行，要真正达到比较精确的 配准是比较困难的。如果图像降采样比较严重，图像的高、低频会产生混叠，传 统的配准方法如块匹配方法，很难达到超分辨率重构所要求的亚像素级精度。虽 然目前已有许多成熟的图像配准方法，但这些方法大多计算量较大，尤其随着精 度要求的提高，其计算量显著增加，难以达到快速、有效的配准。 建立符合系统特性和实际成像条件的降质模型对超分辨重构来说也非常重 要，然而实际中要获得这样的降质模型十分困难。通常只能采用简单的近似模型 来代替，而有时这样的近似模型与实际成像过程差距较大。此外，多幅图像超分 辨重构是一个典型的病态问题，很多学者对此进行了研究并提出了多种算法，这 些算法在一定程度上解决了应用问题，但仍存在一些缺陷和不足。如频域方法， 适用范围非常有限，理论模型过于简单，不能很好地应用于较为复杂的场合；迭 代反投影方法，结合先验信息的能力很弱，在提高图像分辨率方面受到很大的限 第2 页 同防科学技术大学研究生院博士学位论文 制；凸集投影方法运算量较大且解不唯一。 总之，多幅图像超分辨重构技术的应用十分广阔，而现有方法存在某些不足 和缺陷，有待进一步完善和发展，因此奉论文对多幅图像超分辨重构技术的研究 具有十分重要的理论意义和应_ 【 j 价值。 ( 钔低分辨牢阿像序列( b ) 重构图像 图11 多幅图像的超分辨重构 1 2 国内外研究现状 图像超分辨重构的概念和方法最早由jl h a r r i s i ”、jwg o o d m a n 5 1 分别于1 9 6 4 年、1 9 6 8 年提出，他们提出的方法被称为h a r r i s g o o d m a n 频谱外推法。1 9 6 6 年 c w b a r n e s l 6 提出长球波函数外推法，1 9 7 4 年r wg e r c h b e 雅门提出能量连续降减 法，1 9 7 5 年sw a d a k a 和ts a l o 口1 提出叠加正弦模板法。这些算法虽然做出了较好 的仿真结果，但在实际应用中并没有获得理想的效果。此后，h ca n d r e w s 、 b r h u n t l 9 等学者对图像的超分辨率重构进行了深入的研究，无论是理论上还是方 法上均取得了重大的突破。但是，这些方法主要是针对单幅图像的，其先决条件 是图像的聚样应满足足够的采样率，而实际成像过程中往往会发生降采样成像。 1 9 8 4 年，r y t s a i 和ts h u a n g | l 发表了题为“多幅图像自d 准及重构”的论 文，首次创造性地提出了多幅图像超分辨莺构的概念和方法。在此基础上， n k b o s e i l l l 提出总最小均方差的递归复原方法，h u ，”i 提出以多通道抽样理论为 基础的复原方法，t k o m a t s u 1 3 1 提出非均匀空间采样插值复原法，m l r a n i 【1 4 1 提出迭 代背投射复原方法，r rs c h u l t z l l 5 等人提基于b a y e s 分析的随机统计复原方法。 hs t a r k 1 6 1 等人提出p o c s 复原方法，me l a d f ”等人提出m l m a p p o c s 综合复原 方法等。 在我国，关于多幅图像超分辨重构技术的研究起步较晚。从文献来看，8 0 年 代末刘正凯、瞿建雄在数字图像恢复与重建f ”1 书叶1 ，提到了部分超分辨重 第3 页 国防科学技术大学研究生院博士学位论文 构力法。9 0 代末，李惕砬院士1 1 0 l 呼吁加强对图像超分辨重构技术的研究和应用， 从此超分辨重构技术得到了迅速发展，诸多学者对其进行了研究并提出了大量有 用的方法，如张新明、沈兰荪【2 0 】的基于多尺度边缘保持的图像超分辨重构的正则 化方法，苏秉华、金伟其等【2 1 】的基于p o c s - m p m a p 合成的图像超分辨率重构算 法，邵文泽、韦志辉【2 2 】的基于广义h u b e r - m r f 图像建模的超分辨重构算法等。 在国外，有关多幅图像超分辨重构技术的研究己成为一个非常活跃的研究领 域，人们将研究成果用于实践，在遥感检测、军事侦察、交通与安全监控、医学 诊断以及模式识别等领域中均取得了不错的效果。美国国家航空航天局研制成了 一种可以提高静态和运动图像质量的图像优化技术，利用该技术成功地破获了 1 9 9 6 年亚特兰大奥运会的爆炸案件。法国s p o t 、美国e a r t h s a t 等公司利用多颗 卫星同时成像，重构出高分辨率的清晰图像；美国d a y t o n 大学和w r i g h t 实验室在 美国空军的支持下，对红外c c d 相机进行机载试验，利用2 0 幅低分辨率的红外 图像，取得了分辨率提高近5 倍的实验结果。 有关多幅图像超分辨重构技术的研究，涉及图像处理领域中诸多方面的内容， 下面重点分析图像配准、超分辨重构模型和算法的研究现状及存在的不足。 1 2 1多幅图像配准的研究现状 图像配准，是指将多幅图像进行比较，以确定图像中目标或点的对应关系或 相对位移的过程【2 3 1 。对超分辨重构来说，图像的配准尤为重要，其精度直接影响 超分辨重构的效果。由于低分辨率图像序列可能来自不同的传感器模式或同一传 感器在不同时刻的成像，图像间存在位移变换、旋转变换、比例伸缩甚至畸变关 系，因此在图像处理中，很多场合都要进行图像的配准。 图像配准的方法很多，主要分为两类。一类方法是使用同名数据点集来识别 图像间的变换关系。为了保证同名数据点集的可靠性，常选择一些在图中可标识 的、在较长时间内保持不变的水陆、公路交叉点、桥梁、机场跑道等作为同名数 据点集。一般使用多项式映射来描述图像间的变换关系，常用的映射有一次、二 次或三次多项式。大多数基于同名数据点集的方法，通过合理选取同名数据点集 对，使用参数估计方法如最小平方法估计多项式系数，最后得到变换函数。此外， 还可以使用r a d o n 变换、h o u g h 一变换来描述图像间变换关系。虽然该方法计算复 杂度低，但是，由于配准只能在低分辨率图像序列上进行，实际操作中存在一些 困难：一是变换函数的类型事先并不知道，二是即使知道其类型，但是所选的同 名数据点集对并不一定精确匹配，特别是当图像质量较差时，要真正达到高精度 的配准比较困难。 另一类方法是基于像素灰度信息的方法，其中经典方法有基于特征或块匹配 的方法【2 4 】，| 2 5 1 、基于光流的估计方法脚】，【2 7 1 、基于b a y e s 分析的统计方洲2 8 】等。这类 第4 页 国防科学技术大学研究生院博士学位论文 方法使用归一化互相关系数、最小平方估计、极大似然估计等原则进行图像配准， 配准精度较高，但计算量非常大。过去十多年里，很多文献提出了相应的自动配 准方法，但是至今众多遥感专家仍在普遍使用耗时多、精度不高的手动配准方法， 就连功能强、应用广的商业软件包( 如e n v i ，i m a g i n e ，m a r l a b ) 也没有提供图像 自动配准的方法【2 9 】。在图像的超分辨重构、变化检测、数据融合等应用中，常希 望设计快速、稳健的自动配准方法，且亚像素精度。此外，算法所处理的数据类 型特殊也使得某些自动配准方法不能被广泛使用。 因此，针对不同类型的传感器数据，创建一种自动或半自动配准方法对图像 进行快速、可靠的配准是我们的一个目标。值得指出的是，小波理论发展迅速， 由于其具有良好的时频特性和多分辨特性，已被用于图像配准、压缩、重建以及 特征提取等方面【3 0 1 ，并取得了较好的效果。 1 2 2 图像超分辨重构方法的研究现状 多幅图像的超分辨重构依赖于满足成像条件、符合系统特性准确的降质模型， 实际上要获得这样的降质模型非常困难，通常是用简单模型来近似代替。目前， 虽然对降质模型进行了大量研究，也提出了一些比较可行的模型系统，但是这些 模型仍然不能准确地描述实际成像过程和系统特性，仍处于不断补充和完善之中 【3 1 1 。因此，对成像过程的降质模型进行进一步研究仍是一件非常有意义的工作。 此外，多幅图像超分辨重构问题的求解是一个典型的病态问题，虽然已有多种算 法，这些算法能在一定程度上能解决实际问题，但仍存在一些缺陷和不足。 1 2 2 1多幅图像超分辨重构的常用方法 多幅图像超分辨重构的方法很多，总体上分为空域方法、频域方法和空频域 方法，研究较多的是空域方法，如凸集投影法、迭代反投影法、基于b a y e s 分析 的统计方法以及自适应滤波器方法等。相对于频域方法，空域方法具有更大的灵 活性和更广的适用范围，此外空域方法与其它方法相结合又派生出许多新方法， 如m i 瓜厦舢卯o c s 混合复原法、自适应滤波维纳滤波卡尔曼滤波等方法。 1 ) 超分辨重构的频域方法 设f ( x ，y ) 为理想的连续图像，似，”) 为低分辨率的观测图像，k = 1 ，2 ，p ， h ( x ，j ，) 为系统降质点扩展函数。 假设( x ，y ) 是带限的，即当i u l ，i y i 寺时，r ( u ，y ) = 0 ，那么 = 剖去f ( 竿，譬 ( 等，譬) p _ f 手1 鼢训i 第5 页 国防科学技术大学研究生院博士学位论文 + m ( m ，n ) ( 1 2 1 ) 这里，( 叫a ，) 和h ( 叫，) 分别表示( x ，y ) 和j h ( x ，y ) 的连续傅立叶变换， 瓯( m ，刀) 和m ( m ，疗) 分别表示g k 妇，船) 和俾劬，n ) 的离散傅立叶变换，q 为分辨率 增强因子，口。和尻表示第k 幅图像在x 和y 方向上的位移分量。 从式( 1 2 1 ) 可以看到，要想重构出f ( 叫，形) ，则至少需要9 2 个方程， 即至少需要9 2 个低分辨率图像。考虑到点扩展函数的影响，首先利用式( 1 2 1 ) 方程组，解出没有混淆的f ( 叫，形a ) h ( m a ，a ) 。然后，利用逆滤波或其它去 卷积技术解出f ( 优，) ，从而实现高分辨率图像重构。 这种方法被称为t s a i - h u a n g 频域方法，在此基础上人们不断对频域方法进行 改进，以扩大其适用范围，a m t e k a l p 3 2 1 提出了最小均方差复原方法，s p k i m 3 3 】 提出了正则化的递归复原方法，h u r 1 2 1 提出了以多通道抽样理论为基础的复原方 法。这类方法理论简单、运算复杂度低，但局限于全局平移运动、线性空间不变 降质模型，且包含空域先验信息的能力有限，因而不再成为主流研究方法。之后， 人们不断提出超分辨重构的空域方法，相对频域方法，空域方法具有更大的灵活 性和更广的适用范围。此外，空域方法与其它方法相结合又派生出许多新的方法。 2 ) 超分辨重构的p o c s 方法 凸集投影法( p o c s ) 是目前解决图像超分辨重构问题的一类流行算法，早在 6 0 年代初，l m b r e g m a 等人建立了有关凸集投影的数学理论，d c y o u l a 3 5 1 将这 种理论应用到信号和图像处理领域。 设( s ，t ) 为原始高分辨率图像，帆刀) ，仇 ，2 ) 分别为第尼幅低分辨率图像 及其噪声，吮( s ，t ；m ，刀) 为系统点扩展函数，那么降采样离散成像模型可描述为 0 3 4 - 1o n - i 鼠( m ，刀) = f ( s ，) 吃( s ，f ；m ，n ) + r e ( m ，聆) ( 1 2 2 ) s = 0t = 0 对于每幅低分辨率图像可定义为矢量空间上一些包含图像解的闭合凸形约束 集，通过初始估计向这些约束集合做投影便可获得超分辨率图像。 常用的约束凸集有= ( s ，f ) i l ( m ，聆) i 皖 ，这里圪功表示低分辨率 观察图像与估计图像间的误差，0 m m 一1 ，0 ，2 n 一1 ，k = 1 ，2 ，p 。一般瓯取 为c o n ，c 为常数，仃。为噪声标准差。，还可构造其它附加约束凸集，如关于输出 能量、相位、支撑域及幅度等约束集合来改良解的特性。通常，采用低分辨率参 考图像的双线性或双三次插值作为迭代初值。一般k m 2 n 2 ，认为低分辨率图 像越多，重构图像的质量越好。 第6 页 国防科学技术大学研究生院博士学位论文 p o c s 方法容易引入先验信息，适用于任意半滑运动、线性空i h j 可变模糊以 及非均匀加性噪声的场合，能获得比较理想的重构结果。r y s z a r ds t a s i n s k i l 3 6 1 等解 决了不规则采样图像的重构问题，a j p a t t i l 3 7 1 对p o c s 复原方法进一步改进，提出 了一种鲁棒的p o c s 方法，这种方法结合了全局运动补偿和运动自适用性，可以 有效地应用在出现主题运动和目标运动的去隔行处理中。m k o z k a n t 3 副等也对方法 进行了推广。但是，该方法