（通信与信息系统专业论文）基于重构的超分辨率技术研究.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本 文的研究作出重要贡献的个人和集体，均已在文中以明确方式标 明。本声明的法律责任由本人承担。 。一1m1 论文作者签名： 目王日期：丝壁垒丝 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意 学校保留或向国家有关部门或机构送交论文的复印件和电子版，允 许论文被查阅和借阅；本人授权山东大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他 复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：巨皿导师签名： 山东大学博士学位论文 中文摘要 在医学诊断、卫星成像和视频监控等应用中，我们经常需要高分辨率图 像提供更多的细节和信息。由于c c d 和c m o s 传感器的分辨率级不够高，采集的 图像在放大时经常容易产生失真。如果我们单纯通过改进硬件系统的性能来 提高分辨率级，在技术方面很难实现突破，同时也会带来难以承受的成本增 加，会严重阻碍应用的推广，所以通过软件增强采集图像的分辨率，突破硬 件系统的限制具有非常大的研究意义。 超分辨率技术是一种图像融合技术，它能够利用信号处理的方式从同一场景 的多个观测低分辨率图像中获得高分辨率图像或序列，从而克服传感器和光学制 造技术的限制。目前，这一分辨率增强技术己经成为最活跃的研究领域之一。 本论文从低分辨率成像的数学模型出发，回顾了基于重构和基于学习的 超分辨率算法，并进行系统分析和研究，最后提出了一些解决超分辨率问题 的方案。主要成果概括如下： 1 提出了基于边缘投影的图像配准方案。本论文利用c a n n y 算子能同时照顾 图像的强、弱边缘，具有较好的抗噪性能，较高的边缘定位精度和较低的 误检率等特点，将它作为边缘提取算子来提取参考图像和待配准图像的边 缘。然后利用r a d o n 变换将提取的边缘在不同的射线方向上进行投影，来 准确地反映边缘走向，采用边缘投影的最大互相关准则进行图像的粗配准， 获得图像间的旋转角和像素级的平移量。最后进一步利用数据拟合的方法 对平移估计进行细化，配准的精度由细化的重采样间隔确定； 2 提出了考虑图像配准误差的规整化超分辨率重构算法。 a 由于图像的配准并不能完全获得与原始运动一样的参数，在超分辨率问 题中，本论文将位移帧差引入的误差称之为配准误差，用来反映交互通道 的配准误差信息，并将其作为噪声均值与低分辨率观测通道内的加性高斯 噪声相结合得到新的高斯噪声。 b 本论文基于m i l l e r 规整的思想逐像素限定了两种约束，并通过规整化参 数将这两种约束相结合，构造规整化代价函数。规整化参数根据观测通道 山东大学博士学位论文 内的加性高斯噪声污染的程度和通道间配准误差逐像素进行选择，自适应 地控制相对于观测低分辨率图像的逼真度和期望的高分辨率图像的先验平 滑之间的折中。 c ， 本论文提出了两种递归实现规整化算法的方案：同步递归和并行递归方 案重构高分辨率图像。 d 本论文在消除光学模糊的同时提出对有限传感器阵列的平滑和理想采 样分别处理来消除传感器的平滑。图像的上采样操作利用最邻插值代替补 零插值来抑制边缘波纹。 3 提出了基于误差参数分析的超分辨率盲辨识方案。 a ，在单通道参数辨识中，本论文通过误差参数分析获得单通道的误差参数 曲线，根据曲线的变化趋势来经验地选择表征模糊函数的参数； b 在多通道单参数辨识中，由于通道间重构误差的交互影响，本论文将误 差参数分析与搜索算法相结合，根据最小重构误差准则获得需辨识的参 数。搜索算法的结合有效降低了计算量，实现模糊参数的快速辨识； 4 提出了基于独立分量分析的超分辨率人脸假想和识别方案。将高分辨率人 脸图像作为混迭信号，利用f a s t i c a 算法对大量高分辨率人脸样本进行学 习获得独立的人脸特征，即高分辨率基图像。将高分辨率基图像进行下采 样获得近似独立的低分辨率基图像。将待识别的低分辨率人脸图像在低分 辨率基图像空间投影，利用无约束最t j 、- - 乘获得投影坐标，保持投影坐标 不变，将其作为相应的高分辨率基图像的混迭系数，最后进行高分辨率人 脸的假想和识别。 综上所述，本文针对基于重构的超分辨率问题的三个方面：图像配准、将 病态的超分辨率问题转化为良态的规整化及盲模糊辨识三个方面进行了研究； 将独立分量分析运用到基于学习的超分辨率中，实现了超分辨率人脸假想与识 别。论文最后总结了该领域急待解决的问题和下一步的研究重点。 关键词：超分辨率，图像配准，r a d o n 变换，c a n n y 算子，规整化，位移帧差， 同步递归，并行递归，模糊辨识，误差一参数分析，搜索算法，人脸假想，独 立分量分析 山东大学博士学位论文 a b s t r a c t i nm o s te l e c t r o n i ci m a g i n ga p p l i c a t i o n s ，i m a g e sw i t hh i 曲r e s o l u t i o n ( h r ) a r e d e s i r e da n do f t e nr e q u i r e d ah ri m a g ec a l lo f f e rm o r ed e t a i l st h a tm a yb ec r i t i c a l i nv a r i o u sa p p l i c a t i o n s ，s u c ha sm e d i a ld i a g n o s i s ，s a t e l l i t ei m a g i n g ，a n dv i d e o s u r v e i l l a n c es oo n h o w e v e r , t h ec u r r e n tr e s o l u t i o nl e v e lo fc c da n dc m o s i m a g es e n s o r sc a nn o tm a k eac a p t u r e di m a g eh a v en ov i s i b l ea r t i f a c t sw h e ni t i s m a g n i f i e d i ti se x p e n s i v ea n dd i f f i c u l tt oi n c r e a s et h ec u r r e n tr e s o l u t i o nl e v e lb y i m p r o v i n gh a r d w a r ep e r f o r m a n c e ，w h i c hi sn o tc o n s i d e r e de f f e c t i v e s u p e r - r e s o l u t i o nt e c h n i q u e ，ak i n do fi m a g ef u s i o n ，c a nu s es i g n a lp r o c e s s i n g t e c h n i q u e s t oo b t a i na nh ri m a g e ( o rs e q u e n c e ) f r o mo b s e r v e dm u l t i p l e l o w r e s o l u t i o n ( l r ) i m a g e so ft h es a m es c e n e ，a n do v e r c o m et h e s el i m i t a t i o n so f t h es e n s o r sa n do p t i c sm a n u f a c t u r i n gt e c h n o l o g y r e c e n t l y ，s u c har e s o l u t i o n e n h a n c e m e n ta p p r o a c hh a sb e e no n eo f t h em o s ta c t i v er e s e a r c ha r e a s 。 t h i sd i s s e r t a t i o ni n t r o d u c e sm a t h e m a t i cm o d e lo fl ri m a g i n g , r e v i e w s r e c o n s t r u c t i o n - b a s e da n dl e a r n i n g - b a s e ds ra l g o r i t h m s ，a n dc a r r i e so na n a l y s i s a n dr e s e a r c h f i n a l l ys o m es i g n i f i c a n ts c h e m e sa r ep r o p o s e d i ng e n e r a l ，t h em a i n i d e a sa r ei n c l u d e da sf o l l o w s ： 1 e d g e p r o j e c t i o nb a s e di m a g er e g i s t r a t i o ns c h e m ei sp r o p o s e d i nt h i ss c h e m e ， f i r s t l y , c a n n yo p e r a t o ri s u s e dt oe x t r a c tt h ee d g e so fr e f e r e n c ei m a g ea n d s e n s e di m a g e ，s i n c ei tc a nd e t e c ts t r o n ga n dp o o re d g e sa tt h es a m et i m e ，a n d r e p r e s e n t sg o o dp e r f o r m a n c e ，s u c ha sa n t i - n o i s e ，h i g hp r e c i s i o n o fe d g e o r i e n t a t i o na n dl o wr a t i oo fe r r o rd e t e c t i o n t h e n , r a d o nt r a n s f o r mc a ne x a c t l y r e f l e c te d g eo r i e n t a t i o n ，a n dh a st w ou s e f u lp r o p e r t i e s ：s h i f t i n v a r i a n ta n d r o t a t i o n - i n v a r i a n t ，s oi ti su s e dt op r o j e c tt h ee x t r a c t e de d g e sa l o n gd i f f e r e n t a n g l e s n e x t ，c r o s s - c o r r e l a t i o n - b a s e da p p r o a c hi su s e d t oe s t i m a t eg l o b a l r o t a t i o na n ds h i f t f i n a l l y ，d a t af i ti su s e dt oi m p r o v et h ea c c u r a c yo fi m a g e r e g i s t r a t i o n r e g i s t r a t i o np r e c i s i o n i sd e p e n d e n t0 1 1f i n er e s a m p l ed i s t a n c e 3 山东大学博士学位论文 2 r e g u l a r i z a t i o ns rr e c o n s t r u c t i o nc o n s i d e r i n gi n a c c u r a t ei m a g er e g i s t r a t i o ni s p r o p o s e d a s i n c et h ep e r f o r m a n c eo ft h er e g i s t r a t i o na l g o r i t h m sc a n n o te n s u r ee s t i m a t e d m o t i o np a r a m e t e r sc o i n c i d e n tw i t ho r i g i n a lo n e si nc e r t a i ne n v i r o n m e n t s ， d i s p l a c e d f r a m ed i f f e r e n t i a l ( d f d ) c a u s e db ya ni n a c c u r a t er e g i s t r a t i o n s h o u l db ec o n s i d e r e di nt h er e c o n s t r u c t i o np r o c e d u r e t h ee r r o rc a u s e db yt h e d f d ，w h i c hi sc a l l e dc r o s s c h a n n e lr e g i s t r a t i o ne r r o r , i sc o n s i d e r e da sm e a n v a l u ea n dc o m b i n e dw i t ho b s e r v e dw i t h i n c h a n n e la w g nt oc o n s t r u c tan e w g a u s s i a nn o i s e b s i n c er e g i s t r a t i o ne t t o ri sp i x e l - w i s ed i f f e r e n t ，t w ok i n d so fc o n s t r a i n t sa r e r e g u l a t e da c c o r d i n gt o t h ei d e ao fm i l l e r sr e g u l a r i z a t i o n r e g u l a r i z a t i o n p a r a m e t e r sc o n n e c tt h et w oc o n s t r a i n t st oc o n s t r u c tr e g u l a r i z e dc o s tf u n c t i o n i nt e r mo fc o n t a m i n a t i o nd e g r e eo fw i t h i n - c h a n n e la w g nt ol ri m a g ea n d c r o s s c h a n n e l r e g i s t r a t i o ne r r o r , r e g u l a r i z a t i o np a r a m e t e r s a r ea d a p t i v e l y s e l e c t e dt ob a l a n c et h ef i d e l i t yo fd e s i r e dh ri m a g et ol ri m a g e sa n di t s s m o o t h n e s s c t w ok i n d so fr e c u r s i o ni m p l e m e n t a t i o ns c h e m e sa r ep r o p o s e dt or e c o n s t r u c t ad e s i r e dh r i m a g e ，t h a ti s ，s y n c h r o n o u sr e c u r s i o na n dp a r a l l e lr e c u r s i o n d t h es m o o t h n e s sa n di d e a ls a m p l i n go p e r a t i o no fl i m i t e ds e n s o ra r r a yt oh r i m a g e a r e r e s p e c t i v e l yi m p l e m e n t e d i n r e c o n s t r u c t i o n p r o c e d u r e ，t h e s m o o t h n e s si sr e m o v e da sw e l la so p t i c a lb l u r u p s a m p l i n go p e r a t i o ni s i m p l e m e n t e db yn e a r e s ti n t e r p o l a t i o nt or e s t r a i ne d g ea r t i f a c t 3 e r r o r - p a r a m e t e ra n a l y s i sb a s e ds rb l i n di d e n t i f i c a t i o n i s p r o p o s e d b l u r o p e r a t o rc a nb er e p r e s e n t e db yp a r a m e t e rm o d e l ，s ot h ei d e n t i f i c a t i o no f b l u r o p e r a t o ri sc o n v e n e dt op a r a m e t e ri d e n t i f i c a t i o n a i ns i n g l ec h a n n e lp a r a m e t e ri d e n t i f i c a t i o n ，e r r o r - p a r a m e t e rc u r v ei so b t a i n e d b ye r r o r p a r a m e t e ra n a l y s i s ，a n db l u rp a r a m e t e ri s c h o s e ne x p e r i m e n t a l l yi n t e r mo fc u r v et e n d e n c y b i nm u l t i c h a n n e ls i n g l e p a r a m e t e ri d e n t i f i c a t i o n ，e r r o r - p a r a m e t e ra n a l y s i si s 4 山东大学博士学位论文 c o m b i n e dw i t hs e a r c h i n gm e t h o dd u et oa l t e r n a t ei n f l u e n c eo fr e c o n s t r u c t i o n e r r o rb e t w e e nm u l t i p l ec h a n n e l s m i n i m a lr e c o n s t r u c t i o ne l l o rr u l ei su s e dt o i d e n t i f yb l u rp a r a m e t e r t h ec o m b i n a t i o nw i t hs e a r c h i n gm e t h o dr e d u c e s c o m p u t a t i o n a lc o s ta n dm a k e ss p e e d yp a r a m e t e ri d e n t i f i c a t i o nc o m et r u e 4 i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) b a s e ds rf a c eh a l l u c i n a t i o na n d r e c o g n i t i o ni sp r o p o s e d i nt h es c h e m e ，t r a i n i n gh rf a c es a m p l e sc o m p o s e m i x e dd a t am a t r i x f a s t l c aa l g o r i t h mi su s e dt os e p a r a t et h em i x e dd a t af o r o b t a i n i n gi n d e p e n d e n th r s o u r c ef a c ei m a g e s t h e nt h eh rs o u r c ef a c ei m a g e i sd o w n - s a m p l e dt oo b t a i na p p r o x i m a t e l yi n d e p e n d e n tl rs o u r c ef a c ei m a g e s a ni n p u tl rf a c ei m a g ei sp r o j c o t e di nt h es p a c ef o r m e db yt h el rs o u r c ef a c e i m a g e s ，a n du n c o n s t r a i n e dl e a s ts q u a r em e t h o di su s e dt oo b t a i np r o j e e t i o n c o e f f i c i e n t s t h ep r o j e c t i o nc o e f f i c i e n t sa r er e t a i n e da n dl i n e a r l ym i xt h e c o r r e s p o n d i n gh rs o u r c ef a c ei m a g e s f i n a l l yh rf a c eh a l l u c i n a t i o na n d r e c o g n i t i o na r ep e r f o r m e d i ns u m ，t h r e ea s p e c t sa b o u tr e c o n s t r u c t i o nb a s e ds ra l g o r i t h m ，s u c ha si m a g e r e g i s t r a t i o n , r e g n l a r i z a t i o nw h i c h m a k e si l l p o s e ds rp r o b l e mw e l l p o s e d ，a n db l u r i d e n t i f i c a t i o n ，a r ei n v e s t i g a t e di nt h i sd i s s e r t a t i o n ，a n di c a i su s e di nl e a r n i n gb a s e d s ra l g o r i t h mt or e a l i z eh rf a c eh a l l u c i n a t i o na n dr e c o g n i t i o n f i n a l l y , t h ep r o b l e m t ob es o l v e dr e l a t e dt ot h i sr e s e a r c hf i e l da n df u t u r er e s e a r c ht o p i c sa r es u m m a r i z e d 。 f u r t h e r m o r e ，t h ep r o s p e c to f t h ed e v e l o p i n gt e n d e n c yi sa n a l y z e da sw e l l k e y w o r d s ：s u p e r - r e s o l u t i o n ，i m a g er e g i s t r a t i o n ，r a d o nt r a n s f o r m ，c a n n yo p e r a t o r , r e g u l a r i z a t i o n ，d i s p l a c e df r a m ed i f f e r e n t i a l ( d f d ) ，s y n c h r o n o u sr e c u r s i o n ，p a r a l l e l r e c u r s i o n ，b l u ri d e n t i f i c a t i o n ，e r r o r - p a r a m e t e ra n a l y s i s ，s e a r c h i n gm e t h o d ，f a c e h a l l u c i n a t i o n ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ( i c a ) 5 山东大学博士学位论文 s r s r r l r h r i b p p o c s c l 8 m a p m l m r f m t f p c a i c a b s n r s n r p s n r c f t d f t p s f p d f f i r 缩略语简表 s u p e r - r e s o l u t i o n s u p e r - r e s o l u t i o nr e o n s t r u c t i o n l o w r e s o l u t i o n h i g l l r e s o l u t i o n i t e r a t i v eb a c k - p r o j e c t i o n p r o j e c t i o no n t oc o n v e xs e t s c o n s t r a i n e dl e a s ts q u a r e m a 】【i m u map o s t e r i o r i m a x i m u ml i k e l i h o o d m a r k o vr a n d o mf i e l d m o d u l a t e dt r a n s f e rf u n c t i o n p d n c i p l ec o m p o n e n ta n a l y s i s i n d e p e n d e n tc o m p o n e n ta n a l y s i s b l u r r e ds i g n a l - t o - n o i s er a t i o s i g n a l - t o - n o i s er a t i o p e a ks i g n a l t o - n o i s er a t i o c o n t i n o u sf o u r i e rt r a i l q f o i t n d i s e r e t ef o u r i e rt r a n s f o r m p o i n ts p r e a df u n c t i o n p r o b a b i l i t yd e n s i t yf u n c t i o n f i n i t ei n p u l s er e s p o n s e 超分辨率 超分辨率重构 低分辨率 高分辨率 迭代反投影 凸集投影 约束最小二乘 最大后验概率 最大似然 马尔可夫随机域 调制传递函数 主分量分析 独立分量分析 模糊信噪比 信噪比 峰值信噪比 连续傅立叶变换 离散傅立叶变换 点扩散函数 后验概率密度函数 有限冲激响应 7 8 g c v d f d e p a k l t 山东大学博士学位论文 g e n e r a l i z e dc r o s sv a l i d a t i o n d i s p l a c e df r a m ed i f f e r e n t i a l e r r o r - p a r a m e t e ra n a l y s i s k a r h u n e n - l o e v et r a n s f o l l t l 广义交叉有效 位移帧差 误差一参数分析 k l 变换 山东大学博士学位论文 第一章绪论 1 1 超分辨率技术概述 自1 9 9 0 年以来，红外成像系统和c c d 相机等成像系统已广泛用于获取数 字图像。这些成像系统主要通过其内部的传感器阵列进行图像采样，如果采样 满足n y q u i s t 采样标准，我们可以通过这些采样准确地重构图像。我们知道， 成像系统的各个传感器间应有一定的填充物，而为了有效地采光，传感器又需 足够大，这就限制了成像系统中的传感器的数量。因此，传感器阵列的密度可 能不满足n y q u i s t 间隔，从而出现欠采样效应，造成图像的频谱交叠，导致从 采样数据中重构的图像因变形效应而发生降质，图像的分辨率有很大限制，不 能够满足人们的需求。 在数字图像的采集与处理过程中，还有许多因素会导致图像分辨率的下 降，其主要表现为模糊、噪声和变形。造成模糊的因素有很多，如光学部件的 性能( 如点扩散函数( p s f ) ) 引起的光学模糊以及采集对象的运动带来的运动 模糊等。以光学模糊为例。按照傅里叶光学的观点，光学成像系统是一个低通 滤波器，由于受到光学衍射的影响，其传递函数在由衍射极限分辨率所决定的 某个截止频率以上的值均为零。显然，普通的图像复原技术如解卷积技术等， 只能将物体的频率复原到这个截止频率处，而不能超越它，这样截止频率之外 的能量和信息丢失了。另外，在成像、传输、存储过程中，会引入不同类型的 噪声，如高斯噪声、椒盐噪声等，这些都会直接影响到图像的分辨率。 虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽度， 使重构的图像尽可能避免出现变形效应，但这要求光学元件和传感器阵列进行 有效地组合，这在实际场合中很难做到。如果采用增加传感器阵列密度的办法 来提高图像分辨率和消除变形效应，则费用可能很昂贵。此外，由于成像系统 受其探测器阵列密度的限制，目前已接近极限，例如在o 3 5 p m 的c m o s 技术 水平下，一个像素的面积为4 0 u m 2 ，已经难以进一步减小。 解决这一问题的有效途径是采用基于信号处理的软件方法对图像的空间 9 山东大学博士学位论文 分辨率进行提高，即超分辨率技术【1 5 1 ，其核心思想是用时间带宽( 获取同一场 景的多帧图像序列) 换取空间分辨率，实现时间分辨率向空间分辨率的转换， 使得重建图像的视觉效果超过任何一帧原始低分辨率图像。这种方法的优点是 不涉及硬件，成本低，而且现有的成像系统还可以使用，是一种比较经济的方 案。 。 在大多数图像应用中，我们都需要一些高分辨率图像，因此超分辨率技术 研究有着十分重要的意义，主要表现在： a 改善由于图像数字化引起的空间分辨率下降； b 改善由于图像模糊引起的空间分辨率下降； c 发掘现有图像数据( 如多角度、多时相、多平台遥感图像，序列图像等) 的潜力。 超分辨率技术在视频、遥感、医学和安全监控等领域都有十分重要的应用。 1 公共安全领域 视频信号是由连续的多帧影像序列排列的，若对视频信号中的某一段进行 处理，就可得到更高分辨率的静止图像，此即为视频信号的帧“冻结”技术。 这对于普通摄像机监控系统，能更有效的提高识别能力。例如，在银行、证券 等部门的安全监控系统中，当有异常情况发生后，可对监控录像进行超分辨率， 提高目标图像的分辨率，从而为事件的处理提供重要的线索，有利于相关人员 的辨识。 2 计算机视觉领域 超分辨率技术有可能使图像实现从检出水平的空间分辨率向粗识水平的 空间分辨率的转化，或更进一步实现向细辨水平的空间分辨率的转化。超分辨 率技术可提高对图像的识别能力和识别精度。 3 军事遥感侦察领域 目前，遥感图像数据量存在一个矛盾，即遥感图像获取的数据量多，而有 用的信息却很少。而且，在采集军事与气象遥感图像时，由于受到成像条件与 成像系统分辨率的限制，很难获得清晰度很高的图像，而利用超分辨率技术， 在不改变卫星图像探测系统的前提下，可实现高于系统分辨率的图像观测，提 高现有图像资料的应用价值和对军事目标的识别能力。 l o 山东大学博士学位论文 4 机器人视觉领域 超分辨率技术可以实现对目标物的专注分析，从而可以获取感兴趣区域的 更高空间分辨率的图像，而不必直接采用数据量巨大的高分辨率图像的配置。 5 医学成像( c t 、超声波成像等) 领域 医学检测中往往需要通过层析成像技术识别并确定出病体( 如肿瘤) 的精确 位置及详细情况：如阴影的边缘、异物占位的大小及位置等。由于硬件设备及 现有的成像技术的限制，我们还不能够获取满足高要求的高清晰图像。由于层 析成像技术的特殊机理，可以用超分辨率技术来提高图像质量，对病变目标进 行仔细地检测。 另外，我们还可以利用超分辨率技术将d t v 信号转化为与h d t v 接收机 相匹配的信号，提高电视节目的兼容性。 1 2 国内外研究现状 2 0 世纪8 0 年代初，t s a i 和h u 锄叠6 】首先提出了基于序列或多帧图像的超分 辨率，并给出了基于频域的逼近方法。2 0 世纪8 0 年代后期，随着计算机、电 子、信号处理技术以及一些优化理论的发展，人们在基于重构和基于学习的超 分辨率技术研究上取得了突破性进展，并应用于卫星图像处理。 1 2 1 基于重构的超分辨率技术 基于重构的超分辨率技术通过频域超分辨率重构算法 6 - 1 0 1 和空域超分辨率 重构算法 i i - 5 4 1 实现。频域超分辨率重构算法是在频域内解决图像内插问题，其 观察模型是基于傅里叶变换的移位特性。频域算法理论简单，运算复杂度低， 很容易实现并行处理，具有直观的去变形超分辨率机制。但这类方法的缺点是 所基于的理论前提过于理想化，不能有效地应用于多数场合，只能局限于全局 平移运动和线性空间不变退化模型，包含空域先验知识的能力有限。 空域超分辨率重构算法主要包括非均匀样本内插法 i h 3 】、迭代反投影法 ( i b p ) t 4 - 1 6 、凸集投影法( p o c s ) 1 1 7 - 2 2 、确定或统计规整化算法( 约束最小 二乘( c l s ) 2 3 - 2 8 1 ，最大似然( m l ) 估计和最大后验概率( m a p ) 估计 3 0 - 3 1 1 1 等) 、混合m a p p o c s 方法旧以及自适应滤波方法【3 3 。4 1 等。其中，非均匀样本 山东大学博士学位论文 内插方法、i b p 等结合先验信息的能力很弱，在改善超分辨率复原效果方面受 到了一定的限制。 因此，研究和应用较多的是p o c s 和规整化算法。p o c s 的优点是可以方 便地加入先验信息，可以很好地保持高分辨率图像上的边缘和细节；缺点是解 不唯一、解依赖于初始估计、收敛慢、运算塞大和收敛稳定性不高等。为了提 高凸集投影方法的收敛稳定性，可以采用松弛投影算子，但松弛投影算子不利 于保持图像的边缘和细节。规整化算法的优点是在解中可以直接加入先验约 束、能确保解的存在和唯一、降噪能力强和收敛稳定性高等；缺点是收敛慢和 运算量大。另外，规整化算法的边缘保持能力不如凸集投影方法，由这类方法 获得的高分辨率图像上的细节容易被平滑掉。总的来说，对于未压缩图像和视 频的超分辨率重构，考虑的主要问题是如何全面去除成像过程所带来的模糊和 噪声，并且能在低分辨率空问有效地实现运动估计。 在实际应用中，所遇到的大多数视频是以压缩的形式存在的，如m p e g 、 h 2 6 x 等。基于压缩的超分辨率技术【3 5 5 4 1 在最近几年内成为研究的热点。一种 思路是将压缩视频先解压，再利用基于空间的超分辨率重建技术实现压缩视频 的超分辨率重建。但是，实验证明，这种思路并不能获得很好的结果，其主要 原因是空域算法只考虑了成像过程而没有考虑压缩过程对于视频的影响。压缩 视频的超分辨率相对于非压缩视频超分辨率来说出现了一些新的问题：第一、 压缩过程引入的量化噪声在空间域是可变的，这使噪声过程变得极为复杂：第 二、在压缩域中，研究的对象不再是观测的数据，而是运动矢量和量化后的变 换系数。运动矢量提供了时间关系的有噪观测，这类观测在传统的重建问题中 是没有的；变换系数表示了强度的有噪观测，而压缩技术允许根据感觉重要性 的大小来丢弃数据，这样一来，压缩系统就丢弃了帧间的某些差别，并减少了 分辨率增强的潜力。因此，另外两种思路被采用将成像过程的加性噪声和压缩 过程的量化噪声这两种噪声统一起来。一是将加性噪声进行离散余弦变换，然 后同量化噪声一起在压缩域建立模型；二是对量化噪声进行逆离散余弦变换， 然后同加性噪声一起在空间域建立模型。这两种思路的最大缺陷是没有利用运 动估计进行运动补偿。另一类关于压缩域重构的研究则侧重于运动估计和量化 噪声的结合，例如，将量化噪声作为p o c s 的基础。这种思路的不足之处在于 1 2 山东大学博士学位论文 没有考虑成像过程的退化问题。此外，还有一些研究者在进行超分辨率的过程 中同时考虑了压缩编码所固有的块效应和振铃效应，提出用规整化算法将这些 效应的影响降为最低。 1 2 2 基于学习的超分辨率技术 基于学习的超分辨率技术【5 5 彤1 可以看作超分辨率技术在人脸识别领域的 应用，最早是由s i m o n b a k e r 和t a k e o k a n a d e 5 5 - 6 0 l 在1 9 9 9 年提出的。他们分析 了基于重构的超分辨率技术在分辨率增强大约8 1 6 倍时的限制，简单的平滑 约束很容易使期望的高分辨率图像由于高频信息的丢失过于平滑，因此引入了 新的基于识别的先验，作为识别决策集的函数。基于识别的先验是对特定的目 标、场景或图像集合进行学习得到的，即通过计算低分辨率输入图像和高分辨 率训练图像的高斯金字塔、拉普拉斯金字塔、水平一二阶梯度、垂直一二阶梯 度得到母结构，然后再以某种测度作为衡量标准，建立低分辨率输入图像的像 素与最匹配的高分辨率像素及高分辨率训练图像间的关系，然后与超分辨率重 构约束合并去估计m a p 的解。 g u n t u r k 等人 6 3 , 6 4 1 利用一种与k l 变换( k l t ) 相似的降维技术将像素域 的超分辨率问题转换到低维子空间，即人脸空间，以降低超分辨率算法的计 算量。他们首先对高分辨率人脸图像库和相应欠采样后的低分辨率人脸图像 库进行训练得到高、低分辨率人脸空间，然后将采集得到的多帧低分辨率人 脸图像在低分辨率人脸空间投影，得到相应的多个人脸特征，通过建立低分 辨率人脸特征和高分辨率人脸特征间的m a p 模型，迭代估计高分辨率人脸特 征，实现超分辨率人脸识别。 l i u 等人【6 2 】提出了结合主分量分析( p c a ) 与马尔科夫框架实现单帧低分辨 率图像的超分辨率学习算法。在该算法中，三种约束条件被提出：语义约束、全 局约束和局部约束。他们将期望的高分辨率图像分为两个部分：概貌部分和细节 部分。首先采用了p c a 的方法，借助特征向量空间得到了期望高分辨率图像的概 貌部分；然后分块建立训练图像与期望高分辨率人脸的概貌之间的非参数马尔科 夫框架，通过总能量最小化，最终得到期望高分辨率人脸细节部分的最优解。最 后融合图像概貌和细节得到假想的高分辨率人脸图像。 山东大学博士学位论文 w a n g 等人 6 5 1 提出了基于特征脸的人脸超分辨率假想方案，利用p c a 将低 分辨率输入图像模型为一些低分辨率训练图像的线性组合。保持融合系数不 变，用相应的高分辨率训练图像代替低分辨率训练图像从而假想出期望的高分 辨率图像，认为采用较小的训练集合也能得到比较好的结果。 1 2 3 超分辨率技术的实际应用 据( s p a c e n e w s ) 报道，法国把一种新的图像融合技术，即超分辨率技术， 应用于2 0 0 2 年发射的“s p o t 5 ”卫星，这种技术是在地面上将两幅5 米分辨率、 同时相的”s p o t s ”卫星图像进行融合处理，获得2 5 米的高分辨率图像。法国 官员称，法国航天主管部门国家航天研究中心已将此项技术在世界范围内申请 了专利保护。此外，国际著名的光学仪器制造公司l e i c a j h e l l a w a 和法国国家航 天研究中心已经把该领域的理论研究成果转化到硬件产品交错c c d 传感 器阵列的设计中，并己将其分别应用于他们的遥感设备“a d s 4 0 ”和“s p o t 5 ”卫 星，取得了相当理想的效果。 美国e a r t h s a t 等公司也采用超分辨率技术，利用多个卫星同时成像，从而 重建高分辨率图像。美国d a y t o n 大学和w r i g h t 实验室在美国空军的支持下， 对红外c c d 相机进行了机载试验，利用2 0 幅低分辨率的红外图像，取