（计算机应用技术专业论文）序列图像超分辨率重建方法的研究.pdf

摘要 超分辨率图像重建技术是将多幅变形、模糊、有噪、频谱混叠的低分辨率 降质图像( 或视频序列) 融合估计出一幅高质量高分辨率图像。空间分辨率是 决定图像质量的重要因素，高分辨率有利于图像的进一步分析处理。图像插值 可以放大单幅图像的尺寸，但不能恢复图像在下采样过程中损失的高频成分。 超分辨率图像重建利用同一场景的多幅低分辨率图像之间的相对运动信息，将 它们融合到单幅高分辨率图像中，并去除低分辨率图像中的模糊和噪声。 近年来超分辨率图像重建技术已经成为备受关注的研究领域之一，它在 视频监控、卫星图像、视频标准转换、医疗数字影像等领域都有着广泛的应用。 随着超分辨率图像重建技术的发展，国内外研究工作者们先后提出了多种超分 辨率图像重建方法，这些方法大致可分为频域方法和空域方法两类。空域方法 比频域方法有更多的灵活性和更广的适用范围，能更充分地利用图像的先验信 息，因此目前研究较多的是空域方法。 本文采用空域方法中最常用的p o c s 算法和m a p 估计算法进行超分辨率 图像重建。p o c s 算法是一种集合理论重建方法，本文根据p o c s 算法的原理， 给出了模拟修正迭代超分辨率图像重建方法和实现步骤，并针对用标准的 p o c s 算法重建的高分辨率图像中出现的导致图像边缘质量下降的现象，提出 了一种改进方法。该方法将中心在边缘像素的p s f 与一个指数型权值函数相乘， 使得修改的p s f 系数沿着边缘正交的方向减小。实验结果表明，这样的修改有 效地保持了边缘的特性，明显地提高了重建图像的质量。而且，边缘检测带来 的计算量是比较小的。 m a p 估计算法是一种统计重建方法。本文研究和实现了m a p 超分辨率图像 重建算法，并针对标准的m a p 估计算法运算量大的问题，提出了两点改进。第 一点是采用非精确一维搜索确定步长，避免了运算量庞大的h e s s e 矩阵的计算， 第二点是当计算梯度时，直接计算目标函数的增量，避免了函数值的冗余计算。 实验结果表明，这样的改进在很大程度上提高了m a p 超分辨率图像重建的速率， 与此同时保证了算法的收敛性，且重建效果基本不变。 运动估计是根据视频序列中时间上相关的信息估计场景或目标的二维运动 北京工业大学工学硕士学位论文 向量场的过程。运动估计在超分辨率图像重建中的作用是把所有低分辨率观测 帧的像素映射到参考帧的相应位置，实现图像细节的恢复。精确的运动估计是 超分辨率图像重建的关键。因为块运动估计的简单性和有效性，它已经成为目 前使用最广泛的运动估计方法。本文设计了一种结合空间预测和c d s 的快速块 匹配算法。若当前块和相邻块的运动相似，则选择相邻块的运动向量中使当前 块的匹配误差最小的一个作为当前块运动向量的预测估计，再以该预测值为中 心，比较s d s p 上搜索点的块匹配误差。若当前块和相邻块的运动不相关，则 采用c d s 算法从原点开始搜索运动向量。实验结果表明，本文设计的算法兼顾 了搜索速率和匹配精度，相比n 3 s s 、d s 、h e x b s 、c d s 、c d h s 算法，更好 地适用于超分辨率图像重建。 关键词超分辨率图像重建；运动估计；p o c s ( 凸集投影) ；m a p ( 最大后验 概率) 估计 a b s t r a c t s u p e r - r p s o l u t i o ni m a g er e c o n s t r u c t i o nt e c h n i q u er e f e r st or e s t o r i n gah i g h - r e s o l u t i o na n d h i g h - q u a l i t yi m a g ef r o mm u l t i p l el o w - r e s o l u t i o no b s e r v a t i o n s ( o rav i d e os e q u e n c e ) d e g r a d e db y w a z p i n g , b l u r r i n g , n o i s ea n da l i a s i n g t h es p e t i a lr e s o l u t i o ni st h ep r i n c i p a lf a c t o ri nd e t e r m i n i n g t h eq u a l i t yo f a ni m a g e ah i g h - r e s o l u t i o ni m a g ec a no f f e rm o r ed e t a i l st h a tm i m p o r t a n tf o rt h e a n a l y s i si nv a r i o u sa p p l i c a t i o n s i m a g ei n t e r p o l a t i o nu s e dt oi n c r e a s et h es i z eo fas i n g l ei m a g e c a n n o tr _ e c o v e rt h eh i g h - f r e q u e n c yc o m p o n e n t sl o s to rd e g r a d e di nt h el o w - r e s o l u t i o ns a m p l i n g p r o c e s s s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o na l g o r i t h m si n v e s t i g a t et h er e l a t i v em o t i o n i n f o r m a t i o nb e t w e e nm u l t i p l el o w - r e s o l u t i o ni m a g e so ft h es a n l es c e n ee n di n c r e a s et h es p a t i a l r e s o l u t i o nb yf u s i n gt h e mi n t oas i n g l ef r a m e s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o nh a sb e e np r o v e du s e f u li nm a n yp r a c t i c a lc a s e s ， i n c l u d i n gm e d i c a li m a g i n g ，s a t e l l i t ei m a g i n ge n dv i d e oa p p l i c a t i o n s r e c e n t l y ，i th a sb e c o m eo n e o f m cm o s ta c t i v er e s e a r c ha r e a s w i t ht h ed e v e l o p m e n to f s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o n t e c h n i q u e ，m o r ea n dm o r em e t h o d sh a v eb e e np r o p o s e dt oe n h a n c et h ed e f i n i t i o no fas i n g l e v i d e of r a m e e x i s t i n gm e t h o d sc b ec l a s s i f i e di n t ot w om a j o rc a t e g o r i e s ：t h ef r e q u e n c yd o m a i n a p p r o a c ha n dt h es p a t i a ld o m a i na p p r o a c h t h es p a t i a ld o m a i na p p r o a c hi sm o r ef l e x i b l ea n d m o r ec o n v e n i e n tt oa p p l yap r i o r ik n o w l e d g ef o rr e g u l a r i z a t i o na n d ，t h e r e f o r e ，a t t r a c t sm o r e i i b e a r e h e 培a t t e n t i o n i nt h i sp a p e r , w eu s et h es e tt h e o r e t i cp o c sa l g o r i t h ma n dt h eb a y e s i a nm a pe s t i m a t i o n a l g o f i t h i nf o rs u p o r - r e s o l u t i o ni m a g er e c o n s t r u c t i o n , w h i c ha r et h em o s tp o p u l a ra m o n gs p a t i a l d o m a i nm e t h o d s w ed e s i g nns i m u l a t i o n - c o r r e c t i o ni t e r a t i o nm e t h o dt or e c o n s t r u c t h i g h - r e s o l u t i o ni m a g e sa c c o r d i n gt ot h et h e o r yo fp o c s ，a n da l s op r o p o s ea ni m p r o v e m e n tt o r e d u c et h ea m o u n to fe d g ea r t i f a c t sp r e s e n ti nt h er e c o n s t r u c t e di m a g e t h ep r o p o s e dm e t h o d w e i g h t st h eb l u rp s fc e n t e r e da ta ne d g ep i x e lw i t h8 ie x p o n e n t i a lf u n c t i o n , s ot h a tt h em o d i f i e d p s fc o e f f i c i e n t sd e c r e a s ei nt h ed i r e c t i o no r t h o g o n a lt ot h ee d g e e x p e r i m e n t a lr e s u l t ss h o wt h a t t h em o d i f i c a t i o ne f f e c t i v e l yr e d u c e st h ev i s i b i l i t yo ft h ea r t i f a c t se n do b v i o u s l yi m p r o v e st h e q u a l i t yo ft h er e c o n s t r u c t e di m a g e b e s i d e s ，a d d i t i o n a lc o m p u t a t i o n a lc o m p l e x i t yf o re d g e d e t e c t i o ni sv e r ys m a l l i nt h i sp a p e r , w es t u d ya n di m p l e m e n tt h em a pe s t i m a t i o na l g o r i t h mf o rs u p e r - r e s o l u t i o n i l l 北京工业大学工学硕士学位论文 i m a g er e c o n s t r u c t i o n a l s o ，w ep r o p o s et w oi m p r o v e m e n t st or e d u c et h ec o m p u t a t i o n a l c o m p l e x i t yo ft h es t a n d a r dm a pe s t i m a t i o na l g o r i t h m t h ef i r s ti m p r o v e m e n ts e l e c t sa ni n e x a c t l i n es e a r c ht oi d e n t i f yt h es t e pl e n g t h ，w h i c ha v o i d st h ec o m p u t a t i o no ft h ec o m p u t a t i o n a l l y e x p e n s i v eh e s s i a nm a t r i x t h es e c o n do n ec o m p u t e sd i r e c t l yt h ei n c r e m e n to f t h em a p o b j e c t i v e f u n c t i o na st h ec o m p o n e n to ft h eg r a d i e n t , w h i c ha v o i d st h er e d u n d a n tc o m p u t a t i o no ft h e o b j e c t i v ef u n c t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e i m p r o v e m e n t s n o to n l yr e d u c e s i g n i f i c a n t l yt h ec o m p u t a t i o nt i m e ，b u ta l s og u a r a n t e et h es o l u t i o n sc o n v e r g e n c ea n dm a i n t a i n t h es i m i l a ri m a g e q u a l i t y m o t i o ne s t i m a t i o nr e f e r st oe s t i m a t i n g2 - dm o t i o nv e c t o rf i e l do ft h es c e n eo ro b j e c t a c c o r d i n gt ot e m p o r a li n f o r m a t i o nr e d u n d a n c yi nav i d e os e q u e n c e w h e ni tc o m e st o s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o n , i ti su s e dt om a pp i x e l so f a l ll o w - r e s o l u t i o no b s e r v a t i o n s o n t oc o r r e s p o n d i n gp i x e l si nt h er e f e r e n c ef r a m e s oi t sa c c u r a c yi sh i g h l yr e q u i r e d b e c a u s eo f i t ss i m p l i c i t ya n de f f i c i e n c y ，b l o c k - b a s e dm o t i o ne s t i m a t i o nh a sr e c e n t l yb e e nw i d e l yu s e di n s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o n i nt h i sp a p e r , w ep r o p o s eah y b r i dm e t h o dc o m b i n i n g s p a t i a lp r e d i c t i o na n dt h ec d sa l g o r i t h m i f t h em o t i o no ft h ec u r r e n tb l o c ki ss i m i l a rt ot h a to f i t sn e i g h b o rb l o c k s ，c h o o s et h eb e s tc a n d i d a t eb l o c kf r o mt h e n e i 【g h b o rb l o c k sa n du s ei t sm o t i o n v e c t o rt of o r ma ni n i t i a le s t i m a t ef o rt h ec u r r e n tb l o c k t h en e ! i g h b o rb l o c kw h o s em o t i o nv e c t o r y i e l d st h em i n i m u mb l o c kd i s t o r t i o ni sc a l l e dt h eb e s tc a n d i d a t eb l o c k t h et r u em o t i o nv e c t o ri s t h e no b t a i n e db yc o m p a r i n gt h es e a r c hp o i n t so fs d s pc e n t e r e d 砒t h ei n i t i a le s t i m a t e i ft h e c u r r e n tb l o c ki s n tc o r r e l a t e dw i t hi t ss p a t i a ln e i g h b o r s ，s e a r c ht h em o t i o nv e c t o rf r o mt h eo r i g i n o ft h es e a r c hw i n d o wu s i n gt h ec d sa l g o r i t h m e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e d a l g o r i t h ma c h i e v e sab e t t e rt r o d e n f fb e t w e e ns e a r c hs p e e da n dm a t c h i n ga c c u r a c yf u r s u p e r - r e s u l u t i o ni m a g er e c o n s t r u c t i o n , c o m p a r e dw i t hn 3 s s ，d s ，h e x b s ，c d s ，a n dc d h s k c y w o r d s ：s u p c x - r e s o l u t i o ni m a g er e c o n s t r u c t i o n ；m o t i o ne s t i m a t i o n ；p o c s ( p r o j e c t i o no n t o c o n v e xs e t s ) ；m a p ( m a x i m u ma p o s t c f i o r ip r o b a b i l i t y ) e s t i m a t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名： 煎量日期：墅! i6 ：6 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 第1 章绪论 1 1 超分辨率图像重建的概念 超分辨率图像重建( s rs u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o n ) 技术是将多 幅模糊、有噪、频谱混叠的低分辨率降质图像( 或视频序列) 融合估计出一幅 高质量高分辨率图像。空间分辨率是决定图像质量的重要因素，高分辨率意味 着像素密度高，有利于图像的进一步分析处理。图像插值可以放大单幅图像的 尺寸，但不能恢复图像在下采样过程中损失的高频成分超分辨率图像重建技 术中，提高分辨率的前提是能够获取同一场景的、存在相对运动的多幅低分辨 率图像或者不同模糊程度的多幅低分辨率图像。图像插值受到单幅图像数据量 的限制，因此，将多帧技术引入到图像插值中，即利用帧序列时域上的相关信 息来提高分辨率，这就是超分辨率重建的本质。 1 2 降质模型 超分辨率图像重建属于图像复原方面的研究，因此分析超分辨率图像重建技 术首先是建立一个联系原始高分辨率图像和低分辨率观测图像的降质模型，建立 精确的降质模型是超分辨率图像重建技术的关键，一般的降质模型【1 l 如图1 1 所 示。 图l l 高分辨率图像到低分辨率图像的降质模型 f i g u r e1 - 1d e g r a d a t i o nm o d e lr e l a t i n gl o w r e s o l u t i o ni m a g e st oh i g h - r e s o l u t i o ni m a g e s 设低分辨率序列包含p 帧大小为l m 的图像，将其按行排列成1 维 列向量，记作g l ，= 后一( p 1 ) 2 ，。i ，七+ 扫一1 ) 2 。以第女帧低分辨率图像 散为参考帧，原始高分辨率图像的大小为q _ l q _ 2 ，这里g 表示水平和垂直 方向的下采样因子。将变形、模糊、下采样因子作用在高分辨率图像l 后，就 得到了低分辨率图像序列，又假设每一幅低分辨率图像受到加性噪声干扰，上 述降质模型可以用矩阵表示为 g l = d t b u m + 1 i j ，= 七一( p 一0 2 ，i i ，七+ ( p 一0 2 ( 1 - 1 ) 式中， m ，i r q 。川虬w 2 川 为变形矩阵，b f i r 矿i 以。矿m m 为模糊矩阵， d 。r m 虬。一1 m m 为下采样矩阵，q ，。为噪声向量。 在图像获取过程中，变形m ，。包括全局或局部平移、旋转等，通常是未知的， 北京工业大学= l 二学硕士学位论文 因此需要进行运动估计。模糊b ，。通常是由光学系统本身、孔径时间内场景与成 像系统的相对运动，以及低分辨率传感器的点扩散函数( p s f , p o i n ts p r e a d f u n c t i o n ) 造成的，模糊的特征通常假定为已知，常采用线性空间移不变( l s i ，l i n e a r s p a c ei n v a r i a n t ) 或线性空间移变( l s v , l i n e a rs p a c ev a r i a n t ) 模型。下采样矩阵d t 作用于变形、模糊的高分辨率图像，并受到加性噪声1 1 ，。的影响，产生模糊、有 噪、频谱混叠的低分辨率图像。 低分辨率图像序列是由成像系统获取的，显然，由成像系统获取图像的过程 为正问题，那么，相应的反问题就是由观测到的低分辨率图像序列以及成像系统 特征对场景进行估计，从而得到高分辨率图像。设成像系统特征是已知的，正问 题是图像的模拟过程，超分辨率图像重建问题是反问题。降质函数和噪声的信息 知道得越多，重建的高分辨率图像就会越接近原始高分辨率图像。 1 3 研究意义 在数字图像的获取过程中，有很多因素导致图像降质，如传感器模糊、运 动模糊、光学模糊以及图像采样过程中引入的加性噪声等。传感器模糊是由传 感器表面的光强度区域整合引起的( 传感器有一定尺寸) ；光学模糊是由光学元 件的焦点失调引起的：运动模糊是由孔径时间内场景与成像系统的相对运动引 起的。在成像过程中，噪声的来源比较多，其分布特性也比较复杂，要获得准 确的噪声分布函数是很困难的，通常采用一个理想化的模型进行近似，例如加 性高斯噪声。 传感器固有的采样频率限制了图像的空间分辨率，目前广泛使用的是c c d 传感器，提高分辨率最直接的方法是降低像素尺寸，提高单位面积的像素数目， 但进步降低c c d 的尺寸，将导致信噪比( s n r ) 太低以致无法正常使用；另 一种方法是提高芯片尺寸，但这将导致电容增加和电荷转移速率下降。 在很多商业应用中，高精度的光学设备和传感器的成本也是人们关心的一 个方面，因此，为了突破成像系统固有分辨率的局限，一种新的方法就是超分 辨率图像重建技术。超分辨率图像重建技术利用多幅低分辨率图像( 或视频序 列) 之间的相关信息，将它们融合到单幅高分辨率图像中，并去除低分辨率图 像中的模糊和噪声。这种技术的优点是成本低，现有的低分辨率成像系统仍然 可以使用。 1 4 应用领域 ， 近年来，超分辨率图像重建技术已经成为备受关注的研究领域之一。超分 辨率技术的应用正在快速增长，主要应用在视频监控、卫星图像、视频标准转 换、数字镶嵌、医疗数字影像等领域。 第l 覃绪论 超分辨率图像重建技术的典型应用主要有： 1 ) 在银行、证券等部门的监控系统中，当发生异常情况后，可对拍摄的视 频图像进行重建处理，以获取较高分辨率的视频图像帧，为事件的处理 提供重要线索： 2 ) 当把普通视频信号转化成高清晰度电视标准或产生合成视频变焦( 合成 视频变焦就是把视频显示的一个区域按某一倍数进行放大，然后重新播 放) 时，不需要增加其他硬件设备，就能产生画质更清晰的视频图像， 并能支持一些灵活的数字电视操作： 3 ) 在采集军事与气象遥感图像时，由于受到成像条件与成像系统分辨率的 限制，不可能获得清晰度很高的图像，由多幅低分辨率图像来重建高分 辨率图像具有十分重要的意义( 超分辨率重建问题首先是在遥感图像领 域提出的) ； 4 ) 在医学成像系统中( 如c t 、核磁共振成像仪和超声波仪器等) ，可以采 用超分辨率技术来提高分辨率； 5 ) 根据视频信号打印超分辨率静态图像时，可以放大图像和增加细节。在 这个应用场合中，通常还包括扫描格式转换，因为普通视频信号多数采 用隔行扫描方式。 1 5 本文主要研究内容 本文采用空域方法中最常用的凸集投影( p o c s 。p r o j e c t i o no n t oc o n v e xs e t s ) 算法和最大后验概率( m a p 9m a x i m u map o s t e f i o f ip r o b a b i l i t y ) 估计算法进行超 分辨率图像重建。运动估计的方法选择结合空间预测和固定模式集搜索的快速 块匹配算法。 p o c s 算法是一种集合理论重建方法，本文根据p o c s 算法的原理，给出 了模拟修正迭代超分辨率图像重建方法和实现步骤，并针对用标准的p o c s 算 法重建的高分辨率图像中出现的导致图像边缘质量下降的现象，提出了一种改 进方法。实验结果表明，这样的修改有效地保持了边缘的特性，明显地提高了 重建图像的质量。 m a p 估计算法是一种统计重建方法。本文研究和实现了m a p 超分辨率图像 重建算法，并针对标准的m a p 估计算法运算量大的问题，提出了采用非精确一 维搜索确定步长和简化梯度计算两点改进。实验结果表明，这样的改进在很大程 度上提高了m a p 超分辨率图像重建的速率，同时保证了算法的收敛性，且重建 效果基本不变。 运动估计是超分辨率图像重建的关键。块运动估计是目前使用最广泛的运 动估计方法。本文设计了一种结合空间预测和固定模式集搜索的快速块匹配算 北京丁业大学工学硕士学位论文 法。实验结果表明，本文设计的算法兼顾了搜索速率和精度，相比经典的基于 误差场单调分布假设的快速块匹配算法，更好地适用于超分辨率图像重建。 1 6 课题设计环境 本文使用m a t l a b ( m a t r i xl a b o r a t o r y ) 语言设计和实现所研究的超分辨 率图像重建算法。m a t l a b 是集数值计算、符号运算及图形、图像处理等强大 功能于一体的科学计算语言。作为强大的科学计算平台，它几乎能够满足所有 的计算需求。 m a t l a b 拥有6 0 0 多个工程中要用到的数学运算函数，可以方便地实现用 户所需的各种计算功能。函数中所使用的算法都是科研和工程计算中的最新研 究成果，而且经过了各种优化和容错处理。 m a t l a b 对许多专门的领域都开发了功能强大的模块集或工具箱。一般来 说，它们都是由特定领域的专家开发的，用户可以直接使用工具箱学习、应用 和评估不同的方法而不需自己编写代码。目前，m a t l a b 已经把工具箱延伸到 了科学研究和工程应用的诸多领域，诸如数据采集、数据库接1 ：3 、概率统计、 样条拟合、优化算法、偏微分方程求解、神经网络、小波分析、图像处理、信 号处理、系统辨识、控制系统设计、l m i 控制、鲁棒控制、模型预测、模糊逻 辑、金融分析、地图工具、非线性控制设计、实时快速原型及半物理仿真、嵌 入式系统开发、定点仿真、d s p 与通信、电力系统仿真等。 1 7 本文结构 本文分为6 章，详细研究并系统实现了超分辨率视频图像重建，通过实验 验证和分析了本文所研究与改进的两种超分辨率图像重建算法。 第1 章概述了超分辨率图像重建的概念、研究意义和应用领域。 第2 章介绍了超分辨率图像重建的国内外研究现状。 第3 章详细地论述了基于块的运动估计模型，设计并实现了一种结合空间 预测和固定模式集搜索的快速块匹配算法。 第4 章研究和实现了p o c s 算法，并针对用标准p o c s 算法重建的高分辨 率图像中出现的导致图像边缘质量下降的现象，分析了这种现象产生的原因， 推导了改进算法。 第5 章研究和实现了m a p 估计算法，并针对标准m a p 估计算法运算量大 的问题，提出了采用非精确一维搜索确定步长和简化梯度计算两点改进。 第6 章利用模拟低分辨率图像序列和实际低分辨率视频序列验证本文所研 究各种算法的性能，实验结果证明本文的算法是可行且有效的。 第2 章国内外研究现状 随着超分辨率图像重建技术的发展，国内外研究工作者们先后提出了多种 超分辨率图像重建方法，这些方法大致可分为两类：频域方法和空域方法。t s a i 和h u a n g 等人首先在频率域提出了超分辨率图像重建技术【2 1 ，由场景经过平移 的低分辨率图像序列来重建一幅高分辨率图像。频域方法只能局限于全局平移 运动和线性空间移不变降质模型，且不能有效地利用图像的先验信息，而空域 方法能更充分地利用图像的先验信息，有更多的灵活性和更广的适用范围，因 此，目前研究较多的是空域方法。下面分别介绍频域方法和空域方法的研究发 展状况。 2 1 频域方法 1 b a i 和h u a n g 等人提出的频域方法实际上是在频域内解决图像插值问题【2 】， 该方法主要利用1 ) 傅里叶变换的移位性质；2 ) 原始高分辨率图像与低分辨率 观测图像离散傅里叶变换之间的混叠关系；3 ) 假定原始高分辨率图像的频率有 限。每一幅低分辨率观测图像在频域中提供了一组方程，假如能够获取的图像 帧数足够多，就能够解出非变形离散频谱，进而解出非变形图像。频域方法的 优点是理论简单、运算复杂度低、意义直观；缺点是只能局限于全局平移运动 和线性空间移不变降质模型，且包含空域先验信息的能力有限。 2 2 空域方法 空域方法采用公式来表示降质模型。空域降质模型涉及全局和局部运动、 光学模糊、运动模糊、空间移变点扩散函数、非理想采样等内容。空域方法具 有很强的包含空域先验约束的能力，例如m a r k o v 随机场和凸集等先验约束。 2 2 1 空域方法的研究发展 空域方法主要有非均匀空间样本插值算法【3 4 】、迭代反投影( i b p , i t e r a t gb a c k p r o j e c 硒n ) 算法【5 卅、凸集投影算法阻1 6 1 、最大后验概率估计算法和最大似然( m l m a x i m u ml i k e l i h o o d ) 估计算法【1 7 - 2 1 1 、混合m l m a p p o c s 方法1 等。 1 ) 非均匀空间样本插值算法 k o m a t s u 等【3 l 提出了一种非均匀空间样本插值算法这种算法首先对一个 低分辨率图像序列进行运动估计，再采用插值方法产生单幅由非均匀空间样本 构成的高密度合成图像，以这个合成图像为初始值，采用l a n d w e b c r 迭代法来 重建超分辨率图像。 s h a h 等【4 】提出了一种新的非均匀空间样本插值算法来进行超分辨率图像重 北京工业大学工学硕士学位论文 建，这种算法考虑了重建过程中的运动估计错误，利用视频信号的彩色分量来 提高运动向量的估计精度。 非均匀空间样本插值算法的优点是计算复杂度低；缺点是降质模型只适用于 所有低分辨率图像的模糊和噪声特征都相同的情况。此外，由于重建时忽略了插 值过程引入的误差，无法保证整个重建算法的最优。 2 ) 迭代反投影算法 i r a n i 等【6 】提出了一种迭代反投影算法。这种算法首先用输出图像的一个初 始估计作为当前结果，并把这个当前结果投影到低分辨率观测图像上以获得低 分辨率模拟图像，低分辨率模拟图像与实际观测图像的差值称为模拟误差，根 据模拟误差不断更新当前估计。 t o m 等i s 】通过改进运动补偿方法，进一步提高了迭代反投影算法的性能， 并将迭代反投影算法推广应用到彩色视频序列的超分辨率图像重建上。 迭代反投影算法的优点是直观、简单；缺点是问题具有病态性，解不惟一， 而且难以利用先验信息。 3 ) 凸集投影算法 凸集投影算法是一种集合理论重建方法。超分辨率图像的可行域是一组凸 约束集合的交集，而这组凸约束集合代表了期望的超分辨率图像的一些特性， 如数据可靠、能量有限、正定、支撑域有界、平滑等。p o c s 算法是一种迭代 过程，在给定超分辨率图像可行域中任意一个点的前提下，可以找到一个满足 所有凸约束条件的点( 即收敛解) 。 s t a r k 和o s k o u i 9 1 首先将p o c s 应用于超分辨率图像重建。t e k a l p 等【1 0 l 进行 了改进，考虑了传感器噪声。p a t t i 等 1 2 , 1 3 】提出了进一步改进，考虑了运动模糊 和噪声问题。p a t t i 等0 4 又提出了考虑多种降质因素的图像获取模型，包括照相 机运动、非零孔径时间、传感器单元的非零物理尺寸、由光学成像元件引起的 模糊、传感器噪声、任意空间时间采样等。 e r e n 等【l6 】将文献【1 4 】的方法推广应用到多运动目标的场景上，这种算法引 入了有效映射和分割映射的概念，可以有效地减小不可靠运动估计产生的影响， 并能较好地保持运动边缘信息。在有效映射中，根据像素的运动向量是否可靠 而把像素分为两类，这样在出现运动估计错误时也能进行可靠重建。在分割映 射中，首先标定参考帧上的感兴趣目标，然后采用一种二维网格目标跟踪算法 自动跟踪其他帧上的感兴趣目标。 4 ) 最大后验概率估计和最大似然估计算法 。 最大后验概率估计和最大似然估计算法是一种统计重建方法，它是把超分 辨率重建问题看成一个统计估计问题。最大后验概率估计的含义就是在已知低 第2 章国内外研究现状 分辨率视频序列的条件下，使出现高分辨率图像的后验概率达到最大。根据贝 叶斯理论，高分辨率图像的后验概率等于以下两项之积：1 ) 已知理想高分辨率 图像的条件下，低分辨率视频序列的条件概率；2 ) 理想高分辨率图像的先验概 率。条件概率项通常采用高斯模型，先验概率项在不同的算法中采用不同的模 型。通常采用的先验模型应该具有三个特点：1 ) 是一个局部平滑函数；2 ) 具 有边缘保持能力；3 ) 是一个凸函数。大多数最大后验概率估计算法的差别就是 在先验模型的选择上。一种常用的先验模型是h u b e r - m a r k o v 模型1 1 8 , 1 9 1 。将对数 似然函数化简，得到一个约束最优化问题。m 舯估计算法就是将目标函数最小 化。若目标函数是凸函数，则保证了它在最优化过程中的收敛性。目标函数中 的观测误差项通常采用，范数，这一项是凸函数，因此目标函数的收敛性取决 于先验模型项。最大似然估计算法可以认为是最大后验概率估计算法在等概率 先验模型下的特例。 s e h u l t z 等1j 8 , 1 9 1 提出了m a p 超分辨率图像重建算法，它是单帧图像插值算 法1 1 7 】的推广。这种方法采用h u b e r - m a r k o v 模型作为图像的先验信息，这些先验 约束是解决超分辨率重建问题的病态性所必须的。 h a r d i e 等【2 0 l 提出了一种与超分辨率图像和配准参数同时有关的m a p 目标 函数，这种方法可以同时进行运动估计和图像重建。 为了解决m a p 超分辨率重建方法的病态性问题，可以把t i k h o n o v a r s e n i n 正则化引入到超分辨率重建方法中1 2 1 1 。t i k h o n o v - a r s e n i n 正则化函数可以认为 是贝叶斯框架中m a r k o v 随机场先验的特例。 习混合m l m a p p o c s 方法 e l a d 等l 把m a p 、m l 和p o c s 等三种算法合并为统一的算法族。他们还 提出了一种把m a p 和非椭球约束结合在一起的混合算法，这种方法的图像重 建性能优于m a p 和p o c s 。 混合m a p 伊o c s 方法相当于在m a p 估计算法的迭代优化过程中加入了一 些先验约束。理论证实，梯度下降法能保证这种混合m a p p o c s 方法收敛到全 局最优解。 2 2 2 凸集投影算法和最大后验概率估计算法的比较 在空域方法中，研究较多的是凸集投影算法和最大后验概率估计算法，本 节对这两种算法进行比较。 凸集投影算法的优点是：1 ) 非线性先验约束可以很容易地和重建过程相结 合；2 ) 可以很好地保持高分辨率图像上的边缘和细节。缺点是：1 ) 解不惟一， 解依赖于初始估计；2 ) 收敛慢，投影过程需要的运算量大；3 ) 降噪能力不强； 4 ) 收敛稳定性不高( 凸集投影算法对运动估计的准确性要求较高，如果少数几 北京 二业大学工学硕士学位论文 帧图像的运动估计不准确，就可能使算法不收敛) 。 最大后验概率估计算法的优点是：1 ) 在解中可以直接加入先验约束；2 ) 能够保证解的存在和惟一；3 ) 降噪能力很强( 在高分辨率图像上几乎看不到噪 声和振铃现象) ；4 ) 收敛稳定性很高( 即使有少数几帧低分辨率图像的运动估 计不准确，也能够使算法收敛) 。缺点是：1 ) 收敛慢，运算量大；2 ) 边缘保持 能力不如凸集投影算法( 由最大后验概率估计算法获得的高分辨率图像上的细 节容易被平滑掉) 。 2 3 本章小结 本章介绍了超分辨率图像重建的国内外研究现状。现有的超分辨率图像重 建方法大致可分为频域方法和空域方法两类，空域方法比频域方法能更有效地 利用图像的先验信息。在空域方法中，研究较多的是p o c s 算法和m a p 估计 算法。 第3 章块运动估计 第3 章块运动估计 3 1 运动估计方法概述 运动估计是根据视频序列中时域上相关的信息估计场景或目标的二维运动 向量场的过程，可理解为求同一对象在两帧图像中的位置差，也就是这个对象 的“运动”。运动场模型可以用单个运动向量构成的集合来表征，也可以用一些 变形映射( 如仿射变换或投影变换) 来表征。运动估计在超分辨率图像重建中 的作用是把所有低分辨率观测帧的像素映射到参考帧的相应位置，实现图像细 节的恢复。如果各观测帧表示同一图像细节部分的像素没有映射到参考帧的相 同位置，那么就不可能得到正确的恢复结果。因此，精确的运动估计是超分辨 率图像重建的关键。然而，运动估计的病态性和复杂性导致运动估计问题成为 视频图像处理领域的基本难题之一。运动估计的病态性指可以用许多不同的运 动向量场来解释同一幅图像，复杂性指运算量很大。 对视频序列进行运动场估计的方法有基于特征的方法、基于光流的方法、 基于块的方法、像素递归方法、最大后验概率估计方法等。这些方法主要分为 两类：基于参数模型的运动估计和非参数的运动估计。若场景的运动由摄像机 的平移、旋转、倾斜或缩放运动引起，则采用基于参数模型的运动估计，例如 基于光流的方法。基于参数模型的运动估计的主要缺点是只能应用于全局刚性 运动。当场景中存在独立的运动物体时，则采用非参数的运动估计，例如基于 块的方法、像素递归方法和最大后验概率估计方法。因为块运动估计的简单性 和有效性，