（信号与信息处理专业论文）超分辨率重建中若干问题的研究.pdf

摘要 在某些场合，由于物理条件的限制，人们获得图像的分辨率较低，而这些低分辨率 图像不能很好地满足实际需要，于是人们希望采用多幅低分辨率图像来重建超分辨率图 像。超分辨率图像的重建主要利用低分辨率图像之间存在着像素内位移，而这些不同位 移的低分辨率图像均含有原始高分辨率图像的信息，这也是超分辨率图像重建的依据。 超分辨率概念自1 9 8 4 年提出以来，各国学者对其进行了深入的研究，高精度的运 动配准算法，盲超分辨率，稳定有效的重建算法，超分辨重建的实时处理算法一直超分 辨率重建研究课题中的重点和难点。 本论文对于超分辨率重建中的若干问题进行了研究： ( 1 ) 对于低分辨率图像间像素内配准，提出了一种基于低分辨率图像插值的分级块 匹配像素内配准技术。该算法利用图像像素内位移的点与附近整数像素点的关系，采用 参考图像近似插值出像素内位移的图像，并采用分级块匹配和f f t 技术来进行配准参数 的优化，算法具有快速和高精度的特点；该算法跟传统泰勒级数展开法和内插分级块匹 配算法相比，算法复杂度低，配准精度高。 ( 2 ) 超分辨率重建是病态问题的规准化求解过程，对于t i k h o n o v 规整化下重建，导 出一种不需要迭代的高效重建算法。该算法主要采用了矩阵求逆引理和块对角矩阵求逆 性质，将重建过程中大型矩阵的求逆转化为块对角小矩阵的求逆和f f t 计算，避免了采 用多次迭代算法，在重建过程中同时实现降晰函数的反卷积和多幅低分辨率图像的融 合，算法几近可实时完成。 ( 3 ) 规准化重建中规准化参数的准确估计将更有效改善重建图像的质量，对于采用 广义交叉验证法( g c v ) 估计参数的计算提出了一种有效的计算方法。该算法对于参数搜 索过程中每一个点的g c v 函数值的计算进行分析和推导，得出一个非迭代非近似的计 算方法，计算的效率优于现有的梯度迭代算法和统计迹估计器相结合计算g c v 函数的 方法。 ( 4 ) 对于超分辨率重建中降晰函数参数的估计采用g c v 法，采用分步迭代的方法进 行多变量的搜索，对于每步中g c v 函数值的计算导出一种有效的计算方法。 ( 5 ) 活动视频的超分辨率重建具有极其广泛的应用价值，但是由于在活动的视频中 存在着多个局部运动，因而超分辩率重建过程就更为复杂。本文提出一个概率法低分辨 率视频超分辨率重建的算法框架，采用分级块匹配进行低分辨率帧之间的像素内配准估 计，在m a p 算法下进行超分辨率重建，并采用分级贝叶斯方法进行重建算法中各个参 数的估计。 关键词：超分辨率，像素内配准，广义交叉验证法，规准化，分级贝叶斯 t o p i c si ns u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o n y u a nj i a n h u a ( s i g n a la n di n f o r m a t i o np r o c e s s i n g ) d i r e c t e db yp r o c e s s o rz o um o u y a n a b s t r a c t c o n f i n e db yt h ea v a i l a b l ep h y s i c a lc o n d i t i o n s ，i m a g i n gs y s t e m sp r o d u c ei m a g e sa l w a y s w i t hal i m i t e dr e s o l u t i o n h o w e v e r , i m a g e sw i t hh i g h e rr e s o l u t i o na r cm o r ed e s i r e df o r a p p l i c a t i o n s u p e r - r e s o l u t i o nt e c h n i q u e so f f e rap o s s i b i l i t yt op r o d u c ea l li m a g ew i t hah i g h e r r e s o l u t i o nf r o mas e to fi m a g e sw i t hl o w e rr e s o l u t i o n t h eu n d e r l y i n gm e c h a n i s mi si m p l i e d i nt h ef a c tt h a td i f f e r e n ts u b p i x e l d i s p l a c e m e n to fe a c hl o wr e s o l u t i o ni m a g e sc o n t a i n s d i f f e r e n ti n f o r m a t i o no f t h eh i g hr e s o l u t i o ni m a g e t h ep i o n e e rw o r ko fs u p e r - r e s o l u t i o nr e c o n s t r u c t i o nm a yg ob a c kt o19 8 4b yt s a ia n d h u a n g s i n c et h e n ，m a n yr e s e a r c h e r sh a v ed e v o t e dt h e m s e l v e st ot h ew o r ki nt h i sa r e a c u r r e n t l y , t h er e s e a r c hi sf o c u s e dt oaf e wp o i n t s ，s u c ha sh i g hp r e c i s i o ns u b r e s o l u t i o n r e g i s t r a t i o na l g o r i t h m ；b l i n ds u p e r - r e s o l u t i o nm e t h o d s ；r o b u s ta n de f f i c i e n tr e c o n s t r u c t i o n ； r e a l - t i m ep r o c e s s i n gt e c h n i q u e s t h em a i nw o r ko f t h i sp a p e ri sa sf o l l o w s ： ( 1 ) ar e g i s t r a t i o na l g o r i t h mm e t h o db a s e do n t h ei n t e r p o l a t i o na n dh i e r a r c h i c a l b l o c k m a t c ho nt h el o wr e s o l u t i o ni m a g ed i m e n s i o ni sd r a w n ，w h i c hu t i l i z e st h er e l a t i o n b e t w e e nt h es u b p i x e li m a g ev a l u ew i t hi n t e g r a lp i x e li m a g ev a l u e ，a n dt h eh i e r a r c h i c a l b l o c k m a t c ha n df f ta l g o r i t h ma r ea d o p t e dt oo p t i m i z et h er e g i s t r a t i o np a r a m e t e r s t h e r e g i s t r a t i o na l g o r i t h m i sc h a r a c t e r i s t i co fh i g h p r e c i s i o n a n dh a sl o w e rc o m p u t a t i o n c o m p l e x i t yt h a nt r a d i t i o n a lt a y l o rs e r i e se x p a n s i o nm e t h o d ( 2 ) s u p e r - r e s o l u t i o n r e c o n s t r u c t i o ni s a l l i l l p o s e dp r o b l e m ，a l le f f i c i e n tc o m p u t i n g a l g o r i t h mi sd r a w no nt h et i k h o n o vr e g u l a r i z a t i o n t h ea l g o r i t h mi san o n - i t e r a t i v e ，w h i c h u t i l i z e st h ef f ta l g o r i t h ma n dt h ei n v e r s eo fl i t t l e s i z em a t r i c e s t h ea l g o r i t h ma c h i e v e s d e c o n v o l u t i o na n df u s i o nf r o mt h el o w - r e s o l u t i o ni m a g e ss i m u l t a n e i t y , a n da l m o s tp e r f o r m s i nr e a l - t i m e ， ( 3 ) f o rt h er e c o n s t r u c t i o nw i t ht i k h o n o vr e g u l a r i z a t i o n ，t h ep r e c i s i o ne s t i m a t i o nf o rt h e r e g u l a r i z a t i o np a r a m e t e rc o u l di m p r o v et h er e c o n s t r u c t i o ni m a g eq u a l i t y i nt h i sp a p e r , t h e i i g c v a l g o r i t h mi sa d o p t e d ，a n da na l g o r i t h mf o rc o m p u t i n gt h eg c vf u n c t i o ni sd r a w n ，w h i c h i sm o r ec o m p u t i n ge f f i c i e n tt h a nt h ea p p r o a c hc o m b i n i n gs t a t i s t i c a lt r a c ee s t i m a t i o nw i t h g r a d i e n t - b a s e di t e r a t i v ea l g o r i t h m ( 4 ) b l i n ds u p e r - r e s o l u t i o ni sap r o m i s i n gr e s e a r c hd i r e c t i o n ，i nt h i sp a p e r , t h eg c v a l g o r i t h mf o rb l u r r i n gp a r a m e t e ri d e n t i f i c a t i o ni s a d o p t e d ，a n dt h ee f f i c i e n tc o m p u t i n g a l g o r i t h ma n ds e a r c hp r o c e d u r ei sp u tf o r w a r di nd e t a i l ( 5 ) t h es u p e r - r e s o l u t i o nr e c o n s t r u c t i o nf o rv i d e oh a sc o m p r e h e n s i v ea p p l i c a t i o nv a l u e ， b u ti tb e c o m e sm o r ed i f n c u l ta n dc o m p l i c a t e df o r l o c a lm o v e m e n t sb e t w e e nv i d e of r a m e s i n t h i sp a p e r , t h em a ps u p e r - r e s o l u t i o nr e c o n s t r u c t i o ni sd r a w n ，a n dt h eh y p e r - p a r a m e t e r sa r e e s t i m a t e db yt h eh i e r a r c h i c a lb a y e s i a na p p r o a c h k e yw o r d s ：s u p e r - r e s o l u t i o n ，s u b - p i x e lr e g i s t r a t i o n ，g c v , r e g u l a r i z a t i o n ，h i e r a r c h i c a l b a y e s i a na p p r o a c h 研究成果声明+ 本人郑重声明：所提交的学位论文是我本人在指导教师的指导 下进行的研究工作获得的研究成果。尽我所知，文中除特别标注和致 谢的地方外，学位论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得中国科学院电子学研究所或其它教育机构的学位 或证书所使用过的材料。与我一同工作的合作者对此研究工作所做的 任何贡献均已在学位论文中作了明确的说明并表示了谢意。 特此申明。 签名：褥日期：2 。口6 。多 2 6 关于学位论文使用权的说明 本人完全了解中国科学院电子学研究所有关保留、使用学位论 文的规定，其中包括：电子所有权保管、并向有关部门送交学位论 文的原件与复印件；电子所可以采用影印、缩印或其他复制手段复 制并保存学位论文；电子所可允许学位论文被查阅或借阅；电子 所可以学术交流为目的，复制赠送和交换学位论文；电子所可以公 布学位论文的全部或部分内容( 保密学位论文在解密后遵守此规定) 。 日期：2 0 0 3 2 6 日期：加占o5 - 彤 第一章引言 1 1 什么是超分辨率图像重建 第一章引言 在数字成像系统中，分辨率【1 通常指两个方面：一个是成像系统的分辨率，与 成像过程中的光学系统有关，传统上采用瑞利物理判据来决定分辨率的数值；另一个 指的是显示或者硬拷贝输出图像的像元总数，如数码相机的分辨率通常指相机中 c c d ( c h a r g ec o u p l e dd e v i c e ：电荷耦合器件) 芯片上像素的多少，超分辨率重建技术 旨在同时改善这两个方面的分辨率。 在很多的应用场合中，往往需要高分辨率的图像。这从某种角度上就需要具有理 想的点扩展函数的成像光学系统以及高密度单元的图像传感器，然而在现有的技术水 平下，制作这样的数字成像系统，除了价格高昂外，还存在着很多物理上的限制，一 方面光学系统的点扩展函数是客观存在的；另一方面随着单位面积上的传感器数目的 密度增加引入的噪声也增加口 限制了高密度单元的图像传感器的制作。 由于存在这些客观原因，人们开始求助于数字图像处理技术，希望通过对获得的 低分辨率图像进行处理以后，一方面能够对成像光学系统的点扩展函数进行反卷积， 去除光学系统的影响；另一方面能够获得显示图像的像元总数增加，同时也希望在处 理过程中去除相应的成像系统的噪声等。通过这些处理以后，图像的分辨率得到了改 善，但获得的并不一定是真实的高分辨率图像，而是对真实高分辨率图像的某种估计， 因而通常称所获得的图像为超分辨率图像，相应处理过程为超分辨率图像重建。 1 2 超分辨率图像重建的研究意义 超分辨率图像重建应用领域及其宽广，在军事，医疗，工业，公安，交通，民用 等方面都存在着重要的前景。 在军事上【3 ，“，对所获得的低分辨率图像进行超分辨率重建，能提高对军事目标 的识别能力和预警能力。 在医疗上，通过超分辨率图像重建，能够发现小的病变点，如早期的肿瘤等，进 超分辨率重建中若干问题的研究 而提高诊断水平，让患者得到尽可能早的治疗。 在公安交通方面，根据摄像头拍摄到的视频来超分辨重建其中的运动目标，如对 拍摄到的车牌号进行超分辨重建口】，能提高相应的识别能力。 在工业上，如集成电路的反向分析工程，以弥补现有的显微观察技术。 在民用方面的应用就更为广泛，如视频格式的转换，将隔行的视频信号转换为逐 行的视频信号1 6 】，对视频中的某个画面进行超分辨率，对低分辨率视频压缩码流进行 超分辨率重建，如m p e g 码流【7 ”。 1 3 超分辨率图像重建的研究分类 超分辨率图像重建根据应用场合的不同，分为以下几类： ( 1 ) 单幅图像的超分辨【9 ”】。观察到的低分辨率图像只有一幅，然后根据这一幅 图像来进行超分辨率重建，重建过程不同于通常所采用的插值方法，如零阶保持，双 线性插值或者样条插值等，因为插值所得到的像素是原有低分辨率图像像素点的线性 组合，并没有带来新的信息。由于参与重建的低分辨图像数只有一副，因而采用超分 辨率率技术重建的图像分辨率改善并不很明显。 ( 2 ) 静态图像序列超分辨率重建【1 1 - 1 3 。参与超分辨率图像重建的是图像序列而非 一幅，这些图像序列或者e b 单个图像传感器对静态图像进行多次获取【“】，或者由多个 传感器阵列【l5 】同时对静态图像进行获取。低分辨率图像序列之间的运动是全局的，且 相应的运动参数相对于低分辨率图像的像素单位是像素内的，这样序列中的每个图像 均携带有原始高分辨率图像不同的信息。由于序列中每个图像均含有不同的信息，因 而通过对这些图像序列进行超分辨率重建处理，得到的超分辨率图像效果较好。 ( 3 ) 视频序列的超分辨率图像重建i l 引9 】。对视频序列进行超分辨率重建，希望得 到一组超分辨率的运动视频序列，或者其中一帧图像的超分辨率重建。运动视频序列 进行超分辨重建的依据在于重建帧中每个运动的物体在相邻的视频帧中存在着像素 内的位移，也即在多个视频帧中均含有重建帧的高分辨图像信息。由于视频序列中的 运动通常为局部位移，因而其重建算法也比静态图像的重建算法复杂。 ( 4 ) 压缩视频流中的超分辨率图像重建2 n2 ”。根据压缩视频流，如m p e g i ， m p e g i i 等数据流，来进行超分辨率图像重建，重建中采用码流中被编码的运动向量， 第一章引言 以及运动补偿后的残余数据来复原相应低分辨率图像间像素内的运动位移，由于经过 了编解码等处理，重建算法更为复杂。 1 4 超分辨率图像重建的研究内容 超分辨率重建的研究，主要集中在以下几个方面： ( i ) 像素内运动估计。超分辨率图像重建利用的就是低分辨率图像间存在着像素 内位移，因而像素内的运动估计精度对超分辨率图像的重建效果至关重要。由于原始 的高分辨率图像是未知的，因而采用低分辨率图像来估计相应的高分辨率图像之间像 素内的运动并不确切，如何在重建过程中对低分辨率图像进行高精度的像素内运动参 数的配准，是一个重要的研究内容。 ( 2 ) 降晰函数的辨识。在整个成像系统的物理模型中，除光学系统的点扩展函数 客观存在外，还存在着很多可能的降晰情形，如运动过程中获取的图像序列有可能存 在着运动降晰，散焦情况下拍摄得到的图像存在着散焦降晰等。在超分辨率图像重建 过程中，在由于降晰造成图像严重降质的情形下，就需要对降晰函数进行辨识和反卷 积。 ( 3 ) 超分辨率重建模型的研究2 “。超分辨率重建是低分辨率图像观察的逆过程， 要想得到接近真实图像的逆问题的解，一个正确的观察模型是必不可少的，其中的研 究包括c c d 成像模型，压缩视频流的数学模型等。 h ) 超分辨率重建算法。超分辨率图像重建属于图像复原的范畴，由于观察模型 的误差，系统噪声的存在，低分辨率图像数目的不确定性，光学系统降晰的客观存在， 运动配准的误差，使得重建过程是一个严重的病态过程；由于病态问题的客观特性， 必须进行规整化，约束解空间，使得到的解尽可能接近真解。因而有效的重建算法， 一直是活跃的研究内容。 ( 5 ) 快速可靠的超分辨率计算方法。由于超分辨重建模型的复杂性，使得在超分 辨率图像重建过程中，计算效率较低。如何将超分辨重建过程中每个步骤的算法快速 化，是超分辨率重建迈向实时化和实用化的一个重要环节。 1 5 论文主要内容 超分辨率重建中若干问题的研究 本论文主要工作面向静态图像序列和运动视频序列的超分辨率图像重建，对其中 的若干问题展开研究，主要包括以下几个方面： ( 1 ) 对于低分辨率图像间像素内配准，提出了一种在低分辨率图像尺寸上插值的 像素内配准技术，在配准过程中采用快速f f t 算法和分级块匹配技术，该方法在算 法复杂度低的同时保证了配准精度。 ( 2 ) 对于超分辨率图像t i k h o n o v 规整化重建，得出一种有效的直接计算方法，该 算法摒弃了传统的迭代处理，计算过程中主要采用快速傅立叶变换及小矩阵求逆，计 算效率高。 ( 3 ) 采用广义交叉验证法( g c v ) 估计t i k h o n o v 规整化中的规整化参数，并给出 g c v 函数有效的计算方法。 ( 4 ) 采用g c v 法估计参数化降晰函数的参数，对g c v 函数给出有效的计算方法， 并对参数的搜索步骤进行了详细讨论。 ( 5 ) 采用最大后验准n ( m a p ) 进行活动视频序列的超分辨率重建，并运用分级贝 叶斯法进行超分辨重建算法中各种参数的估计。 1 6 论文安排 第二章，超分辨图像重建综述。首先介绍超分辨率重建的模型，然后介绍各种典 型的超分辨率重建算法。 第三章，提出在低分辨率图像尺寸上进行插值的像素内配准技术。首先分析现有 的典型静态图像的全局运动配准技术，然后给出基于插值的分级块匹配像素内配准技 术。 第四章，提出一种超分辨率重建的计算方法。在t i k h o n o v 规整化重建的基础上， 根据块循环矩阵的性质，推导出超分辨规整化重建的闭合公式，并根据其中间结果， 推导出g c v 法求规整化参数的有效算法。 第五章，采用g c v 法进行超分辨图像重建过程参数化降晰函数的辨识。采用g c v 法估计降晰参数，并给出有效的计算方法和搜索步骤。 第六章，采用m a p 进行活动视频序列超分辨率重建。首先介绍视频序列重建模 型，然后给出m a p 重建算法，并运用分级贝叶斯方法估计重建算法中的各种参数。 蜀一章引言 第七章，总结和展望。总结本论文并给出下一步的研究方向。 参考文献： 【1 】邹谋炎，反眷辨和劈号复原第一版，北京：国防工业出版社，2 0 0 1 2 】gh o i s t , c c d a r r e 0 4 c a m e r a s a n d d i s p l a y s ，j c dp u b l i s h i n g ，w i n t e rp a r k ，f l ，1 9 9 6 3 】rch a r d i e ，k j b a m a r d ，j gb o g n a r , e e a r m s t r o n g ，a n deaw a t s o n ， h i g h r e s o l u t i o n i m a g er e c o n s t r u c t i o n f r o m as e q u e n c e o f r o l a l e d a n d t r a n s l a t e d k m e s a n d i t s a p p l i c a t i o n t oo n i n f r a r e d i m a g i n g s y s t e m ，0 p 1 e n g ，1 9 9 8 ， 3 7 ( 1 ) ：2 4 7 - 2 6 0 4 】rch a r d i e ，kjb a m a r d ，a n d e e a r m s t r o n g j o i n t 列p r e g i s t r a t i o n a n d 曙h r e s o l u t i o ni m a g e e s t i m a t i o nu s i n g as e q u e n c e 。，u n d e r s a m p l e d i m a g e s ，l e e e t r a n so ni m a g ep r o c e s s i n g , 】9 9 7 ，6 ( 1 2 ) ：1 6 2 1 - 1 6 3 3 5 】fj c o n i j o , s v i l l e n a , r m o l i n a , a n da kk a t s a g g e l o s ，b a y e s i a ns u p e r - r e s o l u t i o n o d e # i m a g es e q n e n c e s f r a ml o wr e s o l u t i o no b s e r v a l i o t t s , p r o e e e d i n g so f s e v e n t h i n t e r n a t i o n a ls y m p o s i u mo ns i g n a l p r o c e s s i n ga n d t s a p p l i c a t i o n s ，2 0 0 3 , 1 ：4 2 1 4 2 4 【6 】a p a t t i ，m s e z a n ，a n d a t e k a l p ，h i g hr e s o l u t i o ns t a n d a r d se o w e e r i o p io f l o w r e s o l u t i n v i d e o p r o c e e d i n g so f t h et e e ei n t e m a t i n n a lc o n f e r e n g eo f a a c o u s t i c s ，s p e e c ha n ds i g n a i lp r o c e s s i n g ，1 9 9 5 ，4 ：2 1 9 7 2 2 0 0 7 】ya l t u n b a s a k ，a p a t t i ，丘m e t h o dd ，r e c o n s t r u c t i n gh i g h r e s o l u t i o n p a n o r a m i c s t i l l s f r o mm p e g c o m p r e s s e d v i d e o ，l e e es i g n a lp m c e s s l n gs o c i e t y1 9 9 8w o r k s h o p o nm u l t i m e d i as i g n a lp r o c e s s i n g 1 9 9 8 ：9 9 】0 4 8 】a a l t u n b a s a k ，a p a t t i ，a m d r 加a p o s t e r i o r ie s l i m a t o f o r 蚴r e s o l u t i o nv i d e o r e c o n s t r u c t i o n f r a m a l p e gv i d e o p r o c e e d i n g s o f l e e e i n t e r n a t i o n a i c o n f e r e n c e o l l i m a g ep r o c e s s i n g ，2 0 0 0 ，2 ：6 4 9 - 6 5 2 9 】赵书斌，张蓬，彭思龙，基于小撼绑踟摸型融秽彦目袋超分辨拳复原中国图 象图形学报，2 0 0 4 ，9 r 2 1 ：1 7 2 1 7 7 1 0 z l i m i n g ，只f e n g z h i ，a 1 2 e 1 4 , m e t h o d o f i m a g e s s u p e r - r e s o l u t i o n r e s t o r a t i o n 如n e u r a l n e t w o r k s i c o n l p 0 2 2 0 0 2 5 ：2 4 1 4 2 4 1 8 ， 1 l 】s c p a r k , m k p a r k ，a n dm c a k a n g ，s u p e r - r e s o l u t i o ni m a g er e e o n s t r u e t i o n ：a t e c h n i c a l o e r v i e w ，i e e es i g n a lp r o c e s s i n g m a g a z i n e 2 0 0 3 5 ：2 1 3 6 1 2 】bc t o m ，a kk a t s a g g c l u s ，r e c o n s t r u c t i o n o f a h i g h - r e s o l u t i o n i m a g e 如 s i m u l t a n e o u sr e g i s t r a t i o n , r e s t o r a t i o n ，a n di n t e r p o l a t i o no f l o w - r e s o l u t i o ni m a g e s ，p r o c o f t h ei e e ei n t c o n t 1 m a g ep r o c e s s i n g 2 0 0 3 。3 ：5 3 9 5 4 2 1 3 j fh a n y i n g ，l y u e x i n ，h i g hm t u t i o ni m a g er e c o n s t r u c t i o nw 衲m u h i s e n s o r s , i n t e r n a t i o n a lj o u r n a lo f i m a g i n gs y s t e ma n dt e c h n o l o g y , 1 9 9 8 ，9 ：2 9 4 - 3 0 4 1 4 m b e n - e z r a , a z o m e t , a n ds k n a y a r , t t e r c a n ，e r a h i g hr e s o l u t i o n v i d e o f r o m a l o wr e s o l u t i o nd e t e e l o r , p r o c e e d i n g so f t h e2 0 0 4l e e ec o m p u t e rs o c i e t yc o n f e r e n c e o n c o m p u t e r v i s i o na n dp a r e r n r e c o g n i t i o n 2 0 0 4 ：1 0 6 3 1 0 6 9 5 m k n g ，r 1 c h a n 。t r c h a n , a n d a m y i p ，c o s i n e t r a n s f o r m p r e c o n d i t i o n e r s j 白r h i g hr e s o l u t i o ni m a g er e c o n s t f a c t i o nl i n e a r a i g e b m a p p l s ，2 0 0 0 ，3 1 6 ：8 9 1 0 4 6 】m - c h a n g ，m g k a n g ，a n d a kk a t s a g g e l o s ，a n i t e r a t i v e w e i g h t e d r e g u l a r i z e d a l g o r i t h m f o ri m p r o v i n gt h er e s o l u ，i o no f v i d e os e q u e n c e s 。p r o c1 9 9 7i e e e i n t e r n a t i o n a lc o n eo ni m a g ep r o c e s s i n g , 1 9 9 7 i i ：4 7 4 - 4 7 7 7 rrs c h u l t z ，r ls t e v e n s o n ，e x t r a c t i o no f h i g h - r e s o l u t i o n f r a m e s f r o mv i d e o s e q u e n c e s , l e e e m n so n i m a g e p r o c e s s i n g 1 9 9 6 5 ( 6 ) ：9 9 6 1 0 1 l 超分辨率重建中若干问题的研究 【18 1 z d i n g j i a n g ，一t w o n g ，a n db h u n j u n ，p r a c t i c a ls u p e r - r e s o l u t i o n f r o md y n a m i c v i d e os e q u e n c e s c p v r 0 3 2 0 0 3 ，i i ：5 4 9 5 5 4 1 9 r c h a r d i e r , tr t u i n s t r a t , j b o g n a r , k j b a r n a r d ，a n de a r m s t r o n g ，h i g h r e s o l u t i o n i m a g er e c o n s t r u c t i o n f r o m d i g i t a l v i d e o w i t h x t o b a l a n d n o n - g l o b a l s c e n e m o t i o n ，i n t e r n a t i o n a lc o n f e r e n c eo ni m a g ep r o c e s s i n g 。1 9 9 7 ，l ：1 5 3 1 5 6 【2 0 c a s e g a l l ，r m o l i n a , a n da k k a t s a g g e l o s ，h i g h r e s o l u t i o ni m a g e s f r o m l o w - p e s o l u r i o nc o m p n e s s e d v i d e o ，i e e es i g n a lp r o c e s s i n gm a g a z i n e 。2 0 0 3 ，3 ：3 7 - 4 8 【2 i a p a t t i ，y a l t u n b a s a k ，s u p e r - r e s o u t i o n i m a g ee s t i m a t i o n y o r t r a n s f o r m c o d e d v i d e o w i t ha p p l i c a t i o n t o 朋：p e g p r o c e e d i n g so f t h el e e ei n t e m a t i o n a lc o n f e r e n c eo n i m a g ep r o c e s s i n g 1 9 9 9 - 3 ：1 7 9 1 8 3 2 2 s b o r m a n ，r s t e v e n s o n ，s p a t i a lr e s o l u t i o ne n h a n c e m e n to f l o w r e s o l u t i o ni m a g e s e q u e n c e s ：ac o m p r e h e n s i v er e v i e ww i t hd i r e c t i o n s f o r f u t u r er e s e 口r h h t t p ：d e c s a i u g r e s v i p d o c t o r a d o p v d b o r m a n 9 8 r e v s p a t i a l - r e s o l u t i o n e n h a n c e m e n t r e v i e w p d f 6 第二章超分辨率图像重建综述 第二章超分辨率图像重建综述 2 1 超分辨图像重建的数学描述 2 1 1 低分辨率图像物理观察模型 现实世界的物体可以被认为一个个密集的发光点，发出的光线经过成像光学系统 的传输，根据投影几何原理，最后光线投射到图像传感器平面上，图像传感器单元经 过光电转换过程，物体的亮度就被转换成电信号，然后经过数字化采样，就实现了数 字图像成像。 客观世界的图像往往具有较好的细节，即具有较好的图像分辨率。由于实际情况 的限制，一方面成像系统相对于客观世界的图像，并没有如此高的带宽：另一方面由 于现有工艺限制，图像传感器单元相对数目有限，这样成像得到的图像，相对于真实 图像而言分辨率较低。在超分辨率技术中，这些分辨率较低的图像称为低分辨率图像。 低分辨率图像的观察模型见图2 - 1 ： 图2 1 低分辨率图像观察模型 超分辨率重建中若干问题的研究 图中各符号的标识如下： k 1 ，2 ，p ) ，表示一共有p 幅低分辨率图像； m ， ：高分辨率图像的垂直和水平向坐标； 。， ，：低分辨率图像的垂直和水平向坐标。 五【m ，川：第k 幅高分辨率图像； 【m ，”】：第k 幅降质的高分辨率图像； 4 【，。，吼】：第k 幅下采样后的低分辨率图像； n k m 。，7 1 。】：第k 幅低分辨率图像成像引入的加性噪声； y k m 。，n 。 ：观察到的低分辨率图像。 图中各框图的表示如下： 高分辨率图像：指具有较高分辨率，满足奈奎斯特采样准则下采样得到的数字图 像。超分辨率重建的目标就是尽可能复原高分辨率图像。 位移：现实图像相对于图像的传感器平面产生了相对运动，运动可以是全局的也 可以局部的。全局运动是指整个图像空间的像素具有相同的运动特性，运动参数可以 采用二参数，垂直和水平方向的位移来表示，也可以采用复杂的多参数运动模型来表 示；局部运动相对比较复杂，指图像空间中的多个物体具有各自的运动特性和运动参 数。在超分辨率重建过程中，所有这些全局或者局部位移参数均需要通过配准而得。 降晰：表示经过位移以后的图像又经过了降质。产生降质的原因是多方面的，常 见的有光学降质，运动降质，散焦降质等。光学降质，由成像系统的光学部分所引入； 运动降质，由于被拍摄的物体在曝光过程中存在着运动；散焦降晰，由成像过程中焦 距的不正确造成。这些降质在数学上采用点扩展函数来表征，降质后的图像表示为图 像与点扩展函数的卷积。在超分辨率重建过程中，当这些降晰影响到重建图像的效果 时，需要采用一定的技术手段辨识点扩展函数，而后在重建过程中对降晰函数实现反 卷积。 下采样：表明采样后得到图像的空间分辨率比真实图像的空间分辨率要低。物体 发出的光线在图像传感器单元上进行光电转化，然后将电信号进行采样输出得到低分 辨率图像。通常用一个正整数三来表示这种欠采样，l = m m l = | ，m ，n 表 整三兰塑坌塑堡里堡墨鍪堡堕 示对应的高分辨图像的空间尺寸， t ，。表示观察到的低分辨率图像的尺寸。 噪声；低分辨率图像观察模型所引入的加性噪声，如光电传感器的工作噪声，采 样过程中带来的采样噪声，拍摄过程中空气的扰动等。 低分辨率图像：高分辨率图像经过运动，降质，下采样后观察到的数字图像。 2 1 2 低分辨率图像观察模型数学表示 对应于图2 - l ，低分辨率图像观察数学模型表示如下： y ，= i ) c i e ，f + n ，i i p ( 2 1 ) f ：高分辨率图像向量化表示，( m ) 1 ； 一 e ，：运动矩阵，( m ) ( m x ) ； c ：降晰矩阵，( m x n ) x ( m n ) ； d ：下采样矩阵， ( m l n l ) ( m x ) ； n 。：噪声向量化表示，( m l n l ) l ； y 。：低分辨率图像向量化表示，( m l n l ) x 1 ； 令 y = y 1 y 2 y ， 。h = d c l e l d c 2 e 2 d c p e ， n = n l n 2 n p ( 2 2 ) 则p 幅低分辨率图像的观察模型为： y ：h f + n(