(计算机应用技术专业论文)基于全局和非全局运动图像序列的超分辨率重建研究.pdf_第1页
(计算机应用技术专业论文)基于全局和非全局运动图像序列的超分辨率重建研究.pdf_第2页
(计算机应用技术专业论文)基于全局和非全局运动图像序列的超分辨率重建研究.pdf_第3页
(计算机应用技术专业论文)基于全局和非全局运动图像序列的超分辨率重建研究.pdf_第4页
(计算机应用技术专业论文)基于全局和非全局运动图像序列的超分辨率重建研究.pdf_第5页
已阅读5页,还剩71页未读, 继续免费阅读

(计算机应用技术专业论文)基于全局和非全局运动图像序列的超分辨率重建研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

摘要 论文题目: 专业: 硕士生: 指导教师: 基于全局和非全局运动图像序列的超分辨率重建研究 计算机应用技术 李志远 朝红阳教授 摘要 随着人们对高清晰图像需求的提高,图像采集系统硬件的性能越来越满足不 了这种需求。一种软件实现方法逐渐受到研究人员的关注,它不但弥补了硬件系 统的限制,而且只在重复使用现有图像采集工具的条件下就可以实现,大大降低 了高分辨率图像的采集成本。图像超分辨率重建技术就是在这一背景下产生,成 为当前图像处理领域的一个热门研究方向;并且目前已经广泛应用在医疗、军事 和监控等领域。 图像序列的超分辨率重建就是将一组低分辨率图像通过数字信号处理技术 整合为一幅高分辨率图像,并能够提供比原图像更高的图像细节。目前该技术研 究所面临的挑战主要有:更合理的观测模型的建立、精确低分辨率图像之间的偏 移量估计、光学偏移量的调整、点扩散函数的估计、和重建过程中病态性方程的 解决等问题。 本论文从两个方面对超分辨率重建进行研究: 1 考虑全局运动的图像序列。提出一种改进的基于概率重建的算法,该算法 联合估计超分辨率图像和观测模型的参数,将其引入到最大后验概率算法,实验 结果所产生的高分辨率图像在信噪比和视觉效果上都有所提高。 2 考虑非全局运动的图像序列。本文首先实现了该领域的最新算法,基于非 局部平均方法的超分辨率重建,在实验分析过程中,针对计算复杂度过大的缺点, 提出对像素邻域进行预分类,大大减少了对不相关权重的计算,而且重建出的图 像质量并没有下降。并且设计完成基于该算法的软件 关键词:超分辨率,观测模型,最大后验概率,非局部平均方法 a b s t r a c t t i t l e :r e s e a r c ho n s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o nw i t hg l o b a la n dg e n e r a l m o t i o n m a j o r :c o m p u t e ra p p l i c a t i o nt e c h n o l o g y n a m e :z h i y u a nl i s u p e r v i s o r :p r o f e s s o rh o n g y a n gc h a o a bs t r a c t w h i l et h ei m p r o v e m e n to fh a r d w a r ei np i c t u r ec a p t u r es y s t e mc a n n o ts a t i s f y p e o p l e sr e q u i r e m e n t sf o rh i g h - r e s o l u t i o np i c t u r e s ,an e ws o f t w a r ea p p r o a c h i s a t t r a c t i n gr e s e a r c h e r s a t t e n t i o n t h es o f t w a r ea p p r o a c hm a k e su pf o rt h el i m i t a t i o no f h a r d w a r es y s t e m , a n dw h a t sm o r ei tc a nb ei m p l e m e m e db yr e u s i n gt h ee x i s t i n g p i c t u r ec a p t u r et o o l s ,w h i c hr e d u c et h ec o s to fc a p t u r i n gh i g h - r e s o l u t i o np i c t u r e s s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n , ah o tr e s e a r c ht o p i ci nt h ef i e l do fi m a g ep r o c e s s i n g , c o m e so u ti ns u c has i t u a t i o n , a n di sn o ww i d e l yu s e di nt h ed o m a i n so fm e d i c a l i m a g i n g ,m i l i t a r y , s c r u t i n y , e t c s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n i st h ep r o c e s so fc r e a t i n gah i g h e rs p a t i a l r e s o l u t i o ni m a g ef r o mag r o u po fl o w - r e s o l u t i o ni m a g e su s i n gd i g i t a ls i g n a l p r o c e s s i n gt e c h n o l o g y s of a rt h em a i nc h a l l e n g e so ft h i sr e s e a r c hi n c l u d e :h o wt o e s t a b l i s hl o g i c a lm o d e l , h o wt op e r f o r mi m a g er e g i s t r a t i o n , l i g h t i n gv a r i a t i o n , p s f i d e m i f i c a t i o n , a n ds o l v i n gi l l - p o s e dp r o b l e m t h em a i nc o n t r i b u t i o no ft h i sd i s s e r t a t i o ni sa sf o l l o w s : 1 c o n s i d e rt h ei m a g e sw i t hg l o b a lm o t i o n a no p t i m i z e ds t a t i s t i c a ls u p e r r e s o l u t i o na l g o r i t h mi sd r a w n , w h i c he s t i m a t e sb o t ht h es u p e rr e s o l u t i o ni m a g ea n d t h ep a r a m e t e r so ft h eo b s e r v a t i o nm o d e la n di n t r o d u c e st o 僵apt h ec o r r e s p o n d i n g s i m u l a t i v ee x p e r i m e n ts h o w st h a ti ta c h i e v e sac o n s i d e r a b l ei m p r o v e m e n ti nb o t h s n ra n dv i s i o ne f f e c t 2 c o n s i d e rt h ei m a g e sw i t hg e n e r a lm o t i o n t h ed i s s e r t a t i o nf i s ti m p l e m e n t st h e m o s tr e c e n ta l g o r i t h mi nt h i sa r e a , n l m - s r ,t oc o m eo v e rt h et o ob i gc o m p l e x i t y , t h i s d i s s e r t a t i o nd e f i n e sac l a s st oc l a s s i f yt h ep i x e ln e i g h b o r h o o d s t h i sc a l la v o i d a b s t r a c t c o m p u t i n gm o s to ft h eu n r e l a t e dw e i g h t s , a n dd on o td e c r e a s et h ei m a g eq u a l i t y i n t h ee n df m i s ht h ed e s i g no f t h es o f t w a r eb a s eo n o u ra l g o r i t h m k e y w o r d s :s u p e rr e s o l u t i o n ,o b s e r v a t i o nm o d e l ,m a p , n l m h i 论文原创性声明 本人郑重声明:所呈交的学位论文,是本人在导师的指导下,独立进行研究 工作所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人 或集体已经发表或撰写过的作品成果。对本文的研究作出重要贡献的个人和集体, 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名:参,也 日期:2 0 0 9 年1 0 月1 0 日 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定,即:学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版,有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查 阅,有权将学位论文的内容编入有关数据库进行检索,可以采用复印、缩印或其 他方法保存学位论文。 学位论文作者签名:若。宝q 兰 日期:2 0 0 9 年1 0 月l o 日 - j _ 剔磁轹零肛7 灶 e t 期:2 0 0 9 年1 0 月1 0e t 第l 章引言 第1 章引言 1 1 超分辨率图像重建的研究背景 图像成像系统受到物理条件、硬件成本和天气条件的影响,在成像过程中常 常存在光学和运动模糊、下采样和噪声的退化过程【1 】,从而导致得到的图像质 量较差,分辨率较低。由于成像系统只能从信息量丰富的场景中获取部分信息, 如何有效弥补这些有限的信息量在有些实际应用中是必须要解决的问题。例如, 在视频监控系统中,对嫌疑人的高清图像的重建,对违规车辆车牌号的重建。这 可以通过提高单位面积里的像素集成度、增加电路片和超分辨率图像等方式提高 图像的分辨率。然而,通过硬件改进的图像成像系统除了价格高昂外,还存在着 很多物理上的限制,一方面传感器数目密度的增加带来噪声的增加,这限制了高 密度单元的图像传感器的制作【2 】;另一方面光学系统的点扩散函数是客观存在 的【3 】。 由于上述客观原因的存在,一种有前景的方法就是借助于数字图像处理技术 和信号处理技术,对已经获得的一幅或者多幅低分辨率( 1 0 w - r e s o l u t i o no rl r ) 图像进行处理后,既能够去除光学系统的影响也能够增加图像的像元总数,同时 还可以在处理过程中去除噪声等的干扰【1 】,最后得到一幅高清晰图像。通过这 些处理后,获得的改善图像虽然不是真实的高分辨率( h i g h - r e s o l u t i o no rh r ) 图 像,却是对真实的高分辨率图像的某种近似估计。上述处理过程就称之为超分辨 率图像重建( s u p e rr e s o l u t i o nr e c o n s t r u c t i o n ,s ro rs r r ) ,如图1 1 所示。 超分辨率重建可以分为单幅图像的重建和多幅图像的重建,本文的研究主要 针对后者。多幅图像重建的主要思想就是利用拍摄目标的先验信息、单幅图像信 息和多幅图像间的补充信息,用时间信息改善空间信息,提取低分辨率图像中的 高频信息,使得重建得到的图像更加接近真实的高分辨率图像。 * l t 言 图卜1 图像超分辨率重建 超分辨率图像重建应用广泛:在医疗上,通过超分辨率重建,能够发现小的 病变,提高诊断水平比如计算机x 射线断层扫描( c t ) ,核磁共振( 删) ; 在遥控成像系统上,提高卫星图像中目标的清晰度;在军事上【4 】,对获得的低 分辨率图像进行重建,能够提高军事目标的识别能力和预警能力;在公安交通方 面,对监控视频中的运动目标进行超分辨率重建【5 】,比如捕捉到的车牌号,能 够提高识别能力:在民用方面可以应用于对视频格式和大小的转换f 6 8 】,等等。 综上所述,超分辨率图像重建具有十分重要的研究意义。 1 2 本文工作与结构 本论文的工作分别对静态全局运动图像和非全局视频序列进行研究,主要工 作包括下面几个方面: 1 受到将配准步骤和重建步骤合并的启发,提出联合估计高分辨率图像和 观测模型的设想。结合晟大后验概率法( m a p ) ,得到一种新的更加有 效的超分辨率重建算法: 2研究超分辨图像重建的最新进展,它能够突破对图像序列的运动估计的 依赖,本文在此算法基础上提出简单高效的图像块预分类方法它避免 了对不相关邻域点的权重值的计算,大大提高了算法效率。 3 用m a t l a b 平台实现1 中提到的改进后的m a p 算法,用o p e n e v 和v c + + 设计完成2 中简单高效的超分辨率视频序列重建算法。 本论文的结构安排如下: 第2 章综述了当前一些重要的超分辨率图像重建算法及理论基础; 第l 章引言 第3 章针对全局运动的图像序列介绍了相关问题,解决方法,本文对相关方 法做了实验对比分析,然后介绍了本文优化算法的思路、步骤方法和实验结果; 第4 章针对更加普通的视频序列介绍了当前不需要运动估计的方法,基于非 局部平均方法的超分辨率重建,然后介绍本文的快捷方法; 第5 章是对全文工作的总结和展望。 3 第2 章超分辨率重建综述 第2 章超分辨率图像重建综述 本章内容为超分辨率图像重建发展历史、问题描述、求解步骤和各种求解算 法介绍,最后给出评价重建结果的标准。 2 1 概述 对超分辨率图像重建问题的研究已经有近3 0 年的历史,起始于上世纪8 0 年 代初t s a i 和h u a n g 的工作【9 】,他们首先通过理论分析证明从一个彼此间具有平 移的图像序列中得到分辨率增强的静态图像的可能性,并且使用频率域的方法解 决了此问题。此后又有研究人员不断提出各种改进方法 1 0 ,1 1 】,它们都有着相 同的前提条件:整体平移运动和线性空间的不变降晰模型。它们在频域里进行消 混叠处理,由于频域方法不能够引进空间先验知识( 如图像的平滑特点) 的能力, 因而限制了其在更广泛领域里的应用。 一个较通用的时域模型由e l a d 和f e u e r 1 2 于2 0 世纪9 0 年代提出,包括众 多的降晰因素,并且具有较强的结合空间域里图像先验信息的能力。在此模型基 础上产生了诸多空域方法,如最大后验概率法( m a x i m u map o s t e r i o r io rm a p ) 【1 3 】、凸集投影法( p r o j e c t i o n so n t oc o n v e xs e t so rp o c s ) 【2 】和混合法。但是空 域方法的共同缺点是计算复杂度高,为减少计算代价,又产生了块循环预条件共 轭梯度法 1 4 ,1 5 。 随后的研究也开始注重算法的稳健性,要求重建的结果对模型误差不敏感。 z o m e t 等人提出了一种中值鲁棒算法【1 6 】,重建出稳定的结果,但缺乏很好的数 学证明。而后也有研究人员提出了基于一阶范数估计和双边全变差的超分辨率重 建方法 1 7 1 9 ,该方法可以有效地降低模型误差对重建结果的影响。 近几年的研究方法集中在联合估计高分辨率图像和观测模型 1 7 ,1 8 】,这些方 法是在m a p 算法的框架内最优化高分辨率图像和点扩散函数,有效地提高了重 建方法水平。随着计算机科学的发展,越来越多的新技术被应用到图像重建领域 中:机器学习【2 1 - 2 4 ,压缩感知 2 5 1 ,图像去噪【2 6 】。其中压缩感知作为超分辨 4 第2 章超分辨率重建综述 率重建领域的一个新的方法,将成为重要的研究手段。 纵观各种超分辨率重建方法,当前在超分辨率图像重建领域的主要研究内容 可以概括为以下几个方面: 1实时的超分辨率计算方法。目前制约超分辨重建技术应用的瓶颈就是庞 大的计算过程,因此实时的超分辨率重建技术的研究也日益受到人们的 重视,文献 1 9 ,2 7 在算法效率上也做了改进,但是还不能达到实时i 生的 要求。文献 2 8 1 8 u 用硬件提高了重建的效率,但是未能够很好的解决去 噪、去模糊等问题。文献 2 9 ,3 0 是利用现场可编程门矩阵( f p g a o rf i e l d p r o g r a m m a b l eg a t ea r r a y ) 构建一个超分辨率重建系统,目前只完成了重 建的部分过程,仍有许多有待改进的地方。 2 像素内精度运动估计【3 1 】。超分辨率图像重建利用的是多幅低分辨率图 像间存在的像素内位移,因而像素内的运动估计精度对超分辨率图像的 重建效果至关重要。由于原始的高分辨率图像是未知的,因而采用低分 辨率图像来估计相应的高分辨率图像之间像素内的运动并不确切。如何 在重建过程中对低分辨率图像进行高精度的像素内运动参数的配准 ( r e g i s t r a t i o n ) ,是一个重要的研究内容。 3超分辨率重建算法。超分辨率图像重建属于图像复原的范畴。观察模型 的误差,系统噪声,低分辨率图像数目的不确定性,光学系统降晰,运 动配准的误差等问题的存在,使得重建过程是一个严重的病态过程;由于 病态问题的客观特性,必须进行正则化,用图像的先验知识约束解空间, 使得到的解尽可能接近真解。因而有效的重建算法,一直是一个活跃的 研究内容。 4降晰函数的辨识。在整个成像系统的物理模型中,除光学系统的点扩展 函数客观存在外,还存在着很多可能的降晰因素,如运动过程中获取的 图像序列有可能存在着运动降晰,散焦情况下拍摄得到的图像存在着散 焦降晰等。在超分辨率图像重建过程中,由于降晰造成图像模糊的问题, 所以需要对降晰函数进行辨识和反卷积。 5 重建模型的研究【2 】。超分辨率重建过程可以看成是低分辨率图像形成过 程的逆过程,而更加合理的图像观测模型的建立是获得更加接近原始图 5 第2 章超分辨率重建综述 像近似解的一个必要前提。 2 2 超分辨率图像重建的问题描述 为了研究重建算法,有必要先理解低分辨率图像是如何获得的。本节首先介 绍高分辨率图像转换为低分辨率图像的前向观测模型,然后逆向该过程去重建超 分辨率图像。以及其他相关理论。 2 2 i 前向模型 首先,在记录数字图像的过程中,由于光学失真( 焦点失准、衍射限制等) , 快门速度的限制导致运动模糊,传感器或传输过程的噪音,以及因传感器密度的 不足而出现空间分辨率的损耗,所以记录的图像含有模糊、噪音、锯齿的影响。 假设高分辨率图像x 的大小为l 1 n l 2 n ,图像x 的采样等于或者高于奈奎 斯特采样定律,现在将n 作为下采样因子,x 经过偏移,模糊和下采样,重复这 一过程p 次,得到低分辨率图像y k ( 1 k p ) ,大小为l 1xl 2 ,其中每次偏移 量不同,而模糊和下采样因子保持不变,这也和真实的图像采集设备相符。用下 面的公式表示: y k = d b m k x + n k1 k p ( 2 1 ) 其中,向量:x = x l ,x 2 一,x n 2 l i l 2 】t ,y k = y k ,1 ,y k j 2 一,y k ,l 1 l 2 】t ,m k 为第k 幅 图像的且大小为n 2 l 1 l 2 n 2 l 1 l 2 的偏移变换矩阵,b 为大小为n 2 l 1 l 2xn 2 l 1 l 2 的模糊变换矩阵,d 为大小为( l 1 l 2 ) 2 n 2 l l l 2 下采样矩阵,n k 第k 幅图像的加 性噪声。前向观测模型对应的物理观测模型如图2 1 所示: 图2 1 中的四个参数m k ,b ,d ,n k ,都需要通过先验知识或者估计求得。 1 偏移变换矩阵m k 。对观测图像间的像素内运动估计是超分辨率求解的关 键问题之一,它可以为重建提供新的信息。公式( 2 1 ) 中的m k 就描述了 第k 幅低分辨率图像与参考图像之间的偏移关系,这种偏移关系可以是 全局的,也可以是局部的,本文第3 章研究全局运动,第4 章研究更加 普通的运动。 2 模糊变换矩阵b 。在记录数字图像的过程中,由于光学失真( 焦点没对 6 第2 章超分辨牢重建综述 准、衍射限制等) ,快门速度的限制导致运动模糊,传感器的点扩散函数, 这些模糊可以建模为线性空间不变或者线性空间变化,公式( 21 ) 中的 b 描述了这一变换,如果知道观测图像的点扩散函数,可以先按照典型 的图像复原技术进行预处理f 3 】。 3下采样矩阵d 。假设所有观测图像的下采样矩阵相同,下采样过程也是 图像超分辨率重建和图像复原技术的重要区别。 4 噪声“k 。图像采集过程中,噪声的污染不可避免,比如光照强度和传感 器的温度带来的噪声,在超分辨重建的研究中通常采取一个较为理想化 的模型来进行拟合,常用的噪声模型有:高斯噪声、均匀分布噪声、脉 冲噪声( 椒盐噪声) 等。关于噪声模型的估计方法主要有:图像观测估 计法、实验估计法等【3 】 b 毽妒 d 蕊妒 d t 叩 图2 - 1 低分辨率图像的观测模型 根据公式( 2 1 ) 我们也可以这样看,低分辨率图像是从带有附加噪声的高分 辨率图像像素的加权平均得到的,这些模型可以以一个矩阵的形式加以统一,即: n = w k x + n k1 蔓k sp( 2 2 ) 其中,w k 大小为n 2 l 1 l 2 n 2 l 1 l 2 - 表示为各种模糊、移动、下采样在高分辨率 图像x 中对低分辨率图像像素y k 的影响权值矩阵。基于公式( 22 ) 的观测模型, 醢h 第2 章超分辨率重建综述 超分辨率图像重建的目的就是从p 幅低分辨率图像y k ,( 1 k p ) 估计高分辨率 图像x 的近似图像。 2 2 2 逆向模型 逆向模型的目的是从给定的p 幅低分辨图像中重建出一幅高分辨率图像,因 为前向模型中从高分辨率图像到低分辨率图像变换为矩阵相乘,从逻辑上讲很容 易想到重建问题为矩阵求逆,即向量化图像,然后求解线性方程组。但是存在如 下问题:一、低分辨率图像只包含了高分辨图像的部分信息;二、噪声是随机产 生的,只有统计意义上的特征。上述两点导致该问题不可逆。我们可以定义最优 化解殳,最小化低分辨率图像和重建图像之间的差异。定义关于囊的标准函数: j ( x ) = :1 i l y d b m k x l l i + z l l q x l l ; ( 2 3 ) 其中,q 为正则项,九为平衡因子。那么最优化解殳可以定义为: 殳= a r gm i n x j ( x )( 2 。4 ) 在公式( 2 3 ) 和( 2 4 ) 的基础上衍生出多种重建算法,下一节将介绍各种 算法。 2 2 3 问题的病态性 病态性问题的定义【3 2 】:问题如果满足以下三个条件之一或多个,该问题就 是病态性的: 1 ) 问题无解; 2 ) 解不唯一; 3 ) 问题的解依赖于观测数据。 前文提到过:超分辨率重建是一个逆过程,之所以说该问题是一个病态性问 题,主要是因为:一、在低分辨率图像的观测模型中,客观存在的噪声是随机生 成的,只有统计意义上的特征,导致该问题不可逆;二、公式( 2 1 ) 相当于对 高分辨率图像的低通滤波,对高频部分响应为零,也就是说直接求逆所得的超分 辨率图像在高频部分的解是不确定的或者说是不唯一的。 由此可以看出,超分辨率重建问题是一个病态性问题。 8 第2 章超分辨率重建综述 2 2 4 图像间的变换模型 本小节为第三章图像配准的相关理论。若图像9 1 和9 2 存在重叠区域,则他们 之间的配准可转化为9 2 经过空间变换和灰度变换与9 1 相匹配的过程。图像配准的 定义为两幅图像之间的空间变换和灰度变换,配准的目标就是要使转换后的g z 与 g 】之间的某种相似度达到最小。 空间几何坐标变换是建立从一幅图像坐标( x ,y ) 到另一幅图像坐标( x ,y ) 之 间的变换关系,常用的变换模型有刚体变换、仿射变换、投影变换和非线性变换, 本文将主要考虑刚体变换。 刚体变换局限于平移、旋转和镜像三种坐标变换关系,公式为: 眵】= 醢吕i 嚣】朗+ 嘲 c 2 剐 其中,o 是旋转角,t x ,t y 为水平和垂直方向的偏移量。 2 3 超分辨率重建步骤 在光照相同和成像参数相同的条件下,实现超分辨率重建的一个前提是拥有 关于同一场景的多幅彼此之间存在相对运动的、欠采样的图像,每个图像可以提 供关于该场景相近又不同的内容,利用先验知识可以重建出一幅高分辨率图像。 图像超分辨率重建的步骤如图所示,图像配准的目的是要获得低分辨率图像 之间的偏移关系,将配准后的图像用插值的方法投影到高分辨率栅格,然后对这 个图像进行复原处理,最后得到一幅分辨率增强的图像。 雕像配准 貔像复纛 攮健 - - - 鼗毳; _ - _ _ - _ _ ( 运动簧计) 图2 2 超分辨率重建步骤 基本上所有的图像超分辨率重建方法都覆盖了上面的三个步骤,根据结合的 方法不同可以分为两种途径:第一种是将图像配准和图像重建过程分开进行,即 9 鑫分辨率匿像 低分辨意i-暖像序列 第2 章超分辨率重建综述 已经获得低分辨率图像运动参数然后进行重建;另一种就是将图像配准和图像重 建同时进行,即在重建的同时求得运动参数。 2 4 超分辨率图像重建算法综述 基于上述两节对于超分辨率图像重建的问题描述和重建步骤,本节内容为介 绍各种求解问题的方法。 2 3 1 递归最小二乘法 如本章概述中所述,续h u a n g 和t s a i 第一次系统的阐述并解决了超分辨率图 像重建的问题后,k i m 1 0 ,1 1 】等人在频域中使用相同的模型,提出一种更加有效 的快速算法,即递归最小二乘法,对运动偏移参数的精度具有鲁棒性,更加有效 的抑制噪声,但是频域中的方法不能够引入图像的先验知识( 定义正则项求解病 态性问题) 。下文中的空域法能够克服这个缺点。 2 3 2 插值和投影算法 假设不计采样光学系统的影响,忽略公式( 2 1 ) 中的b ,那么重建过程为将 低分辨率图像投影到高分辨率栅格上,然后进行非均匀插值。 该方法将仿真图像与低分辨率图像上采样后的误差反向投影到超分辨率图 像中,通过迭代的方法最小化误差到设定的阈值以内,迭代过程可以表示为: 5 l 。+ 1 = 5 2 。+ :1 钒一氟) 幸b 肿 ( 2 6 ) 其中,氟= d b m k 囊n ,表示第1 1 次迭代时的仿真低分辨率图像,b 删为附加的约 束条件,通过调节使结果更加接近理想值【3 3 】。 i b p 方法简单直观,但是因为病态性问题的存在使得解不唯一,对b 吖的取值 有一定的困难,不能够引进图像的先验知识。【3 4 中有各种不同的插值方法结果 的比较,包括:最近邻域法、加权平均法、高斯卷积、p g 算法等。该插值投影 方法( i b p ) 简单直观,但是光学系统的影响在多数情况下是不能被忽视的。 1 0 第2 章超分辨率重建综述 2 3 3空域法 当前大多数超分辨率重建研究都是在空间域进行的,它的优点是在运动估计、 运动模糊、光学模糊估计和采样规则上具有很大的灵活性,还可以引进图像的先 验知识,方便公式化表示约束条件。其中以凸集投影算法( p r o j e c t i o n so nt oc o n v e x s e t so rp o c s ) 【2 】为典型。 凸集是指集合中任意两点之间的点仍然在该集合中的闭集合:若x 1 ,x 2 c 且 舨1 + ( 1 一x ) x 2 c ,其中九( 0 ,1 ) ,则c 为凸集。凸集投影算法( p o c s ) 思路 如下: 首先根据图像的先验知识列出满足图像解的特性条件1 ,他一,耳n ,然后将相 应的特性条件从数学上抽象为一系列的凸集:山1 ,巾2 一山n ,这n 个凸集的交集 为:i p n 等:1 巾n 。对每个凸集中1 ,山2 ,山n ,可根据凸集定义相应的凸集算子 h ,圪,p n 。p o c s 的思想是通过高分辨率图像的初始估计f 在凸集l l j 里面求到最 优解,方法是利用凸投影算子r ,p 2 一p n 对f 进行t 次迭代投影,直至达到理想 的高分辨率图像,这用数学表达式可表示为f = ( r ,p 2 一p n ) ( f ) 。 下面是常用凸集: 根据噪声n 的先验知识( 公式( 2 1 ) 中的n 一般为零均值加性的高斯噪声) , 可定义以下凸约束: 虮= ( f i r ( ( a 山) r l ( 1 ( a ,b ) ) i = 1 , 2 。,l ( 2 7 ) 其中,1 1 ( i ( a j b ) 为一确定的阈值;r ( d ( a 山) 为残差,它定义为: r ( ) c a ,b ) = g ( i ) ( a ,b ) 一:圭i 一2 :量一2k x , y ) u ( x ,y ,a ,b ) i = 1 , 2 ,l ( 2 8 ) 其中,f 为当前的超分辨率估计;g o ) ( m ,n ) 为第i 幅图像g c i ) 中任一点( m ,n ) 的 像素值;h ( x ,y ,a ,b ) 为点扩展函数h ( x ,y , a j b ) 经过归一化处理后而得到的;两 者的数学关系为: h ( x ,y j a ,b 卜瑶登麓丽 ( 2 9 ) 厶x = c z 。v = d z 、“叮一州 其中,( a ,b 1 ) 、( c ,d ) 是当前估计f 中与l r 图像g ( ) 中( a ,b ) 向对应的点( 它们可以 经过运动估计而得到) ,点扩展函数h ( x ,y ,a ,b ) 为常用的高斯模型,它可表为: h ( x ,弘a ,b ) = e x p 一一( x - - a ) 2 + ( y - b ) 2 ( 2 1 0 ) 第2 章超分辨率重建综述 设p 1 是与凸集i i j l 相应的凸集投影算子,可以按下式对当前估计f 进行投影: f 甓r s + z 芝筹麓等州k d 埘, 巾) ( a ,b ) l 。一2 掣蓦一2 h 乜( x 胂山) n w 川。岬川 h 【f ( x ,y ) 】= f ( x ,y ) + o t 1 ( 1 ) ( a ,b ) r ( 1 ) ( a j b ) 1 1 ( 1 ) ( a ,b ) 【甓差z d + 等zh黼2 r ( a ,b ) 巾) ( a ,b ) l ;兰;一2 厶v ;d 一2 ( x j y ,a ,b ) 、 。“、。i l 4 。, ( 2 1 1 ) 同理,可引入其它的约束,如能量、幅度等。 幅度限制山2 : 山2 = ( f ( x ,y ) i 仅f ( x ,y ) p )( 2 1 2 ) 能量限制巾3 : 巾3 = ( f ( x j y ) i i i f i l 2 e )( 2 1 3 ) 其中,o 【,b ,e 为阈值。 p o c s 算法的缺点是降噪能力差,收敛慢,解不唯一。 基于凸集投影重建的迭代步骤: 首先定义如下:p 为低分辨率图像帧数;g k 为第k 帧低分辨率图像,其中 0 七p ;f 是重建的高分辨率图像;f ( o ) 是高分辨率图像的初值;k k 是第k 帧 低分辨率图像相对于参考图像的偏移量。 先由g o 经过双线性内插求解得到f ( o ) ; f o ri = lt on ( 迭代次数) f o r k = lt op ( 对每一帧低分辨率图像进行计算) 根据k k ,计算第k 帧低分辨率图像的像元运动补偿值; f o rm = lt om ( m 是低分辨率图像的行数) f o r n = lt on ( n 是低分辨率图像的列数) 计算该像元点在高分辨率图像上像元位置; 计算点扩散函数的作用范围和数值; 模拟采样过程,获得模拟低分辨率图像; 计算真实图像与模拟图像之间的残差; 根据残差修正高分辨率图像的像元值。 e n d 1 2 第2 章超分辨率重建综述 e n d 2 3 4 概率法 信号处理在图像复原中占有重要地位,其不仅能够利用图像的先验知识,如 图像的马尔科夫随机场特性等,而且也是对病态问题进行规整化的一种有效方法。 因为超分辨率重建涉及数据和参数的估计,逻辑上可以想到用概率分布进行 建模,概率统计的超分辨率重建算法是一种典型的基于贝叶斯理论的方法,它提 供了一种灵活简单的方法去建模图像的先验知识。其中最常用的是最大后验概率 法( m a x i m u map o s t e r i o r io rm a p ) 【1 3 。该方法利用马尔科夫随机场和贝叶斯公 式对超分辨率重建建模。第三章的改进算法是基于该方法。 m a p 方法主要框架如下: 已知图像的观测模型为: y k = w k x + 1 1 k1 k p( 2 1 4 ) 其中,y k 为低分辨率图像向量,w r 大小为l 1 l z n 2 l 1 l 2 ,表示为各种模糊、移 动、下采样在高分辨率图像x 中对低分辨率图像像素y k 的影响权值矩阵。x 为需 要复原的图像向量,则: p r ( y k 一、k x ) = p r ( n k )1 k p( 2 1 5 ) 其中,耳表示噪声概率密度函数,在x 和w i 已知的前提下,由于噪声的随机特性, 则y k 也是一个随机场,式( 2 1 5 ) 也是y k 的条件分布,即: p r ( y k w k x ) = p r ( n k ) = 耳( y k i x )1 k p( 2 1 6 ) 则m a p 法的重建为: 囊= a r g m a x xp r ( x l y l ,y p ) ( 2 1 7 ) 其中,y l 一y p 为低分辨率图像,x 为需要重建的高分辨率图像。 根据贝叶斯公式,得: 殳= a r gm a x xl p r ( y r l ,, m - - y p y x ) p p j r ( x ) j ( 2 18 ) 取对数得: 殳= a r g m a x 。 i np r ( y l ,y p i x ) + i n p r ( x ) ( 2 1 9 ) 下面分别定义耳( y 1 一y p i x ) 和p r ( 曲,p r ( x ) 表示的是图像的先验模型,通常对 1 3 第2 章超分辨率重建综述 图像x 采用马尔司夫随机场模型来描述,臣i : p r ( x ) = 三1e x p ( - 去e 。cp 伍( d t c x ) ) ( 2 2 0 ) 其中,右c cp 仅( d :x ) 称为能量函数, z 为归一化函数。b 为g i b b s 先验的温度 系数,c 是图像中所有可能的结构,c 表示图像像素位置之间的一种基本构成。 d :x 表示为图像的平滑程度,即在图像的平滑区域,d t c x 4 , ;在边缘区域,d :x 值 大,p 表示边缘惩罚函数,仪是阈值。 p 。( x ) = i i x i - a 2 筘x l 口a ( 2 2 1 ) 假设耳( y 1 一y p i x ) 是独立同分布,则 耳y l 一y p l x ) = n p :1p r ( y k i x ) ( 2 2 2 ) 如果知道w i 的准确值,那么 p r ( y k l x ) = :。y t h k 黧 ( 2 2 3 ) 由于配准得到的、k 存在误差,假设误差为高斯分布,j j 墨z , p r 帆i x ) 可表示为 5 ( y k l x ) = 丽而蒜e x p 一专0 y k 一吼x l | 2 ) ) ( 2 2 4 ) 最大后验概率法可以精确地如下表示 5 = a r g 。m i nf m ,。4 ,队。t m 儿,x ) + :;1 九kl l y 一吼x i | 2 l ( 2 2 5 ) 采用梯度法 2 9 】求解( 2 2 5 ) 约束最优化问题。 为了下面算法步骤的表述,令 f i x ( i ) ,的= m ,n ;p a ( d i m ,n ,x ) + 2 :1 札i l y 一吼x 旷 ( 2 2 6 ) m a p 算法步骤如下: 1 ) 初始化迭代次数i = 0 ,将y o 线性上采用赋予x o ; 2 ) 计算x ( i ) 梯度g i = v f ( x ( i ) ,的; 3 ) 将负梯度映射到图像约束空间,及令p i = - p g i ; 4 ) 计算迭代步长t i ( 2 2 8 ) ; 5 ) 更新数据x i + l = x i + t i p i ; 6 ) 如果坚嚣产,则x = x i + 1 ,否则i + + ,转2 。 e 述算法步骤中的相关公式如下: 1 4 第2 章超分辨率重建综述 p = i q 2 r a = 点 其中,a 为下采样矩阵,q 为扩大倍数。 2 5 重建图像质量评价 ( 2 2 7 ) ( 2 2 8 ) 对于图像重建性能的评价,至今仍是一个未解决的问题,由于没有理想的高 分辨率图像作参考,所以对重建质量进行定量的评价是很困难的。而且由于成像 系统的不同,所获得的低分辨率图像序列具有极大的差异,还没有一个客观的判 断依据或评价方法来估计一个重建图像的质量,目前还是以主观上视觉观察作为 主要判断依据。 通常的定量评价方法是基于仿真模拟实验的,即模拟图像的退化过程,使高 分辨率图像经过已知参数的几何运动、p s f 模糊、欠采样以及噪声干扰这一系列 降晰过程产生低分辨率图像序列,进而在此模拟数据的基础上进行超分辨率重建, 重建结果可以通过比较原始高分辨率图像与重建高分辨率图像进行定量的或视 觉效果上的评价,虽然这种仿真模拟实验方式并不能够精确描述实际的图像退化 过程,但被大多数研究者所采用并作为最基本的评价手段,所以本文也将采取该 方式来评价不同算法的重建性能。 超分辨率重建算法多种多样,所处理的重建条件也各不相同,如:单幅图像 的超分辨率重建;低分辨率图像之间已理想配准且配准结果已知,如多传感器阵 列超分辨率,或者相机内固定机械装置的传感器移动;观察到的图像不存在降晰 或者降晰函数已经,现有大多数算法基于这一条件,主要是降晰函数的辨识目前 还没有一个很好的解决方法;低分辨率图像间基于全局平移;等等。现有的超分 辨率文献中,通常采用以下一些辅助评价,并与双线型内插的图像作比较,但主 要还是依据主观评价【1 8 】。 a s n r = l o l o g l 。百i i x 丽- x o l l 2 ( 2 2 9 ) p s n r = i o l 0 9 1 。百( 2 n - f 1 ) 2 ( 2 3 0 ) m s e = 丽1 := 1 :f :1 ( x 【m ,n 】一囊【m ,n 】) 2 ( 2 3 1 ) 1 5 第2 章超分辨率重建综述 其中m ,n 为超分辨率图像的尺寸,x 为真实的高分辨率图像,殳为重建的 超分辨率图像,x o 为低分辨率图像的双线性内插,1 1 表示采样值的比特数。 上述的几种评价方法,本质上均采用原始图像和重建图像之间的差异,只是 表示形式的不同。在本文中,对重建的超分辨率图像采用主观评判为主,超分辨 率图像和双线性内插图像的a s n r l l 较为辅。 1 6 第3 章基f 全局运动图像序列的超分辨率重建 第3 章基于全局运动图像序列的超分辨率重建 低分辨率图像间平移运动较为常见,代表了一大类的应用,如航拍图片,卫 星图片,视频序列中的局部运动对象所以基于全局运动的超分辨率图像重建研 究一直比较活跃。本章介绍并且仿真了基于全局运动的图像配准方法,基于金字 塔的泰勒级数法和频域法,然后提出了一种改进的基于最大后验概率法( m a p ) 的算法,采用联合估计超分辨率图像和观测模型,并给出实验结果进行比较。 3 1 像素内精度的图像配准 本节首先介绍了图像配准( i m a g er e g i s t r a t i o n ) 的问题与相关解决方法,然后 本文通过实验仿真各种配准算法,进行比较分析,然后引入至下一节所提出的新 的算法中。 为了将几幅在不同位置得到的低分辨率图像序列映射到同一个网格坐标中, 首先需要进行像素内配准。低分辨率图像配准是超分辨率图像重建的一个重要环 节,配准的速度直接影响到超分辨率重建的处理效率;配准的精度直接影响到重 建图像的效果 1 5 。图像配准可毗通过空域和频域方法实现 玛丫丫丫 等书书书 旨书书书 乓书书书 图3 一i 像素内配准 像素内配准的前提是几幅低分辨率图像之间的位移在单位像素内,而不是在 整数倍像素点上,否则图像之间就包含了相同的信息。配准方法如图3 - 1 :对两 】7 第3 章基于全局运动图像序列的超分辨率重建 幅图像进行配准为例,已知参考图像f ( 网格点上的圆点) 和观测图像g ( 网格 中的圆点) ,两幅图像水平方向位移为a ,垂直方向位移为b ,像素内配准就是已 知f 和g ,求a 和b 的过程( 如果存在旋转,同时也求旋转角度) 。 3 1 1 泰勒级数法 基于泰勒级数展开进行图像像素内配准可以表示为: g 【x j y ) = f ( x 掌c o s 0

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论