（通信与信息系统专业论文）基于高斯过程回归和稀疏表示的图像超分辨率重建.pdf

u n i v e r s i t yo fs c i e n c ea n dt e c h n o l o g y o fc h i n a ad i s s e r t a t i o nf o rm a s t e r sd e gr e e i m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o n a l g o r i t h mb a s e d o n g a u s s i a np r o c e s sr e gr e s s i o n a n ds p a r s er e p r e s e n t a t i o n a u t h o r sn a m e ：s h u n ah u a s p e c i a l i t y ： c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s u p e r v i s o r ：p r o f p e i k a n gw a n g f i n i s h e dt i m e ：m a y ，2 0 1 2 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：签字日期： 塑垡：i ： 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中 国学位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内 容相一致。 保密的学位论文在解密后也遵守此规定。 d 公开 口保密( 年) 作者签名：堡整翅e 签字日期：垫f 2 ：! ：i ! 导师签名： 签字日期： 摘要 摘要 图像的超分辨率重建，是目前图像处理领域中的一个难点和热点问题。它 在不改变硬件条件的前提下，对输入的一幅或多幅图像，通过一定的信号处理 技术来提高其分辨率。由此产生的高分辨率图像，不仅实现了图像视觉质量的 改善，而且有利于图像的进一步处理和利用。目前基于样本学习的方法是解决 该课题的比较有效的方法。随着机器学习等相关领域理论的不断发展，一些新 的研究成果逐步被用来解决图像的超分辨率重建问题，其中高斯过程回归和稀 疏表示作为两种性能较好的机器学习方法，受到该课题研究学者越来越多的关 注。 本文算法基于样本学习的思想框架，通过研究高斯过程回归和稀疏表示这 两种学习方法的相关理论，提出了种高斯过程回归重建的改进算法以及实现 了高斯过程回归和稀疏表示方法之间有效地结合。 已有的一种使用高斯过程回归进行超分辨率重建的算法，仅利用图像自身 的冗余信息来进行重建，虽然能在一定程度上改善重建质量，但是重建效果还 有待提高。针对这个问题，本文提出一种基于聚类和高斯过程回归的算法来进 行改进。通过使用外部样本库并对样本库中的数据进行聚类，得到相应的训练 集，然后利用不同类的训练数据和测试数据建立相应的高斯过程回归模型，最 后将所有类的处理结果进行融合得到最终的高分辨率图像。通过实验仿真验证 了该算法具有定的改进效果。 此外，在高斯过程回归重建中需要提供一个高分辨率图像的初始估计，而 该初始估计的不同选取方式将对重建结果产生一定的影响。针对这一点，本文 提出了一种基于高斯过程回归和稀疏表示的重建算法，将通过稀疏表示得到的 结果作为该初始估计，通过相关实验验证了该算法的有效性。 关键词：超分辨率重建高斯过程回归稀疏表示聚类样本库 i i a b s t r a c t a b s t r a c t i m a g es u p e r - r e s o l u t i o ni sad i f f i c u l t ya n dh o ti s s u ei nt h ef i e l d o fi m a g e p r o c e s s i n ga tp r e s e n t 。u s i n gs i g n a lp r o c e s s i n gt e c h n o l o g y ，i tc a l l i n c r e a s et h e r e s o l u t i o no fo n eo rm o r ei n p u ti m a g e su n d e rt h ec o n d i t i o nt h a tt h eh a r d w a r ei sn o t c h a n g e da n dr e a l i z et h ei m p r o v e m e n to fv i s u a lq u a l i t y o fi m a g e sf o rf u r t h e r p r o c e s s i n ga n da p p l i c a t i o n n o wl e a r n i n g - b a s e da l g o r i t h r ai sa ne f f e c t i v ew a y t od o s u p e r - r e s o l u t i o n w i t ht h ed e v e l o p m e n to fm a c h i n el e a r n i n ga n d s o m eo t h e rt h e o r i e s r e l a t e d ，m a n yn e wr e s e a r c ha c h i e v e m e n t sh a v e b e e na p p l i e di n t o t h ef i e l do f s u p e r - r e s o l u t i o n a m o n gt h ee x i s t i n gs t u d i e s ，g a u s s i a np r o c e s sr e g r e s s i o n a n d s p a r s e r e p r e s e n t a t i o n ，a st w oo f 也eb e t t e rm e t h o d si nm a c h i n el e a r n i n g ，h a v e r e c e i v e dr e s e a r c h e r s i n c r e a s i n ga t t e n t i o ni nt h i sf i e l d b a s e do nt h ef r a m e w o r ko fl e a r n i n g - b a s e da l g o r i t h r n ，t h i st h e s i sf o c u s e so nh o w t os o l v et h ep r o b l e mo fi m a g es u p e r - r e s o l u t i o nw i t hg a u s s i a np r o c e s sr e g r e s s i o na n d s p a r s er e p r e s e n t a t i o n t h et h e s i sp r o p o s e s a l la l g o r i t h mt oi m p r o v et h ee x i s t i n g g a u s s i a np r o c e s sr e g r e s s i o na l g o r i t h ma n dr e a l i z et h ee f f e c t i v ec o m b i n a t i o no f g a u s s i a np r o c e s sr e g r e s s i o na n ds p a r s er e p r e s e n t a t i o ni ns u p e r - r e s o l u t i o np r o c e s s t h ee x i s t i n g a l g o r i t h m f o r s u p e r - r e s o l u t i o nr e c o n s t m c t i o n w i t hg a u s s i a n p r o c e s sr e g r e s s i o no n l ym a k e st h er e c o n s t r u c t i o nw i t ht h er e d u n d a n ti n f o r m a t i o no f t h ei m a g e a l t h o u g hi tc o u l di m p r o v et h eq u a l i t yi nas e n s e ，t h e r ei ss t i l lab i gr o o m f o ri t si m p r o v e m e n t i nv i e wo ft h a t ，t h i st h e s i sp r o p o s e san e wa l g o r i t h r nb a s e do n c l u s t e r i n ga n dg a u s s i a np r o c e s sr e g r e s s i o nf o rt h ei m p r o v e m e n t u s i n ga ne x t e r n a l d a t a b a s ea n dc l u s t e r i n gt h ed a t ai nt h et r a i n i n gd a t a b a s e ，t h er e s e a r c hb u i l d sa c o r r e s p o n d i n gt r a i n i n gs e t ，u n d e r t a k e st h eg a u s s i a np r o c e s sr e g r e s s i o nm o d e l t ot h e t r a i n i n gd a t aa n dt h et e s t i n gd a t ao f d i f f e r e n tt y p e s ，a n dt h e ni n t e g r a t e sa l lt h er e s u l t s t oo b t a i naf i n a lh i g h - r e s o l u t i o ni m a g e t h ee x p e r i m e n t a ls i m u l a t i o nr e s u l t sv e r i f i e d t h a t , c o m p a r e dw i t ht h ee x i s t i n ga l g o r i t h m ，t h ep r o p o s e da l g o r i t h mc o u l da c h i e v e b e t t e rp e r f o r m a n c e c o n s i d e r i n gt h a tt h e r ee x i s t sd i f f e r e n c ei nd e a l i n gw i mi n i t i a lv a l u eo ft h e p r e d i c t i n gh i g h - r e s o l u t i o ni m a g ei ng a u s s i a np r o c e s sr e g r e s s i o nr e c o n s t r u c t i o n , t h i s t h e s i se x p l o r e st h ea l g o r i t h mt h a tc o m b i n e sg a u s s i a np r o c e s sr e g r e s s i o na n ds p a r s e r e p r e s e n t a t i o n t h ep r o p o s e da l g o r i t h m r e c o n s t r u c t e dh i g h - r e s o l u t i o ni m a g e e m p l o y e dt h er e s u l to fs p a r s er e p r e s e n t a t i o n a s t h ei n i t i a lv a l u e ，f o l l o w e db y i i i g a u s s i a np r o c e s sr e g r e s s i o n t h ee x p e r i m e n tr e s u l t ss h o wt h ea l g o r i t h mi s a n e f f e c t i v ew a yt od e a lw i t hs u p e r - r e s o l u t i o np r o b l e m s k e yw o r d s ：s u p e r - r e s o l u t i o n ，g a u s s i a np r o c e s sr e g r e s s i o n , s p a r s er e p r e s e n t a t i o n ， c l u s t e r i n g ，t r a i n i n gd a t a b a s e i v 目录 目录 第1 章绪论1 1 1 研究背景与应用领域。一1 1 2 图像超分辨率重建的发展现状2 1 2 1 基丁插值的算法2 1 2 2 基于重建的算法3 1 2 3 基于样本学习的算法6 1 3 主要研究内容及论文组织结构9 1 3 1 主要研究内容9 1 3 2 论文组织结构1 0 第2 章高斯过程回归和稀疏表示1 1 2 1 高斯过程回归1 1 2 1 1 高斯过程回归的基本原理11 2 1 2 核函数的选取。1 3 2 1 3 超参数的学习1 4 2 1 4 基于高斯过程回归的单幅图像重建1 5 2 2 稀疏表示1 6 2 2 1 稀疏表示在解决反问题中的应用- 1 7 2 2 2 冗余字典。1 8 2 2 3 稀疏系数的优化算法2 0 2 3 本章小结2 1 第3 章基于聚类和高斯过程回归的超分辨率重建2 3 3 1 数据预处理2 3 3 1 1 图像分块。2 3 3 1 2 数据聚类2 4 3 2 高斯模型的选择2 5 3 3 基于聚类和高斯过程回归的超分辨率重建2 8 3 3 1 训练库的建立。2 8 v 目录 3 3 2 算法流程2 9 3 4 实验仿真3 0 3 5 本章小结：3 6 第4 章基于高斯过程回归和稀疏表示的超分辨率重建3 7 4 1 基于稀疏域的算法3 7 4 1 1 双稀疏限制下的k s v d 字典3 8 4 1 2 算法原理j 3 9 4 2 基于高斯过程回归和稀疏表示的算法3 9 4 2 1 基于稀疏表示的算法4 0 4 2 2 算法原理一4 l 4 3 实验仿真4 2 4 4 本章小结4 7 第5 章总结和未来展望4 9 5 1 总结4 9 5 2 未来展望4 9 参考文献51 致 射5 5 在读期间发表的学术论文与取得的研究成果5 7 v l 第1 章绪论 1 。1 研究背景与应用领域 第1 章绪论 在多媒体技术广泛使用的今天，图像和视频信息已经和人们的日常生活紧密 联系在一起。从电视的画面质量到手机设备、数码相机这些电子设备的成像效果， 高分辨率的图像不仅能给人们带来视觉上更好的体验，同时也有利于感兴趣物体 或目标的识别和检测。然而，实际的成像过程不可避免地会受到传感器尺寸大小、 成像技术、欠采样以及成像环境中噪声、模糊等因素的影响而导致采集到的图像 产生退化，视觉质量不理想。要提高图像分辨率，一般需要考虑减小传感器的尺 寸或者增大处理芯片的尺寸，但是这种从硬件设备上进行改进的方法存在着诸多 限制同时也需要昂贵的经济代价。 在计算机视觉领域，随着图像处理技术的不断发展，人们开始尝试使用数字 图像处理技术来提高图像分辨率。图像的分辨率越高，细节表达就越清晰，从而 提供的信息就越精确。自1 9 8 4 年t s a i 和h u a n g 提出在频域解决图像超分辨重建 问题以来，图像的超分辨重建研究成为图像处理领域里的一个研究热点，研究学 者致力于使用超分辨率重建技术对输入的低分辨率( l o w - r e s o l u t i o n ，l r ) 图像 进行处理，以得到一幅或多幅高分辨率( h i g h - r e s o l u t i o n ，h r ) 图像。经过处理 后得到的高分辨率图像一方面在图像的视觉质量上得到了改善，另一方面也更利 于图像特征提取与目标识别。图像超分辨重建是一种图像融合技术，其基本思想 是结合一定的先验信息，通过对多幅图像之间的相关或相似信息进行融合来重构 出高分辨率图像，弥补了观测图像在信息提供方面的局限性。 近年来，随着机器学习理论、小波理论等信号处理技术的快速发展，图像超 分辨率重建的研究也在不断向前发展，同时也取得了一些显著性的研究成果。目 前图像超分辨重建技术已成为获得高分辨率图像的一个实用且有效的方法，它不 仅可以克服图像在成像过程中的限制，达到提高图像分辨率、改善视觉质量的目 的，同时也能在不改变成像设备的前提下节约经济成本。 从应用前景上看，图像超分辨率重建技术在很多领域具有很高的应用价值。 例如在军事侦察领域，成像结果往往受到成像系统的限制，难以获得较高分辨率 的图像，通过超分辨率重建技术可以利用采集到的低分辨率图像来产生高分辨率 图像；在医学成像领域，较高分辨率的图像对于医生的诊断更为有利；在视频监 控领域中，监控使用的摄像头往往离目标很远，使得拍摄到的视频不利于识别， 通过对感兴趣区域或目标进行超分辨率重建，可以提高现场采集到的图像的识别 第1 章绪论 能力，获得有利的信息。此外在卫星遥感，高清电视技术等领域，图像超分辨率 重建技术也具有很高的应用价值。随着图像超分辨率重建技术的发展，能够应用 的领域也将越来越多。 1 2 图像超分辨率重建的发展现状 早期的超分辨率重建研究主要集中在频域，旨在探索如何通过消除低分辨率 图像的频谱混叠来还原出原始高分辨图像的频谱信息。t s a i 和h u a n g t l 】提出了针 对多帧卫星图像的超分辨重建算法，他们假设观测到的低分辨率图像序列是无噪 声的，通过探讨信号傅里叶变化的位移特性以及连续频谱和离散频谱之间的混叠 关系，建立低分辨率图像频谱和原始图像连续傅里叶变换之间的矩阵方程，求得 的方程组解即为待复原的高分辨率图像的频谱。在此基础上，许多学者又提出了 一些改进算法。如k i m 和s u 2 考虑了成像过程低分辨率图像之间的模糊特性不 同，r h e e 和k 眦9 3 】用离散余弦变换代替离散傅里叶变换，降低了数据存储量和 计算代价。 频域的方法理论简单而且易于并行实现，但是针对的模型仅限于全局运动模 型，不能有效利用先验信息。针对此问题，近年来的研究主要集中在空间域进行。 空域的方法观测模型较广，目前主要的算法可以分为以下三类： ( 1 ) 基于插值的算法； ( 2 ) 基于重建的算法； ( 3 ) 基于样本学习的算法。 1 2 1 基于插值的算法 在多帧图像超分辨率重建中，非均匀内插法是一种比较直观的重建方法。算 法首先对图像序列进行配准，然后根据配准得到的信息将不均匀的采样点插值到 均匀的采样点，从而得到最终的高分辨率图像。s h a h 和z a k h o r1 4 】针对视频图像 提出了将配准误差考虑在内的超分辨重建算法，对于每个像素点建立一系列的运 动系数估计而不是单一的运动向量。n g u y e n 和m i l a n f a r 5 】提出了一种在小波域进 行插值的算法，将配准后的图像变换到不同尺度下的小波域中，然后通过小波系 数进行超分辨率重建。 在单帧图像超分辨重建中，比较简单的线性插值方法有最近邻插值，双线性 插值和三次样条插值。这些插值方法虽然速度很快，但是视觉质量并不理想，在 边缘和细节处存在较大程度的模糊。为了改善插值算法在边缘处的重建效果，一 些非线性插值算法被提出来。其中l i 等【6 】提出的基于边缘的插值算法具有很重要 2 第1 章绪论 的意义。该算法利用了高分辨率图像和低分辨率图像在协方差上存在的几何对偶 性，通过计算低分辨率图像中各个边缘像素点的局部协方差系数，自适应得到高 分辨率图像中待插入的各点像素值。 总体来说，插值的方法计算量小，能实现实时应用，但是建立的降质模型十 分简单，只适用于所利用的图像模糊特性和噪声分布都相同的情况，同时因为没 有考虑重建误差和利用先验信息，很难恢复出图像的高频信息，对分辨率的提高 效果有限。 1 2 2 基于重建的算法 一般而言，由于实际获得的低分辨率图像数量有限以及模糊操作具有不可逆 性，超分辨率重建问题是一个病态问题。病态问题的解空间往往不唯一，需要一 定的先验信息进行约束以找到重建误差最小并和实际情况最匹配的解。目前，已 有的一些基于重建的算法主要有以下几种： ( 1 ) 迭代反投影算法( n 3 p ) 迭代反投影算法的基本思想是：如果重建得到的高分辨率图像和真实的高分 辨率图像接近，那么将重建结果按照模拟的降质模型进行降质得到的低分辨率图 像和已知的低分辨率图像之间也应该存在一致性，将二者之间的差别进行反向投 影，进行多次迭代运算，直n - 者差值小于某个值为止。通过矩阵形式，迭代过 程可以表示如下： x 恤+ 1 = x ”+ i t 8 e ( y g x ( “)( 1 1 ) 其中h 卯是反向投影核，决定着每一次迭代差值的权值，g 是降质模型参数，y 是观测到的低分辨率图像，x ( ”) 和x ( 肿1 是第，l 和n + 1 次迭代得到的高分辨率图像。 i r a n i 和p e l e g t 7 】通过使用i b p 算法对视频序列中存在复杂运动的目标进行超 分辨率重建，b o r m a n 等【8 】对解的唯一性进行了深入探讨，z o m e t 9 等提出了一种 具有鲁棒性的i b p 算法。 在使用迭代投影算法时，反向投影核h 凹的选取对重构结果的影响较大，但 是一方面h 卯的选取很难，另一方面由于重建问题的病态性，选取的反向投影核 h 最p 若不同，将会导致得到的解不同，从而使重构结果不唯一。此外，迭代过程 并不能保证收敛性。 ( 2 ) 凸集投影算法( p o c s ) 凸集投影方法是一类基于集合论的图像处理算法，在迭代运算过程中引入了 一定的先验知识，每一个约束条件为一个凸集，超分辨率重建的解存在于这些凸 集的交集中。在给定一个高分辨率图像的初始估计后，使用凸集投影算子将其投 第1 章绪论 影到相应的凸集中，通过迭代得到最后的收敛解，其过程如下式所示： x 斛1 = 最最- 1 只一 ( 1 2 ) 其中p 是初始状态，p 是投影算子，将任意的x 投影到相应的凸集上。 s t a r k 和o s k o u i 1 0 】首次将此理论引入到超分辨率重建中。他们假设图像具有 一系列特性：蜀，乃，巩，每一个特性即为图像解空间的一个限制条件，这些特 性被抽象成一个凸集。由于他们的算法没有考虑到局部运动，因而不能去除运动 模糊。j p a t t i 等【l l 】考虑了运动模糊，同时将噪声等因素加入到观测模型中，改 进了算法的效果。凸集投影的算法可以很好地结合先验信息，同时也能很灵活地 处理各种复杂的观测模型，但是收敛速度比较慢，计算量大，而且解依赖于初始 值，解不唯一。针对此问题， e l a d 1 2 】等提出了混合m a p p o c s 的方法，利用 m a p 有唯一解、能有效抑制噪声的优点和p o c s 能较好地结合先验信息、边缘 保持能力强的优点，将图像的统计特征和凸集特性结合起来，保证了先验信息更 加有效地使用，同时也能产生一个最优解。 ( 3 ) 最大后验概率( m a p ) 贝叶斯估计是概率论中一种重要的随机信号处理方法，在贝叶斯理论框架 下，可以使用马尔科夫模型对不同的噪声特性灵活地建模，同时还可以直接引入 先验信息，通过对病态问题进行约束来得到唯一解。 令观测到的图像为】，噪声为，日为降质操作，x 为高分辨率图像，图像 的降质模型可以表示如下： y = h x + n ( 1 3 ) 如果高分辨率图像的后验概率密度函数已知，那么可以通过使用最大后验概 率的方法来求解上式中的x ，使得到的解曼满足下式： 戈= a r gm a x p ( x f y ) ( 1 4 ) 工 根据贝叶斯理论可得： 殳= a r gm a x p ( ylx ) p ( 曲)( 1 5 ) 工 对上式取对数，可得： 圣= a r gm a x l o g p ( yx ) + l o g p ( x ) ( 1 6 ) 工 其中，l o g p ( y l x ) 是对数形式的似然函数，由噪声的概率密度函数决定，l o g p ( x ) 表示图像的先验模型，采用马尔科夫随机场进行建模，p ( x ) 可以表示为： 1 p ( 功= 专e x p ( - u ( x ) ) ( 1 7 ) 厶 其中z 为归一化的常数，u ( 曲是一个能量函数，表示如下： 4 第1 章绪论 u ( x ) = 圪( x ) ( 1 8 ) c 这里，虼( x ) 表示的是一个位势函数，用来表征图像的平滑度。在实际应用中， 如果能保证u ( z ) 是凸函数，则可以得到唯一的解，并且通过梯度下降法可以获 得这个唯一解。 m a p 方法在解决病态问题上的有效性使得该算法在超分辨率重建研究中得 到了广泛的应用。s c h u l t z 和s t e v e n s o n t l 3 】给出了基于m a p 的超分辨率重建算法 的基本框架，采用m a p 方法从视频序列中重建出一帧高分辨率图像。他们提出 基于正则化的运动估计，采用分级块匹配方法进行像素配准，利用h u b c r 函数的 边缘保持能力，来产生具有清晰边缘的高分辨率图像。m a p 算法能达到收敛， 但是运算量一般较大，不利于实时应用。针对此问题，t a n a k a 和o k u t o m i t l 4 】提出 了一种基于m a p 的快速重建算法，通过简化代价函数，来减少率重建中需要的 像素点数量，将坐标离散化来统一每一个像素点的点扩散函数( p s f ) 形式，随 之降低了计算量，但是这种离散化操作也导致重建图像中出现了锯齿现象。 同时m a p 算法也能应用在超分辨图像的盲重建中。h e 1 5 】等使用m a p 算法 来对未知函数形式的p s f 进行辨别，引入软模糊先验知识来衡量模糊特性的参 数，通过最小化代价函数来得到最终的重建结果。 最大似然估计( m l ) 作为m a p 估计在等概率条件下的特例，能够用来估 计低分辨率序列之间的亚像素位移，同时结合期望最大化( e m ) 算法进行迭代 可以求得最优解。但是因为没有引入先验信息，重建效果不如m a p 。 ( 4 ) 正则化 对于病态问题的求解，通过正则化过程可以对解空间进行规整。实际中，许 多超分辨率重建算法常常结合一定的正则化信息来进行求解。在常用的最j 、- - 乘 法约束下，超分辨率重建转化成一个代价函数最小化的问题，如下式所示： x = a r gm i n l l y h 码馐+ 坤( x ) ( 1 9 ) 其中，i t y - n x l l i 表示的是重建后的高分辨率图像和观测图像之间的拟合度，p ( x ) 是正则化项，包含先验信息。因为大多数图像的高频信息有限，一般使用的约束 为平滑约束。九是正则化因子，用来平衡解的真实性和平滑性，九越大，得到的 图像特性越平滑，九越小，得到的图像越接近真实图像。在正则化方法中，比较 常用的先验知识有拉普拉斯先验，最小二乘先验，偏微分方程( p d e ) 先验等。 正则项的引入，能有效地约束解空间，确保了解的唯一性，改善了超分辨率 重建问题的病态性，同时也为研究更加鲁棒的超分辨率重建算法提供了一种简单 而可行的途径。 第1 章绪论 1 2 3 基于样本学习的算法 自然图像往往包含很多丰富的信息以致于很难用一种有效的特征表示方法 来解析化，通过数学模型来研究超分辨率重建往往存在局限性。基于重建的算法 在分辨率放大因子增大的时候，重建性能会有明显的下降，而且实际中获得的低 分辨率图像数量往往有限，难以满足重建算法的需要。这些问题使得研究学者开 始尝试用新的方法来解决超分辨率问题。基于样本学习的超分辨率重建算法是近 年来超分辨率研究的热点，它从研究图像数据的内在规律出发，通过引入样本库 来发掘测试数据和训练数据之间的相关性，经过样本训练和学习两个过程来增强 或增加测试图像的高频细节，实现超分辨率重建。 基于样本学习的方法假设相似的低分辨率特征对应着相似的高分辨率特征， 如果样本库中存储有一一对应的高低分辨率图像对，那么则可以通过学习得到 测试数据相对应的高分辨输出。在较大的分辨率增大因子下，基于样本学习的方 法仍能实现较好的重建质量，从而有效地克服了基于重建的算法的不足。本文的 研究内容也是在基于样本学习的框架下进行的。 在样本库中信息一般是以图像块的形式进行存储，存储的内容在不同的学习 方法下有不同的表达形式，一般为高频信息和与其对应的低频信息。s u n t l 6 】提出 了一种基于图像基元的样本学习方法，图像基元可以通过具有1 6 方向的一阶和 二阶高斯导数滤波器组进行提取，提取出的基元块能表征图像的各种边缘特征从 而有利于数据的准确分类，达到提高匹配精度的效果。 根据样本库中图像的来源，可以分为外部数据库和内部数据库。外部数据库 一般由大量不包含测试图像在内的图像组成。在选择样本库时，应尽可能保证样 本库中包含有足够多的图像特征信息以利于匹配选择。g l a s n e r t l 7 】对单幅输入图 像在不同尺度下的相似性进行了分析，提出了一种基于图像自身冗余信息的样本 库建立方法。通过对测试图像进行不同尺度的插值来产生样本库，样本库信息仅 来源于输入的测试图像。这种方法充分利用了图像中存在冗余信息的特性，但是 自适应能力较差，难以提供足够的信息。本文中研究的算法采用的是外部样本库。 关于样本库的使用，大致可以分为两类：第一类是在重建中，先假设一个先 验模型，通过对样本库进行学习来不断调整这个先验模型的各个参数。如z h u 1 8 通过对样本进行训练学习来得到马尔科夫随机场中的先验参数。当先验参数得到 后，直接使用先验模型进行重建，样本库则不直接参与超分辨率重建。第二类是 直接使用样本库进行重建。通过在线或离线建立样本库，直接应用在超分辨率重 建中，这种是目前比较有代表的研究方法。在这种方法下，模型的作用被削弱， 而样本库将对重建结果起着很大的决定作用。 目前，基于学习的超分辨率重建方法主要有以下几种： 第1 章绪论 ( 1 ) 马尔科夫网络( m r f ) 方法 麻省理工学院( m i t ) 的f r e 锄a i l 【1 9 】等人提出了基于样本学习的方法，首先 需要获得大量的自然图像来构造训练样本集，然后通过马尔科夫网络对样本库中 高低分辨率图像块之间的关系进行概率建模。假设每个图像块对应着马尔科夫网 络的一个节点，输入的低分辨率图像块对应一个观测节点，待预测的高分辨率图 像块对应一个隐节点，每个节点之间是相互独立的。通过基于树的最近邻搜索算 法进行搜索匹配后得到每个观测节点所对应的隐节点的k 个状态，然后利用置 信传播算法选出k 个候选状态中出现概率最大的状态作为相应的高分辨率输出。 在各个图像块的像素重叠处，为了保证相邻图像块的像素分布尽可能一致，需要 计算兼容性函数y ，其定义形式如下： d f x z l 甲( 薯，x ，) = e x p ( 一型半) ( 1 z o ) z 盯 其中盔，表示的是在重叠区域内，两个相邻的高分辨率图像块x t 与x ，各个对应点 像素差的平方和，仃是噪声参数。甲的值越高，则两个隐节点表示的状态之间 的兼容性就越高。f r e 锄a n 1 9 】的算法能有效利用样本库来增加图像的高频信息， 但是需要在样本库中进行的搜索量十分巨大，计算代价较高，而且如果出现了误 匹配，会重建出一些和图像整体特性不相符的细节。 除此之外，将马尔科夫网络用于人脸图像超分辨率重建的研究也受到很多学 者的关注。如l i u 等【2 0 】将人脸图像重建过程大致分为两步，结合全局特征和局部 特征对人脸图像进行超分辨重建。首先使用主成分分析( p c a ) 和m a p 方法来 计算全局模型，然后结合马尔科夫网络，通过能量最小化，分块训练得到表示局 部信息的残差块，最后将全局信息和局部信息进行整合后得到重建后的结果。 z h a n g 等 2 1 】提出了一种基于d c t 域的方法，假设图像为同性质的随机数据块， 重建出的信息不是图像的像素值，而是d c t 系数。d c t 系数中代表图像整体特 征的d c 系数通过插值得到，而对于d c t 系数中能反映人脸图像中鼻子，眼睛 等局部特征的a c 系数，则通过对样本数据进行学习得到，将两部分系数进行叠 加得到高分辨率图像的d c t 系数。对其进行d c t 反变换，即为重建后的图像。 人脸图像作为一类具有高级语义特征的图像，一般不易进行建模。而马尔科夫网 络良好的数据统计特性使它能较好地解决人脸图像的超分辨重建，但是在搜索速 度和图像块之间的兼容性上还需要进一步优化。 ( 2 ) 邻域嵌入方法 在数据处理中，常常需要利用一定的降维方法来解决因维数升高而产生的计 算代价增加的问题。当数据集呈现全局非线性时，传统的降维方法如p c a 法往 往难以给出精确的描述。2 0 0 0 年，s a u l 和r o w e l s 2 2 】提出了一种局部线性嵌入 第1 章绪论 ( l l e ) 算法，它能很好地反映高维欧式空间中非线性数据集的内在结构，实现 对数据的降维。在l l e 框架中，认为高维观测空间中的每个样本点蕾为其邻域 样本点的线性组合，可以用下式表示： k 五c o , i x u ( 1 1 1 ) = l 其中表示的是高维空间中距离最近的k 个数据，哆，表示每个像素点对薯影 响的权值。进行降维后，高维数据具有的这种线性关系映射到低维空间后仍然保 持不变，即在低维空间中仍然保持原数据之间的邻域特性。假设在高维欧式空间 中有一个数据集x = x a ，x ：，h ) r d ，要将其映射到低维空间r d ( d d ) 中， 需要进行以下步骤： 步骤1 ：计算数据集x 中任意两点誓，x ，之间的欧式距离，通过距离选出在 数据集中离每个样本点蕾最近的k 个近邻，形成集合 嘞) 盖。 步骤2 ：通过求解下列目标函数，计算k 个邻域所对应的权值矩阵： xk m i n 占( 形) = l l 蕾一嘞1 1 2s t = 1 ( 1 1 2 ) f j = lj = l 步骤3 ：利用步骤2 获得的权值矩阵，求解下列目标函数： 足 n a n i ly ；一均1 1 2 ( 1 1 3 ) i j = l 上式可以通过求解对称矩阵m = ( i w ) r ( i w ) 的d 个最小特征值得到最优解。 在2 0 0 4 年，c h a n g 等【2 3 】提出基于邻域嵌入的超分辨率重建算法。其基本思 想是将低分辨率图像看成低维数据，高分辨率图像看成高维数据，这样超分辨率 重建问题就转化为一个由低维数据到高维数据的过程，这个过程可以看成是降维 过程的逆过程。首先通过每个低分辨率图像块在样本库中的k 邻域来构造l l e 算法中的权值矩阵，然后利用权值矩阵和k 邻域所对应的高分辨率图像块得到 待预测的高分辨率图像块，最后通过一定的平滑约束条件重建得到最终图像。这 种方法的优点在于学习过程中需要的训练样本较少，往往使用一幅样本图像即可 实现，缺点是选取的特征较简单。 在该算法的改进方面，c h a n 掣2 4 】提出用直方图匹配的方法来选择更加有效 的训练样本库，f a n 等 2 5 】提出利用图像基元块和邻域嵌入相结合的方法，c h a r t 等【2 6 】提出了一种基于边缘和特征选择的邻域嵌入方法，通过提取边缘特征，根据 边缘处不同的方向特性来选择不同的的邻域数目，改变了c h a n g 2 3 1 算法中对所有 的低分辨率图像块都选择相同的邻域数目的做法。根据输入图像的特性来灵活的 选择邻域数目，不仅可以节省一部分运算量，而且可以使图像的边缘特性得到增 第1 章绪论 强，从而改善边缘处的视觉质量。 ( 3 ) 稀疏表示 利用压缩感知的理论，y a n g _ 【2 7 】提出基于稀疏表示的超分辨重建算法。首先 需要提取图像高频特征，通过大量的样本图像构造出与h r 图像和l r 图像相对 应的冗余字典，然后在稀疏分解的模式下得到l r 图像块在低分辨率字典下的稀 疏系数，利用此稀疏系数和高分辨率字典来得到待求的高分辨率图像块，最后将 各个高分辨率图像块按照一定的规律恢复出最终的结果。 近来，d o n g 掣2 8 】提出了一种单字典的稀疏表示重建方法，只需通过训练得 到高分辨图像字典，然后根据图像降质模型，进行阈值迭代收缩得到高分辨率图 像。算法同时利用了图像中存在冗余信息的特性，加入了一定的正则化约束，使 得重建过程同时满足局部和全局的稀疏度限制，最后的结果在视觉质量上有一定 的提高。 稀疏表示的方法能在重建中保持图像邻域关系，克服了邻域嵌入算法中需要 设定邻域数目的缺点，但是重建中需要用到的字典往往没有统一的形式。 ( 4 ) 支持向量机回归算法等 除了以上方法之外，一些机器学习算法的研究成果也逐渐被应用到超分辨率 重建中。如神经网络，支持向量机回归( s v r ) 等。其中支持向量机回归的研究较 多，效果也较好。支持向量机回归是一种基于核函数的回归方法，具有较好的非 线性映射能力。n i 2 9 】【3 0 】将超分辨率重建看成是一个回归问题，使用s v r 方法在 d c t 域中解决超分辨重建问题，然后又提出了一些改进方法，通过使用s v r 来 学习l r 图像块和h r 图像块中心像素之间的关系，利用学习到的统计规律来进 行预测。 基于支持向量机回归的方法能很好的实现对样本的充分利用，而且适用于小 样本的情况。但是支持向量机对于超参数的确定需要使用交叉验证的方法，这导 致模型的泛化能力不强。同支持向量机一样，本文中使用的高斯过程回归也是一 种回归算法，但是在超参数的选择上可以通过对训练样本进行学习得到而不需要 使用交叉验证。 1 3 主要研究内容及论文组织结构 1 3 1 主要研究内容 基于样本学习的算法是目前超分辨率研究领域里一种十分有效的算法，能通 过合理利用样本库信息来增加图像的高频信息。本文的工作基于这一思想框架， 第1 章绪论 通过使用高斯过程回归和稀疏表示的学习方法来研究超分辨重建。总体来说，本 文的主要工作有两方面：第一个方面在于对已有的基于高斯过程回归的超分辨率 重建算法进行了改进，提出了基于聚类和和高斯过程回归的重建