（计算机应用技术专业论文）基于图模型的超分辨率图像重建.pdf

1 1 1 1 1 1i i i i l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l l u l y 17 4 9 9 3 2 t h e s i ss u b m i t t e dt ot i a n ji nu n i v e r s i t yo f t e c h n o l o g y f o r t h em a s t e r sd e g r e e s u p e r - r e s o l u t i o ni m a g e r e c o n s t r u c t i o nb a s e do n g r a p h i c m o d e l b y y a nj i em a s u p e r v i s o r h u az h a n g d e c e m b e r2 0 0 9 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取 得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得 墨盗堡兰太堂或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：3 柱之签字日期：弘j 。年j 月7 日 学位论文版权使用授权书 本学位论文作者完全了解墨盗墨墨盘兰有关保留、使用学位论文 的规定。特授权墨盗墨墨盘鲎可以将学位论文的全部或部分内容编入 有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编， 以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子 文件。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：乌现立 导师签名： 签字啪渤l 衅m2 7 日 略郴 l 签字啪。纠啤月7 日 摘要 空问分辨率是图像质量评价的一个重要指标，然而在数字图像的采集和处理过程 中，有许多因素会导致图像分辨率的下降，如：传感器的形状和尺寸、光学部件的性能、 成像、传输存储过程中产生的噪声。又由于采用高密度的光学仪器和图像传感器提高图 像分辨率的方法在实际应用中的成本难以接受，所以人们开始探讨采用超分辨率图像重 建技术来提高图像分辨率。所谓超分辨率图像重建是指从单幅或序列低分辨率图像中产 生高分辨率图像。由于该技术在视频监控安全领域、医学成像、遥感等领域都有十分广 泛的应用前景，因此成为近年来计算机视觉和数字图像处理领域中的一个研究热点。 本文研究了基于图模型的超分辨率图像重建算法并采用人脸图像进行了实验结果 验证，主要研究了在马尔科夫网络下基于学习的超分辨率重建算法并提出自己的研究观 点和实验效果，具体内容如下： ( 1 ) 研究基于马尔科夫网络的人脸图像超分辨率方法。该方法利用马尔科夫网络能 准确地描述图像的统计特征来建立图像的马尔科夫网络模型，把训练集中的低分辨率图 像和相应的高分辨率图像分成若干个图像块，每一个图像块对应网络模型中的一个结 点，网络参数从训练样本中学习得到。同时马尔科夫网络的条件独立性导致了可分解的 后验概率，运用贝叶斯信念传播算法进行迭代求解得出最优解。实验证明，该方法能达 到预期的效果，很好地保持人脸图像的面部表情。 ( 2 ) 通过对马尔科夫网络超分辨率算法的研究，总结出基于学习的超分辨率算法思 想框架。该框架分为三步，即产生训练集建立学习模型求出最优解。 ( 3 ) 在马尔科夫网络学习框架的基础上，提出了基于k m e a n s 和改进相容函数的 超分辨率算法。马尔科夫网络参数同样从训练样本中学习得到，并由k - m e a n s 聚类算法 来计算其概率分布。该改进算法的优点在于，通过对训练样本中的低分辨率图像块进行 k - m e a n s 聚类可以大大减少计算开销；同时利用k - m e a n s 的聚类结果，提出了一种新的 相容函数，减少了视觉上的突兀跳跃所造成的整幅图像的不协调。实验结果表明，本文 给出的超分辨率算法是可行的，并与同类f r e e m a n 算法相比能取得较好的结果，使得超 分辨率后的图像更平滑自然。 关键词：超分辨率马尔科夫网络相容函数k - m e a n s贝叶斯信念传播算法 a b s t r a c t s p a t i a lr e s o l u t i o ni sa i li m p o r t a n ti n d i c a t o ri ni m a g eq u a l i t ye v a l u a t i o n ，b u tm a n yf a c t o r s a r el i k e l yl e a d i n gt oad e c l i n ei ni m a g er e s o l u t i o ni ni m a g ea c q u i s i t i o na n dp r o c e s s i n g ，s u c ha s t h es h a p ea n ds i z eo ft h es e n s o r s ，t h ep e r f o r m a n c eo ft h eo p t i c a lc o m p o n e n t sa n dn o i s e si n i m a g i n g , t r a n s m i s s i o na n ds t o r a g ep r o c e s s ，a n ds oo n w h a t sm o r e ，t h ec o s ti su n a c c e p t a b l e i na c t u a lc a s e sb yu s i n gh i g h - d e n s i t yo p t i c a ld e v i c e sa n di m a g es e n s o r st oi m p r o v ei m a g e r e s o l u t i o n t h e r e f o r et h es c i e n t i s t sb e g a nt oa p p l ys u p e rr e s o l u t i o ni m a g er e c o n s t r u c t i o n t e c h n o l o g yt oi m p r o v ei m a g er e s o l u t i o n t h es u p e r - r e s o l u t i o n ( s r ) i m a g er e c o n s t r u c t i o n r e f e r st oa na l g o r i t h mw h i c hp r o d u c e sah i g h - r e s o l u t i o n ( h r ) i m a g ef r o mo n eo ras e q u e n c e o fl o w - r e s o l u t i o n ( l r ) i m a g e s s i n c et h i st e c h n o l o g yh a sa v e r yb r o a da p p l i c a t i o np r o s p e c t s i nt h ef i e l do f s e c u r i t yv i d e os u r v e i l l a n c e ，m e d i c a li m a g i n g ，a n dr e m o t es e n s i n g ，t h u si nr e c e n t y e a r s ，i th a sb e c o m eah o tr e s e a r c hi nt h ef i e l do fc o m p u t e rv i s i o na n dd i g i t a li m a g e p r o c e s s i n g i nt h i sp a p e r , w es t u d i e d s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o na l g o r i t h mb a s e do n g r a p h i c a lm o d e la n da l s od i de x p e r i m e n tr e s u l t su s i n gf a c ei m a g e s w em a i n l yf o c u so n l e a r n i n g - b a s e dm e t h o df o rm a r k o vn e t w o r ki m a g er e c o n s t r u c t i o na n dp r o p o s eo u ro w ni d e a s a n de x p e r i m e n t a lr e s u l t s ，a sf o l l o w s ： ( 1 ) r e a r c h i n go nf a c ei m a g es u p e r - r e s o l u t i o nm e t h o db a s e do nm a r k o vn e t w o r k t h i s m e t h o dt a k e sa d v a n t a g eo fm a r k o vn e t w o r kw h i c hc a na c c u r a t e l yd e s c r i b et h es t a t i s t i c a l c h a r a c t e r i s t i c so fi m a g e ss oa st ob u i l du pm a r k o vn e t w o r km o d e lo fi m a g e s w ed i v i d e d b o t ht h el ri m a g e sa n dt h ec o r r e s p o n d i n gh ri m a g e si nt h et r a i n i n gs e ti n t os e v e r a lp a t c h e s a n da s s i g no n en o d eo fm a r k o vn e t w o r k n e t w o r kp a r a m e t e r sc a nb el e a r n e db yt r a i n i n g s a m p l e s a tt h es a m et i m e , m a r k o vc o n d i t i o n a li n d e p e n d e n c el e d - t o t h ed e c o m p o s a b l e p o s t e r i o rp r o b a b i l i t y , s ot h eo p t i m a ls o l u t i o nc a nb eo b t a i n e db yu s i n gb a y e s i a nb e l i e f p r o p a g a t i o ni t e r a t i v e l y e x p e r i m e n t ss h o wt h a tt h i sm e t h o dc a na c h i e v ed e s i r e de f f e c ta n dc a n m a i n t a i nf i n ef a c i a le x p r e s s i o n s ( 2 ) t h es u p e r - r e s o l u t i o na l g o r i t h mf o rm a r k o vn e t w o r kh a sb e e nd e e p l yr e s e a r c h e d ，s o w es u m m e du pt h es u p e r - r e s o l u t i o na l g o r i t h mf r a m e w o r kb a s e do nl e a m i n g t h ef r a m e w o r k i sd i v i d e di n t ot h r e es t e p s ，t h a ti s ，g e n e r a t i n ga t r a i n i n gs e t b u i l d i n gal e a r n i n gm o d e l - o b t a i n t h eo p t i m a ls o l u t i o n ( 3 ) b a s eo nt h el e a r n i n gf r a m e w o r k ，w ep r o p o s eas u p e r - r e s o l u t i o na l g o r i t h mb a s e do n k - m e a n sa n di m p r o v e dc o m p a t i b i l i t yf u n c t i o n t h ep a r a m e t e r so fm a r k o vn e t w o r ka r el e a r n e d f r o mt h e s et r a i n i n gs a m p l e sa n dt h ep r o b a b i l i t yd i s t r i b u t i o ni sc o m p u t e db yk m e a n sc l u s t e r a l g o r i t h m t h ea d v a n t a g eo fo u ri m p r o v e da l g o r i t h mi st h a tc l u s t e r i n gl o w - r e s o l u t i o ni m a g e p a t c h e si nt h et r a i n i n gs e tb yk - m e a n sa l g o r i t h mw i l lg r e a t l yr e d u c ec o m p u t i n gc o s t w h a t s m o r e ，w ep r o p o s ean o v e lf o r mo fc o m p a t i b i l i t yf u n c t i o nu s i n gt h er e s u l to fk m e a n s a l g o r i t h m t h er e s u l to fe x p e r i m e n td e m o n s t r a t e st h a to u ri m p r o v e da l g o r i t h mi sf e a s i b l ea n d l a y so v e ra n ye l s ea l g o r i t h mo ft h ek i n d i ta l s om a k e st h es u p e r - r e s o l v e di m a g em o r en a t u r a l a n ds m o o t h k e yw o r d s ：s u p e rr e s o l u t i o n ，m a r k o vn e t w o r k ，c o m p a t i b i l i t yf u n c t i o n ，k - m e a n s ，b a y e s i a n b e l i e fp r o p a g a t i o na l g o r i t h m 目录 第一章绪论l 1 1 课题研究背景和意义1 1 2 国内外研究现状分析2 1 2 1 频域方法2 1 2 2 空域方法2 1 2 3 基于边缘和感兴趣区域的方法4 1 2 4 基于机器学习和模式识别的方法4 1 3 超分辨率图像重建的应用5 1 4 课题设计环境6 1 5 本文研究内容及组织安排：7 第二章图模型及贝叶斯信念传播算法8 2 1 弓i 言8 2 2 概率图模型的基本概念8 2 3 贝叶斯网络。9 2 a 马尔科夫随机场1 1 2 5 贝叶斯信念传播算法1 2 2 5 1 最大积b p ( m a x p r o d u c t ，b p ) 算法1 3 2 5 2 有环网络中的信念传播算法1 8 2 6 本章小结1 9 第三章基于马尔科夫网络实现人脸超分辨率重建2 0 3 1 引言2 0 3 2 基本理论2 0 3 3 马尔科夫网络模型2 2 3 3 1 马尔科夫网络模型建立2 2 3 3 2 马尔科夫网络参数学习。2 3 3 4 基于学习的超分辨率图像重建框架2 5 3 5 仿真实验与结果分析2 6 3 5 1 建立训练集2 6 3 5 2 实验2 7 3 6 本章小结2 8 第四章基于k - m e a n s 和改进相容函数的超分辨率算法研究2 9 4 1 引言2 9 4 2k - m e a n s 算法描述2 9 4 3 算法思想3 1 4 3 1 利用k - m e a n s 选择候选块3 1 4 3 2 改进相容函数的学习。3 3 4 4 实验结果分析3 4 4 5 本章小结。3 5 第五章总结与展望3 6 5 1 本文研究内容及创新点。3 6 5 1 1 研究内容3 6 5 1 2 工作的创新点3 6 5 2 研究内容的展望。3 7 参考文献3 8 发表论文和科研情况说明4 1 致谢4 2 第一章绪论 第一章绪论 本章主要介绍课题研究的背景和意义，分析图像超分辨率重建技术的国内外研究现 状，阐述本文要解决的主要问题、课题设计环境以及取得的主要研究成果，最后说明文 章的组织结构。 1 1 课题研究背景和意义 在数字图像采集与处理过程中，传感器的尺寸和形状、光学部件的性能、成像、传 输存储过程中产生的噪声等等这些因素都有可能导致图像分辨率的下降。空间分辨率在 图像应用中起着举足轻重的作用，它度量了图像的细节分辨能力，高分辨率的图像像素 密度大，能提供更多的图像细节。例如，在卫星遥感领域，若是捕捉到的卫星云图分辨 率太低、图像质量差，就无法从若干物体中区分相似对象：在医学领域，高分辨率的图 像可以帮助医生作出更精确的诊断。另一方面，如果能够提供高分辨的图像，也会大大 提高计算机视觉中模式识别的性能。自2 0 世纪7 0 年代以来，电荷耦合装置和c m o s 图像传感器被广泛用来捕捉数字图像。所捕捉到的图像对于大多数应用场合是适用的， 但其分辨率水平和消费价格已不能满足今后的需求。例如，对于家用数码相机和便携式 摄像机来说，人们往往希望价格便宜、分辨率高；在进行生物科学研究时，科学家通常 希望得到的图像处于非常高的分辨率水平，这样在图像放大倍数很高时也不会有瑕疵。 因此，寻找一种增强图像分辨率水平的方法是非常必须的。 增加图像空间分辨率最直接的方法是降低像素尺寸，提高单位面积的像素数目，即 提高采集设备的密度。然而成像系统的传感器阵列密度已接近极限，难以进一步减小。 又因为图像传感器和高密度的光学仪器造价昂贵，在一般的商业应用中很难承受如此之 高的成本。 超分辨率( s u p e rr e s o l u t i o n ，s r ) 图像重建【l 2 】可以有效地解决这一问题，它采用基 于信号处理的软件方法来提高图像空间分辨率。近年来，超分辨率图像重建技术已成为 计算机视觉和图像处理领域的一个研究热点。一般来说，s r 图像重建的目的是将单幅 或一序列模糊、有噪、频谱混叠的低分辨率( l o wr e s o l u t i o n ，l r ) 降质图像融合重建 出一幅高质量的高分辨率( h i g hr e s o l u t i o n ，h r ) 图像或视频。这种图像重构技术的优 点是成本低，不涉及硬件，同时仍然可以使用现有的低分辨率图像成像系统，是一套经 济可行的方案。 因此，超分辨率图像重建实际上是通过某种技术手段利用一幅或一序列低分辨率图 像重建出高分辨率的图像或视频。对这种重建技术的研究不仅具有重要的理论意义，而 且具有现实的应用价值。 第一章绪论 h r 像素 哆? ”$ 镶 。童一囊霭 黪甏灞 魄龇蚓? ， l r 图像 ； ， l 女 待求h r 图像+ 一 已知l r 图像 图1 - 1 超分辨率技术图示 1 2 国内外研究现状分析 2 0 世纪6 0 年代，h a r r i s 和g o o d m a n 提出单幅图像复原的概念。8 0 年代初，t s a i 和 h u a n g 提出基于序列图像的超分辨率重建技术，并给出基于频域逼近的重建算法。到了 8 0 年代后期，对于超分辨率算法的研究很多学者取得了突破性的进展，提出若干种超分 辨率重建算法，这些算法大致分为如下四类。 1 2 1 频域方法 超分辨率图像重建的频域方法最初由t s a i 和h u a n g 3 】针对图像没有降质、只存在平 移运动的序列低分辨率图像重建出单帧高分辨率图像提出的，后来在文献【4 5 】中提出了多 种改进的频域方法。频域内的超分辨率图像重建方法是指通过在频率域消除频谱混叠从 而改善图像的空间分辨率，其观察模型是基于f o u r i e r 变换的移位特性，解决了图像内 “插值问题。频域方法的理论简单，易实现并行处理，计算量小。该方法的不足之处在于 它不能广泛地应用到大多数场合，因为理论前提太过理想化，并且该方法只局限于线性 空间不变的降质模型和全局平移运动，不能有效地利用先验知识。 1 2 2 空域方法 空域方法是指在图像像素的尺度上，通过对图像像素点的变换、约束从而改善图像 质量的方法。该方法具有很强的包含空域先验约束的能力，例如凸集和m a r k o v 随机场 等先验约束；其观察模型涉及全局和局部运动、帧问运动模糊、光学模糊、非理想采样、 压缩图像等。空域方法的适用范围很广，基本分为以下几类： ( 1 ) 非均匀样本插值法 该方法【6 7 j 先进行运动估计，然后利用原有图像自身的信息进行非均匀插值，最后对 插值得到的图像去模糊和噪声。非均匀样本插值法是一种典型的基于图像重建的方法， 其优点是方便实用、计算复杂度低。缺点在于不包含先验约束，退化模型过于简单，观 第一章绪论 察数据都是从严格的欠采样得到的，在进行图像重建时不能得到比原有低分辨率图像更 多的高频成分。 ( 2 ) 迭代反投影方法 i r a n i 和p e l e g l 8 1 提出一种迭代反投影方法i b p ( i t e r a t i v eb a c ka r o j e c t i o n ) ，高分辨率 图像是由模拟l r 图像和观测l r 图像的误差进行反投影得到的。该方法首先用单幅图 像的插值结果作为一个高分辨率图像的初始解，根据观察模型，计算出其模拟低分辨 率图像。若x 0 与原有高分辨率图像相等，同时成像过程符合实际情况，则蜘与观测 图像y 相同。当两者不同时，将二者之间的误差y y o 反向投影到上，进而得到修j 下。 这个过程不断迭代，直到误差的能量达到最小。i b p 方法的优点是简单，直观。但是这 种方法不存在唯一解，难以利用先验知识。 ( 3 ) 集合论方法 p o c s ( p r q i e c t i o no n t oc o n v e xs e t ) 算法，即凸集投影法【9 。l l 】，是一类基于集合理论 解决超分辨率图像重建问题的常用算法。该方法中，每一个凸集表示重建图像的约束条 件。在给定超分辨率图像空间中任意一点的前提下，将要重建的高分辨率图像估计值不 断地向条件凸集投影，这样就可以定位出一个满足所有凸约束集条件的点，即收敛解。 我们可以看出，p o c s 方法是一种将先验知识引入到图像重建过程的迭代方法，从多个 约束集合的交集中求解出高分辨率图像。该方法易于实现，可处理复杂的退化模型，但 解不唯一，收敛慢，计算复杂度高。 ( 4 ) 统计重建方法 统计重建方法是将超分辨率重建问题看作是一个统计估算问题。最常见的统计重建 方法为最大后验概率估计m a p 1 2 】和最大似然估计m l 。m a p 算法是将超分辨率问题作 为一个随机估计问题来表示，更好的利用了求解超分辨率问题所必须的先验约束知识。 m a p 的含义是在已知低分辨率图像的条件下，使高分辨率图像出现的后验概率最大。 根据贝叶斯理论，后验概率等于条件概率与先验概率的乘积。条件概率指的在已知高分 辨率图像的条件下，低分辨率图像出现的概率；先验概率指的是理想高分辨率图像出现 的概率。通常情况下条件概率项采用高斯模型，先验概率项在不同的算法中采用不同的 模型。一种常用的先验模型是h u b e r - m a r k o v 1 3 】模型，它对似然函数取对数，将幂次运 算转化为和差运算，得到一个最优化约束问题。最大似然估计m l 算法可以认为是最大 后验概率算法在等概率先验模型下的特例。 s c h u l t z 和s t e v e n s o n 1 2 1 提出用m a p 方法来解决超分辨率重建问题中的视频序列恢 复问题，利用h u b e r - m a r k o vg i b b s 先验模型，将视频重建问题转化为一个有约束的且具 有唯一最优解的概率问题。t o m 和k a t a s a g g e l o s h 】提出基于m l 的超分辨率重建方法， 该方法能估计图像噪声变化和亚像素位移，其中m l 估计问题可以采用e m ( e x p e c t a t i o n m a x i m i z a t i o n ) 【1 5 】算法。 ( 5 ) 混合m a p p o c s 方法 m a p p o c s 混合方法【1 6 j 综合m a p 、m l 和p o c s 方法的优点，在凸约束集上求满 足最大后验概率的高分辨率图像。这种方法的性能优于混合前单一方法的使用，可以有 效地结合使用所有的先验知识。 第一章绪论 ( 6 ) 自适应滤波方法 e l a d l l 7 】等人提出一种基于自适应滤波的最小二乘估算法。该方法通过自适应滤波除 去退化因素，获得最终的高分辨率图像【1 8 l9 1 ，该算法的缺点是该方法既没有包含先验知 识也没有包含非线性先验知识。 ( 7 ) 确定性重建方法 该方法是由图像的先验知识构建j 下则化最小泛函重建出高分辨率图像，之前采用过 的正则化方法包括t i k h o n o v 币则化方法【2 0 1 、扩散张量讵则方法【2 l 】、总最小二乘方法【2 2 】 等。确定性重建方法在计算机视觉领域中是一个非常有前景的方法，因为它能处理较复 杂的退化模型及图像模糊、运动等盲估计问题，但也要考虑计算量过大的问题。 1 2 3 基于边缘和感兴趣区域的方法 频域方法和空域方法要求图像在成像过程中的成像条件不变，属于在像素级上融合 图像信息，同时由于要计算图像的全部像素也会导致计算量过大。而基于图像边缘的超 分辨率重建方法【2 3 】是采用图像序列中的其中一张图像作为参考图，从图像序列中的其他 图像中提取边缘信息，这就避免了在图像成像过程中成像条件比如光照变化条件的影 响，也减少了计算丌销。基于感兴趣区域的超分辨率重建方法【2 4 】是指提取并融合图像中 的感兴趣区域来重建出高分辨率图像。该方法的缺点是要求提取出的边缘和分割后的目 标结果准确。 1 2 4 基于机器学习和模式识别的方法 基于学习和模式识别的方法要求首先建立一个训练集，训练集中包括低分辨率图像 和它对应的高分辨率图像，然后学习高低分辨率图像之间的对应关系，根据这个对应关 系来指导图像的超分辨率重建。该方法综合了机器学习与模式识别，还空域根据选择模 式重建目标图像，减少了计算量。 基于机器学习的超分辨率方法最早由w t f r e e m a n 2 5 2 6 】提出。他提出在机器经验学 习的指导思想下，采用若干高分辨率的图像及其退化后的低分辨率图像构建训练集合， 训练集中高低分辨率图像一一对应。假设一幅图像中的高频和低频成分具有条件独立 性，以马尔科夫网络模型【27 】为工具引入低频训练匹配，对应高频补偿的算法，最后求解 马尔科夫网络最优化问题。 针对人脸图像，s i m o nb a k e r t 2 8 】首次提出“幻想人脸”( h a l l u c i n a t i o nf a c e ) 。该方法通过 学习人脸图像的空间梯度分布，计算出人脸图像高斯金字塔和拉普拉斯金字塔的水平与 垂直方向的导数，使其作为人脸图像的特征空间。由离线学习得出映射关系，即是原图 像在不同分辨率下的图像狄度对应关系，用此关系作为基于识别的先验信息得到最后的 图像。后来，b a k e r 在文献1 2 9 j 中的第一部分指出上述算法的局限性，也即是当放大倍数 增加的时候，重建约束不能提供更多的信息，并且任何平滑先验只会导致图像过于模糊。 在该文的第二部分，他提出采用其他不同类型约束的超分辨率算法，可以通过识别局部 第一章绪论 特征来增强图像分辨率。 刘剩川j 等人在b a k e r 幻想人脸的基础上做了改进，提出入脸幻想的两步算法：全局 参数线性模型和局部非参数模型。参数模型用来捕捉人脸的一般特征，比如眼睛、嘴巴、 鼻子、对称性等，也就是说人脸图像的面部特征应该保持一致；而非参数模型用来表示 某一个特定个体的局部特征，以便达到算法的鲁棒性和有效性。全局约束是由主成分分 析( p c a ) 得到的高斯分布，而局部约束利用基于块的非参数马尔科夫网络模型来学习 全局人脸图像和局部特征人脸图像之间的统计关系。二者叠加就得到了最后的人脸超分 辨率图像。该方法得到的结果要比b a k e r 方法平滑得多。 苏从勇1 3 l j 提出一种多尺度和多方向特征的人脸超分辨率算法，采用方向可控金字塔 和局部最优匹配预测出最终的人脸图像。这种方法通过学习人脸图像的空间尺度和方向 性特征的分布求出先验估计，同时建立观测模型以求得似然函数，然后结合贝叶斯最大 后验概率理论，通过最优化得到高分辨率人脸图像。 t o d da s t e p h e n s o n 强j 等人对基于例子的人脸超分辨率提出自适应马尔科夫随机域 模型，通过改进马尔科夫网络中的相容函数而得到不同的人脸重建效果。根据马尔科夫 网络中的图像块结点在人脸上的区域位置，提出在局部区域内调整观察函数，区域依赖 的三种形式为：( 1 ) 把每一个图像块的相邻区域定义为一个距离半径；( 2 ) 手工标定人 脸为两个区域：眼睛和非眼睛区域；( 3 ) 对图像块聚类，采用k 一均值算法把每一个块 分配到不同的类中。另外，对于传输函数的表达形式也依赖于两种不同的形式，一种是 根据人脸在水平方向上的对称性，因为人脸图像是高度对称的，在脸的一边有的特征在 另一边也会存在；另一种方式是利用两个块的互信息来决定这两个块是否相容，计算两 个块的互信息，互信息大的相容度高。 香港科技大学的c h a n g t 3 3 1 等学者提出基于邻域嵌入的超分辨率重建算法，将流形学 习用于超分辨率过程中。该算法的基本思想【3 4 】是把训练集中妁高低分辨率图像块构成具 有局部相似的流形从而重建出超分辨率图像。 1 3 超分辨率图像重建的应用 近年来，超分辨率图像重建技术已经成为备受关注的热点研究领域之一。超分辨率 重建的目的是使得输出的图像更加清晰，得到比原有图像分辨率更高的图像，既提高了 图像的视觉效果，又便于计算机对图像做进一步分析处理。目前该技术在计算机视觉、 视频监控、医学、卫星遥感、天文学等领域中有着十分重要的应用价值和广阔的应用前 景： ( 1 ) 计算机视觉领域 超分辨率重建技术可以将图像从检测水平分辨率转化为粗识水平分辨率，或更进一 步地转化为辨识水平分辨率，从而提高对图像的识别精度。也可以对感兴趣目标物体进 行分析进而获得更高分辨率的图像。 ( 2 ) 视频监控安全领域 第一章绪论 在银行、证券等部门的监控系统中，目前数字摄像机( d v r ) 已经普遍取代了闭路 电视( c c t v ) ，当发生异常情况后，就很有必要放大场景中的目标如汽车牌照或者疑犯 的脸部，以获取分辨率较高的视频图像帧，为通缉罪犯、识别罪犯、发布信息、上报资 料等提供重要线索。 ( 3 ) 医学图像处理领域 目前，医学图像处理在医学上起着越来越重要的作用。医生往往通过c t 技术来检 测识别出病变物体的精确位置，从而便于进一步地分析处理。然而现有的医学硬件成像 系统还不能够获得满足要求的高质量图像，所以可以采用超分辨率重建技术来提高图像 质量，从而帮助医生作出更加准确的医疗诊断。 ( 4 ) 卫星遥感应用领域 地球卫星或飞机周期性地飞过同一地域，获得关于这一地域的多幅图像，但由于硬 件成像设备的限制，往往得不到满足要求的高分辨率图像。又由于高分辨率相机成本高、 造价昂贵，所以依靠提高物理成像设备来提高图像分辨率是不现实的。若能对这些数据 量巨大的图像进行超分辨率重建来提高分辨率，便可降低风险和成本，同时提高现有图 像资料的应用价值。 ( 5 ) 天文学应用领域 天文学家为了更好地认识和理解宇宙，需要从天文学图像中寻找更多精细的细节。 若利用硬件设备，比如增加望远镜镜面、调整无线电天线等可以获得较好的图像细节。 但是昂贵的建造成本使得天文学家们望而却步，所以可以采用超分辨率重建技术来提高 所收集的图像分辨率。 ( 6 ) 多媒体电子消费领域 为了获得高清晰度电视( h d t v ) 信号，一种方法是增加硬件设备，但同时也会导致 成本的大大提高。合成视频变焦【3 5 】是指把视频显示的某一区域按倍数放大后重新播放， 会出现放大后视频图像不清晰的问题。针对电子消费领域的这一问题，超分辨率重建技 术是一种经济适用的方案。 1 4 课题设计环境 本课题使用m a t l a b ( m a t r i xl a b o r a t o r y ) 3 6 】语言设计和实现所研究的基于图模型的 超分辨率图像重建算法。m a t l a b 是美国m a t h w o r k s 公司出品的商业数学软件，用 于图像处理、数据可视化、算法开发、数据分析及数值计算的高级技术计算语言 和交互式环境。 m a t l a b 语言被称为第四代计算机语言，较传统的编程语言( 如c 、c + + 和f o r t ：a n ) 来说，它能更快地解决技术计算的问题。其强大的函数库使得开发者无需重复编程，只 需直接调用即可。m a t l a b 语言的特点是简单和直接，编程效率高，用户使用方便，扩充 能力强，交互性好，可移植性和开放性很好、具有高效的数组和矩阵运算以及方便的绘 第一章绪论 图功能。 目前，m a t l a b 正被广泛应用于信号与图像处理、系统仿真等领域。它的众多面向具 体应用的工具箱，包含了完整的函数集可以分析和设计图像处理等特殊应用，用户可以 直接将工具箱用于学习、应用和评估不同的方法。 根据国内外的研究现状，目前的图像超分辨率技术大致可以分为两类：基于学习的 方法和基于重建的方法。通常前者的效果比后者要好。当前已经有一些基于学习的超分 辨率算法。像f r e e m a n ”】等提出的一个基于例子的方法。h e r t z m a n n 等提出了基于多尺 度( m u l t i s c a l e ) 自动回归的图像类比算法。b a k e r 和k a n a d e t 2 8 】第一次提出“人脸幻想”( f a c e h a l l u c i n a t i o n ) ，但是得到的人脸超分辨率图像在某些部位存在较大的噪声。刘策【3 0 】等提 出全局参数线性模型与局部非参数模型相结合的方法，其结果比b a k e r 的要平滑，但是 由于使用主成分分析计算全局模型，超分辨率的结果与原始高分辨率图像看起来不太相 似。本文主要研究基于学习的人脸图像超分辨率技术，本文的研究内容和组织安排如下。 1 5 本文研究内容及组织安排 本文利用人脸图像研究基于图模型的超分辨率图像重建算法。首先介绍了图模型的 基本概念，重点学习了马尔科夫网络模型，并利用该网络模型框架及贝叶斯信念传播算 法实现人脸的超分辨率重建。在此基础上，利用k m e a l l s 算法和对相容函数的改进提出 了本文的算法。 全文共分为5 章，内容安排如下： 第一章是绪论，从超分辨率图像重建的研究背景和研究意义出发，分析了国内外研 究现状，介绍超分辨率图像重建的应用领域，最后对本文的研究内容进行概述，给出论 文的结构安排。 第二章主要介绍概率图模型的基本概念和贝叶斯信念传播算法。重点介绍了马尔科 夫随机场、m a x p r o d u c t 算法。 第三章研究并实现了基于马尔科夫网络的超分辨率图像重建。详细介绍了马尔科夫 网络模型，其中包括模型的建立和网络参数学习，在此基础上给出了基于学习的超分辨 率图像重建的思想框架，在m a t l a b 平台上完成实验仿真并给出实验结果评价。 第四章研究并实现了基于k - m e a n s 和改进相容函数的图像超分辨率算法。首先介绍 k m e a n s 算法及它的优缺点，然后提出本文对图像超分辨率的改进算法。本文将k - m e a n s 算法用于图像超分辨率，大大减少了实验过程中的时间开销；通过对相容函数的改进取 得较好的实验结果。 第五章是总结和展望。对全文研究内容作出总结，并对进一步的研究进行分析展望。 第二章幽模型及贝叶斯信念传播算法 2 1 引言 第二章图模型及贝叶斯信念传播算法 随着计算机技术的蓬勃发展，计算机处理问题的广度和深度在不断加强，特别是计 算机人工智能( a n i f i c i a li n t e l l i g e n c e ，a i ) 领域的发展，必然涉及到处理一类问题，我们 称之为不确定性问题，该类问题不能根据己知的条件预知确切的结果。对于这类不确定 性问题的求解，概率图模型是重要的方法之一。概率图模型是一种基于数据驱动的图结 构学习模型，通过它来学习图像的先验知识，为解决工程应用中的不确定性问题提供了 一种自然、直观的方法。 超分辨率图像重建根据已知低分辨率图像推理出未知高分辨率图像，这属于不确定 性推理问题研究的范畴。本文尝试将概率图模型应用于超分辨率图像重建，该应用的主 要思想是通过概率图模型的选择、学习和推理实现图像的超分辨率重建。与其他处理不 确定性问题的方法相比，概率图模型具有可学习性，概率推理具有相容一致性，并且概 率图模型以数学量化的方式来表示不确定性问题，具有可计算性。 概率图模型是基于概率论中贝叶斯规则建立起来的一种图形结构，它主要应用于机 器学习、模式识别、统计、计算机视觉等方面。本文将研究的重点放在基于图模型的超 分辨率图像重建算法上，本章首先介绍了概率图模型的基本概念。然后分别介绍两种基 本的概率图模型，贝叶斯网络模型和马尔科夫随机场模型。最后介绍一种求解概率图模 型的推理方法，即贝叶斯信念传播算法。 2 2 概率图模型的基本概念 概率图模型是概率论与图论的结合，它是通过简单的图形结构建立起复杂的概率分 布，很多概率问题都可以通过图论的标准算法解答或简化。m i c h a e li j o r d a n 在文献 3 8 】 中提出：图模型( g r a p h i c a lm o d e l s ) 是一个概率网络，它覆盖了很多不同研究领域，包 括神经网络、统计学、纠错编码、和人工智能等。图模型的具体表现形式有：混合模型 ( m i x t u r em o d e l s ) 、