（计算机应用技术专业论文）基于学习的人脸图像超分辨率重构算法的研究.pdf

摘要 人脸研究一直是计算机视觉、模式识别和计算机图形学领域中的 热点研究问题之一。目前，通过监视器得到的人脸图像分辨率不高， 以至于给人脸识别和跟踪等后续应用带来很大的困难。超分辨率图像 重构( s u p e rr e s o l u t i o n ，s r ) 技术是一种基于信号处理技术来获得高 分辨率图像的方法。s r 技术的基本思想是，以若干模糊、有噪、频 谱混叠的低分辨率( l o wr e s o l u t i o n ，l r ) 图像为输入，通过信号处 理技术融合成一幅高分辨率( h i g hr e s o l u t i o n ，h r ) 图像。超分辨率 图像重构技术在人脸或对象识别、遥感图像、视频监控、医学图像处 理等领域都有着广泛的应用。 本文主要研究单幅人脸图像的超分辨率重构技术，目标是提出一 种更有效、实时性更好的算法来获得高分辨率图像。首先，本文全面 回顾和评述了超分辨率图像重构技术的概念，基本方法和s r 算法。 在此基础上重点研究基于学习的图像s r 算法。本文采用马尔可夫网 络( ) 模型提出了一个新的框架描述重构机制。本文提出的算法 采用对图像块搜索操作进行位置限制和检查图像分块间重叠区域水 平兼容性的思想，降低了搜索的复杂度，提高了匹配相关性，加快了 马尔可夫网络收敛，简化了隐层节点的计算。最后采用样本拼镶技术 直接输出超分辨率图像。实验平台由v c + + 编程实现，实验中所用的 人脸图像训练集采用2 4 位灰度图像。实验结果证实本文提出的算法 具有输出质量好、效率更高等特点，有一定的的实用价值。 本文试图发展性能更好、更智能化的学习算法为以人脸图像为主 的应用带来新机遇，并推动超分辨率技术自身的发展。 关键词：人脸图像，马尔可夫网络，学习算法，v c a bs t r a c t r e s e a r c he f f o r t si nf a c ep r o c e s s i n ga l w a y si so n eo fah o ts p o t r e s e a r c hq u e s t i o n sw h i c hi nt h ec o m p u t e rv i s i o n ，t h ep a r e mr e c o g n i t i o n a n di nc o m p u t e rg r a p h i c sd o m a i n n o w a d a y s ，t h eh u m a nf a c ei m a g e r e s o l u t i o nw h i c ho b t a i n st h r o u g ht h em o n i t o r i n gd e v i c ei sn o th i g h ，t h e h u m a nf a c er e c o g n i t i o na n dt h et r a c ka n ds oo nt h ef o l l o w i n ga p p l i c a t i o n b r i n g st h ev e r yg r e a td i f f i c u l t yf o rt h eh u m a n t h es u p p e rr e s o l u t i o n ( s r ) t e c h n o l o g yi so n ek i n dm e t h o do b t a i n st h eh i g hr e s o l u t i o n ( h r ) i m a g e b a s e do nt h es i g n a lp r o c e s s i n gt e c h n o l o g y t h eb a s i ci d e ab e h i n ds ri s t h ef u s i o no fas e q u e n c eo fl o w r e s o l u t i o nn o i s yb l u r r e di m a g e st o p r o d u c eah i g h e r - r e s o l u t i o ni m a g e b a s e do nt h e s i g n a lp r o c e s s i n g t e c h n o l o g y t h es ri nh u m a nf a c er e s e a r c h ，l o n g d i s t a n c ei m a g er e m o t e s e n s i n g ，v i d e of r e q u e n c ym o n i t o r i n g ，a n dm e d i c i n ed o m a i n sa n ds oo n h a st h ev e r yg o o da p p l i c a t i o n w em a i n l ys t u d yt h es i n g l ef a c ei m a g es u p e rr e s o l u t i o nt e c h n i q u e s w i t ht h eg o a la i m i n ga ta l la l g o r i t h mw h i c hi sm o r es i m p l e ，p r a c t i c a la n d s u i t a b l ef o rr e a l - t i m ea p p l i c a t i o n s f i r s t ，t h i sa r t i c l ec o m p r e h e n s i v e l y r e v i e w e da n dn a r r a t e da n dc o m m e n t e dt h es rt e c h n o l o g yc o n c e p t ， e s s e n t i a lm e t h o da n ds ra l g o r i t h m i nt h i sf o u n d a t i o nk e yr e s e a r c hb a s e d o ns t u d yi m a g es ra l g o r i t h m t h i sa r t i c l eu s e dm a r k o vn e t w o r k ( m m o d e lt op r o p o s ean e wb a y e ( m a p ) f r a m ed e s c r i p t i o nr e s t r u c t u r i n g m e c h a n i s m w ep r o p o s ean o v e la l g o r i t h mt h a tu s e st h el o c a t i o n r e s t r a i n t o p e r a t i o na n d u s e st h em o s t c o m p a t i b l en e i g h b o r i n gp a t c h e sa l o n g h o r i z o n t a ld i m e n s i o no ft h ef a c et od i r e c t l ym o s a i ct h eh i g h r e s o l u t i o n p a t c h e si n t ot h eo u t c o m e t h i sc a i lr e d u c et h es e a r c ho r d e ro fc o m p l e x i t y , e n h a n c et h em a t c hr e l e v a n c e ，s p e e du pm a r k o vn e t w o r kr e s t r a i n i n g ，a n d s i m p l i f yt h ei m p l i c i ts t r a t an o d ec o m p u t a t i o n t h et e s t sp l a t f o r mb yt h e v c + + p r o g r a m m i n gd e v e l o p m e n t e d ，t h eh u m a nf a c ei m a g et r a i n i n gs e t s w h i c hi nt h ee x p e r i m e n tu s e s2 4g r a d a t i o ni m a g e s t h ee x p e r i m e n t a l r e s u l tc o n f i r m e dt h i sa r t i c l ep r o p o s e dt h ea l g o r i t h mh a st h eo u t p u tq u a l i t y w e l l ，a l le f f i c i e n c ym o r eh i g h e rc h a r a c t e r i s t i c ，h a sc e r t a i np r a c t i c a lv a l u e k e yw o r d s ：f a c ei m a g e ，m a r k o vn e t w o r k ，l e a r n i n ga l g o r i t h m ，v c i l 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名： 霉 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名： 硕士学位论文第一章绪论 1 1 研究的背景和意义 第一章绪论 人脸研究一直是计算机图形图像处理、模式识别、计算机视觉领域中的经典 问题之一。计算机图形学领域侧重合成，比如3 d 人脸建模，人脸表情合成等， 主要是呈现人脸。而模式识别、计算机视觉领域中主要侧重分析，比如人脸检测、 识别、跟踪等，主要是对图像或视频中的人脸进行理解。由于人脸是一种极为复 杂的、多维的模式，也是一种典型的非刚性模式，具有非常复杂的生理学构造， 再加上人们对人脸的熟悉和敏感，因而人脸方面的研究相对来说比较困难。 超分辨率图像重构技术( s u p e rr e s o l u t i o ni m a g er e c o n s t r u c t i o n ，s r ) 是一 种基于信号处理技术来获得较高分辨率图像的方法。s r 技术的基本思想是，以 若干模糊、有噪、频谱混叠的低分辨率( l o wr e s o l u t i o n ，l r ) 图像为输入源， 通过信号处理技术融合出一幅高分辨率( h i g i l tr e s o l u t i o n ，h r ) 图像【1 】【2 1 。同时 还能够消除噪声以及由有限检测器尺寸和光学元件产生的模糊，它是图像融合领 域中的一个重要分支。改进人脸图像清晰度是s r 技术的一个重要运用领域。 超分辨率图像处理有着广泛的应用前景【3 】【4 】，它可以在一定程度上突破图像 获取手段的空间分辨率极限，改善由于图像离散化和图像退化引起的空间分辨率 下降，弥补原有图像空间分辨率的不足，获得更加清晰的图像。可使输出图像的 质量得到很大程度的提高，既改善图像的视觉效果，又便于计算机对图像进行分 析、处理和识别。具体而言，图像超分辨率处理技术可应用于以下几个领域： ( 1 ) 监控系统( 多角度图像融合) 。在大多数的视频监控中，摄像头的位置 通常离人脸非常远，因此人脸图像通常比较小，为了更好的识别它们， 可以先对它们进行超分辨率放大，然后再识别。超分辨率技术在远程 图像遥感监测系统上格外有用。因为这些图像一般是欠采样信号。最 近，有人提出，为了使用s r 技术，应该设计一种用程控镜头作为图像 输入装置的监测系统。 ( 2 ) 医学成像系统( 显微术，c t 技术) 。医学检测中往往需要通过层析成 像技术识别并确定出病体( 如肿瘤) 的精确位置及详细情况：如阴影的 边缘、异物占位的大小及位置等。由于硬件设备及现有的成像技术的 限制，我们还不能够获取满足高要求的高清晰图像。由于层析成像技 术的特殊机理，超分辨率图像重建技术可以在该领域获得重要应用。 硕士学位论文 第一章绪论 ( 3 ) 卫星太空影像和远程图像遥感技术。卫星或飞机周期性地飞过同一地 域，由于受到成像条件与成像系统分辨率的限制，不可能获得清晰度 很高的图像，由多幅低分辨率图像来复原高分辨率图像具有十分重要 的意义。 ( 4 ) 图像采集技术。根据视频信号来打印超分辨率静态图像，其目的是扩 大图像和增加细节。 ( 5 ) 录像资料的效果增强和恢复技术。把普通视频信号转化成高清晰度电 视标准或产生合成视频变焦( 合成视频变焦就是把视频显示的一个区 域按某一倍数进行放大，然后重新播放) 。 ( 6 ) 军事应用领域，如军事侦察、夜视、战场监控与打击效果评估、s a r 雷达成像信号处理等。其中红外成像系统中红夕f c c d 器件的像素数一 般较少，获取的图像分辨率一般较低，因此在夜间观察、军事侦察等 领域，提高成像系统分辨率是非常必要的。 s r 重构技术的最大优点是成本低，可以改进图像处理中大多数图像的质量， 可以克服图像系统的内在分辨率限制，现有的l r 成像系统仍可以使用。上世纪 9 0 年代以来s r 一直是数字图像研究的焦点问题之一，近年更是趋热。 早期的s r 方法基本可以归结为基于重构的技术。该技术要获得成功有一个 前提，就是输入的l r 图像要足够多，方有可能恢复出原来的高频信息【5 】【6 】【刀，但 实际应用中这个条件比较苛刻。如果只有一幅l r 图像输入，要得到对应的h r 图像就更加困难。 实际上，s r 是一个病态问题【8 】，因此，研究人员常常采用近似算法实现s r 重构，并且增加额外的信息以弥补输入数据的不足。从贝叶斯理论的观点来看， 给s r 逆向问题提供额外信息，就是要利用图像的概率密度函数( p r o b a b i l i t y d e n s i t yf u n c t i o n ，p d f ) 的先验知识，对s r 过程进行正则化( r e g u l a r i z a t i o n ) ，提 高计算结果逼近真实解的概率。使结果逼近真实解，如边缘保持【9 1 、t d d a o n o v 正 则化1 1 0 1 、混叠度预估【1 1 】、小波系数稀疏【1 2 】等技术。这些工作都有力推动了s r 的 发展，但效果仍然有限，对p d f 的定义难以证实【1 2 】【1 3 】。迄今为止还没有找到一 个比较好的正则化方法。 近年来，一种基于学习( 1 e a r n i n g b a s e da l g o r i t h m ) 的s r 方法正在兴起【1 4 7 1 。 与传统基于重构的技术不同，学习算法主张，与其随意或直观猜测p d f 的定义， 不如利用训练图像集中的h r 图像与l r 图像的对应关系来帮助定义p d f 。学习 算法比较适合特定领域的图像【l 引，例如人脸图像，因为由同类图像组成的训练集 有助于提高h r 与l r 图像的相关性。同时，大部分学习算法采用单调马尔可夫 随机域( m a r k o vr a n d o mf i e l d s ，m r f s ) 模型来描述图像的像素分布【1 9 1 。目前， 2 硕士学位论文第一章绪论 这种基于马尔可夫随机模型的学习算法研究方兴未艾。 1 2 超分辨率重构技术的发展 1 2 1 图像分辨率 图像空间分辨率是图像质量评价的一项关键指标，也是图像应用中一个重要 参数。 图像分辨率是成像系统对输出图像细节分辨能力的一种度量，也是图像中目 标细微程度的指标，它表示景物信息的详细程度。对“图像细节”的不同诠释就 会对图像分辨率有不同的理解，对细节不同侧面的应用又可以得到图像不同侧面 的度量，例如，用光谱分辨率( s p e c t r a lr e s o l u t i o n ) 来表示对图像光谱细节的分辨能 力；用辐射分辨率( r a d i o m e t r i c r e s o l u t i o n ) 表示对图像成像过程中光辐射度的最小 可分辨差异的度量；对同一目标的序列图像成像的时间间隔称为时间分辨率 ( t e m p o r a l r e s o l u t i o n ) ；而把图像目标的空间细节在图像中可分辨的最小尺寸称为 图像的空间分辨率( s p a t i a lr e s o l u t i o n ) 口o j 。 影响图像空间分辨率的主要因素有信噪比、探测器件的探测分辨率、由光的 衍射决定的光学系统分辨极限等【2 。对数字图像的空间分辨率，可以用分辨率单 元( r e s o l u t i o nc e l l ，一个像元对应目标物的大小或最小面积) 来表达。但数字图像 由于在离散化过程中对图像进行了量化，原图像的分辨能力不一定能保持，一般 情况下会下降。同时，两个相邻离散像元对应在目标物空间可能不仅没有任何重 叠，而且对应的区域可能会是分离的。因此，数字图像的空间分辨率应该通过离 散的像元之间所能分辨的目标物细节的最小尺寸或对应目标物空间中两点之间 的最小距离来表达。 图像空间分辨率是图像质量评价的一项关键性指标，可使用以下几种方法提 高成像系统的分辨率：改进光路和电路设计，提高信噪比；提高探测器件的探测 分辨率；改进镜头设计，提高光学系统分辨能力；对数字图像，增加模数转换的 位数，降低量化误差也有助于提高分辨率。上述方法都是直接方法，但对于当今， 绝大多数所用的监控器或视频摄像机记录下来的图像的分辨率都比较低，不适合 在实际情况中的应用。这一点与图像传感器阵y u ( 如有限栅格区和有限过孔时间) 的一定的物理限制条件有关。尽管目前己存在较高分辨率的图像传感器阵列，但 对数字成像应用而言太贵或对卫星成像系统而言体积过大而不适用。对于给定的 成像系统，可以用间接的方法来提高其分辨率，即对图像采用超分辨率重构技术。 硕士学位论文 第一章绪论 1 2 2 超分辨率重构技术 很多应用领域如医学，遥感，监视系统，常常需要高分辨率的图像，但是通 常的成像系统由于受到成像条件和成像方式的限制，我们不能得到很高分辨率的 图像。因此需要对得到的观测图像进行放大处理。很多传统单帧缩放算法，如最 近邻域法，双线性插值法，三次卷积法和三次样条算法都可实现图像的放大效果。 但是由于受到信息量的限制，这些单幅图像算法插值后图像的高频细节被丢失。 由于连续的图像帧之间包含有大量相似但又不完全相同的信息，因此可根据序列 进行高分辨率的图像重构。 超分辨率技术涉及到如何获取高于使用现有的成像设备( 传感器阵列) 记录 的图像分辨率的问题，是有效的数字图像分辨率增强技术，是一种图像融合技术。 图像融合技术就是把相关性和互补性很强的多幅图像上的有用信息综合在一起， 产生一幅或多幅携带更多信息的图像，以便能弥补原始观测图像承载信息的有限 性。 由一序列低分辨率变形图像来估计一幅或一序列较高分辨率的非变形图像， 同时还能消除加性噪声以及由于有限检测器和光学元件产生的模糊，这一技术称 为超分辨率重构技术。如今，超分辨率重构技术除了应用于增强空间和时间分辨 率方面外，还应用于增强高光谱影像的分辨率。 假定输入的l r 图像可以从不同角度描绘出同一场景的细微差别，从更广泛 的方面来说，s r 技术是通过把l r 图片提供的新细节合并到最终结果中，从而 改进图片的空间分辨率。 l r 图像组 图1 - 1 输入低分辨率图像组获得高分辨率图像 高分辨率图 像 s r 的概念最早在光学 2 2 j 中提出。在光学中如果光的分解超出了散射范围， 则称这种现象为超分辨率。在图像信号处理中，s r 是指通过信号处理技术利用 一些l r 图像重建一张h r 图片。 传统的s r 过程，也称作重建法( 单纯从图像输入的角度说) ，利用多次拍 摄的低分辨率图像产生高分辨率的输出。众所周知，这样一个s r 过程将会导致 更高的光学分辨率。在最终结果图像中显示的更高频率展示了新产生的细节，可 以适用于对有混杂噪声的图像进行测量。每。张原始图片都有不同的混杂效果， s r 过程就是通过分析这些不同的原始图片并从中恢复这些高频信号的过程。在 4 硕士学位论文第一章绪论 最初该分析法是可行的。 然而，该过程如果想成功，首先需要大量的低分辨率原始图像，才能恢复唯 的混杂频率信号f 5 】【2 3 1 。假使只有一张原始图像s r 也是可行的，不过这取决于 重建方法所掌握的有效信息。很明显，可测量图像就是一种适合重建方法的信息。 然而一般来说，仅凭单个输入来恢复高分辨率信号是很困难的。事实上s r 被认 为是个病态问题。所以为了补偿数据不足，替代信息是必要的。所以关于研究主 体图像的先知知识可以被认为是信息来源。贝叶斯观点认为这种翻转问题的附加 物是一种研究图像概率密度函数( p d f ) 的方法。因此人们越来越关注如何定义 概率密度函数( p d f ) ，但仍然还有很多问题要研究。 1 2 3 超分辨率重构方法 2 0 世纪8 0 年代初，t s a i 和h u a n g t l 6 l 最先尝试从低分辨率图像中重建高分辨 率图像，提出了基于序列或多帧图像的超分辨率，并给出了基于频域的逼近方法。 2 0 世纪8 0 年代后期，随着计算机、电子、信号处理技术以及一些优化理论的发 展，人们在超分辨率技术研究上取得了突破性进展。现有的图像超分辨率技术从 不同的角度可以有多种分类方法。从方法论的角度可以分为两类：基于学习的和 基于重建的超分辨率算法。通常前者的效果比后者要好。 l 、基于重建的图像超分辨率算法 当高分辨率图像经过变形和欠采样后，可以生成低分辨率的输入图像。基于 重建的图像超分辨率算法是指使用这种“重建约束的算法。 基于重建的超分辨率技术是一种图像融合技术。而实现这种图像融合的关键 在于如何进行图像配准、图像插值和图像复原。基于重建的超分辨率技术主要可 以通过频域超分辨率重构算法 6 - 7 2 4 - 2 7 和空域超分辨率重构算法1 3 2 。4 9 1 实现。频域 超分辨率重构算法是在频域内解决图像内插问题，其观察模型是基于傅里叶变换 的移位特性。频域算法理论简单，运算复杂度低，很容易实现，具有直观的去变 形超分辨率机制。但这类方法的缺点是包含空域先验知识的能力有限，所基于的 理论前提过于理想化，不能有效地应用于多数场合，只能局限于全局平移运动和 线性空间不变退化模型。 因为s r 包含不确定的评估数据和参数，很自然地我们按概率分布函数模拟 图像。s c h u l t za n ds t e v e n s o n 2 5 】在贝叶斯规范下用马尔可夫随机域来描述先验图 像，他们利用梯度投影算法做m a p 估计，并确定独立的物体运动( 由空域相邻 块来估计) 。运动估计的误差也在概率密度函数中进行了模拟。m a p 估计也可以 为图像分割以及刚体运动提供更加精准的运动估计。 硕士学位论文第一章绪论 h a r d i e ，b a r n a r d 和a r m s t r o n g 等人【2 6 】使用的s r 过程与s c h u l t z 和s t e v e n s o n 睇7 j 使用的是一样的。但他们做出了卓越的贡献，他们能同步估计h r 图像和姿势 参数。 e l a da n df e u e r 船】对卡尔曼滤波器采用不同的近似值，并分析他们的性能。 特别的是递归最小二乘法( r l s ) ，最小均方法( l m s ) ，最速下降法( s d ) 都 有被考虑过。i r a n ia n dp e l e g 2 9 j 对图像匹配和复原描绘了一个直接迭代表，该表 使用了反投影重建法。随后，他们【3 0 】改进了方法使之可以处理更加复杂的运动类 型，包括局部运动，部分遮挡以及透明度。反投影重建的基本方法是一样的，在 把先验参数合并到解析空间时不是很方便。s h a ha n dz a l ( 1 l o r t 3 1 】用的重建方法和 i r a n ia n dp e l e g 的类似。他们也提出一种新型的运动估计法，对每一个像素考虑 可能的运动矢量集，并提出消除不一致的相邻像素。 空域超分辨率重构算法主要包括迭代反投影法【3 2 3 4 1 、非均匀空域样本内插法 3 5 - 3 6 、集合理论复原法( 凸集投影p o c s 3 7 枷】) 、统计复原法( 最大后验概率估计 器m a p 4 1 4 2 1 ) 、混合m l m a p p o c s 法【4 3 1 、自适应滤波方法m 4 5 1 、约束最小二乘 ( c l s ) 4 6 - 4 9 】等。空域方法比频域方法具有更大的灵活性和更广的适用范围。 其中，迭代反投影方法( i b p ) 是首先用输出图像的一个初始估计作为当前结 果，并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像，低 分辨率模拟图像与实际观测图像的差值称为模拟误差，根据模拟误差不断更新当 前估计。迭代反投影方法通过观测方程使超分辨率重构与观测数据匹配，但这种 方法的超分辨率重建结果不惟一，而且把先验约束引入到这种方法中也不是一件 容易的事情。 非均匀空间样本内插方法是先对低分辨率视频序列进行运动补偿，再采用内 插方法产生单幅高密度合成图像，以这个合成图像为初始值，采用l a n d w e b e r 迭代法来重建超分辨率图像。非均匀空间样本内插方法的的优势在配准、插值和 复原三者之间是各自完全独立的，而且计算量低，便于实时运用；缺点是过于简 单化，模糊函数和噪声特性在所有的低分辨率图像中是相同的，结合先验约束能 力差，无法重建比单幅低分辨率图像更多的频域内容，其降质模型有限。而目前 己有的其他超分辨率技术中配准、插值和复原三者之间在一定程度上是交叉进行 的。在改善超分辨率重构效果方面受到了一定的限制。 因此，目前研究和应用较多的是凸集投影方法( p o c s ) 和规整化算法。 在规整化算法中，超分辨率复原问题可以解释为一个统计估计问题。最大后 验概率( m a p ) 的含义就是在已知低分辨率图像序列的前提下，使出现高分辨率图 像的后验概率达到最大。规整化算法的优点是在解中可以直接加入先验约束、能 确保解的存在和唯一、降噪能力强和收敛稳定性高等；缺点是收敛慢和运算量大。 6 硕士学位论文第一章绪论 另外，规整化算法的边缘保持能力不如凸集投影方法，由这类方法获得的高分辨 率图像上的细节容易被平滑掉。 p o c s 方法是一类解决超分辨率图像重构问题的流行算法。超分辨率图像解 空间与一组凸形约束集合相交叉，而这组凸形约束集合代表了期望的超分辨率图 像的一些特性，如正定、能量有界、数据可靠、平滑等，这样通过这些约束集合 就可以得到简化的解空间。p o c s 是指一种迭代过程，在给定超分辨率图像空间 中任意一个点的前提下，可以定位一个能满足所有凸形约束集合条件的收敛解。 p o c s 的优点是可以方便地加入先验信息，可以很好地保持高分辨率图像上的边 缘和细节；缺点是解不唯一、解依赖于初始估计、收敛慢、运算量大和收敛稳定 性不高等。为了提高凸集投影方法的收敛稳定性，可以采用松弛投影算子，但松 弛投影算子不利于保持图像的边缘和细节。 2 、基于学习的图像超分辨率方法 现实世界中的图像类型非常丰富，这就提供了一种机器学习的思路：利用马 尔可夫网络模型( m a r k t o vn e t w o r k ) 来学习训练库中与低分辨率图像不同区域相 对应的高分辨率图像的精细细节，然后利用学习得到的关系来预测输入低分辨率 图像的细节信息。我们把这种方法称为基于学习的方法。这种方法可以用来放大 图像。在这个方法中，很重要的一点就是生成特定的训练库，如果没有特定的训 练库，想要生成正确的高分辨率图像是不可能的。 基于学习的算法和传统的方法不同，它是目前一种新兴的算法并吸引着大批 研究者，它让采样的图像帮助定义p d f 而不是光靠直觉武断的下定义。基于学 习算法的主旨思想是收集所谓的受训图像序列，研究低分辨率图像和高分辨率图 像之间的统计关系，并把它运用到从低分辨率图像重建高分辨率图像中。 基于学习的超分辨率技术【5 9 j 可以作为超分辨率技术在人脸识别领域应用， 最早是由s i m o nb a k e r 和t a k e ok a n a d e 5 0 】在1 9 9 9 年提出的“人脸幻想”( f a c e h a l l u c i n a t i o n ) 的思想。他们分析了基于重构的超分辨率技术在分辨率增强大约 8 1 6 倍时的限制，简单的平约束很容易使期望的高分辨率图像由于高频信息的丢 失过于平滑，因此引入新的基于识别的先验，作为识别决策集的函数。基于识别 的先验是对特定的目标、场景或图像集合进行学习得到的，即通过计算低分辨率 输入图像和高分辨率训练图像的高斯金字塔、拉普拉斯金字塔、水平一二阶梯度、 垂直一二阶度得到母结构，然后再以某种测度作为衡量标准，建立低分辨率输入 图像的像素与最匹配的高分辨率像素及高分辨率训练图像问的关系，然后与超分 辨率构约束合并去估计m a p 的解。 当前已经有一些基于学习的超分辨率算法。f r e e m 趾【5 1 j 等人提出利用马尔可 夫网络( m a r k o vn e t w o r k ) 来学习训练库中与低分辨率图像不同区域相对应的高分 7 硕士学位论文 第一章绪论 辨率图像的精细细节，然后利用学习得到的关系来预测输入低分辨率图像的细节 信息。h e r t 珊锄f 5 2 】等人提出了提出的图像类推技术就是利用训练图像对( i m a g e p a i r ) 的局部特征相似性来推测输入l r 图像的对应高分辨率特征的。仅仅注意 低层特征所带来的问题是训练效率比较低，因为它需要在整个训练集中搜索最相 似的像素分布，同时迫使训练集变大。 l i u 5 3 j 等人提出了一个两步算法，采用所谓主要成份分析技术( p r i n c i p a l c o m p o n e n ta n a l y s i s ，p c a ) 描述人脸整体结构，然后利用马尔可夫网络( m a r k o v n e t w o r k ，m n ) 模型学习个体的局部特征。在该算法中，三种约束条件被提出： 语义约束、全局约束和局部约束。他们将期望的高分辨率图像分为概貌部分和细 节部分两个部分。首先采用了p c a 的方法，借助特征向量空间得到了期望高分 辨率图像的概貌部分；然后分块建立训练图像与期望高分辨率人脸的概貌之间的 非参数马尔可夫框架，通过总能量最小化，最终得到期望高分辨率人脸细节部分 的最优解。最后融合图像概貌和细节得到假想的高分辨率人脸图像。其结果比较 平滑，但是由于使用p c a 计算全局模型，超分辨率的结果与原始高分辨率图像 看起来不太相似。 g u n t u r k 等人瞰5 5 】用一种与k l 变换( k l t ) 相似的降维技术将像素域的超分辨 率问题转换到低维子空间，即人脸空间，以降低超分辨率算法的计算量。他们首 先对高分辨率人脸图像库和相应欠采样后的低分辨率人脸图像库进行训练得到 高、低分辨率人脸空间，然后将采集得到的多帧低分辨率人脸图像在低分辨率人 脸空间投影，得到相应的多个人脸特征，通过建立低分辨率人脸特征和高分辨率 人脸特征间的m a p 模型，迭代估计高分辨率人脸特征，实现超分辨率人脸识别。 w a n g 等人【5 6 j 提出了基于特征脸的人脸超分辨率假想方案，利用p c a 将低分 辨率输入图像模型为一些低分辨率训练图像的线性组合。保持融合系数不变，用 相应的高分辨率训练图像代替低分辨率训练图像从而假想出期望的高分辨率图 像，认为采用较小的训练集合也能得到比较好的结果。 d a v i dc a p e l i 5 7 】等人则进一步将人脸划分成眼、鼻、嘴和面颊4 个部分，利用 p c a 技术学习每一部分的高频特征。2 0 0 6 年，s t e p h e n s o n 5 8 j 也提出了一个类似 算法，将人脸分为眼部和非眼部两部分，利用机器学习方法进行块的聚簇，以提 高马尔可夫网络观察函数的相关性，另外在计算传递函数时候还考虑了脸部的对 称性。 z h u a n g 5 9 】提出了一种新的基于方向可控( s t e e r a b l e ) 金字塔和局部最优匹配的 人脸图像超分辨算法：首先，通过学习正面人脸图像中空间尺度和方向性特征的 分布，并结合塔状父结构和局部最优匹配算法来求取先验模型；其次建立观测模 型；然后结合贝叶斯最大后验概率( m a x i m u ma p o s t e r i o r i ，脚) 理论，最后使用 8 硕士学位论文第一章绪论 最速下降法求出最优的高分辨率人脸图像，经过超分辨率得到的人脸图像噪声较 少，并且忠实于原始高分辨率图像。 基于学习的s r 方法适用于如人脸之类的特殊场合。而且大多数这类算法把 图像假定为同性质的马尔可夫随机块。在这个领域依然有很多问题要解决。因此 我们按照这条线索在m r f 框架下研究s r 重建人脸图像。 由于学习算法比较适合特定领域的图俐1 8 】，因此我们计划以人脸图像为对象 进行研究。一方面，人脸图像本身在应用中占有重要地位，如视频会议、新闻广 播、人脸识别、民用图像等都主要以人脸为主，有效的人脸s r 技术将为这些应 用带来新的机遇；另一方面，人脸结构比较复杂，研究人脸s r 算法，有助于查 明复杂模型下的s r 机制，推动s r 技术本身的发展。另外，从学习算法发展历 程看，单调马尔可夫随机域( m a r k o vr a n d o mf i e l d s ) 模型能够较好地描述自然 图像分布特性【1 9 】。因此，马尔可夫网络模型下的人脸图像学习算法值得大力研究。 据观察，目前基于马尔可夫网络的s r 学习算法面临的主要问题是：如何加 快网络的收敛、如何最大限度地缩小训练集、如何使输出图像更加逼近原始图像、 如何提高算法的实时性等。这些问题的解决，将为以人脸图像为主的应用( 如视 频会议等) 带来新机遇，有力推动学习算法本身的发展。 1 3 论文的研究目的和研究内容 为什么早期学习算法会存在这些问题? 从不同角度可以有不同解释，有学者 认为训练集没有经过选择是主要原因【删，因为在任意的训练集里搜索到最匹配像 素的概率比较低，所以网络收敛慢；这个解释是有道理的，但似乎没有击中要害， 因为如何选择训练集的问题依然存在。另一些学者则主张使用罚函数( p e n a l t y f u n c t i o n ) 清除掉干扰项【5 l 】；但问题在于干扰项是如何产生的。 我们有一个观察，稍早一些的s r 学习算法比较注意学习低层特征【3 5 1 ，这是 问题的实质。由于只学习低层特征，因此训练集才会因没有分类而无从选择，或 者被迫变大；由于只学习低层特征，因此出现了大量干扰项，研究人员不得不使 用罚函数剔除无用的数据。 近年来，研究人员开始注意高层特征的学习，发现高层特征不单实用而且可 以产生更好的结果。l i u 等人提出了一个两步算法【5 3 1 ，采用主要成份分析技术 ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 来描述人脸整体结构，然后利用马尔可 夫网络( m a r k o vn e t w o r k ，m n ) 模型学习个体的局部特征。d a v i dc a p e l 5 7 j 等人 则进一步将人脸划分成眼、鼻、嘴和面颊4 个部分，利用p c a 技术学习每一部 分的高频特征。2 0 0 6 年，s t e p h e n s o n1 5 8 j 也提出了一个类似算法，将人脸分为眼 部和非眼部两部分，利用机器学习方法进行块的聚簇，以提高马尔可夫网络观察 9 硕士学位论文第一章绪论 函数的相关性，另外在计算传递函数时候还考虑了脸部的对称性。 这些方法的共同特点就是注意到了高层( 语义) 特征学习的意义。但其复杂 性和灵活性仍需增加，所以该研究方向还有很长的路要走。这些方法的共同特点 就是注意到高层语义特征或知识的意义，这是我们的一个重要观察。首先，研究 人员大都意识到学习算法比较适合特定领域的图像，实际上这是学习高层特征 ( 例如人脸) 的开始。其次，基于识别的s r 算法虽没有明确语义层操作的概念， 但实际上已经在利用语义知识；文献【6 1 】也在凸集投影算法中引入了基于识别的 思想，证实其改进之功效。第三，提高学习算法的有效性，关键在于提高搜索的 相关性，而相关性仅靠底层灰度特征是不够的，应当避免为一个眼部像素而在面 颊区域搜索，因此出现了脸部分区技术。所有这些都显示出语义知识对s r 技术 的意义。 当然，这个发展过程还存在很多问题，例如，l i u 的两步算法中的p c a 计算 部分需要求解矩阵的特征值和特征向量，虽然可以采用标准的计算方法，但计算 量仍然很大；同时，l i u 算法在学习局部特征方面也不如d a v i dc a p e l 算法来得 彻底。但是d a v i dc a p e l 算法也存在计算开销较大的问题，并且，输入和训练图 像分区是一项繁重任务。至于s t e p h e n s o n 算法，将人脸分为眼部和非眼部似乎过 于粗糙。 总之，我们看到了高层语义特征和知识操作的趋势，因此提出并试图进一步 发展语义特征学习的思想。众所周知，利用马尔可夫网络模型描述自然图像的 s r 机制，核心问题是提高观察函数与传递函数的相关性。如何实现这种相关性? 我们发现，对脸部图像进行分区看似合理、其实并不科学；因为，如果把人脸划 分成眼部等不同区域，那么为什么不把眼部再分成眉毛和眼球两个区域呢? 而眼 球中，眼白和瞳孔也是性质不同的地方。实际上，划分部位区域是没有必要的， 关键在于，在训练图像集中为一个l r 像素搜索对应的h r 图像的像素块时，如 果能够把搜索限制在h r 图像的相应点附近，这就贯彻了语义相关的思想。 本文提出了一种相对更简洁、更有效的s r 算法。它总体上属于马尔可夫随 机模型下的学习算法，对训练用的高分辨率图像和对应的低分辨率图像进行分 块，使训练图像集由块对( p a t c hp a i r ) 构成。同时，在求解m n 的观察函数时， 采用一种限位匹配技术，不仅提高了块匹配的语义相关性，而且降低了搜索空间 的复杂度。而在求解传递函数方面，采用分块的重叠区域之间的兼容性检查技术， 利用人脸在水平方向上特征( 特别是眉目、鼻孔、牙齿等部位的水平方向排列) 更加突出这一特点，提出优先检查水平兼容性的思想，简化了m n 的隐层节点的 计算。算法最后采用样本拼镶技术直接输出超分辨率图像。上述关键技术实际上 给出了一个语义m n 模型，即在传统删的基础上增加了语义操作机制。分析和 1 0 硕士学位论文 第一章绪论 实验表明，在同等训练集条件下，不仅具有良好的输出质量，而且具有更好的实 用性和实时性。 论文的研究内容和目标包括： ( 1 ) 提出一种分块位置约束机制来增加m n 观测函数的概率值。 ( 2 ) 建立一个兼容检查算法，它使用最接近k 的分块中最兼容的邻近分块 来增加m n 函数的过渡性。 ( 3 ) 在兼容检查算法的帮助下产生语义m n 。 ( 4 ) 算法的速度应该要快，并能在无需人工修饰的前提下可以自动为边缘 和纹理增加清晰度和细节。 总的来说，该论文研究的主要内容即提出一种基于语意m n 的新算法。在算 法中建立一个基于h r 图像的统计模型以及该模型如何从l r 中得到h r 。我们 的目标是使人脸图像的s r 算法更简单，灵活，适合实际需要。 1 4 论文的组织结构 论文共分五章，组织结构为： 第一章介绍了论文的研究背景、研究意义，目前研究存在的问题和研究目标。 第二章介绍马尔可夫随机域原理以及其在s r 图像技术中的应用，阐述了马 尔可夫随机场等基本理论以及以m n 模型为基础提出新的s r 框架。 第三章介绍基于分块马尔可夫网络模型的人脸图像s r 的算法研究。 第四章介绍了开发实验软件的编程工具和方法，介绍了实验软件的功能结构 以及界面，给出了实验结果，并分析了实验结果，指出算法的优缺点。 第五章对论文工作的总结和进一步研究的展望。 硕士学位论文第二章马尔可夫随机场及其在图像超分辨率中的应用 第二章马尔可夫随机场及其在图像超分辨率中的应用 在上世纪8 0 年代人们已经开始将马尔可夫理论应用于图像处理领域。人们 利用马尔可夫随机场描述图像的相邻坐标之间状态的依赖关系，有效地表达了图 像的局部统计特征，提供了一种描述图像上下文关系的方法。上下文约束在图像 处理中占有相当重要的地位，也是图像处理所必需的一个特征。在这期间， s g e m a n 和d g e m a n 【6 2 】于1 9 8 4 年发表了一篇关于图像恢复的文章。他们针对图 像恢复问题建立了隐式马尔可夫随机场模型( h m i 心) ，利用随机松弛和“退火 算法计算图像的最大后验概率。这篇文章对h m r f 模型在图像处理领域中的应 用做了奠基性的工作，后来人们称s g e m a n 和d g e m a n 提出的算法为马尔可夫 链蒙特卡罗( m c m c ) 算法。随后，j b e s a g 提出了条件迭代模型( i