（计算机软件与理论专业论文）马尔科夫网络模型下人脸图像超分辨率算法研究.pdf

摘要 人脸作为计算机视觉领域重要研究对象，近年来一直是研究的热 点。随着多媒体技术的日益发展，人们对人脸图像的质量提出了更高 的要求。更换传感器势必增加成本，而且在硬件上受到物理限制，因 而采用超分辨率技术成为一种新的选择。图像超分辨率( s r ) 技术 是一种基于信号处理技术来获得高分辨率图像的方法，它可以克服图 像系统的内在分辨率限制，且具有低成本的特点，因而在视频、医学 成像、监控、遥感和军事等领域都被广泛应用。 本文主要研究马尔科夫网络模型下人脸图像的超分辨率技术，针 对分块m n 模型中的关键问题：观察函数和传递函数的求解，本文首 先提出了一种基于人眼定位的人脸对齐方法，通过基本对齐实现位置 限制机制，加快了马尔科夫网络收敛速度，并有效地避免了干扰项。 然后，在块的搜索匹配中，本文提出按照高频成分的分布进行相似性 度量，对平滑区域的块进行简单的灰度相似度量，而梯度较大的块结 合纹理和灰度特征度量，在求解传递函数时，采用图像重叠分块和水 平兼容性优先的方法，提高了匹配相关性，简化了隐层节点的计算。 最后本文在v c + + 6 o 平台上，实现了一个马尔科夫网络模型下 人脸超分辨率原型系统。该系统实现了训练集的采集、人脸对齐以及 分块相似性度量等功能，并对实验结果进行了比较和评价，对系统的 性能进行了分析。 关键词人脸图像，超分辨率算法，m n 模型，人脸对齐，相似性度量 a bs t r a c t i nr e c e n ty e a r s ，f a c ei m a g ea sa ni m p o r t a n ts t u d yo b j e c th a sb e e n w i d e l yr e s e a r c h e di nt h ef i e l do fc o m p u t e rv i s i o n w i t ht h ei n c r e a s i n g d e v e l o p m e n to fm u l t i m e d i at e c h n o l o g y , t h e r ei sab i gd e m a n df o rt h e q u a l i t yo ff a c ei m a g e i tw i l li n c r e a s et h ec o s tw h e nw er e p l a c e l o w - r e s o l u t i o ns e n s o r sw i t hh i g h r e s o l u t i o no n e s 。a n ds e n s o r sa r ea l s o s u b je c t e db yt h ep h y s i c a lh a r d w a r el i m i t a t i o n s s ot h eu s eo f s u p e r - r e s o l u t i o nt e c h n o l o g yb e c o m e san e wc h o i c e s u p e r - r e s o l u t i o n ( s r ) t e c h n o l o g yi so n ek i n do fm e t h o dw h i c ho b t a i n st h eh i g hr e s o l u t i o n ( h r ) i m a g eb a s e do nt h es i g n a lp r o c e s s i n gt e c h n o l o g y t h es rc a no v e r c o m e t h ei n h e r e n tr e s o l u t i o nl i m i t a t i o no fl r i m a g i n gs y s t e m s a n dt h em a j o r a d v a n t a g eo ft h es i g n a lp r o c e s s i n ga p p r o a c hi st h a ti tm a yc o s tl e s sa n d t h ee x i s t i n gl r i m a g i n gs y s t e m sc a nb es t i l lu t i l i z e d t h es rh a sb e e n w i d e l yu s e di nv i d e o ，m e d i c a li m a g i n g ，s u r v e i l l a n c e ，r e m o t es e n s i n g ， m i l i t a r ya n do t h e rf i e l d s w es t u d ym a r k o vn e t w o r km o d e lo fh u m a nf a c e i m a g e s u p e r - r e s o l u t i o nt e c h n i q u e s t h em nm o d e lh a st w ok e yi s s u e s ：t h e s o l u t i o no ft h eo b s e r v a t i o nf u n c t i o na n dt h es o l u t i o no ft h et r a n s f e r f u n c t i o n f i r s to fa l l ，t h i st h e s i sp r o p o s e saf a c ea l i g n m e n tm e t h o db a s e d o ne y el o c a t i o n ，b yw h i c hm e t h o dr e a l i z i n gt h el o c a t i o nr e s t r i c t i o n s ， s p e e d i n gu pt h ec o n v e r g e n c er a t eo ft h em a r k o vn e t w o r k ，a n de f f e c t i v e l y a v o i d i n gt h ei n t e r f e r e n c e t h e n ，i nt h es e a r c hp r o c e s so fb l o c km a t c h i n g ， w e c o m p u t et h es i m i l a r i t ym e a s u r ei na c c o r d a n c ew i t ht h ed i s t r i b u t i o no f h i 曲仔e q u e n c yc o m p o n e n t s i ns m o o t hr e g i o n ，w ee m p l o yas i m p l eg r a y b l o c ks i m i l a r i t ym e a s u r em e t h o d ，w h i l ec o m b i n eg r a y - s c a l ew i t ht e x t u r e c h a r a c t e r i s t i c si nt h er e g i o no fl a r g eg r a d i e n t t os o l v et h et r a n s f e r f u n c t i o n ，w eu s eo v e r l a p p i n gt e c h n i q u eo fs u b i m a g eb l o c k sa n dt h e h o r i z o n t a ld i r e c t i o nc o m p a t i b i l i t yp r i o r i t yw a yt oi n c r e a s et h er e l e v a n c e o ft h em a t c h t h i sm e t h o di sa l s oa b l et os i m p l i f yt h ec a l c u l a t i o no f h i d d e nl a y e rn o d e s f i n a l l y , w eh a v ed e v e l o p e dah u m a nf a c es u p e r - r e s o l u t i o np r o t o t y p e s y s t e mb a s e do nm a r k o vn e t w o r km o d e lo nv c + + 6 0p l a t f o r m t h e s y s t e mc a nc o l l e c tat r a i n i n gs e to fh i g h - r e s o l u t i o nf a c ei m a g e ，c a r r yo u t f a c ea l i g n m e n ta n db l o c ks i m i l a r i t ym e a s u r e m e n t t h e e x p e r i m e n t a l r e s u l t sa r ec o m p a r e dw i t ho t h e rm e t h o d sa n dt h ep e r f o r m a n c eo ft h e s y s t e mi sa n a l y z e d k e yw o r d sf a c ei m a g e ，s u p e rr e s o l u t i o na l g o r i t h m ，m a r k o vn e t w o r k m o d e l ，s i m i l a r i t ym e a s u r e i i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：丕耻日期：卑年上月堕日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：娃聊签鹕嗍4 年上月卫日 硕士学位论文第一章绪论 1 。l 研究背景和意义 第一章绪论弟一早珀下匕 人脸作为计算机视觉领域重要研究对象，近年来一直是研究的热点。随着计 算机视觉技术的迅速发展，对观察场景图像质量提出了更高的要求。在很多应用 中，比如：人脸识别、人脸表情分析、视频监控和人脸跟踪等，高分辨率图像所 提供的细节信息是很关键的。通过更换传感器来改善分辨率势必增加造价成本， 而且缩小传感器单元已经接近了物理限制，寻找一种有效的提高分辨率的方法十 分必要。这时超分辨率算法也就成了一个自然的选择。 图像超分辨率( s u p e rr e s o l u t i o ni m a g i n g ，s r ) 是一种通过信号处理技术从 多帧低分辨率图像获得较高分辨率图像的方法【l 】【2 1 。s r 技术的基本思想是，以若 干模糊、有噪、频谱混叠的低分辨率( l o wr e s o l u t i o n ，l r ) 图像为输入源，通 过信号处理技术融合出一幅高分辨率( h i g h tr e s o l u t i o n ，h r ) 图像。由于s r 技 术可以克服图像系统的内在分辨率限制，改进图像处理中大多数图像的质量，且 具有低成本的特点，因而在视频、医学成像、监控、遥感和军事等领域都有重要 应用。 ( 1 )视频传输。流媒体技术的发展，网络视频点播在人们生活中日益广 泛，高清的网络电视特别受用户青睐。庞大的视频占用了有限的带宽，这样严重 影响其他网络服务的q o s 。若视频点播使用低分辨率的视频流，传输所占用的带 宽较少，但用户的视觉效果不好。为了能充分利用低带宽网络环境的瓶颈资源， 可以通过传输低分辨率的视频流，然后在接收端使用图像超分辨率算法获得高分 辨的视频流。 ( 2 )医学成像系统。清晰的医学图像对医生诊断具有重要的帮助。在计 算机层析x 射线摄影( c t ) 和磁共振成像( m r i ) 等医学成像中，由于硬件设备 及现有的成像技术的限制，分辨率质量是有限的，而获得多幅图像又是可能的， 所以超分辨率技术也能用于这些医学成像领域。 ( 3 )视频监控系统。对场景实时监控需要大量昂贵的监控人力需求，因 而视频监控系统的应用受到了一定的限制。第三代视频监控系统提出的基于对视 频内容分析理解的实时预警报告，向视频监控系统的自动化发展迈出了重要的一 步。在视频监控中，通常需要识别犯罪嫌疑人、汽车牌照等，往往这些对象离摄 像头的位置比较远，因此图像通常比较小，为了更好的识别它们并进行跟踪，可 以先对它们进行超分辨率放大，然后再进一步处理。 硕士学位论文第一章绪论 ( 4 )卫星遥感技术。卫星图像的空间分辨率是衡量卫星遥感能力的一项 主要指标，也是衡量一个国家航天遥感水平的重要标志，追求更高的分辨率已成 为各国卫星的发展目标。超分辨率技术在可见光遥感和红外遥感领域的实际应 用，将会提高卫星的空间分辨率也可以在保持卫星分辨率的条件下，缩小光学 仪器的焦距，使卫星相机小型化，减小其体积和重量。因而研究卫星的遥感图像 超分辨率技术具有十分重要的意义。 ( 5 )军事应用领域。最主要的应用如侦察、战斗场景监控与打击效果评 估、s a r 雷达成像信号处理等。其中红外成像系统中c c d 器件的像素数相对较少， 故获取的图像分辨率比较低，因此在夜间观察、军事侦察等领域，提高成像系统 分辨率是非常必要的。而且红外探测系统的探测目标往往是静态或准静态目标， 尤其适合采用超分辨率技术来提高探测分辨率。 ( 6 )传统制式的转换。当前视频采集系统一般符合相应的技术标准或制 式，例如p a l 、n t s c 等，但这些标准下的分辨率已经不能满足需要，将p a l 、 n t s c 视频信号转换成高清晰度电视h d t v 信号，在高清晰度电视上显示标准清 晰度电视信号而不出现视觉伪像是一种现实的需求。 超分辨率技术的最大优点是成本低，可以改进图像处理中大多数图像的质 量，能够克服图像系统的内在分辨率限制，而且现有的低分辨率成像系统仍可以 使用。上世纪9 0 年代以来s r 一直是数字图像研究的焦点问题之一，近年更是 趋向热门。 1 2 超分辨率技术的产生与发展 6 0 年代h a r r i s 和g o o d m a n 提出了超分辨率重建技术，当时是指基于单帧图 像的超分辨率处理技术，随后人们相继提出了各种超分辨率方法，基于解析延拓 原理的外推法、基于长椭球函数的外推法等，这些方法在实际应用中效果并不理 想，因此基于单帧图像的超分辨率技术被a n d r e w s 和h u n t 称为“超分辨率神话 。 早期的s r 方法基本可以归结为基于重建的技术。该技术要获得成功的基本 前提是从相同场景捕获的多幅低分辨率图像是否可用【l 】，即同场景图像之间存在 子像素偏移，且有混叠存在，这样包含在每幅低分辨率图像里的新信息可以用于 获得一幅高分辨率图像。通常要求输入的l r 图像足够多，方有可能恢复出较多 的高频信息【3 】【4 】【5 】，但实际应用中这个条件比较苛刻。如果只有一幅l r 图像输入， 要得到对应的h r 图像就更加困难。 s r 是一个公认的病态求逆问题( 6 】，而且由于噪声的存在，欠采样算子的操 作，低分辨率图像数目的不确定，模型的误差等原因，使得超分辨率图像重建成 为一个较严重的病态问题而不能直接求解。因此，研究人员常常采用近似算法实 2 硕士学位论文第一章绪论 现s r 重建，并且增加额外的信息以弥补输入数据的不足，利用这些不同但相互 补充的信息完成重建。从贝叶斯理论的观点来看，给s r 逆向问题提供额外信息， 就是要利用图像的概率密度函数( p r o b a b i l i t yd e n s i t yf u n c t i o n ，p d f ) 的先验知识， 对s r 过程进行正则化( r e g u l a r i z a t i o n ) ，提高计算结果逼近真实解的概率。使结 果逼近真实解，可采用如边缘保持【刀、t i k h o n o v 正则化【8 】、混叠度预估【9 】、小波 系数稀疏【1 0 1 、c o n t o u r l e t 变换【1 1 】等技术。这些工作都有力推动了s r 的发展，但 效果仍然有限，对p d f 的定义难以证实 1 0 】 1 2 】。而且不同方法适应的范围并不相 同，迄今为止还没有找到一种较好的通用正则化方法。 机器学习的不断发展，众多学者将其应用于超分辨率领域，一种基于学习 ( 1 e a r n i n g - b a s e da l g o r i t h m ) 的s r 方法正在兴起【1 3 2 1 】。与传统基于重建的技术不 同，学习算法主张，与其随意或直观猜测p d f 的定义，不如利用训练集的h r 图像与l r 图像的对应关系来帮助定义p d f 。学习算法的基本思想是建立一个由 若干h r 图像和对应l r 图像对组成的训练集，然后学习h r 图像与l r 图像之 间的统计关系，将这种先验知识应用到s r 过程。学习算法打破了传统重建技术 仅从给定l r 图像获取信息的局限，利用大量现存自然图像之间的统计关系，为 s r 算法寻找新的知识来源，从而为解决不确定性逆向问题开辟了新的途径。学 习算法比较适合特定领域的图像【1 7 】，例如人脸图像，因为由同类图像组成的训练 集有助于提高h r 与l r 图像的相关性。同时，大部分学习算法采用单调马尔科 夫随机域( m a r k o vr a n d o mf i e l d s ，m r f s ) 模型来描述图像的像素分布【1 3 。由于 这些特定领域研究的潜在应用价值，推动了学习算法的发展，目前基于马尔科夫 随机模型的学习算法研究以成为一个非常活跃的研究领域。 1 3 图像超分辨率方法分类 s r 技术在早期研究中仅指基于多幅图像的还原方法，将基于单幅图像的增 强称为插值，而目前多数文献中将这两种情况均称为超分辨率。超分辨率技术 自t s a i 和h u a n 誊3 】提出利用多帧图像序列来恢复高分辨率图像以来，至今已有二 十余年，其间涌现了大量算法。目前，图像超分辨率研究可分为3 类：基于插值、 基于重建、基于学习的方法。这3 类方法各有优劣：插值方法算法简单、快速， 但容易产生模糊或者锯齿边缘；重建方法可以取得较好的平滑和边缘效果，但算 法较为复杂，通常情况下需要迭代求解；学习方法效果比前两种要好，但只适合 特定领域，并且受训练样本的选择影响严重。 1 3 。l 基于插值的方法 插值方法有基于单帧和多帧图像两种。目前已有很多经典的基于单帧图像的 3 硕士学位论文第一章绪论 插值方法，最常见的就是最近邻插值、双线性插值、双三次插值及b 样条插值 等。这些传统的基于单帧图像的插值方法速度较快，但当放大倍数较大时，生成 的图像质量欠佳。通常在图像纹理区域缺乏高频细节信息，并且边缘存在锯齿。 基于多帧图像插值的方法，首先估计各帧图像之间的相对运动信息，获得h r 图 像在非均匀间距采样点上的像素值，然后通过非均匀插值得到h r 栅格上的像素 值，最后采用图像恢复技术来去除模糊和降低噪声。典型的方法包括r a j i a n 和 c h a r u d h u r i 2 2 通过分解、插值和融合3 个步骤实现的通用插值方法； l e r t r a t t a n a p a n i c h 和b o s e 2 3 】提出的使用基于光滑性约束的d e l a u n a y 三角化插值 算法等。这些基于多帧的插值方法适合并行计算，满足实时性要求，但由于受到 信息量的限制，不能引入额外高频信息，因而很难在s r 图像中得到锐化的结果， 插值后图像的高频细节被丢失。 1 3 2 基于重建的方法 基于重建的方法假定超分辨率图像在适当的变形、平移和子采样及噪声干扰 下，利用多帧l r 图像作为数据一致性约束，并结合图像先验知识进行求解。该 方法一般包括2 个重要部分：配准和重建。配准是获得参考l r 图像和其它l r 图像之间亚像素精度的相对运动；重建是利用先验知识，对目标图像进行优化求 解。 超分辨率重建方法又可以分为频域方澍4 - 5 】【2 4 。2 7 】和空域方法【3 2 4 9 】。频域方法 其理论基础是傅里叶变换的平移特性，是在频域消除频谱混叠而提高图像空间分 辨率的方法。频域方法理论简单，机理明显，运算复杂度低，很容易实现，具有 直观的去变形超分辨率机制。但这类方法的缺点是要求在频域存在一个同空域相 对应的运动模型，这限制了该方法的范围，而且很难将采样空间中变化的退化模 型应用到频域的解混叠公式中，不具有灵活性；另外，包含空域先验知识的能力 有限，所基于的理论前提过于理想化，不能有效地利用正则化处理来限制解空间， 只能局限于全局平移运动和线性空间不变退化模型。这在空域方法中实现非常方 便、直观。 空域方法主要包括迭代反向投影法( i b p ) 2 8 - 3 1 】、凸集投影法( p o c s ) 3 2 - 3 6 】、 最大后验概率法( m a p ) 3 7 - 3 9 】、正则化法m 】、混合方法m l m a p p o c s 法【4 l 】等。 空域方法的观察模型涉及全局和局部运动、光学模糊、帧内运动模糊、点扩散函 数( p o i n ts p r e a df u n c t i o n ，p s f ) 、非理想采样等其它一些内容，其特点是具有很 强的包含空域先验约束能力，因而比频域方法具有更大的灵活性，其适用范围也 较广。 i r a n i 和p e l e g 2 8 2 刃提出的迭代反向投影法( i b p ) 是超分辨率图像复原中一种 4 硕士学位论文第一章绪论 代表性的方法。首先估计一个高分辨率图像作为初始解，通常采用单帧低分辨率 图像的插值结果。然后把这个初始解投影到低分辨率观测图像上以获得低分辨率 模拟图像，低分辨率模拟图像与实际观测图像的差值称为模拟误差，根据模拟误 差不断修正，当误差满足要求时，迭代结束，i r a n i 和p e l e g 证明了算法是收敛的。 迭代反向投影方法通过观测方程使超分辨率重建与观测数据匹配，但这种方法的 超分辨率重建结果不稳定、不惟一。 s t a r k 和o s k o u i 3 2 】最早提出了p o c s 方法，是目前研究和应用较多的方法。 它通过高分辨率图像解空间与一组凸形约束集合相交叉，而这组凸形约束集合代 表了期望的超分辨率图像的一些特性，如正定、能量有界、数据可靠、平滑等， 这样通过这些约束集合就可以得到简化的解空间。从高分辨率图像空间的一点出 发，不断迭代寻找满足所有约束凸集的下一点，最终获得整个高分辨率图像的估 计。p o c s 方法的优点在于算法简单，能方便地加入先验知识；缺点是解不唯一、 收敛过程依赖于初值的选择、收敛慢、运算量大和收敛稳定性不高等。 s c h u l t z 和s t e v e n s o n 【3 7 , 3 8 提出的最大后验概率( m a p ) 方法是典型的概率论 方法，把观察得到的低分辨率图像和高分辨率图像当作两个不同的随机过程，根 据m a p 准则，由先验知识得到后验概率最大的高分辨率图像。m a p 方法的优点 是有惟一解，若先验知识合理可以获得很好的图像边缘效果：但是其缺点就是计 算量相对比较大。 n g u y e n 等【4 0 】提出的正则有参超分辨率图像恢复方法采用恒定正则算子，使 用一个最优正则参数，构造关于图像模糊参数、正则参数和高分辨率图像的 t i k h o n o v 最小化能量泛函，形成正则超分辨率恢复模型。正则化方法的优点在于 不要求点扩散函数( p s f ) 为圆形，也不需要对图像和噪声做任何统计假设，但 正则化项在抑制噪声的同时也抑制了图像的高频细节。 混合方法【4 1 】是通过最小化特定集合约束的最大后验概率最大似然估计 ( m a p m l ) 的损失函数，得到高分辨率图像的估计。混合方法结合了m a p 和 p o c s 各自的优点，充分利用了先验知识并且收敛的稳定性比较好。 1 3 3 基于学习的方法 基于学习的方法是近年来超分辨率研究的热点问题，其基本思想：通过计算 测试样本的p a t c h 与训练集图像p a t c h e s 之间的邻域关系，然后利用学习得到的 关系来预测输入低分辨率图像的细节信息，这样就能获得逼近测试样本的高分辨 率图像。基于学习的方法能够获得更多的高频信息，因而具有很大的优势，在很 多超分辨率应用中能得到比较理想的结果。 f r e e m a n 等【1 4 】提出利用马尔科夫网络( m a r k o v n e t w o r k ) 来学习训练库中与 5 硕士学位论文第一章绪论 低分辨率图像不同区域相对应的高分辨率图像的高频分量，然后利用学习得到的 关系来预测输入低分辨率图像的细节信息。相对于基于插值和基于重建的方法， 这种方法可以获得丰富的高频信息，在放大较大倍数时，仍能得到较高的图像质 量。其缺点是受所选择训练集的影响很大。 基于学习的超分辨率技术【1 5 , 1 6 , 1 8 , 1 9 , 2 0 , 2 1 】【4 2 。4 8 1 可以作为超分辨率技术在人脸识 别领域应用，最早是由s i m o nb a k e r 和t a k e ok a n a d e 4 2 】在1 9 9 9 年提出的“人脸幻 想”( f a c eh a l l u c i n a t i o n ) 的思想。他们分析了基于重建的超分辨率技术在分辨率 增强大约8 1 6 倍时的限制，简单的约束很容易使期望的高分辨率图像由于高频 信息的丢失过于平滑，因此选择人脸图像的高斯金字塔、拉普拉斯金字塔的水平 与垂直方向的导数作为特征空间，其实验效果比f r e e m a n 要好。 刘策等【1 5 】提出了一个两步算法，采用所谓主成分分析技术( p r i n c i p a l c o m p o n e n ta n a l y s i s ，p c a ) 来估计全局人脸，然后利用马尔科夫网络( m a r k o v n e t w o r k ，m n ) 模型学习个体的局部特征。在该算法中，三种约束条件被提出： 语义约束、全局约束和局部约束。他们将期望的高分辨率图像分为概貌部分和细 节部分两个部分。首先采用了p c a 的方法，借助特征向量空间得到了期望高分 辨率图像的概貌部分；然后分块建立训练图像与期望高分辨率人脸的概貌之间的 非参数马尔科夫框架，通过总能量最小化，最终得到期望高分辨率人脸细节部分 的最优解。最后融合图像概貌和细节得到假想的高分辨率人脸图像。其结果比较 平滑，但是由于使用p c a 计算全局模型，超分辨率的结果与原始高分辨率图像 看起来不太相似。 g u n t u r k 等人 4 4 郴】用一种与k l 变换( k l t ) 相似的降维技术将像素域的超 分辨率问题转换到低维子空间，即人脸空间，以降低超分辨率算法的计算量。他 们首先对高分辨率人脸图像库和相应欠采样后的低分辨率人脸图像库进行训练 得到高、低分辨率人脸空间，然后将采集得到的多帧低分辨率人脸图像在低分辨 率人脸空间投影，得到相应的多个人脸特征，通过建立低分辨率人脸特征和高分 辨率人脸特征间的m a p 模型，迭代估计高分辨率人脸特征，实现超分辨率人脸 识别。 d a v i dc a p e l 等人【1 6 】使用子空间进行超分辨率处理，人脸划分成眼、鼻、嘴 和面颊4 类特征结构( 6 个区域) ，利用p c a 技术学习每一部分的高频特征，整 个人脸由这6 个区域的主成分系数来表示。2 0 0 6 年，s t e p h e n s o n 1 8 】也提出了一个 类似算法，将人脸分为眼部和非眼部两部分，利用机器学习方法进行块的聚簇， 以提高马尔科夫网络观察函数的相关性，另外在计算传递函数时候还考虑了脸部 的对称性。 黄丽等【1 9 】提出了一种新的基于方向可控( s t e e r a b l e ) 金字塔和局部最优匹配 6 硕士学位论文 第一章绪论 的人脸图像超分辨算法：首先，通过采用s t e e r a b l e 金字塔学习人脸图像中低层次 局部特征的空间分布，并结合塔状父结构和局部最优匹配算法来预测最佳先验模 型；然后将先验模型结合到贝叶斯最大后验概率( m a x i m u map o s t e r i o d ，m a p ) 框架中；最后使用最速下降法求出最优的高分辨率人脸图像。该算法得到的人脸 图像噪声较少，并且有着较好的视觉效果。 2 0 0 8 年，z h a n g 等【2 l 】提出了一种新的d c t 域的学习方法，其主要思想是： 与传统的学习方法不同，它不是直接估计高分辨率图像像素的亮度，而是学习图 像d c t 域的系数，系数包括两个部分：d c 系数和a c 系数。d c 系数代表图像 块的整体轮廓，这可以通过简单的插值算法( 双线性，三次b 样条插值等) 来 获取；a c 系数包括人脸的局部特征，如：眼角、嘴巴边缘等，这些信息用插值 算法很难估计，因此通过学习高分辨率训练集的a c 系数来获取人脸的局部特 征；然后把d c 系数与a c 系数进行叠加得到d c t 域的高分辨率人脸图像，最 后进行i d c t 变换就得到空域的高分辨率人脸。在形成训练集时，采用基于聚类 的压缩块词典，减少了训练集数据冗余并提高了搜索效率。 基于学习的s r 方法适用于如人脸之类的特殊场合。而且大多数这类算法把 图像假定为同性质的马尔科夫随机块。在这个领域依然有很多问题要解决。因此 我们按照这条线索在m r f 框架下研究人脸图像s r 方法。 由于学习算法比较适合特定领域的图像【l 刀，因此我们以人脸图像为对象进行 研究。一方面，人脸图像本身在应用中占有重要地位，如视频会议、新闻广播、 视频监控、人脸识别、人脸跟踪、民用图像等都主要以人脸为主，有效的人脸 s r 技术将为这些应用带来新的机遇；另一方面，人脸结构比较复杂，研究人脸 s r 算法，有助于查明复杂模型下的s r 机制，推动s r 技术本身的发展。另外， 从学习算法发展历程看，单调马尔科夫随机域( m a r k o vr a n d o mf i e l d s ) 模型能 够较好地描述自然图像分布特性【1 3 1 。因此，马尔科夫网络模型下的人脸图像学习 算法值得大力研究。 通过分析发现，目前基于马尔科夫网络的s r 学习算法面临的主要问题是： 如何加快网络的收敛、如何最大限度地缩小训练集、如何使输出图像更加逼近原 始图像、如何提高算法的实时性等。这些问题的解决，将为以人脸图像为主的应 用( 如视频会议等) 带来新机遇，有力地推动学习算法本身的发展。 1 4 本文的研究内容 本文针对马尔科夫网络模型的关键问题：观察函数和传递函数的求解，利用 语义约束的优势，提出了基于入眼定位的人脸对齐方法和m n 模型下分块搜索匹 配方法，最后设计并实现了人脸超分辨率原型系统，从实验来看，使得网络能较 7 硕士学位论文第一章绪论 快的收敛并且输出图像比较逼近于原始图像。 在求解观察函数时，首先通过人眼定位确定眼睛的位置，在此基础上定位嘴 巴，然后利用仿射变换人脸基本对齐。采用这种限位匹配技术，不仅提高了块匹 配的语义相关性，而且降低了搜索空间的复杂度。而且，在定位过程中考虑了实 际应用中常遇到的光照问题，采用了自适应自商图处理，避免了光照的影响。 在分块搜索匹配过程中，由于人脸的丰富纹理结构特征，简单的灰度对比难 以度量其相似性。故对高频区域结合纹理和灰度进行度量，平滑区域使用简单灰 度度量，一定程度上提高了纹理相似性，减少了块效应，使纹理更忠实于真实图 像。另外在求解传递函数时，采用分块的重叠区域之间的兼容性检查技术，利用 人脸在水平方向上特征更加突出这一特点，因而优先对水平兼容性进行检查，从 视觉效果上看块的兼容性更好。 最后，设计并实现了人脸超分辨率原型系统，通过构造训练集进行测试，并 分析了实验结果。 1 5 本文的组织结构 论文共分六章，组织结构为： 第一章介绍了超分辨率的研究背景和意义，s r 技术的产生与发展过程，并 对目前超分辨率方法进行了分类总结。 第二章介绍马尔科夫随机场原理以及其在s r 技术中的应用，分析了基于学 习的s r 理论基础和存在的关键问题，并从这些关键问题寻找突破点，以此为基 础提出了解决思路。 第三章提出了基于人眼定位的人脸对齐方法。为了求解马尔科夫模型中的观 察函数并加快收敛速度，采用了首先确定眼睛位置，在此基础上找嘴巴位置，然 后通过仿射变换基本对齐人脸，在一定程度上实现了语义约束。 第四章提出了m n 模型下分块搜索匹配方法。由于人脸高频分布不均，有必 要对不同位置的分块进行不同的相似性度量，在高频丰富的区域，有更多的纹理 特征，因此我们在梯度较大的区域结合纹理和灰度进行相似性度量采用 第五章设计并实现了人脸超分辨率原型系统。设计了系统的功能以及模块结 构，介绍了开发工具和关键技术，给出了实验结果，并分析了实验结果，指出算 法的优点以及局限。 第六章对本文工作进行了总结并提出了需要进一步研究的问题。 8 硕士学位论文第二章马尔科夫网络模型下s r 学习算法 第二章马尔科夫网络模型下s r 学习算法 2 1 马尔科夫网络模型 2 1 1 马尔科夫链的定义 定义：设溉：n = 1 , 2 ，3 ， 是一个离散状态( 状态空间为e ) 、参数为非负 整数的随机过程，状态空间e 为有限或可列集。若对于任意正整数扰、刀，如 果 f e 、j e e ( ，k = 1 , 2 ，刀一l 、 满足 p ( 六+ m = 卅色= f ，六一i2i , - l ，缶= ) = 尸( 色+ 辨= 卅= 0 ( 2 - 1 ) 若( 2 1 ) 式成立，则称这类随机过程溉：刀= 1 , 2 ，3 ， 为一个马尔科夫链， 简称为马氏链。 在上述定义中，如果将随机变量幺的下角标刀，理解为步数，则随机变量彘 就是从起始点经过，z 步，到达的随机变量。随机变量( = i ) ，是指第疗步时的 随机变量所处的状态为f 。条件概率尸( 六+ 用= 爿厶= i ) 是指，在第玎步随机变 量磊所处状态i 发生的条件下，第嚣+ m 步时的随机变量氟m 所处的状态，发生的 条件概率。 由定义可知：当两个条件概率相等，即( 2 1 ) 式成立，说明第刀步以及第刀 步以前的随机变量所处状态共同发生的条件下，第刀+ m 步时的随机变量幺+ 朋所 处的状态j f ，只与第九步时的随机变量六所处的状态f 有关，而与第刀步以前的 所有随机变量所处的状态无关，将此称为随机变量序列的无后效性。具有无后效 性的随机变量序列，才能称为马尔科夫链，即为马氏链。 马尔科夫链，是数学中具有马尔科夫性质的离散时间随机过程。它指的是一 个随机变量序列按时间先后关系依次排开的时候，第n + 1 时刻的分布特性，与 n 时刻以前的随机变量的取值无关。简单地说，该过程中，在给定当前知识或信 息的情况下，过去( 即当期以前的历史状态) 对于预测将来( 即当期以后的未来 状态) 是无关的。 2 1 2 马尔科夫随机场 随机场是三维空间 ，其中q 是样本空间，￥是对q 的b o r e l 集。 旌甲的概率。随机场模型是一个m 维随机向量的分布x 。概率空间 9 硕士学位论文第二章马尔科夫网络模型下s r 学习算 去 上随机变量族x = ( x ，k ，当概率密度函数满足下列特性t 称它为关于邻域 2 r ，v i es j 的不连续马尔科夫随机场。 ( 1 ) 非负性：p ( x 2 。) o ，v x q ( 2 ) 马尔科夫性：p 2 x t i 以u2 x s u ) 2 p 2 i 蜀t 2 h ) ( 3 ) 均一性：p ( 置5 l j i2 ) 对于所有位置t ，p 都具有同样的值。 其中，s t 指除去t 点之外的所有点，出指t 点的邻域系统中除去t 之外的所 有点。在图像处理中，随机变量x ，中的t 通常定义为灰度值，此时随机场就是图 像灰度分布模型。 2 13 图像马尔科夫弼络模型 马尔科夫随机场( m a r k o vr a n d o mf i e l d ，m r f ) 的引入使像素的空间相关 性得到简单而有效地表达，马尔科夫随机场模型提供了关于图像的一种统计描 述，着眼考虑每个像素关于它的一组邻近像素的条件分布，能够有效地描述图像 的局部统计特征，因此，可以使用马尔科夫随机场来建立图像的先验模型。马尔 科夫网络模型如图2 1 所示 1 2 】，它提供了一个贝叶斯框架，允许对图像进行最 大后验概率( m a p ) 估计。 低分辨率( l r ) 雪尊块 日分卅率( h r 幽像块 图2 - 1 马尔科夫网络模型 在图2 - 1 中，v 代表观测的低分辨率图像数据；x 为待估计的高分辨率图 像数据；一“，y ) 是对变量x 的观测函数；“，y ，) 是t 和相邻变量x ，之间的 相关性函数。把观测图像和训练库图像都分成小块( p a t c h e s ) ，每一个分块对应 马尔科夫网络上的一个节点。 广i 硕士学位论文第二章马尔科夫网络模型下s r 学习算法 2 2 基于学习的s r 理论基础 在一幅高分辨率图像1 日上进行形变、模糊、二次采样操作，就产生了低分 辨率图像i 工，假定低分辨率图像是被加性噪声矽污染，则观察模型可以表示为： il=mh+n(2-2、 在( 2 2 ) 式中，矩阵a 表示i 何中高分辨率像素通过模糊、运动和二次采样 对i 中低分辨率像素的贡献，而加性噪声7 7 通常假设为标准差为盯的零均高斯随 机向量，其概率为： p ( 7 7 ) = ( _ 碧) 协3 ， 从高分辨率图像1 日可直接利用( 2 2 ) 计算得到i ：，但从低分辨率图像i 。计 算i 却具有不确定性，这是一个病态求逆问题。因此，研究人员常常采用近似 算法实现s r 重建，并且需要增加额外的信息以弥补输入数据的不足。解决好这 个病态问题取决于可供选择的信息源，也就是说我们必须提出观测客体原始图像 信息资源的先验知识。 根据贝叶斯估计理论，超分辨率需要解决的问题就是在已知i ，的条件下， 求出最优的i ，最常用的方法就是最大后验概率法( m a p ) 。评估该问题的贝叶 斯法则是： 鹏= 一 ， 其中，p o ) 和p ( ，) 分别为l r 和h r 的先验概率；p 也f 厶) 为给定的h r 图像时，观测l r 图像的条件概率。考虑至up ( i 工) 是个常量( 因为i 已知) ，必须 找到使后验概率p 0 日i j ) 取得最大值的i ，这样才能求得最优解i ：，： = a r g m a x p ( i n il ) = a r g m a x p ( i l 厶) 尸( 厶) ( 2 5 ) 从( 2 5 ) 式来看，要得到最优解，关键在于建立先验模型和观测模型来分 另l j 求取p o 日) 、p o l j ) 。 。 2 3 基于学习的s r 关键问题 求取最优解的关键在于建立先验模型和观测模型来分别求取p q ) 、 p 也i 厶) 。这正是超分辨率技术研究中的热点，研究人员提出了很多估计相关性 函数和先验知识的方法【1 0 1 。但是，迄今难以确定哪种方法更有效。这种情况下， 学习算法开始兴起。 硕士学位论文第二章马尔科夫网络模型下s r 学习算法 基于学习的s r 技术又分为两类。第一类的目标是学习先验知识的参数，即 先建立一个假设模型，再通过训练图像集学习模型中的参数，以后就用这个带参 数的模型去计算h r 图像i ：，。第二类技术则进一步继承了学习算法的衣钵，直 接学习后验知识p ( i l ，) ，也就是直接通过在线学习到的样本输出高分辨率图 像。 通过对早期s r 学习算法的观察发现，早期学习算法比较注意学习低层特征 【2 5 】，这是问题的实质。由于只学习低层特征，因此训练集就会因没有进行分类而 无从选择，或者被迫变大以至于收敛很慢；同时也导致出现了大量干扰项，研究 人员不得不使用罚函数剔除无用的数据，从而加大了算法的复杂性。 近年来，出现了学习高层( 语义) 特征【1 5 , 1 6 , 1 8 】的趋势，这些方法的共同特点 就是注意到高层语义特征或知识的意义。首先，研究人员大都意识到学习算法比 较适合特定领域的图像，实际上这是学习高层特征( 例如人脸) 的开始。其次， 基于识别的s r 算法虽然没有明确语义层操作的概念，但实际上已经在利用语义 知识；文献 5 0 也在凸集投影算法中引入了基于识别的思想，证实其改进之功效。 第三，提高学习算法的有效性，关键在于提高搜索的相关性，而相关性仅靠底层 灰度特征是不够的，应当避免为一个眼部像素而在面颊区域搜索，因此出现了脸 部分区技术。所有这些都显示出语义知识对s r 技术的意义。 当然，这个发展过程还存在很多问题，例如，l i u 的两步算法中的p c a 计算 部分需要求解矩阵的特征值和特征向量，虽然可以采用标准的计算方法，但计算 量仍然很大；同时，l i u 算法在学习局部特征方面也不如d a v i dc a p e l 算法来得 彻底。但是d a v i dc a p e l 算法也存在计算开销较大的问题，并且，输入和训练图 像分区是一项繁重任务。至于s t e p h e n s o n 算法，将