（应用数学专业论文）基于kpca的人脸超分辨率算法研究.pdf

基于k p c a 的人脸超分辨率算法研究 专业：应用数学 姓名：邹耀贤 导师：赖剑煌教授 摘要 人脸超分辨率技术是一神从低分辨率入脸图像获得高分辨率人脸图像的技 术。它的应用前景广泛，包括：视频监控、人脸检测与识别、图像恢复、人脸面 部表情分析、低带宽的视频会议传输，等等。入脸超分辨率技术霉翦已经成为图 像处理领域中新兴的研究热点之一。 本文首先对人脸超分辨率技术作了详细的综述，对现有的算法进行了科学分 类。然后针对现有算法的一些缺点，提出了一种基于核主成分分析( k p c a ) 的人 脸超分辨率算法。跟线性方法相比，船c a 是一种毒 线性算法，麓够学习出数据 的线性和非线性特征，所以重构的图像更接近原图。 本文算法的主要思想为：通过理论分析和实验，建立了低分辨率特征空闻和 高分辨率特征空间之间的关系，利用这种关系学习出与输入低分辨率人脸图像所 对应的高分辨率入脸图像在高分辨率特征空闯的象到高分辨率核主成分子空闻 的投影。为了得到最终的高分辨率人脸图像，本文采用了m i k a 等的迭代原象学 习算法从特征空闻孛获得嵩分辨率原象。针对全局入脸图像过予平滑、缺少细节 信息的现象，本文还使用了基于邻域重建的残差补偿方法对全局图像进行残差补 偿。实验表明，跟w 鑫聪的特征交换入脸超分辨率算法及z h 谍鹅的局部保持入 脸超分辨率算法相比，本文算法重构的人脸图像具有更低的均方误差( m s e ) 和更 好懿视觉效果，盈对噪声、表情、眼睛等具有较好的鲁棒性。 关键谲：入脸超分辨率，錾浮c a ，原象学习，残差补偿。 f a ha u d n a t i o nu s i n gk p c a m a j o r ：a p p ii e d _ a t h e m a t i c s n 锄e ：y a 0 _ x i a nz 叫 s u p e r v i o r ：p r o f j i a n h u a n gl a i a b 盘r a c t f a c eh a l l u c i l l a t i o ni sat e c l l i l i q u em a ti n f 打l l i g h - r e s 0 l u t i o nf a c ei m a g e6 彻ml o w 0 n e i t h 弱谢d e s p r e a da p p l i c a t i o np r o s p e c tw l l i c hi n c l u d e sv i d e o 鲫r 、，e i l l a n c e ，f a c e d e t e c t i o na n dr e c o g i l i 廿o n ，i i i l a g e 陀c o v e f a c i a le x p r e s s i o n sa i l a l y s i s ，l o w - b a n d v i d e oc o n f e r e n c e 觚ds 00 n c u 玎e n t l y ，f a c el l a l l u c i i l a t i o nh a sb e e nan e wr e s e a r c h f o c u s e so fd i g i t a li m a g ep r o c e s s i n g i nt l l i sp a p w ef i r s tg i v ear e v i e wf o rf a c eh a l l u c i n a t i o n 觚dm a k eas c i e n t i f i c c l a s s i f i c a t i o nf o re x i s t i n ga l g o r i t l l i i l s t h e n ，an e wf a c eh a l l u c i n a t i o na p p r o a c hi s p r o p o s e du s 吨k e m e l 面n c i 叫c o m p o n e n ta 1 1 出s i s ( k p c a ) s p e c i f i ct 0 也e s h o r t c 疵n go fe x i s t i n ga l g o r i 妇s c o m p a r e dw i ml i n e a rm e t h o d s ，t l l ea d v 衲g eo f u s i n gk p c ai s l a tn o to i l l yl i n e a rf e a t u r e s ，b u ta l s on o n 1 i n e a rf e a t u r e sc a nb e l e 锄e d ，s ot h a tm o r ed e t a i l e df a c i a lf e a _ t u r e sc o u l db es y m h e s i z e d 7 n l em a i ni d e ao fo u ra p p r o a c hi s ：、ef i r s te s 切l b l i s ht 1 1 e r e l a t i o n s b j pb e t 、v e e n l o 、r e s o l u t i o nk e m e l 先a t l l r es p a c e 锄dh i 曲- r e s o l u t i o nk e m e lf e a _ t l l r es p a c ef 如m t h e o r e t i c a la i l de x p e r i m e m a l 觚a l y s i s t h e l l ，t h ep r 巧e c t i o no ft 1 1 e e 研，e c t e dr e a l l l i 曲- r e s o l u t i o ni m a g eo n t oh i 曲r e s o l u t i o nk e m e lp f i n c i p a lc o m p o n e ms u b s p a c ei s l e a m e db y “sr e l a t i o n s h i p i i lo r d e rt og e tm ef m a jv i s u a lf a c ei m a g e ，、eu s em i k a 甜 口，sm e t h o dt of i n dt l l el l i 曲一r e s o l u t i o np r e i m a g e 矗o mk e m e ls p a c e b e c a u s em e g l o b a li m a g ei n e v i t a b l yl o o k ss m o o ma i l dl a c k ss o r n ed e t a i l e di n f o 咖撕o i l ，n e 远h b o r r e c o ns t 】m c t i o nb a s e dr e s i d u ec o m p e n s a t i o nm e t l l o di su s e dt oc o m p e n s a t et l l ed e t a i l e d i n f o 咖a t i o n1 a c k e di ng l o b a l i m a g e e x p e r i m e n t ss h o wt h a to u r a p p r o a c ho u t p e r f o 砷s i l i w 觚g se i g e n n 舶s f o 肌a t i o nm e t l l o da i l dz h u a n g sl o c a l 毋p r e s e r v i n gh a l l u c i i l a t i o n m e 恤df o ro b t a i n i n gl o w e rm s e 锄db e t t e rv i s u a lq u a l 埘o fi m a g e s w h a t sm o r e ， o l l ri n e t l l o di sr o b u 或t on o i s e ，e x p r e s s i o na i l dg l a s s e s k 唧w 钟d ：f a c eh a l l u c i n a t i o n ，k p c a p r e - i m a g e ，r e s i d u ec o m p e n s a t i o n 1 v 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版，有权将学 位论文用于非赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被查 阅，有权将学位论文的内容编入有关数据库进行检索，可以采用复印、缩印或其 他方法保存学位论文。 学位论文作者签名：叁酽敞 日期：力d d 8 年6 月乞日 导师签名： 日期：年月 日 中山大学硕士学位论文：基于k p c a 的人脸超分辨率算法研究 第1 章绪论 1 。1 选题的背景和研究意义 随着现代社会对公共安全的关注越来越多，在很多公共场合，如银行、超市、 公路、街道等安装的摄像头也越来越多，但是居于摄像机成本和存储视频文件空 间的考虑，这些视频监控设备的像素一般不是很高，所拍摄到图像的分辨率比较 低。而且，当入距离摄像头院较远时，所拍摄到的入脸部分将会是非常小，这就 成为人脸识别和面部表情分析的最大障碍之一。 另外，在我们的第二代身份证中里面包含一个芯片，记录了此人的身份信息， 其中包含一张照片。但是出于成本的考虑，公安部门将本来分辨率很高的照片压 缩成1 2 6 l 睨大小。在实际应用中，还要去除一些多余的部分，保留下来的人脸 只有8 0 6 0 左右大小。这样大小的照片比起原始照片来，丢失了很多细节信息， 这就大大限制了身份证在工程上使用范围，比如，在人脸比对、人脸识剐中，直 接用身份证照片都达不到很理想的效果。因此，迫切需要一种技术，能够大大提 高图像分辨率，同时恢复出入脸的细节信息。 人脸超分辨率( f a c eh a l l u c i n a t i o n ) f l 】就是种从低分辨率人脸图像获得高分 辨率入脸图像的技术。通过这种技术，不但可以大幅度提高人脸图像的分辨率， 而且能够恢复出入脸的细节特征。用恢复后的图像去进孝子人脸身份确认和面部表 情分析将会达到更好的效果。这一领域是一个比较新的领域，但是由于其广泛的 应用前景，已经成为图像处理和模式识别领域的研究热点。它的应用领域主要包 括： ( 1 ) 公共安全：提高视频监控中人脸图像的分辨率，有利于人脸识别和面部表情 分析；提高身份证图像的分辨率，可以扩大身份证在工程上的应用范围。 ( 2 ) 图像恢复：可以通过提高人脸图像的分辨率来增强图像的视觉效果以及对 一些| 目照片进行恢复。 ( 3 ) 视频会议：用低的带宽传输低分辨率人脸图像系列，在接收端进行重构， 这样能够保证视频的连贯性和实时性。 第1 章绪论 1 2 图像超分辨率的观测模型 一般地，我们假定低分辨率图像l l 是由高分辨率图像i 胃通过模糊、降采样 并加入噪声得到的。加入的噪声是独立同分布的，一般假定为高斯噪声，用数学 公式即可表示为： i 工( ，”，聆) = 乏二日( 册，刀，p ，g ) 1 日( p ，g ) + 7 7 ( p ，g ) ( 1 1 ) 其中，7 7 ( p ，鸟) 表示独立同分布的随机噪声。 权值日沏，刀，p ，留) 表示的是高分辨率像素( p ，g ) 对构成低分辨率像素伽，聆) 有 多少贡献，一般认为构成低分辨率像素( 脚， ) 的每个高分辨率像素( p ，g ) 的贡献 是一样的，即： 卿m g ) - j 击 p 咖砌+ 1 ) 】幻咖，锄+ 1 ) 】 ”2 ) 【o 其它 将方程( 卜1 ) 的图像展开成一个列向量，仍然用i 。，l 表示，则( 卜1 ) 式可以 写成如下的矩阵形式： i 工= h i + 矽 ( 1 3 ) 其中h 为降采样矩阵。设i 为垅维的向量，则1 日为历七2 维，h 为m 所七2 的 矩阵，噪声7 7 也为历维。 方程( 卜3 ) 即是图像超分辨率的观测模型，是在已知低分辨率图像i l 求高分 辨率图像i 的隐式表达。但因为一方面未知数的个数比方程的个数多，是个病 态方程，另一方面，噪声是未知的，所以这个方程是不能够直接求解的。一般只 能通过优化的方法求出最优解来。人脸超分辨率重构任务就是在已知i 。的情况 下，求出最优的高分辨率图像i 来。 一个成功的人脸超分辨率算法必须满足如下约束条件 2 ： 1 ，健全约束：重构后的经过果进行平滑和下采样后，必须和输入的图像很 接近。 2 中山大学硕士学位论文：纂于i ( p c a 的人脸超分辨率算法研究 2 全局约束：重构后的结果必须具有入脸的一般特征，如有眼睛，鼻子， 嘴巴，并具有对称性。 3 局部约束：重构君的人脸图像和原始图像在局部细节特征上要求很接 近。 1 3 人脸超分辨率技术的研究动态 图像的超分辨率技术最早是由h a r r i s 和g o o d m a n 于2 0 世纪6 0 年代提出 3 】 4 】，此惹许多入对其进行了研究，并提出了各种重构办法。总体上超分辨率 技术可以分为两类：基于重建算法和基于学习算法。基于重建的算法只利用输入 低分辨率图像的信息进行重建，一般要求输入的是同一场景豹多帧低分辨率图 像，利用这些低分辨率图像各自包含的亚像素信息的不同来恢复出幅高分辨率 图像。如果只有一张输入匿像或则这些输入图像不能够进行毙较精确的配准，得 到的结果将会是不够理想的。基于学习的算法可以利用数据库里的先验知识，通 过谢练库来建立不网不辨率图像之闻的关系，剩焉这种关系来重褥出高分辨率图 像。一般来说，基于学习的算法效果上要比基于重建算法好，本文主要研究基于 学习的入脸超分辨率技术。 近些年，越来越多的人投入到人脸超分辨率重构的研究中来，提出了大量基 予学习的超分辨技术算法。这些算法总的思想是欲翘含高分辨率图像和对应低分 辨率图像的训练库中学习出高分辨率图像，比如：f r e e h l a n 5 等提出了一个基于 例子的算法，它通过马尔科夫网络蕊a r k o vn e 专w o r 妨来调练库中与低分辨率图像 不同区域相对应的高分辨率图像的精细细节，然后利用这种关系来预测输入低分 辨率匿像的细节信息。嚣e r t z 瀚。n n 6 】等提出了基于多尺度( m u 王专i s c a l e ) 自动回l 丑 的图像类推算法，如上两种方法忽略了人脸图像的结构性特征，针对的是一般的 图像丽不是入脸图像。 对于人脸图像，由于每个人的图像具有很大的相似性，都是由眼睛、鼻子、 嘴巴等器官组成的，各个面部器官都呈现特定的纹理特征。丽置，经过入脸对齐 后，可以近似认为每张图片中的每个器官所处位置是大致相同的。由于这种结构 性特征，在2 0 0 0 年的a 蜘a t i cf a c ea n dg e 呶黔r e c o g n i 重i 锄( f g ) 国际会议中， b a k e r 和k a n d a 第一次提出了人脸超分辨率( h a l l u c i n a t i o nf a c e ) 的概念 1 ， 第1 章绪论 使得人脸超分辨率重构从图像的超分辨率技术中分离出来，作为一个独立的研究 领域。本文根据所采用方法的不同，将现有的人脸超分辨率算法分成两类：1 基于概率模型的人脸超分辨率算法。2 基于特征子空间的人脸超分辨率算法。下 面，我们将按这种分类方法对有代表性的算法进行简要概述。 1 3 1 基于概率模型的算法概述 基于概率模型的人脸超分辨率算法的特点是把人脸图像看成一个随机变 量，再结合最大后验概率模型，求出在已知低分辨率图像条件下高分辨率图像的 概率( 即p ( 高分辨率图像i 低分辨率图像) ) 达到最大值时的高分辨率图像作为重构 后的图像。 b a k e r 和k a n d a 的算法 1 也是一种基于概率模型的算法，它通过构造高分 辨率金字塔及低分辨率金字塔，计算金字塔每一层中每个像素的一阶梯度、二阶 梯度以及拉普拉斯金字塔作为该像素的特征，由这些特征组成金字塔每一层每个 像素点的父结构( p a r e n ts t r u c t u r e ) 。对于输入的低分辨率图像，同样构造低分 辨率图像的金字塔，计算每个像素的父结构，再利用这些父结构和训练库进行中 同层的父结构进行比对，将最相近的图像所对应金字塔的低层特征作为重构图像 的高分辨率特征。最后结合最大后验概率模型重构出高分辨率图像来。在b a k e r 方法的基础上，s u 等人 7 使用了一种可操纵金字塔从输入的低分辨率图像及其 它高分辨率图像提取多尺度和多方向的特征，再采用金字塔父结构及局部最优匹 配来求解贝叶斯最大后验概率问题，重构出最优的高分辨率图像来。l i u 等 2 提出了一种两步法人脸超分辨率算法，它通过结合全局参数模型及基于马尔科夫 随机场的非参数模型来学习出高分辨率人脸图像。该方法首次提出了两步法的人 脸超分辨率框架：第一步获得高分辨率全局图像，第二步对第一步获得的全局图 像进行残差补偿，恢复人脸图像的细节信息。这个框架在以后的方法中被大量使 用。 基于概率模型的算法一般要求知道精确的降采样函数，在实际应用中是比较 难得到的。这在一定程度上限制了人脸超分辨率技术的使用范围。 4 中山火学硕士学位论文：纂于l ( p c a 的人脸超分辨率算法研究 1 。3 。2 基于特征子空间的算法概述 基于特征子空阆静入脸超分辨率算法主要是通过现有的特征子空闻算法 c a 、l l e 、l p p 、i c a 等) 来建立不同分辨率人脸图像之间的关系。利用这种关 系来学习斑高分辨率銎像来。这类方法是在最近几年才兴起及发展起来的。它可 以不需要很精确的降采样模型，也不需要建立很复杂的概率模型，因此这类算法 的推广麓力要强予基予概率模型的超分辨率算法，具有较强的应用价值。w 雏g 等 8 提出了一种基于特征变换的人脸超分辨率算法，它把人脸超分辨率问题看 成是从低分辨率图像到高分辨率图像之闻的一种交换，该方法利用主成分分析 ( p c a ) 进行人脸重建的思想，经过p c a 算法，可以将输入的低分辨率图像看成是训 练库中低分辨率图像的线性组合。它所对应的高分辨率图像只需要将线性组合中 的低分辨率图像改成高分辨率图像，而保持组合系数不变，再对结果作一些约束， 使之满足超分辨率的要求。w 。l i u 等【9 】提出了一种基予邻域组合藉变换的入脸超 分辨率算法，该方法也采用两步法框架，在第一步中，作者将图像分成若干彼此 交叠的图像块，再剃用局部线性嵌入( l l e ) 的思想，低分辨率测试图像块可以表 示成k 邻域内低分辨率训练图像块的线性组合，那么对应的高分辨率图像块只需 将邻域内的低分辨率图像块换成对应的高分辨率图像块，且保持组合系数的不 变。在第二步中，作者用相同方法将残差图像分成若干彼此交叠的图像块，再通 过广义奇异值分解( g s v d ) 来建立了低分辨率残差块和对应高分辨率残差块之间 的关系，利用这种关系来学习出输入图像的商分辨率残差图像，再结合第一步， 得到最终的结果。该算法的缺点是由于两步都是采用分块的方式进行，得到的图 像不是很平滑。h y 强等【l o 】提出了一种基于i c a 的人脸超分辨率算法，该方法利 用独立成分分析( i e a ) 来建立不同分辨率图像之间的关系，再利用这种关系对输 入低分辨率图像进行重构。z h u a n g 等 1 1 提出了局部保持( l p h ) 和邻域重建残差 补偿的入脸超分辨率算法，该方法用局部保持投影( l p p ) 来学习数据的内在特征， 再结合径向基函数回归( r b f ) 来重构出高分辨率图像。为了补偿细节信息，该方 法还使用了基于邻域重建的残差补偿方法对全局图像进行残差补偿。 5 第1 章绪论 1 4 本文的主要工作和内容安排 本文的主要工作包括如下几个方面： 1 ) 对人脸超分辨率进行了较全面的综述，对现有算法进行了科学的分类，对其 中有代表性的算法进行了实验，并分析了这些算法的优缺点。 2 ) 本文首次将核主成分分析( k p c a ) 用于人脸超分辨率全局图像的重构。l c a 是一种非线性方法，能够学习出数据的线性和非线性特征。本文从理论上和 实验上分析了为什么k p c a 能够用人脸超分辨率以及如何将k p c a 用于人脸 超分辨率。为了得到最终的高分辨率人脸图像，本文采用了m i k a 等的【7 】迭 代原象学习算法从特征空间中获得高分辨率原象。针对全局人脸图像过于平 滑、缺少细节信息的现象，我们还使用了基于邻域重建的残差补偿方法对全 局图像进行残差补偿。实验表明，跟w h g 的特征变换人脸超分辨率算法及 z h u a n g 的局部保持人脸超分辨率算法相比，本文算法重构的人脸图像具有更 低的均方误差( m s e ) 。 3 ) 在实验中，我们还考虑了噪声、眼镜、人脸表情对结果的影响，说明我们的 算法具有很强的鲁棒性。 本文共分为5 章，第l 章是绪论，介绍了论文的选题背景、研究意义及人脸 超分辨率的观测模型，并对现有的算法进行了较全面的综述。第2 章介绍了两种 效果较好的人脸超分辨率算法，作为本文的比较算法。第3 章重点介绍了本文的 算法原理，对为什么k p c a 可以用于人脸超分辨率作了理论上的论证，并详细 阐述了本算法的流程。第4 章介绍了如何对全局图像进行残差补偿。第5 章是实 验部分，包括残差补偿前和残差补偿后的实验。最后一部分对前面工作进行了总 结并指出以后可以改进的方向。 6 中山大学硕士学位论文：基于k p c a 的人脸超分辨率算法研究 第2 章人脸超分辨率的基本算法 在这一章中，我们重点讲述两种经典的基于特征子空间的人脸超分辨率算 法：特征变换人脸超分辨率算法【8 】及局部保持人脸超分辨率算法( l p h ) 【1 1 】，作 为本文算法的比较算法。 2 1 特征变换人脸超分辨率算法 特征变换人脸超分辨率算法【8 】是利用主成分分析( p c a ) 来建立不同分辨率图 像之间的关系，把超分辨率问题看成是低分辨率图像到高分辨率图像的一种特征 变换，利用这种变换重构出高分辨率图像来。 2 1 1p c a 算法原理 主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 是一种经典的特征子空 间方法，这种方法的目的是寻找在最小均方意义下最能代表原始数据的投影方 法，本质上是一种数据降维算法。由于p c a 对于代表数据样本非常有效，被广泛 用于识别及图像预处理邻域。 p c a 可以用特征脸的线性组合来表达人脸。设一个人脸图像库里有张人脸 图像，每张人脸图像的分辨率为h ，把每张图片展开成一个m 维的长向量 ( m = 形日) ，则这个训练库的图像可以表示成一个m 的矩阵( m ) ，记成 【i i ，一，i k 。，其中i 。是人脸向量，那么平均脸就可以用如下的公式计算得到： m = l ， ( 2 1 ) f - l 训练库中的人脸减去平均脸以后，得到均值为0 的新的训练样本： l = 【i i m ，i 一m 】 ( 2 - 2 ) 则新样本的协方差矩阵为： c = ( i ，一m ) ( i ，一m ) 7 = l r ( 2 3 ) 7 第2 章人脸超分辨率的基本算法 接下来就要求解矩阵c 的特征值问题，因为矩阵c 的维数太大了，直接计算 矩阵c 的特征向量是不可行的，我们可以先计算小矩阵r = r l 的特征向量。 设v 是r 特征向量矩阵，a 是特征值矩阵，则有 ( 0 l ) v = v a 等式两边同时乘以l ，得到 ( l l 7 ) l v = l v a 因此，c = l r 的正交化特征向量为： ( 2 - 4 ) ( 2 - 5 ) e = l v a 2 ( 2 - 6 ) 对于一幅人脸图像l 蚓，通过将其投影到特征脸上计算投影系数： w = e 7 ( 1 矧一m ) ( 2 7 ) 这是人脸图像l 删在特征脸上的人脸表达，我们可以通过k 个特征脸来进行人脸 重建，即： i 矧= e w + m 2 1 2 特征变换人脸超分辨率算法 ( 2 - 8 ) 同大多数基于学习的人脸超分辨率算法类似，该算法的训练库也是由一系列 的高分辨率人脸图像及其对应的低分辨率人脸图像构成。令【l ：，1 0 】表示低分 辨率人脸训练库，对于新输入的人脸i 乙，由上一节的讨论可知，重构后的人脸 可以表示为： l f 乙= l v ，a _ w ，+ m ，= l c + m ， ( 2 - 9 ) 其中 l c = v ，a ，2h = b ，“】r ( 2 - 1 0 ) 上式即为 _ = l c + m ，= 州+ m ， ( 2 1 1 ) 8 中山大学硕士学位论文：基于k p c a 的人脸超分辨率算法研究 式( 2 1 1 ) 表明低分辨率输入图像可以看成是训练库中幅低分辨率图像的 最优线性组合，这里权值向量玳表了各个训练图像对重构结果所作的贡献，权 值越大，对重构结果所作的贡献越大。在上式中，把每幅低分辨率图像i ：换成对 应的高分辨率图像i ? ，低分辨率平均脸m ，换成高分辨率平均脸m 。，得到 f 乙= 彬+ m 。 f = l 则f 2 就是由低分辨率人脸图像i 二重构出的高分辨率人脸图像。 ( 2 1 2 ) 事实上，要使得f 2 能够足够逼近原始的高分辨率人脸图像，必须满足两个 基本的条件，第一，对f 2 进行降采样后的图像要很接近低分辨率图像i ，c 硝。第 二，f 必须像是一幅高分辨率人脸图像。第一个条件是比较容易证明的，事实 上，从第l 章中的超分辨率模型中，忽略噪声的影响，我们可以将训练集表示成 i ，= 川? 及m ，= h m ，用这两个式子代替式在( 2 1 2 ) 式中的l ：，m ，得到： nn f 二= c ，h l ? + h m 。= h ( c ，i ? + m 。) = h f 乙 ( 2 一1 3 ) ，= l，= l 因为f 乙是输入低分辨率图像的最优重构，从而f 2 进行降采样后将成为i 乙最优 的逼近。另外，f 2 是高分辨率人脸图像的线性组合，其结果仍然是高分辨率人 脸，所以第二个条件也是满足的。 基于p c a 的人脸超分辨率算法简单、易于实现，但是该算法重构的高分辨率 图像的效果并不是很理想，其原因在于p c a 是一种线性算法，只能学习出数据的 线性特征。而事实上，很多数据之间都是非线性的关系，所以p c a 并不能很好地 表达数据的所有特征。 2 2 局部保持人脸超分辨率算法 局部保持人脸超分辨率算法【1 1 】采用流形学习算法局部保持投影( l p p ) 来对低分辨率数据进行降维，学习出低分辨率图像的内在特征来，再通过径向基 函数( r b f ) 回归来重构出高分辨率图像。 9 第2 章人脸超分辨率的基本算法 2 - 2 1lp p 算法原理 局部保持投影( l o c a l 时p r e s e r v i n gp r o j e c t i o i l s ，l p p ) 【1 2 】是一种非线性拉普拉 斯特征映射( l a p l a c i a l le i g e 肿a p ) 的线性逼近。它通过合并邻域信息建立一个图， 然后计算一个数据点到基于拉普拉斯图的低维子空间的映射。 假定i _ 【i 。，i 】是高维数据集，通过最小化如下问题，我们可以得到局部 保持的最优投影： 呀n ( 口，l t 吲r i ，) ( 2 - 1 4 ) 在上述公式中，口是一个变换向量，表示数据空间的局部拓扑，可以作如 下定义： 2 | i i ，一l ，| | 2 当且仅当i 。在i 的k 邻域中 = o 其它 可以利用欧式距离来度量邻域间的关系。形，起到局部保持的约束作用，也 可以通过其它原则来进行构造。因此，通过最小化上述目标方程保证了在高维空 间中很离得很近的点在低维空间中也离得很近。 目标方程( 2 1 4 ) 可以重新写成如下形式： 三哑n 莩( 口7 l t 川7 l ，) 2 军口r i ，d j ，口7 i ，一等矿l ，口7 i ，( 2 1 5 ) = 口，i ( d w ) i7 口= 口，i l l ，口 其中d 是对角矩阵，它的对角元素等于w 矩阵中所在列的和，l = d w 是 拉普拉斯矩阵。 矩阵d 为数据点提供了自然的约束条件，所以我们可以加入约束条件 口7 1 i d l r 口= 1 ，得到如下的最优化问题： a 曙m i n ( 口7 il l7 口)( 2 1 6 ) 因此变换向量口l ，就是如下广义特征值问题中对应最小h 个特征值的特 征向量： 口7 1 i l i7 口= 旯l d l7 口 ( 2 1 7 ) l o 中山大学硕士学位论文；基于k p c a 的人脸超分辨率算法研究 那么每个样本点的低维嵌入y ，就可以表示为： y ，= a7 i ，a = 【q ，】 ( 2 1 8 ) 2 2 2 局部保持人脸超分辨率算法 设高分辨率人脸训练样本集为1 日= 呲，i 】及对应的低分辨率人脸训练样 本集为il = 【i ，1 0 】，其中，n 为训练样本个数。对低分辨率训练集通过l p p 算 法，可以找到一个变换矩阵a ，将i 投影到低维的子空间中，投影后的数据为： y 护= a r i 工 ( 2 一1 9 ) 那么，对于新输入的测试样本1 0 ，也经过变换矩阵a 投影到子空间中，即： y 枷= a r i 二 ( 2 2 0 ) 广是i 上降维后的数据，根据l p p 的原理，它包含了数据l 的主要特征。然后 可以通过径向基函数( r b f ) 回归来求出与低分辨率测试图像相对应的的高分辨率 图像。r b f 回归的基本形式为： i ：= _ 七( y ：r ，y ；) ( = l ，) ( 2 2 1 ) 其中后( 矿，y ；) = e x 仪i l 旷一y 71 1 2 2 仃2 ) ，仃为常数。 用矩阵表示为： l = w k ( 2 2 2 ) i 后( y f r ，y f ) 足( ”，y ：) l 其中w = 【，w 2 ，w 】，k = i l 【尼( 此，y ，) 后( y z ，y ) j 这就是说通过高分辨率训练样本和k ，我们可以求出权值w = i k ，从而 式( 2 2 2 ) 建立了r b f 核矩阵k 到高分辨率图像lh 的映射关系。那么，对于新输入 的测试样本l 乙，首先计算i 乙在子空间的投影y 蚓= a l 乙，再利用y 埘计算出 第2 章人脸超分辨率的基本算法 七( y 栅， ) ，江1 ，从而重构的高分辨率人脸图像可以表示为： f 乙= w ，忌( y 删，y ，r ) ( 2 2 3 ) f = l 此即得到了高分辨率全局人脸图像，但是所得到的结果会显得比较平滑，缺 少足够的细节信息，效果还不是很理想，因此在第二步中，作者使用了基于邻域 重建的残差补偿方法对第一步所得到全局人脸进行残差补偿，本文也采用这种方 法，具体的算法过程将在第4 章中详述。 l p h 算法很巧妙地利用了r b f 回归来重构出高分辨率图像，但是作者并没有进 一步阐述为什么高分辨率图像和r b f 矩阵之间一直存在着线性关系。 1 2 中山大学硕士学位论文：基于k p c a 的人脸超分辨率算法研究 第3 章基于kp c a 的人脸超分辨率算法 核主成分分析( k p c a ) 是在经典的主成分分析( p c a ) 的基础上，通过引入核函 数把数据非线性映射到一个高维核空间，然后在核空间利用传统的p c a 技术进 行特征提取。类似p c a ，核主成分子空间也经常用来做一些图像预处理工作 【1 3 1 4 】【1 5 】。 记s ， ，办) 为输入数据空间，其中s 为低分辨率图像空间，s 6 为相应 的高分辨率图像空间。其中，低分辨率图像是由高分辨率图像经过平滑和降采样 得到的。在本文的其它数学记号中，我们使用“”号去区分由不同分辨率图像( = ， 表示低分辨率，劫表示高分辨率) 生成的样本、核、特征以及其它信息。 由可再生核希尔伯特空间理论( r e p r c h d u c i i l gk e m e lh i l b e r ts p a c e ( 砌m s ) t l l e o 巧) 【1 6 】，存在一个从输入数据空间s 到由核后( ，) 生成的特征空间研的内 在映射矿( ) ，其中，矿( i ? ，l ；) ，l ? ，i ；s a ，磁代表低分辨率特 征空间，研代表高分辨率特征空间，矽( 1 ) 表示相应的低或高分辨率特征点。 由k p c a 理论，令u ? ，u ：是被选取的核主成分，则存在系数矩阵p ，使 得u a = ( 嶂，瞬) = 扩p ，其中，i ? ，i 含是训练样本，旷= 酽( i ) ，矿( 1 鲁) 】。 对于特征空间研中的任意特征点矿( i ) ，它到核主成分子空间的投影最矽( i ) 可 以表示成如下形式【1 5 】： 只痧( i ) = 西w = 墨。w f ( i ? ) ( 3 1 ) 其中，w = p p 7 m 7 矿( i ) 一p p 7 m 7 m e + e ，e = ( 1 ，1 厂。我 们称由u ? ，u ：生成的子空间为高分辨率核主成分子空间( 当勘时) 及低分辨率 核主成分子空间( 当爿时) 。 3 1 本文算法的主要思想 在第2 章中，我们介绍了特征变换人脸超分辨率算法，它是使用p c a 去 1 3 第3 章基于k p c a 的人脸超分辨率算法 表达人脸图像的结构相似性，认为人脸超分辨率问题是不同分辨率图像之间的一 个变换。经过p c a 算法，可以将输入的低分辨率图像看成是训练库中低分辨率图 像的线性组合。它所对应的高分辨率图像只需要将线性组合中的低分辨率图像换 成对应的高分辨率图像，而保持组合系数不变。然而，p c a 是一种线性算法，不 能很好地表达出数据的所有结构特征，所以比较难恢复出图像的细节特征来。 k p c a 是一种非线性的算法，最近几年已经在图像预处理领域得到了成功的 应用 1 3 1 4 1 5 1 7 。那么，k p c a 算法能否用于人脸超分辨率? 直观上看起 来好像我们可以利用基于p c a 算法的思想，通过学习低分辨率图像在低分率核主 成分子空间的特征点来重构出其在高分辨率核主成分子空间的特征点。然而，为 什么可以这样做? 或则说什么条件下这样做是合理的。这些问题表明基于核方法 的人脸超分辨率不可能是基于p c a 人脸超分辨率算法的一个直接延伸，需要作更 加深入的探讨。这在人脸超分辨率重构中还是个开放性的问题。本文将对核方法 在人脸超分辨率中的应用走出第一步。 在本文中，本文把核函数限定为r b f 核： 枷川) ：e x p ( 一嵝) ( 3 2 ) 其中，c 2 砉善善l j 。? 一。；l r ，是训练样本的对数。为了将k p c a 用于人 脸超分辨率重建中来，本文先提出了如下模型： 如果能找到合适的核函数。使得由低分辨率图像生成的核和高分辨率图像 生成的核近似相等，则低分辨率图像和对应的高分辨率图像在各自的核主成分 子空间中将具有相似的内在特征。 一般来说，图像在核主成分子空间的内在特征是通过图像在核主成分子空间 的投影来表达的。为了解释这个模型，我们先给出如下定理： 定理1 ：假设高分辨率核主成份为u “= m 6 矽，低分辨率核主成分为u7 = m 7p ， 如果对于任意的i ? ，l ；3 ， ，乃) 都成立七( i ：，i ：) = 七6 ( i ? ，i ：) ，则有p f = 矽。 证明：为了证明这个定理，我们首先在核空间中进行基于奇异值分解( s v d ) 分解 的核主成分计算。对于训练样本i ? ，i 含，它们在特征空间的均值可以表示为： 1 4 中山大学硕士学位论文：基于k p c a 的人脸超分辨率算法研究 m a = 专姜矿( 1 7 ) = 专m e ( 3 3 ) 其中e = ( 1 ，1 ) r 。 令o = 击( a ( 1 7 ) 一m ，矿( 1 念) 一m ) ，用矩阵形式可以表示成： o = 嘉( 扩一m 却= 去毗e 一舀) ( 3 - 4 ) 其中，e 是单位矩阵。 令k ：m 7 m 及h ：e 一一l r ，则有o ：占西a h 。再令： qn s = o r o a = 专h h ( 3 - 5 ) 事实上，特征空间中的协方差矩阵为s 矿= o o ，k p c a 本质上是在特征空 间上使用线性p c a ，因此，k p c a 同样要求散度矩阵的特征值和特征向量，即要 解如下的特征值问题： s 1u a = a 扩 ( 3 6 ) 要求解这个特征值问题，我们可以先求解s 的特征值及特征向量，即 s v = v a ( 3 7 ) 其中v = ( 时，吒) ，a a = 如毽( 斧，笱) 矸笱 o 。 在上式中两边同时乘以o ，即有 o 皆v = o o ( o v ) = 护( o v ) = ( o v a ) a ( 3 8 ) 此式表明擎7 的特征值也为a = 碱昭( 矸，笱) ，对应的特征向量( 经过归一化) 为： u = o v a - 1 彪= m ( 圳2 h v a 州2 ) = p ( 3 - 9 ) 从上式可以看出，v ，a 仅仅由k 决定，而且h 是个常量，所以p 也仅仅由 k 决定。因此，如果对于任意的i ? ，i ；s ， ，办) 都成立七7 ( i ：，i ：) = 七“( i ? ，l ：) ， 则有p f = p ，定理证明完毕。 现在，我们来探讨这个定理如何应该到人脸超分辨率重构上来。记p 为 矽( i ) 到核主成分空间的投影，即 p - u ( 双i ) - m ) _ p r 矿( i ) 一专p a r k e ( 3 - 1 0 ) 在上式中，如果后7 ( i ：，i ：) = 七“( i ? ，l ：) ，我们有m ，矽( i 。) = m 矿扩( 1 6 ) 及 m ，西7 = m m 6 。再由定理1 ，有p ，= p j ，从而可以得到p 7 = p 6 。另外，式( 3 1 ) 的权值w 可以表示成另外一个形式： w = p p + 专e ( 3 小) 这表明如果七7 ( i ：，l ：) = 后6 ( i ：t ，i ! ) ，则有w7 = w “。 上述分析告诉我们如果我们可以找到两个在低分辨率和高分辨率情况下提 供相同测度的核，即尼。( i ：，i ：) = 矿( i ? ，l ! ) ，则本文提出的模型是合理的。 在实践中，要找到两个对于任意的l ? ，l ；s a ， ，办) ，后7 ( i ：，i ：) = 后“( i ? ，i ：) 都成立的核是很难的，但是可以找到一个核函数使得由低分辨率图像生成的核和 由高分辨率图像生成的核近似相等，定义在式( 3 2 ) 中的高斯核就满足这个条件。 注意到，式( 3 2 ) 中的方法参数诡到一个正则化的作用。为了说明这在实践中是 合理的，我们举了如下两个例子： 例1 ：我们从c a s p e a l 【1 8 】中选取了5 0 0 对低分辨率及对应的高分辨率人脸图像。 用式( 3 2 ) 计算核矩阵，得到： p ，7 d ，( k7 ，k 6 ) 刊ik 7 一k 61 1 2 2 = 0 0 0 2 5 2 9 ( 3 1 2 ) 从上面的误差中可以看出，两个矩阵之间的误差是非常小的，这表示两个核 矩阵中任意两个对应的元素都是近似相等的，也即忌7 ( i ：，l ：) 七6 ( i ? ，i ：) 。 这个实验表明如果我们采用式( 3 2 ) 中的r b f 核函数，即使得 七7 ( 1 ：，i ：) 七6 ( i ? ，l ! ) 成立，则可以推导出w7 w “及b 7 p “。注意到核主成分子 空间的内在特征是通过p 表现出来的，也即低分辨率图像和对应的高分辨率图 1 6 中山大学硕士学位论文：基于k p c a 的人脸超分辨率算法研究 图3 - 1 低分辨率( 左) 及高分辨率( 右) 训练本到各自二维核主成分子空间的投影 像在各自的核主成分子空间中将具有相似的内在特征，这就解释了我们的模型是 合理的。 例2 ：在这个实验中，我们选取和例l 中同样的样本，然后把他们都投影到相应的 核主成分子空间，对于每张图像i ? ，我们可以通过式( 3 1 0 ) 求出对应的p ? ，记 d = p ? ，p 嘉) ，从实验中我们发现c i ，一及| id ，一一i i ：0 0 1 4 6 。这个误差是 很小的，可以认为近似相等。为了可视化，我们选取了对应两个最大特征值的二 维投影结果显示在图3 1 中，从图中可以看出不同分辨率训练样本到各自的核主 成分子空间的投影在几何结构和逻辑拓扑上都及其相似。这个实验表明不同分辨 率图像在各自的核主成分子空间中的投影是相似的，进一步验证了本文提出模型 的合理性。 在接下来一节中，基于本文提出的模型，我们提出了一种基于k p c a 的人脸 超分辨率算法