（通信与信息系统专业论文）人脸姿态估计方法的研究.pdf

巾l i i 大学硕上学位论文 论文题目：人脸姿态估计方法的研究 专 业：通信与信息系统 硕士生：赵波 指导老师：马争鸣教授 摘要 人脸姿态估计在人脸识别系统和人机接口等领域一直是重点研究内容，具有广 泛的应用价值。在人脸识别系统，人机交互系统，门禁系统及其它应用场景中，人 脸姿态估计是非常关键的一步，良好的人脸姿态估计将有助于提高系统的性能。目 前国内外对于人脸姿态估计问题的研究方法众多，比如基于几何方法，基于人脸外 观的方法以及非线性回归的方法，基于非线性流形方法等，其中基于几何和人脸外 观方法在人姿态估计问题上得到了广泛的应用。然而，上述方法在人脸姿态估计的 实际应用上具有很大的局限性。 本文在比较了各种解决人脸姿态估计问题的方法后，提出一种新的人脸姿态估 计方法基于局部线性嵌入( l o c a ll i n e a re m b e d d i n g ，l l e ) 算法和 b p ( b a e k p r o p a g a t i o n ) 神经网络的人脸姿态估计方法，并用它进行大范围内的人脸姿 态估计。l l e 算法属于流形学习算法的一种，基本思想是将全局的非线性转化为局 部线性，而互相重叠的局部邻域能够提供全局结构的信息，这样对每个局部进行线 性降维后，再按照一定的规则将结果组合在一起，就能够得到低维的全局坐标表示， 在本文提出的人脸姿态识别方法中，首先通过它得到训练样本在低维嵌入空间上的 流形表示，随后将降维后的训练样本数据及其对应的姿态角信息分别作为输入向量 和目标向量训练b p 神经网络。针对测试样本，不再是传统上同训练样本一起降维， 而是采用了局部线性映射的方法得到其在低维流形上的表示，最后将此表示送到训 练好的b p 神经网络中得到姿态估计结果。本文提出的方法可以认为是一种流形嵌 入方法，也可认为是一种非线性回归方法。本文方法源于文f 欧 1 1 1 2 1 1 3 1 的启发。 在实验中，本文将l l e 算法和p c a 线性子空间算法分别结合b p 神经网络、线 性判别函数f 组成五种不同的人脸姿态估计方法，并分别对人脸在y a w 方向上的转 l 摘要 动进行姿态估计，结果表明，本文提出的l l e + b p 方法取得了稳定且有效地估计结 果。 关键词：姿态估计流形学习l l e 算法b p 神经网络 i i 中山大学硕士学毹论文 t i t l e ： r e s e a r c h0 1 1f a c e p o s ee s t i m a t i o n m a j o r ： n a m e ： c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s z h a o b o s u p e r v i s o r ：p r o f e s s o rz h e n g m i n gm a a b s t r a c t f a c ep o s ee s t i m a t i o n ，w h i c hh a sw i d ea p p l i c a t i o n ，h a sb e e nt h ef o c u so fr e s e a r c hi n t h ea r e a so ff a c er e c o g n i t i o ns y s t e ma n dh u m a n - m a c h i n ei n t e r f a c e i nf a c er e c o g n i t i o n s y s t e m s ，h u m a n - c o m p u t e ri n t e r a c t i o ns y s t e m s ，a c c e s s c o n t r o l s y s t e m sa n do t h e r a p p l i c a t i o ns c e n a r i o s ，f a c ep o s e e s t i m a t i o ni sav e r yc r i t i c a ls t e p ，af i n ef a c ep o s e e s t i m a t i o nw i l lb eu s e f u lf o ri m p r o v i n gt h ep e r f o r m a n c eo ft h e s es y s t e m s a th o m ea n d a b r o a d ，t h e r ei san u m b e ro fr e s e a r c hm e t h o d sf o rt h ee s t i m a t i o no ff a c ep o s e ，s u c ha s g e o m e t r y - b a s e dm e t h o d s ，f a c i a la p p e a r a n c e b a s e dm e t h o d sa n dt h en o n l i n e a rr e g r e s s i o n m e t h o d s ，n o n l i n e a rm a n i f o l d b a s e dm e t h o d s ，i nw h i c ha p p e a r a n c e b a s e dm e t h o da n d f a c i a lg e o m e t r y - b a s e dm e t h o d sh a sb e e nw i d e l yu s e d b u tt h ea b o v em e t h o d sh a v e s e r i o u sl i m i t a t i o n si np r a c t i c a la p p l i c a t i o no fp o s ee s t i m a t i o n a f t e rc o m p a r i n gt h ev a r i o u ss o l u t i o n sf o rs o l v i n gp r o b l e mo ff a c ep o s ee s t i m a t i o n , t h i sp a p e rp r e s e n t san e wf a c ep o s ee s t i m a t i o nm e t h o d ，w h i c hb a s e do nl o c a ll i n e a r e m b e d d i n g ( l o c a ll i n e a re m b e d d i n g ，l l e ) a l g o r i t h ma n db p ( b a c k - p r o p a g a t i o n ) n e u r a l n e t w o r k ，a n dl l ! 治t h i sm e t h o df o ral a r g er a n g eo ff a c ep o s ee s t i m a t i o n t h eb a s i ci d e ao f l l ea l g o r i t h mi sam a n i f o l dl e a r n i n ga l g o r i t h m i t sm a i nt h o u g h ti st ot r a n s f o r mt h e g l o b a ln o n l i n e a r i t yi n t op a r t i a ll i n e a r i t ya n dt h eo v e d a p p i n go ft h el o c a ln e i g h b o r h o o d s p r o v i d e s t h e g l o b a l s t r u c t u r a li n f o r m a t i o n a f t e rw eg e tt h el o w - d i m e n s i o n a l r e p r e s e n t a t i o no fe a c hl o c a lp a t c h , w ec a nc o m b i n et h er e s u l t sw i t hc e r t a i nr u l e sa n dt h e n r e c e i v et h el o w - d i m e n s i o n a lg l o b a lc o o r d i n a t e s t h ef a c ep o s ee s t i m a t i o nm e t h o d s p r o p o s e di nt h i sp a p e r ：f i r s to fa l l ， g e t t i n gt h em a n i f o l de x p r e s s i o n so nal o w i i i a b s t r a c t d i m e n s i o n a ls p a c ef o rt r a i n i n gs a m p l e s ；s e c o n d ，t h ed a t ao ft r a i n i n gs a m p l e sa f t e r d i m e n s i o n a l i t yr e d u c t i o na n dt h ec o r r e s p o n d i n gp o s ea n g l ei n f o r m a t i o nw e r eu s e da s i n p u tv e c t o r sa n dt a r g e tv e c t o r st ot r a i n e db pn e u r a ln e t w o r k d i m e n s i o n a l i t yr e d u c t i o n o ft e s t i n gs a m p l e si sn ol o n g e rt o g e t h e rw i t ht h et r a i n i n gs a m p l e s w h i c hi sd o n ei nt h e t r a d i t i o n a lm e t h o d s i n s t e a d ，w eu s eal o c a ll i n e a rm a p p i n gm e t h o dt o g e t i t s l o w - d i m e n s i o n a lm a n i f o l de x p r e s s i o na n ds e n dt h i se x p r e s s i o nt ob pn e u r a ln e t w o r kt o t e s tt h e m p o s ee s t i m a t i o nr e s u l t sw i l lb eo b t a i n e d t h ep r o p o s e dm e t h o dc a nb er e g a r d e d a sam e t h o do fm a n i f o l de m b e d d i n g ，a l s oc a nh ec a l l e dn o n l i n e a rr e g r e s s i o nm e t h o d t h i sa p p r o a c hs t e m sf r o m 【l 】【2 】 4 】si n s p i r a t i o n i no u re x p e r i m e n t s ，w es e p a r a t e l yc o m b i n et h el l ea l g o r i t h ma n dt h ep c al i n e a r s u b s p a c em e t h o dw i t ht h eb pn e u r a ln e t w o r k 1 i n e a rd i s c r i m i n a n tf u n c t i o nft of o r mf i v e d i f f e r e n tm e t h o d so ff a c ep o s ee s t i m a t i o n t h i sf i v em e t h o d sa r eu s e dt oe s t i m a t et h ep o s e o ft h er o t a t i o ni nt h ey a wd i r e c t i o n t h ee x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h es t a b l ea n d e f f i c i e n tp e r f o r m a n c eo ft h el l e + b pm e t h o d sp r o p o s e di nt h i sp a p e r k 呵w o r d s ：p o s ee s t i m a t i o n ，m a n i f o l dl e a r n i n g ，l l ea l g o r i t h m ，b pn e u r a ln e t w o r k i v 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律效果由本人承担。 学位论文作者签名：莩芝积 日期：2 p 府岁月；7 p 日 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即： 学校有权保留学位论文并向国家主管部门或其制定机构送交论文 的电子版和纸质版，有权将学位论文用于非赢利目的的少量复制并 允许论文进入学校图书馆、院系资料室被查阅，有权将学位论文的 内容编入有关数据库进行检索，可以采用复印、缩印或其他方法保 存学位论文。 学位论文作者签名：衩粗 导师签名： 日期：2 听拜岁月乡9 日日期：2 u 伊加 矽眵 巾i “大学颁上学位论文 第1 章绪论 i 1 人脸姿态估计的背景 近年来，随着生物识别技术，视频监控系统及门禁系统的应用需求，人脸姿态 估计技术得到了广泛的应用和重视，并且发展迅速。但目前大多数稳定且实用的系 统都是基于正面人脸图像或者具有小角度转动的人脸图像，即人脸检测和姿态识别 过程摹本上是针对固定摄像机某一位置的正面直立的人脸，然而图像中的人脸姿态 并不是固定不变的，在拍摄图像或者读入视频序列时，人的头部都会存在着角度上 的偏转，人脸姿态也将是多种多样的，上述系统在处理这些多姿态人脸图像时，其 性能将急剧下降，正是基于上述原因，姿态估计技术在实现姿态校正和多姿态人脸 识别技术中表现的至关重要 5 】。 此外，随着人机交互等相关技术的应用和发展，计算机能够更加智能的感知和 理解人在环境中的行为和活动，并做出响应，实现更加自然协调的人机交互，这其 中关键的技术就是如何实现让计算机利用智能的方法感知环境中的人，并理解人的 行为和动作，然而人的头部信息最能反映人的思维意识，因此可以通过估计人脸姿 态得到人脸转动方向和眼睛注视的位置，实现计算机与人之间的交流和通信。 总之，人脸姿态估计在模式识别和计算机视觉等领域是一项关键研究内容，具 有广泛的应用价值。 1 2 人脸姿态估计的主要内容 人脸姿态估计是指从输入的图像或者视频序列中近似计算出人脸在三维空间 x y z 坐标上的角度信息。要判断一幅人脸图像的角度信息，就需要确定图像中的人 脸是否在某个方向上存在着偏转，而将一幅高维空间上复杂的人脸图像数据与姿态 第1 市绪论 角度概念信息建立联系，需要进行一系列的处理。同时一个理想的人脸蛰态估计方 法，必须对导致图像信息变化的各种因素呈现出鲁棒性，这些因素包括面部表情， 光照，饰物( 如眼镜，帽子等) ，年龄等【6 l 。 假设人的头部是一个非实质的刚体模型，则人脸姿态的变化将限制存兰个自由 度( d o f ) 上，即绕x 、y 、z 轴的旋转，分别被称为颈项弯曲( p i t c h ) ，左右旋转( y a w ) 左右倾斜( r o l l ) ，如图卜1 所示【7 。而人脸姿态估计就是要根据输入图像或者视频 序列确定人脸是否在这三个自由度上产生角度偏转。 从图l1 的人脸三维坐标中可以看出，人脸姿态在三个自由度的判别上，r o l l 方向上的旋转可以通过跟睛及其他面部器官的相对几何位置关系进行判断，相对比 较容易。而在p i t c h 方向的旋转和y a w 方向的旋转的自由度参数则很难从圈像上直 接确定 8 。目前很多关于人脸姿态估计的研究也主要榘中在这两个自由度上，本文 主要任务是从输入图像中确定y a w 方向的旋转角度参数。 一咖 3 图卜1 人脸在兰维坐标上的旋转：y 删、r o l l 和p i t c h 1 3 本文主要工作 本论文主要分为五章，具体安排如下 中i i i 大学硕士学位论文 第l 章绪论，阐述了人脸姿态估计研究背景、意义及人脸姿态估计所涉及到的 内容和应用。 第2 章介绍了目前几种较为流行的人脸姿态估计方法，并总结各种方法的优缺 点，讨论它们各自适用的场合。 第3 章在对照p c a 子空间和线性判别函数的姿态估计方法后，提出了一种新的 人脸姿态估计方法一摹于l l e 算法和b p 神经网络的人脸姿态估计方法，同时提 出了两种对训练样本外的扩展样本( 本文为测试样本) 进行降维的方法，并选择局部 线性映射的方法作为本文实验对测试样本进行降维。本文所提出的姿态估计方法能 够快速估计人脸在y a w 方向上的姿态信息参数。 第4 章对本文提出的方法进行实验仿真，并与传统的线性降维线性识别方法进 行比较，验证了本文提出的姿态估计方法在方法论意义上具有可行性和优越性。 第5 章对本文工作进行总结，并对未来的研究做展望。 3 中i lj 大学硕士学位论文 第2 章人脸姿态估计方法比较 本文在参考了国内外各种人脸姿态估计方法后，对目前几种比较流行的人脸 姿态估计方法进行介绍，分析它们的优缺点及适用范围。本章在主要参考了文献 【6 】【7 】【8 】后，将人脸姿态估计方法归纳为以下六类： 2 1 基于几何的方法 基于几何的方法通常利用人脸的几何形状或者精确的人脸特征点来估计人 脸姿态。利用人脸几何形状的方法进行姿态估计时，首先通过某种几何模型来表 示人脸的结构和形状，并对模型和输入图像之间建立起对应关系，最后通过几何 或者其他的方法实现人脸姿态参数的估计【8 】。由于人脸几何结构不考虑不同姿 态人脸的可感知差异，如鼻子的偏移与人脸的对称性等，就可以利用精确的人脸 特征点定位方法进行人脸姿态估计，首先通过获取人脸特征点，例如眼睛、嘴巴、 鼻尖等，然后根据这些特征点的在几何上的相对关系来判断人脸姿态【6 1 。 根据脸部的特征点位置，可以得到多种形式的人脸姿态估计方法。h o r p r a s e r t 等人 9 】采用五个人脸特征点( 四个眼角点，一个鼻尖) 构建一个可计算的等腰 三角形，然后利用交比投影的不变性和人脸结构统计模型来估算图像中的人脸转 动角度。而g e e 等【1 0 】人利用不同的五个人脸特征点( 两个外眼角点、两个嘴角、 鼻尖) 来估计人脸姿态，首先通过双眼之间，嘴巴之间连线的中点找出人脸对称 轴，最后根据鼻尖在五个特征点中的几何比例关系( 假设五个特征点对于不同的 人脸姿态存在着固定的几何比例关系) 来估计人脸姿态。l i a n g 等【l l 】人利用三 维模型和仿射对应原理从单目视频图像序列中估计人脸空间姿态信息，首先利用 人脸的三维模型生成特征点正面平行投影，并计算输入图像与该正面平行投影之 间的仿射变换参数( 包括旋转变量和平移变量) ，然后根据圆与椭圆之间的仿射 对应关系得到人脸图像姿态参数的粗略估计，最后采用i c p 算法的优化迭代过程 得到精确估计。文献【5 】提出通过选取人脸的两个外眼点、两个内眼点、鼻下点 5 第2 章人脸姿态估计方法比较 以及两个嘴角点构成一个有两个三角形组成的可计算模型，通过这个双三角模型 发生的几何结构的变化对不同的人脸转动方向进行估计。 总之基于几何的方法优点很多：在得到人脸特征点准确定位和提取的前提下， 姿态估计的准确率非常高。同时也存在很多缺点：它虽然可以快速简便的进行人 脸姿态估计，但精确地定位人脸特征点非常困难，同时要求人脸图像具有很高的 分辨率，并且特征点要均在图像上，否则姿态估计将会发生错误。此外，人脸不 是严格意义下的刚体，在表情不同时，人脸的形状及特征点之间的距离都是变化 的。同时，脸部具有胡须或眼镜等遮盖物时，系统对脸部特征点的提取非常困难。 2 2 基于人脸外观模板方法 基于人脸外观的方法假设人脸空间姿态与人脸图像的某些特征，( 如灰度， 色彩，图像梯度) 存在某种特定的关系。这种关系很难用精确地数学公式进行描 述，往往通过统计学习的方法，在大量的训练样本基础上建立这种关系。 c h e n 等人【1 2 】将人脸建模成肤色和发色联合组成的区域，并通过大量样本建 立联合区域的面积、中心，几何力矩等这些几何属性同人脸姿态之间的对应关系， 对于一幅输入图像，首先提取该图像在上述联合区域上的几何属性并进行匹配从 而得到姿态数值。g o n g 等人【1 3 】采用g a b o r 小波变换为每一种姿态图像建立一 个线性的特征脸图像空间，同时g o n g 在文献 1 4 1 提出，首先通过训练一组支持 向量机来检测和定位人脸，然后以支持向量作为人脸外观模板进行姿态估计。 外观模板方法在姿态估计问题与其他一些方法相比具有一定的优势：第一， 人脸外观方法比较简单；第二，模板根据系统和应用场景的不同可以随时得到改 变；第三，此方法彳 需要人脸特征点定位信息和负例样本做训练，只需切割后的 人脸图像及相应的人脸姿态信息便可建立模板；第四，外观模板方法可以适用于 不同分辨率的人脸图像。同时外观模板方法也存在一定的缺点：第一，在不使用 插值算法的情况下，外观模板方法只能对离散姿态进行估计；第二，需要大量的 训练样本，并且要求样本来自不同的对象，不同的姿态和光照等条件：第三，该 方法的应用是在必须在人脸区域已经检测和定位完成后进行的，一旦定位错误， 姿态判别的准确率将会下降。 6 中山大学硕上学位论文 2 3 基于弹性模型的方法 弹性模型在进行姿态估计时，将个非刚体模型用于人脸图像，调整该模型 使得它与人脸结构相一致，那么人脸姿态可通过脸部特征比较或者模型参数来估 计。该方法4 仅需要对训练样本标注姿态，同时需要样本图像上具有语义的人脸 特征点信息【6 】。 弹性图匹配是面部关键特征点定位的一种重要算法，该方法将人脸面部关键 特征点的属性及其它们之间的位置关系通过一个属性图进行描述。但是在系统训 练之前需要手工标定样本图像上的人脸特征点位置，并提取各个位置上的特征信 息。对一幅新的图像做测试时，可以将训练好的弹性图放置在该测试图像上，经 过反复变形，直至弹性图上所标定节点与测试图像特征点之间的距离最小，此时 所得到的弹性图就可确定测试样本的姿态参数。w u 与p e d e r s e n 等在文献b s c p 采用双阶段的方法进行姿态估计，在第二阶段采用弹性图匹配的方法为每一种姿 态创建一个不同的弹性束图，将所有的弹性束图与测试图像进行逐个比较，找出 与测试图像融合最相似的弹性图，该弹性图所表示的姿态就是测试图像的姿态， 该方法能够有效提高系统识别率。图2 1 给出了弹性模型的概念图。尽管弹性图 匹配可以达到较高的定位精度，但其运行速度较慢：并且只对离散的人脸姿态进 行估计，在创建很多的弹性束图情况下才能得到较为准确的估计结果。 譬7 黟 ”旷 图2 - 1 弹性模型和模型匹配示意图 此外，用于人脸姿态估计的弹性模型( f l e x i b l em o d e l ) 还包括主动形状模 型( a c t i v es h a p em o d e l ，a s m ) 和主动外观模( a c t i v ea p p e a r a n c em o d e l ，a a m ) ， a s m 首先通过局部纹理匹配得到特征点的位置，经过相似变换对齐后再结合统 计模型的约束进行局部纹理模型的匹配，再通过优化迭代实现形状间的最佳匹配， 7 第2 章人脸姿态估计方法比较 但是在a s m 中仅仅使用了特征点局部纹理特征做启发式信息，没有使用全局的 纹理约束，实践中发现a s m 很容易陷入局部极小【1 6 】。 而a a m 采用了形状和纹理相结合的统计约束，即给出了一个统计表现模型。 正是a a m 模型将形状和纹理相结合，在文献 1 7 1 将它用于人脸姿态估计，a a m 模型从二维的角度学习人脸形状和纹理变化的基本模式，首先对脸部特征点做处 理，建立形状特征向量；同时对图像进行变形，把每一幅人脸图像变为甲均人脸 形状，再对变形后的人脸数据做处理，建立纹理特征向量，最后将形状特征向量 和纹理特征向量合组成一个新的向量并对其进行主成成分分析，由此可以建立主 动外观模型。对一幅新的人脸图像进行测试时，可以通过调整a a m 模型参数得 到与测试图像最接近的合成图像，而合成图像所对应的形状参数即为测试图像的 形状参数，最后根据人脸特征点位置关系得到测试图像的姿态信息。 但是a a m 模型同时存在一定的缺点：a a m 模型并不能保证得到的主元成 分只与姿态信息有关，而与外观变化无关。 2 4 基于分类器的方法 分类训练方法已经在人脸检测上得到了广泛的应用【1 8 】【1 9 】【2 0 】，并取得良好 的效果，由此可以利用此方法训练多个人脸姿态分类器，每一个分类器对应不同 的离散姿态，那么就可以对人脸图像进行姿态估计。 该方法实际上就是希望通过分类的方法来得到一个类似于回归算法的更好 的结果，在大量的人脸姿态图像所组成的训练样本中，我们规定具有某一姿态参 数口为正例样本，而对态参数的为负例样本，通过这些样本训练出一个典型的 二元输出分类器。 在具体的分类器中，支持向量机( s u p p o r t v e c t o r m a c h i n e ，s v m ) 的方法得 到了广泛的应用并取得良好的实验效果，s v m 是基于统计学理论的一种机器学 习方法。h u a n g 等人 2 1 1 使用s v m 方法进行姿态估计，首先对人脸绕y a w 方向 的旋转进行了分类，并选取了具有正面，向左偏转和向右偏转各3 3 7 5 。的三类 人脸图像作为训练样本对分类器进行训练，在测试阶段用训练好的s v m 对测试 样本姿态进行估计。对于给定的人脸姿态训练样本 ( x i ，m ) ，( 薯，咒) ( 矗，) ， 8 中l i i 大学硕- 上学位论文 其中t 尺，只e - 1 ，+ l 。s v m 方法希望能够找到一个最优边界把两类样本分开， 同时要求最优分类边界不仅能够将训练样本中的两类样本正确的分开( 训练错误 率为o ) ，而且使得分类间隔最大：将这种方法应用到高维数据空间，最优分类 界就变成了最优分类面 2 2 1 ，图2 2 给出了一个最优分类面示意图。而支持向量 机方法在人脸姿态估计的实际执行中首先通过使用一个非线性函数，将输入数据 映射到一个高维空间，其最优分类面记为功x + b = 0 ，对它进行归一化，使得训 练样本集在满足儿( 国薯+ b ) - i o ，扛l ，l ( 其中b 是个常量) 条件下， q ) ( c o ) = 剞彩达到最小，此时得到的分类面缈工+ 6 = 0 即为最优分类面。 面 图2 - 2 最优分类面示意图 利用s v m 方法进行人脸姿态估计时，要为每一类姿态训练出一个相应的姿 态分类器，对于新的测试样本就可以在相应的分类器中得到相应的姿态信息。 s v m 方法在进行人脸姿态估计时表现出一定的优点：首先不需要对人脸进行检 测和定位，可以直接实现人脸姿态估计；此外支持向量机能够忽略那些与姿态变 化无关的表面纹理信息，并且适用于不同分辨率的人脸图像。然而，s v m 方法 也存在着缺点：需要为每个姿态训练一个分类器，加重系统的训练任务；目前的 分类器主要是基于二元输出的，无法估计连续变化的人脸姿态，且估计结果比较 粗略。 9 第2 章人脸姿态估计方法比较 2 5 基于非线性回归的方法 非线性回归的方法通过建立一个从人脸图像空间到姿态参数信息的非线性 映射来实现人脸姿态估计的，这就需要通过训练样本及各训练样本所对应的姿态 信息建立一个映射模型，对于未知姿态的人脸图像，可以通过此模型进行姿态估 计。然而，非线性的回归在实际应用上必须解决两个问题：选定的回归算法是否 能够学习到合理的映射；高维空间上的人脸图像数据限制了回归算法的应用【7 】。 目前，数据降维的方法很多，比如基于主成成分分析法p c a ，线性判别分析 l d a 以及局部梯度方向直方图( 1 0 c a l i z e dg r a d i e n to r i e n t a t i o nh i s t o g r a m ) 等。文 献【2 3 】【2 4 】采用了主成成分析p c a 对高维空间图像数据进行降维，并利用支持向 量回归算法建立非线性映射模型进行姿态估计。e m u r p h y 等人【2 5 】则采用了局 部梯度方向直方图和支持向量回归的方法进行姿态估计，在姿态估计上可以取得 了更高的识别率。 在人脸姿态估计的回归算法中，神经网络在各种文献中应用最为广泛，其中 最常见的是采用反向传播算法训练的多层神经网络，它是一种单向传播的多层前 馈网络，具有高度的非线性映射能力，同时具有很好的自学习和自适应能力 2 2 】。 应用多层神经网络对切割后的人脸图像进行姿态估计，不同的输入节点输出相应 的图像姿态信息，在样本训练阶段，由于相邻姿态之间可能存在一定的相似性， 可以采用高斯核对训练样本进行平滑处理以消除相似性提高姿态估计的精确性 【2 6 2 7 2 8 。 多层神经网络可以对连续的人脸姿态做出估计【2 9 】【3 0 】，即针对每个自由度 都有相应的节点进行输出。同时也可以为每一个自由度训练一个多层神经网络来 进行姿态估计 3 0 3 1 1 。此外，近年来在姿态估计问题上应用神经网络的文献非 常多，文献【8 】采用椭圆模型和b p 神经网络对人脸姿态进行估计。文献 2 1 1 3 采 用具有监督意义上的l l e 算法和广义回归神经网络进行姿态估计，且取的了很 好的效果。 神经网路方法具有很多优点：神经网络可以任意精度逼近任何非线性函数， 同时具有良好的自学习和自组织能力；运算速度较快，并且只需切割好并标注姿 态的人脸图像作为训练样本。 1 0 中l i l 大学硕士学何论文 神经网络缺点是：需要精确的人脸定位，否则姿态估计将会出现巨大的误差， 针对这种缺点，r o s a d c h y 等【3 2 】人提出了将多层神经网络扩展为卷积网络进行 姿态估计。 2 6 基于流行嵌入的方法 一幅人脸图像尽管可以认为是高维空间上的数据样本，但事实上人脸姿态可 以改变的维度信息并刁、= 多。对于一个头部刚体模型，它可以用三个维度表示位置 信息，三个维度表示方向信息。因此，可以认为高维空间上的多姿图像可以认为 存在于一个平滑的低维连续流形上。针对流形学习用到人脸姿态估计问题，首先 必须为各种人脸姿态建立流形模型，然后采用线性或者非线性的子空间嵌入方法 将测试图像投影到流形上，估计对应的姿态 6 】。或者结合嵌入模板匹配和嵌入 空间上的回归算法，将低维流形嵌入应用到人脸姿态估计。事实上，任何一种数 据降维的方法都可以用于流形嵌入进行人脸姿态估计，但面临的困难是如何创建 一种有效地嵌入算法，既可以很好的保留人脸姿态信息，又可以忽略掉与姿态无 关的图像变化信息【7 】。 目前流形的维度降低方法有主成成分分析法( p r i n c i p l ec o m p o n e n ta n a l y s i s ， p c a ) 、线性判别分析方法( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 以及它们的变 形：基于核函数的p c a ( k e r n e lp c a ，k p c a ) ，l d a ( k e r n e ll d a ，k l d a ) ， 其中p c a 和l d a 属于线性降维方法，k p c a 和k l d a 是非线性降维方法。线 性降维方法作为降维方法中应用最广泛的一类具有很多优点，计算简单且速度比 较，对具有线性结构的数据集合非常有效，便于解释等 3 3 1 。以上四种降维方法 也被用于人脸姿态估计问题，其中本文针对p c a 用于姿态估计的方法在第三章作 详细讨论。 实验表明，在低维空间上的相似性表现出更多的与姿态相似有关，可是线性 的降维方式不是用于人脸姿态估计的理想方法，线性的降维方式限制了它不足以 表示有图像的非线性因素变化所引起的姿态变化，因此不能保证线性降维后的主 元只与姿态变化有关，而与人脸图像信息变化无关。 随后，为了解决线性降维带来的问题，各种文献相继提出，文献 1 5 1 提出了 第2 章人脸姿态估计方法比较 一种将姿态估计分为粗略估计阶段到精细估计阶段的双阶段估计方法，同时在第 一阶段采用了基于高斯核函数的线性降维方法进行姿态的初步估计，由于前一阶 段处理的结果仍然保持姿态变化以外的其他信息，第二阶段采用了改进的弹性束 图匹配的方法对第一阶段的估计结果进行精细化，取得了较高的准确率。 近年来流形学爿的研究越来越得到机器学习和生物识别等领域的广泛关注， 成为数据降维的重要工具，同时也解决线性降维在具有非线性结构数据的处理上 的局限性，而且的一些方法已经被用于人脸识别和人脸姿态估计等问题上，并取 得了良好的效果。 流形学习被认为是非线性降维方法的一个分支，其基本思想是：在高维观测 空间中的点是由少数独立变的共同作用在观测空间张成的一个流形，如果能有效 地展开观测空间卷曲的流形或发现内在的主要变量，就可以对该数据集进行降维， 并且有效地描述了具有嵌入流形结构的数据集的相关性和发现数据集的内在规 律性【3 4 】 流形学习在人脸姿态估计也取得了很好的效果，在文献 3 5 1 q a ，r a y t c h e v 等 人使用i s o m a p 的非线性流形学习方法来寻找一个更能代表姿态变化的低维子空 间。在不考虑光照，图像大小尺寸等因素的影响下，姿态角在沿垂直于图像平面 两个方向的旋转所产生的人脸图像数据，都可以认为处于一个嵌入在高维图像数 据空间上的一个二维流形上，基于上面的论述，采用了非线性流形学习的方法构 造图像姿态关系函数【3 6 】。 i s o m a p 3 7 其实是建立在经典多维尺度分析( m u l t i d i m e n s i o n a ls c a l i n g ，m d s ) 基础上的一种方法，其主要思想是利用数据点间的测地距离来代替经典m d s 算 法中的欧氏距离。i s o m a p 的主要目的就是要保持数据点之间的内在几何性质( 即 测地距离不变) 。 给定一个包含幅不同姿态人脸图像的图像集，可以使用i s o m a p 算法构造 一个二维的流形空间，假设每幅图像的大小为m = p x q ，则可以定义为一个聊维 的列向量x ，整个人脸图像集可以组成向量集 五，而，毛 ，即输入样本，本 证维数为册，这里处理采用k 邻域法，同时给定各个图像所对应的姿态角 o = b 幺 。i s o m a p 具体算法流程如下【3 5 】： 1 2 巾l l l 大学硕上学位论文 1 、构造邻域矩阵g ： 利用点i 和在输入欧氏空间的距离以( f ，) 计算每个点薯在流形上的邻域 点。采用k 邻域法构造邻域矩阵g ： g：憾券以缨麓嚣(2-0j)=oou 一1 屯( f ，蕾，x ，为非邻域点 若两点一，x j 为邻点，则令吒( f ，j ) = d x ( i ，) 否则，吒( f ，) = o o 。 2 、利用f l o y d 算法计算两点间的最短路径，对于所有的比( f ，) ： f o rk = l ，2 n d g ( i j ) = m i n d c ( i j ) 。d c ( i , k ) + d c ( 轴) ： e n d 样本之间的最短距离矩阵构成了矩阵d g = 比( 薯，_ ) ) 。 3 、采用经典的m d s 对数据进行降维 f(d)=一ihsh(2-2) 其中：s = ( 岛) = ( 研) ，h = ( h o ) = ( 岛一1 ) 对r ( d ) 进行特征值分解，取最大的前d 个特征值( a ，五，乃) 和对应的特征 量( 巧，圪，屹) ，它们所组成的矩阵表示为r = ( 石k ，石巧) f 。 在文献 3 5 1 1 3 6 1 采用i s o m a p 算法对人脸图像样本进行非线性降维处理后，得 到低维的映射矩阵j ，最后采用奇异值分解的方法，构建低维投影后的数据矩阵 同人脸姿态之间的线性关系函数： o = - - - f r ( 2 - 3 ) 其中： r = 1 l ，f = 1 0 l( 2 4 ) 对于未知角度o t 的测试样本x t ，首先应该得到其低维映上的数据表示： x t r t 1 3 ( 2 - 5 ) 第2 章人脸姿态估计方法比较 最后对其姿态角参数进行估计。 与传统的p c a 方法相比，i s o m a p 对测试样本的低维映射要复杂一点，这里 借鉴了m d s 算法对此问题的解决方案 3 8 。 畔= 妒) 7 驴知7 r ) 一r ) 4 ( 2 - 6 ) 其中： 珥= ( 碣如) d l = d i a g ( r tr ) - e , n z 。= ( 露( i “m i - ) ，露( i 巾，i ) ) 4 表示第，个测试样本同每个训练样本间的侧地距离平方所构成的列向量。 那么测试样本x t 的角度o t 可有下式计算： o t = 踊( 2 - 7 ) i s o m a p 作为一种非线性降维的方法，是对经典m d s 算法的扩展，出发点同 m d s 方法一致，寻求保持数据点之间距离的低维表示，二者的差异表现在距离 的选取上不同。与经典的欧氏距离相比，i s o m a p 采用测地距离对任意两个数据 点进行距离测量，这不仅取决于数据本身，而且依赖它们所处的流形结构。对于 多姿态的人脸估计，非线性流形相比线性子空间方法更加适用。但是i s o m a p 有 其缺点：如果数据集包含过大的噪声，i s o m a p 很难有效恢复嵌入在高维数据集 的内在结构。 在本文中将介绍另外一种非线性流形学习的方法一局部线性嵌入算法 ( l o c a ll i n e a re m b e d d i n g ，l l e ) ，并结合b p 神经网络用于人脸姿态估计问题。 2 7 本章小结 本章节主要介绍了人脸姿态估计的六种估计方法：基于几何的方法、基于人 脸外观的方法、基于模型的方法、基于分类的方法，基于非线性回归方法，基于 流形嵌入的方法。 1 4 巾l i i 火学硕士学位论文 基于几何的方法是利用人脸几何关系或者通过提取人脸特征点来进行姿态 估计，该方法能够得到较精确的姿态估计结果。但是该方法在得到精确的人脸特 征点是非常困难的，同时对图像的质量要求比较高，不适宜应用在低分辨的人脸 图像上，对脸部遮盖物比较敏感，需要整个人脸区域的图像信息来进行姿态估计。 基于人脸外观模板的方法即通过建立人脸姿态与人脸图像的某些特征的关 系，由于这种关系很难通过数学公式进行描述，需要大量的样本进行训练，通过 统计学习得到这种特定的关系。在进行姿态判别时，将测试样本图像与外观模板 进行比对，通过计算得到相应的姿态参数。但是人脸外观模板存在着局限性，人 脸图像的相似性并不一定等同于姿态上的相似性，所以此方法进行人脸姿态估计 难以得到精确的判别效果。 而基于弹性模型的方法同几何形状的方法有些相似，二者都是根据人脸特征 点来估计姿态参数的，但具体到特征点的提取上又有所不同。弹性模型的方法要 求对所有的特征点进行标注和定位，同时需要具有语义的人脸特征点，这个过程 需要很长的搜索时间，同时对人脸图像的质鼍要求很高，不适合用于低分辨率的 人脸图像。 基于分类的方法是建立在大量的训练样本基础上的，同时需要大量的负例样 本和正例样本，此外需要为每一个姿态训练出一个相应的分类器，这些条件无疑 的加重了系统的训练任务和负担，且目前的分类器都是基于二元输出的，无法进 行连续的姿态估计，文献【6 】曾提出对此方法做过实验分析，得到的分类器只能 够排除较大旋转角度的人脸姿态，然而无法进行精细的姿态判别。 基于非线性回归的方法中神经网络用的最为广泛，神经网络方具有很好的非 线性映射能力，并且具有很好的学习和泛化能力，在结合不同的降维方法以及人 脸特征定位后，可以用来做人脸姿态估计。此外针对人脸自由度的不同要求，可 以动态的设计神经网络的结构形式，但是如何找到一个最合适的神经网络比较困 难，且神经网络对人脸定位的精确性要求较高。 基于流形嵌入的方法近几年来在人脸检测，人脸识别和姿态估计问题上得到 了广泛关注应用，该方法将高维空间的数据通过非线性降维嵌入到低维流形上去， 然后在低维空间上通过建立数据和姿态之间的关系函数方法进行姿态估计，或者 1 5 第2 章人脸姿态估计方法比较 通过训练出包含姿态信息的低维数据与角度的某些网络进行姿态估计。相对于传 统的数据降维方式，流形嵌入方法具有很大的优势，能够很好的发现和保持数据 的内在规律和结构，而传统的线性数据降维方式只能对具有线性结构的数据进行 降维，对发生旋