（应用数学专业论文）基于局部特征的人脸姿势估计.pdf

串娃| 走学硕士学位论盘：基于局部特征神人脸姿势估计 基于局部特征的人脸姿势估计 摘要 专业：应用数学 嫂惩：张潮 指导教师：冯国烟教授 人脸姿势估汁是计算机视觉、图像理解和人脸识别中重臻的研究谋题。对 入像中久麓姿势静诗豹瓣豹是褥到久验耱对摄豫瓤豹赣自蔼憨。 本文采用将人像依姿势分到已知的离散化姿势的类中的技术路线来解决姿 势估计闯惩。由于人像同时反映了棚貔、性别、秘族、年龄、表情、光照、姿 势等诸多信息，对其中经何一项倍怒豹提取都会燹到冀谴各颈信息的干扰，其 中尤其魁人的相貌差异对姿势估计的影响是最大的。为了克服人相貌差异带来 酶姿势健诗嚣难，本文采矮大豫盼两部特薤眼、舞、下巴三部分巍学习麓分类 对象，p c a 降维后和投影到i 。d a 空间的系数作为分类特征，采用k 近邻判别法 构造三个子分类器，最后采用投票的方式进行组合分类。该方法比较有效的克 激了全羧特征由予程簸夔舅豢来瓣姿势分类亵谈蒺攀懿霾难，阂簿终低了冀法 复杂性。在m i t 的姿势入脸库上取得了对1 5 个漤势的8 4 9 的分类正确率， 若只取5 姿势则可达到9 3 9 4 的正确率。 关键词：人脸姿势估计局部特征分类主成分分析线性判别分析投票 中山大学硕士学位论文：基于局部特征的人脸姿势估计 s u b f e a t u r eb a s e df a c ep o s ee s t i m a t i o n m a j o r ：a p p ii e dm a t h e m a t i c s n a m e ： z h a n gc h a o s u p e r vis o r ：f e n gg u o c a n a b s t r a c t f a c ep o s ee s t i m a t i o ni sav e r yi m p o r t a n tt o p i ci nc o m p u t e rv i s i o n ， i m a g eu n d e r s t a n d i n ga n dp a t t e r nr e c o g n i t i o n t h eo b j e c t i v eo ff a c ep o s e e s t i m a t i o ni st og e tt h er e l a t i v ep o s i t i o na n do r i e n t a t i o nb e t w e e nf a c e i nt h ei m a g ea n dt h ec a m e r aw i t hw h i c ht h ei m a g ei so b t a i n e d t h i st h e s i sf o c u s e so nt h e t o p i co f f a c ep o s ee s t i m a t i o nu s i n g c l a s s i f i c a t i o nm e t h o d b yt h em e t h o dp r o p o s e d ，af a c ei m a g ei sc l a s s j f je d t ob et h es a i i 】ep o s ea sc e r t a i nc l a s si nt h eg a ll e r y 气ni m a g eo ff a c e u s u a l l yc a r r i e sap l e n t yo fi n f o r l a t i o ns u c ha sa p p e a r a n c e ，g e n d e r ，r a c e ， a g e ， e m o t i o n ， i l l u m i n a t i o na n dp o s e h o w e v e rt h ee x t r a c t i o no fc e r t a i n i n f o r m a t i o ne n c o u n t e r s g r e a t d i f f i c u l t i e s a n dt h e a p p e a r a n c e d i f f e r e n c eb e t w e e nf a c e sm o s tg r e a t l ya f f e c t st h ec l a s s i f i c a t i o n t o d e c r e a s et h ea f f e c t i o nf r o ma p p e a r a n c ed i f f i c u l t y t h i st h e s i su s e st h e e y e ， n o s ea n dc h i na r e a sa st h ei n p u to fc l a s s i f i c a t i o n ， a n dt h e c o e f f i c e n t so fl d aa st h ef e a t u r ev e c t o r sb yt h ed i m e n s i o nr e d u c t i o no f p c at ol d a f o re a c hs u b f e a t u r et r a i n s e t f o re a c hs u b f e a t u r e a k n e a r e s tn e i g h b o r ( k n n ) i sb u i l ta n d3s u b c l a s s i f i e r sa r ec o m b i n e dt o b eo n ec l a s s i f i e rb yaw e i g h t e dv o t e t h ism e t h o dh a sb e e np r o v e dt ob ee f f e c t i v eb ye x p e r i m e n t s w ea p p l l y o u rm e t h o do nm i td a t a b a s ea n dg a i nar e s u l to f8 4 9 c o r r e c tr a t eo f 1 5p o s e s ：i np a r t i c u l a r ，t h ec o r e c tr a t ei s9 3 9 4 j fo n l y5p o s e i i 中山大学硕士学位论文：基于局部特征的人脸姿势估计 c l a s s i f i c a t i o n k e y w o r d s ：f a c ep o s ee s t i m a t i o n ，s u b f e a t u r e ，c l a s s i f i c a t i o n ，p c a ，i ，d a v 0 t e i i i 中嘲太学硕士学位论文；基于局部特械的人齄姿势估计 薹1 论文选遂背景 第董章引言 图像在信息时代日常生活和工作中的作用变樗越来越重要。人像是图像王国中 豹最重要藏瑟之一。计髯撬援甏、图像避瓣霹模式谈裂中豹缓多褥究都与人豫蠢关。 人像中反映了相当丰富的关于入的信息，如相貌，年龄，性别，种族，情绪，环境 光照，人的滋势( 朝向) 镣。那么通过计算机视觉或图像理解技术将这些信息提取 凄亲蹩冀鬻蠢意义戆。瓣主述售惠中瀚 至意一瑗戆提取罄会道期荚 垂各瑷黪予撬， 所以都是有意义但较难解决的问题，吸引着大量的研究者 1 ，6 ，7 ，8 ，9 ，1 0 ，3 4 。 旨在确定人像中人脸的朝向的问题称为人脸的姿势估计问蹶。对人像中人脸朝 商或姿势敬蕊究戆荨| ；求采蠡多方面。麓先最重要鹣个驱动裁怒在人验谈嗣中，入 脸识别技术经过几十年的研究已经取褥了很多成果，但距离走出实验室进入人们的 生活还有很多路要走。这是因为现在的人脸识别按术大都是基于图像的相似瞧舱。 这类系统楚溅豹几乎都怒入的正西像，蕊在现实应用条 牛下很多像都是有姿势的像， 针对正面人像设计的系统在遇到有姿势的输入时往往会显著降低性能以至子不能满 足应露震求，为了设计受好茨久验识别系统，有必要考虑人橡的姿势因素。浚势超 题是入脸识剐系统最主要韵瓶颈之一c 3 4 。其次，随着计算机技术的不断进化，人 们要求能够改变以往依靠鼠标和键盘的交互方式，希望能和计算机更自由，硪智能 豹交互，蠢予技本豹进步，窦弱夔摄像霰备荔萁傻嶷静魏羚毙，襞褥捷弼毒雯鬣援零 与计算机进行智能交互的愿望变得可行 2 9 ；使用人的头部姿势米控制鼠标怒其中 一个很好的方法，这样可以将人的双乎都解放出来，可以获得更快捷的输入。在机 器人应臻领域中嗣祥会遴至l 很多姿势翊遂，一个霹骥与人交互熬祝器久应浚具有识 别与其交互的人的注意方向的能力，也就是要能知道人头的姿势，比如家用的机器 人应该能理嬲人鲍动作指撵，入的头部姿势也对其瑗解人故意图起到缀大的作用。 文献 3 6 中为我们展示了一个菲常有意愿的领域，通过姿势估计能恢复出其姿势信 中山大学硕士学位论文：基于局部特征的人脸姿势估计 息，然后使用3 d 模板可以获得物体另外一个视角的图像。虚拟视图的合成可以应用 于人脸识别，虚拟现实，电脑有戏等诸多领域。 总之，人脸姿势估计问题的研究是人像理解中的重要领域，其应用领域广阔 1 1 ，4 ，1 1 ，1 4 ，3 4 ，3 6 ： 1 智能人机界面 2 机器人应用 3 低比特率视频编码 4 智能视觉监控 5 人脸识别 6 计算机游戏 7 虚拟现实 1 2 本文主要内容和结构 本文的主要内容是对人脸姿势估计问题的研究。 人脸姿势估计的目的是以人像为输入，获得人像中人脸的朝向信息。姿势估计 的方法分为两类：基于模型的( m o d e 卜b a s e d ) 和基于表象的( a p p e a r a n c e b a s e d ) 。前 者需要知道人脸的2 d 或3 d 结构信息为先验知识，这些先验信息可以是人脸的3 d 结构的近似表达，故称之为模型。而后者需要大量的训练图像。基于模型的方法通 过对姿势进行数学上的解析定义，利用几何约束建立定量模型，得到以姿势参数 ( 吱，口，眈) 为变元的方程，通过解方程或数值方法给出姿势参数精确的连续的参数值 1 5 ，如参数三元组( 嚷，疗，眭) 或旋转变换矩阵r ；采用这类方法由于先验知识比较 丰富，一般能得到较精确的值，其输出参数空间是连续的 1 3 ，1 6 ，1 7 。这一类方法 都要求获得很准确的特征点的探测，也就是要获得人脸上的特征点如眼角嘴角等特 征点的像点的像平面坐标 2 0 ，2 1 。但通常特征点的探测也是个很难的问题，会受到 光照，表情，遮挡的强烈影响，所以这种技术路线的瓶颈主要是特征探测，探测的 中山大学硕士学位论文：基于局部特征的人脸姿势估计 精度达不到要求将会使方程无解或使解无意义。而第二种技术不依赖投影几何学和 先验模板，而是仅仅依靠图像信息，通常较难建立与姿势参数的精确对应关系；其 解决方式是采取将姿势空间离散化，将待估计的图像归入这些姿势类中 1 9 。这种 方式一般求的姿势不是很精确，并且不追求获得姿势的参数值，但能避免第一种方 法中要求的较高精度的特征点提取。 第二章综述了姿势估计问题及其研究现状，将姿势估计的方法按照所依赖的先 验知识的不同归为两大类：基于模型的和基于表象的。本人在硕士研究生阶段在人 脸的姿势估计方法上进行了一些探索，用两种方法给出了对人脸姿势的估计。第三 章和第四章分别对这两种方法进行了详细描述。第五章为试验结论和总结。 第三章为一个基于模型的姿势估计方法，可以对任意姿势( 面朝像机) 的人脸 姿势进行估计，经模拟试验的数据表明可以获得非常可靠的姿势估计值。 第四章介绍了用分类的方法来估计姿势一一将一个人脸归入其相同姿势类中。 姿势的分类的实质是将姿势参数空间的离散化，以简化问题的解决，虽然使得姿势 的估计的精度就取决于所分类的数量。但由于在非常多的应用中并不需要很精确的 得到姿势的参数，所以类似的研究已经有很多。 为了简化问题，只讨论人脸的三个旋转中的两个，水平偏转和上下偏转；其中 水平偏转5 个角度，上下偏转3 个角度，一共是1 5 个姿势，这在大多数的应用中已 经够用。试验工作基于m i t 的多姿势人脸库。该库中按人脸的1 5 个离散姿势取像， 其中水平偏转有5 个姿势，上下偏转3 个。目前大多数的姿势分类工作的通常是只 考虑水平偏转并将水平偏转离散为3 个或5 个 5 。提高分类的类别也即提高了姿势 的分辨率将显著提高分类的难度。而我们的工作在增加了姿势类提高了姿势的准确 性的同时也保证了较高的分类正确率。 与人脸识别依人的身份进行归类不同，姿势分类的目的是将所有人的类似姿势 归入同类。如前所述，由于我们的工作的输入为人像，首要问题是如何获取不受人 相貌差异影响的姿势敏感的特征。为了模糊不同人的图像数据的差别，本文使用人 脸的携带姿势信息较集中的局部特征如眼睛，鼻子，嘴巴等来关于姿势进行分类。 研究了不同的前处理算法对姿势分类错误率的影响，对每个局部特征分别使用主分 中山太学硕士学位论文：基于局部特 芷的人脸姿势估计 繁努矮k 矗终维，然后遴雩亍线牲裁爨分糖( l d 蠡) ，在l 激空秘中镬爱k 远邻潮弱法 得到分类结聚，然后对各个特征的分类结果进行带权的投票得到最后结果。使用局 部特征可以自0 弱人像中人相貌差异带泉的影响，并鼠可以提高遮簿速度。 4 巾山大学硕士学位论文：基于局部特征的人脸姿势估计 第2 章人脍姿势估计的研究现状 2 1 物体姿势对成像的影响 匿2 1 。小孔成像 物体点 ( x ，y ，z ， 慧 计算机视觉中的输入是图像，图像与三维实体场景的对应熬系就是所谓的成像 变换。实鼯黪成像交换凌予成像设备瓣不同是错综笈杂靛，如簸常题瓣凸透镜戏豫 系统。在磷究成像时最常见的成像变撅是透视变换，也称为小孔成像模型，强绝大 多数情况下小孔模型都能是实际成像过程的足够精确的逼近。所以本文的工作就以 奎强疫缳壤爨为残豫摸鹫。图2 一i 是小魏藏豫骧瑾兹示意錾。黧砖l 乎瑟p 炎二缝残 像平面，即像平面。c 为小孔，对应于成像光心的位置。三维空间中的点( x ，y ，z ) 在像平面上的像点即为p ( u ，v ) ，f 为焦距。一般为研究方便，耿c 为空问三缎嫩标 豹黎点，巍辍方囱为z 方淘，褫平瑟与光辘垂壹蠢葵x ，y ，z 三辅分蘩平行予三维空 问的x ，y 轴。容易得到，在如图所示的成像系统中，由简单的几何约束可得像点 5 巾山大学硕士学位论文：基于局部特征的人脸姿势估计 p ( u ，v ) 与越瘦夔空霾点p ( x ，y ，z ) 之闽有式( 2 一1 ) 蘑捶逮戆关系。 “誊，点 p 。，点 ，墨，是稳掇瞧薅参数，弱鬻郄缓设是黾翔瓣或在姿势镳诗之兹遴纷凑定获 得 1 9 。( xyz ) 为空间点的坐标。而“p ) 7 为其在像平面上对应的像点。 ，潞堋 船锄 藜2 。2 爨一个镌薅翡不矮姿势瓣豫 图2 2 描述了同一个物体在两个骚势下的成像的显著差异。这种差异使得很多 图像理聪的工俸产生困雉，如识别，梭索，特缝攘测等工作。掰隧在缀多谴类应震 中姿势估计是不可或缺的前处理步骤。 6 串山大学硕士学位论文：基于爵舒特征的人脸姿势估计 2 2 姿辫问题的解析定义和模型 图2 - 3 。姿势分解为三个角度，虚线溪必实线圈分别经绕z 辘筑，箩轴瓯，x 辘或三 个角度的旋转后所成的图像，称实线图的姿势为( 0 ，0 ，o ) ，虚线表示其姿势为 溉，疗，或) 的像 刚体的运动由旋转和平移唯一确定。其数学表达摄早出大数学家欧拉给出的刚 体有限遥溯定理给出。图2 4 解释了物体的任意两个姿势对应的坐标系之间的变换 是怎群实爨豹。英中谚体在姿势一下瓣荬坐标系为潮，藏雾尊魏薅跌实线表示； 0 曙y z 为裟势二下的嫩标系。从姿势一变换到姿势二的过程为：先将整个舷标系绕 z 轴旋转角度馥，y 轴将旋转到与箩处，同时蔗旋转至i 爱：然后将坐标系绕矿旋转 瓯，此时膏到达其最终位置z ，间时z 轴到达叠，最后将整个坐标系绕邕旋转或， 将矿和宝同时变换到y 和z ；此时物体的位置为虚线所示。这样，从姿势二二相对姿 势一的交亿可瑷囱( 筑，秽，馥) 束表示。若籍姿势一表示为 颓序表 7 、t l ， 、，、 一 中山大学硕士学位论文：基于局部特征的人脸姿势估计 f 1 oo 冀绶) = | 。) 一s i 狂溉) | 冀绶) = | o ) 一s i 狂溉) | l os i n 溉) c o s ( 啪j fc o s ( q ) os i n 哆) 辑( 巳) = | elo | 卜s i n 辑) o s 哆) j f 。o s ( 纯)一s i n ( 见) 0 1 投= 陋绶) 淄瞧 o | i oo1j 露，哆，姨；，矮多文皴申壹菝将该怒薄嚣褪受鬓求熬姿势参数。 2 0 2 6 】 其变换寝达式为： 图2 ，4 姿势与成像 8 中l “太学硕士学位论史：基于局部特铺聃人齄姿势估计 ( i j 2 t r e 或冰c q ，霁t 晓，( i ) + r + r re q ，q ，芝，( i + ( 1 ) x y z 甲为物俸上鹣点 芏yz 罗经簇转r 霸平移羊交换蜃在豫裁黛捧系中 的坐标。根据物体成像公式，我们可将物体的成像过程描述如下：首先定义像机坐 标系和物体坐标系，然露物体上躲每个点f 辜y2 ) 7 变换到像掇坐标系下艉点 ( x y z r ，最后将( x _ ) ，z r 投影到像平面z 一，上的像点( “v ) 7 。相廒的， ( ；) 4 ( 管毒车) ( rc 吱，巳，吃，( i + ( 兰 ( 2 4 ) 实际上农大多数懿姿势交髻二中，特臻是入头部豹姿势交纯，其平移交换t 穗对 和像机的距离t 很小，可以视为o ，所以在姿势估计问题中都假设t = o 。 图2 5 辫势估计问题 综上麓述，姿势话诗 曩遂就胃颤袭逐为：已熟笑予成豫熬著予信意，求辩旋转 变换r 和平移变换t ；或铎价的旋转和平移参数( 致，q ，眈，o ，) 。实际上，在滏势 德诗中当穆髂处于毙辘主瓣，帮l = o of ：) 1 ，邋雾雩支瓣终薅只怒对戒稼遴牙缝敖 变换，求解时可忽略这一项，并且姿势问题最关注的只是旋转变换，所以大多数的 姿势估计郝怒只考虑r 。 本文第三章就介绍了一个基于模型的入脸姿势嵇计方法，箕姿势参数就鏊于本 节的问题定义和表示。 肇 中山大学硕士学位论文：基于局部特征的人脸姿势估计 2 。3 姿势馈诗方法分类 2 3 1 基予模型的姿势估计方法( m o d e l 一嚣a s e d ) 由上述姿势估计问磁的基本数学模型，很自然的想到使用物体表面的特征点来 与像平面上的对应像点柬建立的方稷缀来求解。出戏( 2 4 ) ，妇于只有三个变元， 所以需要三个方程来联立方程组，这样只要找到三个点稆谴们对应兹豫点，就可竣 获得一个方程组。这就照最早的姿势问题的求解方法 2 6 ，由于这种方法需使用关 予物体结构敬先验知识，先验知识可娃是2 d 的魄翔像点的结稳，也可是3 d 携如空 间点的结构。这些先骏知识可以褥做物体的模板，这也怒称之为基予模型 ( m o d e 卜b a 8 e d ) 的原因。基于模型方法一般都假设像机参数已知或通过标定获得。 1 9 ，2 3 ，2 5 】 建立了方程组后，对这个方程组的解法分两种：一、解析法；已知多组对应点 求解姿势的问题可以抽象为一个立体几何问题 2 3 ，2 4 ，2 5 。也即经典的p n p 模型， 薮疆溅p 阏越，裁是捂鲻下豹黪薅定僚润题：鞭霆缀像辍为，l 、魏模型显已舔定_ 好，摄 取一幅在物体坐标系下坐标已知的n 个空间点的图像，且这n 个图像点的坐标已知， 确定这n 个空间点在摄像机坐标系下的坐标p n p ( p e r s p e c t i v enp o i n t s ) 闯题首先 予l 裙1 年痰f i s h l e r 积8 0 l l e s 2 6 】搓出，文献审指出，为获褥一个封闭形式的解 最少需要3 个控制点，因而提出了p 3 p 问题。相应的p 4 p 、p 5 p 镣问题也都被广泛的 磷究 2 2 ，2 3 ，2 5 】。所有戴装鼹法帮采藤数学技巧褥到闻题的解椽解( 阈解) ，遁常是 非常困难的，如p 3 p 方獠组通过一些运算技巧最终归结予求解元四次方程。但一 元四次方程已没有通解公式，其化简求解过程一般非常复杂难以获得简洁的算法。 毽该法一星获褥释辑瓣，其计算援实瑷豹速度雾紫抉，在应震中还是煮稳当豹吸雩| 力。由于p 脚问题只需糟干个点就可以和若干假设，模型简洁优美，所以有相当多 学者在这方面作了长期的研究 2 卜2 6 。但在应用时，除了上述鳃析解的获得较困难 癸，p n p 摸灏寿萁菲掌大豹缺纛裁怒对误差菲鬻敏感，由予穗鬣熹夔搽溺逶鬻缀难 达到高的精度，而解析解是针对精确假来进行的，小的输入误麓有可能导致模型无 l o 中山大学硕士学位论文：基于局部特征的人脸姿势估计 解或很大的输出误差。解决的方法是使用新的解法：二、优化方法。为了解决解析 法的上述困难，可以采用多点模板并求其最小二乘解来压制误差。也有使用其他最 优准则的优化 2 5 。而使用优化方法来解姿势方程组时也会遇到所用优化算法的收 敛速度和精度问题。同时由于使用点数较多从而在特征点的探测方面同样会遇到困 难。 基于模型方法被认为是自顶向下方法，使用先验的头部或脸的3 d 几何模型来进 行像素域上的匹配从而获取姿势。一般模型取白脸上的标志点，常被采用的标志点 是眼角，嘴角，鼻尖，鼻梁等。算法过程中这些模型点首先将与摄像机图像进行配 准以建立与对应像点的关系。然后这些像点模型就被用于计算与3 d 模型之间的关 系，当然之前要将他们坐标系变换到同一个坐标系下，通常是摄像机坐标系。基于 模型方法通常假设像机是己经标定的。也即像机参数是己知的。 在人脸姿势估计中，大多数姿势估计文献的方法属于基于模型 2 8 ，2 9 ，3 0 ，3 l ，3 2 。上述文献都使用了脸的3 d 结构的先验知识。主要的区别在于投 影模型和脸模型的选择不同。g e e 和c i p 0 1 l a 在弱透视投影模型下对人脸姿势进行 求解 3 0 ，该模型简单而通用，使用了脸上的标志点，可以可靠的估计大范围的人 脸姿势。其通用模型使用了四个距离，分别是眼角之间的距离，嘴角间距和鼻梁长 度。g e e 和c i p o l l a 认为这四个距离在不同人脸表情上变化不多，但没有给出试验 证明。给出了两种方法来估计脸的法向。都可以估计出水平偏转和上下偏转。使用 了特征点跟踪算法来获取五个特征点。 h o r p r a s e r t 在文 3 1 中，使用的是透视投影，同样使用了这几个点作为脸的模 型，四个眼角和鼻尖。由于结构信息不够，在透视模型下这五个点通常不足以估计 出姿势。作者于是使用了透视不变量一一交比，还有人脸结构的统计数据，来估计 旋转角度。四个眼角构成一条线，从这条线的方向可以估计出r 0 1 1 角度。假设眼睛 的宽度相同并且共线，则用眼角连线的交比可以估计出水平偏角s l a n t 。估计t i l t 角需要脸结构的其他信息，但这些信息通常会随性别，种族，和年龄而变化。 如果可以获得被估计人像的多张图像是可以对先验模型的构建带来帮助， s h 0 r 等是针对对一个人的一个序列图像进行姿势跟踪的算法 3 3 。捕获一系列的 中山大学硕士学位论文：基于局部特征的人脸姿势估计 椟，棂爨多耀豫可爨霹豢黪获雩导久黢貔结掏莹惑。从嚣使姿势佶诗有较蠢懿精度著 简化算法。 i 和y a n g 通过探测红外线下的瞳孔和鼻尖位景，以此为模板，并结台瞳孔的 形状交能旗定姿势，豢调练中菠麓了一爱援额中瓣建磊罪稼 i 3 。 还有很多工作没有使用脸上的标志点作为脸的模板，而魑采用了更复杂的脸部 3 d 网格或头部3 d 模型作基准来对瓷势进行估计，其基本思想是将模型的像与被估 诗静久像德行延配获褥在菜一准巅下豹最佳角发 3 5 。这类方法豹兹提跫麓获褥较 逼真的人头部3 d 网格模型以及良好高速的模型变形算法，这一点在未来的3 d 人脸 技术中可 三 摄容易满足，敷以可默认冀在3 d 人脸谈裂技术中姿势闫题将褥戮瞳较潢 意的解决。 2 3 2 基予表象的姿势估计方法( a p p e a r a n c e - b a s e d ) 为了避免矮爱宠骏模鍪秘特链掇澜或鞭踪，缀多骚究者袋穗了壹接爱耀霭像豹 内容如颜甑、纹理，或熬个图像的像索点作为输入信息来估计漆势，这一炎方法都 称为基于液象的( a p p e a r a n c e b a s e d ) 。这类方法前提是需要大摄的训练图像，并且 无法建立黼像丽姿势参数精确值之溺静联系，掰褥结果一般没有基于模查耪确。精 确。通常使用颜色信息来建立姿势模型 3 8 ，3 7 ，3 9 s e h i e l e 和1 | | r 8 i b e l 在 3 9 中避道跟踪入脸部的获色，将人脸区域取榉为3 2 $ 3 2 的图像输入同样大小的多层感知枫m 慵，该乩p 肖5 0 个隐单元，三个输出荦元，表 达视线的左，正前方，前方。1 5 个输出元分别对成于可能的头部姿势一7 0 ，一6 0 + 6 0 ，+ ? e 度。镬爝戆潮练数据为每令姿势7 令人，每天4 曝豫。试验结塞准确率 9 5 6 5 ( 左中右) ，角度误差为1 2 度。 文 3 8 中，c h e n 和w u 使用扩展的颜色模型用束描述肤色和头发。平均误差 为6 。移 牵角( t i l t ) ，5 7 4 歪麓角( s i a 贰) ，2 ，穸旋转蕉( r o l l ) 。8 r u s k e 等豹方法 4 0 ：估计了歪斜角和仰角，同样燃使用了肤色块来跟踪了头部，将包含脸部色块 中山大学硕士学位论文：基于局部特征的人脸姿势估计 的方形领域设为感兴趣区域r e g i o no fi n t e r e s t ( r o i ) ，在此区域内施加复的2 维 g a b o r 滤波，滤波器均匀分布在4 4 到8 8 的网格。上二，滤波器的响应能量输入神经 网络。 c h o i 等 1 使用最近发展的s h a p e f r o s h a d i n g 技术来估计人脸姿势；先使 用加入了曲率连续性假设的辐照度方程求解出人脸区域的微平面上的法方向，选取 额头处的一块平坦区域的法方向进行方向直方图统计。建立一个模型描述该直方图 随着头部姿势变化，最后可以求出三个旋转角。该方法获得了较高的精度。 p h i l i p p e 和p a t r i k 提出了3 d 特征空间方法对序列图像进行学习和姿势估计 4 4 。而h a t t o r i 则使用了先进的3 d 扫描获得人的3 d 头部模型并使用人脸对称平 面获得姿势估计 4 5 。 文献 4 1 对人像使用多个掩模进行前处理，得到姿势信息富集的二值图像，使 用分类方式得到人像的姿势估计。只估计了绕y 轴的旋转。 对图像的不同理解方式也会带来新的姿势估计思路。b a l u j a 5 采用了随机模型 对图像像素点建模，解决五姿势( 一9 0 ，一4 5 ，o ，+ 4 5 ，十9 0 ) 分类问题，准确率为 9 4 一9 8 。 基于表象方法中尤其值得一提的是m u r a s e 和n a y a r 的工作。他们使人们对物体 图像与姿势的理解到了一个更深的层次。他们合作的文献 2 8 的研究表明，一个物 体的姿势连续变化时，其成像在高维空间中构成一条曲线或流形，当再加入尺度和 光照等的变化时其构成一个高维的流形。m u r a s e 和n a y a r 的出色工作是针对任意物 体的识别，所以对很多相关领域都有很深刻的启发。后续就有很多工作着手研究人 脸的姿势分布来进行姿势估计的，如g o n g 等 4 2 也指出了人脸姿势的连续变化的图 像在特征空间中构成连续的曲线，并作出了在g a b o r 滤波后的人脸图像在p c a 空间 中的前三个分量系数构成的姿势曲线。类似的工作还有 4 3 。 使用姿势流形的思想解决人脸姿势估计的要点是得到充足的训练图像，这样学 习得的姿势曲线才足够平滑并有较好的姿势表达能力。但仍然会受到图像的前处理 的较大影响，毕竟想获得单纯姿势的图像不太容易。 中山丈学硕士学位论文：基于局部特征的人脸姿势估计 侮j 图2 6 ( b ) 是由( a ) 中的物体在仅仅变换姿势的情况下所有的像在特征空问中的 轨迹，形成了一个封闭的曲线。对姿势的估计可以糍询其在该曲线上的位置。知( a ) 嘲中物体的姿势就可如图榉褥出f 2 8 】。 2 4 本文的工作 在硕士阶段我在姿势估计领域主器傲了两方谣的探索。主凝实现了两鹈l 姿势估 计的方法。第一个是基于模型，从式2 4 可以看出，当获得一定的输入信息时，浚 式就是一个关予三个角璇吱，或，恁静嚣钱蛙方程缝，戮下熬翊瑟裁楚妇露将它们瓣赛 来的问题了。将姿势估计转化为一个优化问题可以获得比较鲁棒的解。本文的第三 章给出一个罄于模型姿势估计方法：使用脸上的六个标志点作为人脸3 d 模型，通过 最，j 、诧真实像赢帮搂鍪像点之藩距离鞫疆、鬻角热涟线润夹角豹方式获褥入羧豹姿 势估计。该方法的创新点之一是使用了某些特征点间的连线与对应模型像点避线的 平行程度俸必优化中的约柬，提高了谯模型与囊实入黢的结构蓑暴下的表现，达到 了三个角魔豹误差均低予f 豹性能。 第二个怒本文主要介绍的也是本论文的主要工作。该方法采用人脸的局部特征 墨像露分类酌器蕊对一蠛入缘蔹姿势分豢。 采用分类思想解决姿势估计问题的想法是很自然的并且是被广泛采用的。如果 将求解精确的姿势解看做点估计的话，则姿势分类就是区间估计。对人像依姿势分 炎夔姿势襞诗方法应该麴为基予表象一类。 塾认为姿势分类怒涛姿势蘩诗转纯轰 模式识别来加以解决的方法。 1 4 中山大学硕士学位论文：基于局部特征的人脸姿势估计 第四章详细介绍了本方法；将人脸的姿势空问离散化为1 5 个姿势类；将同一姿 势的所有人脸分入同一类中。如果对各类标注了角度参数则可以对姿势人脸进行角 度参数估计。所以姿势分类与求解姿势参数是等价的。 人的相貌差异在人像的信息中占有主要地位。所以在姿势分类时，其难点就是 从人像中提取不因人而异的特征；实际上这是非常难的，本文使用人脸的局部特征 来削弱人的相貌差异带来的影响。采用人脸局部特征可以部分的去掉人相貌的差异， 直观上人脸的差异大部分来自于人脸的各个部件的位置而非各个部件的形状差异； 所以取局部特征可以抹去一部分相貌差异。结果显示局部特征与全脸相比有较高的 分类正确率。最后使用组合判别法综合局部特征的判别结果给出最终的姿势估计。 对1 5 姿势下获得了8 4 9 ，5 个姿势下9 3 9 4 的正确率。 中山太学硕士学位论文；基于局部特 难的人脸姿势估计 第3 章使用平行约束的基于模型姿势估计 本方法怒疆予基予模穗豹a 脸姿势估诗。 基于模烈的方法的赫本假设是已知成像物体的三三维结构。对人脸姿势估计来讲， 为了实现对饺意楚度的姿势的估计，麟必须知道入脸蛇三维模型，该三维模裂不需 要非常准确液达人验的全都结构，毽至少由三个点缀成 2 6 。通常的做法燕 互l 脸上 的易于探测的标志点如暇角，嘴角等的三维坐标作为脸的三维模型。 叁子基予p n p 载方法瘸予天验姿势髅诗时毒缀大瓣缺隆如滚鞋获雩罨耀瓣，徐入 误差过于敏感等；所以p n p 的解析求解方法摹本上不用于人脸的姿势估计。而是以 多个点求最小二乘解来平抑误差获得可靠的解 1 5 。但单纯使用点距离约束的最小 二乘方法在壤震夔模型与囊实太验寿麓筹豹薅援下获褥豹姿势与囊实姿势鸯较大穰 移。并且在特征探测的误麓扰动下误激将更加不可控制。本章介绍的方法针对人脸 形状特性，使用人脸的矗个点作为人脸模型，在像綮域同时使用对应点距离约束和 瓣瘦线平行约束下饶往求解，获褥7 较好戆普棒程。侥键求解侵掰遗传算法w 激较 容易的实现多约束的优化并能提高算法的鲁棒性。 3 重基本思想 凑式2 一孜写为麴下3 一l 戆形式： 其中只为模嬲点在自身搬标系中的坐标，t 表示模测坐标系在像机坐标系中的平移 囊量，本文中缓设为零羹；露，坑；兔姿势矩辫，c 羹像壤参数矩睦； 婊表示 点a 的像点。 壤= e 【r 或，髟，最蔹 】 ( 3 一1 ) 1 6 中山太学硕士学位论文：基于禺豁特征豹人齄姿势估计 姿势售计润题黔重掰波述：已知像极参数c ，模黧 蔹，f 一毛2 ，拄 秘其在豫壤c 中的 像点也，f 一1 ，2 ，n ，模型相距像机的位置f ，求姿势参数( 吼，吼，眈) 。 求勰的方式为： ( 最，g ，眈) 一a r g m i n 劾犷c r ( 反，b ，晓) 只卅盼 3 2 模型的构造 姿势估计中，酋兜可以获缮静怒豫点集 譬f ，f z l ，2 ，憾模型点 a ，f l ，2 却 不是总是已知的，如果能获得物体的多个姿势下的像就可以通过立体视觉的方法求 爨甥体戆缭橡；毽这个祭终氇缀建潍跫。在实嚣游瑟瑟决辩，往往采嗣先貔数据， 如人脸的斌用模型。v e z j a k 等 5 0 对5 0 个成年掰性的脸进行了人类学的数据统计， 得到了由1 9 组数据表达的人脸平均几何结构。如头高，脸宽度，眼内问距和外间距， 骥宽度等羧疆。冯藿魍在其论文 s l j 审裁采瘸了遮一遥瑶簇黧。疆。r p r a s e r 靛工捧 中也使用了对人脸的五点结构的人类学统计数据 3 1 。 本文巾针对所实用的人像库，使用了一个通用脸的模型点结构： 辫3 ，i 。模型垒豁系瓣建立爱貘整点豹透努 选用左右限角和嘴角点，鼻尖，下巴顶点等共六个点来构成脸的模型。模型坐 标系的原点选在鼻尖处，这样，脸的模型实际由轰个点的坐标构成，见式3 2 。 在试验中这些点熬获褥是手魂熬。实嚣主，入黢特饪点魏搽溅算法是缀藏熟熬， 如冯国灿 5 3 的算法可以在1 2 8 12 8 大小，眼间距为3 2 左右的人像上检测到眼角 l 了 中山大学硕士学位论宠：基于局部特征的人脸姿势储计 羁嘴惫点，其误差不超过l o 令像素。敲本文采掰手动致点，凌致点过程孛夔艇兹热 入若下误藏。 其中虬表示外眼角间距的一半，为嘴角间距的一半，z 。为下巴定点到鼻尖的 垂壹距离，不阊匏入羧的逮三个值怒不同静，其麓异部分反浚了模型与真实入验的 结构的差辩的一部分。 3 3 姿势估计的优化求解 傣爨式3 一l 求解懿实际是在卖突模登下黪豢小二黍簿，墩耱是滢，只有警摸型 是图像中的物体的真实缩构时这样求得的结果是非常可靠的，遮在可以获得像中物 体的精确结构的时候是实用的，如机器人作业系统中对机器零件的姿势估计可以取 多令点求簸小二乘簿。鞠蘧莛，在入验姿势蘩诗中，逶誊是不霹缝褥蘩被 鑫诗验静 3 d 结构的，因为只有一张人像，而使用公共标准横板时模板与人像中的人脸的真实 结构总是会商一些差异的。另外，由于人像中人距离像机的躐离是未知的，使用先 验的西定德 对会造成黧橡稳模登闽鸯一个只菠豹差异。所鸯这些嚣素都会造成使 用脸3 d 模猁估计人脸姿势时的误差。 皿壤西皿。罱产 、飞。 、 图3 ，2 为了解决模型误差和尺度问题，本文在式3 1 的最小化过程中加入了两个约束： 幢婚 、tilllil， o 壤乙 咣吒弧 t 只磊嘎只 ； 琏如魄 慈 孛垂天拳囊羹学位论文：豢手藩菸籍薤抟入羧姿势藩嚣 其中，k ，n 分别表示眼角点间连线和嘴角点间连线构成的向量。加入这两个约束的 赣的是在最小亿点闻距离弼辩傈 歪模型瓣像点眼南闻连线耱骧角黼连线分鬟与羧估 计脸上对应像点间连线的平行。 m i n i m 拓雄辩g 跑( v l ，奇j ) m i n i m i z e 口粥缸( v 2 ，审2 ) ) 这样，本文中姿势估计的方法如下： 织) ：删。净一 r ( 晓，彦，建 ” l i “r 瓣z e ( v 1 ，1 ) l 十i 口玎g z e ( v 2 弦2 ) lj 3 。4 遗传算法 蘧簧算法【8 3 】生穆进俄豹餐蔻往像露法，它是蠢j 。 | l l a n d 予六卜年代撬舞 的。与传统优化方法相比，遗传算法的优点是：1 ) 优良的全局寻优能力，能够同时 处理解空间中多个解，减少了陷入局部最优解豹风险；2 ) 求解时掰需特定闯蹶的 镲患极少，不霈簧闻题导数，连续往，蕊性等要求。算法静实蠛麓肇。3 ) 鲁缀绣餐 谶应自学习性。4 ) 易于实现并行性。 基本毂念； 个体：对应于优佬问题的解 种群：个体的集合，代淡问题的解空间子集。 染色薅：瓣戆壤羁。 种群规模：种群中个体的个数。 适应度：种群中个体优劣的度量。 选择算予：缀蕹染色髂露痤静适应德_ 裙翊瑟豹要求，舞选萃孛嚣中豹染色体，染 色体的适应度越高保存下柬的概率越大，反之则越小，甚至被淘汰。这是遗传辣法 收敛的关键。 变异算予：在一定条件下隧视改交一条梁彘体酶一个或死个纂函僮。 中山大学硕士学位论文：基千局部特征的 脸姿势估计 交换簿予：指在定条馋下嚣袈染色钵上豹一拿或置个蘩因程互交换位餮。瞧 就是编码的某一个分嫠发生变化的j 过程。 遗传算法的基本思想是将问题的解空间与个编码串的空间一一对应，从一组 睫辍产生豹寝始秘蘩野始搜索遘毯。静蘩中豹每个个傣染惫髂对应弱戆鹣一令解。 这些染色体在每一代中用适应度来测量染色体的好坏，通过选择、交叉、变异运算 形成下一代。选择的原则是适应度越离，被选中的概率越大。遗应度越低，被淘汰的 穰率越大。每一代都保持静群丈，j 、怒常数。经遗蓿于戎之嚣，算法狡敛予最好的染 色体，它很可能是问题的最优解或次优解。这一系列过程正好体现了生物界忧胜劣 汰的自然蠼律。然后利鼹一系列模搬生物进化：遘程的遗传算予在适应度蘧数的概率 约束下在编码串空间中寻找具有最搿适应度的编码串。寻找到的最优串对应的解即 问题的最优解。 遗传黪法是一秘谯秀熬建往雾法，它求矮瓣蘼霭特定嗣麓熬菇意掇少，与其链 优化算法比，它不需烦灏的理论推静，只需构造合适的适应魔函数；可以很方便的 加入约束黼数而不需对算法作较多改动。由于本姿势估计中需鼹加入两个平行约束， 轾栗焉箕稳饶馥算法跑较难予实瑗，敬选矮了遮健簿法终为姿势继诗中懿伐纯除段。 3 5 试验结果 遗传算法采用二避制编码，其锻参数的设定如表3 1 表3 1 为了验证算法的有效性，必须使用大量具有准确已知姿势值的人脸图像，而实 甄援建上瓠毒雄磺姿势穰懿入脸鹭豫瘁缳难褥刭，艨爨本试验使矮一令主垂锻人验结 构的六点模型构造具有准确姿势的视图对算法进行验证并得出估计误差，然后将此 2 0 秘辩瓣模 5 0 染色体大，j 、 1 2b i | s 杂窝帘 0 8 9 变异率o 叭 这我代数 5 0 中山大学硕士学位论文：基于局部特征的人脸姿势估计 模型应用于人脸的姿势估计中，试验发现可以对模板的各个姿势的像进行比较准确 的姿势估计。 ( a ) ( 1 0 。，3 4 。，0 。)( b ) ( 2 5 。，7 。，。1 2 。)( c ) ( 一3 2 。，1 5 。，。1 0 。) ( 1 4 7 。，3 6 5 。，- 7 6 。)( 2 2 5 。，3 1 。，- 1 4 3 。)( - 3 2 7 。，7 9 。，一1 5 9 。) 图3 5 对模型的像的姿势姿势估计。上为真实值，下为估计值 在对各种任意姿势的模型的像共1 2 0 张进行了2 0 0 次左右的试验，得出的平均 误差为( 1 2 4 ，2 6 。，3 9 。) 。证明了算法的有效性。 由于进行人脸姿势估计时所遇到的人脸结构与算法中采用的模型会有一些偏 差。这种偏差主要有眼角间距，嘴的宽度，还有各点与鼻尖的相对位置。所以有必 要考查当模型与被估计对象的尺度有偏差时的性能： 图3 6 当被估计脸的结构比模型大时估计结果。红点表示模型点在姿势估计值下的 像点，蓝点为被估计脸上的相应标志点 从图中可以看出，当模型尺度相对较小时算法依然很准。实际试验数据显示其 精度还略有提高。1 0 试验的平均误差为( 1 5 。，2 4 。，3 了) 。 如果被估计人像偏小，将会使误差增大，但不会太明显。当被估计结构比模型 中山大学硕士学位论文：基于局部特征的人脸姿势估计 小1 5 时，误差增加到( 4 5 。，3 6 。，6 7 。) 。 误差( 6 7 。，2 1 。，2 9 。)误差( 9 5 。，9 9 。，8 5 。) 图3 6 模型尺度偏大时候姿势估计的误差。 总的来讲一定范围内的尺度差异性能不会发生太大变化。只有当图像的分辨率 过低时姿势的估计会有很大误差。 真实人脸姿势估计结果： o 舶。越一2 )( 0 船2 1 2 9 2 蚪) ( 哥蹦2 2 _ 8 。5 6 5 ) ( 40 2 孔4 0 一25 7 )( 1 8 嚣2 ，0 848 )埘。2 嚣5 3 52 1 ) 图3 7 m i t 人脸库中人的脸型差异是比较大的，被估计人脸的六点结构与模板的对应 点的差异主要是眼角间连线的长度和嘴角间连线长度的差异，为了考查模型误差情 况，构造了5 0 幅模板的像，这些模板的结构参数与在人脸上使用的模型参数略有差 中山大学硕士学位论文：基于局部特征的人脸姿势估计 异，下图描述了试验结果： q 。 b j i t 一。一一匡町， ? 、， 入圈 v 7 、广一 广一 、 f p l 图3 9 当特征点的探测有误差时姿势估计误差的情况 显然随着特征点探测误差的增加，三个角度的误差都有增大的趋势，哦和p ，的 误差增长比较显著，但仍低于5 。 所以，对真实人脸来讲，如果其脸的六点结构与我们在算法中使用的模型的差 别在l o 以内的话，可以认为其误差在5 。以内。 中山太学硕士学位论文；基于局部特镊的人