（模式识别与智能系统专业论文）人脸技术应用中若干问题的研究.pdf

摘要宰 人验技术的研究律必诗舅率咒税觉、模式谖洌和图像处理等磷究的霆要领域 之一，近年来隧到越来越多的关注。本文收集了本人在硕士学习期间的关于人 脸技术应用阂趱的一黧研究。这些磷究毪括入脸特徭点静捡瓣、头部姿态蘩待、 家庭照片集中的人脸标记等。本文的童要贡献在于： 1 ) 提出了个薪的快速鲁棒的人脸特征点定位方法。该方法首先掇出了 种快遴有效的计算象豢概率输如的方法，然聪在概率输出的熬础上提出了一个 人脸特征点定位的方法。该方法的精度和入工标记的结栗是可比的，黼且对姿 态、光照、表情等的变化是鲁棒的。 2 ) 对于头部姿态估计问题，本文提出了一种新的方法，把头部姿态估计的 糖度从i o 度左右提蔫剿3 疫左右。以簸约姿森佳诗的方法主要是翅圆归方法， 但是由于头部姿态估计的训练样本不容易获取，而且阐归算法的逼近能力和泛 化能力在处理离维的圈像样本鄙比较困难，用现有数列归闽题的算法往往不能 够得到很好的豳归效檠。作者提出了厢较少的容易获敷的样本和基于簸督分粪 学习的方法来估计头粼姿态润题，克服了训练样本的获褥和学习结果的泛化熊 力上的问题，取得了较好的姿态估计绦梁。 3 ) 为了瓣决在家瘫照冀繁孛豹人脸捡素翊题，我嬲提出了个为家庭照片 集作半自动人脸标记的框架。该框架的核心是人脸相似性特 正! 和改进自动人脸 标记终鬃豹算法。除了久脸识嗣所用瓣特征，我们采煺了匿像相似性特征和鞠 关反馈方法。这些图像特征和检索方法是在基于内容的图像枪索的研究中发展 起寒的。为了评徐我们提出蕊方法，我们对个有l ，7 0 7 张照片的家庭集进行 了模拟标记，实验证明我们掇如的方法是有个有效的半自动家庭照片集标记方 法。对于诗算枫视觉技术来说，这是个重要的结果。 关键词：模式识别、人脸特征点、头部姿态、家庭相册、基于内容的图象 捡索 枣曼憋帮斧王侮碡：徽较霉 究貔完或 v a b s t r a c t 术 f a c er e s e a r c ha n dr e l a t e dt e c h n o l o g yi sa ni m p o r t a n tp a r to fc o m p u t e rv i s i o n ，p a t t e r n r e c o g n i t i o na n di m a g ep r o c e s s i n g i ti sa t t r a c t i n gm o r ea n dm o r ea t t e n t i o n si nr e c e n ty e a r s t h i st h e s i sc o l l e c t ss o m eo fa u t h o r sr e s e a r c h i n gr e s u l ta n di t sa p p l i c a t i o n s t h ea u t h o r s m a i nc o n t r i b u t i o n sa r e ： 1 ) w ep r o p o s e dam e t h o df o rf a c i a lf e a t u r ep o i n t sl o c a l i z a t i o n o u rm e t h o di se x t r e m e l yf a s t a n dt h ea c c u r a c yr a t ei sc o m p a r a b l ew i t hh a n d l a b e l e dr e s u l t s ， 2 ) an e wm e t h o df o rh e a dp o s ee s t i m a t i o ni sp r o p o s e d ，i m p r o v i n gt h ee s t i m a t i o n a c c u r a c yf r o ma b o u t1 0d e g r e e st oa b o u t3d e g r e e s p r e v i o u sm e t h o do nh e a dp o s e e s t i m a t i o ni sr e g r e s s i o nm e t h o d h o w e v e r , f a c ei m a g e sw i t ha c c u r a t eh e a dp o s e sa r e n o te a s yt oo b t a i na n dd u et ot h el a r g ed i m e n s i o n a l i t yo fi m a g es a m p l e s ，t h e a p p r o x i m a t i n ga n dg e n e r a l i z i n ga b i l i t yo fr e g r e s s i o nm a c h i n e sa l eu s u a l l yi n c a p a b l e f o rh e a dp o s ee s t i m a t i o n t h ea p p r o a c hw ep r o p o s e du s e st r a i n i n gs a m p l e st h a ta r e e a s i l yo b t a i n e d a n dt h ec l a s s i f i c a t i o n b a s e dm e t h o dw i t h g o o dg e n e r a l i z a t i o n p e r f o r m a n c e t oa c h i e v eb e t t e rr e s u l tt h a nr e g r e s s i o nm e t h o d s 3 1 i no r d e rt ob u i l daf a c er e t r i e v a ls y s t e mf o rf a m i l yp h o t oa l b u m ，w ep r o p o s e daf r a m e w o r k o f f a c ea n n o t a t i o nf o rf a m i l yp h o t oa l b u m t h ec o r et e c h n i q u eo ff a c ea n n o t a t i o ni st h e d e f i n i t i o n o f f a c es i m i l a d t ym e a s u r e m e n ta n dt h ea l g o r i t h mt oi m p r o v et h er e s u l to f a n n o t a t i o nr e s u l t b e s i d e st h ef a c i a lf e a t u r ef o rg e n e r a lf a c er e c o g n i t i o n ，w ea d o p tt h e r e l e v a n c ef e e d b a c ka p p r o a c hf o rs i m i l a r i t y - b a s e di m a g er e t r i e v a ls y s t e m , w h i c hi sd e v e l o p e d i nt h er e s e a r c ho fc o n t e n t - b a s e di m a g er e t r i e v a ls y s t e m t oe v a l u a t eo u ta p p r o a c h ，w et e s to i l l a l g o r i t h mo nap h o t oa l b u mc o n t a i n i n g1 , 7 0 7p h o t o s t h er e s u l tp r o v e st h a to u ra p p r o a c hi s e f f e c t i v ef o rs e m i a u t o m a t i cf a c ea n n o t a t i o nf o rf a m i l ya l b u m p a t e n t sh a sb e e na p p l i e df o r t h i st e c h n o l o g y , a n di tw i l lh ep a r to fn e wm i c r o s o f t p r o d u c t i ti sa ni m p o r t a n ta d v a n c ef o r c o m p u t e rv i s i o nr e s e a r c ha n df a c et e c h n o l o g i e s k e y w o r o ：p a t t e r nr e c o g n i t i o n ，f a c i a lf e a t u r e ，h e a dp o s ee s t i m a t i o n f a mjl ya l b u m ，c o n t e n tb a s e di m a g er e t r i e v a l + p a r t so f t h i sw o r kw a sc o n d u c t e da tm i c r o s o f tr e s e a r c h a s i a v i i 独创性声明 奉人声潮所成交的论文是我个人在导掰攮导下避撂粒鹾究 二俸及鼗褥靛磺究戚栗。辱我 所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发液或撰写过的研 究成粜。与我问一【俸的褥志对本研究所做的任何赞献均已在论文中作r 明确地说胡并表示 了瀣意。 签名日期：塑巫坚7 关于论文使用授权的说明 唪太竞全了簿申匿辩学院鑫凑纯褥巍搿毒关豫馨、菠耀学挺沦文豁惩定，瓣：中瀑葶 学 腿自动化研究所囊投保舞送交论文的复印髂，允许沦文被凌阅和借润：可以公毒论文的全部 成部分内容，可以采用影印、缩印戚其他复制手段保存论文。 ( 探密躺论文在孵密看黢瀵守魏撬怒) 签名；西甥：皇逊盟 笫”章入脸技术综述 1 ，1 弓l 言 第一章人脸技术综述 殖着信息技术和人机交互技术的发展，有关人脸的研究也在不断地进行。 这些磷宠希望能够从视频图像或者照片中提取用户的身份、状态和意豳，通过 这些技术使得人机用户界面更为友好和完善。在过去的十年中，随着统计学习 方法的发展，有关人脸的技术比以前受到了更多的关注，很多实验性的演示和 商业系统都被开发出来。 人粒技术鼹磷究主要包括人脸检测( f a c ed e t e c t i o n ) ，人脸识别( f a c e r e c o g n i t i o n ) ，人脸配准( f a c ea i i g n m e n t ) ，人脸表情分析( e x d r e s s i o i l a n a l y s i s ) 以及人脸嬲会成( f a c es y n t h e s i s ) 等。这些研究中，人脸检测和人脸 识别是最燕要的两个，面他们之间的桥梁，就是人脸分析技术。下面我们首先 介绍人脸检测和识别方面的研究，然后介绍人脸分析的般技术。其它方法只 作楚单的介绍。棚关的综述文献请参见 1 2 8 1 8 4 2 人黢检测 绘定任一图象，人脸检测( f a c ed e t e c t i o n ) 闯题就是判定在这图象中是否 有人脸，如果有的话，返回人脸的位置和大小。人脸检测是大多数的大验应鹅 系统的第步。个快速准确的人脸检测系统对于这些系统前应稍至关重要。 1 2 1 人脸检测的固难 人脸检测的困难在于不同的入脸在不同的环境下的变化。对于学习翔趣来 说，这些变化带来了许多困难。 姿态( p o s e ) ；姿态的变化绘人验的检测带来了很多的困难。较早的人脸检 测器基本上都是玉垂( f r o n t a l ) 的人脸检测器，因为正面的人脸检测器变化比 较拳。 光照( l i g h t i n g ) ：光照也会影确人脸检测靛绩果。在不弱妁光照条件下，人 脸的外观也会发生稻应豹变化。 人脸技术府用中若干问题的研究 表情( f a c i a le x p r e s s i o n ) ：人脸的外观直接和人的表情有关系 遮挡( o c c l u s i o n ) ：为了处理不同的遮挡的情况，训练样本中要含有相对应 的遮挡情况，或者学习机器能构自动地处理这些遮挡 人脸部件的添加或者缺失：人脸的一些特征点，如眼睛，嘴巴，鼻尖，胡子 等。在不同的情况下，这些部件可能存在或者不存在，检测器应该能够处理这 些变化。 1 2 2 主要的人脸检测方法 模板匹配方法 模板匹配方法( t e m p l a t em a t c h i n g ) 中，首先定义一个标准的( 或者是参数 化的) 人脸模板。对于给定的图象，计算该图象和定义好的人脸模板的卷积值， 根据卷积值来确定人脸的位置。模板匹配方法主要有形状模板 5 8 和变形模板 7 7 7 8 两个方法。形状模板方法不能处理人脸关于姿态，大小和形状等的变 化，而变形模板的提出就是为了解决大小和形状的变化的。 基于外观的统计方法 基于外观的方法( a p p e a r a n c e b a s e df a c ed e t e c t i o n ) 不预先定义的模板， 而是使用统计分析或者机器学习的方法从训练样本中取提取模板。学习的结果 可能是模式的分布( d i s t r i b u t i o nm o d e l s ) 或者判别函数( d i s c r i m i n a n t f u n c t i o n ) 。在学习和检测的同时，通常需要线性的或者非线性的降维来提高 计算效率。 主要的统计分析和机器学习算法有： 主元分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，0 1 p e a ) 通过k a r h u n e n l o e v e ( k l ) 变换， k i r b y 和s i r o v i c h 提出来用一些特征 脸为基来表示任一一个脸的方法 2 8 。t u r k 和p e n t l a n d 运用主元分析方法来作 人脸的检测和识别 7 3 。实际上，元分析方法已经成为很多人脸检测和识别算 法的基础。 基于分布的方法( d i s t r i b u t i o n b a s e dm e t h o d s ) 第一章人脸技术综述 s u n g 和p o g g i o 提出了种基于分布的人脸检测系统 6 8 儿6 9 。该系统统计 正反例样本的分布，用几个c l u s t e r 来逼近正反例的分布。而这些c l u s t e r 的 中心用改进的k - m e a n 的方法来得到。另外一种方法使用f i s h e r 线性判定方法 ( f i s h e r sl i n e a rd i s c r i m i n a n t ，o rf l d ) ，将样本从高维空间投影到低维的 特征空间中 8 0 。很多实验表明，f d a 方法往往能够比p c a 方法取得更好的结 果。 神经网络方法( n e u r a ln e t w o r km e t h o d s ) 神经网络( n e u r a ln e t w o r k ) 系统是一种传统的机器学习方法，它已经被成 功地应用到很多模式识别问题，包括文字识别，物体识别和自动驾驶。人脸检 测问题可以看成一个二分类问题，从而各种各样的网络结构被构造出来，然而， 由于神经网络严重倚赖于网络结构和参数( 网络的层数，节点个数等) 调整，给 学习过程带来了很多的麻烦。有关用神经网络方法来进行人脸检测的方法， 可 以参见。最有代表性的r o w l e y 等提出的方法 5 3 5 4 5 5 。这种主要包含两部 分，多层网络和将这些网络的输出结果进行决策的函数。 支持向量机方法( s u p p o r tv e c t o rm a c h i n e ，s ) 支持向量机( s u p p o r tv e c t o rm a c h i n e ，o rs v m ) 是v a p n i k 等基于统计学习 理论提出了一种新的学习算法 7 5 。该方法通过核函数( k e r n e lf u n c t i o n ) ，将 样本变换到特征空间中， 在特征空间中找到一个“最宽分类面”，将两类样本 分开。和神经网络一样，支持向量机算法在很多模式识别问题取得了很多很好 的结果。而它的核心，通过核函数进行特征映射的方法也应用到很多其它的学 习方法而形成了一类方法：核方法。 由于人脸检测问题可以看成二分类问题，所以运用支持向量机进行人脸检 测也是很自然的事情。o s u n a 等首先运用支持向量机来作人脸检测 4 5 。针对 支持向量机运行速度慢的特点，他们提出了一些改进方法。 a d a b o o s t 方法 a d a b o o s t 算法也是今年来提出的一种新的学习算法。 它的核心思想是组 合很多的弱分类器来构造一个强的分类器。 v i o l a 等运用类似h a a r 小波基的特征函数和a d a b o o s t 方法， 提t p , 了一个 人脸技术应用中若干问题的研究 快速的鲁棒的人脸检测算法 7 6 。由于采用了积分表和分层算法，这个算法的 速度运行得很快。在普通的p c 机上，能够达到实时的检测速度。 其它方法 其它的人脸检测方法还有： s p a r s en e t w o r ko fw i n n o w ，o rs n o w ：s n o w 是利用w i n n o w 更新原则由线 性函数组成的稀网络。y a n g ，r o t h 等利用s n o w 网络构造了一个人脸检测器 5 1 8 。和其它的方法相比，这种方法准确率相当，然而计算上却要高效得 多。 n a i v eb a y e sc l a s s i f i e r ：s c h n e i d e r m a n 等提出了用n a i v eb a y e s c l a s s i f i e r 利用不同分辨率下的局部的外观和位置来估计联合概率 6 3 。他们 认为某些局部的特征比其它局部的特征更具有分辨能力。 其它处理人脸的方法还有：隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，o r i m m ) 5 8 6 0 ，i n d u c t i v el e a r n i n gm e t h o d 4 6 等。 1 3 人脸识别 人脸识别有着很广泛的应用，包括信息安全、出入口访问控制、智能# 、 户口档案管理等方面。特别是9 1 l 事件之后，随着对安全系统的要求的提高， 人脸识别研究引起了更多更广泛的关注。 人脸识别就是指提取某种能描述每个人个性的特征，用一种距离度量的方 法或分类方法，识别或认证被测试人脸图像和数据库存储的人脸图像之间的荚 系。人脸识别主要有两个问题，特征和分类方法。按照特征提取和分类算法的 不同，类似人脸检测算法，人脸识别的算法大致可以分为两大类：几何特征方 法和统计方法。 几何特征方法 用人的知识去描述人脸的特征，然后用这些特征来识别人脸是很自然的想 法。最早的人脸识别方法就是基于这样的思想。类似于符号主义的方法。它的 提取人脸面部具有代表性的部位( 例如眉毛、眼睛、鼻子、嘴巴等) 的相对位 置和相对大小作为特征，再辅以人脸轮廓的形状信息，来对人脸进行分类和识 第一章人脸技术综述 别。 但是这种方法是不可靠的。可靠性依赖人的知识表达和几何特征的提取。 人的知识表达得有限，所以几何特征的提取很关键。 但是在实际应用中，几何 特征提取是个很难的问题。光照、姿态、表情变化和遮挡等噪声的影响了几何 特征提取的效果，所以它的准确识别率不高。 统计方法 基于连接主义的方法现在在人脸识别的研究中占有主要的地位。这些方法 包括，模板匹配算法，神经网络方法，子空间分析方法，核方法，a d a b o o s t ， 隐马尔可夫模烈等。需要说明的是，这些方法往往在实际的系统中都不是单独 应用，而是混合使用的。例如，p c a 或者k p c a 常常作为数据降维的标准步骤。 模板匹配方法是模式识别中最简单的种模式分类方法。简单地说，就是 让测试样本和训练样本进行比较，根据设定地评价函数，给出相似性度量。实 验结果表明模板匹配方法优于基于几何特征方法。但是摸板匹配方法的计算量 较大，另外除了光照、表情以外，图像的平移、旋转和放缩也会严重影响模板 匹配中互相关的计算。弹性束图匹配( e l a s t i eb u n c hg r a p hm a t c h i n g ) 方法 7 7 7 8 是匹配方法的引中和扩展。它采用节点定位方法和适应对象的网格 ( o b j e c ta d a p t e dg r i d s ) 标记图取代规则网格标记图 2 9 7 9 8 3 ，使节点 更能准确的反映人脸面部的几何特征信息。 子空间分析( s u b s p a e ea n a l y s is ) 方法是统计方法中的一种，主要作为特 征提取的方法。在人脸检测地综述中已经提到， 它的思想就是把高维空俐中松 散分布的人脸图像，通过线性或非线性变换压缩到一个低维的子空间中去。在 低维的子空间中使人脸图像的分布更紧凑，更有利于分类。另外，也使高维的 计算减小为低维计算。主元分析是最早被引入到人脸识别的子空间方法 2 8 。 在它的成功应用之后，子空间方法便成为了人脸识别的主流方法之一。其中基 于主元分析的特征脸 7 3 和基于f is h e r 线性判决分析的f i s h e r 脸方法 8 4 8 6 3 都取得了比较好地结果。 和人脸检测的算法一样，隐马尔科夫模型( h i d d e nm a r k o vm o d e l h n ) 也 用来作人脸识别。s a m a r i a 等 5 8 6 0 把它引入到人脸的检测和人脸识别，主要 人臆技术应用中若干问题的研究 跫因为人验鼢中诸如：头发、静额、龊靖、鼻子、嘴巴等部位的位置顺序溺定， 因此可以袭示为隐马尔科夫模型中的系列状态。n e f i a n 等 4 2 人的工作也是 鏊于这样豹露想，只是模蘩阏络臻鞫静不嗣。 基予神经网终的人脸识别方法也早期的分类方法之一 7 4 5 。在当就流行 地统计学习方法出现以前，神经网络的方法是最主要的基于联接主义的方法。 这些方法中，各神不同的特征被提取出来，作为网络的输入。通过网络的方法 得到特定豹网络节点的参数( 训练结果) 。所戬它的性能主要决定予特征的选取 和网络结构。由于这两个方法都怒经验性的方法，需要大量的实验比较，所以 这种方法寓现起来麻烦。随着薪的基于统计学习的方法的出现，逡些方法渐渐 地不再采用。 基于贝叶斯决策的分熊方法也是自然的( 4 1 ( 4 2 儿3 3 3 4 。结合不同的特 镁，有缀多不同黪方法。m o g h a d d a m 等 4 1 结合由差元分辑键到的囊予空间，及 其正交互补的子空间的特性，提出了基于主元分析的贝叶斯描述。后来他们把 这描述扩展到分别描述人脸的类内和类间变化( 4 2 。另雏，基予多尺度秘方 向变化的g a b o r 特征的方法 3 5 ，结合形状和表黼纹理特征的方法 3 6 c 3 7 ， 以及基于局部特微分析的方法 4 7 ，都属于这些统计学习的方法。 支持向量机( s u p p o r tv e c t o rm a c h i n e ，o rs v m ) 是v a p n i k 等旗于统计学习 毽论提凌了一耱麟熬学习分类冀法i t s 。该方法逶过垓函数( k e r n e lf u n c t i o n ) ， 将样本变换到特，谯空间中， 在特征空间中找到一个“最宽分类面”，将两类样 本分开。瘦子它只逶用予勰决两类的模式分类避题，因此对人脸识别这样的多 类问题，必须要搬多类问题细化为二分类问题 2 6 i o 1 9 2 0 。 ，毒大黢分橱 1 4 1 姿态估计 在解决多姿态( m u l t i v i e w ) 人脸的检测、识别问题和其他很多应用场景巾， 头部姿态估计国e a dp o s ee s t i m a t i o n ) 蹩缀重要静一步( 圈l 1 ) 。篦如诞，弱 人脸做人机交互界面( h u m a nc o m p u t e ri n t e r f a c e ) 和计算机游戏。但是，头部 姿态估计在诗算枫褫觉吾并究中还爨一个穰难豹，爨畜撬酸瞧静蠢题。 第一章人脸技术综述 图1 1 头部姿态估计的兰个方向 毯前的入脸姿态估计的方法大致可醴分成两类：一个是基于辨髓嚣 ( a p p e a r a n c e b a s e d ) 学习方法，另夕卜一种是基予模板匹配的方法。 典型的基于外观的方法希蹩能通过统计学习的方法，建立种从入脸的外 麓裂a 艟姿态筋一静驶射。8 r u s k e 等提出了耀襻经网络豹方法来擞人脸姿态黏 计 6 。今年来随着基于核函数的学习方法的措起，基于核函数的学习方法也 被尝试着用来做人脸的捡测积人验姿态估计。l i 等使用支持向量网归方法 ( s u p p o r tv e c t o rr e g r e s s i o n ，s v r ) 来在多姿态的人脸检测之前估计入脸姿态 3 0 。1 。i 等还提出了在人脸的每个视角的予空间中用k e r n e lp r i n c i p l e c o m p o n e n ta n a i y s i s ( k p c a ) 方法降缎，然后在每个子空闯中掰支持两量分炎 ( s u p p o r t v e c t o rc l a s s i f i c a t i o n ，s v c ) 的方法来为每个视角做一个分类检测 器 3 i l 。 然蘧杰强象空闻中，不同姿态之闻鹣类间距离比类内距离大不了多少；或 者说，图象空间不是个好的用来做姿态估计的输入特征。所以直接在图象空 间( 或者通过菲监督钓降维) 中微学习不能褥刘精确豹学习估计。倒如，人脸 姿态估计如果幽作回归问题来潜的话，估计误差大致在l o 。 3 0 。如果当作 多类闻题的话，每一个类别的覆盖的角度大撅在l o o 2 0 0 3 1 。即使邋过非线 性的降维，由予每个类之间的变化很大，给学习带来了很大的困难。 基予模叛菠配酶方法通常波嗣入验的几餐关系或黉a 验的特征点寒链诗入 脸姿态。例如，a 1 t e r 等提出了一种在人脸的特征点被检测以后，用正则投影 人脸技术应用中若干问题的研究 来做人脸姿态估计的方法 1 。基于特征点的方法的主要缺陷在于它对噪声敏感 从而使得估计不鲁棒。 1 4 2 人脸校准 人脸校准( f a c ea 1i g n m e n t ) 的任务是对人脸图像进行配准( r e g i s t r a t i o n ) ， 然后通过w a r p i n g 的方法把人脸对应的点映射到标准图像的同一点上。主要的 问题是图像的配准。代表性的方法主要有两种，a s m 1 3 和a a m 1 4 。 1 9 9 2 年c o o t e s 等提出的a s m ( a c t i v es h a p em o d e l ) 引起了广泛的关注 1 3 。 a s m 有一个全局模型，称为点分布模型( p o i n td i s t r i b u t i o nm o d e l ) ，用来 模拟一类物体形状的变异；同时，对于其中每一个特征点，a s m 又在图像的灰 度空间上建立了其灰度梯度的分布模型，称为局部模型。c o o t e s 等人提出了一 个迭代的算法，自动地实现了模型的参数估计，即形状参数和形变参数的更新， 并将其用于图像分割和特征点定位中。a s m 的主要优点是，它产生的形状只能按 照从样本训练集中学到的方式进行形状变异。因此，它既可以容忍形状变异， 又还特殊地表示了某一类物体。事实上，a s m 是使用了主成分分析( p r i n c i p l e c o m p o n e n ta n a l y sis ) 的技术来建立全局模型和局部模型。 a a m ( a c t i v ea p p e a r a n c em o d e l ) 是一种有效的人脸配准工具 1 4 。它使用 了p c a 等元分析方法来为形状和纹理的变化来建模。而且还对它们之间的相关 性进行建模。另外a a m 还使用了一个较好的搜索策略。它假设人脸外观的变化 和问题的交化以及纹理的变化和位置的变化是线性的。这样，用两个线性回归 的模型来拟合训练数据就可以得到他们的分布特征。 1 4 3 特征点定位 人脸特征点( f a c i a lf e a t u r ep o i n t ) 指的是眼睛，鼻子，嘴角等人脸的 特殊点。在有关于人脸的分析中，人脸的特征点的检n 定位是一个很重要的问 题。因为人脸特征点不仅可以用来作人脸检测、人脸校准、人脸识别和表情分 析等，就是特征点检测本身也由很多广泛的应用。 基于人脸特征点方法已经被用于人脸检测，人脸标定，人脸识别和表情分 析。h e i s e l e 等提出了一种基于特征点方法来检测人脸 2 2 。这方法使用t - 第一章人脸技术综述 耱两级黪s v n 分类器。善宠，饕缓s 鞭裣嚣i 令久黢特征点，次级s v m 爆来 验证这些图象中检测到的特征点是否嗫配一个人脸几何模板。h e i s e l e 等还提 窭基予特 歪熹方法豹入验谈3 , 1 2 3 】。在1 4 个大羧熬姆篷煮装s 诵分类器检测 之后，从其中的l o 个特征点提取出相成的特征。s v m 分类器再次用来对每个人 戆模叛遴孬穰练，麸蠢爆徽久黢谈裂。蜜验结暴炭嬲这藏基于特惩煮兹蘸统院熬 体方法的系统性能上臻好一些。 入验特征淼的本身还青穰多应瘸。它霹馘成角予建立天橇交互赛瑟( h u m a n c o m l 3 u t e ri n t e r f a c e ) 中。例如说，可以建立一个跟踪人眼的系统，应用人眼柬 控翩诗葵辊鼠舔豹运磅；或者掰诗箕飘来分辑入豹注豢点( f o c u s ) ，来分缀诗算 机使用的过程中用户的注意力的变化情况。它可以用在有关人脸的数字图象处 理中，镄辩照片串经鬻会窭臻豹久豹终羧，戴霉激逶逐羧渚梭测器懿方法寒定 位人眼的位置，然后通过颜色滤波的方法来抑制。 。4 。4 入艟表情分辑专天黢虢偌缭醛系统 天脸懿表漪是一耪缀鑫然、壹接、奏效弱交浚工基。往藏翟久艇意识裂爨 己的感情的时候他的表情已经流露出来了。分析人脸的表情，还可以探知人 们懿惑穗，这在心理举疆突中瞧缀存意义。袭蟪鼹分聿霆在戳 l 蓍般是幽一些专 家来究成的。但是最i 琏在图像处理和模式识别等方面的进展，使得自动的表情 分錾後蠖建交成了霹憝 2 7 3 7 2 3 。 人脸动作编码系统( f a c i a la c t i o nc o d es y s t e m ) 是由e k m a n 等为了研究人 脸的幸j ：为稃学褥子1 9 7 8 年提浅来豹 1 。这种方法可爨客鼹羹羹分橇各穆久验各 个器官的运动，或者叫做人脸动作( f a c i a la c t i o n ) 。在这种祭统中，人脸动作 编码怒逶过“确 乍单元”( a c t i o nu n i t ，o r 矧) 柬表示懿蚕l 2 ) 。e k m a n 定义 了4 4 个动作单元，其中3 0 个和脸部的肌肉有关系，1 2 个和脸的上半部有关系， 1 8 个 勰脸豹下半部鸯关系。 人脸技术应用中若十问题的 究 a u 5 5 ：h e a dt i l tl e f ta u 5 2 ：h e a dt u r nr i g h ta u 5 3 ：h e a du p a u s i ：h e a dt u f f ll e f t a u 2 6 ：j a wd r o d a u 9 ：n o s ew n n k l e r a u 6 1 ：e y e st u r nl e f t a u 6 2 ：e y e st u r nr i g h t 图1 2 一些f a c s 中定义的脸部动作单元 目前处理入脸动作单元识别的主要方法有1 ) 光流法2 ) 基于p c a 的表面纹理 分析方法和其他一些人脸识别的方法，如g a b o rw a v e l e t 特征、线性判别分析 ( l i n e a rd i s c r i m i n a n ta n a l y s i s o rl d a ) 、局部特征分析( l o c a lf e a t m l e a n a l y s i s ) 和独立元分析( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，o ri c a ) 等。 o 筇二二章一种新的人脸特征点定位算法 第二章一种新的人脸特征点定位算法 2 1 引言 人脸特征点指的是眼睛，鼻子，嘴角等人脸的特殊关键点。在有关人脸的 研究中，人脸的特征点的检测是一个很重要的问题。因为人脸特征点不仅可以 用来作人脸检测、人脸校准、人脸识别和表情分析等，就是特征点检测本身也 有很多广泛的应用。 图2 一l 若干人脸特征点 基于人脸特征点方法已经被用于人脸检测，人脸校准，人脸识别和表情分 析。h e i s e l e 等提出了一种基于特征点方法来检测人脸 2 2 。这方法使用了 种两级的s v m 分类器。首先，首级s v m 检测1 4 仑人脸特征点，次级s v m 用来 验证这些图象中检测到的特征点是否匹配一。个人脸几何模板。h e i s e i e 等还提 出基于特征点方法的人脸识别 2 3 。 在1 4 个人脸的特征点被s v m 分类器检测 之后，从其中的1 0 个特征点提取出相应的特征。s v m 分类器再次用来对每个人 的模板进行训练，从而用做人脸识别。实验结果表明这些基于特征点的系统比整 体方法的系统性能上要好一些。 人脸特征点定位本身还有很多应用。它可以应用于建立人机交互界面 ( h u m a nc o m p u t e ri n t e r f a c e ) 中。例如说，可以建立一个跟踪人眼f l 勺系统，用 人眼来控制计算机鼠标的运动；或者用计算机来分析人的注意点( i ? o c u s ) ，求分 析计算机使用的过程中用户的注意力的变化情况。它可以用在有关人脸的数字 垒堕塾苎些旦主茎塑墅塑塑壅 图象处理中，例如照片中经常会出现的人的红眼，i ! i i ! i i i i i i i i ! i i i i i 力- 法柬定位人限的位置，然后通过颜色滤波的方法来抑制。 人脸特征点定位的难度主要在于人脸的表情、姿态、光照、外观的不同上( 图 2 2 ) 。 图2 - 2 特征点定位的困难 人脸特征点的定位本身是一个物体定位检测问题。但是，如果用一般的人 脸定位技术，如果选定的特征点区域太小，那么它容易出现很多候选区域；如 果特征点区域选得过大，那么定位的位置不准确。 本章中，我们提出了一种人脸特征点定位算法。它是一种在人脸的范围被 检测之后，根据象素概率输出来定位特征点的方法。该算法的特点是快速，准 确。它能够在普通的p c 上达到实时的检测速度( 包括左右人眼，鼻尖和左右嘴 角共i 个特征点) 。在准确率上，自动检测结果和人工标定的结果是大致相当 的。和用仪器标定的结果相比，误差距离和人脸的大小的比值在o 0 4 左右。 2 2 人脸特征点定位方法 我们提出的人脸特征点的定位的方法如图2 - 2 。在人脸被检测出来之后，我 们根据特征点的分布，将人脸划分成几个区域，每个区域个包含对应的特征点。 然后在每个区域中对每个象素计算对应特征点的概率输出。通过这个概率输出 图，用我们提出的方法来定位人脸特征点位置。下面两节分别讨论这两个步骤： 特征点概率分布图的计算和利用概率分布图来定位人脸特征点。 第一章种新的人脸特征点定位算法 图2 - 3 人脸的特征点定位流程 2 2 1 概率输出计算方法 阶状结构指的是用一序列的分类器来完成分类( 图2 - 3 ) 。第一个分类器用 比较松的条件，去掉一部分的反例样本。同时保留绝大部分正例样本。 图2 4 阶状结构的分类器 人脸技术应州中若干问题的研究 在构造第二个分类器的时候，只用那些不能够被第一个分类器去除的来构 造正反例样本，也即在第个分类器的正例空间中做分类。依此类推，构造 序列的分类器。在训练每个分类器的时候，反例样本是以指数方式减少的。 v i 0 i a 等提出了基于a d a b o o s t 7 6 】和阶状结构的一种快速和鲁棒的物体检 测算法 7 6 】。这算法利用了阶状结构( c a s c a d es c h e m e ) 来加速计算。他的阶状 结构由一序列的a d a b o o s t 分类组成。每个分类器去掉一部分的非人脸而保存绝 大部分的人脸样本。通过阶状结构，他的算法不仅能够处理非对称的学习问题， 而且在图象中搜索人脸的速度可以很快。 g i v e ne x a m p l ei m a g e s ( x ，yj ) ，- ，( j y ) w h e r e n = 0 , i ， f o rn e g a t i v ea n dp o s i t i v ee x a m p l e sr e s p e c t i v e l y 1 i n i t i a l i z ew e i g h t s ，= 1 2 m ，1 2 1 ( 1 ) f o r y = 0 , ir e s p e c t i v e l y ， w h e r ema n dlaret h e n u m b e ro fn e g a t i v e sa n dp o s i t i v er e s p e c 七i v e l y 2 f o rt = 1 ，t ： 2 1 n o r m a l i z et h ew e i g h t ：w ，。h _ j ：；l ，s o t h a t i sp r o b a b i l i t yd i s t r i b u t i o n 2 2 f o re a c hf e a t u r e ，j ，t r a i nac l a s s i f i e r w h i c hi sr e s 七r i c t e dt ou s i n gas i n g l ef e a t u r e t h eerrori se v a l u a t e dw i t h r e s p e c t t o w i 一= 阶一) - y ，l 2 3 c h o o s et h ec l a s s i f i e r ， w i t ht h e l o w e s t e r r o r 2 4 u p d a t e t h e w e i g h t s ：u “= h 尼。w h e r ee ，= 0 i f e x a m p l ex j i sc 1 a s s i f i e d c o r r e c t l y ， g = 1o t h e r w i s e ，a n d 矗= 。，( t - - 6 ，) 3 t h ef i n a ls t r o n gc l a s s i f i e ri s ： 坼) - 1 x ) a 1 2 - , r - ( 2 ) 1 0 o t h e r w i s e 图2 - 5a d a b o o s t 算法1 7 6 6 1 如前文所述，为了检测特征点的精确位置，我们需要个单 的概率输出 表示而不是阶状结构的多个分类结果。为了得到。个单输出我们提出了。 种修改v i o l a 的阶状方法的洲练和测试的方法。就象【7 6 】和图2 - 4 中所述，v i o la 的阶状结构由- 序列的分类器构成它综合了反例训练样本分布。但是它产牛 第二章一种新的人脸特征点定位算法 序列的分类结果而不是一种单一的输出。我们提出了一种改进方法( 图2 - 5 ) ， 使得最后的输出是唯一的。我们的方法如下：对于除了第层外的所有分类器， 样本的权重会在被训练或者测试之前被之前所有的层重新计算。具体地说，在训 练的过程中，当新的非人脸训练样本从非人脸库中抽取出来之后，他们的权重在 训练之前用a d a b o o s t 6 1 】方法更新。每个新样本被前面的所有的分量器重新计 算权重。从而样本的权重随着前面一些层的分类结果而调整。这种结构包含了 前面一些分类器的分类结果，而这些是对于后面的分类是有利的。当测试的时 候，在每个分类层的末尾分类结果和每层的阈值相比较：如果它比阈值火，那 么它被保留，否则的话，它就会被去除。 + g i v e ne x a m p l ei m a g e s ( z i ，y 1 ) ，( x ，。) w h e r e ，= 0 , 1 ，f o r n e g a t i v ea n dp o s i t i v ee x a m p l e sr e s p e c 七i