（计算机应用技术专业论文）基于视频图像的人脸特征点定位技术研究.pdf

基于视频图像的人脸特征点定位技术研究 计算机应用技术专业 研究生刘姗姗指导教师王玲 摘要人脸特征点定位技术是人脸分析技术的关键，它被广泛应用于人脸 识别、三维人脸建模、人脸动画等领域。但是由于光照、姿态、面部表情的变 化以及眼镜、胡须等遮挡物的干扰，增加了人们对特征点精确定位的难度。 本文主要针对的是左右转动的人脸视频序列研究鲁棒的人脸特征点定位 算法，主要的研究工作及创新点如下： 1 ) 在分析人脸面部主要器官分布规律的基础上，参照m p e g - 4 标准中人 脸定义参数f d p 的人脸特征点分布，选取了本文使用的人脸特征点，同时根 据人脸特征点对后续应用的重要性以及特征点定位的难易程度将选取的特征 点进行了分类。 2 ) 通过对a s m 模型的初始位置以及人脸特征点的局部搜索策略进行改进， 提出了采用叠加的a s m 模型以及二维轮廓线进行局部特征点搜索的算法。用于 人脸视频序列第一帧接近正面人脸特征点的定位，该帧定位的准确性直接影响 到后续视频人脸特征点的跟踪。 3 ) 提出按人脸姿态的不同，采用不同的策略跟踪视频人脸特征点。对于 小姿态的人脸采用仿射矫正的光流跟踪方法，而对于中大姿态的人脸则通过 分区域，计算跟踪准确的人脸特征点的偏移量矫正光流跟踪方法。对于难跟踪 的人脸外轮廓点，本文提出采用把人脸图像转换到h s v 色彩空间，利用s o b e l 变换提取人脸轮廓的方法定位人脸外轮廓上的特征点。 4 ) 作为对视频序列人脸特征点定位的一个应用，本文根据视频序列中定 位出来的人脸两内眼角点和鼻尖点估计出人脸姿态。最后，本文以v i s u a l c + + 6 0 以及o p e n c v l 0 为开发平台，实现了视频人脸序列特征点的定位并估 计人脸姿态。 关键词：人脸特征点定位主动形状模型光流跟踪仿射变换色彩空间 i i r e s e a r c ho nf a c i a lf e a t u r ep o i n t sl o c a t i o nb a s e d o nv i d e oi m a g e s a b s t r a c tf a c i a lf e a t u r ep o i n t sl o c a t i o ni st h ek e yt of a c ea n a l y s i st e c h n i q u e s ， i ti sw i d e l yu s e di nf a c er e c o g n i t i o n , 3 df a c em o d e l i n ga n df a c i a la n i m a t i o ne t c h o w e v e r , i ti sv e r yh a r dt ol o c a t ef a c i a lf e a t u r ep o i n t sp x e c i s e l yd u et ot h ec h a n g e s o fl i g h t ，g e s t u r ea n df a c i a le x p r e s s i o na n dt h eo c c l u s i o n so f g l a s s e sa n db e a r d i nt h i sd i s s e r t a t i o n ，r o b u s tf a c i a lf e a t u r ep o i n t sl o c a t i o na l g o r i t h mi ss t u d i e dt o t u r n i n gl e f ta n dn e g a th u m a nv i d e os e q u e n c e t h em a i np o i n t so fr e s e a r c ha n d i n n o v a t i o na r ea sf o l l o w s ： 1 ) t h ef a c i a lf e a t u r ep o i n t sa r es e l e c t e da c c o r d i n gt om p e g - 4f a c i a ld e f i n i t i o n p a r a m e t e r s ( f d p ) i nt h ea n a l y s i so ft h em a j o ro r g a n so fh u m a nf a c e a n dt h e s e l e c t e df a c i a lf e a t u r e p o i n t s a r ec l a s s i f i e db yt h e i m p o r t a n c e o ff o l l o w u p a p p l i c a t i o n sa n dt h ee a s eo fl o c a t i n gf e a t u r ep o i n t s 2 ) t h es t a c ka s ma n dt w o d i m e n s i o n a lc o n t o u rl i n e so fs e a r c h i n gl o c a l f e a t u r ep o i n t sa r ei n t r o d u c e db yi m p r o v i n gt h ei n i t i a lp o s i t i o no fa s ma n dt h e s e a r c h i n gs t r a t e g i e so f l o c a lf a c i a lf e a t u r ep o i n t s t h i sm e t h o di su s e dt ol o c a t et h e f i r s tf l a m ef a c i a lf e a t u r ep o i n t so fv i d e os e q u e n c e sw h i c hd i r e c t l ya f f e c t st h e p o s i t i o n i n ga c c u r a c yo f t h ef o l l o w - u pv i d e of a c i a lf e a t u r ep o i n t st r a c k i n g 3 ) d i f f e r e n ts t r a t e g i e st ot r a c kt h ev i d e of a c i a lf e a t u r ep o i n t st ot h ed i f f e r e n t f a c i a lg e s t u r e sa r ep r o p o s e d a f f i n e c o r r e c t e do p t i c a lf l o wt r a c k i n gm e t h o di su s e d f o rs m a l lg e s t u r e so fh u m a nf a c e o f f s e tc o r r e c t i o no ft h eo p t i c a lf l o wt r a c k i n g m e t h o dt h r o u g ht h es u b r e g i o n ，c a l c u l a t i n ga c c u r a t ep o i n t st r a c k i n gf o rm e d i u m l a r g eg e s t u r e so ff a c e t h eh u m a nf a c ei m a g e sa r ec o n v e r t e dt ot h eh s vc o l o r s p a c e ，u s i n gs o b e lt r a n s f o r r nt oe x t r a c tt h ef a c ec o n t o u ri su s e dt ol o c a t ef a c i a l f e a t u r ep o i n t so nt h eo u t e rc o n t o u r i i i 4 ) t h ef a c eg e s t u r e sa r ee s t i m a t e da c c o r d i n gt ot h ei n s i d ec o r n e ro ft h ee y e p o i n t sa n dt h et i po f n o s ea sa na p p l i c a t i o no ff a c i a lf e a t u r ep o i n tl o c a t i o nb yv i d e o s e q u e n c e s f i n a l l y , t h ef a c i a lf e a t u r ep o i n t sl o c a t i o no ft h ev i d e os e q u e n c ea n d e s t i m a t i o no ff a c e g e s t u r e s h a v eb e e ni m p l e m e n t e db yv i s u a lc + + 6 0a n d o p e n c v l 0 k e yw o r d s ：f a c i a lf e a t u r ep o i n t sl o c a t i o n a c t i v es h a p em o d e l ( a s m ) o p t i c a lf l o wt r a c k i n g a f f i n et r a n s f o r mc o l o rs p a c e i v 四) w i n 范大学学位论文独创性及 使用授权声明 本人声明：所呈交学位论文，是本人在导师至坠：筮蕉指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何 其他个人或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本声明的法律结果由本人承担。 本人承诺：已提交的学位论文电子版与论文纸本的内容一致。如因不符而 引起的学术声誉上的损失由本人自负。 本人同意所撰写学位论文的使用授权遵照学校的管理规定： 学校作为申请学位的条件之一，学位论文著作权拥有者须授权所在大学拥 有学位论文的部分使用权，即：1 ) 已获学位的研究生必须按学校规定提交印 刷版和电子版学位论文，可以将学位论文的全部或部分内容编入有关数据库供 检索；2 ) 为教学、科研和学术交流目的，学校可以将公开的学位论文或解密 后的学位论文作为资料在图书馆、资料室等场所或在有关网络上供阅读、浏览。 本人授权中国科学技术信息研究所将本学位论文收录到中国学位论文 全文数据库，并通过网络向社会公众提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：剖舭 导师签名： 签字日期：加年 石月f 日 签字日期吱擗易月二日 第一章绪论 1 1 研究背景及意义 随着生物鉴别、人工智能、新一代人机交互等技术的迅猛发展，与人脸 相关的图像处理技术如人脸识别、人脸动画、人脸表情分析、三维人脸建模等 更是引起了众多科研机构和大量研究人员的关注。而且，人脸与其他人体生物 特征相比，具有直接、友好、方便的特点，因此，有关人脸的分析技术己经成 为近年来的研究热点。而这些技术的一个首要前提就是要快速有效的从图像或 者视频序列中获取人脸特征点信息，即实现人脸特征点定位。 虽然人类可以从人脸图像中很轻松地分辨出面部特征点的准确位置，但对 计算机来讲并不容易。因为人脸是非刚性的，人脸的大小、位置、姿态、表情 变化、年龄变化、遮挡物的干扰、毛发和佩戴物、光线的变化等都会严重影响 到正确地对人脸特征点进行定位。而且，目前人脸特征点定位技术相对还比较 薄弱，比如在人脸识别领域中，做人脸检测的研究人员仅仅给出人脸的大概位 置，并不考虑人脸特征点定位的准确度，而大部分做人脸识别算法的研究人员 则都是假定人脸特征点的位置是给定的【1 1 。并且，该研究涉及到图像处理、模 式识别、人工智能、计算机视觉、生理学、心理学等多个交叉学科。因此，人 脸特征点定位技术至今仍然是一项非常重要又极具挑战性的课题，其中所采用 的特征点定位算法的精确度和定位的鲁棒性是当前研究的一个热点。 所谓人脸特征点定位，就是通过计算机在人脸图像中自动地定位出人脸各 个器官的准确位置，为人脸图像的处理与分析提供重要的几何信息，其准确性 直接影响到后续应用的性能，这些应用主要有以下几个方耐2 j ： 1 ) 为人脸识别提供重要的几何特征等基础信息。 2 ) 利用人脸面部特征定位的结果进行人脸姿态表情分析。 3 ) 实现人脸图像的自动跟踪。 4 ) 用于人脸图像编码。 5 ) 进行人脸合成、三维人脸建模以及人脸动画的研究。 近年来由于视频比静态图像能够提供更加丰富的信息，因此，在人脸识别、 表情分析、三维人脸建模等领域逐渐把视频人脸序列作为研究的主流，其中一 个必须解决的i 口- j 题就是在人脸视频序列中定位和跟踪人脸特征点i l j 。尽管前 入对该问题已经做了深入的研究，但到目前为止，现有的人脸特征点定位技术 还是有很多苛刻的条件限制，比如要求均匀光照、正面中性表情人脸、无遮挡 物等。即便如此，该技术也未达到实用的程度。本文主要研究的就是视频序列 中头部姿态对人脸特征点定位的影响，精确的跟踪大姿态角度头部旋转人脸特 征点是一个很有挑战性的研究课题，对三维人脸建模、人脸合成等领域有很大 的应用。 1 。2 国内外研究现状 1 2 1 人脸特征点定位技术的国内外研究现状 近年来，随着人们对人脸特征点定位技术的不断深入研究，从上世纪九十 年代以来，国内外学者己经提出了多种行之有效的人脸特征点定位方法。现有 的方法根据人脸定位所依据的基本信息的类型分为基于先验规则、基于几何形 状信息、基于色彩信息、基于外观信息和基于关联信息五类【3 】。 1 ) 基于先验规则：根据人脸特征的一般特点总结出一些经验规则，在进 行人脸特征点定位之前，先对输入图像进行处理，强化目标特征，然后根据这 些规则从图像中搜索出人脸候选点。该类方法的典型代表有：镶嵌图1 4 j 、几何 投影【5 1 、二值化定位【6 1 、广义对称【为。该类方法的优点是构造简单，使用的都 是一些简单的底层图像信息，但是该方法的普遍适用性不高，有如要求图像中 只能有单个人、简单的背景、中性表情等诸多条件限制。 2 ) 基于几何形状信息：根据人脸部特征的形状结构特点构造一个带可变 参数的人脸几何模型，通过一个评价度量函数来判断被检测区域与该模型的匹 配度，为了使模型能够收敛于待定位的脸部特征需要在搜索过程中不断调整参 数使评价度量函数最小化。该类方法包括：s n a k e s 引、可变模板【9 】、a s m 模型 1 0 1 。该类方法的优点是具有很好的直观性，易于理解和应用，但是该方法的 运算量一般都比较大，这是因为人脸特征点附近的对比度比较低，为了使模型 收敛，其搜索过程比较缓慢。 3 ) 基于色彩信息：利用人脸面部与周围环境不同的色彩信息，使用统计 方法建立起脸部特征的色彩模型，根据被检测区域的色彩与色彩模型的匹配度 搜索候选区域找出候选点。该方法的优点在于受姿态、尺寸、表情等变化的影 2 响小而且运行速度快，但是该方法易受周围环境因素的干扰，容易把环境中接 近肤色的信息提取出来。 4 ) 基于外观信息：采用统计学的方法，将脸部特征附近一定区域内的子 图像映射到高维空间中的一个点。使用高维空间中的点集来描述同类脸部特 征，建立其统计模型，通过计算待测区域与模型的匹配度来判定其是否是目标 脸部特征。该类方法的典型代表有：人工神经网络】、p c a t l2 1 、s v m t l3 1 。该 类方法的优点是由于采用了统计的方法，因此对外界环境的适应能力较强，但 是其运算量较大，而且由于采用的都是高维信息，较抽象，无法直观识别出入 脸特征。 5 ) 基于关联信息：把脸部特征之间的相对位置信息引入到统计学习方法 中以获取人脸特征的关联信息。该类方法主要有：概率网络【l4 1 、g a b o r 小波网 络【l ”。该类方法对具有一定姿态变化的人脸有一定的适应能力，但是由于加 入了关联信息，因此该类方法的运算量也进一步加大。 目前，在定位较多的人脸特征点领域比较常用的是基于几何形状的方法， k a s s 8 j 等人在1 9 8 8 年首先提出了主动轮廓线模型( a c t i v ec o n t o u rm o d e l s ， a c m ) ，或者称为s n a k e 模型。该模型是一种能量极小化模型，是一条可以变 形的曲线。在变形过程中受到内力和外力两种力的作用，通过内力约束它的形 状，外力引导它的行为，将其拖向显著的图像特征。l e e t l 6 】等人在1 9 9 7 年提 出的结构化s n a k e 模型对正面和侧面人脸图像实现面部特征定位。 由于s n a k e 模型只是利用了一般对象的先验知识，没有关于特定对象的信 息，并不适用精度要求高的地方。因此，通过对主动轮廓线模型进行改进，提 出了可变形模板【9 1 ，其主要思想是根据待检测人脸特征的先验形状信息，定义 一个反映该形状变形部分的形状模型，通过调整该模型的参数定位出人脸特征 的位置信息。由于可变形模板需要人为设计参数化的几何模型，这对于形状简 单、较规则的人脸特征( 如眼睛和嘴巴) 可以较好地检测出其位置和形状信息。 但对于形状复杂的人脸特征( 如鼻子、眉毛和人脸外轮廓) 检测效果并不好， 而且该方法的运算成本高，对于实时性要求较高的场合并不适用。 由于主动轮廓线模型和可变形模板在人脸特征点定位中存在不足，1 9 9 5 年c o o t e s 等人提出了主动形状模型【10 1 ( a c t i v es h a p em o d e l s ，a s m ) ，该模型是 基于统计学习的方法，首先建立人脸特征点的全局形状模型和局部纹理模型， 利用统计模型对人脸形状进行约束，通过局部特征点匹配的策略搜索候选特征 点，直至最终收敛到实际的人脸形状上去da s m 模型近年来得到了广泛的应 用，主要是因为a s m 是利用统计学的方法学习了人脸的特征，能够适应不同 人脸的形状，非常有效。但是a s m 并不是任何条件下都能够取得很好的效果， 为了适应不同的情况，近几年很多研究人员在a s m 模型基础上做了大量的研 究工作，如：k o s c h a n t r 7 】等将a s m 的特征扩展到了彩色的情况，通过把局部 灰度模型转换成红、蓝、绿三个颜色的模型来跟踪视频序列中的运动物体或人； c o o t e s t l 8 】等在a s m 的基础上，为了使得a s m 的定位更加准确，提出了主动 表观模型( a c t i v ea p p e a r a n c es h a p e ，a a m ) 。a a m 是a s m 的直接扩展，在 a s m 的基础上，a a m 增加了整体的灰度纹理模型，通过把整体的形状模型与 整体的纹理模型组合构成表观模型，通过实验分析，a a m 的检测效果要比 a s m 好，但是由于增加了一个模型，a a m 的运行速度也相对较慢，而且a a m 比a s m 更容易受到光照的影响：2 0 0 1 年，北京微软亚洲研究院的李子青和北 京大学的侯欣文等人提出了d a m ( d i r e c ta p p e a r a n c em o d e l s ) 1 1 9 】模型，通过 建立一个全局纹理到形状的线性映射模型，提高运行速度，实际上就是对a a m 的一种简化：y a n 2 0 】等提出了t c a s m 方法，该方法不仅使用了a s m 的全局 形状模型和局部纹理模型，而且还利用整体的纹理信息来控制形状的变形，这 样做的好处是改善了a s m 算法对初始化轮廓和光照的敏感性，提高了人脸特 征点定位的准确性，而且运行速度要比a a m 快；2 0 0 3 年z h o u l 2 1j 等提出了贝 叶斯切空间形状模型( b a y e s i a nt a n g e n ts h a p em o d e l ，简称b t s m ) ；j i a o l 2 2 j 等提出了w - a s m 方法，通过利用g a b o r 小波特征来构造图像的局部结构以 及后面出现的基于h a a r 小波的a s m ( h a a r - w a v e l e ta s m ) 【23 1 、m i l b o r r o w 【2 4 】 等提出的t r i m m e d m o d e l 模型和r a n 2 5 j 等提出的r a s m ( r e g u l a r i z e da s m ) 等都是在a s m 模型的基础上针对不同的情况提出的改进策略。 目前，国内外致力于该领域的研究机构主要有：美国的卡内基梅隆大学、 m i t 、瑞典l i n k o p i n g 大学、丹麦的d t u 大学、国内的北京微软亚洲研究院、 清华大学、北京大学、中科院计算所和自动化所、中山大学、浙江大学等。特 别是中科院自动化所生物识别与安全技术研究中心的李子青研究组在该领域 4 取得了许多很好的成绩t 1 9 】【2 0 1 【2 5 1 。 1 2 2 人脸特征点跟踪技术的国内外研究现状 人脸特征点跟踪方法主要可以分为基于模型的方法和基于光流的方法。基 于模型的方法通常是对特征点进行描述性建模，利用模型从每帧图像中选择具 有物理对应关系的相同特征点集合，然后在集合之间建立单映射来完成跟踪任 务。c o o t e s 提出的主动形状模型( a c t i v es h a p em o d e l ，a s m ) 1 0 l 在面部特征 点跟踪问题上，尤其特征点具有复杂运动时，获得了优异的效果，但是a s m 跟踪只适合于帧间运动较小的情况。m c k e n n a 2 6 】等人选择g a b o r 特征，采用 点分布模型描述面部特征点的运动，取得了较好的效果。 基于光流的方法通常是在参考帧中选择一组特征点，假设特征点纹理在帧 间保持不变，然后通过局部匹配搜索完成跟踪任务。由于光流可以从单个像素 的角度进行图像的跟踪，因此被广泛应用于人脸特征点的跟踪。最初的方法是 在人脸上贴标识点来跟踪视频中的人脸特征点，其后为了实现自动跟踪人脸特 征点，很多学者做了大量的研究，其中应用较广泛的主要有l u c a s 和k a n a d e t 2 7 1 提出的l u c a s k a n a d e 光流跟踪算法，以及其后提出了很多改进方梨2 8 】【2 9 】。但 是该方法需要被跟踪点周围有丰富的纹理，才能稳定地跟踪人脸特征点。 1 3 本文研究内容 本文是针对一组在均匀光照条件下中性表情的人脸左右转动的视频序列， 并且要求视频第一帧接近正面人脸。然后对输入的视频帧自动检测出人脸区 域，并在检测出的人脸区域上实现实时自动的定位出人脸特征点。 本文研究内容主要有： 1 ) 人脸特征点的选择与分类：选择哪些特征点以及选择的特征点数目是 人脸特征点定位首要解决的问题，本文主要根据人脸识别领域以及三维人脸建 模领域中对人脸特征点的要求，选择了既具有代表性又能够描述一个人脸特征 的5 2 个特征点，并根据人脸特征点对后续应用的重要性以及特征点定位的难 易程度将选取的这些特征点分为三大类：第一类是人脸眉毛、眼睛、鼻子和嘴 巴区域的关键特征点，第二类是对第一类特征点的进一步描述，第三类是标记 人脸外轮廓、额头以及脸颊区域的特征点。 2 ) 改进主动形状模型( a s m ) 实现对接近正面人脸面部特征点进行定位： 采用a s m 模型对近正面人脸图像定位特征点，针对存在的以下问题进行改进： ( a ) 传统a s m 模型存在初始位置不准确问题，容易造成特征点定位失败。 在此首先对人脸图像进行人脸检测定位出人脸位置，然后采用叠加的a s m 模 型，利用第一个a s m 的搜索结果作为第二个a s m 的初始位置，更加精确a s m 的初始位置。( b ) 传统a s m 模型采用人脸特征点的法线方向上搜索候选点， 由于法线方向的一维轮廓线很难携带足够的信息表示人脸特征点，容易造成特 征点定位的不准确。在此，考虑在特征点周围的二维邻域内搜索候选点，以便 提高特征点定位的精确度。 3 ) 对于有一定转角的人脸，a s m 模型不能实现很好的特征点定位，在此 利用视频序列提供的丰富信息，改进金字塔l u c a sk a n a d e 光流跟踪算法实现 对人脸特征点的精确跟踪。对小姿态人脸采用仿射矫正的光流跟踪算法，中 大姿态人脸则通过计算跟踪准确特征点的偏移量修正光流跟踪的结果。 4 ) 由于第三类特征点在视频跟踪中特别困难，因此本文提出对于人脸外 轮廓上的点采用把视频图像转换到h s v 色彩空间，利用边缘检测算子s o b e l 变换提取人脸轮廓，定位外轮廓上的点。对于额头点和脸颊点，则提出根据人 脸的先验知识，结合定位出的人脸特征点的距离实现定位。 5 ) 分析现有的人脸姿态估计方法，利用本文定位的两内眼角点和鼻尖点 三个点估计出人脸绕y 轴旋转的姿态角度。并且基于以上的研究，本文最后 以v i s u a lc + + 6 o 以及o p e n c v l 0 为开发平台，实现了视频人脸序列特征点的 实时定位，并且实时估计出人脸姿态。 1 4 论文的组织安排 本文工作主要涉及三大部分：一是关于a s m 人脸特征点定位，对主动形 状模型进行实验分析；二是关于l u c a sk a n a d e 光流跟踪，改进l u c a sk a n a d e 光流跟踪方法，实现人脸特征点的精确跟踪；三是对视频人脸特征点定位的一 个应用，实现人脸姿态估计。 本文内容分为六章： 6 第一章绪论。介绍了人脸特征点定位的研究意义，详细分析了人脸特征点 定位和跟踪的研究现状。 第二章a d a b o o s t 人脸检测及人脸特征点的选择与分类。首先介绍了使用 a d a b o o s t 算法对人脸视频序列的第一帧进行人脸检测，然后通过分析人脸主 要器官的分布规律，介绍了本文选择的人脸特征点以及对这些特征点的分类。 第三章改进的a s m 面部特征点定位算法。首先简单介绍了传统的a s m 算法，然后通过分析采用改进的a s m ，实现了对接近正面人脸特征点的精确 定位，为后面实现人脸特征点的跟踪提供了很好的初始值。 第四章改进的金字塔l u c a sk a n a d e 光流算法视频人脸特征点跟踪。通过 分析金字塔l u c a sk a n a d e 光流跟踪算法，按照人脸姿态的分类改进l k 光流 跟踪算法，实现精确定位人脸特征点，同时对出现遮挡情况以及较难定位的第 三类特征点提出了相应的策略。 第五章利用定位的人脸特征点在人脸姿态估计中的应用。首先介绍了基于 特征点的人脸姿态估计方法，然后利用本文中定位的人脸特征点实现了左右旋 转人脸的姿态估计。 第六章总结与展望。对该论文的研究结果进行总结以及对该问题的研究未 来做了展望。 7 第二章a d a b o o s t 人脸检测及人脸特征点的选择与分类 人脸检测是指从图像或视频序列中检测出人脸，并确定人脸的位置、大小 等信息。要实现人脸特征点的定位，首先要定位出人脸的大体位置，减少搜索 特征点的区域范围，提高效率。而且，由于人的头部组织结构十分复杂，要实 现人脸特征点定位，必须要选出有代表性的人脸特征点。 2 1 基于a d a b o o s t 算法的人脸检测 2 1 1 人脸检测的主要技术方法 目前人脸检测技术已经取得了较大的进展，主要可以分为四类p o 】：基于 知识的方法、基于特征的方法、基于模板匹配的方法和基于统计理论的方法。 1 ) 基于知识的方法：是依据人脸面部器官的对称性、灰度差异等先验知 识制定出一系列的准则，根据这些准则把人脸面部器官之间的关系规则化，当 图像中的待测区域符合该准则时则被检测为人脸。y a n g 掣3 l 】利用从粗到精的 三级规则来检测人脸。该方法的缺点是检测率不太高，很难定义出满足各种人 脸的规则。如果规则定义过高，则可能会导致人脸被漏检；如果规则过低，可 能会造成较高的错误接受率。 2 ) 基于特征的方法：与基于知识的方法不同，该方法是通过寻找面部的 一些不变的特征，例如眼睛、鼻子、嘴巴等，利用找到的这些不变特征来确定 检测区域是否是人脸。另外，在彩色图像中，人脸的肤色就是一个区别人脸与 非人脸的显著特征，因为，肤色具有相对的稳定性，不依赖于人脸面部的细节 特征，也适用于旋转、面部表情变化等情况。因此，利用人脸肤色在彩色图像 中检测人脸是一种很有效的方法。l e e 3 2 】设计了肤色模型来表征人脸颜色，在 复杂的环境背景下实现了人脸及面部器官的分割，并且取得了很好的效果。但 是该方法存在的问题是：受环境影响较大，当图像中有光照、噪声等的影响时， 会造成图像的特征不明显或被严重破坏。 3 ) 基于模板匹配的方法：分为固定模板和变形模板两大类。其中，固定 模板是指首先制定出几个标准的模板，并且制定出符合人脸的条件，然后，计 算待检测区域与标准模板之间的相关值，当该相关值符合制定的条件时则判断 该待测区域为人脸，否则为非人脸；变形模板是指采用参数化的模板来描述人 8 脸特征，通过最小化参数的能量函数达到检测人脸的目的。固定模板由于是参 考标准的模板，因此对姿态、表情变化等敏感，而变形模板虽然对非刚性目标 有较好的适应性，但参数的选择较困难，而且花费的时间较长。 4 ) 基于统计理论的方法：基于模板匹配的方法中的模板通常是通过先验 知识得到的，而基于统计理论的方法中使用的“模板 则是从训练集中通过学 习得到的。该方法是利用统计分析与机器学习的方法来寻找出人脸样本与非人 脸样本各自的统计特征，利用各自的特征构建分类器，来分辨人脸与非人脸。 由于人脸图像非常复杂，显示地描述人脸特征是困难的，因此基于统计理论的 方法越来越被重视。该方法主要有特征脸方法、神经网络方法、支持向量机方 法、隐马尔科夫模型方法以及b o o s t i n g 方法。 特征脸方法。该方法是对训练人脸图像利用主成分分析( p r i n c i p a l c o m p o n e n t a a n a l y s i s ，p c a ) 生成特征脸( e i g e n f a c e ) 构成人脸子空间【3 3 ，。通 过把图像投影到该空间上做聚类，由于人脸在人脸子空间上的投影变化不是很 大，但非人脸图像的投影变化却很大，于是通过计算一幅图像到人脸空间的距 离，寻找局部极小值达到人脸检测的目的。 神经网络方法。神经网络方法是通过让系统自动学习人脸和非人脸样本 复杂的类条件密度，构造神经网络作为人脸和非人脸的分类器。r o w l e y l 3 4 】利 用多层神经网络结构用于人脸检测，效果非常好，之后在文献 3 5 中r o w l e y 改进该方法实现了多姿态下的人脸检测。 支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 方法：是基于统计学习 理论，采用结构风险最小化原理，将训练样本映射到另一个高维空间中，在变 换后的高维空间内寻找最优分界面。o s u n a 等【3 6 】首次利用s v m 进行人脸检测， 文献 3 7 】还利用多层s v m 结构做人脸检测。 隐马尔科夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 方法：是一种存在有 限状态的马尔科夫链和序列的观察值两种机理的随机过程。文献【3 8 利用 h m m 来学习人脸到非人脸和非人脸到人脸的转移概率，即通过计算子图到每 个人脸和非人脸聚类中心的距离得到观测序列，根据观测序列学习h m m 的参 数，通过训练得到的最佳序列用来判断测试图像是否是人脸。 b o o s t i n g 方法：是首先赋予训练失败的训练样本较大的权值，然后，在 9 后续的学习中主要对较难的训练样本进行学习，通过不断地学习，最后将该算 法挑选出来的若干个弱分类器加权相加组成强分类器【3 9 】。因此，该方法是一 种可以将弱分类器组合成为强分类器的统计学习方法。其中非常有代表性的 就是 v i o l a 和o n e s m 疑出的基于a d a b o o s t ( a d a p t i v eb o o s t i n g ) 算法的人脸检 测方法，是目前效果最好的人脸检测方法，而且在速度上远远快于几乎所有其 他算法，已经达到了实时的效果。该方法是采用积分国( i n t e g r a t e di m a g e ) 的 表示方法，提取类h a a s 小波的特征，采用级联( c a s c a d e ) 策略将大量弱分类 器组合成强分类器。 212a d a b o o s t 算法用于人脸检测 目前a d a b o o s t 算法在人脸检测领域是实行性和准确率都最好的方法，本 文采用v i o l a 和j o n e s 【4 ”提出的a d a b o o s t 算法对视频人脸序列的第一帧进行人 脸检测，a d a b o o s t 算法的主要特征如下： 1 ) 使用类h a r t 的矩形特征，如图2 i 所示。其中，图2 i a 、b 是两个矩 形的特征，c 为三个矩形的特征，d 为四个矩形的特征。 图2l 类h a tr 特征 2 ) 采用积分图计算类h a a r 特征的值，对于图2 2 图像内的一点f ( # 、力 定义其积分n i i ( x ，y 1 为： 回同 i i ( x ，y ) = i ( x ，y ) ( 2 1 ) j s x ，y 卸 i i ( x ，y ) 可以由如下两式迭代得到： s ( x ，y ) = s ( x ，y 一1 ) + i ( x ，y ) ( 2 2 ) i i ( x ，) = i i ( x l ，) - + - s ( x ，y ) ( 2 3 ) 其中s ( x ，一1 ) = 0 , i i ( 一1 ，y ) = 0 。如图2 2 所示，点( x ，y ) 的积分图的值就是 其左上角矩形所有像素之和，即图中阴影部分。 图22 点( x y ) 的积分图的值 3 ) 使用b o o s t i n g 方法创建两类问题( 人脸与非人脸) 的分类器节点，把 弱分类器训练成强分类器，具体算法参考文献h o 。 4 ) 把每一个弱分类器组合成筛选式级联的一个节点，如图2 3 所示。 图23 筛选式级联 图2 3 中的每个节点都是由多个b o o s t i n g 分类器组成，只要有人脸，基本 都可以检测到，同时只拒绝一小部分非人脸，但是到最后一个节点时，几乎所 有的非人脸都被拒绝掉，只剩下人脸区域。 本文利用o p c l 7 1 c v ( o p c as o u r c ec o m p u t e rv i s i o nl i b r a r y ) 提供的基于 a d a b o o s t 算法的v i o l a - j o n e s 人脸检测技术，使用训练好的正面人脸模型文件 h a a r c a s c a d ef r o n t a l f a c ea l t 2x m l 来检测视频人脸序列第一帧的人脸图像，取得 了很好的效果，实验结果如图2 4 所示。 图24a d a b o o s t 人脸检测结果 由于本文是采用正面人脸做训练样本的，虽然对小姿态角度的人脸也能够 检测的出来，但对于姿态变化很大的人脸，则效果不好，可以通过搜集更多的 多姿态人脸数据做训练样本来提高对姿态的鲁棒性。 22 人脸特征点的选择与分类 人脸作为人体上晟具表达能力的一部分，具有个性化和多样化的特点，因 此要定义人脸特征点就要建立在人脸的生理结构特点的基础之上。 2 21 人脸面部主要器官的分布规律 人脸面部主要器官有：眉毛、眼睛、鼻子、嘴巴和耳朵。人脸面部器官的 分靠是一种复杂的比例关系，其中最典型的代表就是“三庭五眼”觇则。 该规则具体插述如下1 4 ”： 在人脸正面图像上，人脸轮廓近似于椭圆，双眼在椭圆水平轴上，眉心、 鼻尖和下巴尖在竖直轴上。其中，在人脸竖直方向上，发际到眉弓、眉弓到鼻 尖、鼻尖到下巴尖点的距离都相等，称为“三庭、在人脸水平方向上，两眼 之间、两眼外角分别到双耳的距离都相等，且都是一眼宽，然后，再加上两个 眼睛本身的宽度，称为“五跟”。 还有t 眉弓的宽度为四个眼睛的宽度：鼻尖位于眉弓至下颊底l ，2 处，鼻 底( 从鼻根到下颊处) 长度为脸部块面长度的一半；鼻中隔与人中相连；鼻底与 耳底齐平，耳朵的高度可以通过眉毛的最高点来确定；口韶周围组织的长度为 鼻底到下颊处的2 3 ：两瞳孔之间的距离等于1 ：3 的宽度，也等于下颊的最大宽 度；两个瞳孔之间的距离为齿槽弓的宽度；眉上部和鼻底引出的两条水平线之 间为整个耳部。“三庭五眼”规则如图2 5 所示。 5 1 1 5 1 5 。i 5 l i 5 。1 l 限 l 。l、 图25 “兰庭五眼”示意图 。爰际线 戤 ： m+m斗m l 十瑰 2 2 。2 人脸特征点的定义 m p e g 4 【4 3 】是一个真正地把视频和声音以及计算机三维图形和图像结合 在一起的多媒体数据压缩标准。在m p e g - 4 标准中，使用人脸定义参数f d p ( f a c i a ld e f i n i t i o np a r a m e t e r ) 、人脸动画参数f a p ( f a c i a la n i m a t i o np a r a m e t e r ) 以及人脸动画参数单元f a p u ( f a c i a la n i m a t i o np a r a m e t e ru n i m ) 三部分来描 述一个人脸的几何、纹理以及表情信息。其中，f d p 提供了一个人脸特征点 的几何数据，定义了8 4 个人脸特征点，如图2 6 所示。 这些特征点是经过大量的实验分析得到的，能够真实的反应一个人脸面部 的特点，因此目前大多都是基于f d p 定义的人脸特征点进行人脸特征点分析 研究的。这样做的好处是，能够为后续选择人脸特征点提供很好的参考标准和 范围，为实现人脸特征点定位奠定了理论基础。 、 强龟释烙 一伯 一 粤一：。 1 4 r i 口哺y 鼻 u 讯t y t 图2 6 人脸定义参数h ) p ( f a o i a lo e f i n i t i o np a r a m e t e r ) 定义的人脸特征点 2 2 3 人脸特征点的选取 由于不同的研究领域所使用的人脸特征点的数目不同，对人脸特征点的选 择也有所不同。在人脸识别领域，文献【4 4 】选用1 0 个人脸特征点，文献 4 5 】 选用了7 个人脸特征点。这些特征点不仅能反映人脸识别中最重要的特征，而 且也是较容易提取的特征点。在三维人脸建模领域，由于需要较准确的刻画人 脸，因此选取的特征点较多，文献 4 6 1 选择了2 5 个人脸特征点，文献 4 7 1 选择 了5 4 个人脸特征点，文献 4 8 1 选择了1 0 3 个人脸特征点。 本文选取人脸特征点的原则主要是根据后续应用领域的需求，一方面选择 的特征点能够很好的描述人脸特征，另一方面特征点也不宜太多，以免增加不 必要的困难。因此，我们参照m p e g - 4 中人脸定义参数f d p 中的人脸特征点 分布，将人脸分为眉毛、眼睛、鼻子、嘴巴、外轮廓、额头以及脸颊七个区域， 共选择了5 2 个人脸特征点。同时根据人脸特征点对后续应用的重要性以及特 征点定位的难易程度将选取的特征点分为三类，具体描述如下： 1 ) 第一类特征点：即关键特征点，标记出入脸眉毛、眼睛、鼻子和嘴巴 四个区域的主要特征，共1 8 个特征点。包括：眉毛区域4 个特征点：左右眉 毛的内、外眉点；眼睛区域6 个特征点：左右眼睛的内、外眼角点、瞳孔点； 鼻子区域4 个特征点：鼻尖点、鼻下点、两鼻孔点：嘴巴区域4 个特征点：两 嘴角点、上下唇中心点。具体示意图如图2 7 ( a ) 黄色点所示。 1 5 2 ) 第二类特征点：是对第一类特征点的补充，即进一步描述人脸眉毛、 眼睛、鼻子和嘴巴四个区域，共1 8 个特征点。包括：眉毛区域4 个特征点， 眼睛区域4 个特征点，鼻子区域6 个特征点，嘴巴区域4 个特征点。具体示意 图如图27 ( b ) 红色点所示。 3 ) 第j 类特征点：是标记人脸外轮廓、额头以及脸颊区域的主要特征， 共1 6 个特征点，包括人脸外轮廓上1 1 个特征点，2 个脸颊点，额头中心点， 2 个额头左右轮廓点。具体示意图如图2 7 ( c ) 绿色粗点所示。 g gg ( a ) 第一类特征点 ( b ) 第二类特征点( c ) 第三类特征点 图27 人脸特征点分类示例图 第一类特征点标注的是人脸面部关键器官的角点位置。对人脸的眉毛、眼 睛、鼻子和嘴巴这四个区域进行了关键点的定位，而且该类特征点由于在角点 位置上，较容易定位。第二类特征点是在第一类特征点的基础上，对人脸这四 个区域进一步细化，同时该类特征点的定位较第一类特征点要难一些。第三类 特征点标注的是人脸外轮廓、额头以及脸颊区域上的点，该类特征点是某些人 脸应用领域所需要的如三维人脸建模领域。而且该类特征点是属于难定位的 特征点。 23 本章小结 本章分为两部分，第一部分首先简单介绍了现有的人脸检测技术，然后对 本文使用的基于a d a b o o s ! 的人脸检测算法进行了详细介绍，并给出了实验的 结果。第二部分讨论了人脸特征点的选取，首先介绍了人脸面部主要器官的分 布规律，详细阐述了“三庭五眼 规则。其次，对m p e g - 4 标准做了简单介 绍，给出了人脸定义参数f d p 定义的8 4 个人脸特征点的分布图