（应用数学专业论文）基于改进的asm方法的人脸特征点检测.pdf

中山大学硕士学位论文 基于改进的a s m 方法的人脸特征点检测 专业：应用数学 姓名：石林英 指导老师：赖剑煌教授 摘要 人脸特征点的检测是人脸识别、表情分析等数字人脸技术的重要基础，是提 高人脸识别、人脸分析与跟踪性能的重要前奏和关键问题人脸特征点检测技术 发展至今，在姿势、光照、表情变化、面部饰物等影响下的鲁棒性能和准确性的 提高仍然是这一技术研究的难点和热点 本文的主要工作是对活动形状模型方法( a s m ) 做了改进，并将其应用到人 脸特征点检测技术上，取得了很好的检测效果本文主要有以下三个方面的创新 点： 1 本文针对m 聊- 4 标准中中性脸模型的定义，把m p e g 一4 标准中所定义 的人脸上的8 4 个特征点按照检测难易程度分为四类 2 本文采取了整体形状与局部形状互动、用整体形状模型的特征子空间来约 束局部形状点的移动的方法来检测人脸的特征点，有效避免了因眼睛检测不准确 而影响到鼻子和嘴巴等部位特征点检测的准确性的缺点 3 本文除了按照传统的a s m 方法提取了图像的灰度特征外，又提取了图像 的基于灰度共生矩阵的熵纹理特征，更加准确地定位了待检测图像中特征部位的 形状 本文所提到的研究工作是在y a ie 人脸库提供的1 6 5 幅图像上进行实验，对 于有不同表情或者佩戴眼镜的正面人脸图像，本文的方法都得到了很好的实验结 果 关键字：m p e g 一4 ，人脸特征点，活动形状模型( a s m ) 。熵 第1 页 中山大学硕士学位论文 f a c i a lf e a t u r ep o i n t sd e t e c t i o n b a s e do ni m p r o v e da s m m a j o r ：a p p l i e dm a t h e m a t i c 8 n a m e ：s h il i n y i n g s u p e r v i s o r ：p r o f l a ij i a n h u a n g a b s t r a c t f a c i a lf e a t i l r ep o i n t sd e t e c t i o ni sa ni m p o r t a n tf o u n d a t i o no fm ed i g i t a lf a c e t e c h n 0 1 0 9 y ，i ti sa l s ot l l ep r e l u d ea n dc r u x 血a th o ww ec a ne n h a n c et h ep e r f o r m a n c e o ff a c er e c o g n j t i o n ，f a c ea i l a l y s i sa j l dt r a c i n gt e c h n i q u e u pt on o w w i t ht h ei n n u e n c e o fp o s e ，m u r n i n a t i o n ，f a c i a la c c o u t e 啪e n ta 1 1 dv a r i e t yo fe x p r e s s i o n ，h o wt oi m p r o v e t h er o b u s tp e r f o n n a i l c ea n da c c u r a c yi ss t i l laf o c u sa n dd i m c u l t yi nm j ss p e c m ca r e a t h e r ea r em r e em a i nc o n m b u t i o n so f 山i sa n i c l e ，m a i n l ya b o u tt h ei m p m v e m e n t o fa s m ( a c t i v es h a p em o d c l s ) ，a 1 1 dw eh a v eg o te x c e e n td e t e c t i o nr e s u l t sw h e n 印p l y i n gi tt ot l l et e c h n o i o g yo ff a c i a lf e a t u r ed e t e c t i o n f i 州y a c c o r d i n gt 0m ed e f i n i t i o no fn e u t r a lf a c em o d e li nm p e g 一4s t a n d a r d ， 山i sp a p e rc l a s s m e sm e8 4f a c i a lf e a t u r ep o i n t s 访f o u rc l a s s e s ，w h i c ha r ed e f l n e di n m p e g 4s t 锄d a r d ，a sf a ra sm ed i m c u l t yd e g r e ei sc o n c e m e d s e c o n d l y ，m i sp a p e rc o n s t r a i n st h em o t i o no fl o c a ls h a p ep o i n t s ，b yu s i n gm e f e a t u r cs u b s p a c e so f 西0 b a ls h a p em o d e la n dm ei n t e r d 印e n d e n c eb e t w e e n9 1 0 b a l s h a p cr n o d e la n dl o c a ls h a p em o d e l s ，t 0a c h i e v eo u ra i mo ff e a t u r ep o i n t sd e t e c t i o n g e n e r a u ys p e a “n g ，m en e g a t i v ei n n u e n c et ot 1 1 ed e t e c t i o no ff e a t u r ep o i n t so nn o s e a n dm o u t hb ye y e sd e t e c t i o ni n c o n c t l yw i l lb ea v o i d f m a l l y ，i no r d e rt ol o c a t et h es h a p eo ff c a t u r ep a n sf 如mt h ei m a g ew h i c hi s r e a d yt 0b ed e t e c t e dm o r ea c c u r a t e l y ，m i sp a p e re x t r a c t sg r a yf e a t u r ef r o mm ei m a g e b yu s i n g 廿a d i t i o n a la s m ，w h i l ee x 心l c t sm ee n t r o p yt e x t u r ef e a t u r ew h i c hi sb a s e do n g r a ys y m b i o s i sm 雠x t h i sp a p e rt e s t so u rr e s e a r c hw o r ko nt h ey a l ef a c ed a t a b a s e ( w h i c hh a s1 6 5 i m g e s ) ，a n dg e tp e r f b c te x p e r i m e n tr e s u l tf r o mf r o n t a lf a c e sw i t hv a r i o u sk i n d so f 第页 中山大学硕士学位论文 e x p r e s s l o n k e y w o r d s ：m p e g 一4 ，f a c i a lf e a t u r ep o i n td e t e c t i o n ，a c t i v es h a p em o d e l ，e n t r o p y 第页 中山大学硕士学位论文 第1 章引言 1 1 人脸特征点检测的研究背景及意义 近年来，人脸识别的研究已经成为生物识别和人工智能领域的一个研究热 点。它的研究内容涉及计算机视觉、模式识别、计算机图形学、图像处理、生理 学、心理学、认知科学等在公安机关、人工智能、交通流量控制、a r m 识别 认证等方面都有非常重要的实用价值，并且这种实用性正越来越广泛地深入到人 们的日常工作和生活中而人脸特征点及特征部位的检测和提取则是提高人脸识 别、人脸分析与人脸跟踪性能的重要前奏和关键问题越来越多的人脸识别研究 工作者都把解决人脸特征点检测对光照、姿势等影响的鲁棒性和准确性作为提高 人脸识别性能的一个重要途径 由于人脸的局部特征( 眼睛、鼻子、嘴巴等) 是人区别于其他人的重要特征， 因此人脸的识别系统基本上都是基于人脸局部特征和特征点的，如眼睛、鼻子、 嘴巴以及它们之间的空间关系，其中眼睛是非常重要的人脸特征对于大多数人 而言，眼睛的位置以及两眼内眼角间的距离相对于人脸而言是一个相关常数，所 以在人脸标准化和人脸特征点检测的过程中，眼睛检测的准确性成为识别系统的 关键步骤 也正是因为眼睛的检测有如此重要的作用，所以现有的人脸特征点检测方法 大都是针对眼睛部位的特征点而言的笼统地说，都是先检测到眼睛，再根据眼 睛、鼻子、嘴巴之间的空间位置关系来检测到鼻子和嘴巴部位的特征点 人脸特征部位和特征点的检测的困难主要体现在： 人脸姿态的不确定性：主要体现在人脸深度与平度上的旋转角度不同； 人脸光照条件的不确定性：主要体现在光照的来源方向、光照强度的不同； 人脸表情的多样性：主要体现在表情不同时影响到眼睛和嘴巴的开闭状态 和幅度也不同： 人脸饰物的影响：如胡须、发型、眼镜、化妆等 因此如果能够找到解决这些问题的方法，则人脸特征部位和特征点检测的问 题将迎刃而解，从而人脸识别系统的鲁棒性也将得以大大提高 第1 页 中山大学硕士学位论文 1 2 已有的人脸特征点检测方法 近年来，国内外学者们已经提出了许多种检测人脸特征点和特征部位的方 法，根据检测所依据的基本信息的类型，现有的人脸特征点检测的方法可以大致 分为以下六类：( 1 ) 基于灰度信息的方法；( 2 ) 基于先验规则的方法：( 3 ) 基于 几何形状的方法：( 4 ) 基于统计的方法；( 5 ) 基于小波和小波包的方法；( 6 ) 其 他方法 1 2 1 基于灰度信息的方法 ( 1 ) 投影 通常意义上的人脸区域包括双眼、鼻子和嘴巴等特征部位，这些特征部位被 称为人脸的核心区域，它们具有独特的灰度分布特征，投影的方法便应运而生， 它是一种基于灰度信息的有效提取图像特征的方法通常，一幅二维图像可以由 两个正交的一维投影函数来分析维数的降低便于分析图像的特征，并且减小了 计算量，所以投影成为人脸特征领域的一类经典算法，它利用人脸核心区域灰度 值较周围皮肤灰度值低的特点，先统计出x 或者y 方向上的灰度值和或者灰度 函数值和( 即投影) ，找出特定的变化点，然后将不同方向上的变化点位置相结 合，即得到人脸核心区域的位置 k a n a d e 【l 】最早将积分投影函数成功地应用于人脸识别，他首先用拉普拉斯 算子对原始灰度图进行二值化，然后用积分投影函数对二值图进行分析b m n e l l i 等【2 】在投影中使用x 和y 两个方向上的梯度信息，以取代原始灰度值，减小了 对光照条件的敏感度k a d ns o b o t 墩a 等【3 】也对k 锄a d e 的算法作了改进，他们将 积分投影函数应用于边界图分析，从而确定出面部各个特征的位置 f e n g 和y u e n f 4 】提出使用方差投影函数( v a r i a n c ep 删e c t i o nf u n c 曲n ) 来 定位眼睛，该方差投影函数的作用是计算指定方向上的所有像素的灰度值方 差跟简单的积分求和投影相比，它对复杂背景的适应能力较强 z h i h u a 办o u 等【5 】提出了一种混合投影函数，该函数结合了积分投影函数和 方差投影函数，能够反映出图像在某个方向上灰度均值和方差的综合变化情 况但是不同的人的投影图是相差很大的，而且投影曲线也是很不规则的另外 第2 页 中山大学硕士学位论文 光照的影响也易影响该方法的准确性 姜军等【6 】提出以“或”运算代替求和运算的广义投影运算，他们先将图像 进行二值化，然后在一定高度范围内做水平方向投影得到一系列短线，最后根据 先验规则对短线两两配对，从而筛选出最终结果该算法能应对多人的情况，运 行速度也相当快，但错误接受率较高 s a m a d 【7 】使用逼近和轮廓映射的混合方法这种方法可以有效检测到配带眼 镜的眼睛 总的来说，投影的方法计算量较低，对于姿势变化不大并且背景简单的人 脸图像检测结果也很好，但当姿态变化较大或者背景较复杂时容易失效 ( 2 ) 谷算子 “谷”是指平面图像中亮度值与周围像点相比相对较暗的像点的集合观察 普通的人脸部图像都不难发现，眼睛、眉毛、鼻孔和嘴巴这些脸部特征部位都是 相对较暗的区域眼睛是面部最显著的特征部位，稳定地处于面部灰度曲面中的 谷位置人脸肤色区域中的谷极点可以用“亮度比较”的方法获得，相互连通的 谷点构成一个谷区域 m 0 h 唧l e d r i z o n t 8 】利用色度和边缘信息及谷算子的方法检测眼睛谷算子的 方法虽然运算量小，但易受光照等影响 1 2 2 基于先验规则的方法 先验规则是关于人脸部特征一般特点的经验描述人脸图像有一些明显的 基本特征，如脸部区域通常包括双眼、鼻子和嘴巴等脸部特征，其亮度一般低于 周边区域；双眼大致对称，鼻子和嘴巴分布在对称轴上等虽然人脸的表面特征 千差万别，但通常意义上的人脸在结构上存在着一个三庭五眼的标准三庭是指 人脸的长度比例，即从前额发际线至眉骨、从眉骨至鼻底以及从鼻底至下颁把脸 的长度分为三个等分，各占脸长的三分之一五眼则是指人脸的宽度比例，以眼 形长度为单位，把脸的宽度分成五个等分，即从左侧发际至右侧发际，为五只眼 睛两只眼睛之间有一只眼睛的间距，两眼外测至两侧发际各位一只眼睛的间距， 各占人脸宽度比例的五分之一这一标准的存在为我们的检测和识别工作提供了 第3 页 中山大学硕士学位论文 一个重要依据 通常意义上来说，人的眼睛有其特定的几何特性，于是许多研究者利用其几 何特性进行检测基于人眼的形状特性，b e n n 【9 】和k a w a g u c h i 1 0 】使用改进的 h o u g h 变换来检测眼睛虽然得到了比较好的检测结果，但他们将眼球看作圆形 不太合理，因为眼球必定会受到眼睛开闭程度的影响这种对眼睛的描述尤其不 适合于眼睛较小的人 l i i i l i n gz h a n g 等 1 l 】利用先验知识来检测眼睛，这些先验知识主要包括： 在人脸的灰度图像中，人两眼的虹膜具有相近的灰度值和相似的圆形区域；人的 上、下眼睑接近对称结构等他们先用直方图阈值法将图像二值化，然后根据其 中黑色区域的面积、形状和相对位置等几何特征确定出瞳孔的位置，最后通过边 缘追踪依次找到上眼眶、眼角和下眼眶该方法运算量很小，但易受光照条件和 图像质量的影响 顾华【1 2 】提出种基于人类视觉特性原理，利用人脸的几何特征，提取具 有尺寸、旋转和位移不变性的人脸特征点方法该方法不受图象大小约束，对表 情和光照不敏感，对有小角度旋转的人脸效果也比较好，但处理大角度旋转人脸 有一定局限 总之，基于先验规则的方法构造简单，仅使用一些简单的底层图像信息，但 也正是由于它强烈依赖于之前设定的先验规则，使得这类方法普适性不高，对问 题的条件通常也有较多限，如要求图像中只能有单人、背景不能过于复杂、分辨 率不能过低、姿势和表情变化不能过大等这类方法适用于人脸特征点和特征部 位的粗检，结合其他方法进一步细致的检测 1 2 3 基于几何形状的方法 目标对象的几何形状特征具有很好的直观性，易于理解和应用，因而很早就 开始在模式识别领域中得到广泛的应用这类方法的一般思想是：根据人脸部特 征的形状特点构造一个带有可变参数的几何模型，该模型的可变参数反映了对应 特征形状的可变部分，如位置、大小、角度等，它们最终通过模型与图像的边缘、 峰、谷和灰度分布特性的动态地交互适应来得以修正该几何模型还设定一个相 应的评价函数以度量被检测区域与模型的匹配程度搜索时，不断调整参数使得 第4 页 中山大学硕士学位论文 能量函数最小化，使模型逐渐收敛于待定位的脸部特征 ( 1 ) 可变形模板 y u i l l e 【1 3 】等在1 9 8 9 年提出使用参数化的可变形模板( d e f o r m a b l et e n l p l a t e ) 来定位眼睛和嘴巴其中他使用的眼睛模型如图l l 所示： i c 图1 1 可变形模板 在该模型中，他用一个圆形逼近虹膜与眼白的分界，用两条开口相对的抛物线逼 近上下眼睑在定义了相关的形状和参数后，他定义了一个能量函数作为匹配度 评价函数，该能量函数定义如下： e = e + 巨+ e 。+ e 十置。f 其中民。一f 是形状的内部能量，形状的外部能量由峰( e ) 、谷( e ) 、边缘( e 。) 及光强( e ) 四部分组成 由于模板变形利用了特征区域的全局信息，因此可以较好地检测出相应的特 征形状，并且该算法不需要训练过程，在人脸相关技术领域有很大的影响但这 个算法也存在着一些难以克服的缺点：模板的初始位置对定位结果有很大的影 响；能量函数优化过程收敛缓慢，耗时长；能量函数中各种权值通过经验设定， 难以保证最优 ( 2 ) s 妣k e 模型 s n a k e s 模型方法是m k a s s 1 4 】等在1 9 8 7 年提出的一种边界检定和图像分 割的方法，该模型是一条由n 个控制点组成的连续闭合曲线，它用一个能量函数 作为匹配度的评价函数，定义为 第5 页 中山大学硕士学位论文 e m h = e 随e 喁试+ e 嘶e 砒 其中，巨。f 和乜。t 。f 分别为内部和外部能量函数，前者定义了模型的内部 属性和内在运动趋向，后者则与被检测区域的图像属性有关，使模型偏离内在运 动趋向定位前，首先将模型定位在目标对象预估计位置的周围，不断迭代使能 量函数最小化，当内外能量达到平衡时即得到目标对象的边界h u a n g 【1 5 】将该 模型应用于人脸和人脸特征部位的提取上，得到了很好的检测结果，但其缺点是 运算量很大，易受初始位置的影响，对非凸形体检定效果不佳，而且由于模型本 身不包含目标对象信息，因而当存在局部变形、噪声和遮挡等干扰时容易出错针 对这些问题，w u 【1 6 】等利用色彩s n a k e 模型来提取人脸和人脸特征部位，在搜索 前，他们先根据一系列先验会则，利用灰度和色彩信息找出脸部特征的大致位置， 作为设定初始位置的基准为解决非凸形体检定问题，他们根据各个脸部特征的 形状特点，使用多个s n a k e 模型拟合一个脸部特征此外，他们还在能量函数中 加入了边界、肤色相似性和红色相似性3 种信息，以减小成像条件、表情及个体 差异所带来的影响在无遮挡、图像质量较好的情况下，该算法可以取得较好的 效果，且对目标对象尺寸不敏感 ( 3 ) 活动形状模型 活动形状模型( a c t i v es h a p em o d c l ) 是t f c o o t e s 1 7 】等在1 9 9 4 年提出的 一种基于统计学的、灰度和形状分离的可变形模型，它用一组离散的控制点来描 述对象的形状，并用p c a 方法建立起各个控制点的运动模型，对控制点的基准 位置和移动模式做了约束，从而保证模型的整体形变始终在可接收的范围之 内其思想是在某种局部点模型匹配的基础上，利用统计模型对待识别人脸的形 状进行约束，从而转化为一个优化问题，并期望最终收敛到实际的人脸形状上 去该方法先对要进行训练的n 幅人脸图象手动标定若干特征点( 每幅图象的 特征点的个数要相同) ，然后训练得到一个模板： x = x + p b 其中，x 是平均形状向量，p 是描述形状变化的特征向量矩阵，6 是形状参数拿 模板与待检测图象进行匹配，利用数局部灰度向量和经验灰度向量之间的马氏距 第6 页 中山大学硕士学位论文 离( f ) 做为选择最佳形状的决策函数，s c y a n 【1 8 】等提出新的决策函数，当函 数值达到最小时，则认为形状模型上的特征点移到了最佳位置，即可定位出待检 测部位的特征点a s m 的方法虽然收敛速度比较快，对形状的定位比较准，并 且对光照也不敏感，但a s m 倾向于停在局部极小值位置 ( 4 ) 活动外观模型 t f c 0 0 t s 【1 9 】等为了使得a s m 的定位更加准确，他们在a s m 的基础上进 行扩展，提出了活动外观模型( a c t i v ea p p e a r a n c em o d c l s ) aa m 不仅继承了 a s m 的形状模型，还添加了整体的灰度纹理模型，结合形状模型和纹理模型建 立了一个组合模型，并寻找模型参数的变化和形状纹理变化之间的关系定位的 过程是根据这个关系不断调节模型参数，获得形状模型和纹理模型，然后在形状 模型的当前位置提取图像的纹理，计算模型的纹理和图像纹理之间的差值，接着 最小化这一差值，使得合成图像与待检测图像尽可能地接近，此时所得的形状和 纹理即认为是待检测图像的形状和纹理对比a s m 来说，a a m 在图像的纹理 匹配上做得比较好，但它对光照比较敏感，特别是当测试图像光照与训练图像光 照有显著差别的时候此外，a a m 的训练阶段要花费相当多的时间，它的搜索 速度比a s m 慢 1 2 4 基于统计的方法 由于人脸图像自身的千差万别以及图像背景、光照等影响的复杂性，显式 地描述人脸特征部位具有一定困难，因此基于统计的方法也越来越受到重视该 类方法的思想是将特征部位看作一类模式，使用大量的“特征部位”样本与“非 特征部位”样本进行训练，然后构造分类器该类方法主要包括p c a 、s v m 、 朋州、a d a b o o s t 、模板匹配等方法 ( 1 ) 主分量分析 主分量分析( p c a ) 是一种常用的方法一般而言，这一方法的目的是寻找 任意统计分布的数据集合之主要分量的子集，相应的基向量组满足正交性且由它 第7 页 中山大学硕士学位论文 定义的子空间最优地考虑了数据的相关性将原始数据集合变换到主分量空间使 单一数据样本的互相关性降低到最低点简言之，主分量分析就是根据图像的统 计特性进行的正交变换( k l 变换) ，以消除原有向量各个分量间的相关性a p e n d a n d 【2 0 】，k f u k u i 【2 1 】都是采用这种方法进行检测这种方法的缺点是p c a 技术主要着眼于最优化地解析和重构图像，当作为分类器使用时会产生大量的虚 警点，需要结合其他算法加以剔除，从而得到更好的检测结果 ( 2 ) 支持向量机 支持向量机( s u p p o r t v e c t o r m a c h i n e s ，缩写为s v m ) 是v a p n i k 等提出的基 于结构风险最小化原理( s t n l c c i l r a ir i s km i n i r r i i z a t i o np r i n c i p l e ，s r m ) 的统计学 习理论，用于分类与回归问题j e 疗r e yh u a i l g 【2 2 】则采用该方法来检测眼睛但 是由于s v m 的训练需要求解计算复杂度极高的二次规划问题，内存需求量大， 其次是，当训练样本个数较大时，会得到大量的支持向量，使分类器计算量过 高 ( 3 ) 神经网络 神经网络( 朋q n ) 方法是把模式的统计特性隐含在a n n 的结构和参数之中， 对于人脸这类复杂的、难以显式描述的模式，基于a n n 的方法具有独特的优 势r e i n d e r s 【2 3 】等提出以梯度向量信息代替原始灰度值作为系统输入，其优点 是受光照、阴影、视角和耳标物体尺寸的影响较小r d w l e y 【2 4 1 等使用前向误差 反馈( b a c kp r o p a g a t i o n ，b p ) 网络进行人脸检测，该算法采用自举的方法收集非人 脸样本，并采用“归并重叠检测”和“多网络仲裁”技术降低错误报警率 ( 4 ) a d a b o 稍t 方法 a d a b o o s t 方法是把待检测的特征作为正例样本，把非该特征作为负例样本， 训练得到一系列弱分类函数( 曲，然后逐层把这些弱分类函数进行加权组合， 从而得到一个强分类函数日( 曲= 哆吩( 工) 输入待检测样本到该强分类函数 j 第8 页 中山大学硕士学位论文 即可判断是否是正例特征y o n gm a 等【2 5 】将此方法应用到人眼的检测，取得了 很好的检测效果 ( 5 ) 模板匹配 模板匹配可以看作是一种启发式模型，普遍应用于人脸及特征部位的检 测k w 蚰g n 锄c h o i 【2 6 】等直接利用经典的模板匹配方法，通过训练已有的图像 提取一套可以刻划脸部各特征的滤波器模板i a m 【2 7 】使用弹性模板的方法来寻 找眼睛，b p h o 【2 8 】通过眼睛和鼻子的模板来寻找眼睛 1 2 5 基于小波和小波包的方法 小波变换是近年来发展起来的一种时频变换方法，可以充分利用信号的时频 信息，凸显某些难以在时域中观察到的特征，由于它们具有良好的时频局部性， 因此被迅速应用到特征定位中 潘英杰【2 9 】等对包含人脸的图像进行反对称双正交小波的分解变换，在变 换后的数据域中采用多尺度对称变换的方法，快速的定位出人双眼的中心点 的位置根据人眼中心点( 即使是有偏差的) 所确定的人眼局部区域，通过 局部二值化方法进行中心点的校正以及人眼角点的确定然后在此基础上， 利用人脸五官的几何分布关系定位出五官的位置，提取出人脸的鼻子及嘴所 在局部区域实验结果表明这种方法可以较准确的定位出人脸的五宫、人脸 眼睛的中心点及双眼的角点位置，并具有对光照影响、人头位置的偏转及表 情的变化较强的抗干扰能力，是一种有效人脸特征点的检测方法 s a s i o r h e yf 3 0 】在人脸的灰度图象中利用基于g a b o r 小波的线性滤波的方 法检测眼睛t i a j l 等【3 l 】利用g a b o r 小波检测眼睛的开、微开、闭三种状态h u a n g 等人【3 2 】使用小波包来表述眼睛以及光线函数对人脸区域中区分有眼睛或没有 眼睛的区域尽管使用这些方法在一些限制条件的情况下可以获得比较好的结 果，但是仍然有一些缺点，比如对眼睛的方向、大小、光线以及噪声的影响比较 敏感 第9 页 中山大学硕士学位论文 1 2 6 其它的方法 山世光【3 3 】等首先利用眼睛区域的谷特性和频率特性定位两个虹膜中心位 置然后用积分投影确定唇部和鼻子区域的位置，在此基础上进行关键特征点( 主 要是指眼角点、嘴角点、下巴曲线上的主要特征点) 的检测 王红光【3 4 1 等通过把具有旋转不变性及较好稳定性的z e m i k e 矩和神经网络 相结合来提取人脸的特征点其主要思路是：首先利用角点检测方法提取人脸图 像中的角点，然后通过z e m n c e 矩和神经网络对它们进行筛选，从而达到自动提 取人脸上特征角点的目的该方法对于一般情况瞎的目标特征检测也具有借鉴意 义 m g a r g e s h a 【3 5 】等给出了一套检测人脸特征点的综合方法，他们首先利用 p c a 方法和r a d o n 变换找到眼睛，然后对眼睛下方的区域进行亮度阈值和曲率 分析来检测到鼻尖，最后结合色度分析和边缘检测找到嘴唇的角点 左坤隆【3 6 】等根据人脸图像的边缘梯度图提出了一种新的基于梯度向量流 场的眼睛特征提取方法该算法改进原有的梯度向量流迭代方程求解梯度向量流 场，以梯度向量流场中的汇点作为候选点，然后通过人脸器官的几何位置关系等 方法评价候选点以定位眼球该算法能较好地容忍一定的光照变化、人脸的小角 度倾斜和旋转、闭眼和眼镜等干扰，具有较好的眼睛特征抽取能力 1 3 本文的主要工作 ( 1 ) 本文针对m p e g _ 4 标准【3 7 中中性脸模型的定义，本文把m p e g 一4 标 准中所定义的人脸上的8 4 个特征点按照检测难易程度分为四类 ( 2 ) 纵观前面所述人脸特征点检测的方法，它们的共同之处在于都是先在 人脸区域上检测到眼睛部位以及眼睛部位的特征点，然后再跟据眼睛与鼻子、鼻 子与嘴巴之间的空间位置关系来检测鼻子和嘴巴部位及特征点这样检测的缺点 是，如果眼睛部位的检测不够准确的话，那么将影响到鼻子和嘴巴部位的特征点 检测的准确性针对这一点，本文采取了多模型互动、用整体形状模型的特征子 空间来约束局部形状点的移动的方法来检测人脸的特征点 ( 3 ) 传统的活动形状模型( a s m ) 方法在s n a l ( e s 方法上前进了步，考虑 第1 0 页 中山大学硕士学位论文 整个模板的能量最小进行搜索，但搜索过程只考虑了物体的形状信息，实际上纹 理信息更能反映人脸的特征h o u 3 8 】发现了一个事实，物体的纹理和形状之间 是一对多的关系，在活动外观模型( aa m ) 方法的基础上，训练出外形和纹理 之间的关系，进一步提高了搜索的精度为了能够更加准确地定位待检测图像中 特征部位的形状，本文除了按照传统的a s m 方法提取了图像的灰度特征外，又 提取了图像的基于灰度共生矩阵的熵纹理特征 后面各章节的安排：第2 章介绍对人脸特征点的定义以及特征点的分类第 3 章介绍活动形状模型方法( a s m ) 及其进展第4 章介绍a s m 的改进及其在 人脸特征点检测上的应用第5 章给出本文实验的流程和结果第6 章是总结及 工作展望最后是参考文献 第1 1 页 中山大学硕士学位论文 第2 章人脸特征点的定义和分类 2 1m p e g 一4 标准简介 m p e g 一4 是国际标准组织( i s 0 ) 运动图像专家组( m o v i n gp i c t u r e 卧p e r t s g m u p ，缩写为m p e g ) 在成功地制定了m p e g 一1 和m p e g 一2 标准之后所提 出的新一代多媒体数据压缩标准它主要致力于为广泛的多媒体应用提供一个通 用的平台m p e g 一4 于1 9 9 9 年初正式成为国际标准m p e g 一4 是一个适用于 低传输速率应用的方案与m p e g 一1 和m p e g 一2 相比，m p e g 一4 更加注重多 媒体系统的交互性和灵活性 m p e g 一1 、m p e g 一2 标准均为高层媒体表示与结构标准，其交互性及灵活 性较低而m p e g 一4 标准是对运动图像中的内容进行编码，其具体的编码对象 就是图像中的音频和视频，称为a v 对象这是m p e g 一4 中一个重要的概念一 个m p e g 一4 场景包含一系列的视频和声音对象，它们通过场景描述文件组织起 来以视频对象为例，它就包含了对空域上的形状、运动和纹理信息因此， m p e g 一4 标准就是围绕着a v 对象的编码、存储、传输和组合而制定的，高效 率地编码、组织、存储、传输a v 对象是m p e g 一4 标准的基本内容 在视频编码方面，m p e g 一4 支持对自然和合成的视觉对象的编码合成的 视觉对象包括2 d 、3 d 动画和人面部表情动画等在音频编码，m p e g 一4 是在 一组编码工具支持下，对语音、音乐等自然声音对象和具有回响、空间方位感的 合成声音对象进行音频编码的m p e g 一4 音频编码不仅支持自然声音，而且支 持合成声音 m p e g 一4 的重要特点包括：( 1 ) 基于内容的普遍性m p e g 一4 能够直接选 取音频、视频内容进行编码，并对其灵活地进行控制和显示，用户可以自行选择 场景中的物体的解码质量，进行家庭影视节目制作和编辑( 2 ) 以a v 为对象， 增强了交互性和扩展性，从而提高了交互应用的灵活性( 3 ) 将各种功能应用在 自然的和合成的a 、，对象上，增强了节目编辑制作能力( 4 ) m p e g 一4 在误码 环境中，尤其是在恶劣误码条件下的低比特率应用中的抗误码性，有利于节目制 作、分配和显示 第1 3 页 中山大学硕士学位论文 m p e g 一4 有着广泛的应用前景，例如，数字电视、低比特率的移动多媒体 通信、视频电话、电视，电影制作、i n t e m e t i n t r a i l e t 上的视频流传输与可视游戏、 基于面部表情模拟的虚拟会议室、交互式多媒体应用等等 2 2 中性脸和人脸特征点的定义 m p e g 一4 标准中所定义的中性脸是一个合成的视觉对象，通过人脸动画参 数来控带4 人脸对象的变形，可以在极低的数据率下获得理想的人脸动画效果这 个中性脸是在下面所述性质的要求下定义的： ( 1 ) 双眼凝视的方向是沿z 轴方向的： ( 2 ) 所有脸部肌肉是放松的； ( 3 ) 上下眼睑跟虹膜与眼白的交界相切； ( 4 ) 瞳孔的直径是虹膜直径的三分之一； ( 5 ) 双唇是相互接触的，双唇之间的直线是水平的，并且两唇角是在同一 高度； ( 6 ) 嘴巴是闭的，上齿自然抵触下齿； ( 7 ) 舌头是水平放置的，并且舌尖自然抵触上下牙齿之间的边缘 如下图所示： 图2 一lm p e g 一4 标准定义的自然状态下的中性脸 在m p e g 一4 中，人脸对象是用三维网格模型来表示的它通过一系列的参 第1 4 页 中山大学硕士学位论文 数来刻画一个人脸这些参数有：人脸定义参数( f a c ed e f i n i t i o np a r a m e t e r s 即 f 工) p ) ，它包含了人脸的特征点、纹理和人脸动画规则( f a c e a n i m a t i o n1 曲l e s ，即 f a t ) ；人脸动画参数( f a c e a n i m a t i o np a r a m e t e r s ，即f a p ) ，它描述了人脸三维 模型的动态变化，人脸动画参数和动画规则一起，决定了人脸三维模型在动画时， 模型顶点的运动量；动画参数插值表( f r r ) ，表示一组动画参数如何由另一组相 关的动画参数插值产生f a p s 需要不同大小比例的动态人脸，为了对任意的人 脸模型定义f a p s ，m p e g 一4 定义了人脸动画参数单元( f a c ea n i m a t i o np a r a r n e t e r u n i t s ，即f a p u ) ，f a p u s 的作用是限制任意的人脸模型的尺度这些f a p u s 是 由中性状态下脸部关键的特征点之间的距离来定义的( 如图2 一l 重所示) ，它们 的作用是使得f a p s 对任意的人脸模型在表情和语音方面都以统一的方式产生合 理的结果度量单位如表2 1 所示 u s d o中性脸的虹膜直径 u s d = i r i s d o ，1 0 2 4 ( 与上下眼睑之间距离相等) e s 0 双眼之间距离 e s = e s o ，1 0 2 4 e n s o 眼鼻之间距离e n s = e n s 0 1 0 2 4 m n s o 嘴鼻之间距离 m n s = m n s o ，1 0 2 4 m w o嘴的宽度m w = m w o ，1 0 2 4 a u 角度单元 1 0 e 一5r a d 表2 1 人脸动画参数单元( f a p u s ) 及其定义 在人脸定义参数中所包含的人脸特征点都是可以用文本描述的、有语义的顶 点例如：点3 1 l 和点3 7 分别是左眼的内、外眼角点，点8 3 和点8 4 分别是 嘴巴外轮廓上左、右嘴角点等这些特征点定义了人脸模型上关键顶点的位置， 可以用来标定一个特定几何形状的人脸3 d 模型这样，可以只通过有限的标定 点信息，将通用的人脸模型变形得到特定人的人脸模型m p e g 一4 共定义了8 4 个特征点。定义这些特征点的主要目的是为了提供定义f a p 参数的空间参考这 8 4 个特征点是被分组表示的： 第1 5 页 中山大学硕士学位论文 g r o u p1 下颌轮廓线：2 1 ，2 1 l ，2 1 2 ，2 1 3 ，2 1 4 ，7 1 ，7 2 g r o u p 2 下巴：2 1 0 ； g r o r p3 嘴巴内轮廓：2 2 ，2 _ 3 ，2 9 ； g r 0 1 l p 4 眼睛：3 1 ，3 2 ，3 1 4 ； g r o u p5眉毛：4 1 ，4 2 ，4 6 ； g r o u p 6 脸颊：5 1 ，5 2 ，5 3 ，5 4 ； g m l l p 7 舌头：6 1 ，6 2 ，6 3 ，6 4 ； g r o u p8 嘴巴外轮廓：8 1 ，8 。2 ，8 1 0 ： g m u p 9 鼻子：9 1 ，9 2 ，9 7 ，9 1 2 ，9 1 5 ： g r o u p1 0 牙齿：9 8 ，9 9 ，9 1 0 ，9 “； g m u p1 1 耳廓：1 0 1 ，1 0 2 ，1 0 1 0 ： g r o u p1 2 发际线：1 1 1 ，1 1 2 ，1 1 3 ，1 1 4 ，1 1 5 ，1 1 6 如下图所示： 第1 6 页 中山大学硕士学位论文 ”5 31 4 ”5 3 1 3 。，：， 31 0 r i g h t e y e 9 b 91 0 9 1 1 99 t e e t t l f e a t ur ep o i n t sa f f e c t e db yf a p s o t h e rf e a 讪r eo o i n t s 3 9 l e f c e y e 日 n o s e 9 2 9 49 估95 9 1 图2 2m p e g 一4 标准中定义的8 4 个特征点 第1 7 页 3 中山大学硕士学位论文 2 3 人脸特征点的分类 ( 1 ) 四个基准点：左、右内眼角点( 点3 1 1 和点3 1 2 ) 和嘴巴外轮廓上左 右两个角点( 点8 3 和点8 4 ) 这是因为这四个点在人脸图像中不随表情变化而 变动，并且对光照不敏感，是人脸图像中最重要的四个关键点 ( 2 ) 易检测到的稳定特征点：左、右外眼角点( 点3 7 和点3 8 ) ，嘴巴内 外轮廓上( 点2 2 点2 9 和点8 1 、点8 2 、点8 5 点8 1 0 ) ；当人脸有表情变 化时，鼻子部位的特征相对来说是很稳定的，因此鼻子部位轮廓上的特征点( 点 9 1 ，点9 2 ，点9 4 ，点9 5 ，点9 6 ，点9 7 ，点9 1 3 ，点9 1 4 和点9 1 5 ) 是相对 稳定点另外，当人脸表情变化不是太大时，眉毛上的特征点( 点4 1 ，点4 2 ， 点4 3 ，点4 4 ，点4 5 和点4 6 ) 也是相对稳定点这些特征点具有平移、旋转、 和尺度上的不变性，所以容易被检测到 ， ， ”、l ，一一l - o 丝基 。11 惑i t1 4 寸阻 d 一。k 。i lj rr - 、一 池：晖矽，、q巴。渤 t ”j 。1 j 、l 一二1 l ，l ，” 5 弋 堑登 厂们 占。 一 & 1 。冬老 1 - 。o 。1 夕 2 、十r i + 3 一、- 2 ，a 图2 3 中性脸模型上的对称关系 ( 3 ) 利用对称关系可以检测的点：m p e g 4 标准中所定义的中性脸模型是左 右对称的，对称关系如图2 3 所示其中发际线上的点1 1 5 与下颌轮廓线上的 中心点2 1 之间的连线是中性脸模型的对称轴，在这条对称轴上的点还包括：发 际线上的点1 1 4 和点1 1 1 ，鼻梁骨上的点9 1 2 和鼻尖上的点9 3 ，嘴巴内外轮廓 第1 8 页 中山大学硕士学位论文 线上的点2 2 、点2 3 、点8 1 和点8 2 ，以及下巴上的点2 1 0 其余的特征点都 对称分布在该对称轴的左右两边由( 1 ) 检测到的稳定特征点结合这些对称关 系就可以找出一些人脸的度量参数，如人脸的对称轴、瞳孔中心间的连线轴、两 嘴角间的连线轴、眼鼻间距等，利用这些度量参数我们可以检测到下巴上的点 2 1 0 、鼻梁上的点9 1 2 、鼻尖上的点9 3 、脸颊上的点5 1 点5 4 以及下颌轮廓 线上的点2 1 l 点2 1 4 ( 4 ) 难以检测的特征点：当人脸是直视正前方时，左右瞳孔的中心点( 点 3 5 和点3 6 ) 可以根据对称关系检测得到，但当人脸有表情变化或者姿势旋转时， 这两个点般是难以准确检测到的：如果有头发的遮掩，发际线上的点1 1 1 点 1 1 4 就很难检测到；舌部的四个特征点( 点6 1 点6 4 ) 、牙齿的四个特征点( 点 9 8 点9 1 1 ) 、以及耳朵外轮廓的特征点( 点1 0 1 点l o 6 ) 一般是检测不到 的；点1 1 6 对于正脸来说是检测不到的 第1 9 页 中山大学硕士学位论文 第3 章活动形状模型方法及其进展 3 1 活动形状模型方法 活动形状模型是tf c 0 0 t e s 等【1 7 】在1 9 9 4 年提出的一种基于