（应用数学专业论文）带姿势的人脸特征点检测.pdf

中山大学硕士学位论文 带姿势的人脸特征点检测 专业：应用数学 硕士生：赵文娟 指导教师：赖剑煌教授 摘要 人脸特征检测是人脸识别技术中非常重要的组成部分和前提。人脸特征检测 就是对于输入的已知人脸位置和大小的图像或者视频，利用计算机进行分析、判 断、提取脸部特征的位置，并给出形状等信息。人脸特征检测可以作为人脸检测 的校验部分。也可以在人脸识别中用于人脸对齐；在姿势识别中，它是识别的重 要依据之一。但现在比较常见的是正面人脸的特征检测，带姿势人脸的特征检测 还不多见。所以，本文的选题具有理论意义和实用价值。 文章首先给出了人脸特征点检测的较详细的综述，然后本文就带姿势人脸的 特征检测作了研究。本文构造双眼双眉的模板检测眼睛的大概位置。使其与姿势 无关，然后在此位置用模板匹配和p c a 相结合确定包含单眼的方框，再在方框 中精确定位眼珠。同时，在边缘图上用p c a 得到眼睛的方向。然后寻找左右嘴 角特征点的位置。 本文的实验是建立在麻省理工学院的m r r 库的基础上的，用包含4 个人、 每人1 5 个姿势共6 0 幅人脸做训练，剩下的图像做测试。左、右眼珠的检测的准 确率分别达到8 7 6 和8 7 2 5 ，左右嘴角的检测的准确率分别达到8 4 。0 3 和 8 1 1 3 ，实验达到较好的检测结果。 关键字：姿势人脸、特征点检测、模板匹配、p c a 、小波变换。 中山大学硕士学位论文 f a c i a lf e a t u r ed e t e c t i o nw i t hv a r i a n tp o s e s m a j o r ：a p p l i e dm a t h e m a t i c s n a m e ：w e n j n a n z h a o s u p e r v i s o r ：j i a n h u a n g l a i a b s t r a c t f a c i a lf e a t u r ed e t e c t i o ni sq u i t ea ni m p o r t a n tp a r ta n dp r e c o n d i t i o nf o rf a c e r e c o g n i t i o n i n f o r m a t i o n ，s u c ha st h el o c a t i o n o ff a c i a lf e a t u r e sa n do fs h a p e ，i s a n a l y z e d ，j u d g e da n de x t r a c t e df r o mt h ei n p u tf a c ei m a g eo rv i d e ow i t hl o c a t i o na n d s c a l ek n o w n f a c i a lf e a t u r ed e t e c t i o nc a nb er e g a r d e da st h ev e r i f i c a t i o np a r to ff a c e d e t e c t i o n ，a n da l s oc a nb eu s e dt of i tc l o s ef a c e si nf a c er e c o g n i t i o n m o r e o v e r , i nt h e a r e ao fg e s t u r er e c o g n i t i o n ，f a c i a lf e a t u r ed e t e c t i o np l a y sa ni m p o r t a n tr o l ef o rf a c e r e c o g n i t i o n h o w e v e r , f e a t u r ed e t e c t i o no u to ff r o n t a lf a c ei sr a r ew o r ks i n c en o w t h e r e f o r e h o wt od e t e c tf a c ef e a t u r ew i t hv a i i o u sp o s e si sa ni n t e r e s t i n gt o p i ca n d t h i sp a p e rp r e s e n t sad e e pr e s e a r c hi ns u c ha r e a t h e r e f o r e ，o u rt o p i c si nt h i sa r t i c l e h a v ef a r - r e a c h i n gm e a n i n g sb o t hi nf u n d a m e n t a lt h e o r i e sa n dt h e i ra p p l i c a t i o n s i nt h i sp a p e r , f i r s t ，ad e t a i l e ds u r v e ya b o u tf a c i a lf e a t u r ed e t e c t i o ni sp r e s e n t e d t h e n ，w ep r o p o s et od e t e c tt h ea p p r o x i m a t el o c a t i o no fe y e sb yt e m p l a t eo fd o u b l e e y e sa n de y e b r o w s t oe l i m i n a t et h ea f f e c t i o no fp o s e ，w ec o n s t r u c ta na v e r a g em o d e l o fd o u b l ee y e sa n de y e b r o w st od e t e c tt h ea p p r o x i m a t el o c a t i o no fe y e s ，a n dt h e n c o n f i r mt h ef r a m ec o n t a i n i n gas i n g l ee y ew i t ht h ec o m b i n a t i o nm e t h o do ft e m p l a t e m a t c h i n ga n dp c a f i n a l l y ，w ec a nf i g u r eo u tt h ee x a c tl o c a t i o no fa ne y e b a l li nt h e f r a m e ，w h e r eb o t ht h ed i r e c t i o no fe y e sa n dt h el o c a t i o nt h ec o m e ro ft h em o u t h w o u i da i s ob eo b t a i n e dm e a n w h i l e o u re x p e r i m e n t sa r eb a s e do nm 1 td a t ab a s e s ，t h et r a i n i n gp r o c e s si so n6 0 i m a g e so fh u m a nf a c e s ( 4p e o p l ea n d1 5p o s e sp e rp e r s o n ) ，a n dt h e nw eu s et h e r e m a i n i n gi m a g es a m p l e st om a k eat e s t a sar e s u l t t h ed e t e c t i o nr a t e so fl e f ta n d i i i 中山大学硕士学位论文 r i g h te y e b a l l sr e a c ht o8 7 6 a n d8 7 2 5r e s p e c t i v e l y , w h i l et h ed e t e c t i o nr a t e so ft h e c o m e r so ft h em o u t hr e a c ht o8 4 0 3 a n d8 1 1 3r e s p e c t i v e l y ，w h i c ha r ee x c e l l e n t r e s u l t sa sw eh a v ee x p e c t e d k e y w o r d s ：f a c ew i t hv a r i o u sp o s e s ，f e a t u r ed e t e c t i o n ，t e m p l a t em a t c h i n g ，p c a ， w j v e l e tt r a n s f o r l n a t i o n 中山大学硕士学位论文 1 1 论文选题的背景 第1 章引言 人脸特征检测是人脸识别技术中非常重要的组成部分和前提。人脸特征检测 就是对于输入的已知人脸位置和大小的图像或者视频，利用计算机进行分析、判 断、提取脸部特征的位置精确定位，并给出形状等信息。人脸特征检测的作用主 要表现在： ( 1 ) 脸部特征的位置信息可以在人脸检测中定位人脸、验证人脸检测的结 果以及精确指明人脸位置： ( 2 ) 脸部特征的位置信息在人脸识别中用于人脸对齐； ( 3 ) 脸部特征的位置信息是人脸识别的重要特征； ( 4 ) 脸部特征的位置信息在姿势识别中，它是识别的重要依据之一。 人脸特征检测具有广泛的技术应用前景，在国家安全、军事安全和公共安全 领域、民事和经济领域等中具有重要的应用价值。但利用计算机提取人脸特征存 在许多困难，这主要表现在：人脸是非刚体，存在表情变化；人脸随年龄增长而 变化：发型、眼镜等装饰对人脸造成遮挡：人脸所成图像受光照、成像角度、成 像距离等影响。此外它还与相关学科的发展及人脑的认识程度紧密相关。这诸多 因素使人脸检测和人脸特征研究成为一项极富挑战性的课题。 1 2 人脸特征检测方法 对人脸特征检测的研究来源于人脸识别。人脸识别的研究始于上世纪6 0 年 代末，发展到今天已经成为一种方法多样、门类齐全而且还在不断发展的一门技 术。人脸特征检测是人脸识别系统的一个关键环节，其过程可以分为两个部分： 人脸检测：判断输入图像中是否存在人脸，如果有，给出每张人脸的位置，大小； 面部特征定位：对找到的每张人脸，对其主要器官的位置精确定位，并给出形状 等信息。本文是在人脸已经被正确检测到的前提下作对人脸特征点检测做进一步 中山大学硕士学位论文 的研究。 人脸特征点必须是具有代表性的，能代表一个人的面部特征，而且能唯一标 识该个体。人脸特征点是指眼角点、鼻翼点、嘴角点等标志眼、耳、口、鼻及脸 部轮廓的点。在人脸检测的基础上，脸部特征检测试图检测人脸上的主要的特征 点的位置和眼睛和嘴巴等主要器官的形状信息。脸部特征的位置信息既可以在人 脸检测中定位人脸、验证人脸检测的结果以及精确指明人脸位置，也可以在人脸 识别中用于人脸对齐，或作为识别的依据之一，在姿势识别中，它更是识别的重 要依据之一。 与人脸检测相比，脸部特征定位的特点在于特征的图像区域小，本身荷载 的信息量较少，区分度有限，因此容易受目标对象自身状态和外部因素的干扰。 基于实用角度考虑，脸部特征定位算法需有较快的运行速度，且能在各种条件 下保持稳定，如：光照、姿势、表情、遮挡、图像质量差、分辨率低等情况。 人脸图像的特征点检测方法一般包括：一、通过面部拓扑结构、几何关系的 先验知识，利用基于结构的方法在先验知识的层次上检测人脸面部主要器官特征 ( 如：眼睛、眉毛、鼻子、嘴巴特征) 的基于先验规则的方法。二、是在信号的 层上将提取面部特征看作一个高维图像空间中的信号检测问题的基于统计的方 法。三、用一个包括眼睛、眉毛、鼻子、嘴巴等器官的模板来对相应特征进行提 取 1 的模板匹配的方法。当物体的结构事先知道但大小、位置和中心不确定时， 变形模板是一种有效的定位方法。四、其他方法如：基于遗传算法和决策树、基 于小波包算法检测眼睛等。 本节主要介绍人脸图像的特征点检测的几种主要方法。一、基于先验规则的 方法如：镶嵌图、h o u g h 变换、灰度积分投影曲线分析、广义对称变换等。二、 基于统计的方法如：神经网络、子空间、s v m 、a d a b o o s t i n g 等。三、模板匹配 的方法如：典型的模板匹配、可变形模板、s n a k e s 算子、a s m a a m 、基于g a b o r 小波变换的弹性图匹配技术等。当物体的结构事先知道但大小、位置和中心不确 定时，变形模板是一种有效的定位方法。四、其他方法，如：基于遗传算法和决 策树、基于小波包算法检测眼睛等。 2 中山大学硕士学位论文 1 2 1 基于先验规则的方法 先验规则是关于脸部特征一般特点的经验描述。人脸特征的先验规则包括几 何特征和灰度信息等方面的规则。几何特征方面的规则是指“三停、五等、对称、 距离”规则：“三停”指人脸可分为大致相等的三个区域，这三个区域指从发际 到眉位的区域、从眉位到嘴位的区域、从嘴位到颌底的区域。 “五等”指人脸 的宽度是眼睛宽度的五倍。眼睛内眼角与同侧的鼻翼、嘴角大致在一条线上。“平 分”指从头顶到眼位的距离与从眼位到颌底的距离大致相等；人脸以鼻子为纵向 对称轴，成大致轴对称。“距离”指嘴到下颌的距离大于鼻到下颌距离的一半； 鼻子到下颌的距离大于脸宽的一半；眼到鼻的距离大于脸宽的四分之一。灰度信 息是指人的特征区域的灰度通常比其它区域的灰度要深，而且相对来说比较稳 定。为了利用这些先验规则，一般要对输入图像进行变换，使要使用的特征得到 强化，然后根据上诉规则从图像中筛选出候选点或区域。此方法的优点：由于所 设立的规则是根据人对特征的理解制定的，所以比较简单也比较容易理解和操 作。 该方法的优点：由于所设立的规则是根据人对特征的理解制定的，所以比较 简单也比较容易理解。该方法的缺点是很难将先验知识转化为定义良好的规则。 如果规则制定太细，则弃真率较高，容易拒绝真正特征：如果规则制定太粗，则 取伪率较高，容易判定非特征为特征，达不到较好的特征检测效果。而且此方法 受如人脸的朝向、光照等条件的限制。应用先验规则检测人脸特征的方法有：镶 嵌图、h o u g h 变换、灰度积分投影曲线分析、广义对称变换等方法。 一、镶嵌图 y a n g 等首先于1 9 9 4 年提出了镶嵌图( 或马赛克图) 方法 2 。他们设计了 一种三层次的规则，首先将人脸划分为4 * 4 的网格区域，每个方格的灰度取此格 中各象素灰度值的平均。然后在此区域上应用第一组规则。如果满足此规则，则 将方格的边长减半，重新构造镶嵌图，并应用第二层次的规则进行进一步的检测 判断，分别定位除眼睛、鼻子、嘴等脸部特征。接着通过边缘提取得到的脸部区 中山大学硕士学位论文 域二值化，分析边缘梯度最终确定脸部特征的位置。为了实现尺寸无关性，对所 有可能的方格尺寸都做了测试，因此算法的运算量大、准确率不高，但是提出了 粗到精的搜索策略。 后来，k o t r o p o u l u s 等 3 改进了镶嵌图算法使用长宽比可变的矩形单元代 替方格，这样可以适应不同脸型的人。他们的方法是利用灰度值在和y 方向 上的投影确定脸部特征的位置，定出脸部区域的范围和矩形单元的长宽比。这样 缩小了搜索的范围，也避免了循环测试，使运算量大幅减少，也使准确率提高。 但是他们的算法无法处理复杂背景或多人的情况，且对目标对象姿态的变化较 敏感。卢春雨等 4 人则使用更符合人脸器官自然分布的3 * 3 方块划分人脸。在 检测中利用尺寸、形状的自适应技术，得到较好的实验结果。s a m a d 等 5 使用 逼近和轮廓映射的混合方法。他们用8 * 8 像素的方块对人脸做粗检，这种方法不 但可以检测到眼睛而且可以有效检测到配带眼镜的眼睛。 二、h o u g h 变换 h o u g h 变换是由h o u g h 在1 9 6 2 年提出的，利用图像空间与参数空间的对应 关系，将图像空间的目标提取问题转化到参数空间上来，通过在参数空间进行简 单的累加统计来完成对目标的提取。用h o u g h 变换可以在较大噪声环境中提取目 标区域的特定信息如直线、圆、椭圆和任意形状的边缘等。通常用h o u g h 变换检 测眼睛的做法是首先对人脸进行边缘提取，得到人脸的边缘图，然后用h o u g h 变换得到检测眼球边缘。 n i x o n 6 首次将h o u g h 变换应用i i i i 睛边缘检测。b e n n 7 和k a w a g u c h i 8 使用改进的h o u g h 变换来检i i i i i 睛。但他们将眼球看作圆形不太合理，因为眼球 必受眼睛开闭程度的影响。这种对眼的描述尤其不适合于眼睛较小的人。h o u g h 变化根据选取像素点的方法可分为广义h o u g h 变换和随机h o u g h 变换，广义 h o u g h 变化对于每个象素点都要做由图像空间到参数空间的映射变化，可以描述 非解析边边缘的曲线，有效完成对几何不规则目标的提取。随机h o u g h 变换则采 用随机采样的方法，选取图像点的予集进行变换，从而在存储空间和运算时间两 方面都做了很大的节约，但由于随机采样过程容易受到噪声的影响，而且仅限于 中山大学硕士学位论文 处理二值几何规则图象，在应用是一般需要服役其他的优化处理。张庆平 9 等 利用广义随机h o u g h 变化，把两种h o u g h 变换的优点结合起来，能进行眼睛、嘴 巴和耳朵边缘的体提取。但对复杂背景和相似物体的干扰等情况有局限。由于 h o u g h 变换通过对参数空间的累积统计来进行目标提取，所以应用h o u g h 可以克 服噪声、问断点等问题。 三、通过检验知识检测角点方法 眼睛角点指眼的内外眼角。到目前为止，已有学者通过寻找眼睛角点的方法 定位眼睛。l i m i n gz h a n g 1 0 等在利用。阈值化后的人脸区域找到眼睛的大致位 置，然后利用先验知寻找眼睛的各特征的位置，如眼珠，上下眼皮和角点。 四、几何投影曲线分析 由于一幅二维图像可以由两个相互垂直的一维投影函数来分析。维数的降低 便于分析图像的特征，并且减小了计算量，所以投影是一种重要的图像分析方法。 同样由于人脸的特征区域如眼睛、鼻孔、嘴等通常其灰度会比脸部的其它区域的 灰度值低而且相对稳定，那么先从水平方向或垂直方向进行投影，根据波峰、波 谷信息，统计出水平或垂直方向上的灰度值的和( 或灰度函数值如投影函数值的 和) ，找出特定的变化点，然后根据先验知识将不同方向上的变化点位置相结合 就得到脸部特征的位置。但由于波峰波谷对不用人脸、姿势、遮挡的变化非常敏 感，投影曲线不规则，定位精度较差，容易陷入局部极值等缺点，所以现在通常 作为别的检测方法中的辅助手段。 很多学者用水平投影和垂直投影来描述人脸的灰度分布结构。k a n a d e 1 1 最早将积分投影函数成功地应用于人脸识别，他首先用拉普拉斯算子对原始灰度 图进行二值化，然后使用积分投影方法计算出一组人脸特征参数，再利用模式分 类技术与标准人脸匹配。b r u n e l l i 等 1 2 在投影中使用j 、j ，两个方向上的梯 度信息，以取代原始灰度值，来得到面部各个特征的确切位置，减小了对光照 中山大学硕士学位论文 条件的敏感度。s o b o t t k a 1 3 将积分投影函数应用于边界图分析，从而确定出 面部各个特征的位置。积分投影函数对西方人脸型的检测效果要优于对东方人脸 型的检测效果。 f e n g 和y u e n 等提出使用方差投影函数的多线索方法来定位脸部特征 1 4 当图像某一列像素灰度的方差发生变化时，这种变化会在矿( 工) 的值上反映出 来。同理，当图像某一行像素灰度的方差发生变化时，这种变化会在一( 工) 的值上 反映出来。这样通过该函数就可以计算指定方向上的所有像素的灰度值方差，与 简单求和相比，它对复杂背景的适应力较强。与可变形模板法相比，该方法计 算量较小，对初始搜索位置要求不高，但在眼睛状态变化的情况下容易失效。 此外，f e n g 和y u e n 1 5 还证明了v p f 对随机噪声并不敏感。因此，同样可以利用 v p f 对图像特征进行分析。方差投影则对东方人脸型的检测效果要好一些。 与传统的几何投影法是根据图像的水平和垂直投影中的波峰或波谷来确定 目标的位置不同，姜军等 1 6 用广义几何投影，仅将图像的二值化边缘做水平“投 影”，对图像各象素求或而不是求和，在人脸中产生多个不同尺寸的眼睛候选区 域。减少后续基于先验规则的多尺度遍历的工作量。 由于积分投影和方差投影各有其适用的范围，z h o u 等 1 7 把二者相结合， 给每个投影赋以不同的权值，得到另一个广义投影综合了积分投影的鲁棒性和方 差投影的灵活性，可以检测不同表情、姿态甚至带眼睛的眼睛，效果较好。 但由于不同人在不同光照的投影图差别很大，而且投影曲线不规则，所以， 该方法有一定的局限性。 五、广义对称变换 r e i s f e l d 等 1 8 提出基于物体对称性的广义对称性变换方法。该方法的前 提是：脸部的主要特征同脸部的其它部分相比是对称的。该方法通过计算图像中 各点的对称强度找出局部强对称点，从而实现对称物体的对称中心的定位，并确 定对称方向。它可以检测出眼睛和嘴，但是此方法容易被头部的旋转姿势和背景 的噪声所影响，而且由于该方法没有利用关于脸部位置的任何先验知识，因此计 中山大学硕士学位论文 算量很大。彭进业等 1 9 对此提出了改进，提出了基于一种由粗至精的多分辨率 的多尺度对称变换，利用小波变换的多分辨率特性，先在低分辨率上实现快速粗 定位，再根据粗定位的结果在高一级分辨率所对应的一个邻域内进行强对称点搜 索，从而逐级提高定位精度，减少了全过程的计算工作量。 在此基础上提出的方向对称变换d s t 2 0 ( d i r e c t i o n a ls y m m e t r y t r a n s f o r m ) ，通过对称性在不同方向上的分布情况来描述物体的基本形状特征 从而提高了定位的精确度，此外，因还事先利用了一些先验规则估算尺度因子 和人眼的可能区域，减小了运算量。离散对称变换d s t ( d i s c r e t es y m m e t r y t r a n s f o r m ) ，在计算对称性之前加入一个对图像灰度不均匀区域的检测过程， 对灰度均匀区域就不执行广义对称变换以加快系统的运行速度。 六、基于灰度的方法 人脸的特征部位相比其它区域的灰度值要大，并且相对要稳定。基于人脸特 征的这一特性，不少学者也提出了检测人脸特征点的方法。 “谷”是指在平面图像中亮度值与周围像点相比相对较暗地像点的集合。在 人脸图象中，眼睛、眉毛、鼻孔和嘴巴这些脸部特征部位都是相对较暗的区域， 都属于面部图像的谷点，连通的谷点成为谷区域。眼睛则稳定地处于面部灰度曲 面中的谷区域。k i n m a nl a m 2 1 利用谷区域的方法检测眼睛，该方法利用到眼 睛中心是人脸中比较稳定的谷极点这一特性。但是相对来说受光线及其他的外在 环境影响较大，并且也容易受到遮掩物或者饰物的影响。 r i z o n 2 2 发展了l i n 和w u 2 3 ，利用特征模板得到人脸特征候选区 域，然后计算每两个候选谷极点的花费，满足条件的最小花费的位置即为眼睛。 但是，这仍然有一些局限。首先，这幅图像必须是灰度图像；其次，这副图像必 须是在单一背景下的；最后，眼睛的虹膜必须要出现在图像中，也就是说人脸的 旋转角度在y 轴方向，在( 一3 0 ，3 0 ) 的区域范围内。h i d e k ik a s h i m a 2 4 用颜 色信息来检测眼睛。这种技术可以提高检测的速度，但是受光线影响较大。 基于先验规则的特征点检测方法由于仅利用一些图像的低层次信息，在原 理上大多较为简单易懂，所以实现以来比较简单。但因为这类方法来源于人们对 中山大学硕士学位论文 人脸特征的先验描述，将人类的描述准确的转化为明确定义的规则是件比较困难 的事，所以算法的普适性不高。而且对要检测的人脸也有较多限制，通常用来解 决简单背景下单人脸图像的特征点检测。此方法对姿势和表情鲁棒性也不强。此 外，由于脸部特征附近的对比度较低，边界搜索过程收敛缓慢，因而运算量一 般都比较大。这类方法在特征点检测的初期应用较多，现在多为别的方法的辅助 工具。 1 2 2 基于统计的方法： 基于统计的方法是将一定区域内的图像整体看作一个高维空间中的随机向 量，那么同一类型的脸部特征就可以描述为高维空间中的一个集合，可以用统计 方法对其分布规律建模；使人脸特征点检测转化为高维空间中分布信号的检测问 题。该方法用大量的“特征样本”和“非特征样本”做训练，得到区别特征和 费特征的判别函数。在搜索中，通过计算待测区域与模型的匹配度就可判断其是 否包含目标脸部特征。这类方法对图像分辨率、复杂背景和人脸表情等的变化具 有较好的适应性。基于统计的方法包括神经网络、p c a 、a d a b o o s t i n g 等方法。 一、人工神经网络方法 人工神经网络( a n n ) 是在现代神经学研究成果的基础上发展起来的，它是一 种模仿人脑信息处理机制的神经系统，可以完成学习，记忆、识别和推理等功能。 人工神经网络通过训练一个网络结构，把模式的统计特性隐含在神经网络的结构 和参数中，具有很高的容错性、鲁棒性和学习功能。它的高鲁棒性能解决输入模 式有噪声干扰和部分有缺损地问题；它的自组织、自适应学习功能放松传统识别 方法所需的约束条件；它的记忆功能使得训练样本比较全面时，神经网络可以处 理比较复杂的检测问题。它的优点是准确率高。它的缺点是由于人脸属于高维矢 量，导致网络中训练节点众多，算法往往需要大量的训练样本，造成收敛的缓慢 及不稳定，计算量大。因此，神经网络方法的研究着重于系统的优化训练。 中山大学硕士学位论文 v a l e n t i n 首先提出神经网络的方法 2 5 ；r o w l e y 2 6 等使用前向误差反馈 ( b a c kp r o p a g a t i o n ，b p ) 网络进行人脸检测，网络具有的隐节点，分别对应于输 入图像的局部特征。该算法采用自举的方法收集非人脸样本，并采用“归并重叠 检测”和“多网络仲裁”技术降低错误报警率。 二、子空间法 p c a 的思想就是根据图像的统计特征进行正交变换( k - l 变换) ，以消除原 有向量各个分量间的相关性。即在m 维的空间中寻找n 个正交轴，使得所有样本的 特征信息都主要集中在前面的n 个轴( 主轴) 的方向上，这样就可以舍弃后面的 卜n 个轴，从而将图像从高维空间降到了低维特征空间。这样利用方法可以用维 数较低的正交归一化特征子空间( 特征脸空间) 描述所有人脸，由于人脸图像在 特征空间中投影点依然成人脸的形状，所以称为特征脸。 k i r b y 等提出子空间方法 2 7 。子空间法假设所有人脸模式集都在一个小的 带参子空间上，这个子空间可以用数据集及其主分量求得。如果某个图像模式与 该某个类的距离小于给定的门限，则可以判断该模式是人脸模式，否则不是人脸 模式。予空间方法是一种简单、快速、实用的基于变换系数特征的算法，但由于 它在本质上依赖于训练集和测试集图像的灰度相关性，所以还有着很大的局限 性。 t u r k 和p e n t l a n d 2 8 于1 9 9 1 年提出特征脸的方法，在传统特征脸的基础 上，研究者注意到特征值大的特征人脸识向量( 即特征脸) 并不一定是分类性能好 的方向，据此发展了多种特征( 子空间) 选择方法，如p e n g 的双子空间方法、 w e n g 的线性歧义分析方法、b e l h u m e u r 的f i s h e r f a c e 方法 2 9 等。 c o o t e s 等 3 0 提出使用多p c a 模型来辅助确定p d m 模型初值。为了降低 p c a 分类器对目标物体的尺寸和角度偏转的敏感性，他们针对不同角度不同尺 寸的脸部特征分别建立了模型，并在搜索中采用了金字塔搜索策略，因此他们 的算法运算量较大。 p e n e v 等 3 1 提出基于局部特征的人脸特征提取与识别方法。 s v m ( 支持向量机) 是v a p n i k 3 2 依据统计学习理论提出的一种通用的模式 中山大学硕士学位论文 识别方法，与传统学习理论力图使经验风险最小化不同，它着眼于使学习过程 中的结构风险( s t r u c t u r a lr i s k ) 最小化，用于解决分类和回归问题。能较好地 解决小样本情况下的学习问题。很多学者将s v m 方法用于脸部特征检测。直接 应用s v m 方法的主要困难首先是训练s v m 需要求解复杂度极高的二次规划问题 内存需求量大，其次是，当训练样本个数较大时，会得到大量的支持向量，使 分类器计算量过高。 p a n 等 3 3 使用了方形扫描窗口，将眉毛与眼睛作为一个整体作为定位的 对象，从而减少了眉毛对定位的干扰。l i 等 3 4 提出了一个二级的s v m 系统， 先用线性核心的s v m 筛选出候选点，再用多项式核心的s v m 作最终判定。他们 的系统对眼、鼻、嘴等脸部特征的定位的效果较好。 三、a d a b o o s t i n g a d a b o o s t i n g 学习算法是用来提高某种简单分类算法的性能的，它把带检测 的特征作为正例样本，把非特征作为负例样本，训练得到一系列弱分类函数 h i ( x ) ，然后对这些弱分类函数进行加权组合形成一个强分类器 日( 工) = 口j h j ( x ) 。输入待测样本到该强分类函数，即可判定是否为正例特征。 在运算过程中，由于单级a d a b o o s t i n g 分类器需要大量特征，速度慢，所以，后 来又发展了基于多级a d a b o o s t i n g 分类器的加速策略来加快检测速度。 y f r e u n d 等 3 5 用传统的a d a b o o s t i n g 算法来产生一个二值决策：眼或非 眼。j f r i e d m a n 等 3 6 用a d a b o o s t i n g 输出一个条件概率。y o n gm a 3 7 等基 于前两者的方法获得眼和候选区域，然后通过二次抽样眼睛滤波器将眼部候选区 域减少，然后用基于统计的眼睛对分类器确定眼睛精确的位置。 基于统计的方法研究的一个重要问题是如何确定扫描窗口的长宽比和中心 在窗口中的相对位置。此外，基于统计的方法对目标对象尺寸大多较为敏感，为 了实现尺寸无关性，通常会采用金字塔搜索策略，得到一系列不同分辨率的图像 然后在这些图像上再作遍历搜索。又由于这类方法具有可扩展性，可以通过“白 举”( b o o ts t r a p ) 策略来使系统的精确性和兼容性得到提高，因而引起很多人 0 中山大学硕士学位论文 的研究兴趣。但是此类方法也有其缺点：比如运算量大：使用的抽象的高维统计 信息较难与直观的特征相联系等。 1 2 3 基于模板匹配的方法： 模板匹配方法可以认为是一种启发式算法，一般是先根据图像信息和有关模 式识别的先验知识定义一个特征标准模板，计算输入局部图像与模板的相似程 度；然后确定一个相似度阈值，如果超过设定的此阈值，就认为检测到了相应特 征。做法是将模板t 在目标人脸图像f 上平移。模板可以在其上平移的区域称 为子图，记为c 。其中p 与q 分别是子图的左上角象素点在f 中的坐标， 称为参考点。假设待匹配的人脸图像的大小是e * o 。模板的大小是m * n ，则 1sm p m + 1 ，1 n q n + 1 。当模板与子图一致的时 候，则达到了模板与目标图像的匹配。模板匹配算法经过长期的演变，有如下几 种经典算法： 一、经典的模板匹配 k n c h o i 3 8 等利用经典的模板匹配方法，通过训练已有的图像提取一套 可以刻画脸部各特征的滤波器模板。这种方法的缺点是对眼睛的方向、大小、光 线以及噪声的影响比较敏感。梁路宏等 3 9 通过仿射变换生成若干旋转角度的人 脸模板，通过多种模板的匹配，保留最佳匹配。这种方法对姿势有一定的鲁棒性。 二、基于g a b o r 小波弹性图匹配( f a c eb u n c hg r a p hm a t c h i n g ) 小波变换是近年来发展起来的一种时频变换方法，它是数学理论中调和分析 技术得新成果。它可以充分利用信号的时频信息，凸显某些难以在时域中观察到 的特征，由于它们具有良好的时频局部性，因此被迅速应用到特征定位中。由于 中山大学硕士学位论文 研究已经指出，g a b o r 小波最符合人类视觉特性，所以，近来应用g a b o r 小波的 特征点检测方法不断增多，其中弹性图匹配技术是比较好的一种方法。弹性图匹 配最重要的一点是利用g a b o r 小波变换提取特征，最终的拓扑图是不注重特征点 位置的矩形。后来的弹性图匹配方法利用小波变换特性来描述人脸的局部信息寻 找特征点，特征点一般为眼球、眼角等灰度变化剧烈，信息丰富的地方。特征点 先是手工定位。经过一段学习以后，即可达到自动定位。这种方法可以容忍光照 变化，但计算量非常庞大。这种方法的关键是：关注图像内部相互作用、阻止结 构变形太严重。 w i s k o t t 等 4 0 提出一种基于小波变换的弹性图匹配算法，称为弹性束图 ( e l a s t i cb u n c hg r a p h ) ，该方法利用小波变换特性来描述人脸的局部信息，并对 人脸网格不断变形，在图像上收索特征点。k r u g e r 等 4 1 更进一步研究了有关 问题，他给每个特征点不同的权重。w u r t z 等 4 2 则研究了多分辨率的情况。焦 峰等 4 5 提出利用人脸的先验结构知识和人脸图像的灰度分布知识，首先粗略地 找出人脸图像的特征点的位置，然后利用人脸弹性图对特征点的位置进行调整， 最后在各个特征点处计算g a b o r 变化的系数，人脸相应表示为特征点处的 g a b o r 系数集合，对提取的特征向量用几种不同的度量距离来进行分类。由于不 是在整个图中搜索，因此大大地降低了弹性图匹配算法的计算量。该方法对姿势、 表情、光照等都有一定的容忍性。 三、主动形状模型与主动外观模型( a s m a a m ) 主动形状模型( a c t i v es h a p em o d e l s ，a s m ) 是一种基于统计学的、灰度和形 状可分离的可变性模板，最初是用于医学图像的结构定位。其原理是在局部点模 型匹配基础上定义一个能量函数，通过统计模型对人脸形状的约束调整模型参数 使能量函数最小化，转化为优化问题。a s m 的过程是：先对要进行训练的n 幅人 脸图像手动标定若干特征点( 每幅图像的特征点的个数要相同) ，然后训练得到 一个模板，用模板与待检测图像进行匹配，与s n a k e s 方法比a s m 的优点是能根 据训练数据对于参数的调节加以限制，从而将形状的改变限制在一个台理的范围 内。 中山大学硕士学位论文 最初a s m 是由c o o t e s 4 3 等人在1 9 9 4 年提出的。y a n 4 4 等提出新的决 策函数，当决策函数达到最小时，则认为形状模型上的特征点到达了最佳位置， 即可定位出待检测部位的特征点。c o o t e s 等 4 5 提出使用多分辨率分析的方法 改进a s m ，就是被称为m u l t i r e s o l u t i o na c t i v es h a p em o d e l s 的方法，加快 了算法的计算速度和检测准确度。 类似于a s m ，a a m ( a c t i v ea p p e a r a n c em o d e l ，主动外观模型) 4 6 也是在 对训练数据进行统计分析的基础上建立模型。与a s m 的不同之处是它同时利用形 状信息和脸部的纹理信息进行统计分析，找出形状与纹理之间的联系，使检测的 准确性提高。在训练阶段，寻找模型参数的变化和形状纹理变化之间的联系。而 在对新图像搜索时，根据这个关系不断调节模型参数从而达到合成图像与新图 像尽可能地接近，此时的形状和纹理即认为是新图像的形状和纹理。 这两种方法各有其优缺点：a s m 利用形状和特征点附近的局部灰度信息，所 以a s m 最后得到图像的形状信息。a s m 运行速度快，但精度较低。a a m 包含了形 状和脸部区域的纹理信息，所以a a m 能得到形状和纹理信息。a a m 可用于器官定 位和图像重建。a a m 复杂度高、速度慢。这两种方法还有共同的缺点就是都依赖 于初始位置，容易陷入局部极小值。 四、s n a k e s 方法( 活动轮廓模型) s n a k e s 模型是定义在图像范围内的一条活动曲线或一个表面，它能够使活 动曲线或表面在其本身的内部能量和由图像产生的外部能量的共同驱动下发生 形变，其形变的最终结果是使活动曲线或平面本身与目标物体的边缘或图像中期 望检测到的特征的形状相一致。s n a k e s 方法可用于边界检定也可用于脸部特征 的定位。这种方法可以避免二值化方法时的边缘断线的问题。这种方法的优点是 ( 1 ) 把初始估计、目标轮廓及基于知识的约束统一于一个特征提取的过程之中： ( 2 ) 经过适当初始化后，能够自主的收敛与能量的极小值点；( 3 ) 尺度空间中 由粗到精的极小化能量可以极大的扩展捕获区域和降低计算复杂性。缺点是( 1 ) 运算量很大；( 2 ) 需人工给出初始位置，自动化程度不高；( 3 ) 对非凸形体 检定效果不佳； ( 4 ) 由于模型本身是局部的，而且没有有效利用先验知识，因 中山大学硕士学位论文 而需要更新太多参数导致更新缓慢，且当存在局部变形、噪音和遮挡等干扰时容 易出错。 s n a k e s 方法最早1 9 8 7 年由k a s s 等人 4 7 。后来很多学者提出改进算法。 a m i n i 4 8 等提出动态规划的s n a k e s 算法，将优化过程作为离散的多部决策过 程，能够保证全局收敛，算法更为稳定。c o b e l 等 4 9 的应用外部限制的动态 轮廓线算法，能通过较少的控制点来表达目标轮廓并增加了解的稳定性。 w i l l i a m 5 0 提出带曲率估计的贪心算法，减少了计算复杂度，提高了收敛速度。 wu 5 1 等在搜索前，先根据一系列先验规则，得到脸部特征的大致位置，作为 设定初始位置的基准。为解决非凸形体检定问题，他们根据各个脸部特征的形 状特点，使用多个s n a k e 模型拟合一个脸部特征，此外，还在能量函数中加入 了边界、肤色相似性和红色相似性等信息，以减小成像条件、表情及个体差异所 带来的影响。在无遮挡、图像质量较好的情况下，该算法可以取得较好的效果， 且对目标对象尺寸不敏感。 五、可变模板方法 基于可变模板的脸部特征抽取方法是根据先验规则确定的主动轮廓方法，被 认为是对所求特征的描述。这种方法的主要思路是：先定义一个可变形的带参 数模板和一个能量函数来描述特征。模板参数根据特征形状的先验规则确定，是 可以调节的且能反映对应特征形状的位置、大小、角度等可变部分。为了定出最 符合特征形状的参数，就要利用图像的边缘、峰、谷、强度信息等先验知识获得 能量函数。然后通过一个非线性最优化算法调节参数使能量函数达到最小。 由 于弹性模板可调，能检测具有不同大小、不同旋转角度的物体，故这种方法稳定 可靠，而且与姿态和光照条件无关。它的缺点是：( 1 ) 、能量函数依赖于模板 的初始位置，匹配时容易陷入局部极小；( 2 ) 、计算量很大；( 3 ) 、能量函数 的参数普遍性较差。 传统的能量函数极小化方法多采用梯度下降法、牛顿迭代法等：这些方法均 存在一些问题。首先：要求能量函数连续可微：这往往与实际情况不相符。其次： 参数的初始值选取不当将导致算法无法收敛或陷入局部极小点。再者：在极小化 4 中山大学硕士学位论文 过程中常常需计算一阶导数和矩阵求逆：计算量较大。 该方法由y i l l e 等人 5 2 提出，y i l l e 等人的眼睛模板由两条抛物线和一个 圆构成，分别对应内眼睑和眼球，用最速下降法最小化能量。用谷值首先确定眼 球，同时眼睑跟着移动，然后加入灰度和边缘信息确定眼球大小，再用眼白的峰 值定眼帘的移动和旋转。x i e 5 3 对其进行了改进，。如在能量函数中引入眼白信 息，并增加了参数数量。为保证匹配时达到全局最小，有人用遗传算法、模拟退 火法等优化算法。为避免其他特征的干扰，保证匹配到合理的位置，变形模板应 有一个合适的初始位置和大小。山世光等 5 4 在一个多级人脸检测模块检测到人 脸大致区域和尺寸的基础上，提出并实现了一种基于面部图像纹理分布特性和 可变形模板的由粗到细的面部特征提取策略。该策略首先利用眼睛区域的谷特 性和频率特性定位两个虹膜中心点位置，然后用积分投影确定唇部和鼻子区域 的位置，在此基础上进行关键特征点的检测，从而可以得到预定义特征模板参数 的良好初值，最后基于贪心算法的多阶段轮换优化算法来搜索一个极小点。 在诸如y u i l l e 5 2 等人的串行算法中，能量最小化用最速下降法，必须预 先通过实验在能量函数中设定一些很重要的系数，否则模板无法正确收敛。 x i e 5 3 等人的并行算法也要靠能量项内部的系数来控制参数改变量的合理性， 系数的设置与y u i l l e 等人的方法一样需要实验凑试，无具体规律可循，而且有可 能随图像的改变而要稍加改变。 1 2 4 其它的方法 上面的几种方法的界限并不是特别清晰如：在模