（控制科学与工程专业论文）基于主动形状模型的面部关键特征点定位技术研究.pdf

国防科学技术大学研究生院硕士学位论文 摘要 实用的自动人脸识别系统至少应该包含人脸检测、关键特征点定位、特征提 取以及分类算法的几个步骤。目前阻碍自动人脸识别技术真正实用化的瓶颈问题 还很多，包括姿态问题、表情问题、光照问题等等。面部关键特征点的精确定位 和配准是解决这些问题的基础。 本文分析比较了几种常见的人脸关键特征点定位技术原理和特点，重点研究 了经典a s m 算法建立过程，编写了a s m 算法m a t l a b 程序，在中国科学院人 脸数据库正面人脸子库中选取训练样本，建立a s m 全局形状模型和局部纹理模型。 通过实验，分析比较了单分辨率的a s m 搜索算法和多分别率的a s m 搜索算法， 总结了影响经典a s m 算法性能的主要因素和算法的主要不足。 简述了近几年出现的a s m 算法的改进方法，根据局部二值模式( l b p ) 对光照 鲁棒性的特点，提出基于l b p 的改进方法。实验表明基于l b p 的a s m 算法，对 光照具有鲁棒性，同时也提高了定位正确率，但是增加了计算量，降低定位速度。 本文首次提出了基于a s m 的人脸脸型自动分类方法。该方法首先根据不同脸 型的样本建立了脸型形状模型，再将a s m 定位的人脸形状和脸型模型匹配，最后 根据匹配程度采用最近邻聚类算法实现脸型识别和人脸分类。实验表明，该方法 优于利用人脸轮廓曲率或下颌曲率的分类方法，能够充分挖掘人脸形状信息，分 类结果稳定准确，可以有效提高大库人脸识别的速度和准确率。 关键词：面部关键特征点定位，主动形状模型，局部二值模式，脸型识别，人脸 分类 第i 页 国防科学技术大学研究生院硕士学位论文 a b s t p a c t as t a t e o f - t h e a r ta u t o m a t i cf a c er e c o g n i t i o n ( a f r ) s y s t e mi n c l u d e sf a c ed e t e c t i o n ， f a c i a lf e a t u r e1 0 c a l i z a t i o n , f e a t u r ee x t r a c t i o na n dc l a s s i f i c a t i o n a tp r e s e n tag r e a t n u m b e ro fc h a l l e n g e s ，i n c l u d i n gg e s t u r e ，e x p r e s s i o n ，i l l u m i n a t i o ne t c ，s t i l ln e e dt ob e s o l v e db e f o r ep r a c t i c a la f rs y s t e mc a nb ew i l d l yi m p l e m e n t e di np e o p l e sd a i l yl i f e a c c u r a t ef a c i a lf e a t u r el o c a l i z a t i o ni st h ep r e r e q u i s i t ea n db a s ef o rr e s o l v i n gt h e p r o b l e m sm e n t i o n e da b o v e t h e r e f o r et h i st h e s i sf o c u s e so nt h er e s e a r c ha b o u tf a c i a l f e a t u r ep o i n tl o c a l i z a t i o nt e c h n o l o g i e sa n di t sa p p l i c a t i o n s t h ep r i n c i p l e so fs e v e r a lf r e q u e n t l yu s e dm e t h o d sa r eb r i e f l yi n t r o d u c e da n dt h e i r p e r f o r m a n c e sa r er o u g h l yc o m p a r e d e m p h a t i c a l l y ，t h i st h e s i sd e s c r i b e sc l a s s i c a la c t i v e s h a p em o d e l ( a s m ) i nd e t a i l ，a n dp r o g r a m st h ea s ma l g o r i t h mi nt h ef r a m eo f m a t l a b 、访t ht h et r a i n i n gs e t sf r o mt h ec a s p e a ll a r g e s c a l ec h i n e s ef r o n t a lf a c e d a t a b a s e b a s e do ne x p e r i m e n t s t h es i n g l e r e s o l u t i o na n dt h em u l t i r e s o l u t i o ns e a r c h a l g o r i t h ma r ee s p e c i a l l yc o m p a r e da n da n a l y z e d t 1 1 i st h e s i sa n a l y s e st h em a i nf a c t o r s i n f l u e n c i n gt h ec l a s s i c a la s m a n dt h e ns u m m a r i z e si t sd r a w b a c k s a s u r v e yo nt h ew a y st oi m p r o v ea n de x t e n da s md u r i n gr e c e n ty e a r si sp r e s e n t e d s i m p l y b a s e do nl o c a lb i n a r yp a t t e r n ( l b p ) ，ag o o dt e x t u r ef e a t u r er e p r e s e n t a t i o n r o b u s tt oi l l u s t r a t i o n t h i st h e s i sd i s c u s e san e ws c h e m ew h i c hb u i l d sl o c a lt e x t u r em o d e l b vl b pt om a k ea s mr o b u s tt oi l l u m i n a t i o n e x p e r i m e n t ss h o wt h a tt h i sn e ws c h e m e i n c r e a s e st h ec h a n c e st ol o c a l i z et h ef a c i a lf e a t u r e ss u c c e s s f u l l ya n dl a r g e l ya d v a n c e s t h er o b u s t n e s so fa s mt oi l l u m i n a t i o n a tl a s t ，t h i st h e s i s f i r s t l yp r o p o s e san o v e lh u m a nf a c es h a p ea u t o m a t i c c l a s s i f i c a t i o nm e t h o db a s e do na s m f i r s t l y f a c ei m a g e so fs h a p e sa r et r a i n e dt o g e n e r a t ed i f f e r e n ts h a p em o d e l s t h e na s m i sa p p l i e dt ol o c a t et h ef a c es h a p eo ft h e t e s ts a m p l e ，w h i c hi sm a t c h e dt oe a c hf a c es h a p em o d e l f i n a l l y ，n e a r e s t n e i g h b o r a l g o r i t h mi se m p l o y e dt oa c c o m p l i s hc l a s s i f i c a t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e p r o p o s e dm e t h o do u t p e r f o r m st h em e t h o d sb a s e do nc u r v a t u r ef e a t u r eo ff a c ec o n t o u ro r f e a t u r eo fc h i nc o n t o u r o u rm e t h o dd e t e c t sf u l lf a c es h a p ei n f o r m a t i o n c a ni m p r o v e r e c o g n i t i o nr a t ea n ds p e e do nh u g ef a c ed a t a b a s e k e yw o r d s ：f a c i a lf e a t u r el o c a l i z a t i o n ，a c t i v es h a p em o d e l ，l o c a lb i n a r y p a t t e r n ，f a c es h a p er e c o g n i t i o n ，f a c es h a p ec l a s s i f i c a t i o n 第i i 页 国防科学技术大学研究生院硕士学位论文 表目录 表2 1 常用面部关键特征点定位算法主要性能表1 7 表3 1 人脸检测器检测能力2 9 表3 2 平均搜索次数3l 表3 3 两种策略定位正确率31 表4 1 两种算法对光照变化图像的定位正确率一4 8 表4 2 两种算法定位正确率4 8 表4 3 平均定位次数4 8 表5 1 形状向量和脸型模型匹配余量i i a i i 5 6 表5 2i i ，j | 的值与分类结果5 8 表5 3 万的值与分类结果5 9 表5 4 人脸定位和分类的正确率5 9 第1 v 页 国防科学技术大学研究生院硕士学位论文 图目录 图2 1人眼可变形模板1 1 图2 2 人眼可变形模板定位过程1 2 图2 3属性拓扑图1 3 图2 4 前三个主成分变化时的人脸形状1 4 图3 1 面部特征点选取2 0 图3 2 未对齐和对齐的训练样本集2 l 图3 3 控制全局形状模型生成新形状2 2 图3 4 局部纹理获取示意图2 3 图3 5 局部纹理匹配示意图2 4 图3 6 高斯图像金字塔示意图2 7 图3 7 各层局部纹理示意图2 7 图3 8 单分辨率搜索策略a s m 算法部分实验结果2 9 图3 9 多分辨率搜索策略a s m 算法部分实验结果3 0 图3 1 0 初始位置对a s m 定位影响3 2 图3 1 1 光照对a s m 定位的影响3 3 图3 1 2 表情对a s m 定位的影响3 3 图3 1 3 遮挡对a s m 定位的影响3 4 图4 1标准l b p 算子示意图。3 8 图4 2 尺寸上扩展的l b p 算子。3 9 图4 3人脸图像l b p 直方图抽取示意图。4 0 图4 4 扩展l b p 统计直方图提取示意图4 1 图4 5p r o f i l e 邻域抽取l b p 直方图示意图4 l 图4 6 方形邻域抽取l b p 直方图示意图。4 2 图4 7 包含四子域的方形邻域抽取e l b p 直方图示意图4 3 图4 8 光照人脸子库部分人脸图像4 5 图4 9 基于l b p 的a s m 搜索效果图4 6 图4 1 0 不同光照下两种a s m 算法定位效果对比4 7 图5 1四类脸型的平均形状5 4 图5 2同一形状向量与不同脸型模型匹配5 6 图5 3 部分人脸形状定位结果5 7 第v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：基王圭边壁迭搓型鲍亘苎羞毽挂延惠塞焦垫苤盈塞 学位论文作者始盘圭丝 吼砷年月涉 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：基王圭边壁达搓型鲍亘壑差缝挂焦壶塞焦技苤叠塞 学位论文作者签名： 作者指导教师签名： ， 京浑 尚 哦2 习每吣j 扣 魄1 年，月7 日 国防科学技术大学研究生院硕士学位论文 第一章绪论 本章主要介绍面部关键特征点定位技术研究的背景和意义，阐明了面部关键 特征点的定义和一般选取原则。同时从定位所利用的信息的角度，简述了五类主 要的技术。最后，说明本文的主要研究工作和结构安排。 1 1 面部关键特征点定位技术研究的背景和意义 面部关键特征点定位技术，不仅在生物特征识别技术之一的自动人脸识别中 具有重要的意义和价值，而且在人脸动画，人脸表情分析识别等领域也有广泛的 应用。 1 1 1 面部关键特征点定位技术研究的背景 生物特征识别或生物测定学( b i o m e t r i c ) 是利用人类本身所拥有的、能够唯一标 识其身份的生理特征或者行为特征进行身份验证的技术。与传统的身份验证方法 相比，生物特征识别技术具有更突出的优势，表现在生物特征可以从根本上杜绝 伪造和窃取，而且是人类自身拥有的，从而具有更高的可靠性、安全性和可用性 上。因此，生物征识别技术被认为是解决国家公共安全，社会安全，金融安全以 及人机交互等重大问题的终极方法。 随着现代社会的发展，人们对个人身份识别的有效性，方便性，和安全性提 出了更高的要求。尤其在经历美国“9 ll ”事件，伦敦地铁爆炸事件等恐怖袭击事 件之后，国家公共安全和社会安全领域对新的身份识别技术需求更加强烈。各国 纷纷增加了生物特征识别技术研究的资金投入，国内外许多高技术公司也投入到 生物特征识别技术的研究中，纷纷推出各种商用化了的生物特征识别设备和软件。 自动人脸识别技术( a u t o m a t i cf a c er e c o g n i t i o n ，a f r ) ，在作为生物识别技术之一， 以其在可用性方面具有独到的技术优势，具有更广泛的应用前景，成为生物识别 技术研究的热点之一。这些优势主要表现在： 1 ) 操作隐蔽，非常适用于安全监控。 2 ) 非接触的采集式，没有侵犯性，容易被广泛接受。 3 ) 事后追踪能力强。 4 ) 图像采集设备成本低。 5 ) 更符合人类的识别习惯，可交互性强，适合于人机交互。 一个实用的a f r 系统至少包括人脸检测、面部关键特征点自动定位、人脸特 第1 页 国防科学技术大学研究生院硕士学位论文 征提取( 人脸表示) 和分类判别算法几个部分。其中面部关键特征点自动定位指的是 利用计算机在人脸图像上自动定位出人脸各个器官包括眼睛、鼻子、嘴巴、下巴 以及人脸外轮廓线等特征的位置，它是连接人脸检测和人脸特征提取两个步骤之 间十分重要的过程，在实用的a f r 系统中具有“承上启下”的作用，直接影响了 人脸特征提取和分类判别两个步骤执行的效果。 然而目前自动人脸识别技术研究的现状是：一方面人脸检测领域的研究人员 并不要求很高的特征定位准确度，只是大致定位人脸的位置；另一方面多数分类 算法研究人员在做识别实验时都假定面部关键特征点( 通常是双眼中心位置) 已经 定位，在实验中通常手工标定的，而且非常精确。实际上面部特征定位的精确度 在很大程度上影响着最终识别系统的性能，因此在实际的自动人脸识别系统中人 脸检测和分类判别算法之间特征定位精度的不同，不能简单的忽视。已经有相关 的研究表明不精确的眼睛特征位置会极大的降低后续的分类识别算法的性甜。这 种不精确的特征定位，也就是所谓的误配准。有的学者甚至提出“误配准灾难( c u r s e o fm i s a l i g n m e n t ) t l 】 的术语，来形容人脸识别算法的识别性能随误配准增大而急 剧下降的现象。另外，在非理想成像条件情况下的人脸特征点定位问题的研究也 远远不够，因此面部关键特征点定位远不是一个已经解决的问题，具研究的必要。 同时面部关键特征点定位，不仅是自动人脸识别中十分重要的一环，而且在 人脸表情分析和识别以及人脸动画重构等方面也有广阔的应用背景和应用价值。 1 1 2 面部关键特征点定位技术研究的意义 面部特征点的定位不仅在人脸识别领域具有重要研究价值，而且也是诸如人 脸动画、人脸表情识别、人脸跟踪等领域的关键技术之一。人脸面部特征点定位 的意义主要体现在以下几个方面： 1 ) 为自动人脸识别提供几何特征等信息。在人脸识别领域，人脸图像的配准 直接影响识别率。利用图像上人脸的几何信息，可以提高配准精度。 2 1 面部关键特征点的定位结果有助于人脸姿态表情分析。通过面部器官相对 位置和形状，可以分析人脸的姿态和面部表情，并识别人脸表情。面部特 征点定位是人脸姿态和表情分析的前提。 3 ) 在人脸自动跟踪领域应用。既可以利用面部特点定位方法直接对视频序列 中的人脸自动跟踪，也可以为其他人脸跟踪算法提供人脸器官的初始位 置，提高跟踪算法的性能。 4 ) 在人脸图像编码中的应用。在基于模型的人脸图像编码中，人脸面部特征 点定位是其实现的前提。 第2 页 国防科学技术大学研究生院硕士学位论文 5 ) 进行人脸合成及人脸动画研究。 1 2 面部关键特征点的定义与选取 研究面部关键特征点定位技术，首先应该明确面部的特征点的定义，选取合 适的特征点，才能开展后续工作。本节主要说明面部关键特征点的含义和选取的 主要原则。 1 2 1 面部关键特征点的定义 广义的讲，人脸面部特征不仅包括人脸面部器官的几何形状和位置分布等形 状特征，而且还包括人脸面部器官的肤色纹理特征。面部关键特征点没有十分严 格的定义。一般来说，面部关键特征点，指的是能够代表人脸面部形状特征的点， 具体包括标定人脸面部器官如眼睛、瞳孔、鼻子、眉毛、嘴唇、下巴、人脸外轮 廓等的位置点，和描绘其几何形状的点。 为了勾画出人脸面部器官的形状信息，一般用几何形状近似的表示面部器官 的形状。为了表示的方便，可以用几何形状上几个较为关键的点表示几何形状， 比如几何形状的顶点和连接的顶点间线段的等分点。 不同的设计者会定义不同的特征点，好的特征点定义除了能够很好的表示人 脸面部器官的几何形状外，关键特征点周围也应该具有较为明显的局部纹理特征， 比如明显的边缘，颜色等特征。这样定义的好处是方便单个特征点定位，毕竟纹 理特征不是很明显的点定位时容易混淆，难以准确定位。 1 2 2 面部关键特征点的选取 对于不同的研究领域和定位方法，面部关键特征点的位置和数目并不相同， 也没有广泛认可的统一标准。例如法医人类学和解剖学中根据人脸的器官之间的 位置来确定和命名特征点。但是普遍认为，好的特征点，既要很好的表示局部器 官的形状，又具有较为明显的局部纹理特征。一般来说，在人脸识别领域，为了 方便提取，一般选择人脸面部器官形状中具有较强边缘特征的点如眼角，嘴角， 嘴唇，瞳孔等，和这些特征点之间起连接作用的点。总结起来面部关键特征点的 选取应该遵循以下原则： 1 ) 特征点的位置要精确，而且最好有一定的意义，比如眼角、嘴角等。 2 ) 特征点应该受表情、背景以及观察点等影响小。 3 ) 特征点或者特征点周围的局部纹理应该具有较明显的特点，比如具有较强 第3 页 国防科学技术大学研究生院硕士学位论文 的边缘特征。 4 ) 特征点的数量在人脸特征表征的有效性和计算的时间空间复杂度之间权 衡。 1 3 面部关键特征点定位技术分类 面部特征定位是人脸识别的基础，人脸识别领域的学者深入的研究了这一问 题，提出了很多特征点定位技术方法。根据定位依据基本信息的类型【2 】，可以将这 些方法分为基于先验规则、基于几何形状信息、基于色彩信息、基于外观信息、 基于关联信息五类。一种定位方法可以利用多种信息，实际上目前已经出现有效 利用多种信息提高定位准确度的趋势。 1 3 1 基于先验规则的方法 基于先验规则的特征点定位方法根据脸部特征的一般特点总结出一些经验规 律，搜索时先对输入图像特征变换，使目标特征得到强化，然后估计经验规则筛 选出候选点或区域。镶嵌图【3 1 、几何投影4 - 6 、二值化定位【7 】和广义对称【8 ，9 1 等方法 都属于基于先验规则的特征点定位方法。 这类方法构造简单，仅利用了一些简单的低层图像信息，强烈的依赖预设的 先验规则，因此普适性不高，对问题的条件通常有较多限制，如要求图像中只能 有单人、背景不能过于复杂、分辨率不能过低、姿势和表情变化不能过大等，这 些要求都限制了此类方法的应用。 1 3 2 基于几何形状信息的方法 基于几何形状信息方法的一般思想是根据脸部特征的形状特点构造一个带可 变参数的几何模型，并设定一个评价函数来度量被检测区域与模型的匹配度，搜 索时不断调整参数使评价函数最小化，从而使模型收敛于待定位的脸部特征点。 如s n a k e 方法【1 0 - 1 2 ，可变模板【1 孤，点分布模型【1 4 ，1 5 ( p o i n td i s t r i b u t e dm o d e l s ，p m d ) 等是这类方法的典型代表。 基于几何信息的方法原理上简单易懂，实现也比较容易。s n a k e 方法【1 0 。1 2 】，可 变模板【1 3 】1 3 ，不需要训练，算法的前期工作较少。点分布模型【14 ，1 5 】是一种统计的模 型，因此需要训练。但不论是否需要训练，几何信息作为一种低阶信息，受到各 种因素的影响，比如光照、噪音干扰、姿态和表情等等。因此，这类方法通常要 求较高的图像质量，对姿态、表情以及光照条件也有限制，算法的鲁棒性比较差。 第4 页 国防科学技术大学研究生院硕士学位论文 此外，边界搜索匹配的过程收敛速度一般缓慢，运算量一般较大，定位速度比较 慢，也是这一类算法的特点之一。 1 3 3 基于色彩信息的方法 基于色彩信息类方法，基本思想是用统计方法对目标对象的色彩信息建模， 在搜索中根据被测点的色彩与模型的匹配度，筛选出待测特征的可能位置。色彩 信息在人脸检测中有广泛的应用，比如利用肤色在色彩空间中具有聚合性检测人 脸。在脸部特征定位方面，色彩信息的应用相对较少，主要是因为脸部特征的色 彩信息较为复杂，如眼与嘴、以及眼睛的瞳孔与眼白的色彩有显著区别，难以对 脸部特征统一建模。 一种解决这个问题的思路是放弃对脸部特征统一建模，先利用肤色色彩模型 找到人脸的肤色区域。脸部特征与脸部皮肤在色彩上有差异，可以利用这种差异 定位人脸特征。比如，在己找到的皮肤区域上，人脸特征与肤色不同而形成“空 洞，搜索“空洞 ，并根据空洞的面积、相对位置等，判断其是否为脸部特征【1 6 】。 这种方法避开了对脸部色彩信息的直接建模，直接利用了基于色彩信息的人脸检 测的搜索结果，速度快但精度不高。 色彩信息类方法对光照条件和图像采集设备的特性较为敏感，易受环境因素 的干扰，精度难以稳定，但其优势在于系统的运行速度快，受姿态、尺寸、表情 等变化的影响小，适合于粗定位或一些对运行时间有较高要求的应用。 1 3 4 基于外观信息的方法 基于外观( 也称为a p p e a r a n c e ) 信息的特征定位方法，不再面向单个像素判断， 而是将脸部特征附近区域( 也称为窗口) 内的图像作为一个整体，并映射为高维空间 中的一个点。这样可以用高维空间中的个点集，描述同一类型的脸部特征。在 特征定位时，使用统计方法对特征的外观分布规律建模，在搜索中通过计算待测 区域与模型的匹配度判定待检测区域是否包含目标脸部特征。 这类方法对图像质量、环境条件和目标对象状态等方面的变化有较好的适应 能力，近年来引起研究者们的广泛关注。该类方法主要包括人工神经网络方法【l 7 1 引、支持向量机【1 9 2 0 l 、主成分分析 2 1 , 2 2 1 等。 1 3 1 5 基于关联信息的方法 前四类方法大多从局部着眼，试图依据图像本身( 色彩信息等) 或邻近像素之间 的相互关系( 几何、外观等方法) 来做出判断，但局部信息的区分度有限，在不受限 第5 页 国防科学技术大学研究生院硕士学位论文 制的条件下往往存在着大量的相似点，增大了后期处理的难度。基于关联信息的 方法与此不同，它试图利用脸部特征之间存在的较稳定的相对位置关系来缩小候 选点范围。与前面提到的先验知识不同的是这些方法所使用的关联信息都是通过 统计学习得到的。基于关联信息的方法多采用神经网络的方法实现。这类方法有 k i n 和c i p o l l a 提出对脸型建模的3 层贝叶斯概率网络【2 3 1 ，既保留了神经元的独立 性，又能表述神经元之间的相关语义信息的神经网络d l a ( d y n a m i el i n k a r c h i t e c t u r e ，动态链接模型) 1 2 4 2 副，还有基于小波的神经网的g w n ( g a b o rw a v e l e t n e t w o r k s ，小波网络) 【2 6 2 7 】等。 这类方法一般具有较好的鲁棒性，定位准确率也比较高。但是算法复杂，需 要大量的训练样本，定位速度有待提高。 尽管国内外的学者进行了大量关于面部关键特征点定位的研究，也提出了很 多新颖有效的方法，但是依然存在很多问题为解决，尤其是在室外条件下，光照、 遮挡、姿态和尺度等因素严重影响面部关键特征点定位的效果，给面部关键特征 点的定位问题的解决提出严峻挑战。 1 4 论文的研究内容及结构安排 本文在对几种常见面部关键特征点的定位方法分析比较的基础上，重点研究 了a s m 算法，探讨基于局部二值模式( l o c a lb i n a r yp a t t e r n ，l b p ) 的改进方案，运 用a s m 方法本文提出了基于a s m 的人脸脸型自动识别分类方法。本节主要介绍 了论文的主要研究内容和结构安排。 1 4 1 论文的研究内容 本文的主要研究内容如下： 1 ) 分析面部特征点定位在人脸识别领域的研究意义和研究价值，说明了面部 关键点的定义和选取的原则。根据定位时采用的主要信息，将人脸识别技 术分为五类，简述了这五类技术的特点。 2 ) 重点介绍现有几种比较常见的面部关键特征点定位方法的主要原理，通过 比较这些方法性能，总结其优缺点，重点说明研究工作选择以a s m 算法 为基础的原因。 3 ) 深入研究经典a s m 算法的算法模型和搜索方法等，编写m a t l a b 代码 实现a s m 算法编程。在中科院人脸数据库中，选择训练样本，完成a s m 算法训练建模过程。通过实验验证a s m 算法的定位特点，比较单分辨率 和多分辨率搜索算法，总结a s m 算法的不足，确定改进的方向。 第6 页 国防科学技术大学研究生院硕士学位论文 4 ) 简单综述了近几年出现的a s m 算法的改进方法。重点研究以l b p 为基础 的a s m 改进方案。l b p 算子提取的纹理特征对光照具有一定的鲁棒性， 因此用l b p 算子建立a s m 局部纹理模型可能会提高a s m 算法的鲁棒性。 因此论文研究将l b p 引入到a s m 算法中，并编程实现这种方法，通过实 验验证该改进方法是否能提高经典a s m 算法性能。 5 ) 在a s m 算法的基础上研究了人脸脸型自动识别分类方法。人脸的分类， 有利于解决人脸数据大库分类为小库的问题。因此人脸脸型自动识别分类 方法具有使用价值。a s m 算法完成面部特征点定位后，可以得到关于人 脸形状的信息。如何利用这一信息，实现对人脸脸型的识别和分类，实现 a s m 算法的实际运用，也是论文研究的重点之一。 1 4 2 论文的结构 论文的结构安排如下： 1 ) 第一章，绪论部分，主要介绍本论文的研究背景，说明面部关键点的定义 和选取原则，从定位时依据主要信息的角度综述了自动人脸识别中的主要 面部关键特征点定位技术，并指出本论文的主要工作和结构安排。 2 ) 第二章，分析比较几种常见的面部关键特征点定位方法，讨论这些方法优 点和不足以及改进方向，选择a s m 方法为基础的人脸定位方法研究方向。 3 ) 第三章，深入研究了经典a s m 方法的原理和模型建立过程。编写程序代 码实现a s m 算法，通过实验比较了两种a s m 搜索策略的特点。通过实 验说明影响a s m 算法性能的主要因素，总结了a s m 算法的主要不足 4 ) 第四章，综述近几年出现的a s m 算法的改进方法，结合局部二值模式， 提出以局部二值模式抽取局部纹理模型的a s m 改进方案。编写程序实现 了该改进方案，在实验中验证了这种改进方法的性能，并从光照鲁棒性、 定位正确率和定位速度三个方面，与经典a s m 算法做了比较。 5 ) 第五章，在a s m 模型的基础上提出一种基于a s m 的脸型自动识别分类 方法，并编写程序通过实验验证算法的可行性，并与已有方法比较。 6 1 第六章，总结了论文的主要工作，指出工作中存在的问题，展望人脸面部 关键特征点定位技术的发展方向和进一步研究的重点。 第7 页 国防科学技术大学研究生院硕士学位论文 第二章常用面部关键特征点定位方法研究 关于面部特征点的定位，学者们已提出了很多方法，包括s n a k e 方法【l 、可 变形模板方法( d e f o r m a b l et e m p l a t e ) i 1 3 】、弹性图匹配技术( e l a s t i cg r a p h m a t c h i n g ) 2 5 】、a s m ( a c t i v es h a p em o d e l ，主动形状模型) 【2 8 1 、a a m ( a c t i v e a p p e a r a n c em o d e l ，主动表观模型1 【2 9 3 0 】等。 这些方法利用的基础信息不尽相同，各有其特点。s n a k e 方法和可变形模板方 法，主要以几何形状信息为基础完成特征点的定位。弹性图匹配技术以动态链接 模型为基础，是基于关联信息的方法。a s m ( a c t i v es h a p em o d e l ，主动形状模型) 和a h m ( a c t i v ea p p e a r a n c em o d e l ，主动表观模型) 都是以点分布模型的基础上，利 用了几何形状信息。同时a s m 为每一个特征点建立局部纹理模型，实际上也利用 了特征点周围的纹理信息。而a a m 利用p c a 方法对以特征点连线分割的图像整 体建模分析，因此它也是基于表观信息的方法。目前，大部分具体的面部关键特 征点定位方法都融合了多种信息，多信息融合不仅可以减少搜索的空间，减少搜 索定位时间，而且可以提高定位的精度。目前，融合多种信息是面部关键特征点 定位方法改进和发展趋势之一。 2 1 常用面部关键特征点定位方法原理及特点 s n a k e 方法【1 1 1 、可变形模板方法【1 3 、弹性图匹配技术、主动形状模型【2 8 1 、 主动表观模型【2 9 ，3 0 】是面部关键特征点定位的主流技术。目前，提出的定位方法多 是在这五种方法的基础上改进，尤其以主动形状模型和主动表观模型是最为关注 的热点之一，提出的改进方案多。本节简要说明这五种方法的原理，并分析总结 了这些算法的优缺点。 2 1 1 s n a k e 方法 s n a k e 方法也叫活动轮廓模型( a c t i v ec o n t o u rm o d e l ，a c m ) ，由k a s s 等【l l 】提 出，用于跟踪人嘴部运动。s n a k e 方法将视觉领域人们基于形状的认识与图像的底 层知识有机的结合起来，使s n a k e 曲线收敛于图像中人们感兴趣的区域。 2 111 s n a k e 方法原理 s n a k e 方法建立了s n a k e 模型，它的数学描述如下： v ( s ) 是一条包含目标轮廓且在目标轮廓附近的曲线。这条曲线有一组控制点组 成，控制点为 第9 页 国防科学技术大学研究生院硕士学位论文 v ( s ) = 【( x ( s ) ，少( s ) ) 】，s 0 ，l 】( 2 1 ) 其中x ( s ) 和y ( s ) 是每一个控制点在图像中的坐标位置。这些控制点首尾相连 构成轮廓线。s n a k e 模型的任务是合理的规定曲线能量函数的形式和能量最小化的 方法，能量函数的表达式为： 1 p1 ， e = ie 二出( ，( 5 ) ) 出= i k ( v ( s ) ) + e 哗( v ( s ) ) + e 乙( v ( s ) ) 】凼 ( 2 2 ) 66 s n a k e 的能量函数分别为内部能量、图像能量和外部约束三部分。内部能量控 制s n a k e 本身的性质，是控制轮廓线连续性和平滑度的力量。图像能量突出图像 中需要引起s n a k e 注意的地方，是吸引轮廓线到特定特征的力量。外部约束是对 s n a k e 的一些提示，对应交互界面中人工参与的部分。内部能量、图像能量和外部 约束的具体定义及计算方法在文献【l l 】中有详细的介绍。 s n a k e 模型的最小化能量函数定义如下： 1 ，l p e = i e 二出( v ( s ) ) 凼= i 【( v ( s ) ) + e i m a 弘( v ( s ) ) + g 。o n ( v ( s ) ) 凼 ( 2 3 ) 65 在实际运用中，需要把蛇线离散化。 nnn e = 瓦。( v ) + 哼( e ) + k ( u ) ( 2 4 ) i = li - ii = l s n a k e 模型最常使用的能量最小化算法主要有三个：k a s s 等提出的数值算法 【1 1 1 、a m i n i 等提出的基于动态规划的算法叫和w i l i l i a m s 等提出的贪婪算法【3 2 】。 2 1 12s n a k e 方法优缺点 s n a k e 方法与一些经典方法比有其独特的优点【3 3 】： 1 ) 将图像数据、初始估计、目标轮廓及基于知识的约束统一于一个特征提取 过程中。 2 ) 经过适当的初始化，s n a k e 方法能够自主的收敛于能量最小状态。 3 ) s n a k e 方法受空间尺度影响小，计算时在尺度空间中由粗到精的极小化能 量，扩展了捕获区域，降低了计算复杂性。 同时，s n a k e 方法用于定位人脸特征点，还存在很多缺点。s n a k e 方法不能处 理变形过程中的拓扑结构变化，它往往需要依靠其他的机制，如用户交互等，来 解决这个问题。s n a k e 方法的主要缺陷概括如下： 1 ) 对初始位置敏感，需要依靠其他机制将s n a k e 放置在感兴趣的图像特征附 近，迭代算法收敛时间长。 2 ) s n a k e 模型非凸性，可能会收敛到局部极值点，甚至发散。 3 ) 对凹型轮廓或较高曲率的凸型轮廓检测效果不理想，无法检测多目标轮廓 第1 0 页 国防科学技术大学研究生院硕士学位论文 和内轮廓。 4 ) s n a k e 方法要求图片质量较好，没有遮挡。虽然能定位特征的位置，但具 体的特征点难以确定。 2 1 2 可变形模板方法 可变形模板方法( d e f o r m a b l et e m p l a t e ) 1 3 1 是用参数可变的几何图形拟合人脸 特征，如人眼的特征点定位【1 3 】时，将眼睛特征定义为有两条抛物线( 上下眼睑) 和一个圆( 虹膜) 构成的几何图形，通过优化的方法来调整其参数以达到最佳的 匹配。人嘴巴、下巴等也可以采用类似的几何图形建模。 2 1 21 可变形模板方法原理 可变形模板方法用于人脸特征定位时，首先参数化特征模型，如在人眼定位 中采用如图2 1 所示的眼睛模型。同时使用一个能量函数作为匹配度的评价函数， 其定义如下： e = e4 - 丘4 - e 。4 - e4 - e r n a l ( 2 5 ) 其中外部能量由峰( e ) 、谷( e ) 、边缘( e ) 及光强( e ) 这四部分信息组成， 删的定义为 e i n t e m a 等c 屯一，2 + 等( 毋+ 圭c ，+ 6 ，) 2 + 等( 昱+ 圭c ，+ 6 ， 2 + 等c 6 2 ，2 c 2 6 ， 其中毛、k 2 和颤为权值，不同权值组合可以使函数具有不同的功能，其他参 数见图2 1 。 卜- 斗_ 一 图2 1 人眼可变形模板 可变形模板定位人眼特征时，首先将可变形模板放到图像上人眼附近位置， 通过设定不同的权值，使能量函数最小化，而逐步完成尺寸、偏转角以及位置和 形状的微调，最终达到可变形模型和人眼特征的最佳匹配。人眼可变形模板的定 位图【1 3 】如图2 2 所示。 第1 1 页 国防科学技术大学研究生院硕士学位论立 图2 2 人眼可变形模板定位过程 2 1 2 2 可变形模板方法优缺点 可变形模板方法在人脸识别相关领域有很大的影响，相比s n a k e 方法，它延 续了s n a k e 方法中通过最小化能量函数指导可变形模型和不同图像上的特定特征 匹配的思想，同时也克服了s n a k e 方法无法适应变形过程的拓扑结构变化的问题， 大大提高了定位的精度。 虽然可变形模板采用几何形状建模的方法有其s n a k e 方法不能比拟的优点， 但是固定的几何图形并不能很好对实际上千差万别的眼睛形状建模，而光照、姿 态和表情的变化更使得这种简单固定的数学模型难以适应这些复杂的变化，很难 实现鲁棒的特征提取。同时算法本身也有如下缺点： 1 ) 模板的初始化位置对定位结果有很大的影响。 2 ) 能量函数优化过程收敛缓慢，耗时长。 3 ) 权值设定优化速度慢、容易陷入局部极小也阻止了该算法的进一步发展。 2 13 弹性图匹配方法 弹性图匹配技术( e l 鹳t i cg r a p hm a t c h i n g ) 1 2 5 是面部关键特征点定位的另一个重 要算法。该方法主要思想是在二维空间中定义了一种对于通常的人脸变形具有一 定的不变性的距离，通过一个属性圈来描述面部关键特征点的属性及其之问的位 置关系，图的顶点对关键点的局部纹理建立g a b o r 特征模型，图的边反映特征点 之间的距离等位置关系，特征点基于相位预测的位移估计结合图匹配技术在新输 第1 2 页 国防科学技术大学研究生院硕士学位论文 入图像上定位。算法定位精度较高，但是运算量大，速度慢。 2 131 弹性图匹配原理 弹性图匹配方法，采用如图2 3 所示的属性拓扑图来代表人脸。图中任一定点 包含一个特征向量，用来记录人脸在该定点位置附近的局部纹理信息，图的边表 示各个特征点之间的位置关系。顶点的特征向量，通过对顶点附近局部纹理进行 g a b o r 变换，获得g a b o r 特征向量【2 4 】。弹性图匹配方法事先建立人脸图像g a b o r 特征向量库，库中人脸面部特征点手工标定