（模式识别与智能系统专业论文）基于主动形状模型的人脸特征提取的研究.pdf

大连理工大学硕士学位论文 摘要 自动人脸识别( a f r ) 研究试图赋予计算机根据人脸辨别人物身份的能力。该研究具 有重要的科学意义和巨大的应用价值。经过三十多年的发展，a f r 技术取得了长足的进 步，目前最好的a f r 系统在理想情况下己经能够取得可以接受的识别性能。但测试和 实践经验表明：非理想条件下的人脸识别技术还远未成熟，要开发出真正鲁棒、实用的 a f r 应用系统还需要解决大量的关键问题，尤其需要研究作为识别必要前提条件的面部 关键特征精确定位问题。由于人脸特征定位的主要技术中几个形状信息类方法具有较高 的准确率和较大的鲁棒性，因此，论文主要针对几何形状信息类方法中主动形状模型 ( a s m ) 在人脸特征定位中的应用展开研究。 人脸检测是人脸识别的重要前期工作，本文首先分析了当前人脸检测的常用方法。 图像的预处理是确保整个系统准确工作的基础，没有这个可靠的基石就无法顺利完成后 面庞大的识别过程。本文给出了图像预处理的几种基本方法。 面部特征定位在人脸检测完成之后进行，本文研究了面部特征精确配准问题，重点 讨论了基于主动形状模型的人脸定位算法。首先介绍了点分布模型，并在训练样本对齐、 形状变换建模和灰度模型的建立等方面展开讨论。在基于a s m 的面部特征提取的研究 中，本文对标准的a s m 进行了改进。在特征点搜索过程中，提出了局部区域约束和边 缘约束的搜索策略。提出了增加相关性的特征点标定策略并设计了一个半自动的人脸特 征点标定工具，以提高特征点标定的精度及效率。试验表明，本文提出的改进的主动形 状模型在脸部特征提取中是成功的，它较为显著的提高了面部特征定位的精度并且优于 原始的a s m 方法。 关键词：人脸识别；主动形状模型；图像预处理；面部特征提取 大连理工大学硕士学位论文 t h er e s e a r c ho ff a c i a lf e a t u r e se x t r a c t i o nb a s e do ne n h a n c e da c t i v e s h a p em o d e a b s t r a c t a u t o m a t i cf a c er e c o g n i t i o n ( a f r ) a i m sa te n d o w i n gc o m p u t e r sw i t l lt h ea b i l i t yt o i d e n t i f yd i f f e r e n th u m a nb e i n g sa c c o r d i n gt of a c ei m a g e s s u c har e s e a r c hh a sb o t hs i g n i f i c a n t t h e o r e t i cv a l u e sa n dw i d ep o t e n t i a la p p l i c a t i o n s a r e rm o r et h a n3 0y e a r s d e v e l o p m e n t , a f r h a sm a d eg r e a tp r o g r e s se s p e c i a l l yi nt h ep a s tt e ny e a r s ms t a t e - o f - t h e - a r ta f r s y s t e m n p e r f o r mi d e n t i f i c a t i o ns u c c e s s f u l l yu n d e rw e l l - e o n t r o l l e de n v i r o n m e n t h o w e v e r , e v a l u a t i o n r e s u l t sa n dp r a c t i c a le x p e r i e n c eh a v es h o w nt h a ta f r t e c h n o l o g i e sa l ec u r r e n t l yf a rf r o m m a t u r e ag r e a tn u m b e ro fc h a l l e n g e sf i l et ob es o l v e db e f o r eo n ec a n m p l e m e n tar o b u s t p r a c t i c a la f ra p p l i c a t i o n ，e s p e c i a l l yt h ea c c u r a t ef a c i a lf e a t u r el o c a t i o np r o b l e m w h i c hi st h e p r e r e q u i s i t ef o rs e q u e n tf e a t u r ee x a c t i o na n dc l a s s i f i c a t i o n ，b e c a u s et h eg e o m e t r ys h a p e i n f o r m a t i o nm e t h o dh a s t h eh i 曲a c c u r a c yr a t ea n dt h eb i gr o b u s t n e s sa m o n gm a i n t e c h n i q u e s o fh u m a nf a c i a lf e a t u r e s l o c a l i z a t i o n ，t h i sp a p e rs t u d i e sg e o m e t r yi n f o r m a t i o nb a s e d a l g o r i t h m so fa c t i v es h a p em o d e l ( a s m ) a n di t sa p p l i c a t i o ni nh u m a nf a c i a lf e a t u r e s l o c a l i z a t i o n a st h ee a r l i e rp e r i o do f t h er e c o g n i t i o n , f a c ed e t e c t i o ni sv e r yi m p o r t a n t t 1 1 i sp a p e rf i r s t d e s 嘶b e ss o m em a i nc u r r e n tm e t h o d so ff a c ed e t e c t i o n i m a g e sp r e p r o c e s s i n gi sa ne s s e n t i a l f o u n d a t i o nf o rt h ew h o l es y s t e m f a c er e c o g n i t i o nw o u l dn o tg oo nw h e e l sw i t h o u tar e l i a b l e p r e p r o c e s s i n g s e v e r a lm e t h o d so fi m a g e sp r e p r o e e s s i n ga r eg i v e ni nt h ep a p e r f a c e a l i g n m e n ts h o u l db ec a r r i e do u ta f t e rf a c ed e t e c t i o n , a n dt h i sp a p e rd i s c u s s e st h ef a c e a l i g n m e n ta l g o r i t h mu s i n ga c t i v es h a p em o d e la se m p h a s i s p o i n td i s t r i b u t i o nm o d e li s d e s c r i b e df i r s t l y , a n dt h r e ea s p e c t so f a s ma r ed i s c u s s e d ：a l i g n i n gt h et r a i n i n gs e t , m o d e l i n g s h a p ev a r i a t i o na n dl o c a lg r e ym o d e l i m p r o v e m e n t sa r em a d et ot h es t a n d a r da s mf o rf a c i a lf e a t u r ed e t e c t i o n l o c a la r e a c o n s t r a i n tm e t h o da n de d g ec o n s t r a i n tm e t h o da r ep r o p o s e d a l s o ，ap o i n t sl a b e l i n gs t r a t e g y w h i c hi n c r e a s et h er e l a t i v i t yo f t h el a b e l c dp o i n t si sp u tf o r w a r d a n das e m i a u t o m a t i cf e a t u r e p o i n t sl a b e l i n gt o o li sd e s i g n e dw h i c hg r e a t l yi m p r o v eb o t ht h ea c c u r a c ya n dt h ee f f i c i e n c yo f l a b e l i n gw o r k e x p e r i m e n ts h o w st h ei m p r o v e da c t i v es h a p em o d e li ss u c c e s s f u li nf a c i a l f e a t u r ee x t r a c t i o na n do u t p e r f o r m ss i g n i f i c a n t l yb e t t e rt h a ns t a n d a r da c t i v es h a p em o d e li nt h e l o c a l i z a t i o no ff a c i a lf e a t u r e s 基于主动形状模型的人脸特征提取的研究 k e yw o r d s ：f a c er e c o g n i t i o n ；a c t i v es h a p em o d e l ；i m a g e sp r e p r o c e s s i n g ；f a c i a lf e a t u r e e x t r a c t i o n - i v - 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获碍大连理 工大学或者其他单位的学位或证书所使用过的材料与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 、 作者签名：l 堡煎a 互日期：冱墨堡! 丝 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名 导师签名 枣盘：鼗 俎年旦月监日 大连理工大学硕士学位论文 1绪论 1 1 课题的背景与研究现状 1 1 1 人脸识别与生物特征识别 生物特征识别，或者生物测定学( b i o m e t r i c s ) ，就是通过计算机与光学、声学、生 物传感器和生物统计学原理等手段密切结合，利用人体故有的、能够唯一标识其身份的 生理特性或者行为特征来进行个人身份鉴定的技术。用于生理识别的生物特征有人脸、 手形、指纹、虹膜、耳廓、d n a 等，行为特征有签字、声纹、按键力度、步态等。基 于这些特征，研究人员已经发展了人脸识别、手形识别、指纹识别、语音识别、虹膜识 别、签名识别、步态识别等多种生物识别技术。指纹识别技术是最早通逑计算机实现的 身份识别手段，在今天也是应用最为广泛的生物特征识别技术。 与传统的身份鉴定手段相比，基于生物特征识别的身份鉴定技术具有以下优点： ( 1 ) 广泛性：每个人都有这种特征； ( 2 ) 唯一性：每个人拥有的特征都各不相同； ( 3 ) 稳定性：所选择的特征不随时间变化而变化； ( 4 ) 可采集性：所选择的特征应该便于测量。 在公共安全和信息安全等领域，生物特征识别技术得到了日益广泛的应用，展示了 其巨大的应用潜力。在保障国家公共安全方面，对社会危险分子、恐怖分子以及违法犯 罪人员进行及时、有效的监控和抓捕至关重要。以指纹、声纹和人脸识别为代表的生物 特征识别技术为此提供了强有力的保障。特别是9 1 l 恐怖袭击时间发生后，世界各国都 深刻体会到了安全方便的身份识别和验证技术的重要性和必要性。我国当然也不例外， 2 0 0 8 年的北京奥运会和2 0 1 0 年的上海世博会，都要求采用准确可靠的生物特征识别技 术来防止各种可能的恐怖与破坏等犯罪活动。在网络日益普及的今天，信息获取和访问 的安全性问题已经引起了社会各界的广泛关注。人们在尽情享受网络所带来的快捷、方 便的服务的同时，也经受着隐秘资料的安全性的挑战。生物特征识别技术可以为此提供 非常快捷、方便和可靠的技术手段。在保证人们能够正常获取信息的基础上，保障信息 访问的安全性。 由上述分析不难看出，在生物识别领域，尽快形成具有我国自主知识产权的理论方 法和技术手段势在必行，以保障国家公共安全，社会信息安全。 基于主动形状模型的人脸特征提取的研究 1 1 2 人脸识别的特点 人脸识别( f a c er e c o g n i t i o n ) 研究可以追溯n - 十世纪六十年代的中后则1 - 6 。经过 四十多年来的发展，人脸识别技术得到了长足的进步。特别是近十年来，人脸识别更是 人工智能、模式识别、计算机视觉等领域的一个热门研究课题。从政府机构到公司部门， 从国内外知名大学到研究所，众多的研究人员和相关人员投入了极大的兴趣与热情研究 人脸识别，并辅以巨大的人力和财力，这突出显示了人脸识别重要的研究意义以及潜在 的应用前景。 ( 1 ) 学术价值 人脸识别是一个典型的图像模式分析、理解与分类的问题，它涉及图像处理、模式 识别、人工智能、计算机视觉、计算机图形学、神经网络、认知科学、心理学、生理学 等诸多学科。人脸识别课题为这些学科提供了良好的交叉学科的基础实验平台，有助于 以上各学科提出新的理论和方法，并加以解释和验证。 对于模式识别领域而言，人脸识别是最具有挑战性的课题之一：不同类别间的 模式差异度很小；同类的模式具有较大的不稳定性：模式的种类数目庞大；采集过程、 成像精度、个体的不稳定性等也极大的增加了这一问题的复杂性。 对于计算机视觉领域而言，融合人脸的一般性先验形状和纹理信息来准确的恢 复、重建特定的3 d 结构是一个非常有价值的研究方向川。 对于认知科学领域，研究人员基于人脸识别研究了和正在研究人脸模式在人脑 中的记忆、存储以及分类的过程，这对于研究人脑的感知机理是相当重要的【引。 ( 2 ) 人脸识别技术的优势 在生物特征识别技术中，人脸识别具有其独到的技术优势，主要体现在以下几个方 面： 隐蔽性和操作性强，特别适合于安全监控； 非接触式操作，符合一般用户的习惯，容易被大多数用户所接受； 图像采集系统的成本低廉； 友好的用户界面，可交互性强； 具有方便、快捷、强大的事后追踪能力。 ( 3 ) 人脸识别技术的不足 人脸识别技术同其它生物识别技术相比较，也有其故有的一些缺陷，主要表现在以 下几个方面： 人脸识别中一些核心技术有待于进一步的提高。比如侧面人脸检测、面部特征 定位、人脸表征以及3 d 建模等技术目前还不是很成熟，而对于千千万万人的面孔而言， 大连理工大学硕士学位论文 差异又是非常的微妙，对于这些技术的要求是非常高的，这使得人脸识别技术上实现的 可靠性受到了挑战。 同虹膜、指纹等特征相比，个体面部特征的稳定性较差。虽然通常情况下人的 面部特征不会发生根本性的改变，但是人脸的三维弹性皮肤表面会因表情、年龄、化妆 等原因使得面部特征发生较大的改变，而使得识别性能下降。 人脸图像的采集受外界的影响较大，比如光照条件、视角、距离等，也会造成 识别性能的下降。 以上所分析的技术不足使得人脸识别成为一个极具挑战性的课题。目前，广大的科 研人员正以饱满的热情投入到人脸识别技术的研究中，并且已经取得了令世人瞩目的成 果。我们有理由相信，随着技术的进步，入脸识别技术将能更好的服务于社会，服务于 人民的生活。 1 1 3 人脸识别的研究现状 在六十年代初期，人脸识别就引起了研究者的强烈兴趣。最近几年来，人脸识别研 究越来越受到学术和商业界的关注，人脸识别的输入图像通常有三类情况：正面、侧面、 倾斜。目前，对正面人脸识别最多，它的发展主要分为三个阶段： 第一阶段以b e r t i l l o n , a 1 l e n 和p a r k e 为代表，主要研究人脸识别所需要的面部特征。 在b e r t i l l o n 系统中，采用一个简单语句与数据库中的一张人脸建立联系，取得了较好的 识别效果。a l l e n 为待识别的人脸设计了一个有效特征，从而提高了人脸的识别率。p a r k e 把它用计算机实现，并产生了较高质量的人脸灰度图模型。这一阶段的特点是识别过程 几乎完全依赖于操作人员。 第二阶段是人机交互识别阶段。g o l d s t i o n 等人用几何特征参数来表示人脸正面图 像，采用2 l 维特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。 k a y a 和k o b a y a s h i 采用统计识别的方法，用欧氏距离来表征人脸特征。总的来说，这类 方法需要利用操作员的某些先验知识，还是摆脱不了人的干预。 第三阶段可以说是真正的人脸识别阶段，近几年来，随着高性能计算机的发展，人 脸识别的方法有了较大的突破，目前已经提出了多种机器全自动识别系统。 国内关于人脸自动识别的研究始于8 0 年代，我国许多高校、研究机构在图像处理 和模式识别领域有很好的研究基础，积极开展了对包括人脸识别在内的基于人体生物特 征识别技术的基础研究和应用开发工作。我们相信在不久的将来，这一研究领域的研究 和产品开发工作将处于世界的前列。总之，人脸识别技术有着非常广阔的应用前景，自 动的人脸识别系统在各种不同的领域中的应用必将对人们的生活产生深远的影响。 一3 一 基于主动形状模型的人脸特征提取的研究 1 2 人脸识别系统构成 人脸识别过程主要通过三个步骤完成，即人脸检测旧定位、面部特征提取和人脸对 比识别确认，典型的人脸识别系统的基本框图如图1 1 所示： i 已有人l j 人脸的检l 【图像的l f 脸图库广t 7 1 测与定位广一i 预处理广、 l 图像l 一、| 人脸的检l r 、【图像的l - ji 特征提取l 一 获取r 一7 i 测与定位r 一1 预处理r 一 与选择广一 图1 1 人脸识别系统组成 f i g 1 1 s t r u c t u r e o f a f a c e r e c o g n i t i o ns y s t e m 从系统框图中可以看出一个完整的人脸识别系统可以由如下的功能模块构成： ( 1 ) 图像的获取： 该模块从外界获取图像，作为人脸识别系统的输入。该模块可以是一个摄像头或者 是扫描仪等设备。 ( 2 ) 人脸的检测与定位： 处理分析从图像获取模块输入的图像，判断其中是否存在人脸，如果存在人脸则找 到人脸在图像的位置，并且将人脸从背景图像中分离出来。该模块在整个人脸识别系统 中具有非常重要的作用。因为该模块的结果直接影响到后面识别的效果。从图像获取模 块输入的图像可以是静态的，也可以是动态的，可以是彩色的也可以是灰度的，背景可 以是简单的，也可以是复杂的。不同的图像输入条件，对该模块的设计提出了不同的要 求。总之，在系统设计时要根据实际的应用环境与要求，进行精心的设计。 ( 3 ) 图像预处理： 预处理的主要作用在于尽可能的去除或减小光照、成像系统、外部环境等等对于待 处理图像的干扰，为后续处理提供高质量的图像。这部分对检测到的人脸图像进行几何 的归一化、消除噪声、和灰度归一化、水平与垂直位置的校正等处理，为后面的特征提 取创造条件。 ( 4 ) 特征的提取和选择： 该模块完成从经过预处理模块处理的图像提取可以用来识别的特征，将原始图像中 的数据映射到特征空间。由于原始的图像数据量是相当大的，为了有效地实现分类识别， 网 大连理工大学硕士学位论文 就要对原始数据进行变换，得到最能反映分类本质的特征。如何提取稳定和有效的特征 是识别系统成败的关键。 ( 5 ) 训练： 该过程也可称为分类器设计。此过程结束后将生成可用于识别的参数，也就是可用 于分类识别的分类器。事实上，模式识别问题可以看成是一个分类问题，即把待识别的 对象归到某一类中。在人像识别问题中就是把输入的不同的人像归入某个人这一类。 这部分的基本做法是在样本训练集基础上确定某个判决规则，使按这种判决规则对 被识别对象进行分类所造成的错误识别率最小或引起的损失最小。 ( 6 ) 识别： 该模块根据训练所得的参数完成人脸的判别工作，给出最后的识别结果，并做出相 应的判断。 总的来说，人脸识别系统一般可以分为两个过程：人脸的检测与人脸的识别。图1 1 所示，虚线上边为人脸识别系统的训练部分，下边为人脸的特征的提取与识别部分。 1 3 人脸识别的应用 鉴于以上所分析的人脸识别技术的特点以及人脸识别技术的广阔前景，人脸识别目 前已经得到了一些典型的应用，见表1 1 。 九十年代中后期以来，在众多科研人员的攻关之下，在相关部门、组织和公司的资 助下，一些商业性的人脸识别系统开始进入市场。能够以产品的形式向公众展示，在某 种程度上也说明了人脸识别技术具备了一定的成熟度。目前，主要商业系统包括： v i s i o n i c s 公司的f a c e r 人脸识别系统，该系统基于r o c k e f e l l e r 开发的局部特征分析算 法； l a ut c c h 公司的人脸识别确认系统，采用m r r 技术； m i r o s 公司t r u e f ；啪和e t n l e 身份验证系统，其核心技术为神经网络： c - v i s 公司的人脸识别确认系统； b a n q u e t e c 公司的身份验证系统； v i s a g eg a l l c r y s ：身份认证系统，基于m i t 媒体实验室的e i g e n f a c e 技术； p l c t t a ce l e c t r o n i c sf a c “r a c s 出入控制系统。 国内还有一些公司有相关的商业产品，如上海银晨公司、海青华远、中盾、长春宏 达等等。 基丁：主动形状模型的人脸特征提取的研究 表1 1 人脸识别系统典型应用 t a b i 1 t y p i c a la p p l i c a t i o n so f f a c er e c o g n i t i o ns y s t e m - 6 大连理工大学硕士学位论文 2 人脸检测与特征提取概述 2 1 人脸检测 人脸检测( f a c ed e t e c t i o n ) 是指使用计算机在输入图像中确定所有人脸( 如果存在) 的位置与大小的过程。人脸检测系统的输入是可能包含人脸的图像，输出是关于图像中 是否存在人脸以及人脸的参数化描述。具体地说，就是根据一定的算法确定输入图像是 否存在人脸，如果存在的话，标出人脸的位置作为人脸检测系统的输出。人脸检测是人 脸识别的前提，是模式识别和计算机视觉领域的重要研究方向之一。人脸检测的研究受 到重视，不仅因为它在基于人脸的身份验证、视觉监测以及基于内容的检索等方面有着 重要的应用，而且从学术的观点来看，人脸检测是物体( 模式) 检测中的一个典型问题， 在智能监控、人机交互、基于对象的编码等领域也有着广泛的应用。计算机检测人脸的 困难之处在于：背景、表情、光照、成像角度、成像距离等影响，而且从二维图像重建 三维人脸是病态过程，目前尚无很好的描述人脸的三维模型。此外，人脸检测还涉及图 像处理、模式识别、以及神经网络等多学科。如果用于实时处理，还要加上计算速度的 要求。这些因素使得高质量的人脸检测仍为一项极富挑战性的课题，受到众多研究者的 关注。 2 1 1 人脸检测问题的分类 人脸检测内容问题所涉及到的内容十分广泛，从不同的角度可以有多种分类方法l g j 。 如表2 1 。 表2 1 人脸检测问题的分类 t a b 2 1s o n so f f a c ed e t e c t i o np r o b l e m 图像背景复杂程度简单背景复杂背景 应用领域 箍篙竺蠢恶凳黼麓纛篆鬈瓤磁繇纸 基丁二主动形状模型的人脸特征提取的研究 2 1 2 人脸检测关键方法 人脸检测问题所包含的内容十分广泛，从不同的角度有不同的分类方法。本文介绍 的方法主要是针对静态图像中的人脸检测。目前已有的人脸检测方法种类繁多，大致可 分四类：基于知识的人脸检测方法、基于统计模型的人脸检测方法、基于特征的人脸检 测方法、基于模板匹配的人脸检测方法以及基于肤色的人脸检测方法。 ( 1 ) 基于知识的方法 基于知识的方法是基于规则的人脸检测方法，规则来源于研究者关于人脸的先验知 识。一般比较容易提出简单的规则来描述人脸特征和它们的相互关系，如在一幅图像中 出现的人脸，通常具有互相对称的两只眼睛、一个鼻子和一张嘴。特征之间的相互关系 可以通过它们的相对距离和位置来描述。在输入图像中首先提取面部特征，确定基于编 码规则的人脸候选区域。 这种方法存在的问题是很难将人类知识转换为明确定义的规则。如果规则是详细的 ( 严格的) ，由于不能通过所有的规则，检测可能失败；如果规则太概括( 通用) ，可能会 有较高的错误接收率。此外，很难将这种方法扩展到在不同的位姿下检测人脸，因为列 举所有的情况是一项很困难的工作。 ( 2 ) 基于统计模型的方法 由于人脸图像的复杂性，显式地描述人脸特征具有一定困难，因此另一类方法一 基于统计模型的方法越来越受到重视。此类方法将人脸区域看作一类模式，即模板特征， 使用大量的“人脸”与“非人脸”样本训练、构造分类器，通过判别图像中所有可能区 域属于哪类模式的方法实现人脸的检测。实际上，人脸检测问题被转化为统计模式识别 的二分类问题。 基于特征空间的方法。此类方法将人脸区域图象变换到某一特征空间，根据其 在特征空间中的分布规律划分“人脸”与“非人脸”两类模式。主元分析( p c a ， p r i n c i p a l c o m p o n e n ta n a l y s i s ) 是一种常用的方法。它根据图像的统计特性进行的正交变 换( k - l 变换) ，以消除原有向量各个分量间的相关性。变换得到对应特征值依次递减的 特征向量，即特征脸。n o g h a d d a m 等【1 0 l 发现人脸在特征脸空间的投影聚集比较紧密，因 此利用前若干张特征脸，将人脸向量投影到主元子空间f 和与其正交的补空间f ，相应 的距离度量分别称为d i f s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c c f r o mf e a t u r e s p a c e ) 。对于人脸检测问题，由于没有考虑“非人脸”样本的分布，需要同时使用d i f s 和d f f s 才能取得较好的效果。 基于人工神经网的方法 大连理工大学硕士学位论文 人工神经网( a n n ) 方法【l ”是把模式的统计特性隐含在a n n 的结构和参数之中，对 于人脸这类复杂的、难以显式描述的模式，基于a n n 的方法具有独特的优势。 c m u 的r d w l e y 等【1 2 - 1 4 使用了多个a n n 检测多姿态的人脸，算法的框架如图1 2 所 示。图中显示了两类a n n ：1 个位姿检测器( p o s ee s t i m a t o r ) 用于估计输入窗口中人脸的 位姿、3 个检测器( d e t e c t o r ) 分别检测正面( f r o n t a l ) 、半侧面( h a l fp r o f i l e ) 和侧面( p r o f i l e ) 的人脸。使用经过对准和预处理的“人脸”样本以及采用“自举”( b o o ts t r a p ) 方法收集 分类器错分的样本作为“非人脸”样本训练各个a n n ，进一步修正分类器。检测时对输 入图像中所有可能位置和尺度的区域首先使用位姿检测器估计人脸位姿，经校准和预处 理后送入3 个检测器中，最后对检测器的分类结果进行仲裁。 输入 图像 图2 1a n n 人脸检测算法 f i g 2 1 f a c ed e t e c t i o na l g o r i t h mb ya n n 检测 结果 在上述框架下，r o w l e y 等对正面端正人脸和正面旋转人脸的检测单独进行了研究。 正面端正的人脸，仅使用了正面人脸检测a n n ，是一种三层前向网：输入层对应2 0 x 2 0 像素的图像区域；隐层节点分别对应不同人脸区域的若干组，与输入层部分连接；a n n 输出1 到一1 区间的值表示这个区域是否为人脸。r o w l e y 等使用相同的“人脸”样本和不 同“自举”过程收集的“非人脸”样本训练了多个正面人脸检测a n n ，对它们的检测结 果进行仲裁，以进一步减少错误报警。对于正面旋转人脸的检测使用了旋转角度检测器 及正面人脸检测a n n ，并使用相似的多a n n 仲裁方法降低错误报警。 基于人工神经网的方法还有j u e l l 等【1 5 】和k o u z a n i 等f 1 6 1 提出的基于人脸器官检测的 多级回络方法、a n i f a n t i s 等【l ”提出的双输出人工神经网的检测算法等。 ( 3 ) 基于特征的方法 基于主动形状模型的人脸特征提取的研究 基于特征的方法不仅可以从已有的面部特征而且可以从它们的几何关系进行人脸 检测。与基于知识的方法相反，它是寻找人脸的不变特征用于人脸检测。人们已经提出 了许多先检测人脸面部特征，后推断人脸是否存在的方法。面部特征，如眉毛、眼睛、 鼻子、嘴和发际，一般利用边缘检测器提取，根据提取的特征，建立统计模型描述特征 之间的关系并确定存在的人脸。基于特征的算法存在的问题是，由于光照、噪声和遮挡 等使图像特征被严重地破坏，人脸的特征边界被弱化，阴影可能引起很强的边缘，而这 些边缘可能使得算法难以使用。 s i r o h e y 提 了从复杂的背景中分割人脸进行人脸识别的定位方法【1 町。它使用边缘图 和启发式算法来去除和组织边缘，而只保存一个边缘轮廓，然后用一个椭圆拟合头部区 域和背景间的边界。g r a f 等人提出定位灰度图像的面部特征和人脸的检测方法【m 。在滤 波以后，用形态学的方法增强具有高亮度、含有某些形状( 如眼睛) 的区域。l e u n g 等人 提出一种基于局部特征检测器和任意图匹配的概率方法，在复杂场景中定位人脸f 冽。其 目标是找到确定的面部特征的排列。典型的人脸用五个特征两只眼睛、两个鼻孔和鼻子 与嘴唇的连接处来描述。y o w 和c i p o l l a 提出了一种基于特征的方法【2 l 。2 1 。在第一阶段， 应用了二阶微分g a u s s i a n 滤波器，在滤波器响应的局部最大点检测感兴趣的点，指出人 脸特征可能的位置；第二阶段，检查感兴趣点周围的边缘并将它们组成区域。这种方法 的优点是可以在不同的方向和位姿上检测人脸1 2 3 1 。h a n 等人提出了一种基于形态学的技 术进行眼部分割进而实现人脸检测的方法 2 4 1 。他们认为眼睛和眼眉是人脸最突出和稳定 的特征，特别适合人脸检测。 ( 4 ) 基于模板匹配的方法 在机器识别事物的过程中，常需把不同传感器或同一传感器在不同时间和不同成像 条件下对同一景物获取的两幅或多幅图像在空间上对准，或根据已知模式在另一幅图中 寻找相应的模式，这就叫匹配。早期基于模板匹配的检测方法【2 5 , 2 6 1 是这样做的：首先建 立一个标准的人脸模板，由包含局部人脸特征的子模板构成，然后对一幅输入图像进行 全局搜索，对应不同尺度大小的图像窗口，计算与标准人脸模板中不同部分的相关系数， 通过预先设置的阈值来判断该图像窗口中是否包含人脸。 基于模板匹配的方法是提前建立一个标准的人脸模板，在检测和定位人脸时，在图 像灰度层次上直接将待检测人脸图像的模板与这个标准模板相比较，求两者的相似程 度。这种方法比较容易完成一定的人脸检测任务，但对于质量不太好的图像，检测效果 不理想。因此，鉴于单模板匹配的不足，通过改进提出了基于多模板匹配的单人脸检测 方法，它的主要思想是：首先建立双眼模板和不同长宽比的人脸模板，在进行人脸检测 大连理工大学硕士学位论文 时，先使用双眼模板找出双眼的位置，再使用不同长宽比的人脸模板根据人脸的长宽比 确定出人脸区域的位置和范围，最后利用人脸器官的边缘特征进行确认。 y u l l i e 等提出了基于弹性模板的方法用于人脸的检测。弹性模板【27 】是由一个根据被 测物体形状而设定的参数化的可调模板和与之相应的能量函数所构成，能量函数要根据 图像的灰度信息、被测物体轮廓等先验知识来设计。当用弹性模板进行人脸检测时，首 先，将可调模板在待测图像中移动，并动态地调整其参数，计算能量函数。当能量函数 到达最小值时，根据其位置和参数所决定的可调模板形状应该达到与人脸形状的最佳拟 合，这样就检测到了一幅人脸。这种方法的优点在于，由于使用的弹性模板可调，能够 检测不同大小、具有不同偏转角度的物体。但是其缺点是检测前必须根据待测人脸的形 状来设计弹性模板的轮廓【2 引，否则会影响收敛的结果；当对图像进行全局搜索时，由于 要动态地调整参数和计算能量函数，计算时间过长。周激流等人提出了一种全新的人脸 脸部轮廓提取算法，即运用先验模板及交替补偿机制的方法提取脸部轮廓。实验证明， 其提出的特征提取算法高效且鲁棒性能好。 ( 5 ) 基于肤色的方法 对于彩色图像而言，肤色是检测人脸的最直观、最有效的元素。而使用该方法时， 需要考虑的是有色光光照，因种族导致肤色差异、同种族人的肤色差异等等而造成的色 度变化问题。 w u 2 9 1 提出了一种使用模糊理论在彩色图像中检测人脸的方法。该方法使用两种不同 的模糊模型( 分别描述皮肤颜色和头发颜色) 和归一化的色度空间来提高精确性和稳定 性，来检测人脸区域。据称该方法取得了9 0 至1 j 1 0 0 的成功率，并且速度较快，有着很 好的实时性。 c a i o o 提出一种使用色度图的方法在彩色图像中检测人脸。该方法通过一个训练过 程来获得色度图，色度图包含了不同的色度点作为皮肤的概率信息，然后使用此色度图 将彩色图像转换为灰度图像，高的灰度值表示该像素点是皮肤的概率大。使用该方法检 测人脸区域的成功率大于9 6 。 闻芳掣3 i 】提出了一种基于局部线性映射神经网络和亮度补偿的彩色人脸检测方法。 该方法在实验室背景下取得了较好的效果，并且对于各种光照条件变化都有很好的稳健 性。 2 1 3 人脸模式分析 ， 人脸图像所包含的模式特征十分丰富，如图1 1 所示。这些特征中哪些是最有用的、 如何利用这些特征，是人脸检测要研究的一个关键问题。人脸模式具有复杂而细致的变 基于主动形状模型的人脸特征提取的研究 化，因此一般需要采用多种模式特征综合的方法。综合的方式主要有以下几种：简单组 合( 加权平均等) 【3 2 1 ，概率分布( b a y e s 推理等) ，统计推断，模糊决策，机器学习( 人工神 经网络，支持向量机等) ，启发式综合。归纳起来，根据利用特征的色彩属性可以将人 脸检测方法分为基于肤色特征的方法和基于灰度特征的方法两类。前者适用于构造快速 的人脸检测和人脸跟踪算法，后者利用了人脸区别于其它物体的更为本质的特征，是人 脸检测领域研究的重点。根据特征综合时采用的不同模型，可以将基于灰度特征的方法 分为两大类：基于启发式( 知识) 模型的方法和基于统计模型的方法。由于人脸检测问题 的复杂性，无论哪一类方法都无法适应所有的情况，一般所说的解决方法都针对人脸检 测领域内某个或某些特定的问题而言的。 图2 2 人脸模式的特征 f i g 2 2 c h a r a c t e r so f f a c i a lp a t t e r n 2 1 4 人脸检测的评价标准 为了反映出人脸检测系统的性能，常用统计指标包括：正确检测率、错误检测率以 及处理速度等。 正确检测率是正确检测到的人脸数目除以测试集中包含的人脸总数目。 正确检测率= 嘉皂碧篡翼妻燃，o o c z - ， 错误检测率是指检测系统将非人脸的区域错误的输出为“人脸”，错误检测率就是 错误检测到的人脸数目除以测试集中包含的人脸总数目。 大连理工大学硕士学位论文 错误检测率= 嘉笔姜塞翼裂燃o o c z z ， 处理速度也是一个检测系统优劣的重要指标，但其与实验平台有关，很难客观的比 较，往往以给出典型图片的处理时间作为参考。 除此之外，其它评价标准还有： ( 1 ) 训练样本数和训练速度，在不影响识别性能的情况下，要求训练样本数尽可能 少，训练速度尽可能快，训练时间尽可能短； ( 2 ) 检测响应速度，希望检测响应速度越短越好； ( 3 ) 对人脸图像的约束，希望对人脸图像拍摄条件以及人脸姿态、表情等约束越少 越好； ( 4 ) 系统可容纳的检测人脸的数目，希望能正确检测的人脸的数目越多越好； ( 5 ) 检测系统的硬件要求、系统的学习能力以及处理噪声的能力等。 在人脸检测的研究中，至今尚无统一的评价标准。目前使用的较多的人脸测试集是 m 1 1 r 和c m u 人脸测试图像库，它们是灰度图像测试集，但是怎样的模式才算是人脸，以 及怎样才算是真正检测到了一个人脸，并无公认的判断依据。尽管许多文献给出了在 c m u 和m 1 1 r 测试集上的检测率和误检率，但是直接用这些数字来比较各种算法的优劣是 不太合理的。特别是对于基于表象的算法，他们使用的训练集不同，在检测过程中用窗 口遍历图像时的移动间隔、采样图像的数量都不尽相同，合并检测结果的方法不同，这 些因素对检测结果都有很大的影响。对于彩色图像的人脸检测研究，至今尚无标准测试 集可供使用。 尽管目前存在许多的人脸检测算法，但是每种算法都是针对不同的应用环境而得到 的，还没有一种算法适用各种不同的环境。虽然人们在人脸检测研究领域中取得了显著 的进展，但是一个稳定性和鲁棒性强的人脸检测系统需要在复杂环境下如光照条件、人 脸方向、姿势和部分遮挡、面部表情以及外部饰物等干扰下，也要具有很好的有效性和 稳定性。通过对上述文献总结，人脸检测研究的趋势应该是利用多种线索( 头发、肤色、 器官、轮廓和模板等) ，综合多种分类方法( 高斯模型、混和高斯模型、神经网络和支持 向量机) 等，最后利用启发式信息与统计学习方法相结合。 2 2 特征提取 特征提取对于人脸识别来说是一个关键的步骤，特征提取的合适与否直接决定识别 的效果。所谓特征提取就是通过映射或者是变换的方法将高维的原始特征转换到低维的 特征空间中，得到人脸特征的低维表示。引入特征提取的主要原因是人脸图像在其原始 基于主动形状模型的人脸特征提取的研究 样本空间中的分布并不集中，这通常不利于进行有效的归类识别。为了能区分不同类的 人脸图像，可以把原始的人脸图像通过线性或者是非线性的方法转换到另外一个空间 中，使得同类的人脸图像在此空间中分布更加紧凑，从而便于识别和归类。 2 2 1 几何特征 人脸的几何特征通常是以人脸器官形状和几何关系为基础的特征矢量，其分量通常 包括人脸指定两点间的欧氏距离、曲率和角度等。典型的人脸几何特征分量如眼、口、 鼻和眉毛等重要特征点。 基于几何特征的人脸识别方法可以为人脸显著特征提供一个高效的，自然的描述模 型。但是由于这种方法有计算量大，对初始条件和初始参数要求较高，不易实现自动化 的特点，对于复杂背景状态下的人脸图像，直接进行几何提取，识别率极低。 2 2 2 频域特征 人脸图像为一个特殊的二维信号源，其频域变换必然表现出某些特性。在频域上对 人脸图像进行分析，可以得到它的频域特征并且将其用于人脸识别。人脸的表情变化和 少许遮掩只影响局部光强变形，如果变换到频域，则只会影响高频部分，这种现象叫做 高频现象。人脸的频率特征具有位移不变性，可以有效地消除因空间位置对不准引起的 位移误差，对因表情变化、少许遮掩、几何变形，少许姿态和光照条件变化带来的差异 具有较强的容错性。但是这种方法也有一定的缺点，同样不适用于具有较大旋转角度的 人脸图像识别，只能描述人脸图像的全局信息，不能刻画人脸各个器官的局部特征和空 间相关信息。 利用频域特征的常用方法有：小波脸等。其中g a b o r 小波证明是在人脸识别中最为 有效的提取特征方法之一p 3 1 。 大连理工大学硕士学位论文 3 图像的预处理 一个通常的图像识别系统，一般可以将流程分为三个阶段，在获取原始图像后，首 先是图像预处理阶段、第二是特征提取阶段、第三是识别分析阶段。其中图像的预处理 阶段尤为重要，如果这阶段处理不好，后面的工作将无法展开。所