（地球探测与信息技术专业论文）基于上下文驱动多贝叶斯分类器的人脸检测定位系统.pdf

基于上下文驱动多贝叶斯分类器的人脸检测与定位系统 基于上下文驱动多贝叶斯分类器的人脸检 测定位系统 作者简介：王曦。硕士研究生，生于1 9 8 0 年1 2 月，地球探测与信息技术专业，师从苗放教 授，毕业于成都理工大学信息工程学院。 摘要 人脸检测是模式识别的一个新近的发展方向和重要应用，人脸检测和识别 在安全识别、身份鉴定、以及公安部门的稽查活动中都有广泛而重要的应用前景。 就人脸检测这一部分，它是人脸识别的首要步骤，长久以来人们都在致力于找到 一个能够快速定位人脸的算法。目前人脸检测的方法主要有两种，基于启发式模 型的方法和基于统计式模型的方法，而近些年，基于统计模型的模式识别方法 被广泛运用，比如基于神经网络的模式识别等。说到人脸检测就不能不提到人脸 识别问题，人脸识别问题是指：对输入的人脸图像或者视频，首先判断其中是 否存在人脸，如果存在人脸，则进一步的给出每个人脸的位置、大小和各个主要 面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴含的身份 特征，并将其与已知人脸库中的人脸进行对比，从而识别每个人脸的身份。 人脸识别技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域， 智能门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等是典型的 应用：在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身 份验证，社会保险人的身份验证等具有重要的应用价值：在家庭娱乐等领域， 人脸识别也具有一些有趣有益的应用，比如能够识别主人身份的智能玩具、家政 机器人，具有真实面像的虚拟游戏玩家等等。本文提出的人脸检测问题是人脸识 别这个问题下的一个子问题，这也是人脸识别的前提。 本文将介绍人脸检测与人脸识别中的各种技术，列举数据比较各种人脸检测 方法的检测效果，以比较它们的优劣。并且提出一种基于上下文驱动多贝叶斯分 类器的人脸检测定位方法。最后用一系列的实验验证该方法在各种应用的适应能 力。 关键词：人脸检测人脸识别上下文驱动多贝叶斯分类器 摘要 f a c ed e t e c t i o ns y s t e mu s i n gc o n t e x t - d r i v e nm u l t i p l e b a y e s i a nc l a s s i f i e r a u t h o r ：w a n gx i ，ap o s t g r a d u a t es t u d e n t , m a j o r i n g i ne a r t he x p l o r a t i o na n di n f o r m a t i o n t e c h n o l o g y , w a s b o r no nd e c e m b e r , 1 9 8 0 ，w a sg r a d u a t e df r o mc o l l e g eo fi n f o r m a t i o n e n g i n e e r i n ga tc h e n g d uu n i v e r s i t yo f t e c h n o l o g y t h ei n s t r u c t o ri sp r o f m i a of a n g ， a b s t r a c t f a c ed e t e c t i o ni san e wd e v e l o p m e n tt r e n da n di m p o r t a n ta p p l i c a t i o ni nt h ef i e l d o fp a t t e r nr e c o g n i t i o n f a c ed e t e c t i o na n df a c er e c o g n i t i o nh a v eam u c hw i d e l ya n d v a l u e dp r o s p e c to fa p p l i c a t i o ni ns e c u r i t yr e c o g n i t i o n ，p e r s o n a li d e n t i f i c a t i o na n dt h e w o r ko fi n s p e c t i o ni np u b l i cs e c u r i t yo r g a n s f a c ed e t e c t i o ni st h ef i r s ts t a g eo ff a c e r e c o g n i t i o n t h er e s e a r c h e r sa l w a y st r yt of i n d af a c el o c a t i o na l g o r i t h mw i t hh i 【g h a e e u r a c ya n de f f i c i e n c yf o ral o n gt i m e p r e s e n t l y , f a c ed e t e c t i o nh a st w ok i n d so f m e t h o d o n ei sb a s e do nt h eh e u r i s t i cm o d e l i n gm e t h o d ，a n dt h eo t h e ri sb a s e do n s t a t i s t i c a lm o d e l i n gm e t h o d t h es t a t i s t i c a lm o d e l i n gb a s e dd e t e c t i o nm e t h o di s w i d e l yu s e di nr e c e n ty e a r s t h ef a c er e c o g n i t i o ni sm e n t i o n e dw h e ns t u d yt h ef a c ed e t e c t i o n t h em a i n p r o c e s so ff a c er e c o g n i t i o ni s ：d e t e c ti ft h e r ei saf a c eo rn o ti naf a c ei m a g ei n p u u e d o rc a p t u r e db yc a m e r a i fi ti s ，g i v eap o s i t i o n ，s i z ea n di n f o r m a t i o no fe a c hf a c ef o ra f i t r t h e r s t u d y d e p e n d i n g o nt h i si n f o r m a t i o n , e x t r a c tt h e p e r s o n a l f e a t u r eo f i d e n t i f i c a t i o n a n df i n a l l y , c o m p a r et h ef e a t u r e sw i t ht h e s ei nf a c ed a t a b a s ef o r i d e n t i f i c a t i o n t h ei s s u eo ff a c ed e t e c t i o ni sas u b s e to ff a c er e c o g n i t i o n , a l s ot h ep r e m i s e so f f a c er e c o g n i t i o n i nt h ep a p e r , w ei n t r o d u c et h ed i f f e r e n tm e t h o d so ff a c ed e t e c t i o n a n dr e c o g n i t i o n t h ep r o p o s e dc o n t e x t - d r i v e nb a s e dm u l t i p l eb a y e s i a nc l a s s i f i e r s s c h e m ei sd e s c r i b e d a n das e r i e so fe x p e r i m e n t sw h i c he m p l o yt h ep r o p o s e dm e t h o d t os o m ed i f f e r e n ta p p l i c a t i o np r o v et h ep e r f o r m a n c eo ft h i sm e t h o d k e y w o r d s ：f a c ed e t e c t i o n ，f a c er e c o g n i t i o n ，c o n t e x t d r i v e n ，m u l t i p l eb a y e s i a n c l a s s i f i e r s 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得盛壑堡兰太堂或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者导师签名： 学位论文作者签名： 学位论文版权使用授权书 , e l e t 本学位论文作者完全了解盛整堡王盔堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权盛壑理工盍堂可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 五日敦 7 矽| 年 月7 , - 日 第1 章引言 第1 章引言 1 1 课题的来源及背景意义 本课题来自与韩国仁荷大学生物工程研究中心合作开发的人脸识别实时系 统项目。本论文主要针对其中的一个子课题人脸检测与定位系统来深入研究。 人脸识别技术就是通过计算机提取人脸的特征，并根据这些特征进行身份验 证的一种技术。人脸与人体的其他生物特征( 指纹、虹膜等) 一样与生俱来，它们 所具有的唯一性和不易被复制的良好特性为身份鉴别提供了必要的前提：同其他 生物特征识别技术相比，人脸识别技术具有操作简单、结果直观、隐蔽性好的优 越性。因此，人脸识别在信息安全、刑事侦破、出入口控制等领域具有广泛的应 用前景。 人脸识别技术从最初对背景单一的正面灰度图像的识别，经过对多姿态( 正 面、侧面等) 人脸的识别研究，发展到能够动态实现人脸识别，目前正在向三维人 脸识别的方向发展。在此过程中，人脸识别技术涉及的图像逐渐复杂，识别效果不 断地得到提高。虽然人脸识别研究已积累了宝贵的丰富经验，但目前的识别技术 仍然不能对诸如复杂背景中的人脸等进行有效的处理和自动跟踪。同时，与其他 学科不同的是：人脸识别技术融合了数字图像处理、计算机图形学、模式识别、 计算机视觉、人工神经网络和生物特征技术等多个学科的理论和方法，需要研究 人员具有完善的知识体系和丰富的经验。另外，人脸自身及所处环境的复杂性， 如表情、姿态、图像的环境光照强度等条件的变化以及人脸上的遮挡物( 眼镜、 胡须) 等，都会使人脸识别方法的鲁棒性受到很大的影响。因此，人脸识别技术仍 然是2 1 世纪富有挑战性的课题。人脸识别技术主要通过三个步骤完成，即人脸检 测定位、面部特征提取和人脸对比确认识别。 1 - 2 本课题国内外研究发展历程及现状 1 2 1 本研究的发展历程 人脸识别的研究历史比较悠久。高尔顿( g a l t o n ) ( g a l t o ns f ，1 8 8 8 ) 早在1 8 8 8 年和1 9 1 0 年就分别在c n a t u r e ) 杂志发表了两篇关于利用人脸进行身份识别的文 章，对人类自身的人脸识别能力进行了分析。但当时还不可能涉及到人脸的自动 成都理工大学硕士学位论文 识别问题。最早的a f r l 的研究论文见于1 9 6 5 年陈( c h a n ) 和布莱索( b l e d s o e ) 在p a n o r a m i cr e s e a r c hi n c 发表的技术报告，至今已有四十年的历史。近年来， 人脸识别研究得到了诸多研究人员的青睐，涌现出了诸多技术方法。尤其是1 9 9 0 年以来，人脸识别更得到了长足的发展。几乎所有知名的理工科大学和主要i t 产业公司都有研究组在从事相关研究。 人脸识别是一个被广泛研究着的热门问题，大量的研究论文层出不穷，在一 定程度上有泛滥成“灾”之嫌。为了更好地对人脸识别研究的历史和现状进行介 绍，本文将人脸识别的研究历史按照研究内容、技术方法等方面的特点大体划分 为三个时间阶段，如表l 所示。该表格概括了人脸识别研究的发展简史及其每个 历史阶段代表性的研究工作及其技术特点。下面对三个阶段的研究进展情况作简 单介绍： 表1 - 1 人脸发展简史 t a b i e1 - 1 ad e v e i o p m e n to ff a c er e c o g n i t i o f t 阶段1 9 6 4 1 9 9 01 9 9 1 1 9 9 7 1 9 9 8 现在 特主 作为一般识别问重点是较理想条件下、用户配重点是非理想条件、用户不 征要 题研究，基于特征合、中小规模数据库上的识别问配合、大规模数据库的识别 的方法是主流 题；基于表观的子空间分析和统问题；3 d 和非线性是趋势； 计方法是主流； 已知的最早的 特征脸( e i g e n f a c e ) 光照锥技术 a f r 研究论文 基于特征的方法与基于模板的s v m 2 用于人脸识别中 辇篷 首个半自动人脸 方法对比 识别系统 美国d a r p a 3 启动f e r e t 4 测试 3 d 可变形模型 项目 建单 第一篇a f r 方面局部特征分析( l f a 5 ) 人脸识别 基于a d a b o o s t 6 的人脸检测 蓁室 的博士论文方法发展成为v i s i o n i c s 公司技术 f a c e l t 商业系统 簦墓 基于剪影分析的基于双子空间的贝叶斯概率学流形学习i s o m a p 7 l l e 8 与 人脸识别习 方 法 人脸识别研究综述朗博反射与线性空间分析 人脸的低维表示 f i s h e f f a c e 9 基于商图像的识别方法 1a u t o m a t i cf a c e r e c o g n i t i o n 自动人脸识别 2s u p p o r t v e c t o r m a c h i n e s ，支持向量机 3 美国国防部高级研究计划局( 署) 4f a c e r e c o g n i t i o n t e c h n o l o g y t e s t ，一个由美国国防部反毒品技术发展计划办公室资助的项目。 l o c a lf e a t u r e a n a l y s i s 6 一种采用多分类器级联的分类器设计方法 7 一种有效的基于流形理论的非线性降维方法 l o c a l l yl i n e a re m b e d d i n g ，一种非线性降维方法 2 第1 章引言 弹性图匹配技术人脸检测综述 a s m a a m l o f r v t “2 0 0 0 ，2 0 0 2 测试 基于特征的方法基于模板的方法 技 基于神经网络的识别方法 术 特 基于表观的2 d 人脸子空间分析与统计学习方法 点 线性模型方法非线性流形分析技术 基于2 d 图像模型的人脸识别基于3 d 模型的人脸识别 第一阶段( 1 9 6 4 年1 9 9 0 年) 这一阶段人脸识别通常只是作为一个一般性的模式识别问题来研究，所采用 的主要技术方案是基于人脸几何结构特征( g e o m e t r i cf e a t u r eb a s e d ) 的方法。 这集中体现在人们对于轮廓( p r o f i l e ) 的研究上，人们对面部轮廓曲线的结构 特征提取与分析方面进行了大量研究。人工神经网络也一度曾经被研究人员用于 人脸识别问题中。较早从事a f r 研究的研究人员除了布莱索( b l e d s o e ) 外还有戈 登斯泰因( g o l d s t e i n ) 、哈蒙( h a r m o n ) 以及金出武雄( k a n a d et a k e o ) 等。金出 武雄于1 9 7 3 年在京都大学完成了第一篇a f r 方面的博士论文，直到现在，作为卡 内基一梅隆大学( c m u ) 机器人研究院的一名教授，仍然是人脸识别领域的活跃人 物之一。他所在的研究组也是人脸识别领域的一支重要力量。总体而言，这一阶 段是人脸识别研究的初级阶段，非常重要的成果不是很多，也基本没有获得实际 应用。 第二阶段( 1 9 9 1 年1 9 9 7 年) 这一阶段尽管时间相对短暂，但却是人脸识别研究的高潮期，可谓硕果累累： 不但诞生了若干代表性的人脸识别算法，美国军方还组织了著名的f e r e t 人脸识 别算法测试，并出现了若干商业化运作的人脸识别系统，比如最为著名的 v i s i o n i c s ( 现为i d e n t i x ) 的f a c e i t 系统。 美国麻省理工学院( m i t ) 媒体实验室的特克( t u r k ) 和潘特兰德( p e n t l a n d ) 提出的“特征脸”方法无疑是这一时期内最负盛名的人脸识别方法。其后的很多 人脸识别技术都或多或少与特征脸有关系，现在特征脸已经与归一化的协相关量 ( n o r m a l i z e dc o r r e l a t i o n ) 方法一道成为人脸识别的性能测试基准算法。 这一时期的另一个重要工作是麻省理工学院人工智能实验室的布鲁内里 ( b r u n e l l i ) 和波基奥( p o g g i o ) 于1 9 9 2 年左右做的一个对比实验，他们对比了 基于结构特征的方法与基于模板匹配的方法的识别性能，并给出了一个比较确定 的结论：模板匹配的方法优于基于特征的方法。这一导向性的结论与特征脸共同 9 基于f i s h e r 线形判别分析方法的技术，是种经典的人脸识别方法 1 0 a c t i v es h a p em o d e l a c t i v ea p p e a r a n c em o d e l “f a c e r e c o g n i t i o n v e n d o r t e s t ，笑国国防部有关部门进一步组织的针对人脸识别商业系统的评测。 3 成都理工大学硕十学位论文 作用，基本中止了纯粹的基于结构特征的人脸识别方法研究，并在很大程度上促 进了基于表观( a p p e a r a n c e b a s e d ) 的线性子空间建模和基于统计模式识别技术 的人脸识别方法的发展，使其逐渐成为主流的人脸识别技术。 贝尔胡米尔( b e l h u m e u r ) 等提出的f i s h e r f a c e 人脸识别方法是这一时期的 另一重要成果。该方法首先采用主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ， p c a ，亦即特征脸) 对图像表观特征进行降维。在此基础上，采用线性判别分析 ( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 的方法变换降维后的主成分以期获得 “尽量大的类间散度和尽量小的类内散度”。该方法目前仍然是主流的人脸识别 方法之一，产生了很多不同的变种，比如零空间法、子空间判别模型、增强判别 模型、直接的l d a 判别方法以及近期的一些基于核学习的改进策略。 麻省理工学院的马哈丹( m o g h a d d a m ) 则在特征脸的基础上，提出了基于双 子空间进行贝叶斯概率估计的人脸识别方法。该方法通过“作差法”，将两幅人 脸图像对的相似度计算问题转换为一个两类( 类内差和类间差) 分类问题，类内 差和类间差数据都要首先通过主成分分析( p c a ) 技术进行降维，计算两个类别 的类条件概率密度，最后通过贝叶斯决策( 最大似然或者最大后验概率) 的方法 来进行人脸识别。 人脸识别中的另一种重要方法一一弹性图匹配技术( e l a s t i cg r a p h m a t c h i n g ，e g m ) 也是在这一阶段提出的。其基本思想是用一个属性图来描述人 脸：属性图的顶点代表面部关键特征点，其属性为相应特征点处的多分辨率、多 方向局部特征g a b o r 变换”特征，称为j e t ；边的属性则为不同特征点之间的 几何关系。对任意输入人脸图像，弹性图匹配通过一种优化搜索策略来定位预先 定义的若干面部关键特征点，同时提取它们的j e t 特征，得到输入图像的属性图。 最后通过计算其与已知人脸属性图的相似度来完成识别过程。该方法的优点是既 保留了面部的全局结构特征，也对人脸的关键局部特征进行了建模。近来还出现 了一些对该方法的扩展。 局部特征分析技术是由洛克菲勒大学( r o c k e f e l l e ru n i v e r s i t y ) 的艾提克 ( a t i c k ) 等人提出的。l f a 在本质上是一种基于统计的低维对象描述方法，与只 能提取全局特征而且不能保留局部拓扑结构的p c a 相比，l f a 在全局p c a 描述的基 础上提取的特征是局部的，并能够同时保留全局拓扑信息，从而具有更佳的描述 和判别能力。l f a 技术己商业化为著名的f a c e i t 系统，因此后期没有发表新的学 术进展。 由美国国防部反毒品技术发展计划办公室资助的f e r e t 项目无疑是该阶段内 的一个至关重要的事件。f e r e t 项目的目标是要开发能够为安全、情报和执法部 1 2 亦称窗 j 傅里叶变换或短时傅里叶变换( s h o n n m cf o u r i e r t r a n s f o r m a t i o n , s t f t ) ，1 9 4 6 年g a b o r 提出。 4 第1 章引言 门使用的a f r 技术。该项目包括三部分内容：资助若干项人脸识别研究、创建f e r e t 人脸图像数据库、组织f e r e t 人脸识别性能评测。该项目分别于1 9 9 4 年，1 9 9 5 年 和1 9 9 6 年组织了3 次人脸识别评测，几种最知名的人脸识别算法都参加了测试， 极大地促进了这些算法的改进和实用化。该测试的另一个重要贡献是给出了人脸 识别的进一步发展方向：光照、姿态等非理想采集条件下的人脸识别问题逐渐成 为热点的研究方向。 柔性模型( f l e x i b l em o d e l s ) 包括主动形状模型( a s m ) 和主动表观模 型( a a m ) 是这一时期内在人脸建模方面的一个重要贡献。a s m a a m 将人脸描述为 2 d 形状和纹理两个分离的部分，分别用统计的方法进行建模( p c a ) ，然后再进一 步通过p c a 将二者融合起来对人脸进行统计建模。柔性模型具有良好的人脸合成 能力，可以采用基于合成的图像分析技术来对人脸图像进行特征提取与建模。柔 性模型目前已被广泛用于人脸特征对准( f a c e a l i g n m e n t ) 和识别中，并出现了 很多的改进模型。 总体而言，这一阶段的人脸识别技术发展非常迅速，所提出的算法在较理想 图像采集条件、对象配合、中小规模正面人脸数据库上达到了非常好的性能，也 因此出现了若干知名的人脸识别商业公司。从技术方案上看，2 d 人脸图像线性 子空间判别分析、统计表观模型、统计模式识别方法是这一阶段内的主流技术。 第三阶段( 1 9 9 8 年现在) f e r e t 9 6 人脸识别算法评估表明：主流的人脸识别技术对光照、姿态等由 于非理想采集条件或者对象不配合造成的变化鲁棒性比较差。因此，光照、姿态 问题逐渐成为研究热点。与此同时，人脸识别的商业系统进一步发展。为此，美 国军方在f e r e t 测试的基础上分别于2 0 0 0 年和2 0 0 2 年组织了两次商业系统评测。 基奥盖蒂斯( g e o r g h i a d e s ) 等人提出的基于光照锥( 1 1 l u m i n a t i o n c o n e s ) 模型的多姿态、多光照条件人脸识别方法是这一时期的重要成果之一，他们证明 了一个重要结论：同一人脸在同一视角、不同光照条件下的所有图像在图像空间 中形成一个凸锥即光照锥。为了能够从少量未知光照条件的人脸图像中计算 光照锥，他们还对传统的光度立体视觉方法进行了扩展，能够在朗博模型、凸表 面和远点光源假设条件下，根据未知光照条件的7 幅同一视点图像恢复物体的3 d 形状和表面点的表面反射系数( 传统光度立体视觉能够根据给定的3 幅已知光照 条件的图像恢复物体表面的法向量方向) ，从而可以容易地合成该视角下任意光 照条件的图像，完成光照锥的计算。识别则通过计算输入图像到每个光照锥的距 离来完成。 以支持向量机为代表的统计学习理论也在这一时期内被应用到了人脸识别 与确认中来。支持向量机是一个两类分类器，而人脸识别则是一个多类问题。通 成都理工大学硕士学位论文 常有三种策略解决这个问题，即：类内差类间差法、一对多法( o n e - t o - r e s t ) 和一对一法( o n e - t o o n e ) 。 布兰兹( b l a n z ) 和维特( v e t t e r ) 等提出的基于3 d 变形( 3 d m o r p h a b l e m o d e l ) 模型的多姿态、多光照条件人脸图像分析与识别方法是这一阶段内一项开创性的 工作。该方法在本质上属于基于合成的分析技术，其主要贡献在于它在3 d 形状和 纹理统计变形模型( 类似于2 d 时候的a a m ) 的基础上，同时还采用图形学模拟的 方法对图像采集过程的透视投影和光照模型参数进行建模，从而可以使得人脸形 状和纹理等人脸内部属性与摄像机配置、光照情况等外部参数完全分开，更加有 利于人脸图像的分析与识别。b l a n z 的实验表明，该方法在c m u p i e ( 多姿态、光 照和表情) 人脸库和f e r e t 多姿态人脸库上都达到了相当高的识别率，证明了该 方法的有效性。 2 0 0 1 年的国际计算机视觉大会( i c c v ) 上，康柏研究院的研究员维奥拉 ( v i o l a ) 和琼斯( j o n e s ) 展示了他们的一个基于简单矩形特征和a d a b o o s 的实 时人脸检测系统，在c i f 格式上检测准正面人脸的速度达到了每秒1 5 帧以上。该 方法的主要贡献包括：1 ) 用可以快速计算的简单矩形特征作为人脸图像特征；2 ) 基于a d a b o o s t 将大量弱分类器进行组合形成强分类器的学习方法；3 ) 采用了级 联( c a s c a d e ) 技术提高检测速度。目前，基于这种人脸非人脸学习的策略已经 能够实现准实时的多姿态人脸检测与跟踪。这为后端的人脸识别提供了良好的基 础。 沙苏哈( s h a s h u a ) 等于2 0 0 1 年提出了一种基于商图像”的人脸图像识别与绘 制技术。该技术是一种基于特定对象类图像集合学习的绘制技术，能够根据训练 集合中的少量不同光照的图像，合成任意输入人脸图像在各种光照条件下的合成 图像。基于此，沙苏哈等还给出了对各种光照条件不变的人脸签名( s i g n a t u r e ) 图像的定义，可以用于光照不变的人脸识别，实验表明了其有效性。 巴斯里( b a s r i ) 和雅各布( j a c o b s ) 则利用球面谐波( s p h e r i c a lh a r m o n i c s ) 表示光照、用卷积过程描述朗博反射的方法解析地证明了一个重要的结论：由任 意远点光源获得的所有朗博反射函数的集合形成一个线性子空间。这意味着一个 凸的朗博表面物体在各种光照条件下的图像集合可以用一个低维的线性子空间 来近似。这不仅与先前的光照统计建模方法的经验实验结果相吻合，更进一步从 理论上促进了线性子空间对象识别方法的发展。而且，这使得用凸优化方法来强 制光照函数非负成为可能，为光照问题的解决提供了重要思路。 f e r e t 项目之后，涌现了若干人脸识别商业系统。美国国防部有关部门进一 步组织了针对人脸识别商业系统的评测f r v t ，至今已经举办了两次：f r v t 2 0 0 0 ”一种采用笛卡尔除法来消除光照影响的技术 6 第1 章引言 和f r v t 2 0 0 2 。这两次测试一方面对知名的人脸识别系统进行了性能比较，例如 f r v t 2 0 0 2 测试就表明c o g n i t e c ，i d e n t i x 和e y e m a t i c - 一个商业产品遥遥领先于其 他系统，而它们之间的差别不大。另一方面则全面总结了人脸识别技术发展的现 状：较理想条件下( 正面签证照) ，针对3 7 4 3 7 人1 2 1 ，5 8 9 幅图像的人脸识别 ( i d e n t i f i c a t i o n ) 最高首选识别率为7 3 ，人脸验证( v e r i f i c a t i o n ) 的等错误率 ( e e r “) 大约为6 。f r v t 测试的另一个重要贡献是还进一步指出了耳前的人脸识别 算法亟待解决的若干问题。例如，f r v t 2 0 0 2 测试就表明：目前的人脸识别商业系 统的性能仍然对于室内外光照变化、姿态、时间跨度等变化条件非常敏感，大规 模人脸库上的有效识别问题也很严重，这些问题都仍然需要进一步的努力。 总体而言，目前非理想成像条件下( 尤其是光照和姿态) 、对象不配合、大 规模人脸数据库上的人脸识别问题逐渐成为研究的热点问题。而非线性建模方 法、统计学习理论、基于b o o s t i n g “的学习技术、基于3 d 模型的人脸建模与识别 方法等逐渐成为备受重视的技术发展趋势。 1 2 2 国内研究动态 目前，国内外对人脸检测问题的研究很多，比较著名的有m i t 、c m u 等：国内 人脸检测与识别的研究自2 0 世纪8 0 年代起步后，大都集中在基于几何特征、代 数特征、神经网络和模板匹配的检测和识别这几个方面，特别是有关神经网络的 研究比重较大。在此基础上，基于多分类器的人脸检测与识别受到的关注较大， 这方面的研究成果较多。特别是近几年引入三维特征后，利用三维与二维信息的 融合进行人脸检测与识别成为另一个亮点。中国科学院计算所的“面像检测与识 别核心技术”这一国家8 6 3 项目取得重大突破，达到了国际先进水平，标志着我国 在人脸识别这一当今热点科研领域掌握了一定的核心技术，并已应用到会议代表 入场的身份认证上。虽然人脸检测与识别受到了国内学术界的较大关注，并在2 0 世纪末、2 1 世纪初取得了较大的发展，但总体上，目前仍处于起步阶段，研究大都 基于几何特征或代数特征，与国际水平仍存在较大差距。但随着j d l 大规模人脸 图像数据库( 周德龙，张晓华，刘博，2 0 0 3 ) 的建立以及各种生物识别会议的召开， 我国生物识别研究队伍正不断扩大，水平在不断提高，与国外差距也在不断缩小。 1 3 本文研究目的 随着社会的发展，诸如视觉监控、远程教育、人机交互技术及安全等各方面 “e q u a le r r o rr a t e ，等错误率 ”推进算法；一种分类算法，基本思想是将多个能力较弱的分类器级联( 类比多级火箭) 得到一个更强 的分类器。 7 成都理工大学硕士学位论文 都迫切希望能够进行快速、有效的身份验证。生物特征因为自身的稳定性和差异 性，已经成为身份验证的主要手段。人脸是一种极为复杂的、多维的模式，也是一 种典型的非刚性模式。 人的面部特征十分丰富，除了形状、表情之外，还有五官的特征及分布。通过 对这些特征的研究，可以理解人的情绪等状况。与其他利用视网膜识别( 无法确保 对人体的安全性) 及指纹识别( 涉及个人隐私) 等人体生物特征进行身份验证相 比，人脸检测与识别的应用具有直观、友好及方便等特点，具有广泛的应用前景。 人脸检测与识别是模式识别领域中的经典问题之一。此外，还涉及图像处理、解 剖学及生理学等多方面多领域的知识。 本文提出的人脸检测问题是人脸识别这个问题下的一个子问题，这也是人 脸识别的前提。人脸检测研究具有重要的学术价值，人脸是一类具有复杂细节变 化的自然结构目标，由于人脸的特殊性，人脸检测面临如下几个难题： ( 1 ) 人脸外貌、表情、肤色的不同，造成模式的可变性： ( 2 ) 人脸可能存在眼睛、胡须等附属物： ( 3 ) 人脸影像受到不同光照而产生的影响。 本文主要针对( 2 ) ( 3 ) 问题提出一种基于上下文驱动多贝叶斯分类器的方 法来构造人脸的检测与定位系统。该系统采用了上下文分析的概念，并且将其与 贝叶斯分类器相结合，同时构造了多个贝叶斯分类器弥补了单个贝叶斯分类器的 不足，相应的后处理过程通过合并和裁决决策进一步提高了整个系统的精确性。 因此该系统对不同光照条件下的人脸图像具有很强的适应能力和鲁棒性。 1 4 本文结构 第一章，对该课题的产生原因，意义，该研究领域内各项技术的发展历程以 及本文的研究目的和内容作了简单的阐述。 第二章，对人脸检测与识别的各种技术进行分类介绍。 第三章，具体针对上下文驱动的多贝叶斯分类器技术，指出该技术的创新性， 实用性以及其实现方法。并且对利用上下文驱动的多贝叶斯分类器技术实现的人 脸检测定位系统的主要研究思路和内容进行了说明。提出了对于本课题整个解决 方法的体系框架。 第四章，具体实验环境的说明以及实验所得数据的展示，对该技术进行验证。 结论部分对论文进行了总结，并提出了关于人脸自动检测定位问题的一些改 进方向。 第2 章人脸检测与识别技术的研究 第2 章人脸检测与识别技术的研究 2 1 人脸检测与定位 人脸检测就是从各种不同图像中确定人脸的存在，并且确定人脸的数量、尺 寸、位置和位姿，实质是使人脸与背景( 非人脸) 分离，它是完成自动人脸识别的 第一步，是人脸识别的基础( 章毓晋，2 0 0 2 ) 。人脸检测是一个相当复杂的问题， 由于面部表情的不同及光照条件的变化，眼、口、鼻、耳和胡须等影响，面部伤痕 的出现等，均可不同程度地影响人脸检测的准确度，导致误检( 将非人脸区域误认 为人脸) 或漏检。因此，多年来，人脸检测方法的研究一直引起人们的关注。人脸 检测方法可分为基于知识的和基于统计的两大类( 周杰，卢春雨，张长水，2 0 0 0 ) 。 2 1 1 基于知识的方法 基于知识的方法也可以被称为基于启发的方法。利用人的先验知识建立若干 规则，将人脸检测问题转化为基于面部特征不变量的假设验证问题。利用人脸 的椭圆形轮廓特性，文献( w a n gj 6 ，t a mt n ，2 0 0 0 ) 提取边缘特征，并根据广义h o u g h 变换提取椭圆形状信息，进行人脸检测。文献( 姜军，张桂林，2 0 0 2 ) 提出了一种基 于知识的快速人脸检测方法，采用符合人脸生理结构特征的人脸镶嵌图模型，建 立较为完备的知识库，并采用多级检测的步骤加快检测速度。另外，文献( 卢春水， 张长水，闻芳，1 9 9 9 ) 在传统的镶嵌图法基础上，提出了一种新的广义三分图的人 脸模型分块方案，取得较好效果。眼睛是入脸上最独特的一种器官，已成为许多检 测方法所利用的关键特征。此外，由于人的肤色在图像中的聚类特性及对方向的 不敏感性，己在人脸检测中得到了应用( h s ur l ，m o t t a l e bm a ，j a i na k ，2 0 0 2 ) 。 基于知识的方法需要利用人脸的几何和灰度等方面的特征整理出各种检测规则， 建立规则库，这种规则库还需要在实用中不断修改和完善。 2 i 2 基于统计的方法 由于人脸图像的复杂性，显式地描述人脸特征具有一定困难，因此另一类 方法一基于统计模型的方法越来越受到重视。此类方法将人脸图像看作一个高 维矢量，在高维空间中对分布信号进行检测，使用大量的“人脸”与“非人脸” 样本训练、构造分类器，通过判别图像中所有可能区域属于哪类模式的方法实现 人脸的检测。实际上，人脸检测问题被转化为统计模式识别的二分类问题。基于 9 成都理工大学硕士学位论文 统计的方法较适合对正面人脸图像进行检测，但图像中人脸尺度及位姿发生变化 特别是旋转变化，会使检测难度加大，准确率相应降低。 ( 1 ) 基于特征空间的方法 此类方法将人脸区域图象变换到某一特征空间，根据其在特征空间中的分 布规律划分“人脸”与“非人脸”两类模式。 主元分析( p c a 。p r i n c i p a l c o m p o n e n ta n a y s i s ) 是一种常用的方法。它根 据图像的统计特性进行的正交变换( k l 变换) ，以消除原有向量各个分量间的 相关性。变换得到对应特征值依次递减的特征向量，即特征脸( m o g h a d d a mb ， p e n t l a n da ，1 9 9 7 ) 。m o g h a d d a m 等发现人脸在特征脸空间的投影聚集比较紧密， 因此利用前若干张特征脸将人脸向量投影到主元子空间f 和与其正交的补空间f 相应的距离度量分别称为d i e s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c e f r o mf e a t u r es p a c e ) 。对于人脸检测问题，由于没有考虑“非人脸”样本的分 布，需要同时使用d i e s 和d f f s 才能取得较好的效果。 ( 2 ) 基于人工神经网的方法 人工神经网( a n n ) 方法是把模式的统计特性隐含在a n n 的结构和参数之中， 对于人脸这类复杂的、难以显式描述的模式，基于a n n 的方法具有独特的优势。 c m u 的r o w l e y 等使用了多个a n n 检测多姿态的人脸，算法的框架如图2 1 所示。 输入翻像k 特征提取k i _ _ 目一镕一 图2 - ir o w l e y 的基于人工神经网络人脸检测框架 fig u r e2 - 1 a f r a m e w o r ko fr o we y sa n nb a s e df a c ed e t e c tlo ns y s t e m 图中显示了两类a n n ：一个位姿检测器( p o s ee s t i m a t o r ) 用于估计输入窗口 中人脸的位姿、三个检测器( d e t e c t o r ) 分别检测正面( f r o n t a l ) 、半侧面( h a l f p r o f i l e ) 和侧面( p r o f i l e ) 的人脸。 使用经过对准和预处理的“人脸”样本以及采用“自举”( b o o t s t r a p ) 方法 收集分类器错分的样本作为“非人脸”样本训练各个a n n ，进一步修正分类器。 i o 第2 章人脸检测与识别技术的研究 检测时对输入图象中所有可能位置和尺度的区域首先使用位姿检测器估计人脸 位姿，经校准和预处理后送入三个检测器中，最后对检测器的分类结果进行仲 裁。 在上述框架下，r o w l e y 等对正面端正人脸和正面旋转人脸的检测单独进行 了研究( r o w l e yha ，b a l u j as ，k a n a d et ，1 9 9 7 ) ，( r o w l e yha ，b a l u j as ，k a n a d e t ，1 9 9 8 ) 。对于正面端正的人脸，仅使用了正面人脸检测a n n ，是一种三层前向 网：输入层对应2 0 x 2 0 象素的图象区域：隐层节点分为对应不同人脸区域的若 干组，与输入层部分连接：a n n 输出1 到一1 区问的值表示这个区域是否为人 脸。r o w l e y 等使用相同的“人脸”样本和不同“自举”过程收集的“非人脸” 样本训练了多个正面人脸检测a n n ，对它们的检测结果进行仲裁，以进一步减少 错误报警。对于正面旋转人脸的检测使用了旋转角度检测器及正面人脸检钡u a n n ， 并使用相似的多a n n 仲裁方法降低错误报警。 ( 3 ) 基于支持向量机的方法 支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s ) 是v a p n i k 等提出的基于结 构风险最小化原理( s t r u c t u r a lr i s km i n i m i z a t i o np r i n c i p l e ，s i n ) 的统计 学习理论，用于分类与回归问题。 s i n 使v c ( v a p n i kc h e r o v n e n k i s ) 维数的上限最小化，这使得s v m 方法比 基于经验风险最小化( e m p i r i c a lr i s km i n i m i z a t i o np r i n c i p l e ，e r m ) 的人工 神经网方法具有更好的泛化能力。 o s u n a 等( 姜军，张桂林，2 0 0 2 ) 将s v m 方法用于人脸检测，取得了较好的实 验结果。该方法的基本思路是对每一个1 9 1 9 象素的检测窗口使用s v m 进行分 类，以区分“人脸”和“非人脸”窗口。 s v m 的训练使用了大量人脸样本和“自举”方法收集的“非人脸”样本，并 且使用逼近优化的方法( 卢春水，张长水，闻芳，1 9 9 9 ) 减少支持矢量的数量。需要 说明的是，长期以来s v m 的训练需要求解计算复杂度极高的二次规划问题，限 制了该方法的应用。 p l