（模式识别与智能系统专业论文）基于web的人脸检测跟踪系统的设计与实现.pdf

中文摘要 信息数字化和网络化的高速发展对国家以及社会生活安全提出了全新的要 求。在这种环境下，传统的安全技术显得力不从心。而生物特征认证技术是解决 信息化、数字化、网络化社会安全问题的最好的办法之一。常用的生物特征认证 技术包括：人脸识别、虹膜识别、指纹识别、声音识别、步态识别等。在众多的 生物特征认证技术中，人脸识别因具有获取直接隐蔽、识别速度快、识别准确率 高、安全性高、使用条件简单，非侵犯性等特点，在公安、安防、银行、计算机 网络信息安全等诸多领域内具有广阔的应用。 人脸识别研究工作一般分为三个过程：人脸检测，面部特征定位以及人脸特 征提取与识别。而人脸检测是人脸识别过程中最为基础和关键的环节。只有精准 的定位人脸的位置，才能够准确的识别人脸。 本文首先概述了目前国内外比较流行的几种人脸检测的算法，分析了各种算 法的优缺点，其中重点介绍了本文所构建人脸检测系统所使用的算法一 b o o s t e dc a s c a d e 人脸检测算法。在利用b o o s t e dc a s c a d e 人脸检测算法检测出 人脸后，本文提出了一种对该算法的补充方案，即利用人脸肤色模型对检测结果 进行验证，取得了较好的效果。同时，本文还介绍了运动物体跟踪的相关技术。 本文的另一项主要工作是设计实现了构建于b o o s t e dc a s c a d e 算法之上，基 于w e b 的人脸检测跟踪系统一f a c e c a t c h e r 。f a c e c a t c h e r 系统是复杂背景下 单人脸检测系统，使用普通p c 摄像头作为图像采集设备，对人脸进行实时检测 和跟踪。系统采用d i r e c t s h o w 技术实现了f a c e c a t c h e r a xf i l t e r ，同时创建 了对摄像头采集的图像帧进行控制和处理的g r a p hf il t e r s 链路；利用a c t j v e x 组件技术，开发了f a c e c a t c h e r o c xa c t i v e x 控件，使人脸检测系统可以内嵌 于w e b 网页中：系统采用基于浏览器一服务器( b r o w s e r s e r v e r ) 的架构，这 样的瘦客户端的架构使系统更易于发布，以及使系统变得更容易扩展和维护。同 时，在本文的最后给出了f a c e c a t c h e r 系统的部分核心算法的代码。 关键词：人脸检测跟踪基于w e ba c t i v e x 组件d i r e c t s h o w t h er a p i de v o l u t i o n so fd i g i t a li n f o r m a t i o na n di n t e m e tr i s en e wd e m a n d sf o r s a f e t yo fc o u n t r ya n d s o c i a ll i f e i nt h i ss i t u a t i o n ，t r a d i t i o n a ls a f e t yt e c h n o l o g i e ss h o w i n c o m p e t e n t b i o l o g i c a la u t h e n t i c a t i o nt e c h n o l o g yi so n eo ft h eb e s tw a y s t os o l v et h e s a f e t yi s s u ea p p e a r i n gw i t ht h ed e v e l o p m e n to fd i g i t a l i n f o r m a t i o na n di n t e r a c t p o p u l a rb i o l o g i c a l a u t h e n t i c a t i o n t e c h n o l o g i e s i n c l u d ef a c e r e c o g n i t i o n ，i r i s r e c o g n i t i o n ，f i n g e r p r i n tr e c o g n i t i o n ，v o i c er e c o g n i t i o n ，g a i tr e c o g n i t i o na n ds oo n a m o n gt h e s et e c h n o l o g i e s ，b e c a u s eo f t h em e r i t ss u c ha sd i r e c t n e s s ，q u i c kr e c o g n i t i o n ， h i g hp e r f o r m a n c e ，h i 【g hs a f e t y , e a s yu s e ，a n da oi m p i n g e m e n t ，f a c er e c o g n i t i o nh a s m a n ya p p l i c a t i o n si nt h ef i e l d so fp o l i c e ，s a f e t yp r o t e c t i o n ，b a n k , a n dn e ti n f o r m a t i o n s a f e t y t h ep r o c e s so ff a c er e c o g n i t i o ni n c l u d e st h r e es t e p s ：f a c ed e t e c t i o n ，l o c a t i n g c h a r a c t e r i s t i c so ff a c e ，f a c ec h a r a c t e r i s t i c se x t r a c t i o na n dr e c o g n i t i o n a m o n gt h e m ， f a c ed e t e c t i o ni st h em o s tf u n d a m e n t a la n di m p o r t a n to n e o n l yl o c a t i n gt h ef a c e p r e c i s e l y , c 趾w er e c o g n i z et h ef a c ec o r r e c t l y t h i sp a p e rr e s e a r c h e so ns o m ep o p u l a ra l g o r i t h m si n s i d ea n do u t s i d eo fo u r c o u o t r y m e a n w h i l e ，t h e s ea l g o r i t h m sa r ec o m p a r a b l ya n a l y z e da b o u tt h e i rm e r i t sa n d s h o r t c o m i n g s a m o n gt h e m ，t h ef a c ed e t e c t i o na l g o r i t h mo fb o o s t e dc a s c a d ei s d i s c u s s e de m p h a t i c a l l y a f t e rd e t e c tt h ef a c er e g i o nu s i n gt h ef a c ed e t e c t i o na l g o r i t h m o fb o o s t e dc a s c a d e ，t h i sp a p e rp r e s e n t sas o l u t i o no fi m p r o v i n gb o o s t e dc a s c a d e a l g o r i t h m t h a ti s ，v e r i l y i n gt h er e s u l to fr e c o g n i t i o nw i t ht h em o d e lo fc o m p l e x i o n a n o t h e rm a i nj o bo ft h et h e s i si st op l a na n di m p l e m e n taw e b b a s e ds y s t e m n a m e df a c e c a t c h e ru s i n gb o o s t e dc a s c a d e p cc a m e r ai st h ed e v i c ef o rp i c t u r e c a p t u r i n g t h r o b g hi t , t h es y s t e md e t e c t sa n dt r a c k sh u m a nf a c ei nr e a lt i m e w i t h d i r e c t s h o w , t h ef a c e c a t c h e rf i l t e ra n dt h er o u t eo fg r a p hf i l t e r sa r ec o n s t r u c t e d a n a c t i v e xc o n t r o li sa l s od e v e l o p e dt om a k et h es y s t e m p l u g g e di n t ot h ew e bp a g e t h e a r c h i t e c t u r eo ft h es y s t e mi sb a s e do nb r o w s e r - s e r v e r t h i sk i n do fa r c h i t e c t u r em a k e s t h es y s t e me a s i e rt od e p l o y , u p g r a d ea n dm a i n t a i n a tt h ee n do ft h ep a p e r s o m e k e r n e lc o d e sa r eg i v e n k e y w o r d s ：f a c ed e t e c t i n ga n dt r a c k i n g , w e b b a s e d ，a c t i v e xc o m ，d i r e c t s h o w 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨洼盘茔或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：毒为1 3 ：木 签字日期：q 舻与年月，日 学位论文版权使用授权书 本学位论文作者完全了解墨洼盘茔有关保留、使用学位论文的规定。 特授权鑫洼盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：叫i 为林 导师签名： 签字日期：弓年6 月，日签字日期：。，年月如日 第一章绪论 1 1 概述 第一章绪论 在诸多的身份验证技术中，生物特征识别技术被公认为最具应用潜力的识别 技术之一。生物特征识别是依据人体本身所固有的生理特征或行为特征，利用图 像处理技术和模式识别的方法来达到身份鉴别或验证目的的- - 1 7 科学。主要有人 脸识别、指纹识别、掌纹识别、虹膜识别、语音识别、签名识别、步态识别和视 网膜识别等。 目前，指纹识别、虹膜识别等生物识别技术已发展相对成熟并得到了广泛应 用。而人脸识别技术的现代研究始于2 0 世纪6 0 年代末。由于人脸识别较其它识别 方法有很大的优越性，在9 0 年代，得到快速发展，成为研究热点，主要表现在它 的方便性，快速性和非侵扰性。 人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸， 如果存在人脸，则进一步的给出每个人脸的位置、大小和各个主要面部器官的位 置信息，并依据这些信息，进一步提取每个人脸中所蕴含的身份特征，并将其与 已知人脸库中的人脸进行对比，从而识别每个人脸的身份。 人脸识别的过程可以分为以下三个部分： 1 、人脸检测：判断输入图像中或者视频序列是否存在人脸。如果有，给出 每个人脸的位置、大小。同时需要检测平面内旋转的人脸，并可以跟踪任意姿态 的运动的人脸。常用的人脸检测技术有模板匹配法、特征子脸法、肤色模型法等。 2 、面部特征定位：在人脸检测的基础上，面部关键特征检测试图检测人脸 上的主要的面部特征点的位置和眼睛、嘴巴等主要器官的形状信息。灰度积分投 影曲线分析、模板匹配、可变形模板、h o u g h 变换、s n a k e 算子、基于g a b o r 小 波变换的弹性图匹配技术、主动性状模型和主动外观模型是常用的方法。 3 、人脸比对：根据面部特征定位的结果，与库中人脸对比，判断该人脸的 身份信息。主流的人脸识别技术基本上可以归结为三类，即：基于几何特征的方 法、基于模板的方法和基于模型的方法。 第一章绪论 其中，人脸检测是人脸识别系统中的一个基础和关键环节。但是早期的人脸 识别研究主要针对具有较强约束条件的人脸图像，往往假设人脸位置已知或很容 易获得，因此人脸检测问题并未受到重视。近几年随着电子商务等应用的发展， 人脸识别成为最有潜力的生物身份验证手段。这种应用背景要求自动人脸识别系 统能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得人脸 检测开始作为一个独立的课题受到研究者的重视。如今，人脸检测的应用背景已 经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、人机交 互、电子娱乐等方面有着重要的应用价值。 1 2 目前研究现状和方向 目前，国外对人脸检测识别问题的研究很多，比较著名的有m i t 、c m u 等： 国内在这方面的研究起步于8 0 年代，但发展较快。清华大学、浙江大学、北京 工业大学、中科院计算所和自动化所等都有人员从事人脸检测识别相关的研究并 取得了一定的成果。同时，人脸识别技术也受到了国家8 6 3 计划的大力扶持。 国外主要的商业性人脸识别系统包括：v i s i o n i c s 公司的f a c e l t 人脸识别 系统、v i i a g e 的f a c e f i n d e r 身份认证系统、l a u t e c h 公司h u n t e r 系统、德国的 b i o l d 系统等等。在我国，人脸识别检测技术的产品开发，也已经进入实际应用 阶段。最具代表性的是上海银晨网讯科技有限公司。该公司以中科院计算机技术 研究所的面像识别联合实验室为技术依托，利用i c t - - y c n c 面像识别技术，成功 地研发了会议代表身份认证系统、机场安检信息综合管理系统、面像识别考勤等 八大应用系统。在技术指标上超过国外同类产品，进入到实际应用阶段。另外， 北京阳光奥森科技有限公司生产的奥森f a c e l d 在人脸识别准确率和解决光照问 题上也有一定的优势。 近些年，活性判别问题成为人脸检测的热点研究课题。活性判) f l o p 如何区别 合法用户的照片和其活的本人，对人脸识别系统的安全至关重要。目前国际上 v i s i o n i c s 公司的f a c e l t 人脸识别系统，德国的b i o l d 系统都有了活性判别的 功能。虽然目前在国际上领先的人脸识别商业系统已经有了活性判别的功能，但 是目前公开的关于活性判别的文章在国内外却非常稀少。 1 3 本文的研究内容和意义 本文主要工作之一是研究复杂背景下单人脸的检测和跟踪。首先本文分析了 目前国内外比较流行的几种人脸检测的算法，并重点阐述了本文所构建人脸检测 第一章绪论 系统所使用的算法一b o o s t e dc a s c a d e 人脸检测算法。同时，因为b o o s t e d c a s c a d e 算法在检测人脸时，并没有考虑人脸的肤色信息，所以本文提出了一 种对该算法的补充方案，即利用人脸肤色模型对检测结果进行验证，取得了较好 的效果。同时，本文还详细介绍了运动物体跟踪的相关技术。 本文的另一项主要工作是设计实现了构建于b o o s t e dc a s c a d e 算法之上，基 于w e b 的人脸检测跟踪系统一f a c e c a t c h e r 。f a c e c a t c h e r 系统使用普通p c 摄 像头作为图像采集设备，对人脸进行实时检测和跟踪。系统采用d i r e c t s h o w 技 术实现了f a c e c a t c h e r a xf i i t e r ，同时创建了对摄像头采集的图像帧进行控制 和处理的g r a p hf i l t e r s 链路；利用a c t i v e x 组件技术，开发了f a c e c a t c h e r o c x a c t i v e x 控件，使人脸检测系统可以内嵌于w e b 网页中；系统采用基于浏览器 一服务器的架构( b r o w s e r - - s e r v e r ) 。这样的瘦客户端的架构使系统更易于发 布，以及使系统变得更容易扩展和维护。 人脸检测在诸多领域都具有重要的应用，尤其是在身份认证领域。本文研究 分析了众多人脸检测的算法，重点阐述目前国际上检测速度效果最好的b o o s t e d c a s c a d e 人脸检测算法，为以后的人脸识别系统的开发工作提供了丰富的理论参 考资料。同时，本文提出了一种对b o o s t e dc a s c a d e 算法的补充方案，在不影响 识别检测速度的情况f ，提高了检测效果。 本文的另一贡献是构建基于w e b 的人脸汲别系统的人脸检测跟踪模块 f a c e c a t c h e r 。f a c e c a t c h e r 采用b r o w s e r - - s e r v e r 的架构，把人脸检测系统内 嵌于网页中运行，充分的利用了b s 结构的优势。f a c e c a t c h e r 综合运用了 d ir e c t s h o w 流媒体技术，a c t i v e x 组件技术以及a s p 技术。同时，系统采用面 向对象的程序开发方法，封装了诸多可复用的类，为今后的系统扩展和维护提供 了最大的便利。最后，本文实现的f a c e c a t c h e r 系统不仅为卜一步研究人脸识别 系统积累宝贵的经验和资源，同时也为下一步的研究和实验提供了良好的甲台。 1 4 本文结构安排 本文的章节做如下安排，第二章首先对现有的人脸检测技术进行研究比较， 分析了各种检测方法的优劣势，讨论了适于w e b 人脸检测系统的算法；同时介绍 了人脸跟踪技术。第三章重点介绍了b o o s t e dc a s c a d e 人脸检测算法，接着提出 了利用人脸肤色模型对b o o s t e dc a s c a d e 算法检测结果进行验证的补充方案。 第四章详细阐述了本系统所涉及的其它两项关键技术一一a c t i v e x 和 d i r e c t s h o w 技术。第五章介绍了系统的开发平台，同时给出了系统f a c e c a t c h e r 的具体实现和部分核心代码。第六章将总结全文，展望将来的工作。 第一章绪论 系统所使用的算法一b o o s t e dc a s c a d e 人脸检测算法。同时因为b o o s t e d c a s c a d e 算法在检测人脸时，并没有考虑人脸的肤色信息，所以本文提出了一 种对该算法的补充方案，即利用人脸肤色模型对检测结果进行验证，取得了较好 的效果。同时，本文还详细介绍了运动物体跟踪的相关技术。 本文的另一项主要工作是设计实现了构建于b o o s t e dc a s c a d e 算法之上，基 于w e b 的人脸检测跟踪系统f a c e c a t c h e r 。f a c e c a t c h e r 系统使用普通p c 摄 像头作为图像采集设备，对人脸进行实时检测和跟踪。系统采用b i r e c t s h o w 技 术实现了f a c e c a t c h e r a xf i l t e r ，同时创建了对摄像头采集的图像帧进行控制 和处理的g r a p hf i l t e r s 链路：利用a c t i v e x 组件技术，丌发了f a c e c a t c h e r o c x a c t i v e x 控件，使人脸检测系统可以内嵌于w e b 网负中；系统采用基于浏览器 一服务器的架构( b i 、o w s e r - - s e r v e r ) 。这样的瘦客户端的架构使系统更易于发 布，以及使系统变得更容易扩展和维护。 人脸检测在诸多领域都具有重要的应用，尤其是在身份认证领域。本文研究 分析了众多人脸检测的算法，重点阐述f 1 前国际上检测速度效果最好的b o o s t e d c a s c a d e 人脸榆测算法，为以后的人脸识别系统的开发工作提供了丰富的理论参 考资料。l 司时，本文提出了一种对b o o s t e dc a s c a d e 算法的补充方案，在不影响 识别榆测速度的情况f ，提高了检测效果。 本文的另一贡献是构建基于w e b 的人脸汉别系统的人脸检测跟踪模块 f a c e c a t c h e r 。f a c e c a t c h e r 采用b r o w s e r - - s e r v e r 的架构，把人脸检测系统内 嵌于网页中运行，充分的利用了b s 结构的优势。f a c e c a t c h e r 综合运用了 d ir e c t s h o w 流媒体技术，a c t i v e x 组件技术以及a s p 技术。i 刊时，系统采削面 向对象的程序开发方法，封装了诸多可复用的类，为今后的系统扩展和维护提供 了最大的便利。最后，本文实现的f a c e c a t c h e r 系统小仅为f 一步研究人脸识别 系统秘累宝贵的绎验和资源，同时也为下+ 步的研究和实验提供了良好的甲台。 1 4 本文结构安排 本文的章节做如下安排，第二章首先对现有的人脸检测技术进行研究比较， 分析了各种检测方法的优劣势，讨论了适rw e b 人腧检测系统的算法：同时介绍 了人脸跟踪技术。第三章重点介绍了b o o s te dc a s c a d e 人脸检测算法，接着提出 了利用人脸肤色模型对b o o s t e dc a s c a d e 算法检测结果进行验证的补充方案。 第四章详细阐述了本系统所涉及的其它两项关捷技术一一a c t i v e x 和 d i r e c t s h o w 技术。第五章介绍了系统的开发平台，同时给出了系统f a c e c a t c h e r 的具体实现和部分核心代码。第六章将总结全文，展单将来的工作。 的具体实现和部分核心代码。第六章将总结全文，展望将来的工作。 第二章人脸检测和跟踪技术 第二章人脸检测和跟踪技术 随着计算机信息处理技术的发展和对智能化水平提高的需求，人脸检测在身 份认证、基于内容的检索、自动监控、人机交互等方面有着日益广泛的应用。但 是，影响人脸检测的因素很多，包括背景、光照、姿态、表情、人脸尺寸、噪声 等等。高性能的人脸检测仍是当前模式识别和人工智能领域的一个研究热点。 同时人脸检测技术源于人脸识别，也是人脸识别系统中关键和基础的环节。 如果不采用人脸检测技术，将人脸从背景图像中分割出来，而直接在全局范围内 进行人脸识别，计算量会非常大，影响了人脸识别系统的速度和效率。并且，人 脸检测技术目前应用最广泛和最成熟的领域也是人脸识别和身份认证。本文实现 韵f a c e c a t c h e r 系统正是一种基于w e b 的人脸身份认证系统的人脸检测子系统。 人脸跟踪就是要在检测到人脸的基础上，在后续的人脸图像中继续捕获人脸 的位置及其大小等性质。 本章将对人脸识别、人脸检测以及人脸跟踪技术进行综述。 2 1 人脸检测技术 2 1 1 人脸识别技术概述 2 0 世纪6 0 年代末期，f r a n c i sg a l t o n 就开始了人脸识别方面的研究。2 0 世纪7 0 年代，人脸识别才逐渐得到了研究者的关注，2 0 世纪9 0 年代后期以来， 人脸自动识别技术才得到了广泛的重视和应用，并且一些商业的人脸识别系统逐 渐进入市场，但是，这些技术和系统离实用化都有一定距离，性能和准确率有待 提高。美国遭遇恐怖袭击后，这一技术引起广泛关注。作为最容易隐蔽使用的识 别技术，人脸识别成为当今国际反恐和安全防范最重要的手段之一。 人脸识别输入的图像分为三种：正面、侧面和斜面。在实际研究中，正面人 像研究的最多，其发展大致可以分为三个阶段： ( 1 ) 第一阶段是研究人脸识别所需要的面部特征，这方面以b e r t i l i o n 、 a 1 l e n 和p a r k e 为代表。b e r t i l l o n 的系统用一条简单语句与数据库中的人脸相 关联，a 1 l e n 为待识别人脸设计了有效、逼真的描写，p a r k e 用计算机实现了 a l l e n 的方法，生成了较高质量的人脸灰度图模型。总的来说，这一阶段工作主 要依赖于人的操作，还不能完成自动的人脸识别工作。 4 第一二章人脸检测和跟踪技术 ( 2 ) 第二阶段是人机交互识别，代表性工作有：g o l d s t i o n 、h a r m o n 和l e s k 用几何特征参数来表示人脸正面图像。他们采用高维特征矢量表示人脸面部特 征；k a r a 和k o b a y a s h i 使用基于统计的识别方法，用欧氏距离表征人脸。 t k a n a d e 使用积分投影方法计算出一组人脸特征参数，再利用模式分类技术与 标准人脸匹配。 ( 3 ) 第三阶段是自动机器人脸识别是近年来发展起来的，随着计算机的快速 发展，自动人脸模式识别方法取得了较大的进展。目前，自动识别技术主要分为 三大类：几何特征法、统计特征法和连接机制法。几何特征方法采用的特征包括 人脸五官如眼睛、鼻子和嘴巴等的局部形状特征，脸型特征及五官在脸上分布的 几何结构特征。几何特征法用几何特征矢量表示人脸，用层次聚类的思想设计分 类器达到识别目的。统计特征法包括基于k l 变换算法和隐马尔可夫( 蛳) 算法 两种代表算法。统计的识别方法将人脸用代数特征矢量来表示。代数特征是由 h o n g 等首先提出的，由图像本身的灰度分布决定，它描述了图像的内存信息，它 是通过对图像灰度进行各种代数变换和矩阵分解提出的。将人脸看作一个二维的 灰度变化的模板，从整体上捕捉和描述人脸的特征，所运用的主要是一些标准的 数据统计技巧，运算比较复杂。基于连接机制的方法，包括一般的神经网络方法 ( n n ) 和弹性图匹配方法( d l a ) 。基于神经网络的方法是最近几年比较活跃的一 个研究方向。应用神经网络进行人脸的特征提取和分类器的设计神经网络方法在 人脸识别卜- 比其他类别的方法有独到的优势，它避免了复杂的特征提取工作，可 以通过学习的过程获得其他方法难以实现的关于人脸识别的舰律和规则的隐性 表达。但应用该方法神经元数目多，训练时间长。弹性图匹配方法是种基于动 态链接结构的方法。该方法在三维空问中定义了。种对于通常的人脸变形具有一 定的不变性的距离，并采用属性拓扑图来代表人脸，拓扑图的任一顶点均包含一 组特征向量，用来记录人脸在该顶点位置附近的信息。 影响人脸识别系统识别性能的因素主要包括以f 几个方面： ( 1 ) 背景、头发以及其它附着物比如眼镜、饰品等； ( 2 ) 光照变化。光照的位置以及强度是影响人脸识别性能的最关键因素，对 该问题的解决程度关系着人脸识别实用化进程的成败； ( 3 ) 姿态问题。姿态问题涉及头部在三维垂直坐标系中绕三个轴的旋转造成 的面部变化，其中垂直于图像平面的两个方向的深度旋转会造成面部信息的部分 缺失。使得姿态问题成为人脸识别的一个技术难题； ( 4 ) 年龄变化。人随着年龄的增长，面部会发生形变。可通过建立人脸图像 的老化模型来降低年龄增长对识别性能的影响； ( 5 ) 表情变化。表情变化也会造成面部器官的扭曲，对人脸识别产生障碍。 第二章人脸检测和跟踪技术 2 1 2 人脸检测技术 人脸检测狭义的定义是指找出输入图像或视频中的所有人脸和面部器官的 位置的过程。广义的定义还包括检测出人脸的肤色、姿态、面部表情等较复杂的 信息。人脸检测作为人脸信息处理中的一项关键技术，近年来成为模式识别与计 算机视觉领域内一项受到普遍重视、研究十分活跃的课题。 人脸检测问题最初来源予人脸识别。近几年随着电子商务等应用的发展，人 脸识别成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别系统 能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得人脸检 测开始作为一个独立的课题受到研究者的重视。今天，人脸检测的应用背景已经 远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视觉监控 等方面有着重要的应用价值。 同时，人脸检测研究具有重要的学术价值。人脸是一类具有相当复杂的细节 变化的自然结构e l 标，此类目标的检测问题的挑战性在于：( 1 ) 人脸由于外貌、 表情、肤色等不同，具有模式的可变性；( 2 ) 一般意义下的人脸上，可能存在眼 镜、胡须等附属物；( 3 ) 作为三维物体的人脸的影像不可避免地受由光照产生的 阴影的影响。因此，如果能够找到解决这些问题的方法，成功构造出人脸检测与 跟踪系统，将为解决其它类似的复杂模式检测问题提供重要的启示。 人脸检测所包含的内容十分广泛，从不同的角度可分为如下几类( 表2 一1 ) 。 ，蕊f j ：炼骶锄a8 黼。 图像来源 匿止l 刳像观频序列 颜色信息彩色灰度 取景类别头j | = 部图像! f ：身或伞身幽像 人脸姿态止面( 包括端止及平面内旋转)侧面( 包括俯仰、侧影及旋转) 人脸数目单人脸检洲多人脸榆测 复杂背景( 指背景的类犁和特祉胥 图像背景简单背景( 指兀背景或背景的特征 受约束，某些区域可能在包彩、纹 复杂程度被严格约寐) 理等特征上+ 1 人脸利似) 几脸信，自、处理( 验i 止、泌别、表陆z析等) 系统、视频会议城远桦教方 应用领域 系统、衫! 觉监控 表2 - 1 人脸检测问题的分类 6 第二章人脸检测和跟踪技术 2 1 3 人脸的模式特征分类 人脸模式的特征主要可分为肤色特征和灰度特征两类： 1 ) 肤色特征 肤色是人脸的重要信息，不依赖于面部的细节特征，对于旋转，表情等变化 情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此肤 色特征在人脸检测中是最常用的一种特征。肤色特征主要由肤色模型描述。 常用的肤色模型有高斯模型、混合高斯模型和直方图模型。t e r r i l l o n 等“1 考察了归一化的r g 、c i e x y 、归一化的t s l 、c l e d s h 、h s v 、y i q 、y e s 、c i e l u v 和c i e l a x b 九种色度空间，比较了高斯模型和混合高斯模型在不同 色度空间中的性能，发现除了少数情况夕 ，一般需要使用混合高斯模型才能较好 地描述肤色区域的分布。t e r r i l l o n 等同时指出，最终限制检测性能的因素是不 同色度空间中“肤色”与“非肤色”区域的重叠程度。j o n e s 等。1 研究了r g b 空 间中“肤色”与“非肤色”象素的分布，根据标定出肤色区域的近二万幅图片建 立了三维直方图，在此基础上比较了直方图模型和混合高斯模型，发现前者的性 能略好于后者。 除上述三种肤色模型外，还有直接利用几何参数描述肤色区域分布范围的模 型、三维投影模型、基于神经网的肤色模型等。此外也有同时考虑“肤色”与“非 肤色”象素分布的基于贝叶斯方法的模型。 2 ) 灰度特征 灰度特征包括人脸轮廓特征、人脸灰度分布特征( 镶嵌图特征、直方图特征 等) 、器官特征( 对称性等) 、模板特征等。轮廓是人头部的重要特征。c r a w 等0 1 首先在低分辨率图像中使用一个轮廓模板匹配出人脸的大致范围，然后在高分辨 率图像中使用s o b e l 算子获得边缘的位置和方向，并连接出完整的人脸轮廓。 w a n g 等提取边缘特征并根据广义h o u g h 变换抽取椭圆形状信息。 人脸核心区域( 眼睛、鼻子、嘴区域) 具有独特的灰度分布特征。y a n 等“1 首先提出了人脸的镶嵌图( m o s a i ci m a g e ，又称为马赛克图) 特征。所谓镶嵌图 就是将图像划分为一组大小相同的方格，每个方格的灰度为格中各个象素的平均 值。镶嵌图特征是指这些块的值应满足的约束规则。l v 等依据人脸的左右对称 性，通过提取投影直方图特征检测人脸的旋转角度，再提取镶嵌图特征。d a i 等 吲提取空间灰度共现矩阵( s g l d ) 特征等等。 人脸区域内的各个器官( 如双眼、鼻子、嘴等) 是人脸的重要特征。k o u z a n i 等“3 使用人工神经网分别检测眼睛、鼻子、嘴以及人脸的整体特征。 人脸区域的灰度本身可以作为模板特征，通常取仅包含双眼、鼻子和嘴的面 第二章人脸检测和跟踪技术 部中心区域作为共性的人脸模板特征，排除掉头发、脸颊两侧变化很大的部分。 被广泛地用于基于统计学习的人脸检测方法中。 2 2 人脸检测算法分类 人脸图像所包含的模式特征十分丰富，包括颜色特征、轮廓特征、热像特征、 直方图特征、镶嵌图特征、结构特征等。这些特征中哪些是最有用的、如何利用 这些特征，是人脸检测要研究一个关键问题。人脸模式具有复杂而细致的变化， 因此一般需要采用多种模式特征综合的方法。归纳起来，根据利用特征的色彩属 性可以将人脸检测方法分为基于肤色特征的方法和基于灰度特征的方法两类。前 者适用于构造快速的人脸检测和人脸跟踪算法，后者利用了人脸区别于其它物体 的更为本质的特征，是人脸检测领域研究的重点。根据特征综合时采用的不同模 型，可以将基于灰度特征的方法分为两大类：基于启发式( 知识) 模型的方法和 基于统计模型的方法。各种分类的关系如图2 一l 所示： ，- 基于肤色特征的方法 l，基于启发式模型的方法 1| l 基于获度特征的方法 卜1 ，十1 ) ； 3 ) 求出错误率：。= d 。( i ) h 。( i ) 一y ，l a c = 4 ) 更新：d 。( i ) = d 。( i ) b “。z 。，其中如果样本x 。被正确分类，则e ，= 0 ， 否则e ，= 1 ：b 。= 。1 。，z 。是归一化因子； 5 ) 输出最终结果：h ( x ) = s i g n ( n 。h 。( x ) ) ，其中d 。= l o g ( 1 b 。) 。 与前面的b o o s t i n g 类似，a d a b o o s t 方法同根据既有分类器对总训练集中的 各个样本的分类情况来调整各个样本出现在新训练子集中的概率。不同的是， a d a b o o s t 不需要预先知道弱学习机预测准确率的范围，而是自动根据弱学习机 的预测准确率设定相应的权值。在使用a d a b o o s t 训练的时候，训练错误率上限 是一个单调下降的函数，这样，只要基本的学习机的性能能够稳定的超过随机猜 想，并且循环足够长时间，就能使经验错误率降至任意低的水平，并有可能保证 推广错误率也低于一个近似的上限。 3 2b o o s t e dc a s c a d e 算法 p a u lv i o l a 和m i c h a e lj j o n e s 使用了一种用a d a b o o s t 方法训练得到的基 于多特征的分层人脸特征检测系统。与此前提出的人脸检测算法相比，他们的系 统具有极高的运行速度，在没有引入其他辅助信息( 如相邻帧之间的差异等) 的 情况下，检测准确率和错误接受率都能达到现有算法中最好的水平，因此，该算 法在人脸分析领域引起了广泛的关注，这一算法的特点是：( 1 ) 第一次引入了 “积分图”的概念。对图像做分类的时候，不是直接使用图像的灰度值，而是使 用一些简单的图像特征作为分类的依据；( 2 ) 该方法提出了使用a d a b o o s t 来选 择少数重要特征的方法；( 3 ) 为了进一步提高系统的速度，p a u lv i o l a 还提出 了在级联的检测器中不断增加更多的强分类器，对每一层使用a d a b o o s t 训练直 至得到最小的错误拒绝率。 3 2 1 积分图 人脸特征是进行人脸检测的重要依据。和单个的象素比较，用特征进行检测 有很多原因，其中的一个原因是特征本身就包含了部分局部信息，而这些局部信 息知识是很难通过有限的训练数据得到的。采用人脸特征而不是单个象素的另外 一个好处就是，基于特征的检测要比基于象素的检测快的多。因此，算法采用了 一组类似于哈尔小波变换的滤波器来计算图像的特征值，如图3 - 1 所示。图中 包括3 种特征：双矩形特征( t w o r e c t a n g l ef e a t u r e ) ，三矩形特征 ( t h r e e r e c t a n g l ef e a t u r e ) 和四矩形特征( f o u rr e c t a n g l ef e a t u r e ) 。分别对 第三章b o o s t e dc a s c a d e 人脸检测算法 应图中的a 、b 、c 和d 。其中双矩形特征定义为图中相邻两个矩形内象素颜色之 和的差。三矩形特征定义为两边的两个矩形减去中间的矩形中象素的颜色值之 和。四矩形特征定义为对角线上矩形内象素颜色之和的差。 c 圆回 曰固 n d 图3 1 人脸矩形特征的定义 为了快速地在不同尺度下计算图像的特征，算法引入了积分图( i n t e g e r a l i m a g e ) 的概念，如图3 2 。积分图中的每个点( x ，y ) 的值为图像中( x ，y ) 点 左上部分所有象素点的累加： i i ( x ，y ) ；罗f y 7 ) # 矗，t 一旦计算出图像所对应的积分图，在任意尺度上的图像特征就能在常数时间 内计算出来。如图3 2 所示，在1 ，2 ，3 ，4 处点的积分图的值分别为 a ，a + b ，a + c ，a + b + c + d ，而d 的矩形特征可以通过4 + l 一( 2 + 3 ) 计算出来，归纳 起来就有如下公式计算任意尺度下的图像特征： s ( x ，y ) = s ( x ，y - 1 ) 十i ( x ，y ) i i ( x ，y ) = i i ( x 一1 ，y ) + s ( x ，y ) 其中i i ( x ，y ) 为积分图中( x ，y ) 点的值，s ( x ，y ) 为图像中( x ，y ) 点以下下列向 量上的颜色值之和。i ( x ，y ) 为( x ，y ) 点的象素值。 图32 积分图像的概念 第三章b o o s t e dc a s c a d e 人脸检测算法 这样，只要对输入图像遍历一次，就可以得到积分图，就可以在常数时间内 得到任意尺度下的图像的特征。 3 2 2 对a d a b o o s t 方法的改进 算法假设只要用少数的一些特征就能构建一个较好的分类器。为了做到这一 点，算法对a d a b o o s t 方法略作改进，规定：每个弱学习机只允许基于一个特征， 这样在筛选弱学习机的同时实际上也就完成了对特征的选择。在训练的每一步 中，对各种特征的分类结果进行测试。选出错误率最低的一个加入到最终系统中 去。 算法通过选择最能区分正样本和负样本的矩形特征。对每一个特征，弱分类 器去定一个最优的分类函数的阈值，使得最少的样本被错误分类。一个弱分类器 ( h j ( x ) ) 因此就包含特征f j ，阈值0j 和用于控制不等式方向的p j ： ，、f1 ，如果蚋( x ) p j e j h j ( x ) 2 1o 否则 其中x 为图像中的2 4 x 2 4 的子窗口。 这样得到的是单个的弱分类器，为了取得可信度较高的强分类器，算法采用 了h d a b o o s t 将多个弱分类器组合生成一个强分类器，具体学习算法为： 1 设( x ，y 。) ，( x y ) 为输入图像，其中y 。= 0 ，l 用来标记是负样本还是 正样本： 2 初始化权值w 。= 1 2 m ，1 2 1 分别对应正样本( y i = 1 ) 和负样本( y 。= 0 ) ： 3 f o rt=1t ot ： 将权值标准化， 雌c 一；j l ，使得为一概率分布： w 乞i 4 w l t j 对每一个特征j ，训练一个分类器h 。，使得该分类器只用这一个特征 进行分类。相应的误差为e ，= w 1 | h 。( x 。) y ，l ； 选择具有最小分类误差的分类器h 。； 更新权值w 。= w 。b ：“1 ，其中如果x ，被i f 确的分类，e ，= 0 ，否则 e 。l ，b ：= 。( 卜。) ： 最终的强分类器是： ( z ) ： 0 1 靶t t ( ) i 1 厶t t = ，d 其中，。= l o g ( 1 b 。) 。 图3 3 显示了利用上述算法选择的特征滤波器。其中第一行为特征滤波器示 意，第二行第一列为一幅被测图，后两列分别为将滤波器放在典型的目标区域的 第三章b o o s t e dc a s c a d e 人脸检测算法 情况。从实验结果来看，检测器显然分别利用了眼部区域亮度低于脸颊和双眼亮 度低于眉心的特点。 图3 3 利用a d a b o o