（电路与系统专业论文）人脸检测与像貌合成技术研究[电路与系统专业优秀论文].pdf

上海大学硕士学位论文 摘要 人脸具有相当复杂细节变化。文章针对人脸检测中遇到的一些问题，研究 了相应的解决方法。通过不同色彩空间用于人脸检测的对比，选择基于y c b c r 和h s v 色彩空间的肤色模型来进行肤色分割，配合a d a b o o s t 算法提商人脸 检测的鲁棒性。肤色分割的方法对于人脸的姿态、大小等不敏感，但是类肤 色区域影响算法性能。基于a d a b o o s t 算法的人脸检测对正面人脸的效果明显， 但对侧面人脸检测效果不好。通过比较两种方法，提出了肤色分割与a d a b o o s t 融合的算法的方法，充分利用人脸的灰度信息和肤色信息。我们先对彩色图 像进行肤色分割，同时使用基于a d a b o o s t 算法的人脸检测，然后对检测出来 的两组结果进行比较后筛选出最终的人脸。实验数据比较表明，算法在正确 率和误检率方面对原有的基于a d a b o o s t 算法的检测有了明显的改进，是一种 综合性能很强的完整、鲁棒、高效的人脸检测算法。 像貌合成根据目击者或受害人对犯罪嫌疑人面部特征的描述，调用数据 库中存储的相应面部特征部件数据，利用计算机数字图像处理技术对他们进 行拼接，得到与目标人脸相似的模拟像技术。文章针对现有人脸像貌合成仅 能得到二维人脸像貌的不足，提出了多姿态多视角三维人脸像貌合成系统。 该系统不仅可自动合成二维人脸像貌，而且还可重建三维人脸像貌。系统首 先对二维人脸基本部件进行特征点检测。自动合成二维人脸之后读取部件特 征点的信息。基于三维人脸统计模型与仿射变换，建立二维人脸特征点与三 维人脸之间的匹配对应，通过纹理映射，实现三维人脸重建。基于所得三维 人脸，通过旋转，得到不同视角下的多姿态三维人脸像貌，实现多姿态多视 角对人脸的查看，提高辨识效果。 关键词： 人脸检测，像貌合成，肤色分割，a d a b o o s t ，三维重建 v 上海大学硕士学位论文 b s t r a c t t h e r ea r ct l i g l l l y 伽p i i c a t e dv a r i a t i o n si i ld e t a i lo fh 啪觚f a c e s 咖e s o l u t i o mt of a c ed e t e e t i o n 黜p r o p o s e d 抽啦a ts o m ep r o b l e m so ff a c ed c t e e t i o n i l lt h i st l l 鹤i s c o m p 砌w i m m ed i f f tc o l o rs p a c em o d e l su s e di nf a c e d 既e c 6 0 n w eu s et l l es l 【i nm o d e lb a s c do ny c b c ra n dh s vc o l o rs p a c e st od e t e e t e a n d i d a t ef h 嘲觚dc o m b i n ea 血b o o s t 蛔d t h mt oi m p r o v er o b u s t n e s so ff a c e d c t e c t i o ni nn 圮t h 鹤i s a l t l l o u g ha d a b o o s ta l g o r i t h mh a sa g o o dp e r f o r m 揪丽m f r o n t a lf a c e , i tp e r f o r m sb a d l yi i ls i d ef a c ed u et ot 1 1 ef a c t 也a ti to m y 1 l s 嚣g r a y i n f o r m a t i o n t h et b 衄e ra l g o r i t h mi si n s e n s i t i v et os i z e 锄dp o s eo ff a c e s t 0f u l l m a l 【el l s eo fi l i eg r a y 粕dc o l o ri n f o r m a t i o n ，i ti sn e c e s s a r yt oc o m b i n el l l 鼯e 附o a l g o f i t h m st 0i m p r o v ef 如d e t e e t i o n n ef i n a lf a c 馏黜d e t 锄 1 i i l e db 船c do l lm e o p t i o n a lc 0 町l p a r i s o no fs k i n 舯a l 臼i t i o n 觚da d a b o o s t e x p e r i m 洲r e s u l t s s h o wt h a tt l l em 础o n e d 姆f i t h mc a ng c ts a t i s f y i n g 螂u l t so f f a c ed c t e e t i o n ni s p r o v e dt ob eac o m p l e t e , r o b o ta n de 街c i e n tf a c ed e t e c t i o na l g o d t h m a e e o r d i n gt o 如ed e s c r i p t i o no f t l l e8 1 s p e c t ) $ f a c i a lf 船n l 船b yt l l ew i n l e s sa n d v i c t i m t 1 1 er e l 蚴tf h c i a lf e a l 山sa r ee x n a c t e df b mf e a t u r ed a t a b a s es 1 d r 司 p r e v i o m l yt og c tm es i m u l a t i v ef a c eo ft l l es 璐p e e tb yc 0 恤p u t c rd i 百值ii m a g e p r o c 鼯s i l l 昏a i m i n ga tt l l ed e f i 咖e yo fe ) 【i s t i n gf a e i a ls y i l t l l 嚣i ss y s t e m , w l l i 6 hc 孤 o l l l yg e tm e 2 df a c e ，w ep r o p o s ean o v e lf a e i a ls y n 崎i ss ) ，s t e m ，w t l i e hn o t0 1 1 l y a u t o m a t i c a u yc o m p o s “鼯2 d 触，b u ta l s 0r e e o m t r u c t st l l e3 df a c c m m f o r m a f i o no f b 勰i ef a e i a l 如硼u r 铝i ss t o r e di l lf e a n m 鼯d n a b 邪ea tf i r s t a t t e rt l l e 2 df 撕a ls 灿e s i sb e i n gc o m p l e t e d t l l er e l a t i o 衄h i pb e t w e e nt h ef e a t u r ep o i 腌o f 2 d 锄d3 df a c e si se s t a b l i s h c db a s e do n3 df a c es t a t i s t i c a ln i o d c l 锄da f f i n e t x a n s f o r m t h er e a l3 ds ”l 协龉i sf a c ei so b t a i n c da f c 盯t h et e x t u r em a p p i n g 3 d f a c e su n d c rd i f f t 讥e w 姐西龄c a l lb eg a i n e db yr o t t i n g t h ep r o p o s e df a e i a l s 灿e s i ss y s t e m 伊e m l yi l i l p r o v 龉t l l ee f f e c to f f a c er e e o 朗i t i o n f a c ed 戗e c t i o n ，f a c i a l c o m p o s i 矗o l l ，s k i ns e g r n 锄协i i o t i ，a d a b o o 瓯3 d r e c o n s 咖c t i o n v i 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工 作。除了文中特别加以标注和致谢的地方外，论文中不包含其他人 已发表或撰写过的研究成果。参与同一工作的其他同志对本研究所 做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：鸾釜! 聋整日期：啦i 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：耀雌导师签名卜醴咝日期：苎! 塑：! 三 修 i i 上海大学硕士学位论文 第一章绪论 1 1 研究背景及意义 视觉是人类获取信息的最主要手段。据相关研究统计，由视觉获取的信息 占人类获取信息总量的7 0 以上；另一方面，随着计算机硬件性能的飞速提高， 利用计算机来辅助、模拟人类视觉的研究得到了广泛的关注。因此，在多种需 求的推动下，产生了计算机视觉( c o m p u t e r v i s i o n ) 和机器学( m a c h i n el e a r n i n g ) 等相关的学科，目的是使计算机具有与人类相似的处理视觉信息的能力，来辅 助人类完成一些相关的工作。图像中的人往往是整个图像的中心，而根据人眼 的视觉特性，人们通常对图像中人的脸部区域更感兴趣。因而人脸相关的图像 处理技术成为了计算机视觉中的一个非常重要的研究方向。 人是社会生活的主体，而人脸是人类间相互区分的最主要的特征。研究各 种面向人脸对象的图像视频处理技术，在信息安全、图像编码视频传输、图像 检索、人机交互接口等领域具有重要的意义。 随着社会信息化、网络化程度的提高，信息安全受到越来越多的重视。人 们迫切需要一种快速、有效的自动身份确认技术。传统的方法是根据预先设置 的密码或特定的身份标识物( 如钥匙、证件等) 来识别不同用户。这种方法存在 着明显的缺点：密码容易遗忘或记错，证件等物品容易丢失或伪造。更为严重 的是，系统无法有效区分真正的拥有者和取得密码或身份标识物的冒充者。 人的一些生理和行为特征，如面像、指纹、掌纹、虹膜、声音和笔迹等， 是人的内在属性，具有很强的自身稳定性和个体差异性，是下一代身份验证最 理想的依据与手段。 在这些生物特征中，人脸相对于其它特征，具有以下特点： ( 1 ) 人脸蕴涵的信息量远远比人体的其它生物特征丰富； ( 2 ) 人脸特征信息可以直接应用，并且极不容易盗用或者假冒； ( 3 ) 人脸特征在应用上非常方便，不需要复杂的辅助设备。 在9 1 1 事件之后，能够在公共场合自动识别出嫌疑犯的识别系统更成为研 究的热点。与其他的识别方法相比，人脸识别由于它的无侵害性和对用户最自 上海大学硕士学位论文 然、最直观的方式，是人脸识别成为最容易被接受的生物特征识别部分。 人脸检测问题最初来源于人脸识别( f a c er e c o g n i t i o n ) 。人脸识别的研究可以 追溯到2 0 世纪6 0 7 0 年代，因为它在计算机视觉通讯和门禁控制系统中有很多 潜在的应用，关于它的研究急剧地扩展，经过几十年的曲折发展己日趋成熟。 人脸检测是人脸自动识别系统中的一个关键环节。但是早期的人脸识别研究主 要针对具有较强约束条件的人脸图像( 如无背景的图像) ，往往假设人脸位置己 知或很容易获得，因此人脸检测问题并未受到重视。近几年随着电子商务等应 用的发展，人脸识别成为最有潜力的生物身份确认手段。这种应用背景要求自 动人脸识别系统能够对一般环境图像具有一定的适应能力。由此所面临的一系 列问题使得人脸检测开始作为一个独立的课题受到研究者的重视。今天，人脸 检测的应用背景己经远远超出了人脸识别系统的范畴，在基于内容的检索、数 字视频处理、视觉监测等方面有着重要的应用价值。 计算机像貌合成，是指根据目击者或受害人对犯罪嫌疑人面部特征的描述， 调用数据库中存储的相应特征部件数据，应用计算机数字图像处理技术对它们 进行拼接，经过适当的修改，得到与目标人脸相似的模拟像技术。相对于传统 的素描绘画手段，计算机人脸像貌合成为非专业绘画人员快速合成人脸提供了 可能。 1 2 国内外研究概况 1 2 1 人脸检测研究现状1 1 人脸检测是人脸相关处理技术中的热点。目前，国内外对人脸检测问题的 研究非常多，比较著名的有国外的m r r 、c m u 等，国内的清华大学、北京工业 大学、中国科学院计算技术研究所和中国科学院自动化研究所等。随着各方面 研究人员对于人脸检测研究的重视，国际上发表的有关论文数量也大幅度增长， 在国际著名的学术杂志，如i e e et r a n s a c t i o no np a t t e r nr e c o g n i t i o na n dm a c h i n e i n t e l l i g e n c e 、c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g 、p a t t o mr e c o g n i t i o n 等， 2 上海大学硕士学位论文 以及著名的学术会议，如i e e ei c f g ( i n t e r n a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c e a n dg e s t u r er e c o g n i t i o n ) 、i c i p ( i n t e m a t i o n a lc o n f e r e n c eo ni m a g ep r o c e s s i n g ) 、 c v p r ( c o n f e r e n c e 0 1 1 c o m p u t e r v i s i o na n d p a t t e r n r o g l l i t i o n ) 等上，每年都有大 量关于人脸检测的论文，占有关人脸研究论文的相当大的比例。 1 2 2 像貌合成研究现状2 3 j 随着电子技术的发展，计算机应用的普及，越来越多的刑侦部门开始采用 计算机人脸合成系统。1 9 世纪7 0 年代初，英国内政部指定a b e r d e e n 大学心理 学系研制新一代人脸合成系统，他们和c a m b r i d g e 大学c a d 中心开发出计算机 人脸合成系统电子人脸鉴别系统( h e c t r o m cf a c i a li d e n t i f i c a t i o ns y s t e m , e - f i t ) 。现在a s p l e y 公司是e f i t 的生产商。除此之外，还有i d e n t i k i t 和i q b i o m e t r i x 公司的f a c e s 。国内的系统有创慧公司的创新刑侦人像组合系统和银 晨公司的公安人像组合与比对集成系统等。上述各系统在特征库和组合方法上 各有特点。e f i t 系统采用的特征库是将不同种族，性别的人的特征分开来的。 而f a c e s 的特征库只是将各种特征分开来，不像e - f i t 那样细致。 1 3 论文的主要研究内容 人脸检测问题由于其自身的复杂性，使得虽然有众多研究人员潜心研究多 年，仍旧未能得到彻底解决。人脸检测问题作为一个典型模式识别问题，对它 的研究取得的成果无疑对其它的模式识别问题的解决有着良好的借鉴作用。因 此，人脸检测问题也是模式识别领域的一个研究热点。 本文针对人脸检测中的若干问题，在对多种人脸检测方法进行深入研究和 实验的基础上，提出了基于y c b c r 和h s v 彩色空间的肤色分割方法结合基于 a d a b o o s t 算法的人脸检测方法。在像貌合成方面，本文借鉴已有的人脸合成系 统的优点提出多姿态多视角三维人脸像貌合成，从而可以更好地进行辨识。具 体体现在以下三个方面： ( 1 ) 基于y c b c r 和h s v 色彩空间的肤色分割 上海大学硕士学位论文 由于r g b 颜色分量受光照条件的影响，当光照条件变化时，使用r g b 模 型不适合于人脸检测。基于不同色彩空间用于人脸检测的对比，本文选择y c b c r 和h s v 色彩模型来进行肤色分割。在y c b c r 色彩空间中，亮度信息包含在y 分量中，色度信息在c b 和c r 分量中，因此可以轻松的去除亮度信息的干扰。 实验证明，基于y c b c r 和h s v 色彩空间的肤色分割可以快速的去除复杂 的背景，再经过一些图像处理，获得可能存在人脸的肤色区域。 ( 2 ) 肤色分割结合基于h a a r 特征a d a b o o s t 算法的人脸检测方法 基于a d a b o o s t 算法的人脸检测是v i o l a 等在2 0 0 1 年提出的。该方法快速、 稳定。然而，它也存在局限性，如存在漏检侧面人脸等。因此，本文结合肤色 检测与基于a d a b o o s t 算法的人脸检测的优点，构造出一个新的人脸检测器。由 此减少算法的计算代价，提高对侧面人脸的检测率。 ( 3 ) 多姿态多视角三维人脸像貌合成 传统的计算机人脸像貌合成系统最终的结果是一张二维人脸图像。本文首 先对二维图像中的人脸进行特征提取，获得对三维重建有用的信息。然后将标 准三维人脸模型通过缩放，平移等手段匹配到二维人脸图像上，获得一个特定 人脸的三维模型。随后获取图像中的人脸纹理信息，将特定人脸三维模型的坐 标匹配到纹理空间中，获得一个完整的三维人脸。从而可以进行多姿态多视角 对人脸的查看，提高辨识效果。 1 4 论文结构安排 论文共分6 章。 第l 章通过介绍本论文的研究背景，引出当前的研究概况，主要研究内容， 最后给出本论文的结构安排。 第2 章对人脸检测研究领域做出详细的综述。从人脸特征、分类方法、性 能比较等方面系统地介绍了各类人脸检测算法。 第3 章介绍了肤色分割方法。在分析了各种颜色模型后，提出了基于y c b c r 和h s v 色彩空间的肤色分割方法。并且对肤色分割中的一些图像处理细节进行 介绍。 4 上海大学硕士学位论文 第4 章介绍了基于a d a b o o s t 算法的人脸检测。该算法是一种基于统计学习 的人脸检测方法，从h a a r 特征的选取、a d a b o o s t 学习算法以及分类器的构建等 方面进行了详细的介绍。最后提出了改进的方法一一肤色分割结合基于 a d a b o o s t 算法的入脸检测方法。 第5 章介绍了计算机人脸像貌合成技术。包括图像合成算法、特征点的提 取、以及对二维合成人脸的三维重建等。 第6 章总结了本文所作的工作，并指出待解决的问题和一些尚需进一步研 究的内容。 上海丈学硕士学位论文 第二章人脸检测综述 2 1 人脸检测技术 人脸检测( f a c ed e t e c t i o n ) 是指在输入图像中确定所有人脸( 如果存在) 的位 置、大小和姿态的过程。人脸检测系统输入的是可能包含人脸的图像，输出的 是图像中是否存在人脸和人脸数目、位置、尺度等信息的参数化描述。l i a r 有很多与人脸相关的研究领域与人脸检测技术紧密相关，如人脸定位( f a c e l o c a t i o n ) ，经过简化的，仅针对包含单个人脸图像的检测技术；人脸跟踪( f a c e t r a c k i n g ) ，在连续的视频序列中实时定位并跟踪人脸的位置；面部特征检测 ( f a d a lf e a t u r ed e t e c t i o n ) ，准确定位人脸区域内的眼睛、眉毛、鼻子、嘴、嘴唇、 耳朵等面部器官的位置：人脸识别( f a c er e c o g n i t i o n ) ，比较输入图像与已经建 好的人脸数据库内各图像间的差异，找到差异最小的作为识别结果输出；面部 表情识别( f a c i a le x p r e s s i o nr e c o g n i t i o n ) ，识别人脸面部的感情状态，如高兴、 沮丧、悲伤等。 人脸检测问题所包含的内容十分广泛，从不同的角度可以有多种分类方法， 如表2 1 f 1 1 所示。 分类依据类别 图像来源静止图像( 包括如数字化照动态图像( 即视频序列，包 片、数码相机拍摄的图片等) ，括工作台前的人脸序列、保 目前考虑的主要问题是算法安监控录像、影视资料等， 图像的适应性和鲁棒性对算法的速度有很高的要 类型求) 颜色信息彩色灰度 镜头类型头肩部图像半身全身图像 人脸姿态正面( 包括端正及平面内旋侧面( 包括俯仰、侧影及旋 图像转)转) 前景 单人( 又可以称为人脸定位，未知( 需要判定图像中是否 人脸数目是人脸检测问题在已知人脸存在人脸，人脸的数目以及 数目情况下的特例)各个人脸的尺度和位置，即 是完全的检测问题) 6 上海大学硕士学位论文 简单背景( 指无背景或背景的复杂背景( 指背景的类型和 特征被严格约束，在该条件下特征不受约束，某些区域可 图像背景复杂程只利用人脸的轮廓、颜色、运能在色彩、纹理等特征上与 度动等少量特征，就能够进行准人脸相似，必须利用较多的 确检测)人脸特征才能做到准确检 测) 人脸信息处理( 验证、识别、表情分析等) 系统、视频会 应用领域议或远程教育系统、视觉监视与跟踪、基于内容的图像与 视频检索等等 表2 - 1 人脸检测问题分类 t a b l e 2 1c l a s s i f i c a t i o nf o rf a c ed e t e c t i o n 最早的有关人脸检测的尝试可以追溯到上个世纪七十年代，当时的算法仅 利用了一些器官间的位置关系等简单的启发式规则，只能够处理正面、单一背 景下的图像，比如护照照片等。 在各种应用的推动下，进入上个世纪九十年代后，人脸检测技术逐渐得到 了各国研究人员的重视，各种更加有效的算法不断提出。这十几年的发展历程 大致可分为两个阶段：9 9 年以前，基于各类知识特征的方法是主导，这类方法 直观易懂、实现简单，但最大的问题是鲁棒性不强；9 9 年以后，基于统计学习 的算法占据了主流地位，随着神经网络、s v m 、概率模型等算法的提出，基于 统计学习的算法在鲁棒性上得到了很大提高，效率上也可基本满足实时应用的 需要。 随着相关研究的深入，人脸检测技术在可控环境下( 光照均匀、姿态端正、 背景简单) ，已能获得可供实用的检测率。然而，由于人脸模式变化的复杂性， 人脸检测问题仍是一个非常具有挑战性的研究课题，目前没有一种算法能够不 加限制地适用于所有场合。具体难点表现在如下方面： ( 1 ) 人脸姿态：图像中的人脸可以在平面内、外任意旋转变化，而人脸面部 的特征及相应的位置分布受姿态变化的影响非常大； ( 2 ) 部分遮挡以及某些非共性特征：图像中的人脸可能受到其他物体部分的 部分遮挡造成特征点的缺失，另外，胡须、眼睛、墨镜、头发等也会对面部特 征造成很大的影响； ( 3 ) 人脸表情：人脸的不同表情下，各特征点分布、位置也有较大不同； ( 4 ) 成像条件的无约束性：光照的小均匀性特别是偏光的影响极大地破坏了 7 上海大学硕士学位论文 人脸特征分布规律； ( 5 ) 复杂背景：自然背景中存在大量与人脸相似的图像，如斑驳的树叶、建 筑物的外表而等，都会使算法出现误检。 下面的内容将分别从人脸特征和分类算法两个方面综述各主要的人脸检测 算法。 2 2 人脸的特征 5 1 人脸图像中包含的特征非常丰富。人脸检测利用的是人脸的共性特征，大 致分为基本特征、肤色特征、变换域特征、统计特征等。对于视频中的人脸对 象，相邻帧间的运动信息也是一个非常有效的特征。 2 2 1 基本特征 1 灰度特征 人脸区域内具有明显的灰度分布特征。眉、眼和嘴等区域的灰度值较低， 前额、脸颊、鼻梁和下颌等区域的灰度值较高。利用这些信息，可以建立简单 的人脸模板，用于粗检。例如，多个人脸图像的平均就是一个简单的人脸模板， 类似的眼模板和嘴模板也常常使用。 人脸具有明显的灰度梯度分布特征。在人脸区域进行水平和垂直方向的灰 度投影，根据极小点的位置可以得到眉、眼、鼻和嘴等器官所处的大致区域。 光照不均对灰度特征有很大的影响。但在偏光的情况下，眼和嘴、鼻和嘴、 鼻和脸颊等区域灰度的比值会保持一定的比率。根据这个特点，可采用线性光 照拟合和直方图均衡的方法来补偿光照的影响。l o g 、e x p 和l o g a b o u t 等一些 非线性变换也可用于光照补偿。 2 边缘和形状特征 人脸及人脸器官具有典型的边缘和形状特征，如人脸轮廓、眼睑轮廓、虹 膜轮廓、眉毛边缘、鼻侧线和嘴唇轮廓等均可近似视为椭圆、圆、弧线或线段 等简单的几何单元。可采用s o b e l 、l a p l a c i a n 和c a n n y 等算子或小波变换提取 上海大学硕士学位论文 这些边缘特征。 噪声的存在会导致边缘的不连续，常采用边缘跟踪器把属于同一轮廓的各 段边缘连接起来，并通过约束搜索范围防止边缘跟踪失败。数学形态学的腐蚀 与膨胀运算与h o u g h 变换也常用于提取人脸轮廓特征，并对噪声有较好的适 应性。 应用s n a k e s 模型或主动形状模型( a s m ，a c t i v es h a p em o d e l ) 能够较好 地抽取人脸的边缘特征，但这些模型需要一个较好的初始化位置。 尽管在强光照变化下也会产生一些伪边缘，但相对于灰度特征，边缘特征 对光照变化具有一定的鲁棒性。 3 结构特征 结构特征主要表现在人脸的对称性和各个器官的空间位置分布。 人脸在结构上的对称性是十分有用的特征。正面人脸左右对称，对应位置 上的边缘和灰度特征基本一致；同时，各个器官也具有自身的对称性，比如双 眼、鼻子、耳朵等。面部器官如眉毛、眼睛、鼻子、嘴等，是按一定位置关系 组织在一起的。各器官按照从上而下的顺序排列，相对位置保持不变。各器官 问还存在着一些几何关系，比如两眼和嘴中心构成一个三角形、鼻子的中心大 致位于这个三角形的中心等。 根据这些结构特征，配合前面介绍的灰度特征、边缘和形状特征，可以建 立基本的规则，区分人脸区域与背景。 4 纹理特征 人脸具有特定的纹理分布特征，基于灰度共生( s o l d ，s p a c eg r e yl e v e l d e p e n d e n c y ) 矩阵建立人脸纹理特征模型，得到表征人脸的一系列纹理特征。 2 2 2 肤色特征 肤色特征按类别划分应属于人脸基本特征，但由于其在彩色图像人脸检测 中所起到的重要作用，将其单独列出，进行着重介绍。 肤色是脸部区别于其他区域的重要特征，不依赖于面部细节特征，不受旋 9 上海大学硕士学位论文 转、姿势、表情等变化的影响，具有相对稳定性并和大多数背景物体颜色相区 别，已成为彩色图像人脸检测中的一个非常重要的特征。 尽管不同种族、不同年龄、不同光照条件下，肤色区域呈现不同的颜色， 但相关研究证明，不同类的肤色点间的差别更多的在于颜色中的亮度分量，而 色度分量在各肤色点间变化不大。由此，可以在特定的色彩空间中建立肤色模 型，描述人脸肤色的特征，有效去除图像中复杂背景的干扰、减小待搜索范围。 常用的色彩空间有r g b 、归一化r g b 、h s v 、y c b c r 、y i q 、y e s 、c i e x y z 、 c i el u v 、c i el a b 、c i ed s h 、t s l 等，常用的肤色模型有直方图模型、高斯 模型、混合高斯模型等。具体构建肤色模型的相关内容，将在第3 章中详细介 绍。 2 2 3 变换域特征 基于f f t 、d c t 、小波、k - l 等变换，根据能量规则选择一系列系数作为 表征人脸图像的特征。 人脸识别中广泛使用的本征脸( e i g e n f a c e ) 以及最近流行的h a a r 特征 ( h a a r - l i k ef e a t u r e ) 均属于变换域特征。 目前图像大多以压缩的格式存在，各个图像压缩标准广泛地应用了d c t 和 小波变换。因此，研究如何有效地提取这些变换域下的人脸特征，具有很强的 实际意义，已成为目前一个很受重视的研究方向。 2 2 4 统计特征 由于人脸图像模式的复杂性，能够用来描述人脸共性特点的显式特征是有 限的，而由此建立起的人脸规则的有效性也有很大的局限性。解决这个问题的 办法就是更多地使用人脸图像的统计特征，也可称为隐式特征。 统计特征是指通过统计的方法，从单个图像数据或大量图像数据中获得的 1 0 上海大学硕士学位论文 特征，如自相关、高阶矩、不变矩、在子空间的投影，空间距离、隶属度、概 率分布、熵、互信息，以及神经网络的抽象特征等。 统计特征不如基本特征直观，但描述的往往都是人脸与非人脸的本质区别， 在一个更高的层次上描述人脸特征。 在大量统计特征基础上构建起来的基于统计学习的人脸检测算法，具有良 好的适应性和鲁棒性，得到了广大研究人员的普遍重视，已成为目前研究的主 流。 2 2 5 运动特征 对于视频序列，相邻帧间的运动信息是一个重要的特征。计算相邻帧图像 的差分即可得到运动区域。为了提高算法对噪声的鲁棒性，可采用空间连通区 域、多帧差分、差分图像光滑滤波、时空三维张量等方法。 运动特征也常用于人脸跟踪的研究中，基本方法就是跟踪整个人脸或基于 特征器官( 如眼、嘴) 的跟踪。 2 3 人脸检测方法分类 人脸模式的复杂性及可利用信息的多样性，准确地对人脸检测算法的分类 是一个困难的工作，所以将人脸检测方法主要分为以下三类：1 基于知识的方 法；2 基于模板匹配的方法；3 基于学习的方法。应该说这种分类并不十分严格， 某些分类之间可能存在明显的交叉。 1 基于知识的方法： 基于知识的方法首先抽取几何形状、灰度、纹理等特征并形成一定的规则， 然后检验这些规则是否符合人脸的先验知识。这类方法一般检测速度都很快， 但精度较差，主要用来人脸的粗检测。 2 基于模板匹配的方法： 这类基于模板匹配的方法利用人脸的部分或全部的标准特征模板和输入图 像中所有的区域执行匹配操作，利用模板和区域之间所得的匹配度量来检测人 上海大学硕士学位论文 脸。这类方法一般使用快速傅利叶变换或快速数论变换来加快匹配速度。 3 基于学习的方法： 这类基于学习的方法一般依靠统计分析和机器学习技术来学习人脸样本和 非人脸样本，从而达到区分人脸和非人脸的目的。这类方法如果学习样本比较 充分，分类器选择得当一般来说精度要好于上述二种方法。但这类方法大多需 要很大的计算开销，所以一般结合上述二种方法中的一种或二种来使用。 2 3 1 基于知识的方法 这种方法来源于研究人员对人脸信息的认识，研究人员很容易总结一些规 则描述人脸的特征和它们之间的相互关系。例如人脸的几何形状满足一般性的 约束，人脸面部器官的分布大致符合三庭五眼的规则。正视时，人脸可近似为 椭圆形或长方形，是一个左右对称的物体( 正常人正常情况下) ，人的面部是由 比较平坦的面部皮肤和按一定规则分布在其上的器官( 眉毛、眼睛、鼻子、嘴 巴) 来构成的，皮肤区域的颜色较亮，各器官的颜色较暗，这些知识是人眼认 知人脸的基本依据。对于人脸检测来说，人们利用这些知识，发展了众多的基 于知识规则的人脸检测算法。 随着这种基于知识规则的人脸检测算法的应用也带来了一个问题，就是定 义一个对所有脸都适用的规则是非常困难的( 甚至是不可能的) 。如果规则定义 的过于严格，环境稍有变化( 例如光照条件的变化、表情的变化等) 就有许多 正常的人脸不能通过所有的规则而不能被检测。如果规则定义的过于宽泛，就 会出现许多不是人脸的区域被当作人脸区域而检测到。此外，很难把这种方法 推广到检测不同姿态人脸的问题中去。 y a n g 等【6 】首先提出了基于知识规则的由粗到细的三级结构来检测人脸。通 过平均和下采样的方法可以得到原图像在多个不同分辨率下的图像，这些低分 辨率图像被称为镶嵌图( m o s a i ci m a g e ) ，如图2 - 1 所示。 首先，在最低两级分辨率的镶嵌图中，采用一系列规则来快速地获得人脸 候选区域，比如需符合人脸灰度特征分布、相邻区域内灰度大小的关系、相似 1 2 上海大学硕士学位论文 灰度区域间的位置关系等；然后在最高分辨率图像中，提取人脸的边缘特征， 符合眼、嘴结构特征的候选区域被最终确认为人脸图像。 ( a ) f l ( 原图像) ( c ) n f f i 8 嘞删 ( d ) n = 1 6 图2 1 原图像及相应的各级镶嵌图 f i g2 - lo r i g i li m a g ea n dm o s a i ci m a g e s 尽管这种方法最终的检测性能不是很理想，但其提出了一种由粗检到细检、 多分辨率分析的思想，为后续的更有效的方法提供了很好的研究思路。 k o t r o p o u l o s 7 1 等提出基于人脸面部梯度特征的方法来检测人脸。经过研究发 现，人脸面部各点的灰度值较大，而在对应于主要器官及人脸边缘的位置经常 会出现一个灰度分布的局部极值。基于这个思想，k o t r o p o u l o s 将大小为m n 的输入图像i ( 葛力分别向水平、垂直方向投影，得到n x ( x ) 和r t ( y ) ，如式( 2 - 1 ) 示。 王盯( 功= ，o ，y ) ，玎o ，) = ，y ) ( 2 - 1 ) y = 1 x = l 为了去除离散噪声的干扰，用n - - 4 的镶嵌图代替原图像，结果如图2 - 2 所 示。 上海大学硕士学位论文 婶j 图2 2 输出图像的水平、垂直方向投影 f i g2 - 2h o r i z o n t a l ，v e r t i c a lp r o j e c t i o nf o ri n p u ti m a g e s 由图2 2 ( a ) 、( b ) 可以看到，该方法对于面部平坦、背景较简单的图像具 有较好的效果，可以通过投影的局部极值找到人脸轮廓以及各器官的对应位置。 但是对图2 2 ( c ) 这类复杂背景下的多人脸图像，这种方法无法有效处理。 2 3 2 基于模板匹配的方法 模板匹配法就是计算出固定目标模板和候选图像区域之问的相关性或差异 性，作为匹配准则来搜索人脸。这种方法具有简单、直观的特点。当人脸的模 式过于复杂而不能用单一模板建模时，可以使用几个相关模板检测那些相对稳 定的人脸局部特征。 c r a w t 8 】采用模板在低分辨率图像的边缘图像上定位头部，边缘检测采用 s o b e l 算子，将头的外缘连起来，再逐步到高分辨率图像对应的位置上进一步定 1 4 上海大学硕士学位论文 出更精确的头部轮廓，接着根据头部轮廓的位置，进一步定出眼睛、眉毛和嘴 唇的轮廓。a i 【9 】提出了一种基于多相关联匹配的人脸检测方法，其中用到两种 模板：双眼模板和不同长宽比的人脸模板。在检测时首先使用双眼模板进行筛 选，然后是用不同长宽比的人脸模板确定出人脸区域的位置和范围，最后利用 人脸器官的边缘特征进行确认。为了解决图像中不同尺度人脸的检测问题，采 用了按照固定比例逐步缩小输入图像的方法进行多个尺度的搜索。 i 可变形模板法( d e f o r m 曲l et e m p l a t e sm e t h o d ) 哈佛大学以a y u i l l e 为首的研究小组提出一种器官精确定位方法d o h 。所 谓可变形模板，是对眼睛、嘴巴等面部器官形状的一种参数化描述，如图2 3 眼睛可以用一个圆外加两条抛物线段来表示。同时，与模板的性质相对应，定 义一个与图像中边缘( e d g e s ) 、峰值( p e a k ) 、谷值( v a l l e y s ) 等相关的能量函 数。将模板动态地作用于图像，通过修改其参数使能量函数值达到最小，也就 是通过模板的变形在图像中找到其最佳匹配。由于可变形模板法利用了全局性 信息，因而提高了人脸检测的可靠性，但同时也暴露出初始位置难于确定、权 值选取依赖经验、可能陷入局部极小、计算量大等不足。 眼模型 图2 - 3 两种可变形模板 f i g2 - 32d e f o r m a b l et e m p l a t e 嘴模型 对于可变形模板法的改进可分为以下几类： ( 1 ) 对于能量函数的修正； ( 2 ) 对于可变形模板的补充。例如：头部轮廓、面额和下巴的可变形模板： ( 3 ) 对于模板初始位置的估计算法。例如；角点检测( c o m e rd e t e c t i o n ) 、数 学形态滤波器( m o r p h o l o g i c a lf i l t e r ) 等： ( 4 ) 对于匹配方式的改进。例如：基于区域的策略( r e g i o n - b a s e ds t r a t e g y ) 、 自适应霍夫变换( a i d t ，a d a p t i v eh o u g ht r a n s f o r m ) 等。 上海大学硕士学位论文 2 活跃轮廓模型法( a c t i v ec o n t o u rm o d e lm e t h o d ) 活跃轮廓模型法亦称蛇形法( s n a k e sm e t h o d ) 。活跃轮廓是一条在外部约束 力作用下的能量最小化样条曲线。它通过迭代的方法可以不断修正，逐步趋近 图像中的线条或边缘。c h e n 1 2 采用这个方法完成了头部轮廓、眉毛及鼻孔的 检测。 2 3 3 基于学习的方法 基于统计学习的方法是目前比较流行的方法，是解决复杂的人脸检测问题 的有效途径。具有如下优点：( i ) 不依赖于人脸的先验知识和参数模型，可以 避免不精确或不完整的知识造成的错误；( 2 ) 采用了实例学习的方法获取模型 的参数，统计意义上更为可靠；( 3 ) 通过增加学习的实例可以扩充检测模式的 范围，提高检测系统的鲁棒性。 基于统计学习的方法有很多种，主要有特征脸、神经网络、支撑向量机、 类h a m ：特征、隐马尔可夫模型等方法。类h a a r 特征的方法将在第4 章中详细 介绍。 1 特征脸方法( e i g e n f a c em e t h o d ) 美国m i t 的m t u r k 和a p e n t l a n d 在人脸识别领域中提出了著名的特征脸 方法【”】，同时也将它用于人脸检测。特征脸的基本思想是任意输入图像都可以 表示为。特征脸”的线性组合，线性组合的系数反应了该人脸的特性。特征脸 方法的实质是通过k l 变换获得人脸模式在整个图像空间中的降维子空间( 称 为“脸空间”) ，并根据待识别样本到脸空间的距离确定它是否属于人脸模式。 如果对人脸轮廓或面部器官进行同样的计算，便可将特征脸方法用于人脸轮廓 检测或面部器官检测。 一幅大小的人脸图像【口。】按列相连而构成一个2 维矢量 彳= ( a l l , a 2 l ，a i ，4 1 2 ，a 2 2 ，a 2 ，4 l ，4 2 ，a n n ) 它可被视为2 维空间中的一个点。由于人脸结构的相似性，当把许多这样 1 6 上海大学硕士学位论文 的人脸图像归一化之后，这些图像在这一高维空间中不是随机散乱地分布的， 而是存在某种规律。这样可以通过k - l 变换用一个低维子空间描述人脸图像。 由于k - l 变换方法在本质上依赖于图像灰度在空间分布上的相关性，在进 行k - l 变换之前，对待检测的人脸图像需要进行一系列的预处理，以达到位置 校准和灰度归一的目的。 以归一化后的标准图像作为训练样本集，以该样本集的总体散布矩阵，计 算总体散布矩阵的特征值和正交归一特征向量。 对任一待识别样本f 通过向“特征脸”子空间投影求出其系数向量，其重 建图像的信噪比为： r “= 1 0 一纠1 2 若其小于预先设定的阈值，则可判断f 不是人脸图像。 m o g h a d d a m i l 却只利用前若干张特征脸将人脸向量投影到主元子空间f 和 与f 正交的补空间f 。距离度量也分成两部分：一个称为d i f s ( d i s t a n c ei nf e a t u r e s p a c e ) ，另一个称d f f s ( d i s t a n c ef r o mf e a t u r es p a c e ) 。在很多情况下，只计算 d i f s 就能获得很好的分类效果。特征空间的分解示意如图2 - 4 所示。 图2 - 4 特征空间的分解 f i g2 - 4t h ea n a l y s i so f t h ef e a t u r es p a c e 1 7 上海大学硕士学位论文 2 人工神经网络方法( n e u r a ln e t w o r k sm e t h o d ) 神经网络具有记忆功能，当训练样本比较全面时，神经网络可以处理比较 复杂的检测问题，所以许多检测算法采用神经网络方法。人脸模式、眼睛模式 和嘴巴模式等都有比较明显的特点，因此可以采用神经网络的识别方法。 多层感知器( m l p ) 早就被用于人脸模式的分类，b u r e l 1 5 1 先用k o h o n e n 网 络对原始训练集进行粗分类，然后用m l p 网络进行精确分类。检测效果比较 理想。v m c e n t t l q 用一个分级的特征检测系统定位眼睛和嘴巴，降低分辨率后的 图像输入四个已被训练过的多层感知器，能对左右眼睛、嘴巴和人脸中心进行 粗定位，然后再经过处理定位出比较精确的眼睛的上下左右四个眼角定点并分 割嘴巴区域。