（计算机应用技术专业论文）人脸光照样本重构与基于支持向量机的人脸检测研究.pdf

摘要 本文的研究工作主要包括人脸光照样本重构及其在人脸检测中的应用和基 于支持向量枧的多层人脸检测分类器蕊部分内容。主要的创新可以分为如下几个 方面： 第一：通过对人脸样本迸行光照重构生成新的样本解决人脸检测中的光照 阃题。光照问题是人脸检测中比较难于解决的问题之一，在基于学习故方法中。 由于光照样本的不足，对各种光照特征的学习不够，学习的结果对于光照的推广 性不强。在人脸光照样本重构的研究中，我们利用己知样本生成新的光照样本， 从雨解决了上述光照样本不足的闯题。光照可以用谐波函数空l b j 的煎九个展开系 数来近似表示，利用这个理论我们用九维系数来近似表示所有可能的光照条件。 利用一个平均的三维人脸模型和商图像的概念，我们可以给人脸样本加上新的光 照，从而可以获得特定光照条件下的j f 羊本。同样我们也可以获褥多种不同光照条 件下的样本，从而丰富了人脸训练样本库。 第二，提出一种新的边缘特征作为人脸分类器的分类特征。边缘特征对光 照具有比较好的鲁棒注，我们充分科忍入睑的於轮廓昶内部边缘方向特征，提驶 了人脸样本的5 4 维边缘特征，对人脸进行分类。在特征提取时，还利用了人的 肩部轮廓信息可分性比较高。 第三。基于支持囱量梳的多层人硷检泌分类器。我们使用支持商量枫作为 基本的分类器，利用边缘特征进行分类，最后利用面部区域狄度特征进行认证， 构造了一个多层的人脸检测分类器。由于非线性的支持向量机计算速度比较慢， 而线性的g v m 分类能力又比较差，为了达到速度和检测率两方萄的要求，我们 首先使用线性s v m 分类器排除大量的明显的非人脸样本，然后利用非线性s v m 进行进一步的分类，去除第一层分类器的误检。由于人脸面部灰度中蕴涵有很多 入脸的关键特征，我臂j 使用入验面部荻度特征来进行最后台勺入验的验证。 实验表明该分层人脸分类器在测试集上取得了良好的结果，在结合样本光 照重构的结果，该系统还能够在一定的程度上解决光照问题。 关键词：人脸检测谐波函数 支持向量机边缘特征 a b s t r a c t t h ew o r ko ft h i s p a p e rf o c u s e s o nt w oi s s u e so n ei sf a c e s a m p l er e l i g h t i n g a n di t s a p p l i c a t i o ni nf a c ed e t e c t i o na n d a n o t h e ri sf a c ed e t e c t i o nw i t hs u p p o r tv e c t o rm a c h i n e ( s v m ) d i f f e r e n te n v i r o n m e n ti l l u m i n a t i o nh a sag r e a ti m p a c to nf a c e d e t e c t i o n i nt h el e a r n i n g b a s e dm e t h o do ff a c ed e t e c t i o n ，t h ec l a s s i f i e df e a t u r e sw e r ea b s t r a c t e df r o m t h et r a i n i n gs a m p l e s b e c a u s eo ft h el a c ko fl i g h t i n gs a m p l e s ，t h el e a r n e df e a t u r e sa r eu s u a l l ys e n s i b l et o 川u m i n a t i o n v a r i a t i o n i no u rr e s e a r c h e sf o rf a c es a m p l er e l i g h t i n g , w ep r e s e n t as o l u t i o nb a s e do nf a c e r e l i g h t i n gt e c h n o l o g y t h eb a s i ci d e ai s t h a tt h e r ee x i s tn i n ec o e f f i c i e n t so ft h eh a r m o n i cf u n c t i o n t h a tc a n p r e s e n t t h e o r i g i n a l f u n c t i o n a p p r o x i m a t e l y ，a n db y w h i c hw ec a r le s t i m a t et h e i l l u m i n a t i o nc o e f f i c i e n to fa n yf a c es a m p l e s u s i n ga na v e r a g e3 d f a c em o d e la n da ni l l u m i n a t i o n r a d i oi m a g e ，w ec a r lp r o d u c ei m a g e su n d e rn e wl i g h t i n gc o n d i t i o n s w er e l i g h to r i g i n a l f a c e s a m p l e st o n e ws a m p l e su n d e rd i f f e r e n ti l l u m i n a t i o n sa n dt h ec o l l e c t e de x a m p l es e t w i l lb e m u l t i p l i e d a n o t h e rw o r ki st h es t u d yo fs v m - b a s e df a c ed e t e c t i o n e d g ef e a t u r ei s l e s ss e n s i t i v et o 川u m i n a t i o ov a r i a t i o n t ot a k ef u l lu s eo ft h ei n f o r m a t i o na b o u tf a c e c o n t o u ra n df a c i a le d g e i n f o r m a t i o n ，w ep r o p o s e dan e w5 4d i m e n s i o nf e a t u r ea b o u tt h ee d g ed i r e c t i o n w ea l s o u s et h e s h o u l d e re d g et os t r e n g t h e ot h ef e a t u r et r a i t l a t e r , w ep r o p o s ean e w c a s c a d ef a c ed e t e c t o rb a s e d o ne d g ef e a t u r ea n df a c i a lf e a t u r e u s eg r a yv a l u eo f f a c i a la r e a ，w ec a nv e r i f yt h ef a c ei nt h ee n d - t oi n c r e a s et h es p e e de f f a c ed e t e c t i o n ，t h ed e t e c t o rf u s e st h en o n l i n e a ra n dl i n e a rs v m c l a s s i f i e r w et a k et h en o n 1 i n e a rs v m i nt h ef i r s t l a y e ro ft h ed e t e c t o r , w h i c hc a nd e l e t e m o s to ft h e n o n f a c ea r e a a n dt h e nu s et h en o n 1 i n e a rs v m t og e tt h ea c c u r a t ep o s i t i o no ft h ef a c e si nt h e i m a g e s t h ee x p e r i m e n t a lr e s u l ts h o w st h a tt h ec a s c a d es y s t e mh a sah i g hd e t e c t i o nr a t eo nt h et e s t s e t u s i n go ft h e i l l u m i n a t i o ns a m p l er e l i g h t i n gr e s u l t ，t h es y s t e mc a ns o l v et h e i l l u m i n a t i o n p r o b l e m t os o m ee x t e n t - k e y w o r k s ：f a c ed e t e c t i o n ，i l l u m i n a t i o n ，h a r m o n i ci m a g e s ，s u p p o r t v e c t o rm a c h i n e ，e d g e f e a t l l r 2 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：奎旦熟曰期：星竖i ! 盟 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定。即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密韵论文在解密后应遵守此规定) 签名：蕉基塾导师签名：兰室盔目期：堡生：垂：f 口 第一章绪论 1 1 人脸检测的研究背景和意义 人脸研究，主要包括人脸识别技术( f a c er e c o g n i t i o n ) 和人脸检测( f a c e d e t e c t i o n ) 技术的研究受到来自学术界和工业界越来越多的关注。最初的人脸研究 主要集中在人脸识别领域，而且早期的人脸识别算法都是在认为已经得到了一个 正面人脸或者人脸很容易获得的前提下进行的。但是随着人脸应用范围的不断扩 大和开发实际系统需求的不断提高，这种假设下的研究不再能满足需求。人脸检 测开始作为独立的研究内容发展起来。而且随着人脸研究的进一步发展，人脸检 测有了更广泛的应用，在人机交互方式领域、数字视频处理、生物特征识别、物 体检测的研究等方面意义越来越明显。 首先，人脸检测技术的提出是人机交互研究发展的需要。随着计算机的日 益普及，完全人性化的人机接口是计算机未来发展的重要方向之一。人机交互方 式，经过第一代的单一文本形式到第二代的图形用户界面的发展，不断的从以技 术为本，向以人为本的方向发展。现在，人们提出了智能人机接口的概念，希望 计算机具有或部分具有人的某些智能，人同计算机的交流变得象人与人之间的交 流一样轻松自如。 用户是人机界面中的主体，计算机作为种“智能体”参与了人类的通讯活 动。在处理人机关系时，根据“人为中心”的思想，应当充分考虑人的因素。因 此，智能接口系统要解决的首要问题是计算机如何感知使用者的存在，这是人机 交互的前提。脸部是人类携带信息最丰富的部位，是人类的重要特征。从认知角 度讲，人们在视觉通遒层次上感知和识别人的首要信息载体就是人脸。使计算机 具有感知到人是否存在的视觉功能，这项技术就是人脸检测。 其次，在数字视频处理领域，人脸检测技术可以用来视频数据的压缩和处 理。随着数字信号和网络的发展，越来越多的数字视频资源需要进行存储和网络 上的传输，这就需要耗费极大的空间和时间。如何进擂视频的压缩是目酊的个 重要研究课题。 ，憋。拦燮燮竺竺咧二塑垦些鐾垂垄警黧釜，幽塑，幽。一 现在使用的一种主要的压缩编码方法是将图像接受者的视觉主观特性和图 像中景物的客观特征考虑在内，是一种基于内容的编码。m p e g 一4 就是这样的一 种基于目标或内容的标准 2 】。人脸在很多视频中是图像的主题，区别于背景单 独进行编码，能够提高编码率，同时保证视频的质量。这样就需要首先确定人的 位置，进行人脸检测。 第三，在生物特征识别技术中，作为人脸自动识别系统的先决条件，人脸 检测技术有着十分重要的作用。在现代社会中，传统的身份鉴定方式( 例如口令、 信用卡、身份卡等) ，存在携带不便、容易遗失、或者由于使用过多或不当而损 坏、不可读和密码易被破解等诸多问题，已不能很好地满足各种安全需要并显得 越来越不适应现代科技的发展和社会的进步。因此，人们希望有一种更加可靠的 办法来进行身份鉴定：生物特征识别技术给这一切带来可能。生物特征识别技术 ( b i o m e t r i c s ) 是通过利用个体特有的生理和行为特征来达到身份识别和( 或) 个体验证目的的一门科学。尽管人们可能会遗忘或丢失他们的卡片或忘记密码， 但是却不可能遗忘或者丢失他们的生物特征如入脸、指纹、虹膜、掌纹等的特征 或声音等。 在生物特征识别技术中，近年来以人脸为特征的识别技术发展十分迅速。 相对而言，人脸识别是一种更直接、更方便、更友好、更容易被人们接受的非侵 犯性识别方法。作为人脸自动识别系统的第一步，人脸检测技术有着十分重要的 作用，它为后续的人脸分类提供了待识别人脸的具体信息。 最后，在理论上讲，人脸检测是一项极具意义的研究领域。 人脸样本构成了一个具有自然相似结构、却又各不相同的开放的模式集合。 它具有复杂特征的模式和类型，光照、环境、姿态和年龄等因素对人脸样本都有 很大的影响，是一个复杂的具有挑战性的模式检测问题。在现实世界中，有许多 类似的现象和问题，如手写文字的处理。对人脸三维非刚性目标的检测和识别的 研究对于大量同类问题的解决有着相互启发和相互推动的现实意义。 1 2 国内外研究综述 人脸检澳t ( f a c ed e t e c t i o n ) 可以定义为对于任意一幅给定的图像。采用一定的 策略对其进行搜索以确定其中是否含有人脸，如果是则返回人脸的位置、大小和 姿态 1 】a 它是一个复杂的具有挑战性的模式检测问题，其主要的难点来自两 个方面，一方面是由于入脸内在的变化所引起；( 1 ) 人脸具有相当复杂的细节 变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开、闭等：( 2 ) 人脸 的遮挡，如眼镜、头发和头部饰物以及其他外部物体等；另一方面是由于外在条 件变化所弓 起：( 1 ) 由于成像角度的不同造成入脸的多姿态，妞平鬣内旋转、深 度旋转以及上下旋转，其中深度旋转影响较大；( 2 ) 光照的影响，如图像中的亮 度、对比度的变化和阴影等。( 3 ) 图像的成像条件，如摄像设备的焦距、成像距 离，图像获得的途径等等。这些碾难都为解决入脸检测问题造成了难度。如果能 够找到一些相关的算法并能在应用过程中达到实时，将为成功构造出具有实际应 用价值的人脸检测与跟踪系统提供保证，同时也将为解决其它类似的复杂模式检 测阔题提供重要的启示。 许多国家和研究机构都在人脸检测领域进行了大量的研究，国际上主要包 括美国、欧洲一些国家、日本、新加坡、韩国等，著名的研究机构有美国m i t 的m e d i al a b 、a il a b ，c m u 的h u m a n c o m p u t e ri n t e r f a c ei n s t i t u t e ，m i c r o s o f t r e s e a r c h ，英国的d e p a r t m e n to f e n g i n e e r i n g i nu n i v e r s i t yo f c a m b r i d g e 等。国内 进行研究的有清华大学、中科院计算所和自动化所、北京工业大学和哈尔滨工业 大学等。 人脸检测的过程大概可以分为特征的提取和判别两个部分，根据这两部分 的不同可以把国内多种人脸检测方法进行以下划分： 1 2 1 特征提取的方法 人脸模式可以有多种特征表示方法，在人脸检测中可以选取不同特征柬表 示和判断。好的特征应该是能够对人脸和非人脸的可分性强。 1 直观的视觉特征 在人脸检测过程中，根据基本图像处理和统计技术提取一些视觉特征，比 如肤色f 5 7 】、面部特征、灰度、纹理等，它们描述的是无结构或结构单一的局部 特征或这种单一特征的全局分布。 肤色是人脸的重要信息，在颜色空间中的分布相对比较集中。肽色不依赖 于面部的细节特征，对于姿态、表情等变化情况不敏感，具有相对的稳定性。因 此肤色特征在人脸检测中是最常用的特征之一。肤色可以用多种不同的模型来表 示，如直方图模型【1 2 】和p a r z e n 窗模型d 4 3 1 5 1 、高斯模型和混合离斯模型等。 根据颜色表示的色度空间不同，可以对肤色进行不同的建模表示。人脸检测常用 的色度空间有：r g b f 】= 0 ， v 占 0 ， ( 2 - 1 ) 月+ o o 其中，p 表示概率，r 一( w ) 和尺( w ) 分别表示在n 个样本下的经验风险和 对于同一w 的真实风险。 由于在学习过程中，经验风险和期望风险都是预测函数的函数，我们的目 的不是用经验风险去遥近翳望风险，丽是通过求使经验风险最小化的函数来逼近 能使期望风险最小化的函数。定理的具体证明可参看【4 9 】。 学习理论关键定理给出了经验风险最小化原则成立的充分必要条件，而v c 维的概念刘给出了衡量函数集满足经验风险最小化原则的一个比较直观的指标。 v a p n i k 和c h e r v o n e n k i s 在1 9 6 8 年提出了v c 维的相关理论，指出经验风险 最小化学习过程一致的充分必要条件是函数集的v c 维有限，且这时收敛速度是 最移乇的。 v c 维是指假如存在一个有h 个样本的样本集能够被一个函数集中的函数按 照所有可能的形式分为两类，则称函数集能够把样本数为h 的样本集打散，指示 函数( 为了讨论方便把损失函数l ( y ，( x ，w ) ) 看作是指示函数) 的v c 维就是用这 个函数集中的函数所能够打散的最大样本集的样本数目。如果对于任意的样本集 能够被这个函数集打散则函数的v c 维就是无穷大。 v c 维是统计学习理论中的一个核心概念，它是目前为止对函数集学习性能 的最好描述指标，但目前尚没有通用的关于如何计算任意函数集的v c 维的理 论，只有一些特殊的函数集的v c 维可以准确知道。 2 2 2 推广能力 一个具有很好的推广性的学习机器才是真正有用的。组成学习机器函数集 的推广性界可以衡量学习机器的推广能力。经验风险最小化原则下学习机器的实 际风险是由两部分组成的，可以写作：r ( w ) 心( w ) + 庐e ) ，n 是训练样本的 “ 个数，h 足v c 维数，其中的第一部分为训练样本的经验风险，另外部分称作 置信范围。置信范围是函数集的v c 维m ) 和训练样本数目( n ) 的函数，且随着它的 增加而单调减小。详细的证明过程可以参看 4 9 】。 2 2 3 结构风险最小化 传统机器学习方法中普遍采羁的经验风险最小化原则在样本数目有限时， 只考虑了第一项的因豢，它所选择的最优不一定是期望风险的最优。但是选择最 小经验风险与置信范围之和最小的子集，就可以达到期望风险的最小，这个子集 中使经验飙险最小的函数就是要求的最坑函数。这种思想就称为有序限险最小化 或者结构风险最小化( s t r u c t u r a l r i s km i n i m i z a t i o n ) ，简称s r m 原则。 在结构风险最小化原则下，一个分类器的设计过程包括一下两方面的任务： 选择一个适当的函数子集( 馒之对褐题来说有最优能分类能力) ：从这令子集中 选择一个判别函数( 使经验风险最小) 。 2 3s v m 理论 支持向量机( s u p p o r tv e c t o rm a c h i n e ) 以经验风险最小化( s r m ) 原理为理论依 据，在解决小样本、非线性及高维模式识别问题中表现出了许多特有的优势，并 能够推广应眉副函数拟合等其他机器学习鸿题串。s r m 使x 4 c ( v a p n i k c h e r o v n e n k i s ) 维数的上限最小化，这使得s v m 方法比基于经验风险最小化的人 工神经网方法具有更好的泛化能力。 2 3 i 线性可分的二分类问题 s v m 是一种能在训练样本数很小的情况下达到很好分类椎广能力的学习算 法，它能做到与数据的维数无关。s v m 是从线性可分情况下的最优分类面发展 而来的，不失一般性，对于线性可分的二分类问题，它的目标是产生一个分类器 能够对未观察到的例子进行有效分类即具有良好的泛化能力。如图2 1 所示， 在所有可能将这组数据分割开的线性分类器中，只有一个( 图中加粗的直线) 能 够使得离它最近的每类点( 称为“支持矢l ( s u p p o r t v e c t o r s ) ”) 与它的距离( 称之 为“边距( m a r g i n ) ”) 达到最大。 + 4 - + + 幽2 - 1 最优分割超平血 这个线性分类器就是最佳分割超平面w xq - 占= 0 。所谓最优分类线就是要 求分类线不但能将两类无错误地分开而且要使两类地分类空隙最大。前者是保 证经验风险最小( 为o ) ，分类空隙最大实际上就是使推广性的界的置信范围最小， 从而使期望风险最小。 我们将刿别函数进行归一化，使两类所有样本都满足jg ( z ) 辟】，将超平面 1 4 带入，计算两个分类面的距离为2 1 1 w 求这两个分类面的最大距离即为求| | l 9 的最小值，满足这个条件的分类面即为最优分类面。上述最佳分割超平面的求解 问题在规范超平面的约束下，使用l a g r a n g e 乘子方法可以归结为个二次规划 问题 4 8 1 。 具体而言，设给定样本集合为( x ，y 。) ，i = 1 2 r 1 ) ，； 十1 ，一1 ) ，则定义求最优 分类线的l a g r a n g e 函数为： l ( w ，b ，口) = 妻( w tw ) 一c t , y 。【( w , x i ) + b 卜1 j ，( 2 - 2 ) 厶 i = 1 其中g o 为l a g r a n g e 系数，对w 和b 求l a g r a n g e 函数的极小值。则可以转 换成如下对偶问题：在约束条件m a ，= 0 ，q o - f 1 1 ，n z t 对a , 求解下列 i = l 函数的最大值： 断。 q ( 口) = 吒一寺吩咒y ，( x 卢】厶，= i 求解上述问题后得到的最优分类函数是 厂( x ) = 渺 ( w + 工) + 6 ) = s g i l 茸m ( 一- 工) + 晚( 2 4 ) - l 其中d j 为2 - 3 求解函数的最优解。判断函数的符号，即可以作出类别的判 2 3 2 广义的最优分类面 对于线性不可分的问题，可以通过引入松弛交量和惩罚函数的方法推广最 优超平面的概念，更一般的方法是根据积分算子空间的核函数理论引入非线性映 射将输入向量映射到高维空间，s v m 能在高维空间中给出最佳分类超平面。对 于少量训练集中的样本不满足线性可分的条件的情况，可以饮用一个松驰项来， 对现行可分情况下的最优分类面，在线性不可分情况下可引入约束的最优分类 面，可以称为广义的最优分类面。 2 3 3 支持向量机 对于n 维空间中的线性函数，其v c 维为n + i ，以保证有较好的推广性。 同时我们看到，通过把原问题转化为对偶问题，计算的复杂度不再取决于空间维 数，而是取决于样本数，茏其是样本中的支持向量数。这些特点使有效地对付高 维问题成为可能。 对非线性问题，可以通过非线性变换转化为某个高维空间中的线性问题， 在变换空阗求最优分类面。这种变换可能比较复杂，因此这种恩路在一般情况下 不易实现。但是注意到，在上面的对偶问题中，不论是寻优函数( 2 3 ) 还是分类 函数( 2 - 4 ) 都只涉及训练样本之间的内积运算( 薯x ，) ，这样，在高维空间实际上只 需进行内积运算，而这种内积运算是可以用原空间中的函数实现的，我们甚至没 有必要知道变换的形式。根据泛函的有关理论，只要一种核函数k ( t x ，) 满足 m e r c e r 条件。它就对应某一变换空间中的内积【4 8 】。 因此，在最优分类面中采用适当的内积函数毅t 工，) 就可以实现某非线 性变换后的线性分类，而计算复杂度却没有增加，此时目标函数( 2 3 ) 变为 q ( a ) = q 一去吁m y ，k ( t 巧) ，( 2 5 ) f - l 厶i , j = l 而相应的判别函数式( 2 4 ) 也应变为： f ( x ) = s g n a j y i k ( x ，x ) + n ，( 2 6 ) j = 1 算法其他条件不变。这就是支持向量机。 支持向量机的基本思路可以概括为：首先通过非线性变换将输入空问变换 到一个高维空间，然后在这个新空间中求取最优线性分类面，而这种非线性变换 是通过定义适当的内积函数实现的。 s v m 中不同的内积核函数将形成不同的算法，目前研究最多的核函数主要 有三类： ( 1 ) 多项式核函数 k ( x ，_ y ) = ( x y + 1 ) 4 ，( 2 - 7 ) 。，幽。燮垄塞鏊垡誊毽壑逃型k 型。塑一 所得到的是d 阶多项式分类器： ( 2 ) 径向基函数( r b f ) 二崆二业 x ( x ，y ) = e 2 s 2 ，( 2 8 ) 所得分类器与传统r b f 方法的重要区别是，这里每个基函数中心对应一个 支持向量，它们及输出权值都是由算法自动确定的； ( 3 ) s i g m o i d 函数作为内积，即 砸= t a n h ( 等叫，( 2 - 9 ) 这时s v m 实现的就是包含一个隐层的多层感知器，隐层节点数是由算法 自动确定的，而且算法不存在困扰神经网络方法的局部极小点闫题。 2 ，4 本章小结 本章介绍了统计学习的一些基本理论，指出了支持向量机用于人脸检测的 优势所在。基于统计学习的方法是现在人脸检测的主流方法。传统的统计学习方 法如基于b a y e s 分类器的方法和神经网络的方法，在人脸检测中都有一定的应 用。但是这些方法是基于样本数目趋于无穷大时的渐进理论，需要大量的样本。 在实际应用中，样本的数量是有限的，这样就很容易出现过学习现象。统计学习 理论在传统统计理论的基础上提出了解决小样本学习问题的一套新的理论，包括 经验风险最小化原则下统计学习的一致性条件、在这些条件下关于统计学习方法 推广性的界的结论、在这些界的基础上建立的小样本归纳推理原则、实现这些新 的原则的实际方法。支持向量机就是在此理论基础上一个很好的实现的，在解决 小样本、非线性及高维模式识别中表现出了很多优势，在人脸检测的应用中有很 大的发展潜力。 第三章光照样本的重构和实验 不同的光照条件，如强光、弱光、逆光、侧光等引起的图像中人脸特征的 变化使得很多算法在检测时对这些人脸失效。由于人脸检测对速度的要求比较 高，现在处理光照的一般方法是对被检测的图像进行适当的预处理，如直方图均 衡化，l o g 变换和指数变换等等。但是这些方法完全脱离了人脸检测的具体方法， 特别是对于学习的方法，没有充分利用对样本的学习能力。 人脸识别对速度要求耜对较低，所以除了以上方法外，还可以利用3 d 信息 处理光照问题 5 5 5 6 。我们借鉴人脸识别中利用3 d 信息的方法，采用对人脸样 本进行重新加光的方法，获得充分的光照样本，这样就可以在学习过程中充分提 取光照相关的特征。实验结果证明，这种方法可以提高各种光照条件下的人脸检 测精度，并且对人脸检测的速度没有影响。 光照和反射模型都可以用三维球面坐标来表示 6 4 。我们可以用3 d 人脸模 型来表示人脸的光照和反射模型。 3 1 球谐函数与图像表示 3 1 1 球面谐波函数 球面谐波函数是一组球面坐标下的正交基，函数定义如下 匕。( 目，) = ( 2 n + 1 ) ( 门l m l ) ! 其中，己，是l e g e n d r e 函数，定义为 只州( c o s o ) e ”9 ，( 3 1 ) 蹦加与筹叫” ( 3 z ) 因为球谐函数是球面坐标下的一组正交基，因此，任何一个在球面坐标下 分段连续的函数f 都可以用这组基表示，即对于符合条件的函数，( “) 可以展开 为： ，( “) = 。匕。( “) ， ( 3 3 ) 其中厶是展开系数，u _ ( x ，y ，z ) = ( c o s s i n 0 ，s i n s i n 0 ，c o s 0 ) 。 。可以通过计算在球面上的积分获得 工。= f ：( “) 圪( “) d u ，其中圪( “) 是。( “) 的共轭函数。 3 1 2 九维系数空间 理论分析 5 0 5 1 【6 5 】可以得出，当函数展开式取到第9 项时，它所包含的能 量已经达到总能量的9 7 9 6 ，到第1 8 项时，能量达到总能量的9 9 4 8 a n c g 我们可以用近似值来表示该函数。由公式( 3 3 ) a - i 得， 融h“ ，( “) = l ( “) m 厶y 册( “) ， ( 3 4 ) t 0m m - - f l 0 一 当n = 2 时，取展开式的前9 项。 由公式( 3 1 ) 、( 3 2 ) 可以得到该球谐函数的前九个系数为： y o o = 0 2 8 2 1 ； ( 五l ；k o ；k 一1 ) = 0 4 8 8 6 ( x ；y ；z ) ； ( 也1 ；圪一l ；y i 一1 ) = 1 0 9 3 ( x z ；y z ；x y ) ； o = 0 3 1 5 4 ( 3 2 2 一i ) ； y 2 2 = o 5 4 6 2 ( x 2 y z ) ( 3 5 ) 3 1 3 人脸图像的光照表示 假设人脸的光照空阎符合下列条件： 条件一：人脸表面符合l a m b e r t 光照模型，也就是说人脸区域在各个方向 上均匀的吸收和反射光，物体表面光照反射的强度和入射光与单位方向的央角的 余弦成正比，反射的数量与入射光的位置和物体的位置有关，而与入的观察角度 无关。 2 0 - 当这个模型为一个常量时就是物体在每个点的反射率相同。这个模型虽然 简单，但是在计算机视觉中的应用表观，它可以比较有效的表示备种光照条件。 如果使用一个更复杂的b r d f ( t h eb i d i r e c t i o n a lr e f l e c t i o nd i s t r i b u t i o nf u n c t i o n ，双 向反射函数) 模型，则可以控制入射光线和反射光线的强度。 条件二：凸表面，凸表面就避免了阴影和遮挡阊题； 条件三：符合l a m b e r t i a n 规则的无限远点光源情况。 用p ( x ，y ) 表示在( z ，y ) 点的反射率，v ( x ，y ) 表示伍y ) 点处的法线方向，u ( x ，y ) 代表入射光的方向，r ( u ( x ，_ y ) ，v ( x ，) ，) ) 表示反射光。则人脸图像可以表示为： l ( x ，y ) = p ( x ，y ) r ( u ( x ，y ) ，v ( x ，y ) ) 。( 3 6 ) 用k ( u l 。叶) 表示入脸图像的反射函数，( ”，) 表示入射光函数，则反射光函数 r ( v ，) 可以表示为： r v ，) = l ：鸟 2 、o d d r = 七+ k 歹 o t n l n 。 ( 3 _ 1 3 ) n = 0 1 1 1 = 一n 根据谐波函数的性质，从而可以将公式( 3 1 3 ) 表示成有限维近似的形式 n ” ，= 七，= ( ，。，) a ( k ) ( 3 1 4 ) n = o m = - 月 n = o m 5 一” 3 2 入验光照 3 2 1 人脸光照估计 基于球面谐波的理论，我们可以对给定的一幅图像的光照进行估计。i ( x ，y ) 表示该点的像素值。 l ( x ，y ) = 矿( 芏，y ) r ( u ( x ，y ) ，v ( x ，y ) ) 2 f = p ( x ，y ) q k k ( v ( 工，y ) ，u ( x ，y ) ) ( 3 1 5 ) 假设人脸图像有相同的反射率，设为岛。，如果法向v ( x ，y ) 已知，则可以根 据图像的值，采用最小二乘法获得光照风。k 的值 m i n ( 怯圪( v ( w ) ，“( t y ) ) p o 。k t 坤( 3 _ 1 6 ) 取n = 2 ，用该光照条件在球面谐波函数表示下的前9 个系数来近似光照。 对于给出的一个人脸图像就可以得到一系列关于上，。的方程，利用最小二乘 方法进行拟合，就可以获得对应的系数k 下面的图像是对于一个人脸样本分别取9 个系数加光的结果。 图3 , 1 谐波函数9 维系数光照图 第一行最左边的为原图像，其他依次从左到右，从上到下为单独取第一个 系数到第九个系数的结果。其中只取第一个系数的情况是只有光照强度的情况， 称为直流分量。 3 2 2 光照估计的条件 为了能够使用上述理论进行光照估计，需要获得每个人脸图像各点的方向 向量。为了便于计算，我们使用平均的三维模型来进行估计。首先获得一个平 均的三维模型，利用a s m 标定给定图像的人脸特征点。将三维网格变形到给定 人脸的形状，这样就可以获得各个点的方向向量值。更多a s m 和变形的理论可 以参看 6 6 ，6 7 。使用模型和对应特征点如图3 2 所示。 - 2 3 3 2 3 人脸加光模型 根据3 2 1 中的方法，我们可以获得任意图片的光照系数，已知一种光照条 件下的光照系数，可以利用以下方法获锝其它图片在该光照条件下的光照图片 【5 2 a 得 ( a ) ( b ) ( c ) 图3 2 ( a ) a s m 标注特征点示意图 ( b ) 通用m e s h 法向图及其特征点 c o ) m a s k 后通用的m e s h 法向图 定义光照商图像为原图像与新图像灰度值的比值，根据公式( 3 6 ) ( 3 8 ) 可 一klorg。=忑,oorg(x赢,y)ror赢g(u(x而,y),v(丽x,y)=急端(317)，艇。p 捌w ( x ，y ) ，刀e w ( “( x ，y ) ，v ( x ，y ) ) p 删( “【x ，y ) ，v ( x ，y 其中l 。代表图像原来的值，代表新的光照条件下的图像的值tp 。曙( x ，y ) 和。( _ ) c ，y ) 分别代表前后两幅图像的反射率。我们假设这两个分辨率相同，这 样，只要知道前后两种情况下的光照r o 曙( “( 工，y ) ，v ( x ，y ) ) 、。( “( x ，y ) ，v ( x ，_ y ) ) 就 可以确定光照比例图的值。由公式( 3 9 ) 、( 3 1 3 ) 和( 3 1 7 ) 可以得到 k 。粤= 蒜舞揣 e 。h ( 日，) = 警鼍i 一，。憎 e ”加( 目，) l = 0 m = - i 21( 31 8 ) a t l o t 。( 日，) = 掣竖产l 悸 a i l n l m y l m ( 0 ，) 1 = 0 m - = 一， 这样，新的光照条件下的图像的值就可以利甩公式( 3 。l 乱来计算，其中 玩，l 分别代表图像原来的光照系数和新的光照系数。 由商图像的定义可知，公式( 3i 8 ) 的成立需要人脸相同位置象素点的对应， 所以公式只有对于同一个入脸图片才有效。但是注意到所有的人脸的2 d 和3 1 5 形状都是比较相似的，我们可以首先把所有的人脸w a r p 到一个平均三维模型， 如图3 2 ( c ) 所示。根据上述商图像的方法( 公式( 3 1 8 ) ) 对它们进行重新加光照，然 后再将加光后的图片反w a r p 成为原来的形状，即可以获得新召勺光照下的图片。 图3 3 中给出一些重新加光的例子。 例3 3 ，重新加光样本：第一行是原图像 第二二行是生成的新光照条件下生成的图像 3 3 人脸检测的光照实验 为了更好的解决人脸检 9 1 l l 的光照润题，我 1 1 3 剥月上面的方法生成新的样本。 对人脸检测分类器重新进行训练，用来解决特定光照条件下的人脸检测问题。 3 3 1c a s p e a l 数据库特定光照实验 c a s p e a l 数据库中有多种光照条件下的人脸样本，其中c a s p e a l _ 乙p _ o ， j 富王錾杰主堡土鬈篷篷塞 c a s p e a ld n0 ，c a s p e a lm i d0 光照条件相对较差。我们利用上面的方法 生成新的不同光照条件下的样本，训练分类器，并对这种方法的有效性进行验证。 其中c a s p e a lu p 代表 库中光照变化图子库，正脸，光照变化试验子0 j d l 库，荧光，上光源，0 度的图片集合。 c a s p e a ld n0 代表j d l 库中光照变化图子库，正脸，光照变化试验子 库，荧光，下光源，0 度的图片集合。 c a s p e a lm i d0 代表j d l 库中光照变化图子库，正脸，光照变化试验子 库，荧光，中光源，0 度的图片集合。 上面三个集合，每个集合有图片1 0 0 张，每张图片含有一个人脸。表3 1 中是这些集合中的一部分样本，其中图像的大小为原图大小的3 0 。 表3 1 人脸样本库实例 ( 1 ) 分类器的选择 选择s v m 分类器，使用面部灰度特征，所有的样本都预先归一化到大小为 2 6 2 0 x 2 0 象素。特征提取前首先对样本进行归化和直方图均衡化，这样可以去除 一些光照的影响，然后趣掩码去除边缘噪声的影嫡，最后获得3 1 6 维的特征。 ( 2 ) 新的光照样本生成 首先从c a s - p e a l _ u p0 ，c a s p e a l d n 一0 ，c a s p e a l m i d o 中分别取出 一张光照具有代表性的图片，估计出这三张舀片鸽光照系数，结果用九维系数表 示。结果如表3 2 所示，图中的原样本为实际样本大小的2 0 。 表3 2 光照参数估计表 表33 光照估计参数列表 系数光照条件一光照条件二光照条件三 c o e i r 0 】 5 7 5 3 4 1 8 75 7 5 3 4 1 8 75 7 5 3 4 18 7 c o e i 】 4 3 2 “7 3 9 4 3 2 1 1 7 3 94 3 2 11 7 3 9 c o e f f i z 】 1 69 4 0 1 5 31 6 9 4 0 1 5 31 6 9 4 0 15 3 c o e f f 3 】 2 6 5 5 9 6 5 02 6 5 5 9 6 5 0 2 6 5 5 9 6 5 0 c o e f ：f 【4 】 一2 9 7 8 4 3 0 72 9 7 8 4 3 0 72 9 7 8 4 3 0 7 c o e f f l 5 1 l ，2 9 3 7 5 11 1 2 8 3 7 5 1 1 1 2 8 3 7 5 1 c o e f f 6 一5 8 0 2 4 8 0 75 8 0 2 4 8 0 7 5 8 0 2 4 8 0 7 c o e f 珏7 1 9 5 ，71 1 0 1 49 5 ，7 n o l 49 5 。7 1 1 0 1 4 c o e f f 【8 1 17 8 3 7 1 91 1 7 8 3 7 1 9 1 1 7 8 3 7 1 9 2 7 - 璺，! 掣磐鎏些垄塑驻型塑这幽，。，幽些。一 对于表3 2 中的不同光照条件，其对应的谐波函数表示系数如表3 3 所示。 对任随机从网上取得下载的3 0 0 张正面人脸图片3 0 0 张，裁剪出入脸区域， 并对大小行归一化。利用3 2 节中的方法，对样本加上新的光照条件。这样就可 以得到9 0 0 张新的特定光照下得图片。一些生成样本的实例如图3 , 4 所示。 ( a ) 原始图像 ( b ) 对( a ) 中的图像取匿部区域标准化到6 4 x 6 4 大小，加m a s k 后的结果 ( c ) 对( b ) 申图像加光，光照条科 ( d ) 对( b ) 中图像加光，光照条件二 ( e ) 对( b ) 中圈像加光，光照条件三 图3 4 光照重新生成样本 2 8 - 光照重构样本生成的一些说明： a 靳生成的图像台c ) 光照受跟泉舀像光照的影响。 b 生成样本与原来人脸有一些偏差，或者变形，如3 4 图( c ) 中的第三个 样本，( d ) 中的第三个样本和( e ) 中的第一个样本，这是因为在使用3 d 模型时需 要进行特征矗的对齐，实验结果受对齐 呈度的影响。但是入脸检渤中对人脸的精 细度要求不高，不严重的变形不影