（计算机应用技术专业论文）人脸检测及识别技术的研究.pdf

摘要近年来，人脸检测及识别技术日益成熟，已经取得了许多引人瞩目的成果。但是，这些研究成果离这一问题的彻底解决还有很大的距离，因此，这一课题依然是当前研究的热点问题之一。本文提出了基于肤色模型、奇异值分解理论及支持向量机相结合的人脸检测方法；提出了基于小波理论、奇异值分解理论、矢量量化理论及t f m m ( 隐马尔可夫模型) 相结合的人脸识别方法。本文分为六个部分，第一部分简要介绍国内外相关课题的研究现状、相关理论、主要研究方法，以及本课题的主要工作方向；第二部分简要介绍人脸检测技术相关理论基础；第三部分简要介绍人脸识别技术相关理论基础；第四部分简要介绍本文的人脸检测算法流程及编程实现；第五部分简要介绍本文的人脸识别算法流程及编程实现；最后，本文探讨了人脸检测及识别方法的优缺点，提出了进一步工作的方向。实验结果表明本文的人脸检测及识别方法是可行的。关键词：人脸检测，人脸识别，肤色模型，奇异值分解，支持向量机，小波变换，矢量量化，隐马尔可夫模型a b s t r a c td u r i n gr e c e n ty e a r st h et e c h n o l o g yo fh u m a nf a c ed e t e c t i o na n dr e c o g n i t i o na r eb e c o m i n gm a t u r i t y , m e a n w h i l ew h i c hh a v ea c h i e v e dr e m a r k a b l ea c c o m p l i s h m e n t s h o w e v e rt h ew a yo ft h o r o u 曲l ys o l v i n gt h ep r o b l e mi nt h i sf i e l di ss t i l lf a ra w a y , i ta l s or e m a i n sa na c t i v er e s e a r c hf i e l dn o w a d a y s t h i sp a p e rp r e s e n t st h en e wm e t h o do ft h et e c h n o l o g yo fh u m a nf a c ed e t e c t i o nw h i c hb a s e so nt h ei n t e g r a t i o no fc o m p l e x i o nm o d e l ，s i n g u l a rv a l u ed e c o m p o s i t i o na n ds u p p o r tv e c t o rm a c h i n e ；a tt h es a m et i m ei ta l s op r e s e n t st h en e wm e t h o do ft h et e c h u o l o g yo fh u m a nf a c er e c o g n i t i o nw h i c hb a s e so nt h ei n t e g r a t i o no fw a v e l e tt h e o r y , s i n g u l a rv a l u ed e c o m p o s i t i o n ，v e c t o rq u a n t i z a t i o na n dh i d d e nm o r k o vm o d e l s t h ep a p e ri sc o m p o s e do fs i xs e c t i o n s t h ef i r s ts e c t i o nb r i e f l yr e c o m m e n d st h er e l a t i v er e s e a r c ha c h i v e m e n t sa n dt h e o r i e si nh u m a nf a c ed e t e c t i o na n dr e c o g n i t i o n ，a n di n t r o u c e st h em a j o rr e s e a r c hd i r e c t i o n ；t h es e c i o nt w oa n dt h r e ed e s c r i b et h er e l a t i v et h e o r i e si nt h ef i e l d so ft e c h n o l o g yo fh u m a nf a c ed e t e c t i o na n dr e c o g n i t i o nr e s p e c t i v e l y ；t h es e c t i o nf o u ra n df i v ei n t r o d u c et h en e wm e t h o d s ，a r i t h m e t i cf l o wa n dp r o 孕啪sr e a l i z a t i o ni nt h ef i e l d so ft e c h n o l o g yo fh u m a nf a c ed e t e c t i o na n dr e c o g n i t i o nr e s p e c t i v e l y t h el a s ts e c t i o nd i s c u s s e st h ea d v a n t a g e sa n dd i s a d v a n t a g e si nt h ef i e l d s ，a n dr a i s e st h ef u r t h e rr e s e a r c hd i r e c t i o ni nt h ef u t u r e t h er e s u l t so fe x p e r i m e n ti n d i c a t et h en e wm e t h o d so ft h et e c h n o l o g yo fh u m a nf a c ed e t e c t i o na n dr e c o g n i t i o na r ea v a i l a b l e k e y w o r d s ：h u m a nf a c ed e t e c t i o n ，h u m a nf a c ev a l u ed e c o m p o s i t i o n ，s u p p o r tv e c t o rm a r i n e ，h i d d e nm o r k o vm o d e l sr e c o g n i t i o n ，c o m p l e x i o nm o d e l ，s i n g u l a rw a v e l e tt r a n s f o r m ，v e c t o rq u a n t i z a t i o n ，学位论文原创性声明与版权使用授权书示例长沙理工大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识刭本声明的法律后果由本人承担。名：j 舭i 二日期：垆夕日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本入授权长沙理工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于1 、保密口，在：年解密后适用本授权书。2 、不保密田( 请在以上相应方框内打“4 ”)哆0月月户jr翟期期物2闵缘名名签签者师作导第一章绪论人脸的自动识别技术是当前计算机视觉领域非常活跃的研究课题，并在商业和法律方面有广阔的应用前景( 如身份证、信用卡、护照等身份认证以及智能小区管理、电视监控系统等等) ，是进行身份认证最自然直接的手段。基于生物特征的身份认证技术近年来发展迅速，它结合了认知科学、神经心理学、图像处理、小波分析、计算机图形学、机器视觉和模式识别等多个研究领域。人脸图像能用于身份识别，主要是因为人的面貌属于人本身固有的生物特征，这种特征具有不可复制，难于伪造的特点，弥补了密码，签字，口令，证件等传统手段容易泄密、遗忘的缺点。理论上，人的生物特征只要具有唯一性和稳定性，都可以作为身份识别的依据。研究和经验表明，人的指纹、掌纹、面孑l 、发音、虹膜、视网膜、骨架、基因等都具有这种特性。其中，人脸图像是众多生物特征中最方便获得的，可以在非接触、不侵犯隐稻条件下得到待识别人的特征，更易为人们所接受。当然目前采用指纹、虹膜等的识别技术也已经达到了比较好的识别结果，但是通常人类的交互并不采用这些方式，更多的是依赖长相、声音、举止动作等加以判断。人脸识别作为模式识别学科的一个重要分支，是模式识别领域中一个非常困难但具有重要理论意义和有广阔应用前景的研究课题。1 1 人脸自动识别研究的意义人脸自动识别技术是- - f l 崭新的科学技术，在国家安全、军事安全和公安、司法、民政、金融、民航、海关、边境、口岸、保险及民用等领域实际应用具有极广阔的前景。如：公安布控监控、监狱监控、司法认证、民航安检、口岸出入控制、海关身份验证、银行密押、智能身份证、智能门禁、智能视频监控、智能出入控制、司机驾照验证、各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险身份验证等。入脸自动识别研究成果能为机要部门在鉴别他人身份时提供新颖方便的检测手段，从而大大提高安全部门的工作效率和方便性。人脸自动识别作为一种典型的对于三维自然物体的识别具有重要的理论价值，它的研究思想和实现方法可为其它三维自然物体的识别提供重要的理论、参考和借鉴。人脸自动识别研究必将推动模式识别、计算机视觉和人工智能等计算机科学分支的发展。1 2 人脸检测的研究现状和前景人脸检测是一个二类模式识别问题，也就是将待处理的图像识别为人脸或者非人脸，其困难在于待处理的图像中的变化因素很多。人脸区域定位是人脸识别的第一步，即从输入图像中定位人脸存在的可能区域，并将这个区域从背景中分割出来。人脸区域定位的基本思想是先用统计或知识的方法对人脸建模，然后比较所有可能的待检测区域与已建立模型的相似度，从而得到人脸存在的可能区域。基于统计的方法从二维行列人脸图像中提取出高维特征向量，把人脸检测问题转化为高维空间信号分布概率的检测，比如神经网络和特征脸方法。而基于知识的方法则利用先验知识为人脸建立若干规则，通过规则指导完成人脸检测。这里的规则包括人脸器官对称性和非对称性分布、轮廓形状、颜色明暗、纹理粗细和运动方向等。人脸检测问题最初来源于人脸识别( f a c er e c o g n i t i o n ) 。人脸识别的研究可以追溯到上个世纪六、七十年代，经过几十年的曲折发展已日趋成熟 1 2 。人脸检测是自动人脸识别系统中的一个关键环节，但是早期的人脸识别研究主要针对具有较强约束条件的人脸图像( 如无背景的图像) ，往往假设人脸位置已知或很容易获得，因此人脸检测问题并未受到重视。近几年随着电子商务等应用的发展，人脸识别成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别系统能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得人脸检测开始作为一个独立的课题受到研究者的重视。今天，人脸检测的应用背景已经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视觉监测等方面有着重要的应用价值。人脸检测研究具有重要的学术价值。人脸是一类具有相当复杂的细节变化的自然结构目标，此类目标的检测问题的挑战性在于 3 ：( 1 ) 人脸由于外貌、表情、肤色等不同，具有模式的可变性；( 2 ) 一般意义下的人脸上，可能存在眼镜、胡须等附属物；( 3 ) 作为三维物体的人脸的影像不可避免地受由光照产生的阴影的影响。因此，如果能够找到解决这些问题的方法，成功构造出人脸检测与跟踪系统，将为解决其它类似的复杂模式检测问题提供重要的启示。目前，国外对人脸检测问题的研究很多，比较著名的有m i t ，c m u 等；国内的清华大学 4 5 、北京工业大学 6 、中科院计算所 7 和自动化所 8 等都有人员从事人脸检测相关的研究。而且，m p e g 7 标准组织已经建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。随着人脸检测研究的深入，国际上发表的有关论文数量也大幅度增长，如i e e e 的f g ( i e e ei n t e r n a t i o n a lc o n f e r e n c eo n a u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) 、i c i p ( i n t e r n a t i o n a lc o n f e r e n c eo ni m a g ep r o c e s s i n g ) 、c v p r ( c o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 等重要国际会议上每年都有大量关于人脸检测的论文，占有关人脸研究论文的近三分之一以上。有关人脸检测的内容在人脸识别研究的综述中有所涉及，但仅仅侧重于人脸识别系统的输入环节，目前较为详尽的人脸检测与跟踪综述为 9 ，着重于介绍各种方法所使用的特征和模型。2 人脸检测问题的分类与人脸模式分析人脸检测问题所包含的内容十分广泛，从不同的角度可以有多种分类方法。本文主要讨论静止图像中的人脸检测问题。动态图像中单帧内的人脸检测与静止图像的情况基本相同，若考虑动态信息则属于人脸跟踪( f a c et r a c k i n g ) 问题，将不在本文讨论。1 2 i 基于统计的人脸检测方法将人脸检测分为人脸样本与非人脸样本的两类模式分类问题，通过对人脸样本集和非人脸样本集进行学习以产生分类器。目前国际上采用较多的是人工神经网络 1 0 、支持向量机( s v m ) 1 1 等方法训练出一个分类器来检测人脸。这种思想与其他思想不同之处在于，它并不首先人工的对人脸进行分析或是抽取模板，也不对输入图像进行复杂的处理；而是利用大量的人脸整体外观用结构化的方法来训练出入脸检测的分类器。在这一类方法中，特征向量、统计学、信息学等思想也得到了运用。p e n t l a n d 等人将k - l 变换引入了人脸检测 1 2 。在人脸识别中利用的是主元空间( 特征脸) ，而人脸检测利用的是次元子空间( 特征脸空间的补空间) ，用待检测区域在次元子空间上的投影能量，即待检测区域到特征脸空间的距离作为检测统计量，距离越小，表明越象人脸。1 2 2 基于知识建模的人脸检测方法虽然人脸在外观上变化很大，但遵循一些普遍适用的规则，检测图像中是否有人脸，即是测试该图像中是否存在满足这些规则的图像块。这种方法一般有两种思路：一种是“从上到下”，其中最为简单有效的是y a n g 等人提出的m o s a i c方法，它给出了基于人脸区域灰度分布的规则，依据这些规则对图像从粗分辨率到高分辨率进行筛选，以满足这些规则的程度作为检测的判据；另一种是“从下到上”，先直接检测几个器官可能分布的位置，然后将这些位置分别组合，用器官分布的几何关系准则进行筛选，找到可能存在的人脸。人脸的轮廓可以简单的看成是一个近似椭圆，而人脸检测可以通过椭圆检测来完成。g o y i n d a r a j u 1 3 提出认知模型方法，将人脸建模为两条直线( 左右两侧面颊) 和上下两个弧( 头部和下巴) ，通过修正h o u g h 变换来检测直线和弧。人脸具有一定的轴对称性，各器官也具有一定的对称性。z a b r o d s h k y 提出了连续对称性检测方法，检测一个圆形区域的对称性，从而确定是否是人脸。r i e s f i e l d 提出广义对称变换方法检测局部对称性强的点来进行人脸器官的定位。在进行人脸器官定位是都取得了较好的效果。同民族人的面部肤色在颜色空间中的分布相对比较集中，颜色信息在一定程度上可以将人脸同大部分背景区分开来。l e e 等设计了肤色模型表征人脸颜色，利用感光模型进行复杂背景下人脸及器官的检测与分割。d a i 利用了s g l d ( 空间灰度共生矩阵) 纹理信息作为特征进行低分辨率的人脸检测。a n i lk j a i n 1 4 等提出的肤色模型包含两个关键技术：其一+ 是光线补偿( l i g h t i n gc o m p e n s a t i o n ) 处理，以及非线性分段色彩变换( n o n l i n e a rc o j o rt r a i s f o r m a t j o n ) 。1 3 人脸识别的研究现状和前景最早的关于人脸识别的研究可以追溯到十九世纪末，s i rf r a n c i sg a l t o n 发表于n a t u r e 的两篇文章 1 5 1 6 ，他用一组数字代表不同的人脸侧面特征。而当代学者参与这一课题的研究是从二十世纪六十年代开始的，1 9 6 6 年，b l e d s o e以人脸特征点的间距、比率等参数为特征，建成一个半自动的人脸识别系统。随着计算机技术的发展，八十年代以后，人脸识别技术得到了很大发展并进入了实际应用领域。人脸识别的方法大致可以分为基于特征、基于模板、基于三维模型以及基于随机序列模型等的几大类。1 3 1 基于特征的人脸识别方法一种基于特征的方法是在抽取人脸图像上显著的相对位置及其参数的基础上进行识别。b l e d s o 1 7 是最早研究人脸识别的学者之一。他用手工的方法确定人脸特征点的位置并将其输入计算机，在给定待识别人脸的特征点距离后，用最近邻或其它分类方法来识别人脸。k e l l y 1 8 的工作是在b l e d s o 的框架之上，但一个明显的进步是它不需要人的干预。后来有很多学者对这一方法进行了发展，包括：y k a r a 和k k o b a y a s h i ，i c r a w 和m s n i x o n 等。另一类基于特征的方法是在抽取代数特征的基础上完成的。这里的代数特征是指经过数学变换得到的特征，是与几何特征相对而言的。典型的代数特征包括：k - l 变换、奇异值分解( s v d ) 等。m k i r b y 和l s i r o v i c h 1 9 利用k l 变换抽取人脸图像的主成分并以此作为人脸的特征向量。m a t u r k 和a p e n t l a n d 提出了特征脸的方法，它根据一组人脸训练图像构造主元子空间，由于主元具有脸的形状，也称特征脸。识别时将测试图像投影到主元子空间上，得到一组投影系数，与各个已知人的人脸图像比较进行识别。特征脸方法的优点是算法稳健，但它有一个缺点是它的“扩容性”差，即每增加一个对象就要将所有数据重新进行计算。洪子泉和杨静宇最早提出了代数特征抽取的方法 2 0 2 1 2 2 。他们认为图像本身的灰度分布描述了图像的内在信息，将图像作为矩阵看待，将其进行各种代数变换和矩阵分解，可提取图像的代数特征，并论证了奇异值向量是识别图像的有效特征。1 3 2 基于模板匹配的人脸识别方法基于模板匹配的方法是另一类常用的方法。最简单的模板匹配方法是每个人作为数据库中的一个条目，它的字段包含一个从正面人脸像抽取的二维点阵。图像必须经过归一化。识别时，未分类的图像跟数据库中的所有图像数据进行比较，采用相关作为典型的匹配函数。o s a m u 等人提出了等灰度图匹配的方法 2 3 。所谓等灰度图就是对原始图像进行二值化后得到的图像。y u i l l e ，c o h n 和h a l l i n e n 2 4 利用可变形模板抽取面部特征。这些模板可以平移、旋转和变形以便能够最佳地表示它们在图像中的形状。他们对图像进行了预处理，定义了各种能量函数。1 3 3 基于随机序列模型的人脸识别方法最初接触这一领域，不容易将其与随机场联系起来。但随着研究的深入，随机序列模型表现出很多不可替代的优点。人脸识别本身不是一个确定性的识别问题，而是一个随机模式识别问题。例如人脸的表情及姿态变化、拍摄过程中的光线明暗等不确定因素。隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h 删) 是描述这一复杂现象的有利机制。隐马尔可夫过程的研究开始于二十世纪6 0 年代末和7 0 年代初。b a u m 和他的同事发表了一系列有代表性的文章 2 5 儿2 6 2 7 。b a k e r 在c m u 2 8 ，j e l i n e k等在i b m 2 9 将h m m 应用于语音处理。由于隐马尔可夫模型理解上的难度以及计算上的复杂性，8 0 年代以后，得益于面向工程界的介绍性文章的发表，h m m 才被更多人理解和掌握，并在语音识别以及印刷识别等方面得到了更广泛的应用。f s a m a r i a 晟早将h m m 用于人脸识别 3 0 。按照h m m ，表征人脸的特征量构成一个观测序列。观测序列被认为是由若干个状态产生的。状态处于隐层，是不可观测的。s a m a r i a 采用了具有5 个状态的左右型h m m 模型，用一个矩形窗从上到下采样人脸图像，将窗内的象素排成列向量，用灰度值作为观察值。采样窗前后重叠，以保证观察序列的连续性。s a m a r i a 采用灰度值作为观察值的方法是有很大缺陷的，因为光照的影响和存储量太大没有克服。8n e f i a n 发展了s a m a r i a 的方法，提出了基于2 d - d c t 特征提取的方法 3 1 。这在一定程度上解决了s a m a r i a 的大存储量的缺陷，但识别率不高。由于人脸的可变形性，对人脸特征进行精确定位有很大的难度，这也是限制几何特征识别方法的一个主要因素。选择h m m 迸行人脸识别的合理性在于同一个人的各种变化可以看作是同一组状态产生的一系列实现，而不同的人可以用不同的h m m 来表现。采用h m m 对人脸进行描述和识别，就不是孤立地利用各个器官的数值特征，而是把这些特征和一个状态转移模型联系起来。1 3 4 基于三维模型的人脸识别方法人脸是一个三维物体，因而获取人脸的三维信息并利用它进行人脸识别必将是人脸识别技术发展的最终目标和解决途径。只是受到信息获取技术手段的限制，这一途径才没有象2 d 图像识别研究的那样广泛。t h o m a sv e t t e r 和t o m a s op o g g i o 3 2 介绍了一种从单幅图像恢复3 d 物体新视觉图像的方法，并给出了人脸图像恢复的例子，但它本身是个病态方程。1 4 课题提出近年来，人脸检测及识别技术得到了极大发展，这主要得益于各个国家投入大量人力物力研究并发展各类检测及识别技术，但是到目前为止，还没有一种彻底解决问题的办法，只能是使检测及识别技术越来越趋于完善。在进行人脸检测及识别时，算法的稳定性、时间复杂度及效率是评判一个新方法优劣的标准。本文将重点放在人脸图像的特征提取、模板训练、参数的选取等综合性人脸检测及识别的研究方法上。1 5 主要工作本文的主要研究内容有以下两点：( 1 ) 人脸检测时。采用肤色模型进行人脸图像的粗检，这样可避免粗检时漏检；在进行特征提取时，采用全局奇异值分解的方法得到特征值向量，使之受光照条件的影响降到最低；采用支持向量机的分类器进行人脸图9像的检测，因输入的特征向量维数很低，所以分类的时间复杂度较低。( 2 ) 人脸识别时。对人脸图像的降维采用二维小波变换进行一层分解，这样可得到维数不高但又不太失真的人脸图像；在进行特征提取时，采用同人脸检测时相同的方法；有人将这样得到的特征向量直接用作h 删的训练，本文为了再一次为特征向量降维，采用矢量量化方法对特征向量进行量化处理；最后采用自定义参数的h 删对人脸图像进行训练与识别。第二章人脸检测理论基础2 1 色彩空间及肤色模型肤色是人脸的重要信息，不依赖于面部的细节特征，对于旋转、表情等变化情况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此肤色特征在人脸检测中是最常用的一种特征。肤色特征主要由肤色模型描述。使用何种形式的肤色模型与色彩空间的选择密切相关。2 1 1 色彩空间根据计算机色彩理论，对一种颜色而言，在计算机中有不同的表达方式，这样就形成了各种不同的色彩空间。当然各种色彩空间只不过是颜色在计算机内不同的表达形式而已，每一种色彩空间也都有其各自产生的背景、应用领域。主要的色彩空间有以下几种：( 1 ) 、r g b 色彩空间这是最常用的彩色空间。国际照明委员会( c i e ) 采用红( r ) 、绿( g ) 、蓝( b ) 三种单色作为彩色空间的三个分量，这就是r g b 彩色空间。三维空间中的三个轴分别与红、绿、蓝三基色相对应，原点对应于黑点，离原点最远的顶点对应于白点，而其它颜色则落在三维空间中由红、绿、蓝三基色构成的彩色立方体中。其它彩色空间一般以r g b 彩色空间为基础，是r g b 彩色空间的线性或非线性函数。( 2 ) 、y i q 颜色空间y i q 颜色空间来源于国家电视标准委员会( n t s c ) 制彩色电视信号的传输，其中的y 分量代表图像的亮度信息，i 、q 两个分量则携带颜色信息，1 分量代表从橙色到青色的颜色变化，而q 分量则代表从紫色到黄绿色的颜色变化 3 3 。( 3 ) 、h s i 彩色空间( 色调、饱和度、亮度)这一彩色空间用色调h ( t l u e ) 、饱和度s ( s a t u r a t i o n ) 、光强度i ( i n t e n s i t y )_ 二二= 个参数描述颜色特性。色调决定彩色光的光谱成分，取决于光的波长，说明彩色光中混入白光的数量：饱和度是某种波长的彩色光纯度的反映，纯光谱色的含量越多，其饱和度越高：亮度取决于彩色的强度，是彩色光对视觉的刺激程度。由于h s i 彩色空间更接近人对彩色的认识和解释，许多情况下在该彩色空间中进行图像分析和处理，比在r g b 彩色空间中更加方便和有效。( 4 ) 、y c b c r ( c c i r 6 0 1 编码方式的色度模型，与y u v 在数学上具有等价性) 格式 3 4 这种色彩空间是以演播室质量标准为目标的c c i r 6 0 1 编码方案中采用的彩色表示模型，被广泛地应用在电视的色彩显示等领域中。它同样具有h i s 格式中将亮度分量分离的优点，但由于它可以从r g b 格式线性变化得到，所以直接应用于物体色彩聚类分析的情况不多，相比之下，在其基础上的变换模型的应用更为普遍。2 1 2 肤色模型在包含人脸的彩色图像中，人脸所在的皮肤区域通常总是与图像的其他部分在颜色上存在不同，可以通过把接近于人的肤色的区域从图像中分离出来而迅速检测、定位人脸。这里具体介绍a n i lk j a i n 的肤色模型建立过程。a n i lk j a i n 等提出非线性分段色彩变换( n o n l i n e a rc o l o rt r a n s f o r m a t i o n )是肤色模型的关键技术所在，也是我们构成实际利用的肤色模型的主要部分。这一非线性分段色彩变换得到的肤色模型属于色彩空间中的聚类模型，这一类肤色模型的建立首先要选取一种合适的色彩空间。我们注意到y c b c r 色彩空间有如下一些优点：( 1 ) 、y c b c r 色彩格式具有于人类视觉感知过程相类似的构成原理。( 2 ) 、y c b c r 色彩格式被广泛地应用于电视等领域中，也是许多视频编码，如m p e g 、j p e 6 等标准中普遍采用的颜色表示格式。( 3 ) 、y c b c r 色彩格式具有与h i s 等其他一些色彩格式相类似的将色彩中的亮度分量分离出来的优点。( 4 ) 、相比h i s 等其他一些色彩格式，y c b c r 色彩格式的计算过程和空间坐标表示形式比较简单。( 5 ) 、实验结果表明在y c b c r 色彩空间中肤色的聚类特性比较好。同时，y c b c r 色彩格式直接由r g b 色彩格式通过线性变换得到，所以其亮度分量y 并不是完全独立于色度信息而存在的，所以肤色的聚类区域也是随着y 的不同而呈现非线性变化的趋势。a n i ik a i n 等人从h e i n r i c h - h e r t z - i n s t i t u t e ( h h i ) 图像库中的1 3 7 幅图像中手工选取了8 5 3 5 7 1 个肤色像素点，并将其绘制在y c b c r 空间及其二维投影空间c b - c r 空间中，得到的结果如图2 i 、2 2 所示。图2 l 肤色点子y c b c r 。空嗵图2 2 肤色点与y c b c r 空间投影从图中可以看出，在y c b c r 色彩空间牢，肤色聚类是呈两头尖的纺锤形状，即y 值较大和较小的部分，肤色聚类区域也随之缩小。由此可见，在y 值不同的地方，我们取c b c r 子平面的投影，得到的结果是不同的。由此得到结论，我们必须对y c b c r 色彩格式进行非线性分段色彩变换。由实验数据得到的肤色聚类区域中y 分量的最小和最大值分别为：k = 1 6 ，k = 2 3 5( 2 1 )按照传统的方法，我们可以用一个椭圆来近似这一肤色区域，它的解析表达式为：警+警训谢icoso护c幽os目0卜jlc,-c“y403ys i nc o sc 卜z ，2 5 3 9 。1 li 一秽l蹦= 1 0 9 3 8c y = 1 5 2 0 2( 2 3 )口= 2 5 3 ( 弧度)根据实验可得，在应用肤色模型进行人脸检测时，确定c 。与c ，可按下式计算：2 2 奇异值分解( s v d ) 理论奇异值分解是求解最小二乘问题的一种有效工具，在图像压缩、信号处理和模式分析中得到了广泛的应用 3 5 。若矩阵a 代表一幅灰度图像，对a 进行奇异值分解为：a = u y 7( 2 5 )其中u 和v 是两个单位正交的矩阵，是一个对角矩阵，形式为= d i a g ( , , 1 。，z ：，) 。如果a 只有k 个非零奇异值，贝喧ia = 五，“，v j( 2 6 )q去嘉致舨川蚴磕知；薹嗉扣珊m地观ge其中“。和v ，是u 和v 的各个列。记s 。= “，z ：，以，o ，o ) 7( 2 7 )称为矩阵a 的奇异值向量。对于任一实矩阵a ，它的奇异值分解是唯一的，所以当排列成五五：2 五时，原图像a 对应于一个唯一的奇异值向量。于是奇异值向量可以作为描述灰度矩阵a 的一种数值特征。奇异值向量具有良好的代数和几何不变性，具有如下性质：( 1 ) 、稳定性对于描述图像的特征来说，当图像灰度有小的变化时，此特征的变化也不明显，则称为稳定。根据扰动理论，奇异值向量具有良好的稳定性。( 2 ) 、位移不变性对图像的平移变换相当于对图像矩阵作行( 或) 列的置换，即对图像矩阵作交换两行( 或两列) 的初等变换。交换矩阵a 的第1 ，j 两行等价于在该矩阵的左边乘上矩阵，。i ，= j g ，一巳k ，一e ，) r( 2 8 )其中，p ，p ，分别表示单位矩阵i 的第i 列和第j 列。变换后的矩阵为，口a 。已知j = ，= 巧1 ，于是也爿x ，4 广的特征方程为：i ( ， f 4 玩4 ) r 一岔扣0( 2 9 )上式可化为：f i , j a a 7 ，t 一磐j i = f j f f 朋7 一岔，巧1 毛| - 蒯7 一，f = o( 2 1 0 )所以，原图像a 与它交换两行后的图像瓦爿有相同的奇异值向量。同理，对列的置换也有相同的结果。因此，奇异值向量具有位移不变性。( 3 ) 、奇异值向量与对应图像亮度成比例变化当整幅图像的亮度成比例变化时，其奇异值向量也成比例变化，而且这种成比例变化并不改变它所包含的识别信息。因而采用奇异值向量进行识别时，只需采用简单的归一化即可消除比例系数的影响。( 4 ) 、转置不变性根据奇异值分解定理，有州7 “：五2 “可见，a 和a 7 有相同的奇异值，即对应同一个奇异值向量。2 3 模式识别( 2 1 1 )( 2 1 2 )模式识别诞生于2 0 世纪2 0 年代，随着4 0 年代计算机的出现，5 0 年代人工智能的兴起，模式识别在6 0 年代初迅速发展成一门学科 3 6 。模式是指事物及其信息。模式识别( p a t t e r nr e c o g n i t i o n ) 就是用计算机自动将某一具体事物归为某一类别( 模式类) 3 7 。模式识别的方法可以分为以下几类：1 、统计模式识别。如果模式是几何可分的，则用几何分类法按照某种距离度量进行分类；若是几何不可分的，则用概率分类法，如贝叶斯决策理论。2 、结构模式识别。利用语法的递归性，用小而简单的基元和语法规则来描述大而复杂的模式。3 、模糊模式识别。对特征进行模糊化，可以更好地反映问题的本质；对分类结果模糊化，会更有利于下一级分类，因模糊化的分类结果比明确的分类结果包含更多的信息。另外，将模糊技术引入其它模式识别算法中，可对它们进行改进，比如优化的模糊c 均值分类法、模糊k 近邻分类器。4 、智能模式识别。用神经网络( 主要) 或逻辑推理。5 、聚类分析。当没有样本来训练分类器时，要求分类器能根据样本间的相似程度自动分类。模式识别的基本分类过程见图2 3 所示。1 6训练过程2 4 支持向量机图2 ，3 模式识别系统的基本构成支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 起源于统计学习理论，它研究如何构造学习机，实现模式分类问题 3 8 。支持向量机使用结构风险最小化( s t r u c t u r a lr i s km i n i m i z a t i o n ，s r m 准则) 原理构造决策超平面使每一类数据之间的分类间隔( m a r g i n ) 最大。s r m 准则认为：学习机对未知数据分类所产生的实际风险是由两部分组成的，以0 ，7 1 满足如下关系：r r + 1h ( 1 0 9 ( 2 n h ) + 1 ) - l o g ( r 4 )v“，其中，r 是实际风险，不等式的右边 h ( 1 0 9 ( 2 n ) + 1 ) 一l o 甙t 1 4 )叫做风险边界，只。称为经验风险，v”叫做“v c 置信值”，n 是训练样本个数，h 是学习机的v c 维( h 反映了学习机的复杂程度) 。s v m的思想就是在样本数目适宜的前提下，选取比较好的v c 维 ，使经验风险r 。和置信值达到一个折中，使每一类别数据之间的分类间隔( m a r g i n ) 最大，最终使实际风险r 变小。对于线性不可分数据，支持向量机按照c o v e r 定理 3 9 ，将低维空间不可分数据映射到高维空间中。具体说，支持向量机通过核函数把数据由低维空间向高维空间映射，在高维空间为低维数据构造线性可分超平面。s v m 中研究最多的核函数主要有三类：多项式函数、径向基函数，多层s i g m o i d a l 神经网络函数( 本文使用的是s i g m o i d a l 神经网络) 。这样，在低维不可分情况下，对于每个要判别的未知样本”，计算高维空间中的最佳超平面分类函数厂取值：s厂( “) = y ，k ( u ，t ) + 6i 】( 2 1 3 )其中，口，是支持向量z ，对应的拉格朗日乘子，y 。是支持向量的类别标注( 为输出( 决策轨则) ：fly = s g n i 刚，世gi = 1x )权值，= 口。y ，基于s 个支持向量x ；，x ：，x ，的非线性变换( 内积)输入向量x = g 1 ，x 2 ，x 4 )图2 ，4 支持向量机示意图1 或者一1 ) ，s 是支持向量总数，k 是核函数，( r ) 值的正负分别代表不同的类别。这一特点提供了解决算法可能导致的“维数灾难”问题的方法：在构造判别函数时。不是对输入空间的样本作非线性变换，然后在特征空间中求解，而是先在输入空闻比较向量( 例如求点积或是某种距离) ，对结果再作非线性变换。这样，大的工作量将在输入空间而不是在高维特征空间中完成。s v m 分类函数形式上类似于一个神经网络，输出是s 中间节点的线性组合，每个中间节点对应一个支持向量，如图2 4 所示。函数k 称为点积的卷积核函数，它可以看作在样本之间定义的一种距离。2 5 小结本章比较系统地介绍了人脸检测所应用到的基础理论与方法。首先介绍了色彩空间及肤色模型；其次介绍了奇异值分解( s v d ) 的基本概念与基本性质，主要用束对人脸图像进行特征提取，它是作为人脸检测的前期预处理方法：然后介绍了模式识别的基本概念与分类方法，为后面介绍s v m ( 支持向量机) 作好铺垫：最后介绍了s v m 应用理论与实现方法。1 8第三章人脸识别理论基础3 1 小波变换基本原理小波分析是当前应用数学中一个迅速发展的新领域，经过近十几年的探索研究，重要的数学形式化体系已经建立，理论基础更加坚实，与f o u r i e r 变换相比，小波变换是空问( 时间) 和频率的局部变换，因而能有效的从信号中提取信息，通过伸缩和平移等运算功能对函数或信息进行多尺度细化分析( m u l t i s c a l ea n a l y s i s ) ，解决了f o u r i e r 变换不能解决的许多困难问题，从而小波变换被誉为“数学显微镜”，它是信号分析发展史上的里程碑式的进展，成为国际上众多学术团体和学科领域共同关注的热点。小波变换在信号分析、语音合成、图像识别、计算机视觉、数据压缩、c t 成像、地震勘探、大气与海洋波的分析，分形力学，流体湍流以及天体力学方面都己取得了具有科学意义和应用价值的重要成果。除了微分方程的求解问题之外，原则上能用f o u r i e r 分析的地方均可用小波分析，甚至能获得更好的效果。为了克服傅立叶变换没有任何时域局部化，以及短时傅立叶变换固定分辨率的缺陷，希望用于分解信号的基函数是持续时间很短的高频函数和持续时间较长的低频函数。严格的说就是要求这些基函数有足够的光滑性，函数本身及其倒数在无穷远处速降，具行紧支撑集和高阶消失矩，其傅立叶函数集中在原点附近。小波基函数就是满足这一条件的理想函数族它是由一个基本小波( 母小波)甲通过平移和和伸缩得到的，即( f ) 2 丽1 吼等j( 3 - )其中a 为尺度参数，b 为位置参数。相应的，在频域有u “p a , b ( w ) = 石e 。译( 口脚)( 3 2 )可以看出，当h 减小时，时宽减小，频宽增大，且甲的窗口中心i 叫增大方向移动。这说明连续小波的局部化是变化的，在高频处时间分辨率高，在低频处时间分辨率低，即具有“变焦”的性质 4 0 。设2 忸) 为满足f ：l z ( d 出 + m ，x r 的所有，g ) 的集合，在空间三2 忙) 中任一函数厂g ) 可以表示为：厂0 )c k ，0 )女，j e z其中t ，g ) = 忙 - 1 1 2 t j ( 三 ，甲g ) 为小波函数，c k , j 为小波系数。( 3 3 )设是集合慨，。g ) ：七z 的线性张成在r ) 中的闭包，因此三2 取) 能分解成e ：，z 的直接和，相应子空间为则有：= - ，+ 阡? 一l + 纾j 一2 ，z( 3 4 )r 伍) = = + 矿，+ + + z，0 ) = g 。b ) 一+ g - i g ) + g o g ) + g ，g ) +对于某一固定n z 和任意正整数吖，有：其中三2 ( 足) g )一时+ 陟，+ 陟_ 2 + + 陟_ 一 一。g ) + g 。一。g ) + g u - 2 g ) +f a x ) = 主c 幻( i ) ( 2 k x - - ，) 既g ) ：艺仇，甲3 = - 。一。若尺度函数选为：喇= 亿0 x s l其它( 3 5 )( 3 6 )( 3 8 )小波函数选为：甲e ) = 中2 z ) + o ( 2 z 一，) ( h a r r 小波)( 3 9 )则两者关系为分解过程为；o啦一班如。吣一曲+ 白勘唯一磷，z ( 3 1 0 )弋i 弋l 弋：弋：其中：c 。= 仁)c 胁= 啊。c 。，耻) 。：圭，。1 1 c 。、d 。分别代表第n 层小波变换后的低频和高频部分，很明显c 0 代表原始待分解数据。进行小波变换时，原始数据c o ，变换层次n ，小波系数h 算子坼。 、g 算子k 。) 。小波系数的计算依赖于尺度函数m 0 ) 和小波函数不清甲g ) ，通常溉) 、 g 。) 预先算好了，作为参数输入。输出参数为小波变抉后数据，第n 层变换后的低频部分为c 。、高频部分为d ，、第n 一1 层变换后的高频部分为d 。第1 层变换后的高频部分为d 4 1 。3 2 矢量量化矢量量化( v q v e c t o ro u a n t i z a t i o n ) 是一种高效的数据压缩技术，是标量量化的自然发展 4 2 。在信息论中已经证明，矢量量化优于标量量化。矢量量化是先将世个暖2 ) 个采样值形成k 维空间r 中的一个矢量，然后将这个矢量一次进行量化。它可以大大降低数码率。矢量量化总是优于标量量化的，这是因为矢量量化有效地应用了矢量中各分量间的4 种相互关联的性质：线性依赖性、非线性依赖性、概率分布函数的型状以及矢量维数。定义：( 1 ) 、源：在列扛，j 中每世个为一组分为m 个随机矢量，构成信源空间忸。，x ：，x 。 ( x 在k 维欧氏空间r 。中) ，其中第，个矢量可记为x j = 扛( 川) ，x ( 川k + 2 ，j ，= l ，2 ，m 。( 2 ) 、子空间：把r 无遗漏地划分成n = 2 ”个互不相交的子空间r ，尺：，n ，满足：( 3 1 2 )( 3 ) 、码本：在每个子空间墨中找一矢量，令恢复矢量集为：y = 舷，砭，y 。y 也叫输出空间、码本或码书( c o d eb o o k ) ，r 称为码矢( c o d ev e c t o r ) 或码字( c o d ew o r d ) ，y 内矢量的数目n ，则叫做码本长度。( 4 ) 、码本搜索：当矢量量化器输入任意矢量x ，r 。时，它首先判断z ，属于那个子空间，然后输出该子空间r ，的代表矢量r 缸ycr x , i = 1 ，2 ， 。