（计算机应用技术专业论文）人脸检测与人脸特征抽取算法研究.pdf

摘要 摘要 在生物特征识别技术中，人脸识别是一个最活跃的研究领域之。虽然人脸 识别的准确性要低于虹膜、指纹的识别，但由于它的无侵害性和对用户最自然、 最直观的方式，使人脸识别成为最容易被接受的生物特征识别方式，人脸识别技 术结合口型识别，表情识别等技术可广泛应用于个人辩识，安全系统，交通流量 控制，人机接口，会议电视，虚拟现实等方面。 本文以彩色图象人脸检测和灰度人脸图象特征抽取问题为研究对象，重点研 究了彩色图象的人脸检测方法，灰度图象的特征抽取和人脸识别方法等问题，归 纳如下： 1 基于颜色的皮肤区域探测 提出了一种新的色系坐标系r 女爸，在这种坐标系下，无需对色度信息进行经 验公式修正；并推导说明了在无法估计非肤色条件样本的概率分布情况下，用肤 色条件下的概率分布来表征肤色点后验概率的原理：最后，经实验验证，应用本 文提出的色系坐标系对肤色进行聚类是可行的。 2 基于颜色、知识和模板匹配的人脸检测 提出了一种新的将颜色信息和模板匹配方法相结合的由粗到精的人脸检测定 位方法，具体的做法是先应用颜色信息探测、分割肤色区域；然后在各肤色区域 中基于入脸头部生理知识排除非人脸区域；最后应用模扳匹配法对可能的人脸区 域进行模板匹配从而实现对人脸区域较精确的检铡定位。其中分割、提取各连通 肤色区域时，不采用常用的象素标记法，而是采用了一种新的方法：先求出肤色 区域边缘，然后应用连通图的遍历算法求出各连通边缘及相应的外接矩形：在应 用人脸头部生理知识时，提出了三条经验条件，通过它，可以排除大量的非入脸 肤色区域。最后，经实验证明，本文提出的人脸检测方法是有效可行的。 3 基于颜色、知识和支持向量机的入脸检测 提出了一种新的结合颜色、知识和支持向量机( s v m ) 的人脸检测方法，首 先利用颜色信息探测出肤色区域；然后利用人脸部的外形知识如长宽比等排除那 些非人脸的肤色区域。从而得到可能的人脸区域；最后利用s v m 对可能的人脸区 域确定是否人脸。这样既能较快速的检测人脸区域，又能较精确地定位人脸。其 中提出了一种新的获取初始非人脸样本的方法。最后，经实验结果对比证明，本 文提出的人脸检测方法是有效可行的。 4 一种具有统计不相关性的广义最优判别向量集 提出了一种新的最优判别向量集即具有统计不相关性的广义最优判别向量 华南理工大学博七学位论文 集，推导了这种最优判别向量的求解公式，并给出了求解算法。经0 r l 数据库实 验表明，该算法有较强的特征抽取能力。 5 一种变形的f i s h e r 判别准则函数及相应的最优判别向量集 首先提出了一种新的最优判剐向量集即无约柬的最傀判别向量集，并给出了 求解算法；求解f o l e y s a m m o n 最优判别向量集和本文的无约束的最优判别向量集 都要求类内数布矩阵非奇异，但当训练样本数目小于模式向量时，这点不能保证， 较常见的方法是对模式向量进行降维处理，但维数降到多低就“足够”昵? 有关 文献指出，应降到c l 维( c 为样本类别数) ，本文推导并证明了了只需降到n c 维( n 为训练样本总数) ；通过对f i s h e r 判别准则函数的变形，本文提出了一种 变形的f i s h e r 判别准则函数且证明了相应的最优判别向量集的存在性，并给出了 求解算法。经o r l 数据库实验表明，本文给出的两种方法都有较强的特征提取能 力。 最后，我们对本文的工作进行了总结，并讨论了将来可能继续的研究方向。 关键诃：模式识别：特征抽取：人脸检测；人脸识剐 【i a b s t r a c t a b s t r a c t h u a nf a c er e c o g n i t i o niso n eo ft h er r i o s ta t t r a c t i l et e c h n o l o g ya m o n g b i o m e t r i c st e c h n o l o g y a l t h o u g ht h ev e r a c i t yo fh u m a nf a c er e c o g n i t i o nis l o w e rt h a nt h a to ff i n g e r p r i n ta n do fp a l m p r i n t ，b u tb e c a u s et h eh u m a nf a c e v e r i f i c a t i o nist h em o s tn a t u r a la n dd i r e c tw a y ， i th a sb e c o 【i l et h em o s t a c c e p t a b l ew a y a m o n gb i o m e t r i c st e c h n o l o g y h u m a nf a c er e c o g n i t i o n t e c h n o l o g yc o m b i n e s w i t hm o u t hr e c o g n i t i o na n de x p r e s s i o nr e c o g n i t i o n t e c h n o l o g ya r ew i d e l yu s e di nh u m a nv e r i f i c a t i o n ， s e c u r i t ys y s t e m ， t r a n s p o r t a t i o nc o n t r 0 1 ， h u m a nm a c h i n ei n t e r f a c e ， t e l e v i s i o nc o n f e r e n c e a n dv i r t u a lr e a l i t ye t a l i nt h i sp a p e r ， u s i n gt h et e c h n 0 1 0 9 yo fh u m a nf a c ed e t e c t i o na n dg r a y h u m a nf a c ei m a g e sf e a t u r ee x t r a c t i o na so u rr e s e a r c ho b j e c t ， w em a i n l y r e s e a r c hi nh u m a nf a c ed e t e c t i o ni nc o l o ri m a g e sa n di nt h em e t h o d so f f e a t u r ee x t r a c t i o no fg r a yi m a g e sa n dh u m a nf a c er e c o g n i t i o ni ng r a yi m a g e s w eg e n e r a l i z ea sf 0 1 l o w s ： 1 s k i nr e g i o nd e t e c t i o nb a s e do ns k i nc o l o r an e ws e to fc o l o rc o o r d i n a t e s，窖f 6 i sp r e s e n t e d ，u n d e rt h iss e to f c o o r d i n a t e s ，e x p e r i e n ti a la d j u s t m e n tt oc h r o m av a l u e sw il lb en ol o n g e r n e e d e d ：a n dap r i n c i p l eh a sb e e nd e d u c e da n de x p l a i n e dt or e f l e c tt h e a f t e r w a r d sp r o b a b i l i t yw i t hb e f o r e h a n dp r o b a b i l i t yu n d e rt h ec o n d i t i o n t h a tt h ep r o b a b i l i t yd i s t r i b u t i o no fan o n s k i nc o l o rc o n d i t i o n a ls a m d l e c a nn o tb ee s ti m a t e d 2 h u m a nf a c ed e t e c t i o nb a s e do nc 0 1 0 r 、 k n o w l e d g ea n dt e m p l a t em a t c h as t e pb ys t e pf a c ed e t e c t i o nm e t h o di sp r e s e n t e d ，w h i c hi n c l u d e3s t e p s ： u s i n gc o l o ri n f o r m a t i o nt od e t e c ta n ds e g m e n ts k i nr e g i o nf i r s t l y ：s e c o n d l y ， u s i n gh u m a nh e a ds h a p ef e a t u r et oe x c l u d en o nh u m a nf a c er e g i o n ：t h i r d l y ， u s i n gt e m p l a t em a t c ht ov e r i f yt h e1 e a v e dr e g i o n a ts t e po n e ， i n s t e a do f u s i n gc o m m o n l yp i x e l st a gm e t h o d ，w eu s ean o v e lm e t h o d ：f i r s td e t e c tt h e e d g eo fs k i nc 0 1 0 rr e g i o n ， t h e nu s et r a v e r s a la l g o r i t h mo fc o n n e c t e dg r a p h t oc o n f i r mc o n n e c t e de d g ea n dc o r r e s p o n d i n gr e c t a n g l e ：a ts t e pt w o ， t h r e e e x p e r i e n t i a lr u l e sa r ep r e s e n t e d ，b yt h e s er u l e s ，l o to fs k i nc 0 1 0 rr e g i o n y e tn o th u m a nf a c er e g i o nc a nb ee x c l u d e d i i i 垒! ! ：呈：坚：竺! ! ! ! ：! 竺! ! ! ! 竺：! ! ! ! 竺! 呈! ! ：些! ! ：2 1 2 ：! ! ! ：! ：! ! 型 3 h u m a nf a c ed e t e c ti o nb a s e do nc o l o r 、 k n o w l e d g ea n ds u p p o r tv e c t o r m a c h i n e ( s v m ) as t e pb ys t e pf a c ed e t e c t i o nm e t h o di sp r e s e n t e d ，w h i c hi n c l u d e3s t e d s u s in gc o l o ri n f o r m a t i o nt od e t e c ta n ds e g m e n ts k i nr e g i o nf ir s t ly ：s e c o n d l y u s i n gh u m a nh e a ds h a p ef e a t u r et oe x c l u d en o nh u m a nf a c er e g i o n ；t h i r d l y ， u s i n gs v mt ov e r i f yt h el e a v e dr e g i o n a ts t e p3 ，u s i n gf a ls ep o s it i v eh u m a n f a c eo fs t e po n ea n ds t e pt w oa st h em a i d e nn o nh u m a nf a c es a m p l e s ， t h e n b yb o o t s t r a pw a yt oc o l l e c tn e wn o nh u m a nf a c es a m p l e s 4 ag e n e r a l i z e d0 p t i m a ls e to fu n c o r r e l a t e dd is c r i m i n a n tv e c t o r s an o v e lo p t i m a ls e to fd i s c r i m i n a n tv e c t o r si e t h eg e n e r a l i z e d o p t i m a ls e to fu n c o r r e l a t e dd i s c r i m i n a n tv e c t o r si sp r e s e n t e d ， a n dt h e c a l c u l a t i o nf o r 【i l u l aa n da l g o r i t h mo fh o wt og e tt h es e tisp r e s e n t e dt o o t h er e s u l to ft h ee x p e r i m e n to nt h e0 r lh u m a nf a c ed a t a b a s e ss h o w st h a t t h em e t h o dp r e s e n t e dh e r eh a ss t r o n ga b i l i t yi nf e a t u r ee x t r a c t i o n 5 a na p p r o v e df i s h e rd i s c r i m i n a n tc r i t e r i o nf u n c t i o na n di t s c o r r e s p o n d i n go p t i m a ls e to fd i s c r i m i n a n tv e c t o r s u n d e rc i r c u m s t a n c e so fo r t h o g o n a lc o n s t r a i n t s ，t h ev e c t o r st h a tm a k e t h ef is h e rd i s c i m i n a n tc r i t e r i o nf u n c t i o na t t a i nt h em a x i m u mv a l u e sa r e f so p t i a ls e to fd i s c r i m i n a n tv e c t o r s i nt h i sp a p e r ，a no p t i 【n a ls e to f d i s c r i m i n a n tv e c t o r sw h i c hn e e dn o tf i l la n yc o n s t r a i n tc o n d i t i o ni s p r e s e n t e d ，a n dt h ew a yo fh o wt og e tt h es e ti sp r e s e n t e dt o o i na d d i t i o n ， w h e nt h en u m b e ro ft r a i n i n gs a m p l e si ss m a l l e rt h a nt h ed i m e n s i o n so f t r a i n i n gs a m p l e s ( i e s m a l ln u m b e r o ft r a i n i n gs a m p l e sp r o b l e m ) ，t h e w i t h i n c l a s ss c a t t e rm a t r i xi ss i n g u l a r u n d e rt h i sc i r c u m s t a n c e ，t o a c q u i r eb o t hf so p t i m a ls e to fd i s c r i m i n a n tv e c t o r sa n du n c o n s t r a i n e d o p t i m a ls e to fd i s c r i m i n a n tv e c t o r sp r e s e n t e dh e r ei su n f e a s i b l e t os o l v e t h i sp r o b l e m ，a na p p r o v e df i s h e rd i s c r i m i n a n t f u n c t i o ni sp r e s e n t e d t h e r e s u l t o fe x p e r i m e n to n0 r lf a c ed a t a b a s es h o wt h a tt h ea l g o r i t h m s p r e s e n t e dh e r e h a v es t r o n gd i s c r i m i n a b i l i t yu n d e rc i r c u m s t a n c e so f o r t h o g o n a lc o n s t r a i n t s ， t h ev e c t o r st h a tm a k et h ef i s h e rd i s c i m i n a n t c r i t e r i o nf u n c t i o na t t a i nt h em a x i m u mv a l u e sa r ef so d t i m a ls e to f d i s c r i m i n a n tv e c t o r s 工nt h i sp a p e r ，a no p t i m a ls e to fd i s c r i i n a n tv e c t o r s w h i c hn e e dn o tf i l la n yc o n s t r a i n tc o n d i t i o ni sp r e s e n t e d ，a n dt h ew a yo f h o wt og e tt h es e ti sp r e s e n t e dt o o i na d d i t i o n ，w h e nt h en u m b e ro ft r a i n i n g s a m p l e si ss m a l l e rt h a nt h ed i m e n s i o n so ft r a i n i n gs a m p l e s ( i e s m a l l a b s t r a c t n u m b e ro ft r a i n i n gs a m p l e sp r o b l e m ) ，t h ew i t h i n c l a s ss c a t t e rm a t r ixis s i n g u l a r u n d e rt h i sc i r c u m s t a n c e ，t oa c q u i r eb o t hf so pc i m a ls e to f d i s cr i m i n a n tv e c t o r sa n du n c o n s t r a i n e d0 p t i m a ls e to fd i s c r i m i n a n tv e c t o r s p r e s e n t e dh e r ei su n f e a s i b l e t os o l v et h i sp r o b l e m ，a na p p r o v e df is h e r d i s c r i m i n a n tf u n c t i o ni sd r e s e n t e d t h er e s u l to fe x p e r i m e n to no r lf a c e d a t a b a s es h o w t h a tt h ea l g o r it h m sp r e s e n t e dh e r eh a v es t r o n g d is c r i m i n a b i l i t y a tl a s t w ew i l ls u m m a r i z eo u rr e s e a r c hw o r k ， a n dd i s c u s s t h o s ep o t e n t i a lr e s e a r c ht o p i c si nt h ef u t u r e k e yw o r d s ：p a t t e r nr e c o g n i t i o n ：f e a t u r ee x t r a c t i o n ：h u m a nf a c ed e t e c t i o n h u m a nf a c er e c o g n i t i o n v 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 名：常獗 瞧公年易窍嗡 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权华南理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密日。 ( 请在以上相应方框内打“”) 作者繇曾缴帆年多月吒 导师签名：多 日期： 秒年彦月 第一章绪论 第一章绪论 本章简要介绍了生物识别技术的基本情况，分析了人脸识别在生物识别技术 领域的地位，指出人脸识别技术具有巨大的应用前景。然后对当前国内外人脸检 测与人脸识别技术的发展作了一个简要的综述，提出了本文的研究重点。最后对 全文的结构作了一个简要介绍。 1 1 人脸检测与识别问题的研究意义 1 1 1 引言 生物特征身份鉴别技术是通过计算机将人体所固有的生理或行为特征收集并 进行处理，由此进行个人身份鉴定的技术。 能够作为身份鉴别的生物特征理论上应该具有以下特点： 广泛性 即每个人都应该具有这种特征。 惟一性每个人拥有的该项特征各不相同，独一无二。 稳定性该特征不随时间、外界条件变化。 可采集性所选择的特征应便于测量。 生物特征身份鉴别技术包含身份验证和识别两方面内容。身份验证是确定用 户是否是其所声明的那个人，身份识别是确定用户是目标人群中的那个人，两者 在实现方法和鉴别系统的复杂程度上有着极大的不同。可根据不同的应用场合做 适当的选取。 生物特征识别是用于自动身份认证的一个重要研究领域。目前的安全做法通 常包括p i n 码、口令以及访问卡。这些方法不是很可靠，因为它们容易被忘记或 遗失，而且对于末授权用户在一个相应的环境中也使用这些方法则没有进步的 限制。而生物特征方法不容易被复制，也不会丢失或被盗，因此更为安全。 生物特征识别技术研究越来越受到人们的重视，目前人们研究和使用的生物 特征识别技术主要有：人脸识别、虹膜识别、视网膜识别、手形识别、指纹识别、 掌纹识别、签名识别、语音识别等方面。 1 1 2 几种主要的生物特征身份鉴别技术 1 1 2 1 虹膜识别 虹膜是一个位于瞳孔和巩膜之间的环状区域。与其它的生物特征相比，虹膜 识别具有：高独特性，虹膜的纹理结构是随机的，其形态依赖于胚胎期的发育； 高稳定性：虹膜可以保持几十年不变，而且不受除光线之外的局围环境的影响； 华南理工大学博士学位论文 防伪性好，虹膜本身具有规律性的震颤以及随光强变化而缩放的特性，可以识别 出图片等伪造的虹膜。但我们东方人由于眼珠较黑，眼睛较小，眼睫毛易挡住部 分纹理结构，虹膜特征相对较难提取，因而，识别率会受到一定限制。此外，虹 膜采样设备成本相对也高。 1 1 2 2 手形识别 手形识别是利用手掌、手指及手指各关节的长、宽、厚等三维尺寸和连接特 征来进行身份鉴别，这些特征采集简单，不易受噪声干扰，对设备要求不高。其 识别速度在所有生物特征识别系统中是最快的但因识别率相对较低，一般用作 身份验证。手形识别系统使用方便，价格合理，已在机场、海关、高级住宅、进 出口控制等方面获得广泛使用，市场占有量仅次于指纹识别系统。当手部因劳动、 外伤或疾病等原因造成外形上的变化时，会影响系统鉴别的准确性。 1 1 2 3 视网膜识别 视网膜识别利用人眼视网膜上分布的毛细血管网的差异性来鉴别身份，是目 前生物特征中可靠性最高的身份鉴别方法。视网膜隐藏在眼球中，不磨损，不易 受老化和一般疾病的影响，更具独特性和稳定性。因鉴别时需用红外线扫描眼底 视网膜以获得血管网图像，存在长期使用是否会对使用者健康构成伤害的问题， 所以该方法接受程度最低，另外，由于系统技术含量及成本很高，实用推广难度 大。 1 1 2 4 指纹识别 指纹具有稳定性，唯一性，是最早用来识别身份的生物统计手段之一“3 。目 前国内外广大研究人员对指纹识别中的指纹图象增强，特征提取和分类，指纹匹 配算法，指纹图象压缩，指纹识别的软，硬件实现等技术进行了较深入的研究。 目前市面上已有多种指纹传感器和相应的软件出售。指纹图象自动鉴别系统主要 采用指纹的细节特征进行身份鉴别。要进行指纹识别，首先必须设计一种高速可 靠的算法来提取指纹图象中的特征点。但由于指纹图象中存在大量噪声：如用油 哩提取指纹，会因油哩不均或用力不均而使图象中出现污斑或指纹线断裂，粘连； 如用光扫描方法提取指纹，皮肤的弹性，表面的滋润程度及用力的程度等对采集 到的指纹图象都有一定的影响：此外，从老年人或体力劳动者中提取细节特征会 更加困难0 1 。因此，指纹识别系统中对指纹图象的分辨率及所采集到的指纹图象 的质量都有很高的要求，指纹自动识别系统的应用往往只局限于指纹质量较好的 人群，因而影喻了指纹自动验证系统的推广应用。此外，由于指纹识别与犯罪学 密切相关，所以指纹识别的可接受程度较低。 第一苹绪论 1 1 2 5 掌纹识别 掌纹指手掌内侧表面的纹线图案，一般由3 5 条明显的屈肌纹、众多皱纹 和乳突纹交错构成。掌纹形态受遗传基因控制，一旦形成终生不变。每个人的掌 纹形态均不相同，掌纹纹理复杂所提供的信息量较指纹丰富，利用掌纹的线特 征、点特征、纹理特征及几何特征完全可以确定人的身份。掌纹主要特征明显( 如 屈肌纹和皱纹所形成的线特征) ，可在低分辨率图像中提取，不易受噪声干扰，特 征空间小可实现快速检索和匹配。乳突纹形成的细节特征与指纹相似，但比指纹 纹型丰富。从理论上说有更高的鉴别能力，但需要在较高分辨率图像中获得，因 掌纹面积大，导致图像数据量及特征空间太大，为图像处理带来一定难度。掌纹 采集方便，设备成本低，可接受度高，是很具潜力的身份识别方式，但因研究起 步晚，理论和应用上都还有待进一步深入。 1 1 2 6 签名识别 签名识别是一种行为识别技术，目前签名大多还只用于认证，签名认证的困 难在于，数据的动态变化范围大，即使是同一个人的两个签名也绝不会相同。签 名认证按照数据的获取方式可以分为两种：离线( o f f l i n e ) 认证和在线( o nl i n e ) 认证。离线认证是通过扫描仪获得签名的数字图像：在线认证是利用数字写字板 或压敏笔来记录书写签名的过程。离线数据容易获取，但是它没有利用笔划形成 过程中的动态特性，因此较在线签名容易被伪造。 1 1 2 7 语音识别 语音识别利用说话者发声频率和幅值的不同来辨识身份。语音识别大体分2 类：一是依赖特定文字识别，如：让说话者说某个特定的词语或几个特定词语中 随机的某个来识别真伪，这种方式系统设计简单，较易实现，但安全性较差；另 种是不依赖特定文字识别即说话者可随意说任何词语，由系统找出说话者发音 中具有共性的特征进行识别，该方式虽有很好的防伪性，但系统复杂，实现起来 存在一定困难。因语音远程传递的方便性，在电话拨入系统中有其他生物特征不 可取代的优势，但也仍存在不足，如语音受心理状态、疾病等自身因素和语音环 境、采集设备、传输通道等外部因素的干扰，会影响识别效果，对磁带录音进行 欺诈的可能性也未能很好的解决。 1 1 3 人脸检测与人脸识别问题的研究意义 1 人脸检测与识别问题的研究意义，首先在于它有非常广泛的应用前景，极 具应用价值。虽然人脸识别的准确性要低于虹膜、指纹的识别，但由于它的无侵 3 华南理工大学博七学位论文 害性和对用户最自然、最直观的方式，使人脸识别成为最容易被接受的生物特征 识别方式，人脸识别技术结合口型识别，表情识别等技术可广泛应用于个人辩识， 安全系统，交通流量控制，人机接口，会议电视，虚拟现实等方面。3 。 近些年来，人脸识别技术在可视通信和视频检索方面的应用研究也引起研究 者的广泛兴趣。 在可视通信方面：随着网络的普及，特别是i n t e r n e t 逐渐成为人们日常生活 的一部分，越来越多的视频信息来源于网络。人脸在视频图像中和主角地位，决 定了人脸自动识别技术在解决视频信息的编码和检索问题中将发挥重要的作用。 m p e g 一4 标准提供了一种基于内容( c o n t e n t b a s e d ) 的编码方案“1 。m p e g 一4 引进 了“视频对象平面”( v o p ) 的新概念，将输入的视频图像分割为若干个包含不同 景物对象的任意形状的区域，并且按照对各个区域内容的感兴趣程度选择适当的 比特率单独进行编码。例如对于人们感兴趣的人脸区域可采用压缩比相对较小的 编码方法，而对其他区域，则可采用较大的压缩比。 在宽带有限条件下的高速通讯和人数众多的情况下的人脸快速检索识别对人 脸信息的高效压缩的要求是一致的。人脸面貌的高度一致性产生较大的压缩潜力， 而人脸识别的特征提取和表示能够很好地完成任务 在视频检索方面；基于内容的视频检索技术突破了传统的基于表达式检索的 局限，它直接对视频内容进行分析，抽取特征和语义，并以此建立索引。m p e g 一4 之后提出的m p e g 一7 标准已经从视频编码转向识别对象，它提供了一种对于多媒体 信息内容的描述接口”。肝e g 一7 试图对各种形式的信息( 包括文字、图像、音 频、视频等) 进行标准描述，并将它们按照内容的联系有机地组合起来，以构成 一种多媒体表示、即“场景”。无疑，人脸识别技术对于大量的人脸图像( 序列) 的检索将起到十分重要的作用。 随着网络技术的飞速发展，交互式的视频信息服务已经成为当前信息技术的 一个重要发展方向，用户可以通过互联网访问远程服务节点，检索、挑选出感兴 趣的视频资源，如新闻、历史资料和娱乐电影等，进行浏览和播放。另外，随着 信息传播业的发展，电视节目对人类生活的影响已十分深入。视频点播( v o d ) 使 得用户可以从繁多的节目中挑选自己感兴趣的节目。在实现卫星电视和境外节目 转播上，为了有效地对节目内容进行管理、控制和过滤，特殊视频信息的实时定 位是十分重要的；所有这些方面的应用都有赖于视频检索系统的研制和开发。 在视频信息中，人物是最主要的内容，大量的新闻广播、影视节目、舞台文 艺作品等，无不与人物息息相关；随着社会信息化步伐的加快，人们的“互动” 越来越频繁，人脸的检索识别在人们的生活中将占重要地位，相关的研究也正在 热火朝天的进行”1 。 2 除上述应用外，对人脸检测与识别问题的研究还具有极为重要的理论价值。 4 第一蕈绪论 虽然人类能毫不费力地识别出人脸极其表情，但人脸的自动机器识别却是一个难 度极大的课题。它牵涉到模式识别、图像处理及生理、心理学等方面的诸多知识 ”1 。人脸是自然存在的一种复杂的视觉模式，以它作为二维图像或三维非刚性 ( n o n r i g i d ) 物体的一种范例进行检测和识别方面的研究，必将推动图像处理、 模式识别、计算机视觉等相关理论的发展。另外，人脸识别也是视觉认知心理学 的一个典型研究课题一，。人脸自动识别的研究一方面要借鉴对人脸识别最有帮助 的人类视觉系统( h v s ，h u m a nv i s u a ls y s t e m ) 的研究成果，另一方面也会对视 觉心理学中有关课题的探讨产生积极的影响和启迪。 1 2 人脸图象检测与识别问题的国内外研究现状 人脸图像识别系统研究主要集中在四个方面：人脸检测与定位( 对任意的图 像，判断其中是否有人脸，人脸的数量，位置及大小) ，人脸识别( 模式分类，关 键是匹配) ，人脸跟踪及人脸表情分析( 用计算机分析人脸表情，感情，改善人机 接口) 。下面就人脸检测与定位，人脸识别两方面叙述国内外的研究现状。 1 2 1 人脸检测与定位问题的国内外研究现状 ( 1 ) 模板匹配及其在此基础上变化的方法。t s a k a i 在1 9 6 9 年发表的论文中 首次提到人脸图象自动探测问题，他的方法是：用输入图象的边缘映射图与一个 在位置和大小可以变化的捕圆模板匹配“”。在有可能匹配的地方验证头假设，方 法是观察预期的眼，鼻，嘴等处产生的边缘，这技术依赖于光照方向；梁路宏 等的基于多关联模板匹配的入脸检测“”方法是：手工画出样本人脸区域作为人脸 区域，进行尺度标准化，灰度分布标准化处理，得到原始人脸模板，再取双眼部 分，并进行灰度分布标准化得到双眼模扳，然后，将人脸模板按多种比例拉伸和 旋转变换及灰度分布标准化处理，得到多角度，多长宽比人脸模板。将可能的人 脸区域用多个模板匹配( 选大小，朝向最匹配并达到一定域值的为人脸图象) ，最 后用马赛克规则及头轮廓特征验证。该方法优点是鲁棒性较好，缺点是计算代价 较大等。 ( 2 ) 特征脸法及以此为基础发展的方法。最一般的特征脸法是用样本集的总 体散布矩阵为产生矩阵，求其最大的若干个特征值及相应的特征向量，每一个特 征向量就是一张特征脸，将可能人脸区域向特征脸投影及重构，然后与可能人脸 求最小二乘方差，小于选取的阈值即是人脸区域，否则，便不是人脸区域；还有 其它方法如基于神经网络，基于脸部凹凸估计的方法等等。 ( 3 ) 基于知识的方法。基于知识的方法，这类方法利用人的知识建立若干规 华南理工大学博士学位论文 则，从而将人脸检测转化为假设检验问题。y a n g 在文献”中采用了一种分级的基 于知识的人脸检测方法，也就是常说的马赛克方法，它给出了基于人脸区域灰度 分布的规则，依据这些规则对图像从粗分辨率到高分辨率进行筛选，以样本满足 这些规则的程度作为检测的判据。这种方法在一组测试图像( 6 0 幅图像) 中进行 测试能够找到5 0 幅图像中的人脸，类似的工作还有文献1 。这类方法存在一个问 题，就是如何将人所具有的知识转化为规则，如果规则过于严格仔细，会出现由 于不能满足所有条件而不能检测到人脸，如果规则过于普遍，那么又会出现错误 的检测。 ( 4 ) 基于样本学习的方法。基于样本学习的方法有基于神经网络的方法、基 于支持向量机的方法等，0 s u n a 等“”首先将s v m 方法用于人脸检测问题，取得了较 好的实验结果，但在非人脸样本不受限制时，需要极大规模的训练集合，得到的 支持向量会很多( 约占训练样本总数的2 0 ) ，使得分类器的计算量过高。p a u l v i 0 1 a 和m i c h a e lj o n e s 于2 0 0 1 年提出了基于a d a b o o s t 的人脸检测算法。”，从根本 上解决了检测的速度问题，同时有较好的识别效果。但是由于a d a b o o s t 算法本身 训练非常耗时，整个系统的训练时间非常惊人。根据文献 2 3 ，其系统在高级工 作站上完成最后训练花了数周时间。对于多视角人脸检测问题，文献 2 4 提出了 f l o a t b o o s t 算法，取得了令人满意的效果，但同样的该方法也存在训练时间过长 的问题。 1 2 2 人脸识别问题国内外研究现状 根据人脸表征方式的不同，我们通常将人脸的识别技术分为三大类。分别是： 基于视觉特征，基于代数特征和基于连接机制的识别方法。 ( 1 ) 视觉特征。所谓视觉特征，是指那些反映各个面部器官的形状、灰度以 及器官之间结构关系( 如：位置、距离、角度等) 的特征。这些特征比较直观， 具有明显的认知意义，故而也可称之为基于知识( k n o w l e d g e - b a s e d ) 的特征。很 自然地，图象的视觉特征可分为点、线、面三个典型层次，其中点是指人脸各部 位的折点、拐点、曲线端点和特殊点，线指脸面和五宫的轮廓线等，面则表示为 人灰度脸点阵等。 点特征。几何特征最早是用于人脸侧面轮廓( p r o f i l e ) 的描述与识别， 首先根据侧面轮廓曲线确定若干显著点“，并由这组显著点导出一组用于识别的 特征度量( 如距离、角度、面积等) 。 毗e d s o e “们是最早采用几何特征进行正面人脸识别的研究者之一，通过手工 标记特征点的位置，得到一组距离特征来表征和识别人脸。k a n a d e “”首先提出一 种方法，可自动提取人眼、口、鼻等几个重要特征点，然后利用它们之间距离的 6 第一苹绪论 比例关系来区别人脸，在2 0 人的图象库中识别率在4 5 7 5 。 p o g g f o 和b r u n e 儿i 用边缘积分投影法提取出用欧氏距离表征的3 5 维人脸特 征用于模式分类“，其中既有反映器官形状的特征、如由嘴巴的中心到下巴边 缘的1 1 条半径为下巴形状的描述，也有反映位置关系的特征、眉毛、眼睛、鼻子、 嘴巴的位子等。k a m e l 等”“在确定人脸七个特征点的基础上提出了一组对透视不 变的仿射距离进行识别。c o s ”等提出“混合距离”的概念，对每一个人脸用3 0 个手工提取的距离表示，在对总共6 8 5 人的图象库中随机找出9 5 幅图象作测试集， 识别率为9 5 。r o d e 。8 1 对几何特征提取的精确性进行了实验性研究，结果不容乐 观。 b m a n j u n a t h 等“”。”。“则利用g a b o r 小波变换提取特征，由此在人脸图象中 得到的一组特征点，大多与人脸的一些突出的特征点( s a l i e n tp o i n t s ) 相对应。 b m a n j u n a t h 等采用动态链接结构( d l a ) 来描述这些特征，其中结点代表各特征 点，结点间连线代表特征点之间的关系( 如欧氏距离) ；并采用弹性图匹配( e g m ) 方法完成人脸识别；b e n o f td u c ”等还进一步采用由粗到精点刚性图匹配，并用 局部判别式提取特征。l w i s k o t t “”在此基础上做了进一步的改进，包括引入 相位信息、处理深度方向上的旋转以及提出弹性串图匹配方法等。r w u r t z 。“也 采用了类似的图象特征。但通过多维模板匹配( m t m ) 方法进行人脸识别。t a k a s h i h a m a d a 等“则模仿了婴j l 生物学机制抽取人脸特征。 基于参数的入脸表示可以实现对人脸显著特征的一个高效描述，但它需要大 量的前处理和精细的参数选择。同时，采用一般几何特征只描述了部件的基本形 状与结构关系，忽略了局部细微特征。造成部分信息丢失，更适合于做粗分类。 应当指出，应用几何特征之间精确测量距离是有用的。尤其在一个大数据库中寻 找可能的匹配范围时更有意义。但自动提取特征点的工作相当困难而且直接影响 到识别效果，目前已有的特征点检测技术在精确度上还远不能满足要求，而且计 算量也较大。 线特征。y u i l l e ”7 1 等提出的可变形模板法可以视为几何特征的一种改进， 它可以给出对器官形状更为精细的描述。其基本思想是：设计一个参数可调的器 官模型，定义一个以器官( 如人眼) 灰度图象峰谷图、边缘图和模型参数为变量 的能量函数，通过模型与图象进行交互，不断调整模型参数，使能量函数最小化， 此时的模型参数即作为该器官的几何特征，可变形模板方法思想非常好，但是存 在两个问题，一是能量函数中各种代价因素的加权系数只能有经验确定，难以推 广：二是匹配( 能量函数优化) 过程十分耗时，而且有陷入局部极小的可能，难 以实际应用。文献。8 ”“4 ”均采用了类似的思想提取几何模型参数特征。 h u a n gc h a n g l i n 和c h e nc h i n g w e n 使用了另一种几何特征提取机制，即采 用动态模板与活动轮廓模型提取出人脸器官轮廓”“。动态模板是参数化的简单图 华南理工大学博士学位论文 元模型，根据先验知识定义的能量函数及相应图象约束条件指导其收敛过程，主 要用于提取眼睛和嘴巴轮廓。“。”“，而活动轮廓则是能量最小化的曲