（模式识别与智能系统专业论文）基于肤色的人脸检测与跟踪研究及系统实现.pdf

重庆大学硕士学位论文 中文摘要 摘要 本文研究人脸检测与人脸跟踪问题。人脸检测与人脸跟踪技术是各种人脸图 像处理算法的关键技术。人脸图像处理领域包含有人脸识别、姿态估计、表情识 别、视频监控等多个研究方向，而几乎所有这些方向都涉及到人脸的检测与跟踪 问题。本文在收集和分析了大量近年来国内外关于人脸检测与人脸跟踪的学术论 文及研究报告的基础上，针对人脸自动跟踪系统的建立进行了深入的研究。并根 据国际、国内关于人脸检测与人脸跟踪技术研究成果，提出并实现了基于肤色的 人脸检测算法，开发出了基于改进的均值漂移目标跟踪算法的人脸自动跟踪系统。 该系统借鉴了前人的一些人脸检测与人脸跟踪算法，并针对本文的要求和实验条 件，作了一些关键性的改进。其主要研究工作如下： l 、提出并实现了基于肤色的人脸检测算法。在参考了大量的人脸检测算法的 基础上，提出了基于肤色特征的人脸检测方法。这种方法首先利用肤色特征，从 复杂的图像中分割出与肤色相关的区域，再结合边缘信息与形态学方法得到人脸 候选区，在人脸候选区上提取人脸特征并根据特征的几何关系确定人脸。实验表 明该算法有较快的响应速度、较高的准确率，适合于作为自动人脸处理系统的预 处理人脸检测算法。 2 、提出并实现了人脸跟踪算法。该方法结合了人脸检测与目标跟踪两方面的 内容。采用人脸检测算法，以确定跟踪的初始区域；应用了改进的m e a ns h i f t 算 法以h s v 空间的反向投影图，也即肤色概率分布图，进行人脸追踪。该算法简单 计算量小，跟踪速度快，并且不受人脸的姿态、角度影响。 3 、在算法研究设计、实现的基础上，完成了人脸自动跟踪系统平台。论文研 究中用到的方法集成到了该平台中。该系统界面友好、可视性强，可以直接作为 一个自动人脸跟踪系统的简单应用。 关键词：人脸检测，人脸跟踪，肤色模型，特征提取，m e a ns h i f t 算法，d i r c c t s h o w 重庆大学硕士学位论文英文摘要 a b s t r a c t t h ed i s s e r t a t i o nc a r r i e do nt h ei n v e s t i g a t i o n so ff a c ed e t e c t i o na n d 把a c i 【i n 吕t h e f a c ed e t e c t i o na n dt r a c k i n ga r et h ek e yp o i n t si nv a r i o u sf a c i a lp r o c e s s i n ga l g o r i t h m s t h ef i e l do ff a c i a li m a g ep r o c e s s i n gi n c l u d e sf a c er e c o g n i t i o n , g e s t u r ee s t i m a t i n g , f a c i a l e x p r e s s i o nr e c o g n i t i o n , v i d e om o m t o f i n ga n ds oo i la n da l m o s ta l lo f t h e s ea r er e l a t e d t of a c ed e t e c t i o na n df a c et r a c k i n g b a s e do nt h ec o l l e c t i o na n da n a l y s i so fal o to ft h e d o m e s t i ca n di n t e r n a t i o n a ld i s c o u r s e sa n dr e s e a r c hp a p e r so nf a c ed e t e c t i o na n d t r a c k i n gi nr e c e n ty e a r s ，t h i sp a p e rh a sl u c u b r a t e da b o u te s t a b l i s h i n go fa u t o m a t i cf a c e t r a c k i n gs y s t e m a c c o r d i n gt ot h ep r e v i o u sr e s e a r c ho nf a c ed e t e c t i o na n dt r a c k i n g , a f a c ed e t e a i o na l g o r i t h mb a s e do ns k i nt o n ei s c o m p l e t e d a n da na u t o m a t i c f a c e t r a c k i n gs y s t e mb a s e do ni m p r o v e do b j e c tt r a c k i n ga l g o r i t h mo f m e a ns h i f ti sd e v e l o p e d h e r e t h es y s t e mh a sa c h i e v e dc r u c i a li m p r o v e m e n t so ns o n l et r a d i t i o n a la n dc l a s s i c a l a l g o r i t h m so ff a c ed e t e c t i o na n dt r a c k i n g , t h ep r i m a r yw o r ko ft h i sp a p e ri s a s f o l l o w i n g ： 1 i nt h i sp a p e raf a c ed e t e c t i o na l g o r i t h mb a s e do ns k i nc o l o ri sc o m p l e t e d r e f e r r i n gt oal o to ff a c ed e t e c t i o na l g o r i t h m , ak i n do ff a c ed e t e c t i o nm e t h o db a s e do n t h es k i nt o n ec h a r a c t e r i s t i c si sp r o p o s e d f i r s tt h es k i nr e g i o n sa r es e g m e n t e db yt h e m o d e lo fs k i nt o n e , t h e n , f a c ec a n d i d a t ea r e ac o u l db eo b t a i n e db ym e a n so fc d g e i n f o r m a t i o na n dm o r p h o l o g i c a lm e t h o d ，a n dt h e nf a c i a lf e a t u r ec o u l db ee x t r a c t e df r o m f a c i a lc a n d i d a t er e g i o n , a tl a s tt h ef a c ec a nb ee n s u r e da c c o r d i n gt ot h eg e o m e t r i c c h a r a e t e r i s t i e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h mi s f a s tr e s p o n s e h i g h a c c u r a c y , s u i t a b l ef o rp r o - t r e a t m e n to ff a c ed e t e c t i o na l g o r i t h ma sa u t o m a t i c a l l yf a c e p r o c e s ss y s t e m 2 i nt h i sp a p e raf a c et r a c k i n ga l g o r i t h mi sc o m p l e t e d t h i sa l g o r i t h mc o m b i n e s t h ef a c ed e t e c t i o na n dt h eo b j e c tt r a c k i n g f a c ed e t e c t i o na l g o r i t h mi su s e dt od e t e r m i n e t h ei n i t i a lt r a c k i n gr e g i o n a l ；a n dt h ei m p r o v e do b j e c tt r a c k i n ga l g o r i t h mo f m e a ns h i f ti s u s e dt ot r a c kf a c e ，t h ea l g o r i t h mc r e a t e sac o l o rm o d e lb y t a k i n gi dh i s t o g r a mf r o mt h e hc h a n n e li nh s v s p a c e t h e nc o n v e r t i n gt h ei n c o m i n gv i d e op i x e l st oab a c kp r o j e c t i m a g e ，w h i c hi st h ep r o b a b i l i t yd i s t r i b u t i o no ff l e s hi m a g e t h ea l g o r i t h mi ss i m p l e c a l c u l a t i o n , f a s tt r a c k i n g , a n dn o td e p e n d i n go nf a c eg e s t u r ea n da n g l e 3 b yr e s e a r c h i n g , d e s i g n i n ga n dr e a l i z i n gt h ea l g o r i t h m , ap l a t f o r mf o ra u t o m a t i c 重庆大学硕士学位论文 英文摘要 f a c et r a c k i n gs y s t e mi s c o m p l e t e d t h es y s t e mg a t h e r e da l lo ft h et h e s i sr 嚣e a r c h m e t h o d s t h es y s t e mh a sa u s e r - f r i e n d l yi n t e r f a c e , v i s i b i l i t ya n dc a nb ed i r e c t l yu s e da s as i m p l ea p p l i c a t i o no f a u t o m a t i cf a c et r a c k i n gs y s t e m k e y w o r d s ：f a c ed e t e c t i o n , f a c et r a c k i n g , s k i nt o n em o d e l ，f a c i a lf e a t u r ee x t r a c t , m e a n s h i f ta l g o r i t h m ，d i r e c t s h o w 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重废太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 数论文作者繇留耖签字隗岬形月厂日 学位论文版权使用授权书 本学位论文作者完全了解重鏖太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重废太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( v ) 。 ( 请只在上述一个括号内打“”) 学位论文作者签名：镌歹为 签字日期：哆年莎月5 e t 导师签名： 签字日期： 碲易月，日 重庆大学硕士学位论文l 绪论 1 绪论 每天人们相遇首先关注的都是对方的脸，以此判断来者的身份、心情等，人 脸就是人们日常生活中应用最多的一种信息源。同时人脸也是一个信息极为丰富 的模式集合，人类可以轻松判别，对于机器而言，人脸识别则是非常复杂的事情， 涉及到数字图像处理、模式识别、人工智能、生理和心理学等多方面的课题。让 机器能够具有人的智能，使它们可以像人脑一样判别、认识、记忆人类，是全世 界研究人员共同的愿望。而人脸检测与跟踪则是所有自动人脸系统研究的第一个 步骤，对于整个应用系统的性能起着关键性的作用。 1 1 课题的研究背景和意义 1 1 1 课题研究的背景 近年来，随着电子商务与人们安全意识的增强，特别是美国9 l l 事件以来， 人们对确认个人身份有着更高的要求。利用生物特征来识别个人身份的技术也被 赋予了很高的期望。生物特征识别技术【l 】是指通过计算机将人体所固有的生理特征 ( 如人脸、指纹、虹膜、掌纹等) 或行为特征( 如书写、声音等) 收集并进行处 理，来进行个人身份鉴定的技术。这种技术使用个体的生物特征作为唯一标识， 对个体身份进行辨识鉴定。近年来由于人工智能、图像处理及模式识别技术的飞 速发展为这种鉴别技术提供了技术支持，使得生物特征识别技术，有了较高的安 全性、可靠性和有效性。其中指纹、虹膜等识别技术已经到达到了实用化的程度。 而人脸识别技术因人脸获取比指纹虹膜更容易被人们接受，成为最有潜力的生物 身份验证手段，一直以来都备受各方面的关注，进展也十分迅速。九十年代中后 期以来，一些商业性的实用人脸识别系统开始进入市场，到目前为止，国内外已 有多达数百个人脸识别系统产品出现，0 8 年北京奥运会也将采用人脸识别系统作 为安防产品。 人脸检测( f a c ed e t e c t i o n ) 与人脸跟踪( f a c et r a c k i n g ) 技术作为人脸自动识 别系统的先决条件，有着十分重要的作用和研究的意义。同时人脸检测与人脸跟 踪也不仅仅局限于人脸识别的范畴【2 】【3 1 ，在图片、视频检索、视频监控、人脸表情 分析、性别、种族、年龄判别等方面都有着宽广的应用前景。人脸检测与跟踪的 研究已成为计算机视觉与模式识别领域的研究热点之一。 1 1 2 人脸检测与跟踪的学术和应用价值 v a n g 5 】等人对人脸检测的定义为：任意给定一幅图像或者一组图像序列，人脸 检测的目的就在于判定该图像或图像序列中是否存在人脸，如果存在，则返回其 重庆大学硕士学位论文 l 绪论 位置和空间分布。简单说来，检测就是判别一幅图像中是否存在人脸，定位则是 给出人脸在图像中的位置。 人脸跟踪则是人脸检测和目标跟踪的结合。人脸跟踪的方法就是在图像序列 中检测是否存在人脸，如果存在则确定其当前位置、大小等状态，并跟踪后续帧 中人脸的位置、大小等状态的变化。 人脸检测【5 】是人脸应用研究中重要的第一步，目的就是从图像中分割出不包括 背景的人脸区域。现有的人脸研究算法对人脸位置和状态都有一定的要求，通常 要求事先己经知道人脸所处的位置、人脸大小，并且对人脸的旋转角度、亮度对 比度也有较严格的要求。实际应用中，大量图像和视频源中人脸的位置、朝向和 旋转角度都不是固定的，这就需要首先进行人脸检测，得到人脸位置并分离背景， 对视频图像则需跟踪数帧中的人脸状态，从中选出适合处理算法的人脸图像。因 此，成功的构造出人脸检测与跟踪系统，将为解决人脸识别、表情分析、性别、 种族、年龄判别等类似的复杂模式垫定良好的基础，同时也为这些问题的解决提 供重要的启示。因而人脸检测与跟踪的研究具有十分重要的学术价值。 国内、外从事人脸检测与人脸跟踪问题的研究机构很多 6 1 ：国外比较著名的有 m 1 1 r 、c m u 等；国内较为著名的则有清华大学、北京工业大学、中国科学院计算 技术研究所和中国科学院自动化研究所等。随着人脸检测和人脸跟踪研究的深入， 国际上发表的有关论文数量也大幅度增多，如i e e e 的f g ( i e e ei n t e r n a t i o n a l c o n f e r e n c eo l la u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) 、i c i p ( i n t e r n a t i o n a l c o n f e r e n c e o n i m a g e p r o c e s s i n g ) 、c v p r ( c o n f e r e n c e o n c o m p u t e r v i s i o na n d p a t t e r n r e c o g n i t i o n ) 等重要国际会议上每年都有大量关于人脸检测与人脸跟踪的论文。而 且，m p e g 7 标准组织已经建立了人脸识别的草案小组，人脸检测算法也是一项征 集的内容。美国军方自1 9 9 6 年起，每年还专门组织人脸识别比赛以促进这一领域 研究的发展和交流。 对于各种人脸的自动处理系统来说，寻找到适合算法处理的人脸图像是一个 关键问题，这就要求对视频的人脸图像进行检测、跟踪等处理，实时对每帧图像 进行人脸质量评估，从中提取出满足人脸处理算法要求的人脸图像来。对于这样 的系统，人脸检测与跟踪就是其重要的组成部分。同时人脸检测与跟踪也有独立 于人脸研究的应用领域【4 】，如视频监控、客流量统计、视频检索、可视电话等等。 总之，人脸检测与跟踪是人脸处理系统研究的基本内容。它的研究与实现， 对于自动人脸处理系统的研究具有重要的意义，是人脸识另j j t n 等人脸研究系统的重 要功能模块，是其研究的基础与前提。同时，人脸检测与跟踪还是其它领域中的 关键技术，例如视频会议、基于对象的编码、应用视觉系统( 如安全检查、保安 管理) 、w e b 搜索、三维人脸合成、视频检索、基于内容的图像检索等，在数字视 2 重庆大学硕士学位论文 1 绪论 音频领域有广泛影响。由此可见，人脸检测和跟踪技术是具有广阔的应用前景和 重要学术价值的课题，必将成为一个越来越活跃的研究领域。 1 2 人脸检测与跟踪的难点 1 2 1 人脸检测的难点 近些年人脸检测方面的研究已经对正面人脸有了较高的检测率，但是在复杂 背景下进行人脸检测仍然是一个相当困难的工作。一般说来，人脸检测需解决的 问题可以归结为如下几个方面： ( 1 ) 图像中是否存在人脸 如何判断图像中是否存在人脸，如何区别人脸和类似人脸的非人脸图像，如 何在复杂的背景下准确的提取人脸的特征等。 ( 2 ) 检测不同表现形式的人脸 人脸可能以不同视角出现在图像中，在一幅图像中的人脸大小也可能相差巨 大，也可能被其它的物体所遮挡，比如在存在多个人的场景下，遮挡情况就更容 易出现，造成某些用于检测而需提取的人脸特征不可见。 ( 3 ) 图像的影响 图像中存在噪声，由于成像时亮度、对比度等因素的影响而使图像不清晰， 人脸与背景区别不大，给检测带来一定的困难；对于彩色图像来说，如果图像有 偏色等情况的出现将使对基于彩色的人脸检测方法带来很大的影响。 ( 4 ) 人脸自身的因素 人脸有不同的姿态( 正面、4 5 度角或者侧面) ，使得人脸模式的变化非常大， 某些姿态甚至会遮挡住脸部器官( 例如眼睛和鼻子等) ；特殊的脸部结构信息，比 如脸部的眼镜和胡须等；脸部的不同表情对人脸模式的影响也很大。 1 2 2 人脸跟踪的难点 目前人脸跟踪已经取得了一定程度的进展【扪，一些算法成果也取得了较好的跟 踪效果，但却鲜有人脸跟踪在实际使用中的报道。跟踪系统的难点与跟踪方法有 很大的关系，但是下述的问题却仍是人脸跟踪所共同面对的一些问题。 ( 1 ) 实时性问题 对于人脸跟踪系统，实时性是一个重要的性能要求。而在算法设计时，提高 实时性，则意味着需要减少目标特征的数量和降低算法复杂度；而减少目标特征 的数量和降低算法复杂度后又可能导致准确率的下降。 ( 2 ) 图像分割问题 人脸跟踪中的图像分割也即是人脸检测的问题，和静态图片中的人脸检测难 点有相同的地方，也有不同之处。人脸跟踪的实时性要求对图像分割算法也有很 3 重庆大学硕士学位论文1 绪论 高的实时性要求；由于人脸的运动或者摄像机的运动常常会导致帧图像模糊，需 要进行相应处理；视频中的黑白平衡变化也是造成人脸图像分割失败的一个重要 原因。 ( 3 ) 多运动目标的跟踪问题 多运动目标的跟踪问题一直是跟踪领域中的一个难点，对不同的大小、不同 特征、不同运动速度、不同运动方向的目标进行分别的跟踪是一个很大的难题。 并且各目标之间还可能出现遮挡，就更增加了问题的复杂度。 ( 4 ) 遮挡问题 遮挡问题可能出现在单目标的跟踪与多目标的跟踪两种情况下。单目标的跟 踪中遮挡由背景或者非人脸的其他区域对人脸目标区域的遮挡；多目标的遮挡除 了单目标遮挡的情况还有目标人脸之间的相互遮挡问题。目前，大部分人的运动 跟踪系统都不能很好地解决目标之间互遮挡和人体自遮挡问题，尤其是在拥挤状 态下，多人跟踪问题更是难于处理。对于目标遮挡、消失与重新出现等方面的问 题一直也是跟踪领域的一个难点。 1 3 人脸检测与跟踪研究现状 目前，国内外的人脸检测和人脸跟踪的方法多种多样，并且不断有新的研究 成果涌现，而能真正实用的人脸检测与人脸跟踪算法却并不多见。人脸检测、人 脸跟踪问题具有很大的复杂性，要实现任意场景下对任意人脸的准确检测与稳定 跟踪，仍是非常困难的。这不仅涉及到一般图像处理，而且更多地涉及到图像的 理解和描述。因此，目前人脸检测和人脸跟踪问题，主要仍将是对应于特定约束 条件下或某种应用背景下，并且该领域将是今后一段时间内研究的主要课题【9 】。同 时，人脸检测与人脸跟踪领域还没有一个统一的标准，以衡量各种算法的优劣， 特别是在针对复杂背景下的人脸识别与人脸跟踪，还没有相应的标准图像视频库， 没有对复杂程度的公认定义，这都将为人脸检测与跟踪算法的进一步发展带来了 一定的问题。 1 3 1 人脸检测的研究现状 人脸检测最初来源于人脸识别( f a c er e c o g n i t i o n ) 。大量的研究人员在人脸识别 领域进行了深入的研究【7 】【埘，开发了一系列的识别系统。但这些系统往往假设人脸 位置己知或很容易获得，因此人脸检测与跟踪的问题并未受到重视。近几年随着 电子商务等应用的发展，要求自动人脸识别系统能够对一般环境图像具有一定的 适应能力，由此所面临的一系列问题使得人脸检测开始作为一个独立的课题受到 研究者的重视。由于人脸具有复杂而细致的模式变化，加之图像背景千变万化， 因此人脸检测与跟踪是一个极具挑战性的研究问题，近年来成为模式识别、计算 4 重庆大学硕士学位论文1 绪论 机视觉和多媒体技术领域内一项受到普通重视、研究十分活跃的课题。 人脸图像包含丰富的特征信息，其中最典型的有颜色特征( 肤色、发色等) 、 轮廓特征( 椭圆轮廓等) 、启发式特征( 头发、下鄂) 、结构特征( 对称性、投影 特征等) ，在序列图像中还包含运动信息等。基于这些特征信息，研究者设计了多 种多样的人脸检测方法，按照这些方法的思想策略，大致可将人脸检测方法分为 四类【6 】【1 1 1 ：基于知识的方法，基于模板匹配方法，基于外观形状的方法和基于特征 的方法。 1 3 2 人脸跟踪的研究现状 1 9 9 3 年a z a r b a y e j a n i 等1 1 2 埂出了基于递归估计的人脸跟踪方法，人脸跟踪的 课题才正式开始广泛研究。经过1 0 多年的发展，人脸跟踪的研究有了长足的进展， 新算法层出不穷【1 3 】【“1 。 国外的人脸跟踪算法主要有下面这些：b r a d s k i ”l 提出了c a m s ( c o n t i n u o u s l y a d a p t i v em e a ns h i f t ) 算法，并开发了一个称为c a m s h i f l 的系统，以人脸的运动来 控制计算机虚拟场景中三维方向的运动。t m a u r e r 和c m a l s b u r g l l 4 瞧出了通过跟 踪特征点来跟踪人脸的方法。c o l m e n a r c z 等【1 5 】使用了三维人脸模型来实现人脸的 跟踪。b l a c k 和y a c o o b t l 6 锵光流场算法应用到人脸跟踪，这种方法用简单直观的 参数模型来描述人脸的运动。b a s u 掣1 7 1 提出了一个基于椭球人脸模型的人脸跟踪 系统，他们把二维光流场的概念推广到了三维模型，这个方法能够鲁棒地跟踪大 角度运动的人脸，同时能够估计出人脸的三维运动参数( 旋转、平移、缩放等) 。 国内有关人脸跟踪方面的研究是从近几年开始的，发展也十分迅速。清华大 学的艾海舟【堪】采用了差分图像方法对于办公桌前的人像进行了定位跟踪。还有一 些其它的机构如北京理工大学，哈尔滨工业大学、上海交通大学、中国科学院自 动化研究所等都致力于人脸跟踪技术的研究和应用开发。 1 4 本文主要研究内容 本文的研究工作主要包含三部分内容： 第一部分：在研究分析了已有的各种人脸检测算法后，基于检测算法的速度 和较宽泛的适应方面的综合考虑，提出了基于肤色的静止图片人脸检测与人脸特 征定位的算法。该方法利用肤色分割人脸候选区，利用面部器官的色度信息、人 脸特征的几何关系，对人脸面部主要器官特征点进行准确、快速定位，并以此来 确定候选区是否为人脸区域。 第二部分：对于视频中的人脸跟踪问题，提出了人脸检测与目标跟踪相结合 的方法，实现了实时检测跟踪视频中人脸的功能。该算法以静态图像中的人脸检 测算法为基础，进一步改进为人脸区域提取算法以确定人脸区域位置，再利用改 5 重庆大学硕士学位论文 1 绪论 进的m e a ns h i f t 算法作为跟踪的手段，实时跟踪人脸位置，取得了较好的效果。 第三部分：通过v c 编程，实现了人脸检测算法软件，对静态图像进行人脸检 测时，有较高的准确率，处理速度快；实现了自动人脸跟踪系统软件，能实现视 频的采集、图像的采集，人脸的实时跟踪。 1 5 论文结构 全文按以下方式进行编排： 第一章概要介绍了人脸检测与人脸跟踪问题的概念、研究意义、难点分析， 以及国内外在该领域的研究现状和现有的各种方法。 第二章首先回顾了当前的人脸检测方法，介绍了基于彩色的人脸检测中常用 的色系坐标系，提出了基于肤色的人脸检测方法，并给出了该算法在论文中的实 验结果。 第三章首先回顾了人脸跟踪的方法，然后介绍了m e a ns h i f t 跟踪方法的原理 与在彩色人脸跟踪中具体方法，并在此基础上提出了自动人脸跟踪系统的算法， 给出了该算法在论文中的实验结果。 第四章介绍了根据第三章算法实现的自动人脸跟踪系统软件，介绍了算法的 软件流程、外观界面、功能设置和软件编程用到的d i r c c t s h o w 技术。 第五章：对全文进行了总结，并对以后的研究工作进行展望。 6 重庆大学硕士学位论文2 基于肤色的人脸检测 2 基于肤色的人脸检测 2 1 人脸检测方法回顾 近年来，大量国内外研究机构和研究者在人脸检测和人脸识别方面展开了深 入的研究，提出了许多新的研究方法和处理技术。对于简单背景下( 简单背景正 面人脸) 的人脸检测算法和实践已经比较成熟1 2 4 】：而对于复杂背景下的人脸检测 算法，在处理时效和准确率上还有着很大的研究空间，这也是当前人脸检测研究 的热点。 人脸图像包含丰富的特征信息，其中最典型的有颜色特征( 肤色、发色等) 、 轮廓特征( 椭圆轮廓等) 、启发式特征( 头发、下鄂) 、结构特征( 对称性、投影 特征等) ，在序列图像中还包含运动信息等。基于这些特征信息，研究者设计了多 种多样的人脸检测方法，按照这些方法的思想策略，大致可将人脸检测方法分为 四判6 】【n 1 ：基于知识的方法，基于模板匹配方法，基于外观形状的方法和基于特征 的方法。 2 1 1 基于知识的方法 基于知识的方法【1 9 】【2 0 1 就是基于人脸的先验知识，使用一定的规则来描述人脸 特征和它们的相互关系。比如有这样的规则：在一幅图像中出现的人脸，通常具 有互相对称的两只眼睛、一个鼻子和一张嘴。 这类方法存在的问题是很难将知识转换为明确定义的规则。如果规则是详细 严格的，由于不能通过所有的规则检测可能失败；如果规则太概括及通用性强， 可能会有较高的错误接收率。并且，在不同的位姿下进行人脸检测，则很难用同 一规则进行描述，因此基于知识的方法一般应用于固定位姿下的人脸检测，主要 针对简单背景下的正面人脸的检测。 2 1 2 基于模版匹配的方法 基于模版匹配的方测2 1 】f 2 2 首先建立并存储一些人脸模板作为标准，这些模版 可以是人脸或是单独的眼睛、鼻子、嘴，或者是具有弹性的模版，然后利用一些 算法来计算各待测区域与标准模板的相似程度或称相关性，以此来判断某一区域 是否为人脸或相应特征。 基于模版匹配的算法在针对正面单人脸的运用中取得了较好的效果。对于复 杂背景的人脸检测，建立一个能很好的区分背景干扰同时又代表各种差异人脸的 模版是问题的关键点。而事实上与基于知识的方法一样，有着很好区分背景干扰 的模版，难以代表各种人脸模版，而能代表各种人脸的模版又不能很好的区分背 景，也即对于基于模版匹配的方法，准确率与漏检率始终是一对矛盾。 7 重庆大学硕士学位论文 2 基于肤色的人脸检测 2 1 3 基于外观形状的方法 基于外观形状的思想是依靠统计分析和机器学习技术，从大量的人脸与非人 脸样本中找到相应的人脸和非人脸图像的特征，以此训练出分类器。 这种方法不对输入图像进行复杂的处理，而是利用大量的人脸整体外观用结 构化的方法来训练分类器，是解决复杂的人脸检测问题的一种有效途径。主要有 人工神经元网络、支持向量机( s v m ) 【2 3 1 以及a d a b o o s t 算法【2 4 】等方法。由于需要对 所有可能的检测窗口进行穷举搜索，计算复杂度很高，因此检测速度有待提高， 另外非人脸样本的选取仍然是一个较为困难的问题。 2 1 4 基于特征的方法 基于特征的方法【2 5 i 2 6 1 与基于知识的方法相反，它寻找人脸的不变特征用于人 脸检测，总体思路是先检测人脸面部特征，再判断人脸是否存在。常用来进行判 断的特征主要有：肤色【2 日、唇色、眉毛、眼睛、鼻子、嘴和发际等。 这种方法采用人脸的不变特征，广泛应用于复杂背景中的人脸检测，一些检 测算法取得了较好的检测效果 2 a l 。通常来说这种方法处理速度较快。存在的问题 是，由于光照、噪声和遮挡等使图像特征被严重地破坏，人脸的特征被弱化，可 能使得算法难以使用。 虽然基于特征的方法有一定的局限性，但是其优点也非常突出。选用具有不 变性的特征，可以在复杂背景下进行人脸检测，这种方法对人脸的方向大小等没 有过多的限制，处理速度相对较快，适用于实时系统人脸检测定位。本文采用基 于特征的方法进行人脸检测，主要采用了肤色、唇色、眼睛、嘴等特征。针对复 杂背景下的彩色人脸图像，提出一种基于肤色的人脸检测算法。该方法利用肤色 分割出可能的人脸区域，经过整理得到人脸候选区，在人脸候选区中进行人脸特 征的提取和验证，以此确定人脸。下面先介绍一般常用的彩色空间。 2 2 彩色空间表示 光在频谱分布中的不同位置正好体现了各种颜色。颜色是人对光谱中可见光 的感知结果。根据光度学和色度学原理，所有颜色都可以用相互独立的三种基本 颜色混合得到，这三种颜色就称为三基色，由此就构成了色系坐标系。著名的格 拉斯曼定律反映了视觉对颜色的反应取决于红绿蓝三输入量的代数和这一事实。 格拉斯曼定律包括如下四项内容： 1 ) 所有颜色都可以用互相独立的三基色混合得到。 2 ) 假如三基色的混合比相等，则色调和色饱和度也相等。 3 ) 任意两种颜色相混合产生的新颜色与分别采用各自三基色成分再混合起来 得到的结果相同。 重庆大学硕士学位论文2 基于肤色的人脸检测 4 ) 混合色的光亮度是原来各分量光亮度的总和。 这里色调、色饱和度及亮度是表示色觉程度的。色调表示各种颜色，色饱和 度表示颜色深浅。以三基色为基础的格拉斯曼定律可用下式表示： f = r ( r ) + g ( a ) + 占( 口)( 2 1 ) 根据计算机色彩理论，对于同一种颜色而言，在计算机中有不同的表达方式， 这样就形成了各种不同的色彩坐标系。每一种色彩坐标系都有其各自的产生背景 及应用领域。数字图像中的一个像素点的颜色可以有很多种方法来表示，其中最 直接的表示方法是人们所熟知的由红、绿、蓝三基色构成的r g b 色彩坐标系。下 面具体介绍一些常用于肤色提取的色彩空间。 2 2 1r g b 色系坐标系 r g b 色彩空间也称为红、绿、蓝基色模型。为标准化起见，c l e ( 国际照明委 员会) 在1 9 3 1 年选择红色( 波长 = 7 0 0 0 n m ) ，绿色( 波长九= 5 4 6 1 n m ) 蓝色 ( 波长 = 4 3 5 8 r i m ) 三种单色光作为表色系统的三基色，这就是r g b 色彩空间， 它也是最常见的色彩空间。由于彩色图像是多光谱图像的一种特殊情况，对应于 人类视觉的三基色，即红、绿、蓝三波段，是对人眼的光谱量化性质的近似。因 此，利用r 、g 、b 三基色这三个分量来表征颜色是很自然的一种格式。而且多数 的图像采集设备都是以c c d ( 电荷藕合器件) 技术为核心，直接感知色彩的r 、 g 、b 三个分量，这也使得r g b 模型成为图像成像、显示、打印等设备的基础， 具有十分重要的作用。 在r g b 色彩空间中，数字图像中每一个像素点的颜色都可以用三维空间中的 第一象限中的一个点来表示。图2 1 所示的为r g b 彩色立方体。r g b 色彩空间的 原点表示在任何颜色分量上的亮度都为零，因此它表示黑色。当r 、g 、b 三个分 量亮度都达到最大时为白色。而当三个分量相等时产生的就是灰度像素点，色彩 空间中所有这样的点都落在立方体的对角线上，这条线叫做灰度直线。除了黑白 两色位于立方体的顶点外，立方体的另外三个顶点对应于三基色红、绿、蓝，剩 下的则对应于黄、青以及紫色。 r 图2 1 r g b 色系空间 f i g2 1t h er g b c o l o rs p a c e 9 g 重庆大学硕士学位论文 2 基于肤色的人脸检测 一般情况下，都是以r g b 色彩空间为基础来描述其它类型的色彩空间，将其 它色彩空间的基色描述为r g b 三基色的线性或非线性函数。 2 2 2 归一化r g b 色系坐标系 如果在r g b 色彩空间中有两个像素点 r 1 ，g 1 ，a 1 和j r 2 ，g 2 ，b 2 1 ，且存在 着如下比例关系： 尺1g 1b 1 西2 万2 瓦 2 2 ) r2g 2 占2 则这两点具有相同的色彩、不同的亮度。人脸图像中不同区域的肤色差异主 要存在于亮度上，通过色彩的亮度归一化，可缩小肤色差异。归一化可用如下公 式简单得到： 三 = 1 r + f + 曰v c 尺+ + b ，。尺+ 己+ 口， 主 ( 2 3 ) r ，g ，b 】表示归一化后的三个色彩分量，上述公式定义了从r g b 色彩空间到 色度空间的映象，即从一个三维空间到二维空间的交换。因为r g + b = 1 ，蓝色分量 b 在归一化后成为冗余信息。 2 2 3y u v 、y i o 和y c b c r 色系坐标系 欧洲的电视系统定义了相交替格式( p h a s e a l t e r n a t i n g l i n e ，简称p a l ) 。y u v 色彩空间被欧洲的电视系统所采用，其中y 指亮度，u 和v 指色调。色度信号矢 量平面图如图2 2 所示。这种色彩空间是以演播室质量标准为目标的c c i r 6 0 1 编 码方案中采用的色彩表示模型，被广泛地应用在电视的色彩显示等领域中。 黄 jv 0 厂 77 绿 图2 2 色度信号矢量图 f i g2 2c h l o l b as i g 腿lv t o r 对于r g b 空问向n 空间转换可写成如下公式： l o 重庆大学硕士学位论文2 基于肤色的人脸检测 ； = o 2 9 9 0 1 4 7 o 6 1 5 0 5 8 9 ，0 2 8 9 0 5 1 5 ( 2 4 ) n t s c ( 美国国家电视系统委员会) 定义了用光亮度和色度传送信号的y i q 色 彩空间，其中y 代表亮度信息，i 和q 是两个相互正交的分量表示色度信息。其 中i 色度分量选在相位角为1 2 3 。的红色和3 0 3 。的青蓝色色调位置，q 色度分量 选在色分解力较弱的紫红色和黄绿色色调位置上，这样可以充分利用人眼的色分 辨力。 对于r g b 空间向y i q 空问转换可写成如下公式： y i q 0 2 9 9 0 5 8 9 0 5 9 60 2 7 4 o 2 1 10 5 2 3 在j p e g ( j o i n tp h o t o g r a p h i ce x p e r t sg r o u p ) 标准中，r g b 图像被转换到亮度一 色度空间，通常称之为y c b c r 色彩空间。它是从w v 色彩空间衍生出来的。其 中y 指亮度，c b 和c r 是将u 和v 做少量的调整而得到，c r 表示红色分量，c b 表示蓝色分量。与y u v 色彩空问具有数字等价性的y c b c r 色彩空间是以演播室 质量标准为目标的c c i r 6 0 1 编码方案中采用的色彩模型，c b 与u 分量对应，c r 与v 分量对应。 对于r g b 空间向y c b c r 空间转换可写成如下公式： y c b c r 1 0 2 9 9 0 1 6 9 0 5 0 0 0 0 5 8 7 0 3 3 1 0 4 1 9 o o 1 1 40 0 5 0 01 2 8 0 0 8 11 2 8 o1 r g b 1 ( 2 6 ) 2 2 4h s i 色系坐标系 h s i 色彩空间也称为色度、饱和度、亮度模型。这是由m u n s e u 提出的色彩系 统模型，h ( h u e ) 表示色度，s ( s a t u r a t i o n ) 表示饱和度，i ( i n t e n s i t y ) 表示亮度。 这种色彩空间反映了人类观察色彩的方式，同时也有利于图像处理。在这种颜色 表示方法中，尽管在计算均值的时候三个颜色分量的权重并不一样，但i 是r ，g ， b 三基色分量的平均值。i 的值仅仅表示了像素点的亮度，而不包含颜色信息。在 从彩色图像到灰度图像的转换时，就可以通过计算i 值从而抛弃颜色信息。h 和s 代表了像素点的颜色，图2 3 对这两个参数进行了说明。 1，j 4 6 n 躬仉玑 ”q 1j r g b 丌i i i i 儿 4 勉2 n 3 孔乱仉 重庆大学硕士学位论文2 基于肤色的人脸检测 颜色的色度指与它最接近的频谱波长，当色度为0 。时为红色，1 2 0 。时为绿 色，2 4 0 。时为蓝色。色度在0 。至2 4 0 。之间时代表可见频谱光，2 4 0 。与3 6 0 。 之间的是非频谱光( 紫色就属于这一区域) 。饱和度参数是图中点与颜色圆圆心之间 的距离。对圆周上的点，其饱和度参数为l ，而在圆心处饱和度为0 。 图2 a h s i 圆柱体颜色空间 f i g2 4t h ec y l i n d 髓c o l o rs p a o f h s im a p 从r g b 坐标系到h s i 坐标系的转换公式： 0 = c o s 一1 兰【( r g ) + ( r 一口) 】 瓦刁汀面j 而 h ：i 8g ) b 【2 石一口g s b s ：1 一3 r a i n ( r , g , b ) r + g + 占 ( 2 7 ) ( 2 8 ) ( 2 9 ) 重庆大学硕士学位论文 2 基于肤色的人脸检测 卜去【r + g + b 】 ( 2 1 0 ) 2 2 5h s v 色系坐标系 h s v 颜色空间的表示方法与h i s 色彩空间的表示法极其类似。如图2 5 所示， h s v 色系空间有着六边形形状。顶层的六边形的顶点分别表示红、黄、绿、青、 蓝、紫六种颜色。饱和度s 的值域范围从0 到1 ，定义了颜色的纯度，它的值随着 在这个六棱锥内的六边形半径的增大而增大。颜色的亮度由v 分量来确定，它的 值也是从0 到l 。六棱锥的底部v 值为0 ，而在顶层的六边形平面上v 的值为1 。 当s = 0 时，v 分量表示了灰度像素的灰度级，底部为黑，顶部为白。 h s v 色系坐标系是建立在对数色系坐标系( 1 0 9 - o p p o n e n t ) i r g b y 基础上的。 i ，= 【三( 月) + 三( g ) + 三( 曰) 】3 陷= ( r ) 一三( g )( 2 1 1 ) l 砂= 三( 口) 一【三( g ) + 三( 月) 】2 其中，三( 功= 1 0 5 + l 0 9 1 0 ( x + 1