（信号与信息处理专业论文）基于人脸检测及跟踪的三维模型实时控制系统.pdf

ar e a lt i m e s y s t e mo f t h r e e d i m e n s i o n a l m o d e lc o n t r 0 1ba s e do nh u m a nf a c e d e t e c t i o na n d t r a c k i n g ad i s s e r t a t i o ns u b m i t t e dt o s o u t h e a s tu n i v e r s i 够 f o rt h ea c a d e m i cd e g r e eo fm a s t e ro f e n g i n e e r i n g b y z e n gz h i m i n s u p e r v i s e db y3 u d e r v l s e qd v a s s o c i a t ep r o c h e ny a n g s c h o o lo fi n f o 啪a t i o ns c i e n c ea n de n g i n e e r i n g s o u t h e a s tu n i v e r s i t y j a n u a 巧2 0 1 0 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：塑日期：鲨竺：! ? 7 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：塑导师签名：- ! 墅塑 日期：协了、7 摘要 摘要 近年来，人脸检测及跟踪技术作为计算机视觉和模式识别研究领域中关注的一个重 要课题，具有极高的学术研究价值和商业应用价值。随着新方法、新技术的不断引入， 人脸检测准确率越来越高，人脸跟踪效果越来越好，速度也越来越快。 本文设计了一个基于人脸检测及跟踪的三维模型实时控制系统。是一种为那些不方 便使用手部主动输入设备的人群，比如老人、儿童、手部有障碍的残疾人，设计的替代 交互工具。另外，有时候为了使用者更方便，引入这个工具来进行辅助交互，也可以起 到很好的效果。系统包括三个主要部分：人脸检测、人脸跟踪和三维模型控制。系统通 过基于a d 扭0 0 s t 算法的人脸检测方法检测到用户人脸，再通过我们改进后的c 锄s h i j f t 算法对该人脸进行实时跟踪，提取人脸的运动信息，产生相应的控制指令，从而对用 o p e n g l 绘制的三维模型进行运动控制。其中改进后的c 锄s h 谂算法，更好的降低了类 肤色背景的干扰，达到更准确的跟踪效果。系统中，用户只需通过人脸运动就能控制三 维模型进行任意方向上的旋转、放大及缩小等动作。同时也可以控制其旋转的速度，使 用户基本可以随心所欲控制三维模型运动。系统的一个重要特点是可以达到实时性，这 就保证了人脸发出的指令跟三维模型的运动保持同步，达到对计算机进行交互的目的。 本文系统是在w i n d o w s 平台s 砌c + + 6 0 环境下开发的，系统中使用了o p e n c v 、 o p e n g l 等计算机视觉库。系统程序具有良好的可扩展性，为今后的进一步研究和应用 打下了良好的基础。 关键词：人脸检测，人脸跟踪，交互工具，改进的c 锄s h j r 算法，三维模型控制，实 时，o p e n c vo p e n g l a b s t 嘲 a b s t r a c t f a c ed e t e c t i o na n d 仃a c k i n gi sa 如n d 锄e n t m 锄di m p o r t a i l tr e s e a r c ht l l e m ei nt 1 1 et o p i c o fc o m p u t e rv i s i o n 柚dp a t t e mr e c o 鲥t i o ni i lr e c e n ty e a r s ，i th a s1 1 i g ha c a d e m i cv a l u ea n d c o m m e r c i a lv a l u e w i t l lt 1 1 en e wm e m o d sa i l dn e wt e c h n o l o g i e st ob eu s e d ，t 1 1 er e s u l to ff k e d e t e c t i o na n dt r a c k i n gw i ub ei i l c r e a s i n g l yb e t t e ra j l df 如t e r ar e a lt i m es y s t e mo f 也r e e - d i m e n s i o i l a lm o d e lc 优1 t r d lb a s e do nh l m l a nf a c ed e t e c t i o n 觚d 仃a c k i n gi sd e s i 印e di 1 1m et l l e s i s n es y s t e mi s 锄a l t e m a t i v ei n t e r a c t i v et o o ld e s i 印e d f o rf a c i l i t a t i n gt h eo l dp e r s o n s ，c l l i l d r e na 1 1 dd i s a b l e dp e r s o n sw h oa r eu n a b l et ou t h e k e y b o a r d 锄dm o u s et oi n p ms o m es i m p l ei n s t n j c t i o i l st ot h ec o m p u t e r i na d d i t i o n ，i ta l s oc a n b ea na u x i l i a d ri n t e r a c t i v et o o lf o rn o m a lp e r s o n st h a tc a i lb r i n gt h e mm o r ec o n v e n i e n c e n i n c l u d e sm r e em a i np a r t si n t h e s y s t e m t h e y a r ef - a c ed e t e c t i o n ，f 如e 仃a c k i n ga 1 1 d e e d i m e n s i o n a lm o d e lc o m r 0 1 w i n lt 1 1 em e t h o do ff a c ed e t e c t i o nb a s e do na d a b o o s t a l g o r i t l l m ，m ef a c eo ft l l eu s e rc a n b ed e t e c t e d a n dt h e n ，t h em e t h o do ff a c e 仃a c h n gb a s e d o nt h ei m p r 0 v e dc 锄s t l i f ta 1 9 0 r i t h mi su s e dt o 们c kt 1 1 ef - a c eo fm eu s e r f i n a l l y s e r i e so f c o n 切d li n s t l l j c t i o n sa r eg e n e r a t e db ye x t r a c t i n gt h em o t i o ni n f o m a t i o no fm ef a c ea 1 1 du s e dt 0 c o n 仃o lt h em o t i o no ft h et h r e e - d i m e n s i o n a lm o d e lw k c hi sd r a w nb yo p e n g l i nt l l es y s t e m ， t l l ei n t e r f e r e n c eo ft h eb a c k g r o u n d 谢t hs i i i l i l a rc o m p l e x i o ni sd e c r e a s e db yu s i n gt h e i m p r o v e dc 撇s b j ra l g o r i 恤1 1 1 1 eu s e rc a l lc o n 仃0 1 舭m o t i o no ft h em o d e lo n 小i 仃a d ， d i r e c t i o na n dt h ez o o mo ft h em o d e lb yo n l ym o v i n gh i s t l e rf a c e t h eu s e rc a na l s oc o n t r o l t h es p e e do ft h em o t i o no ft h em o d e l ，a n dt l l u s ，h e s h ec a nc o n t r o lt 1 1 em o d e la t 、衍1 1 r e a lt i m e r e s p o n s ei sas i g m f i c a i l tf e a t u r eo ft h es y s t e m i tc a n 目i a i 觚t e et h a tt h ec o m r o li i l s t n j c t i o n s a n dm em o t i o no ft h em o d e la r es y n c h r o n o u s s oi tc a i lb eu s e d 髂锄i n t e r a c t i v et 0 0 1 1 1 1 es y s t e mi sd e v e l o p e du n d e rw i n d o w sp l a t f o ma 1 1 d s 谳c h6 oc i 删1 1 1 1 s t a l l c e s o m ec o m p u t e r s i o nl i b 删秒a r eu s e d ，s u c ha s0 p e n c v0 p e n g la n ds oo n t h ep r o g 聊：l l h a sg o o ds c a l a b i l i t y ，a n di ti sag o o df o u n d a t i o nf o r 也ef l 叭h e rr e s e a r c ha n d 印p l i c a t i o no ft h e s y s t e m k 舒w o r d s ：f a c ed e t e c t i o n ，f a c e 仃a c k i n g ，i n t e r a c t i v et 0 0 l ，i m p r o v e dc 锄s h i ra l g o r i t h m ， t l l r e e d i m e i l s i o n a lm o d e lc o n t r o l ，r e a lt i m e ，o p e n c vo p e n g l i l 日录 目录 摘要i a b s t r a c t i i e j 录i i i 第一章绪论1 1 1 研究背景l 1 1 1 研究现状1 1 1 2 应用前景1 1 2 本文的研究目的及意义。3 1 3 本文的主要工作内容及章节组织3 第二章人脸检测一5 2 1 人脸检测概述5 2 1 1 基于知识规则的人脸检测算法6 2 1 2 基于模板匹配的人脸检测算法6 2 1 3 基于肤色模型的人脸检测算法6 2 1 4 基于统计理论的人脸检测算法1 0 2 2 基于a d a b 0 0 s t 算法的人脸检测l3 2 2 1 积分图1 3 2 2 2h a r r 特征14 2 2 3a d a b o o s t 算法的训练过程1 5 2 3 基于a d a b o o s t 算法的人脸检测实验分析一l7 2 3 1 训练级联分类器17 2 3 2 检测人脸。l8 2 3 3a d a b 0 0 s t 人脸检测结果分析2 0 2 4 本章小结2 4 第三章人脸跟踪2 5 3 1 基于m e a n s h i r 算法的对象跟踪2 5 3 1 1m e a i l - s h i r 概论2 5 3 1 2m e a n - s h i r 算法2 6 3 2 基于c a n l s h i r 算法的对象跟踪2 8 3 3 基于卡尔曼滤波的对象跟踪3 0 3 3 1 卡尔曼滤波器3 0 3 3 2 卡尔曼滤波跟踪3 2 3 4c 锄s h i r 算法实验分析及算法改进3 5 3 4 1c a i n s h i 氕人脸跟踪实验分析3 5 3 4 2c 锄s h i r 算法改进。3 6 3 5 本章小结3 8 i i i 目录 第四章基于人脸运动的三维模型实时控制系统3 9 4 1 三维模型的创建3 9 4 1 1o p e n g l 简介3 9 4 1 20 l p e n g l 基础图形编程4 0 4 1 3 基于o p e n g l 的三维绘图4 3 4 1 4o p e n g l 三维绘图实验4 5 4 2 人脸的运动跟踪及三维模型的控制4 6 4 2 1 视频获取4 6 4 2 2 人脸检测及跟踪系统4 6 4 2 3 三维模型的控制4 9 4 3 系统的架构及实现5 3 4 3 1 系统架构5 3 4 3 2 系统的实现及实验结果5 4 4 4 本章小结5 6 第五章总结与展望5 7 5 1 总结5 7 5 2 未来研究工作展望5 7 致谢一5 9 参考文献6 1 发表论文及所参与科研项目6 5 i v 第一章绪论 1 1 研究背景 1 1 1 研究现状 第一章绪论 计算机视觉是2 1 世纪一个极富挑战的重要研究领域【1 1 。它是各个应用领域，如军事， 制造业，文档分析等各种智能系统中不可或缺的一部分，吸引了各个学科的专家学者进 行这方面的研究，其中包括计算机科学与工程，信号处理，应用数学，神经生理学和认 知科学等等。 计算机视觉的主要挑战是要为计算机和机器人开发具有与人类水平相当的视 觉能力。一个有能力的视觉系统是把图像信号，纹理和颜色建模，几何处理和推理以 及物体建模等处理过程紧密集成在一起。在计算机视觉中，人脸作为人体的重要识别标 志，受到很多学者的关注。如今计算机己经能从人脸图像中检测和识别人脸特征，并且 错误率在可以接收的范围。 1 1 2 应用前景 关于人脸的图像处理技术，已经有了大规模的商业应用，有着广阔的应用前景。目 前比较热门的几个应用如下： 1 数码相机的人脸识别 现在大多数数码相机都有种人脸优先功能。在使用相机拍人物时，你可以选择人 像拍摄场景，这样相机就会在拍摄过程中自动搜索场景中的人脸，如果搜索到入 脸，就对这个人脸区域优先调焦，使得这个区域在相片中的位置处于中心地位， 首先满足它的效果，这样照出来的照片自然是以人为本了，边边角角的背景就成 为配角了。目前市面上的数码相机基本上都有这项功能，如图1 1 。 东南大学硕士学位论文 图1 1 数码相机的人脸识别功能 2 t a l k i n gf - a c e 【2 】 t “h n gf a c e 会说话的人脸。图1 2 中，当你在看新闻网页时，如果旁边有个一个 人脸在那帮你读新闻，而且他她会随着新闻语句的情感作出相应的表情动作， 犹如央视新闻主播在给你直播新闻一样，你是否会觉得这种方式看新闻会给你带 来愉悦和方便，让你看新闻的效率更高呢。这是t a l k i n gf a c e 的一个应用。类似 的可以在邮件中嵌入这么一个t a l k i n gf a c e ，帮助你阅读客户邮件，让你有如客户 当面跟你讲话的感觉。 器等等管岩：麓缫麓鬻缫黛制 蠢- h 懈铀- d _ l 屯_ l _ t o d a y sn e w s 码v 叩2 l li e 杉u s l n e s s n i 弋e w s 网 ii 蔓i 二 - r 丁- - r 1 ：f ：1 。一r l i 耳一i ：r z l ， j 一：- ，一一- 。一+ i 瓢 - 凡? + ： 1 芒j ： 曲乙t 1 川3 一 _ - i 4 田t i j i 4 口- 、r 丌疆1 以f m i w 口d 1 - 用 一、 ” j j j ，1 一j 4 l _ j 7 17 一 - i 一，u 【a 娜汛7 丁i i lr l t 一1 1 ，r t _ j _ i ，二】i l h - i r 1 j j7 “， - 1 w j r 圳一i h 一一l 嘲i n nr 瑚“ 一 _ 爪n h j q l o n ，r f r r ，1 m r 兀：m l t i r 掣一h ! + f ： x ：o - j ：一： 。 图l - 2t a l 虹n gf l a c e 3 人脸识别门禁系统 份信息许多单位都安装了门禁系统，传统的门禁基本上都是通过刷卡，通过身 好的效来识别。由于每个人的身份信息基本不同，所以这种门禁系统，有相当 人拿了果，也得到了广泛的应用。但是这种门禁系统有个致命的弱点，如果别 打开那门卡照样也可以顺利通过门禁，就好比钥匙一样，不管谁拥有它，都能 2 l 第一章绪论 把锁。解决的办法有很多种，我们可以通过设置密码的方式来加强安全性，也 可以通过生物识别技术来确保一定程度的安全。例如可以用指纹识别，人脸识 别等。指纹识别成本较高，而且不方便操作。相反人脸识别，成本较低，只要 一个像素不错的摄像头就行了，操作也简单，属于无接触操作，不需要人员配 合。人脸识别门禁系统，是把检测到的人脸与系统库中的人脸信息相匹配，达 到一定相似度才放人员进门，这样可以很好的防止非单位人员持卡进入。随着 人脸识别技术的研究更深入，人脸识别的效果更好，例如可以防止照片等伪人 脸的干扰等，应用也会越来越广泛。 1 2 本文的研究目的及意义 鼠标和键盘是我们最常用的交互工具。但是并非所有人都会使用这些手部主动输入 设备，比如老人和儿童，对于手脚有障碍的残疾人来说，更是无法采用它们进行交互， 就需要有其他的工具来替代。另外，有时候为了使用者更方便，引入其他工具来进行辅 助交互，也可以起到很好的效果。譬如，我们在阅读一篇很大的文章，有时候需要使用 鼠标来左右或者上下拖动文章，以便阅读隐藏在屏幕左右方或上下方的信息，鼠标本身 操作还算是比较方便的，对于大多数人来说可以满足日常需求，要是引入一个人脸交互 工具，摇摇头也能使文章移动到我们想要阅读处，或许就锦上添花了。 本文的主要目的是设计出一种人人都可以无障碍使用的计算机交互工具，作为传统 计算交互的辅助手段。基于这个目的，本文建立了一个基于人脸检测及跟踪的三维模型 实时控制系统，即处于视频输入设备前的人不需要用手去对计算机输入指令，而只需要 移动头部，计算机程序根据捕获的视频中人脸的运动信息就可以判断人发出的是何种指 令，从而控制三维模型运动。虽然本文系统中仅仅是使用人脸去控制三维模型做简单的 运动，但是这一系统稍作改进即可使用在一些实际场合，做出更复杂的运动。比如在车 辆行驶中为了安全起见驾驶员尽量不要用手去做除开车之外的操作，就可以使用这一系 统对车载g p s 发出指令，查看道路；不会使用键盘鼠标的老人和儿童都可以使用这一 系统去玩简单的电脑游戏。 1 3 本文的主要工作内容及章节组织 本文的主要研究内容是如何建立一个基于人脸检测及跟踪的三维模型实时控制系 统。主要思路是利用a d a b o o s t 算法来检测人脸，再用改进后的c a m s h i r 算法跟踪这个 人脸从而获取到人脸的运动信息，继而利用这个运动信息去控制三维模型的运动。本文 主要的工作概括如下： - 1 实时的人脸检测系统。要建立准确的人脸检测系统，必须对人脸图像建立 一个有利于快速计算的模型。本文根据v i o l a 的a d 啦o o s t 算法实现了一个 快速的人脸检测模型。 东南大学硕士学位论文 2 利用我们改进后的c 锄s l l i r 算法，对检测到的人脸进行跟踪，从而获得人 脸的运动信息，为后续的控制提供重要控制参数。 3 利用o p e n g l 绘制了一个三维模型，作为系统控制对象。 4 实现了一个基于人脸检测及跟踪的三维模型实时控制系统，系统主要包括 三个模块，人脸检测模块、人脸跟踪模块、三维模型控制模块。能够初步 实现计算机的人脸交互工具。 本文后继章节安排如下： 第二章对主流的人脸检测算法进行了分析和比较，尤其对在实时系统中常用的肤 色模型人脸检测方法和基于a d 出0 0 s t 的人脸检测方法进行了深入的分析。 我们系统中最终采用基于a d a b o o s t 的人脸检测方法，并用其做了一些人脸 检测实验，分析了人脸检测结果及本文系统的要求。 第三章对主要的几种对象跟踪算法进行了深入的分析。系统的研究了m e a l l s 1 1 i r 算法，c 锄s h i f t 算法，卡尔曼滤波等算法的对象跟踪过程。并用c 锄s h i j f i 算法做了人脸跟踪实验。通过实验结果分析知道背景的干扰对c 锄s t l i r 算法的跟踪性能影响较大，为此我们对c 锄s l l i r 算法进行了改进，提出了 自适应目标区域的c 锄s l l i r 算法。根据系统需要，我们最终选用改进后的 c 锄s h i r 算法用于系统的人脸跟踪模块。 第四章详细阐述了我们的基于人脸检测及跟踪的三维模型实时控制系统的各个 模块以及模块之间的关系、所采用的技术、技术改进以及系统的性能结果。 第五章对全文进行了总结，并展望了未来的研究工作。 4 第二章人脸检测 第二章人脸检测 整个基于人脸检测及跟踪的三维模型实时控制系统的前提是对人脸进行准确、快速 的检测和定位。本文系统的人脸检测模块的准确度直接影响到后续的研究工作。 由于本文系统的一些特点，我们的人脸检测模块需要具备一些相应的特点。我们的 系统要求达到实时操作，故人脸检测模块也必须满足一定的实时性能，也就是要够快速； 在满足检测正确率较高的情况下，也必须满足误检率较低，因为误检测对于本系统来说 比没检测出来更致命；身体其他跟脸部肤色相近的部位( 如手) 对检测的影响要排除， 因为我们跟踪的是人脸运动信息，其他部位的运动信息会影响跟踪效果。除了这些特点 之外，其他常见的外界影响，比如光照，复杂背景等，对本系统的影响要尽量小。 2 1 人脸检测概述 人脸检测就是在输入图像中检测是否有人脸存在，如果存在，则返回每个人脸在图 像中的位置和尺寸大小1 3 j 。人脸检测作为人脸信息处理的关键技术，是人脸智能控制系 统中的第一个环节，能否正确的从视频流中检测出人脸的位置和大小，对系统后续的入 脸跟踪及智能控制有重大影响。 人脸检测问题的探索开始于八十年代末九十年代初，吸引了越来越多的研究者的兴 趣，取得了一批有意义的研究成果。人脸是一类具有相当复杂细节变化的自然结构目标， 人脸检测的挑战可以归结为以下几个因素：( 1 ) 人脸姿态，如正面、侧面、4 5 度角的人 脸图像，有些时候一些局面部特征部分缺失或者全部缺失，如眼睛、鼻子等；( 2 ) 结构 成分上的变化，一些面部特征，如胡须、眼睛，可能存在也可能不存在，而且它们的形 状、大小和颜色变化也比较大；( 3 ) 面部表情的影响；( 4 ) 遮挡，人脸可能被其他物体 部分遮挡，如在人脸很多的图像中，有的人脸可能被其他人脸部分遮挡；( 5 ) 摄影的条 件，如光照的强度、光源的分布、摄像机的特性等的影响。 针对以上问题，各国的科研人员作了很多的研究，国外比较著名的有c m u ，m i t ， u i u c 等，国内的有微软亚洲研究院、中科院自动化研究所等。早期的人脸检测集中于 静止图像，起步于基于特征的模型或者简单的模板匹配技术，在空间域上提取特征，能 够完成简单的人脸检测任务。中期的发展开始采用基于模板的方法，用统计学习的方法 建立人脸模型，可以实现复杂背景下的人脸检测，并且运用运动信息来考察视频流或图 像序列中的人脸检测。近期，研究者的方向各不相同，有人从频域中提取特征，有人继 续研究更复杂的统计模型，有人将最新的分类决策理论应用于人脸检测领域。在研究过 程中，人们认识到将多种技术结合在一起，利用多种信息可以提高人脸检测方法的效率， 这将是未来的发展趋势。国内外比较流行的人脸检测方法主要有：基于知识规则的人脸 东南火学硕士学位论文 检测算法、基于模板匹配的人脸检测算法、基于肤色模型的人脸检测算法、基于统计理 论的人脸检测算法等。 2 1 1 基于知识规则的人脸检测算法 基于知识规则的人脸检测算法是利用人脸的先验知识导出的规则来进行人脸检测 的【3 1 。这种方法是利用了人脸各个器官的关系总是存在一定的规律性的特点，例如人的 眼睛总是对称分布在人脸的上半部分( 正面人脸) ，鼻子和嘴唇中心点连线基本与两眼之 间的连线垂直，嘴巴不超过眼睛的两个端点。我们可以利用这些描述人脸局部特征分布 的规则来进行人脸检测。这也是一种比较直观、比较容易想到的具有可行性的方法。在 输入图像中首先提取脸部特征，然后确定基于知识规则的人脸候选区域。 这种方法的主要问题是很难将人类知识转换为明确定义的规则。如果规则过于详细 和严格，由于不能通过所有的规则，有可能导致检测失败；如果规则太泛了，可能会有 较高的错误接受率。此外，很难将这种方法扩展到在不同姿势下检测人脸，因为列举所 有的情况是一项很困难的工作。 2 1 2 基于模板匹配的人脸检测算法 模板匹配的方法是通过计算模板和图像之间的相关性来实现检测的。基于模板匹配 的人脸检测方法可以分为两大类：通用模板匹配和可变形模板匹配。 通用模板匹配方法首先制定出标准的模板，然后计算检测区域和模板的相关值，当 相关值符合制定的准则就判断检测区域为人脸。这种方法的特点是比较容易实现。但是 已经证明通用模板匹配方法在很多场合并不适用，原因是简单的模板不能适应尺寸、姿 态和形状的变化。 y u l l i e 等【4 】人提出了基于可变形模板的方法用于人脸检测。可变形模板匹配方法首 先制定出模板参数，然后根据检测区域的数据对参数进行修正直至收敛，以达到检测人 脸面部器官位置的目的。其基本思想是，先设计出参数可调的器官模型，即可变形模板； 然后定义一个能量函数，通过调整模型参数使得能量函数最小化，此时的模型参数即为 目标的几何特征。可变形模板匹配方法存在两个问题，一是能量函数中各种代价的加权 系数只能由经验确定，不易推广；二是能量函数的优化过程十分耗时，难以实际应用。 2 1 3 基于肤色模型的人脸检测算法 人的肤色是人体表面最为显著的特征之一，它也是人脸的一种显著纹理，因而利用 肤色检测人脸是一个很自然的想法。不同种族的人面部肤色在颜色空间中的分布是相对 集中的，颜色信息在一定程度上可以将人脸同大部分背景区分开来。尽管人脸的肤色存 在个体差异，但研究表明这种不同主要来自亮度而不是色度5 】【6 】。 基于肤色的人脸检测系统的基本思路是，首先建立肤色模型并且用其进行肤色像素 6 第二苹人脸检测 分割，去除非肤色像素；然后根据肤色像素在颜色空间内的相似性和空间位置上的相关 性分割出可能的人脸区域；最后利用人脸的其他相关特征( 人脸知识) 进行验证，确定 最后的人脸区域，再进行后续的工作，如倾斜校正、归一化等。 在基于肤色模型的人脸检测中，主要工作集中体现在如何选取一个能满足不同背景 条件的高效的肤色模型。由于不同的肤色模型又是基于不同的颜色空间的，我们先介绍 一下目前主要研究的几种不同的颜色空间。 目前已有r g b 【7 1 ，h s v ( h i s ) 【8 1 ，y c b c 一9 1 ，y i q 【10 1 ，y e s 【l l 】，c i e 蚴等颜色空间应 用于描述人脸的肤色。 r g b 颜色空间 r g b 颜色空间是人们最常用的颜色空间。国际照明委员会( c i e ) 选择红色( 波长 7 0 0 o m ) 、绿色( 波长5 4 6 1 m ) 、蓝色( 波长4 3 5 8 m ) 三种单色光作为颜色系统的三 基色，这就是r g b 色系坐标系。一般摄像头系统都采用r g b 坐标系，图像的颜色也一 般用此色系坐标表示。在r g b 颜色空间中，受光照影响，图像可能呈现不同的颜色， 但对同一点，在不同亮度下的相应颜色值是成比例的，如式( 2 1 1 ) 墨一g i 一蜀 ；= = 垦g 2垦 ( 2 1 1 ) 也就是说，同一点在不同光照条件下具有相同的颜色，只是亮度不同而已。然而由于 r g b 三个颜色分量之间的相关性较高，各分量同时包含了物体本身的颜色信息和外部 光照的光强信息，这并不适合人的视觉特点。因而又出现了以下几种不同的颜色空间。 h s v 颜色空间 人眼的颜色知觉主要包括三要素：即色调( h u e ) 、饱和度( s 删i o n ) 和亮度( v a l u e ) h s v 颜色空间可以由r g b 颜色空间转换而来，比r g b 颜色空间更符合人眼的视觉特 征。h s v 中的h 代表色调( h u e ) 、s 代表饱和度( s a t l l r a t i o n ) 、v 代表亮度( v a l u e l 。 色调指光的颜色，不同波长的光呈现不同的颜色，具有不同的色调；饱和度是指颜色的 深浅或浓淡程度，饱和度的深浅与颜色中加入白色的比例有关，饱和度越高，颜色越深， 因而饱和度反映了某种颜色被白色冲淡的程度；亮度就是人眼感觉到的光的明暗程度， 光波的能量越小，亮度越小，v = 0 表示黑色。颜色的色调和饱和度说明了颜色的种类和 深浅，合称为色度。色度是颜色的本质，所以人们使用色度模型进行人脸检测、跟踪和 识别时往往忽略其亮度。 h s v 颜色空间采用对用户更直观的颜色描述方法。h s v 空间具有六棱锥形状，其 中色饱和度沿水平轴测量，而亮度值是沿通过六棱锥中心的垂直轴进行测量，色调则使 用与水平轴之间的角度表示，范围为o o 3 6 0 0 ( 逆时针方向) ，六边形的顶点以6 0 0 为间 隔，其中o o 代表红色。如图2 一l 。 7 东南大学硕士学位论文 红 图2 1h s v 颜色空间 r g b 到h s v 色彩空间的转换方程如下： 去 ( r g ) + ( r b ) 】 日= a r cc o s ；三鱼：( 2 1 2 ) ( r g ) 2 + ( r b ) ( g b ) s ：1 3 堂堂：g ：丝( 2 1 3 ) r + g + b y = 三( r + g + b ) ( 2 1 4 ) y c b c r 颜色空间 y c b c r 颜色空间和前面提到的h s v 空间相同，也是把r g b 颜色空间转换成一个亮 度分量和两个色度分量，但是由于它可以从r g b 线性变换得到，其亮度分量y 并不完 全独立于色度信息而存在，所以肤色的聚类区域也随y 的不同而呈非线性的趋势。 y c b c r 颜色空间直接应用于物体颜色聚类分析的情况不多，在它基础上的变换模型的应 用更为广泛。 r 到砌d 颜色空间的转换方程如下： 】，= o 2 9 9 r + o 5 8 7 g + o 1 1 4 b( 2 1 5 ) g = 0 1 6 8 7 欠一0 3 3 1 3 g + 0 5 0 0 b + 1 2 8 ( 2 1 6 ) c ，= 0 5 0 0 r o 4 1 8 7 g 一0 0 8 1 3 召+ 1 2 8 ( 2 1 7 ) 通过以上几种主要的颜色空间的介绍，我们了解到这些颜色空间的特点，便于我们 来选择颜色空间来建立肤色模型。由于h s v 颜色空间的特点更符合人眼的视觉特征， 目前更倾向于使用h s v 颜色空间应用于肤色检测中的肤色建模。图2 2 为s o b o 他a 【1 3 1 等设计人脸跟踪系统时使用的一个h s 色度空间的肤色模型，在该模型中趾= 0 2 3 ， 趾= 0 6 8 ，k = 0 。，k = 5 0 。 8 第二章人脸检测 青 绿黄 叠昌红 图2 2h s 色度空间肤色模型 利用该肤色模型，我们来做个简单的肤色分割实验。图2 3 是肤色分割输入图像； 图2 4 是该图像在基于h s v 颜色空间的肤色模型下的肤色分割结果，从图中可以看出 比较好的把肤色区域给分割出来了。如果要检测人脸区域，需要进一步检测，通过其他 一些方法，如知识规则、几何特征等方法，可以很容易从肤色区域中找出人脸。 碜 ”“ 图2 3 肤色分割输入图像 9 东南大学硕士学位论文 图2 - 4 肤色分割结果 肤色人脸检测算法有如下优点：第一，可以在普通工作站上以帧速率来实现人脸 区域分割；第二，肤色分割算法没有使用特殊的脸部特征，因此头部方向和姿态的变化 不会影响肤色区域的确定；第三，允许被跟踪对象自由活动，减少对环境的限制。但是 由于光源的颜色以及光照的角度不同所造成的高亮和阴影等诸多因素的影响，利用颜色 分割人脸仍然是一个非常困难的问题。因此，通常需要将肤色信息和形状信息、运动信 息等信息结合起来使用，以便更好地在视频图像序列中定位和跟踪人脸。 2 1 4 基于统计理论的人脸检测算法 基于统计理论的人脸检测算法是目前人脸检测研究的主要方向，也是将来一段时间 研究的主要趋势。基于统计理论的人脸检测算法的主要思想是，先利用统计分析与机器 学习的方法寻找出人脸样本与非脸样本各自的统计特征，再使用各自的特征结构建分类 器，最后使用分类器进行人脸检测。基于统计理论的人脸检测方法主要有：子空间方法、 神经网络方法、支持向量机方法、隐马尔可夫模型方法以及b 0 0 s t i n g 方法。其中，速度 最快的是a d a b o o s t 方法，对状态信息描述最清楚的是隐马尔可夫模型方法。 2 ：1 4 1 子空间方法 子空间方法主要包括两类：主成分分析( p c a ) 方法和线性判别分析( l d a ) 方法。 主成分分析( p c a ) 方法是k l ( k a r h u l l e n l o e v e ) 变换的别称。主要思想是将图像进行 k l 变换以消除原来各分量之间的相关性，选取变换后所得到的最大的若干个特征向量 来表示原来的图像，从而保留了原图像差异的最大信息，这若干个特征向量就称为主成 分。 t u r k 和p e n t l 觚d 1 1 4 】将p c a 用于人脸检测，对训练样本集中的人脸样本进行主成分 分析，转换成一个小的特征向量集，叫“本征脸”，它们是最初训练样本集的基本组件， 用同样的方法处理非人脸训练样本。遍历测试图像中所有候选人脸区域，计算候选区域 l o 第二章人脸检测 对应的图像块与人脸空间之间的距离，然后根据人脸图像在这过程中变化较小而非人 脸图像变化较大的特点，距离最小的区域就认为是测试图像中的人脸所在区域。 2 1 。4 2 神经网络方法 人工神经网络( a n i f i c i a ln e u m ln e m o r k ，a n n ) 技术作为一类模式识别方法近年来 发展迅速。神经网络可看作是大量相连的简单处理器( 神经元) 所构成的大规模的并行 计算系统。神经网络具有学习复杂的非线性输入输出关系的能力，对于模型和规则的依 赖性较低，可以通过训练过程来适应数据。 神经网络方法用于人脸检测的优点是可以比较简便的构造出神经网络系统作为分 类器。使用人脸样本和非脸样本对神经网络系统进行训练，让系统自动学习两类样本复 杂的类条件密度，这样就避免了人为假设类条件密度函数所带来的问题。 r o w l e y 等i ”j 用多层神经元网络从人脸和非人脸图像中分别学习人脸和非人脸模 式，其方法的局限性是只能检测垂直的正面人脸。后来，r o w l e v 等【1 6 】将这种方法扩展 后可以检测旋转的人脸，先用一个神经网络确定人脸的旋转角度，然后再用其他的神经 网络对人脸进行验证，取得了比较好的检测效果。 2 1 4 3 支持向量机方法 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是一类新型的基于统计的机器学习方 法。由于其出色的学习性能，支持向量机已经成为机器学习领域的研究热点。o s u i l a 等 【l7 】最早使用s v m 方法进行人脸检测，该方法主要思想是对每一个检测窗口用s v m 进 行分类，区分为人脸窗口和非人脸窗口。他使用优化逼近的方法选择出少量的支持向量 为关键支持向量，这样就大大减小了运算中支持向量的数目。此后，j c p l a t t 【1 8 】提出了 顺序最小最优化( s e q u e n t i a lm i l l i m a lo p t i m i z a t i o n ，s m o ) 支持向量机训练方法，将一 个大型的求解二次规划问题分成一系列最小可能的二次规划问题，这样就避免了对大型 二次规划问题直接求解，大大提高了训练速度。 尽管支持