（信号与信息处理专业论文）复杂背景下的多人脸检测.pdf

大连壤王大学壤土学像逾文 籀甏 人脸检测作为人齄信息熊壤巾躺一顼关键拽零，近年来在模式识剐与诗冀枫视觉领 域中，融经成为一个受到酱濑徽视、研究十分活跃的方向。随着智熊化信息处溅技术的 发展，人脸检测在身份识别、旗于内容的检索、自动监控、人机交氨镣方面有糟网箍广 泛的应用。 零变淤h l | e m 醴下载豹燃像及c m u 鼗醚联戆掭准天整痒俸为算法效巢骧谖黧蒸壤， 簸蓥予爨健特征戆方洼耱鏊予豫毪特锾静寿法两个方蘑分聚餐遮，文鬻葳匿霹舞耱方法 遴孬了缀念，并取褥了令人瀵意豹效浆。下瑟分鬻瓣这嚣静壳法进弦簿攀瓣夯绥。 程蒸予嚣毪跨 垂豹方法巾，本文熹鬟袋惩毅旋豹裹袈分毒蒺壁浚静孛线定缀法。逡 辨释方潦豹颈疆理过程穗骰，都跫遴过入羧豹纛鬻特征彗 行候选区域酌摊狳，确定最终 谈选人黢区域靛令数。在改瀵懿蠢袋分枢缓型法巾，善先仔细努撩搿辑努巍法樱荧文献 势萎撩箕方法实囊，爨露狻测豹效莱攀魏令久瀵意，毽逶遘实验发瑗，滚缝梭测萄瘸镶 藤韵候选人脸区域的高斯分布特征较葳他 # 入脍聪域明显，因此奉义采用改进方法宾瑰 了多人臆的检测，效果较原方法有显糟摄商，并对复杂背景与裸露肤甑样情况榭被强的 簧棒性。中线定位法也是以边缘检测麟的结果作为处理对象，首先确定人脸的中线位置， 然螽逶过中线临近区域像素积分法进程二傻图像“l ”鲍个数统计，避褥定位嘴的位置 毒宽发，蘩辕搀饕夔盈置去镶定箕窀纛饔霞鬣，蜜验表臻，该方法舆餐运雾瀵壤糗，受 轰博交豫鹃影赜较多等筑淼。 在蒸母隐毪特征戆方法，零文生簧莱震a d a b o o s t 鬏癸墨算法。簧先，傍纛瓣v i o l a 方法孛掰嫒惩熬矩形骛缝遴黪犷震，浆溺了r a i n e i 珏e n h a r t 等久舞懑熬扩爱戆戆形耱 筏，这个褥澎特征瘁与v 赫a 浆赐的簸形特征樱魄丽吉主要是增热了4 5 9 攘转羽矩形特 髹，遴建积分霞爵戬莰速谤嚣淹澎特援骥，麸瓣扩大了葫l 练懿范霭，爨离了稔溯率，势 疑降低了误裣率。其次，本文袋蹋缓联姣靛捡溅方法，分掰薅建立好骢正嚣螨趱入验样 本岸和侧面人脸样本库进行特征训练，粥获得的两种强分类器进行人脸检测，遮到了多 骚态人脸检测的目的。由予聚用缓联的方法进行检测，检测的速度受别了很火的限制， 阂此本义最后结合显性特征，进行候选区域排除，只对可能存在人脸的区域进行缀联方 法骢捡溅，其德区域忽略，这样傲甄缓缀了检测避蠲又保证了高捡溅攀。 笑键溺t 八齄裣蘩；歌色壤整；赛巍摸变；孛线定位；a d a b s t 学簿算法 大遘壤王欠举壤圭学盘论文 m u l t i - f a c ed e t e c t i o ni nc o m p l i c a t e db a c k g r o u n d a b s t r a c t a sac r i t i c a lt e c h n o l o g yo ff a c ei n f o r m a t i o np r o c e s s i n g , f a c ed e t e c t i o nh a sb e e na t t r a c t e d m u c ha t t e n t i o na n db e c o m ea l la c t i v er e s e a r c hd i r e c t i o ni nt h ef i e l do fp a t t e r nr e c o g n i t i o na n d c o m p u t e rv i s i o na p p l i c a t i o n w i t ht h ef u r t h e rd e v e l o p m e n to fi n t e l l i g e n ti n f o r m a t i o n p r o c e s s i n g , f a c ed e t e c t i o na r ee x t e n s i v e l ya p p l i e di ni d e n t i t yr e c o g n i t i o n , c o n t e n t - b a s e d r e t r i e v a l , a u t o m a t i cs u r v e i l l a n c ea n dh u m a n - c o m p u t e ri n t e r a c t i o n 。 飘汰帮e l a b o r a t e st h ef a c ed e t e c t i o nm e t h o df r o mt h ep e r s p e c t i v e so fe x t e r n a ls t r u c t u r e f e a t u r ea n di n t e r i ms t a t i s t i c a lf e a t u r e i tu s e si m a g e sd o w n l o a d e df r o mt h el m e m e t 、c m ua n d m i ts t a n d a r df a c ed a t a b a s ea st h ed e t e c t i o no b j e c t i v e w ea s s e s st h ea l g o r i t h mb yi t s d e t e c t i o nr e s u l t i nt h ee n d , t h ep a p e rc o m b i n e st h e s et w of e a t u r e sa n da p p l i e st h e mi n t of a c e d e t e c t i o nw h i c ha c h i e v e ss a t i s f a c t o r yr e s u l t s f o l l o w e di sab r i e fi n t r o d u c t i o nt ot h e s e m e t h o d s i nt h em e t h o d sb a s e do ne x t e r n a ls t r u c t u r ef e a t u r e ，t h i sp a p e rm a i n l ya d o p t st h ei m p r o v e d g a u s s i a nd i s t r i b u t i o nm e t h o da n dm i d - l i n el o c a f i o nm e t h o d t h e s et w om e t h o d sa r es i m i l a ri n p r e p r o c e s s i n gw h i c he x c l u d es o m ec a n d i d a t ea r e a sb yf a c i a lf e a t u r e sa n dt h e nt h en u m b e ro f c a n d i d a t ei sc o n f i r m e d i nt h eb u p r o v e dg a u s s i a nd i s t r i b u t i o nm e t h o 盏僦c a r e f u l l ya n a l y z e dr e l e v a n tp a p e r sa n d t r i e dt oc a r r yo u t u s i n gi t sm e t h o da f t e rw h i c hw ef o u n do u tt h ed e t e c t i o nr e s u l t s u n s a t i s f a c t o r y h o w e v e r , w eg o te x p e c t e dd e t e c t i o nr e s u l t st h r o u g hr e c o n s t r u c t i n gg a u s s i a n d i s t r i b u t i o nu s i n gt h ei m a g ep r o c e s s e d b ye d g ed e t e c t i o na n de r o d i n g m o r e o v e r , t h e i m p r o v e dm e t h o dn o to n l yr e a l i z e sm o r ef a c ed e t e c t i o n , i ta l s og e t sb e t t e rd e t e c t i o nr a t ei na m o r ec o m p l i c a t e db a c k g r o u n d 、撕t i lm o r eb a r es k i n si ni t 1 m em e t h o do fm i d l i n el o c a t i o n a l s ou s e dt h ee d g ed e t e c t i o ni m a g ea st h ep r o c e s s i n go b j e c t i v e f i r s to fa l l , t h em i d - l i n eo ft h e f a c ei sl o c a t e d s e c o n d l y w em a k et h ei n t e g r a lr o u n dm i d - l i n et og e tt h es t a t i s t i co f “1 ” b yu s i n gt h i si n t e g r a lm e t h o d , t h em o u t h sw i d t ha n dp o s i t i o na r ef o u n d f i n a l l y ，t h i sm e s s a g e i su s e dt ol o c a t et h ee x a c tp o s i t i o no ft h ef a c e n ed e t e c t i o nr e s u l t ss h o wt h a ti ti so ff a s t d e t e c t i o ns p e e da n dl i t t l ei n f l u e n c et ot h ec h a n g i n go f e x p r e s s i o n r e g a r d i n gt h ei n t e r n a lf e a t u r em e t h o d , w ea d o p t e da d a b o o s ti n t e g r a lm e t h o d f i r s t ，w e e x p e n d e dt h er e c t a n g u l a rf e a t u r e su s e di nv i o l ab ye m p l o y i n gt h ee x t e n d e dr e c t a n g u l a r f e a t u r e sp u tf o r w a r db yr a i n e r 毯e 馥a 纯c o m p a r e dw i t ht h o s er e c t a n g u l a rf e a t u r e st h a tv i o l a u s e d , t h i sr e c t a n g u l a rf e a t u r e sl i b r a r ya d dt h e4 5 。r o t a t e dr e c t a n g u l a rf e a t u r e s , a n di tc a l l e x t e n dt h et r a i n i n gr a n g e ，i n c r e a s et h eh i tr a t e , a n dd e c r e a s et h ef a l s ea l a r mr a t e s e c o n d l y ，w e 复杂鹜繁f 的多人脸检测 c o m b i n e dt h ec l a s s i f i c a t i o no ff r o n t a lf a c ea n dp r o f i l et of a c ed e t e c t i o n a c c o r d i n gt o t h i s m e t h o d ，w c ：r e a l i z e df a c ed e t e c t i o n so fm u l t i - p o s e b c c a l l s ew eu s e dc o m b i n e dc l a s s i f i c a t i o n , t h ed e t e c t i o ns p e e di sl i m i t e d t oo v e r c o m et h i sd e f e c t , t h ep a p e ri n t e g r a t e de x t e r n a ls t r u c t u r e f e a t u r et oe x c l u d ec a n d i d a t ea r e aa sm u c ha sp o s s i b l ea n du s e dc o m b i n e dc l a s s i f i c a t i o nt o d e t e c tf a c ei nt h ec a n d i d a t ea r e a i nt h ew a y ，d e t e c t i o nt i m ei sr e d u c e dw h i l et h ed e t e c t i o nr a t e i sg u a r a n t e e d k e yw o r d s ：f a c ed e t e c t i o n ；s k i nm o d e l ；o a u s s i a nd i s t n b u t i o n ；m i d - l i n el o c a t i o n ； a d a b o o s ta l g o r i t h m l ￥一 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指睁下进行的研究工 作及取得研究成果冬我所知，除了交中特别加以标注和致谢秘地方砖， 论文中不包含其他人已经发表或撰写的研究成果，也不电含为获得火连理 王大擎或者其他单位的学位或证穆所使愿过砖耪斟与我一露工椎鳃同志 对本研究所做的贡献均已在论文中做了明确的说明并表毋了谢意 箨者签名；兰薹垃日期：缒：i 大连理。f 大学磁士研究生学位论文 大连邂芏夫学学位论文鞭投使雳授板书 本学位论文作者及指导教师完金了解“大连理工大学硕士、博士学位 论文版权使用规定”，嗣意大连理王大学保留并向嚼家有关部门或机构送 交学位论文魏裹审释和电子鞭，允许论文被查霪泰措阕。本太授彀大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印线扫描等复制手段保存和汇编学位论文。 作者签名：彳夏谨移 喾舞签名：盔窒釜 丛年月量哪 大连壤董大学嫒圭莓 位论文 1 绪论 1 1 研究的背景与意义 人脸是一个信息极丰富的模式聚合，是人类互相判别、认识、记忆的生鼹标志。 人脸识别在计算机视觉和信号处理领域占有极为重要的地位，人们越来越液徽对人 脸图像的研究。人脸检测问题最初泉源于人脸识别( f a c er e c o g n i t i o n ) 。人脸识别的研 究可以追溯到2 0 世纪6 0 7 0 年代，经避，k 十年的曲折发展日益趋成熟两人黢检测是 垒凌人验识嶷系统中的一个关键群麓，餐是早籍的入脸识别研究主要铮封籁蠢较强 约寨条释豹久验蚕稼如无鸷豢懿弱缘) ，往往缓霰久验整萋己鲡或缀容荔获搿，嚣 魏久验捡测润嚣蒡未受囊重撬。避热霉夔菪电子亵务等应嫣豹发浸，入羧谈嬲成为 最有潜力的生物身份确认手段，这种成弼背景要求自动入验识别系统能够瓣一般环 境图像具有一定的适应能力，由此所灏临的一系列问题使得入脸检测开始作为一个 独立的课题受到研究者的重视。今灭，人脸检测的应用背景己经远远超出了人脸识 别系统的范畴，在数字视频处理、视馓般控等方面有着重要的应用价值。 在实际应用中，由于客观因索的影响，人脸检测问题的难易程度以及处理方法 有很大差异。在某些情况下由于圈像的获取环境是可以人为控制的( 如身份诫照片 等b 因而人脸的定位可以轻易地傲划，但在大多数的场合中，由于场景较复杂，人 黢的健置是预先不知道的，因蕊黄先必须确定场景中是否存在入脸，如纂存程入脸， 褥确定图像孛入验的经受。验部豫发、纯数熬、光照、嗓声、嚣部壤瓣秘入簸大小 变纯戮及各耱各襻逮疆等嚣素会使久簸捡溅翊蘧交缛更舞复杂。蛰莱戆够我舞瓣凌 戬上离题方法，成功逮稳遥窭入脍稔灏系统，将为解决其它复杂模登蠡冬稔渊 瓣嚣提 供重要痘示，因姥入验检测的研究脊缀霞要的学术价值。 经过多年的发展，人们己经提出了多种人脸检测方法下面对目前入腧梭测的 研究现状进行详细总结。 1 2 人脸检测问题的分类与人脸横式分析 人脸检测问题所包含的内容十分广泛，可以有多种分类方法l ，袭1 1 从不同 角度介绍了目前人脸检测的分类。入脸图像所包含的模式特征十分丰富，如阁1 1 所示。这些特征中哪些是最有用的、如俺剩塌这些特征，是入脸检测要研究昭一个 关键阔题。久麓模式具有复杂蠢缀皴黪交纯，因忿一般霉要采焉多秘模式特髹综会 鹣方法，蘩垂1 2 瑟示。垂手入羧猃溯翊嚣豹复杂毪，无谂睇一类方法鄂笼法逑应 _ | 箩 有的馈况，一般都锌辩入验稔测镁域内菜个或某些特定豹翊题。 复杂鹜最下的多入脸检测 静止图像( 包括数学纯露片，霹蘸考 图像来源虑的是算法的适应性与鲁棒性，算法 速度其次) 颜色信息彩色 镜头类墼头瘥帮垂攘 动悫黼像( 鄱褫颏序瓢，攘往与入 脸跟踪问题结合对算法的速度有 很商的要求) 灰度 半身域全隽塑缘 入脸姿态正面( 包括端正及平磷内的旋转)多瓷淼( 包括俯仰、侧影及旋转) 人脸数目鬈主尝笺金兰言警蒜含篇? 问言嚣掣辜惹言熹兹金 霎纂豢誓戮燃悉簇篡霉 嘲1 , 1 人脸模式的特征 f i g 1 ，1 f h m o d e ! s 自i i i 坤 图1 2 释种特征的综合 f i g 1 2 a l l 缸l m m si n t e g 阳t e 。3 蚕蘩的入脸检测方法 入脸图像所包含的特征十分率寓，如肤色特征、轮廊特征、镶嵌图特征、直方 图特征、器官对称性特征和投影特征、模板特征等。如何充分利用这些特征，是人 2 一 大连理工大学硕士学位论文 脸梭测要研究的一个关键翊惩。入验具有复袈琵缨致的变化，爨藏一般嚣要采用多 耱耱镊综合熬方法。逶避长期磅究，入验捡溯方法慧豹来滋蜀分麓蒸子显牲特征戆 方法和基于隐性特征的方法。前者根据先验知识抽取入脸特征，然后进行建模，这 是人脸检测的传统方法。聪者把人脸检测问题嬲作一个标准的模式识别问题来处理， 通过对某一学习算法的训练，获得想要的人脸检测器。统计学习的方法也可以利用 入脸的先验知识，所不黼孵是，这些知识被融入列学习过程中采阿按使用。 。3 。 基于显 圭特锤戆稳测方法 对一个典型的复杂背景下的人脸检测问蹶，基于显性特征的方法首先要分割出 初级的视觉特征，例如边缘特征、灰度特征、颜色特征等这些视觉特征还比较低级， 不能包含太多的信息量，需要对它做进一步的分析，即特征分析。猩特征分析阶段， 利用人黢的几何信息就w 嗾把这些低级视觉黪铤组织成高级的、其毒全局概念的入 验黪短。逶速特薤分耩，入验区凌蕤胃疆羧确定下来。 。 ( 1 ) 基于器官特征的方法 利用人脸五官的空间位置分布以及与周圈肤色区域的灰度反熬镣特征，检测图 像中怒否有满足这些特征的图像块来定位人腧k i n 和c i p o u a i l 2 】利用了大量的特征， 包括几何、空闻、灰度等务种度量，对入脸激行粳定位。人脸的几何关系由一个树 型缝褥表示，劳谤算窭壤搴葳经，箨秀判鞭楚黉为天验豹象锌。这楚一秘垂瘫彝上 静方法。另外还有自顶囱下豹方法，邸根撵一个入脸模型( _ 般惑惩露入脸模型) 先 在一个比较大的范围内寻找人脸后选区，由糨到精地在一个最佳范围内定位人脸候 选区，然后检测出各种人股器官特征。最为缀典的就是y 柚g 和胁l 艄d 3 l 提出的镶嵌 图( m o s a i ci m a g e ) 的方法。m o r i m o t o 和f l i c k n e r 4 1 在一个鲁棒性强的躐孔定位技术的 基懿童，缝会人验结 奄穰慧，实瑗7 多入黢熬羧溅。 f 2 ) 基于彩色信怠鹣方法 肤色特征是人脸检测中可以应用的一个熏臻特征，人脸肤色猩颜色空间中的分 布相对比较集中，利用这个特点可以检测人腧。这种方法的最大优点是对姿态变化 不敏感。用彩色信息检测人脸的关键是合理选择色度坐标。常用的方案是将彩色的 r 、文嚣分量归一纯。秘藏入 f 】研究最多鲍怒鲤傍提取彩色的色发傣怠，即将r g b 彩毯察瘸转往舞其蘧彩穗窆瘸，瑷突凄惫袋髂惑。嚣蘸鏊肉癸学露壤据不同特往建 出了很多肤色空间模型用于肤色检铡，主要包括1 o n y 等l 1 采用的黼斯混合模型、h i s 模型、y c r c b 模型等，文献睁j 对各种肤色模型检测方法进行了综述。文献1 6 1 中的r g b 复杂背景下的多人脸检测 空间分布模型法是一种新颖的肤色检测方法，肤色检测效果也达到了很好的效。另 外，目前除了肤色模型外，人们还建立了唇色模型i s ，它是肤色模型的很好补充。 ( 3 ) 基于形状特征分析的方法 正面人脸是左右对称的，对应边缘和灰度特征基本相同。各个器官也具有自身 的对称性，眉、眼、鼻和嘴等区域是按一定比例关系组织在一起，各器官按照从上 而下的顺序排列，两眼和嘴中心构成一个三角形，边缘检测处理候提取到的孔洞特 征等。另外头发的灰度等也可作为辅助特征。 ( 4 ) 基于模板匹配的方法 模板匹配的方法一般是先定义一个标准人脸模板，计算输入图像与模板的 似然度，然后确定一个似然度阈值，用以判断该输入图像中是否包含人脸。标准人 脸模板可以是固定的样板，也可以是带参变量的曲线函数，即变形模板。梁路宏等 【9 j 提出“双眼人脸”模板的方法，将平均脸的双眼模板剪裁出来，检测人脸时先用 双眼模板再使用人脸模板，以提高匹配速度并取得更好的性能。刘翼光1 1 0 】将人脸图 像二值化后，得到人脸轮廓，然后与模板库中不同大小的人脸模板匹配，根据图像 与模板之间的距离及相关阈值判定取舍。y u i l l 掣1 1 】提出用可变形模板来描述人脸的 形状信息。所谓可变形模板，是对眼睛、嘴巴等面部器官形状的一种参数化描述， 例如眼睛可以用一个圆外加两条抛物线来表示。同时，与模板的性质相对应，定义 一个与图像边缘、峰值、谷值等相关的能量函数。将模板动态地作用于图像，通过 修改其参数使能量函数达到最小，也就是通过模板的变形在图像中找到其最佳匹配。 1 3 2 基于隐性特征的检测方法 此类方法将人脸区域看作一类模式，即模板特征，使用大量人脸与非人脸样本 训练、构造分类器，通过判别图像中所有可能区域属于哪类模式的方法实现人脸检 测。实际上是把人脸检测问题转化为统计模式识别的二分类问题。 采用隐性特征的人脸检测方法大致分为以下四类：基于特征空间的检测方法、 基于神经网络的检测方法、基于支持向量机的检测方法、基于积分图像的检测方法。 ( 1 ) 基于特征空间的方法 此类方法将人脸区域图像变换到某一特征空间，根据其在特征空间中的分布规 律划分人脸与非人脸两种模式。 主元分析法( p r i n c i p a lc o m p o n e n t a n a l y s i s p c a ) 是一种常用的方法，它根据图像 的统计特性进行正交变换( k - l 废换) ，以消除原有向量各个分量间的相关性。变换得 到对应特征值依次递减的特征向量，即特征脸1 1 2 1 。m o g h a d d a m 等发现人脸在特征脸 一4 大连理工大学硪士学位论文 空间的投影聚集比较紧镪，因此利用前面若千个特征脸将人脸向黛投影到主元子空 蠲f 期奄其正交懿脊空麓芦，穗座懿薤离度努溺称隽d i f s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c ef r o mf e a t u r es p a ) 。对手入狳检测阉题，由予没有考虑j # 入验， 样本的分布需要同时使用d i f s 和d f f s 才能取得较好的效果。属予特征空间方法的 还有因予分解方法( f a c t o ra n a l y s i s ，f a ) 和f i s h e r 准则方法( f i s h e rl i n e a rd i s t r i b u t i o n , f l d ) 。此外，小波变换也被用于人脸检测，摄取人脸的多分辨率特征作为分类的依 据壮3 1 。 e 2 ) 基于人工裤经掰络熬检潮方法 人工神经网络c i a ln e u r a ln e t w o r ka n 聊韵方法是通过训练一个网络结 构，把模式的统计特性隐禽在神经网络的结构和参数之中。基予人工神经网络的方 法对予复杂的、难以显式描述的模式，具有独特的优势。在这方顾，g o w l e y 的t 作 最为弓1 人注目。r 鲫l e v 镣设计的基于神经两络的人脸检测系统i 炜”l 包含。过滤嚣” 彝“缝聚终裁器”秀令部分舞法疆壅鲡蚕1 。3 瑟零。 蒸予神经同络的图像过滤嚣 辅聚仲霸嚣 - 嘲1 0 基于神经网络的人脸检测系统 f i g 1 3 f a c ed e t e c t i o nb a s e 伽n d u m ln e t w o r k 其中，预处理包含亮度校正和直方图均衡两个步骤。对正西蠢藏人脸的检测，采 蘑爨獭静方法l | 芟集l 入黢榉零，共采用“貉势霪囊检测”彝“多弼终耱簸”技术降 低镣谈报警率。诧嚣，r o w l e y 等在人验检濑系统孛增热了一个鼹i 强( r o u t c r n e t w o r k1 ，用来检测人脸旋转的角度，解决了平面旋转人脸检测的问题。r o t h 等采 用s n o w ( s p a r s e n e t w o r k o f w i n d o w s ) 的学习髂构进行人脸检测，在c m u 的人脸图像 集上得到了9 4 8 的正确帛。 e 分支持囱量极法 支持囱量较s 毽p 叫v e c t o rm a c h i n e , s 嗡豹方法是在绫秘学臻论鹣基稿土麓 出的种新的模式识别穷法，它是基于结构风险最小化原理的方法。较之基于经验 风险最小化的人工神经网络方法，一些难以逾越的问题，如：模测选择和过学习问 复杂背景下的多人脸检测 题、非线性和维数灾难问题、局部极小点问题等都在很大程度上得到了的解决【1 6 1 。 直接使用s v l v l 方法进行人脸识别有两方面的困难：首先，训练s v m 需要求解二次规 划问题，计算复杂度高，内存需求量巨大；其次，在非人脸样本不受限制时，需要 极大规模的训练集合，得到的支持矢量会很多，使得分类器的计算量过高。p l a t t 等 提出s m 0 算法( s e q u e n t i a lm i n i m a lo p t i m i z a t i o n ) 有效地解决了第一个问题。o s u n a 等 首先将s v m 方法用于人脸检测问题，在一定程度上解决了第二个问题；梁路宏掣1 7 1 采用模板匹配与s v m 方法相结合的人脸检测算法，在模板匹配限定的子空间内采用 “自举”的方法收集“非人脸”样本，训练s v m ，降低训练的难度和最终得到的支 持矢量的规模，使得检测速度比单纯的s 订检测器提高了2 0 倍。得到了与c m u 的神 经网络方法可比较的结果。r i c h m a n 等提出用人脸中的鼻子区域训练s 、q 讧，减少了 训练数据，并且不用考虑s v m 对发型、眼镜等饰物敏感，采集图像时也不要求人脸 必须定位。 h ) 基于积分图像特征法 基于积分图像( i n t e g r a li m a g e ) 特征的人脸检测方法是v i o l a 等新近提出的一种算 法，它综合使用积分图像描述方法、a d a b o o s t 学习算法及训练方法、级联弱分类器。 积分图像是指该像素以前、以上所有像素灰度值之和。级联弱分类器是多个弱分类 器的组合，弱分类器由单个传感器组成，传感器的输入是待检测图像子窗口，输出 集是用来表示该检测窗口是否为人脸模式。文献i 卅中构造的传感器结构简单、检测 速度快，而且几乎不会漏检一张人脸，不过错误预警率较高。但是错误报警不会影 响后续处理的效果，所以把这样的弱分类器作为预处理器，并把多个弱分类器级联 起来，就得到了一个检测速度快、精度高的算法。尤为可贵的是，作为针对单幅、 灰度图像的检测方法，它的速度达到1 5 帧秒，基本满足实时检测的要求。但是基于 积分图像和a d a b o o s t 的分类器训练是一个费时的过程。微软研究酣搏1 9 1 的研究组发 展了这一方法并用于多视角的人脸检测，这些研究代表了人脸检测研究的最高水平。 1 4 本文的研究内容与安排 本文讨论的是复杂背景图像中多人脸检测问题。与简单背景的人脸检测不同， 此类问题对输入图像的类型，场景基本不加约束，而且图像中人脸的数量、尺度、 位置、位姿以及光照条件等均为未知。这类问题的人脸检测技术是当前人脸检测研 究的重点。 本文的主要工作是对人脸检测的两大类方法进行了研究和比较，基于显性特征 的方法和基于隐性特征的方法。 6 犬连遴王大学疆圭学篷论文 基于显性特征豹方法是壹按撬敬人脸的各种基本特征，然后利用入豹先验知识 建立若干规则，根据这些知识规划确认图像中是否包含人脸。基于隐性特铤的方法 是直接利用训练算法进行样本学习，狸大量训练样本集的基础上建立一个能对人脸 样本和非人脸样本进行正确分类的分爨器，特征和分类器的选择是最重要的两个方 面。对于此类复杂的模式检测问题，毖于显性特征的方法如果仅使用少量特征怒很 不可靠的，而使用较多特征又将涉及图像理解这一十分困难的问题，而基于隐性特 摄法更具有鲁棒性和易扩展性等优点，因此基于显性特征的方法往往作为隐憔特征 法盼一个补充来实现人脸检测。本文墩作为重点进行了深入的研究。 f l 基于显往特短豹方法，本文篱瓷砖一蘩裹藩；模型霎法送行芗改遴，豢文逶 避获色硷溺获褥获色区域，莠藏数谈矮大豹获色蘧壤裁是久验，蔌豢麓疑攘黧戆图 像羧合原理，逶过设定静幻隈获缮入验豹宽度与高度，这静方法只施遴纾零入脸静 检测并且检测率较低。本文首先采用预处理技术排出非入脸区域，然君对阁像进行 边缘检测与腐蚀操作，再对处理后人股的各个候选区域采用高斯模型法来确定人脸 位置。其次，本文通过实验提出了种中线定位法，这种方法依据预处理尉的结果， 分别定位出各个候选人脸的中线使鬣( 穿过鼻子与嘴的垂线) ，然后通过像綮值积 分，找到各个候选区域中线附近积分煅大的位置，以此获得嘴的宽度与坐橼，谶而 实现人脸的定位。该方法同样实现了复杂背景下的彩色图像的多人脸检测。实验缩 果表明，上述两种方法检测速度快，井对予非重叠的多入脸图像具有较好的梭测性 靛，僵对于重叠夔入脸检测效鬃缎琴磐，因既本文对基于隐性特征静方法落送行 7 一定魏磅究著实瑗了方法豹缝会。 国基于戆整特征嚣方法，零文采穗7 缓联强分类器豹a d a b o o s t 积分黼法，实 现了多姿态静人脸检测。最薏将肤恕鼷爨、预处理技术及a d a b o o s t 积分豳浚窃效的 结合起来，实现互补。该算法按照艨次式的由粗到精的检测模式，针对彩色嘲像先 利用肤色模型进行肤色分割，然后对备个肤色候选区域进行预处理，排除摊a e 人脸 区域，来缩小搜索范围。灰度图像采用三个级联结构的a d a b o o s t 人脸检测器，进行 人脸的定位，最后，通过区域合并，获得最终的人脸位置。 实验结果表明，本文提出的方法对复杂背景下的多人脸检测取得了比较满意的 结果，具有较强的适应能力和鲁棒憾，它可以有效地运用于多人脸、不同火小、不 同位置、不同姿势、不同蘑部表馋、不阏光照条俸的情嚣。 论文全文共分五章，大髂章肇瘫签蜜攘辩下： 豢一章，绪论。详缓分绥了入羧猃溺游蘧臻究豹蠹窖帮难熹，并慧络入黢捻溺 算法豹研究现获窝主要技术，势潞番季孛冀法豹优缺点进行了分橱稻比较。 第二章，硬楚瑾算法奔绥。译舞奔绥了麸色模型鹣建立班爱五害特薤奁天黢糗 鞲串瓣提联过程。其串五宫特征豹提取本文主要羽捌魏溺特征、长宽院特征、瑟狡 譬征、以及三角形特征和五官对称性特槎游。 第兰章，对本文所采用的显性特征方法的个详细介绍。首先对一种基予搿斯 甍溅的人脸检测方法进行研究，在实现的蕊础上进行了改进。其次提出了一种称为 p 线徽位的人脸检测方法，实现了多人脸柃测。 第删章，对基于积分图特征的a d a b o o s t 分凝器的设计进行了研究和探讨。溯 入 袋讨了a d a b o o s t 分类器豹结拇设计、样本的收集和调练算法。最后结合现有的人脸 叁测的关键方法，提出了一静基于默色摸戮、预处理过程及a d a b o o s t 积分霉法瓣入 垒检测算法，并怼箕避器了夫耋翦实验傍囊朔佳黥臻：较。 缀螽对本文王捧戆恿筵窝黠太验捡溺冀法酌研究蓑望。 一b 一 大连理工大学硕士学位论文 2 人脸检测的预处理 对于一个人脸检测系统来说，在复杂背景下要达到很好的检测率，预处理工作 是必不可少的，它可以排除掉大部分似人脸的候选区域，提高检测的精度与速度。 预处理过程包括很多方面的内容：肤色特征的提取、唇色特征的提取、候选区域内 孔洞特征以及三角形特征的提取等等。下面首先介绍彩色图像的预处理过程，然后 再对灰度图像的预处理过程进行一个简单介绍。 2 1 彩色图像的预处理过程 彩色图像与灰度图像在预处理方面的本质差别是在肤色特征方面，彩色图像中 肤色特征应用广泛，肤色检测往往是基于彩色图像人脸检测的第一步，它的检测效 果对后面算法的实现有很重要的影响。一般说来，由于待检测图片来源广泛，背景 复杂度与受光照程度也不尽相同，因此，在进行肤色检测之前，进行一下光照补偿 是必不可少的嘲 2 1 1 肤色检测 肤色是人脸的重要信息，不依赖于面部的细节特征，对于旋转。表情等变化情 况都能适用，具有相对的稳定性并且和大多数背景物体的颜色相区别。因此肤色特 征是人脸检测中较常用的一种特征。肤色特征主要由肤色模型描述，肤色模型与选 择的色度空间密切相关，不同的色度空间能够影响肤色模型的有效性。现在人脸常 用的色度空间有r g b ( 红、绿、蓝三基色) 咖，r g b ( 亮度归一化的三基色) l c l js h i ( 饱 和度、色调、亮度) 嘲，y i q ( n t s c 制的光亮度和色度模型) 嘲，y u v ( p a l 制的光亮度 和色度模型) ，y c b c r ( c c i r 6 0 1 编码方式的色度模型，与1 u v 在数学上具有等价 性) 嘲，c i e l * a * b ( 国际照明委员会提出的基于色度学的彩色模型) 等。如果用r 、 g 、b 来表示真彩色，那么y 1 j v 、y i q 和h i s 的表示方法分别如下式所示： 阿一0 3 尺+ 0 5 9 g + o 1 1 b 亮度信号 1 y u - r b 一- y y 色度信号 2 j 9 复杂背景下的多人脸检测 ，r + g + 曰 j - 。- - 。- - 一 3 圩一丽1 【9 0 一砌卸( ，压) + o ，g 研供中f - 2 r 万- g - b ( 2 2 ) s 1 m i n ( r , g , b ) i 一0 3 r + 0 5 9 g4 - 0 1 i b c r - 0 5 r 一0 4 1 8 3 g 一0 0 8 1 7 b + 1 2 8( 2 3 ) l b b - 一0 1 6 8 7 r 一0 3 3 1 3 g + 0 5 8 + 1 2 8 常用的肤色模型有高斯模型、混合高斯模型和直方图模型。t e n i l l o n 等考察归 一化的t s lc i e d s h ，h s v ，q ，y e s ，c i e - l * u v 和c i e l * a * b 七种色度空间，比较 了高斯模型和混合高斯模型在不同色度空间中的性能，发现除了少数情况外，一般 需要使用混合高斯模型才能较好地描述肤色区域的分布。t e r r i l l o n 等同时指出，最 终限制检测性能的因素是不同色度空间中“肤色”与“非肤色”区域的区别程度。 除上述三种肤色模型外，还有直接利用几何参数描述肤色区域分布范围的模型嘲、 三维投影模型。基于神经网的肤色模型等。此外也有同时考虑“肤色”与“非肤色” 像素分布的贝叶斯方法的模型啪。 ( 1 ) 肤色模型的建立 肤色模型，也和其它的数学模型一样，从方法论的角度，肤色模型的获得方法 可以划分为两类。即用一种代数或查找表的形式来表达哪些像素的色彩属于肤色， 或者表征出某一像素的色彩与肤色的相似程度。 色彩空间中的聚类模型 计算机图像的颜色信息能由多种颜色空间来表示。人的肤色分布依赖于采用的 颜色空间，利用肤色方法选取颜色空间是重要的环节，目前肤色模型采用的颜色空 间都力图避开亮度分量的干扰。色彩空间中的聚类模型主要通过色彩格式的变换， 使得肤色在某一色彩或变形后的色彩空间中呈现良好的聚类特性，然后将这一聚类 在色彩空间中的分布区域用一种简便的代数解析式表达，下面结合公式( 2 3 ) ，以线 性y c r c b 聚类模型为例进行简单的介绍。 肤色在此模型中的分布具有一定的聚集性，主要集中在： 大连壤置大学颈士学整论文 继0 0 c 易1 2 7 1 1 3 8 蕊c r 墨1 7 0 i y 觏1 0 0 图2 1y o c b 的分毒空简 e 匦ly q od i s t r i b u t i n g s p a g e 稠2 2y l c f 的分布空闽 t 阱9 2 2 y 4 3 r d i s t r i b u t i n g s p a c e ( 2 4 ) 豳2 3y - c b 的窝闻分布 e 醇3y - c bd i s t r i b u t i n gs p a 由上面的公式及分布模型可知此种方法简单易行，很方便的就可以确定熊肤色 区域和肤色区域。但是它也存在着一定的不足，由于模型简单，肤色区域的限定不 具备严格性，因此包括很多的类肤色区域( 如黄色、粉红色、红色背景等) ，扩大了 肤色的模块范围，因此，对于复杂背景下的人脸检测很少采用这种模型 离斯模型 遁_ l 童大量翡试验证明，麸色嚣城在特征空闻孛的分布符合高斯分蠢4 删j 丽舞 蘩分毒戆数学表达形式篱萃、妻瓣，_ 又楚缓谤学孛磅究霉毙较深入戆一秘纛悫穰蘩， 掰鞋对箕霸疆嚣惩其有一定豹俊越镶。褰赣分毒模鍪主要采爨c r 、秘这薅令分薰进 行建摸的，首先确定入验豹肤色鄢分豹c r 、c b 静均僮，方差和协方差，这凡个参数 的确定是至关重要的，只有精确的选取这几个参数，才能建立一个准确的黻色检测 模型。经过了很多样本的测试和分析，目前参数值选取方面已经很成熟，j 袅为应用 此模型提供了很大方便，此模型中参数规定如下： f 丽1 5 6 5 5 9 9 污1 1 7 4 2 6 1 ( 2 5 ) p - 、7 c - 艮毒讣1 6 0 1 3 0 l 复杂背景下的多人脸检测 利用前人实验得到的这些数据，就可以通过二维高斯公式对输入的像素数据进 行肤色模型的判断。 具体表达为： p ( x ) - e x p ( x m ) 7 c - 1 ( z 一小) 】 ( 2 7 ) 其中历- 【石，一c b r , z = 【c p ，c b 7 ，它的二维分布模型如图2 4 所示： 图2 4 肤色在c b c r 上的聚类分布 f q 9 2 4 s l 【i n sc l u s t e rd i s t r i b u f i o ni nc b c r 图2 3 肤色的高斯拟合分布 历醇5 s k i n sd i s t r i b u f i o n i ng a u s s i a nm o d e l r g b 空间比率聚类模型 要想研究和利用肤色信息，首先遇到的问题是选取合适的肤色模型。好的肤色 模型的标准是：能容忍大多数拍摄环境下肤色表现的差异性，使基于肤色的特征保 持相对的稳定性；在尽可能不丢掉肤色区域的前提下，仍具有排除非肤色区域的能 力；此外还要求计算简便、效率高。本文采用了一种比较特殊的r g b 空间比率聚类 模型，这种模型具有以上的优点，它的检测效果与高斯模型相当。r g b 空间分布模 型以每个像素点作为操作对象。由于各人种的肤色之间主要区别在于亮度分量，色 度分量没有区别，因此通过判定每个像素点的r 、g 、b 三个分量以及三个分量之间 的两两差值是否位于固定的取值范围之内，可以很好的确定该点是否为肤色点。对 于肤色区域严格限定了它的r 、g 、b 三个分量的取值范围，由于人的肤色会表现出 血液的颜色，因此r 分量的值最具有代表性。如果r 的值小于7 0 ，那么r 分量就不 会是肤色点分量。肤色一般包括暗红色、棕色或是黑色。除此之外，如果r 的值远 大于g 、b 分量值，那么该点可能为红色、品红、桔黄色或是黄色。如果r 的值大于 7 0 ，并且g 、b 的值分别大于4 0 和2 0 ，那么该点为暗红色。如果r 、g 、b 三个分 量的值过于接近或是三个分量的差值过大那么这样的像素点不是肤色点。