(信号与信息处理专业论文)一种人脸检测与跟踪算法的研究.pdf_第1页
(信号与信息处理专业论文)一种人脸检测与跟踪算法的研究.pdf_第2页
(信号与信息处理专业论文)一种人脸检测与跟踪算法的研究.pdf_第3页
(信号与信息处理专业论文)一种人脸检测与跟踪算法的研究.pdf_第4页
(信号与信息处理专业论文)一种人脸检测与跟踪算法的研究.pdf_第5页
已阅读5页,还剩59页未读, 继续免费阅读

(信号与信息处理专业论文)一种人脸检测与跟踪算法的研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

一种人脸检测与跟踪算法的研究 摘要 人脸检测与跟踪是机器视觉和模式识别领域里备受关注的一个研究课题,随 着相关研究人员多年的深入研究,人脸检测和跟踪的研究不断涌现出新的方法, 特别是在精度和速度方面,近年来取得了长足的进步。本文在前人研究成果的基 础上,在人脸检测和人脸跟踪两个方面均提出了新的改进的方法,成功的提高了 人脸检测和跟踪的精度。 本文在研究了人脸检测方面的相关研究成果之后,采用了a d a b o o s t 算法建 立了人脸检测系统,并进一步提出了一种新的优化算法。该算法通过内部结构检 测、内部结构交叠和嵌套的排除、人脸区域嵌套的排除等方法的融合,有效的降 低了误检率。本文在w i n d o w s 环境下,利用v i s u a lc + + 进行算法的编程,建立 了一个人脸检测系统,同时自建了人脸数据库。本文同时采用m i t 人脸库和自 建人脸库对a d a b o o s t 强分类器进行了有效的训练,并且通过多角度的计算机实 验证明了此种融合算法对于公用分类器和自建分类器均具有明显降低误检率的 效果,因此,该优化算法提高了人脸检测的精度。 本文在研究了人脸跟踪方面的相关研究成果之后,采用了c a m s h i f t 算法建 立了人脸跟踪系统,并进一步提出了优化的初始化方法,该算法通过a d a b o o s t 人脸检测方法来自动初始化跟踪模板,取代了传统的手动初始化方法。本文在 w i n d o w s 环境下,通过v i s u a lc + + 编程,实现了无人值守的人脸跟踪系统。本文 还就自动初始化跟踪模板的方法的不稳定问题提出了优化的方法,该方法利用模 板大小变化、位置变化及持续时间等要素来提高模板初始化的稳定性,本文通过 计算机实验证明了该方法有效的降低了c a m s h i f t 跟踪的不稳定性。因此,该优 化算法提高了人脸跟踪的精度。 本文在结合了a d a b o o s t 人脸检测与c a m s h i f t 人脸跟踪的特点,以及本文的 优化算法的基础上,在w i n d o w s 环境下,利用v i s u a lc + + 编程实现了一个快速 的人脸检测与跟踪系统,并且通过计算机实验证明,该系统有效的提高了人脸检 测与跟踪的精度。 关键词:人脸检测;a d a b o o s t 算法;结构检测;人脸跟踪;c a m s h j f t 算法; r e s e a r c ho nf a c ed e t e c t i o na n dt r a c k i n ga l g o r i t h m a b s t r a c t f a c ed e t e c t i o na n dt r a c k i n gi so n eo ft h em o s tf a m o u ss u b j e c t si nc o m p u t e r v i s i o na n dp a t t e rr e c o g n i t i o n , al o to fn e wm e t h o d sh a v eb e e ni n t r o d u c e dw i t h i nm a n y y e a r so fr e s e a r c ho ni t ,a n dw i t ht h eh e l po ft h e s em e t h o d s ,t h ep r e c i s i o na n dr a t eo f f a c ed e t e c t i o na n dt r a c k i n ga r eg r e a t l yd e v e l o p e d t h i st h e s i si n t r o d u c e sm e t h o d sb o t h o nf a c ed e t e c t i o na n dt r a c k i n gb a s e do nf o r m e rr e s e a r c h ,t h er e s u l t sp r o v et h a tt h e m e t h o d ss u c c e s s f u l l yi m p r o v et h ep r e c i s i o no ft h e m t h i st h e s i si n t r o d u c e st h ec o r r e l a t i v er e s e a r c ho ff a c ed e t e c t i o n ,i ts e t su paf a c e d e t e c t i o ns y s t e mu s i n gt h ea d a b o o s ta l g o r i t h m ,a n di n t r o d u c e san e wo p t i m i z e d m e t h o d t h eo p t i m i z e dm e t h o dw h i c hu s e si n t e r i o rs t r u c td e t e c t i o na n di n t e r i o rs t r u c t o rf a c en e s t i n ge l i m i n a t i o nt or e d u c et h er a t eo fm i s t a k e nd e t e c t i o ne f f e c t i v e l y t h i s t h e s i ss e t su paf a c ed e t e c t i o ns y s t e mu s i n gv i s u a lc + + p r o g r a m m i n gi nw i n d o w sa n d i ts e t su pas e l f - c r e a t e dl i b r a r yw i t l li t t h i st h e s i st r a i n sb o t hm i tl i b r a r ya n ds e l f - c r e a t e dl i b r a r yt os e tu pt h ea d a b o o s tc a s c a d ec l a s s i f i e r , a n di tu s e sl o t so fc o m p u t e r e x p e r i m e n t st op r o v et h a tt h eo p t i m i z e dm e t h o dr e d u c e st h er a t eo fm i s t a k e nd e t e c t i o n e f f e c t i v e l yb o t hw i t ht h em i tl i b r a r ya n ds e l f - c r e a t e dl i b r a r y s ot h eo p t i m i z e d m e t h o di m p r o v e st h ep r e c i s i o no ff a c ed e t e c t i o n t h i st h e s i si n t r o d u c e st h ec o r r e l a t i v er e s e a r c ho ff a c et r a c k i n g ,i ts e t su paf a c e t r a c k i n gs y s t e mu s i n gt h ec a m s h i f la l g o r i t h m ,a n di n t r o d u c e san e wo p t i m i z e d m e t h o d t h i sm e t h o du s e sa d a b o o s tf a c ed e t e c t i o nt oi n i t i a l i z et h et e m p l e ti n s t e a do f t h em a n u a lt e m p l e ti n i t i a l i z i n g t h i st h e s i su s e sv i s u a lc + + p r o g r a m m i n gi nw i n d o w s t os e tu paf a c et r a c k i n gs y s t e mw i t h o u tp e o p l e i ti n t r o d u c e san e wo p t i m i z e dm e t h o d t os o l v et h ei n s t a b i l i t yo ft e m p l e ti n i t i a l i z i n gu s i n gf a c ed e t e c t i o n t h eo p t i m i z e d m e t h o dr e d u c e st h ei n s t a b i l i t yo ft e m p l e ti n i t i a l i z i n g 、i n lt h eh e l po fd e t e c t i n gt h e c h a n g e so ft e m p l e ts i z ea n dp o s i t i o n s ot h eo p t i m i z e dm e t h o di m p r o v e st h ep r e c i s i o n o ff a c et r a c k i n g t h i st h e s i sw h i c hc o m b i n e st h ec h a r a c t e r i s t i c so fa d a b o o s tf a c ed e t e c t i o na n d c a m s h i f tf a c et r a c k i n ga n dt h eo p t i m i z e dm e t h o d so f b o t ho ft h e mr e a l i z e saf a s tf a c e v d e t e c t i n ga n dt r a c k i n gs y s t e m 、析也m eh e l po fp r o g r a m m i n gi nw i n d o w s i tu s e sl o t s o fc o m p u t e re x p e r i m e n t st op r o v et h a tt h es y s t e mw h i c hc o m b i n e st h e s en e w o p t i m i z e dm e t h o d si m p r o v e st h ep r e c i s i o no fb o t hf a c ed e t e c t i o na n dt r a c k i n g k e yw o r d s :f a c ed e t e c t i o n :a d a b o o s ta i g o ri t h m ;s t r u c td e t e c t i o n :f a c e t r a c k i n g :c a m s h j f taj g o r j t h i n v i 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其 他人已经发表或撰写过的研究成果,也不包含未获得 ( 洼! 麴遗直基丝霞噩挂别度盟的:奎拦互窒2 或其他教育机构的学位或证书使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名:王鹏 签字日期:刎孑年6 月午日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定,有权保留并 向国家有关部门或机构送交论文的复印件和磁盘,允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索,可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库,并通过网络向社会公 众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名:王确笃 签字日期:珈舻年6 月争b i i i 锣 舶舞 签 日 师 字 导 签 一种人脸检测与跟踪算法的研究 1 绪论 1 1 前言 人脸是一种非常重要的生物识别特征,我们可以通过人脸得到一个人的性 别、种族、情绪及身份等重要信息,因此针对人脸信息的的模式识别和图像处理 技术越来越受到研究者的关注,人脸的信息处理包括人脸检测和人脸跟踪等研究 方向,而作为其他相关研究方向的基础,人脸检测是第一步,因此对人脸检测技 术相关研究非常重要,这些年来这方面的研究也越来越受到人们的关注。本文还 介绍了人脸跟踪方面的内容,人脸跟踪技术就是根据已定位出的人脸,在运动图 像的后续帧序列中跟踪该人脸的运动的一种技术,因此,人脸追踪和人脸检测的 关系非常密切,两者相辅相成。这些年来有关这方面的研究也层出不穷,本文就 是建立在这些研究成果的基础上来进行研究和工作的。 本文在a d a b o o s t 人脸训练和检测的基础上,提出了改进的检测算法,该改 进算法可以有效的降低误检率而检测率下降不大。另外本文结合a d a b o o s t 人脸 检测的方法实现了自动c a m s h i f t 算法的人脸跟踪。本文通过在自己搭建的人脸 检测与跟踪系统上的实验,证明了本文提出的人脸检测和跟踪的相关改进算法对 于解决人脸检测和跟踪方面的相关问题上是有效的。 1 2 人脸检测技术的相关研究 人脸检测经历了较长的发展过程,期间涌现出了很多的检测方法,本文以m h y a n g 在2 0 0 2 年发表的关于人脸检测方法的分类方法把人脸检测方法分为以下四 种f l 】:基于知识的方法( k n o w l e d g e b a s e dm e t h o d s ) 、特征不变方法( f e a t u r e i n v a r i a n ta p p r o a c h e s ) 、模板匹配方法( t e m p l a t em a t c h i n gm e t h o d s ) 、基于外 观的方法( a p p e a r a n c e b a s e dm e t h o d s ) 。 这种分类被认为是比较合理的分类方法,以下分别对这四种人脸检测方法进 行介绍【2 j f 3 】: 一种人脸检测与跟踪算法的研究 1 2 1 基于知识的方法 这种方法是利用人的先验知识来构建人脸的检测规则,从而利用检测规则进 行人脸检测的一种方法。 y a n g 和h u a n g 使用分层的基于知识的人脸检测方法【4 】,他们采用三级规则结 合马赛克图像来检测人脸区域。k o t r o p o u l o s 和p i t a s 提出了改进的方法【5 】,将 方形马赛克块改进为矩形马赛克块。姜军等提出了一种人脸镶嵌图模型进行人脸 检测的方法【6 】。卢春雨【7 1 等提出了自适应的马赛克方法,取得了较好检测效果。 但是人脸的类型有千差万别,如果制定的规则太细,真正的人脸可能会被漏 掉;如果制定的规则太笼统,有可能造成较高的虚警率。 1 2 2 特征不变的方法 这种方法是利用人脸的面部特征和他们的相对位置关系等来进行人脸检测 的方法。 s i r o h e y 8 】提出了用椭圆拟合人脸区域的方法。g r a f 9 等人提出了利用某些形 态学的方法进行人脸的检测方法。l e u n g 1 0 】等人提出一种利用人脸五个特征来定 义和检测人脸的方法。h a n 1 1 】等人提出了一种通过形态学眼部分割的方法来进行 人脸检测的方法。 在实际的检测情况下,由于噪声和遮挡等问题的存在,人脸的某些特征可能 被破坏,这将严重影响此算法的检测效果。 1 2 3 模板匹配的方法 这种方法是构建人脸或者人脸的器官的模板,利用模板匹配算法进行人脸检 测的一种方法。 g o v i n d a r a j u 1 2 】等提出利用边缘定义的特征来进行人脸检测的方法。m i a o 1 3 】 等提出了用于人脸检测的层次模板匹配方法。梁路宏【1 4 】等人提出了利用平均脸 模板进行人脸检测的方法。周激流【”】等人提出了一种利用先验模板和交替补偿 机制的方法得到人脸轮廓的方法。 但是,在实际的检测中,由于人脸的尺度、形状等的变化较大时往往检测效 2 一种人脸检测与跟踪算法的研究 果较差,此种方法也没有获得较广泛的应用。 1 2 4 基于外观的方法 基于外观的方法也可以称为基于统计的人脸检测方法,它是利用统计分析和 机器学习等方法来获得人脸和非人脸特征,利用这些特征和判决函数来进行人脸 检测的方法。基本上可以分为两种:特征脸( e i g e n f a c e s ) 方法【1 6 】和基于分布的 方法( d i s t r i b u t i o nb a s e dm e t h o d s ) 1 7 】【1 8 】。在基于分布的方法中,又以a d a b o o s t 方法的检测速度最快,尤其是v i o l ap 实现了1 5 帧秒的检测速度,更是吸引了 更多的人参与到基于a d a b o o s t 的人脸检测的研究中。 1 3 人脸追踪技术的相关研究 人脸信息处理的另外一个重要的方向就是人脸跟踪,人脸跟踪是一个复杂和 高难度的过程,其难度主要体现在以下几个方面: ( 1 ) 背景的剧烈变化会导致跟踪失败。 ( 2 ) 人脸的形变和部分遮挡会造成跟踪失败。 ( 3 ) 人脸运动不是匀速运动,对于加速运动或者变加速运动的人脸,也存在 较大的跟踪难度。 ( 4 ) 人脸追踪与人脸检测相比,对实时性的要求更高,这样就对人脸的跟踪 的速度提出了更高的要求。 综上,人脸跟踪是人脸检测之后对人脸的运动等信息进行检测的一项技术, 它的基础是人脸检测,他的关键是运动信息检测,因此,本文将首先讨论运动目 标的检测的方法。 1 3 1 运动目标检测的方法 运动目标检测的方法,由于只是对运动区域的检测,在检测中忽视了人脸要 素的应用,因而,准确性不高。但是对与人脸的姿态等要求较低,也获得了较广 泛的使用,以下是常见的几种方法【3 1 。 ( 1 ) 基于区域的跟踪 一种人脸检测与跟踪算法的研究 基于区域的跟踪方法通过跟踪区域块来完成目标的跟踪。m e y e r 和 b o u t h e m y t l 9 1 提出的区域跟踪算法使用两个卡尔曼滤波器,一个用来跟踪仿射模 型参数运动滤波,另一个用来跟踪区域边界的几何滤波。 ( 2 ) 基于特征点的跟踪 基于特征点的跟踪包括特征点的选取和特征的匹配两个过程。在目标跟踪时 可将目标用一个矩形框封闭起来,封闭框的质心被选择作为跟踪的特征。s e g e n 与p i n g a l i 【2 0 】的跟踪系统使用了运动轮廓的角点作为对应特征,在连续帧间进行 匹配。 ( 3 ) 基于变形模板的运动跟踪 变形模板有非参数变形模板和参数变形模板,著名的s n a k e 算法就是一种非 参数变形模板跟踪运动对象的算法。 1 3 2 人脸跟踪技术 人脸跟踪技术就是根据已定位出的人脸,在运动图像的后续帧序列中跟踪该 人脸的运动,人脸跟踪所使用的信息有很多,可以归结为以下五种: ( 1 ) 利用背景信息跟踪。 b a l a l 2 2 1 等提出了一种把前后景分析和彩色信息结合的方法对人脸进行跟踪。 魏娟丽【2 3 】等采用帧差法结合扩展的k a l m a n 滤波器缩小了目标跟踪范围。 ( 2 ) 利用运动信息跟踪。 l i u l 2 4 1 等提出了一种利用运动信息以及人脸的肤色和轮廓进行人脸目标的筛 选的方法。b l a c k 和y a c o o b l 2 5 1 提出了一种利用光流场算法描述入脸的运动进而估 算人脸表情的算法。 ( 3 ) 利用彩色信息跟踪。 m e n s e r 2 6 】等提出了一种基于y c b c r 肤色概率模型和p c a 人脸跟踪的方法。 s o b o t t k a z t 等提出了一种在h s v 空间肤色分割和利用s n a k e 算法进行轮廓跟踪 的方法。h u a n g i 2 9 】等提出了一种利用统计颜色模型和可变模板的人脸跟踪方法。 f o r e s t i l 2 9 等提出了一种利用人脸肤色结合p c a 模式匹配的人脸跟踪方法。 ( 4 ) 利用整体人脸的模板或参数模型进行相似跟踪。 h a g e r t 3 0 】等提出了一种整体人脸的低阶参数模型,并可允许部分遮挡。b a s u t m 4 一种人脸检测与跟踪算法的研究 等提出了一个基于椭球人脸模型的人脸跟踪系统,该系统可以估计出人脸的三维 运动参数。z h a n g 3 2 】等提出了一种利用e s q 来生成三维人脸模型并且利用光流场 估计人脸运动的方法。梁路宏【3 3 】等首先利用模板匹配和神经网络检测人脸,然 后根据帧间约束预测下一帧人脸可能的位置。l e r d s u d w i c h a i 3 4 】等使用一种均值转 移跟踪( m e a ns h i f tt r a c k i n g ) 为每个人脸建立一个单独的肤色模型的跟踪方法。 ( 5 ) 利用人脸的局部特征进行相似跟踪。 a n t o s z c z y s z y n 3 5 】等利用模板匹配的方法实现了人脸器官近实时跟踪。 s a n t a n a 3 6 】等采用多模块级联的方式,实现快速人脸跟踪。 通常这五种跟踪信息在实际应用中并不是单独使用的,由于其各有利弊,常 常结合起来应用于人脸跟踪。 t 4 本文研究的主要内容 本文主要介绍了以下六个方面的内容: 第一章介绍了人脸检测与人脸跟踪方面的研究现状。 第二章以v i o l ap 的实验为例,研究了a d a b o o s t 算法的相关的概念和训练方 法。 第三章通过v i s u a lc + + 编程实现了人脸检测系统,并且在该系统下建立了自 己的样本库,而后利用a d a b o o s t 训练算法对自建的样本库进行了有效的训练。 在a d a b o o s t 人脸检测的基础上提出了改进的基于内部结构的a d a b o o s t 人脸检测 的方法,通过改进人脸检测系统和大量人脸检测计算机实验,证明了该算法有效 的降低了人脸检测误检率。 第四章研究了c a m s h i f l 人脸跟踪算法的原理。 第五章在c a m s h i f t 算法的基础上,提出了一种改进的c a m s h i f i 算法,该算 法通过自动模板初始化方法和初始化模板稳定方法,提高了人脸跟踪的精度。本 文结合人脸检测和人脸跟踪改进,通过v i s u a lc + + 编程实现了一个无人值守的人 脸检测与跟踪系统。 第六章总结了本文的工作,并提出了进一步完善本文工作的方向。 一种人脸检测与跟踪算法的研究 2 a d a b o o s t 算法 a d a b o o s t 算法是目前在人脸检测方面检测速度较快、检测效果较好的一种检 测方法,它由f r e u n d 和s e h a p i r e 在1 9 9 7 年提出,它是一种把弱分类器采用级联 的方式训练成为强分类器的方法。 这些弱分类器只需要满足比随机猜测好一点,就能通过不断的修正每个弱分 类器的权值,即挑选那些比较好的分类器,抛弃不好的分类器,从而最终形成由 这些弱分类器组成的强分类器,相比较其他的方法而言,a d a b o o s t 方法对每个弱 分类器的权值的形成都是无人值守的,完全自动化的,因而a d a b o o s t 算法有着 比较好的易用性。大量的实验证明,a d a b o o s t 算法是有效的将多弱分类器强化成 为强分类器的一种方法,经过训练的分类器具有比较好的分类效果,而且速度较 快。 图2 1 给出了a d a b o o s t 人脸检测算法进行训练和检测的流程图,本为也将 分训练和检测两个方面介绍a d a b o o s t 算法。 训 练 过 程 检 测 过 程 图2 1a d a b o o s t 训练过程 2 1a d a b o o s t 训练算法 a d a b o o s t 是在1 9 9 7 年提出来的,集大成者是v i o l ap ,他在2 0 0 1 年利用 a d a b o o s t 算法实现了实时人脸检测系统【3 7 1 ,取得了1 5 帧s 的检测速度,下面将 6 种人脸检测与跟踪算法的研究 以v i o l ap 的工作为例,介绍a d a b o o s t 训练算法的原理【3 8 】。 2 1 1 训练样本的准备 机器学习需要训练,而训练是离不开样本的,在a d a b o o s t 训练之前,需要 准备样本,包括正样本和负样本,在这里即为人脸图片和非人脸图片,在v i o l ap 的训练中,他使用了5 0 0 0 幅左右的人脸样本图像和1 0 0 0 0 幅左右的非人脸样本 图像。需要强调的是,非人脸样本的必须选择那些不包含人脸的样本。 训练开始之前是复杂的准备过程,首先需要保证参与训练的样本大小相同, 因而必须对包含人脸的图片进行包括剪裁、拉伸等相关处理,使图片样本保持同 样的分辨率,从而利于训练调用。一般的研究者都认为,分辨率最小取1 9 1 9 , 而取2 0 2 0 、2 4 2 4 、4 8 4 8 的分辨率也是比较常见的。图2 2 是剪裁聚合在 一起的大小相同的人脸样本图像。 2 1 2h a rr 特征的选取 。,誊隧蒯隧葱霪糊蠢型 图2 - 2 部分训练样本图像 a d a b o o s t 采用的特征是一种类似于小波的特征,称为h a r r 特征。一个h a r t 特征可以构成一个分类器,如果某个图像中出现了明亮区域和灰暗区域,他们的 灰度的区域性变化是一个很重要的反应图像局部纹理的特征,这样的特征就可以 用h a r r 特征来表示,有四种类型的h a r r 特征,如图2 3 黟 一 一种人脸检测与跟踪算法的研究 ( 1 ) 边缘特征 ( e ) ( 3 ) 9 心一环绕特 ( a ) 伯) 。 图2 3h a r r 1 i k e 基本特征 当训练的时候,这些基本特征将被应用在样本图像中的每一个位置,不断的 生成新的特征,这些新生成的h a r t 特征包括特征的坐标位置以及特征的高度和 宽度信息,一旦特征的基本类型、坐标位置、高度和宽度信息确定的话,这个特 征就唯一的确定下来,图2 3 中表示的是这些特征的基本类型,当训练的时候, 将会生成大量新的特征,这些特征具有不同位置、大小以及类型,这些特征结合 某些分类函数就可以大体区分人脸和非人脸样本,我们把这种状态的分类器成为 弱分类器,它们是中间过渡状态的分类器。图2 4 给出了训练过程中可能出现的 弱分类器的例子,这些分类器例子已经说明了相比较基本特征结合初始化分类函 数生成的分类器来讲,新生成的分类器已经得到了加强。 一种人脸检测与跟踪算法的研究 ( a )( b )( c ) 图2 4 训练中用到的特征示意图 图2 - 4 ( a ) 为待检测的人脸样本,在图2 - 4 ( b ) 中,人眼和人眼下部区域的灰度 变化,就可以用图2 3 的边缘特征( b ) 来表示,而图2 - 4 ( c ) c 卢的人眼和人眼之间的 灰度变化,就可以用图2 3 的线性特征( a ) 来表示。 a d a b o o s t 的训练过程即加强这些弱分类器的过程,在挑选新的分类器和权值 的过程中,逐渐形成最终的强分类器。 2 1 3 积分图像 积分图像也是p a u lv i o l a 提出来的,它解决了特征计算时重复运算的问题, 通过一次积分图像的计算之后,图像的特征计算变得非常简便,大大的提高了训 练和检测的速度,下面将以矩形特征为例介绍积分图像的计算方法。 在a d a b o o s t 训练和检测过程中,需要大量的用到矩形特征的运算,即大量 的计算图像中区域的灰度和。在a d a b o o s t 训练和检测中需要大量的进行这样的 运算,如果对于每一个特征都采取这样简单的方案:首先计算黑色区域的灰度和, 然后计算白色区域的灰度和,最后两个灰度和相减,而此方案将会导致大量的重 复运算。正是为了解决这个问题,p a u lv i o l a 提出了积分图像的办法,有效的解 决了这个问题。 如图2 5 ,若计算此矩形特征的值,假设o 点为图像的原点,其坐标为( 0 ,0 ) , 而( x ,y ) 为图像中任意点的坐标,g ( x ,y ) 为( x ,y ) 这一点的灰度值。我们计算( x y ) 这一点到原点的所有点的灰度的和i g ( x ,y ) ,得到式2 1 一种人脸检测与跟踪算法的研究 i g = g ( m ,n ) ( 2 - 1 ) m s x ,n s y 以同样的方法我们计算每一个点的i g ( x ,y ) ,这样,所有的点的坐标值( x ,y ) 和 i g ( x ,”将构成此图像的积分图像。这样做的好处是:可以使得原图像中每个区域 的灰度和的计算变的非常简便。图2 5 的矩形特征有6 个关键点,下述怎样简便 的计算矩形特征的值。 o 图2 5 利用积分图像来计算特征 如图2 5 ,首先计算a 、b 、c 、d 四个点围成的矩形区域的灰度和,我们只 需要知道a 、b 、c 、d 四个点的积分图像的灰度值i g a 、i g b 、i g c 、i g d 就可以计 算此区域的灰度和s u m b l a c i c 。计算公式如下: s u m b l a c k = i g a + i g d i g b i g c ( 2 - 2 ) 同理,也可以计算白色区域的灰度和s u m w h 帕计算方法如式2 3 : s 啪w h = i g c + i g f i g d i g e ( 2 - 3 ) 这样,我们通过积分图像的方法,非常简便的得到了某一个矩形区域的灰度 和,而这样的方法的代价仅仅是在计算之前,把图像内所有点的积分图像灰度值 计算出来。在计算过积分图像之后,每一点的i g 将大大的简化我们的运算。到 此为止,我们得到了矩形特征值,如式2 - 4 。 s u m b i a c k 。s u m w h 沁= i g a i g b 2 i g c + 2 i g d + i g e - i g f ( 2 - 4 ) 1 0 一种人脸检测与跟踪算法的研究 2 1 4 弱分类器 特征结合分类函数就构成了弱分类器,上文已经提到了特征,下面我们将重 点介绍分类函数。 弱分类器的分类函数模型为h ( x ,f , p ,0 ) ,其中h 为分类器,x 为样本图像, f 为当前选择的特征,p 是符号常量,通常只取+ l 或者- 1 。0 为阈值,当我们用 一个特征来评价样本的时候,0 可以决定一个样本是属于人脸还是非人脸,为了 定量的表示0 的作用,我们用式2 - 5 来表示分类函数,h 和x 、f 、p 、0 的关系 是一个单阈值分类器。 h ( x ,f ,p ,。) = “? 一 ( 2 - 5 ) 特征f 对样本x 进行评价以后,得到f ( x ) ,如果p f ( x ) p0 ,那么样本就被 认为是人脸:否则,样本就被认为是非人脸。试想假如f 是比较好的特征的话, 0 又取值合理的话,得到的分类器h 将会很好的区分人脸和非人脸。而假如f 不是很好的特征的,无论。的取值如何,得到的分类器h 都很难取得较好的分类 效果。 不只是在训练过程中,即便在后续的人脸的检测中,我们也会使用矩形特征, 因此矩形特征非常的重要。而且一旦选择了矩形特征,实际上就是选择了三个基 本要件:矩形特征的类型、矩形特征的左上角坐标,矩形特征的宽度高度信息。 而只有特征还构不成分类器,只有当我们通过训练,给特征找到了阈值0 以后, 特征才真正的变成了分类器,所以,在人脸检测中使用的弱分类器包含四个要件: 矩形特征的类型、矩形特征的位置、矩形特征的宽度高度信息和分类函数的阈值, 这四个要件缺一不可。 2 1 5 强分类器 a d a b o o s t 的训练结果就是训练出强分类器,最终的强分类器是由弱分类器线 性组合而成的,这里我们假设有k 个分类器,他们分别为h l ,h 2 ,h k ,而他们的 权重为1 ,d2 ,o k ,测试样本为x ,下面用每个分类器h i ( i = 19 o9 k ) 检测样 本,如果能够分类成功,h i ( x ) = l ;否则,h i ( x ) = 0 。这样的话,对于样本x ,得到 一种人脸检测与跟踪算法的研究 的最后的分类器就由式2 - 6 来表示: h c x ,= 2 ( 2 - 6 ) 由上式我们可以看出,最终得到的强分类器是一个由弱分类器线性组合而成 的分类器。而且这样的一个分类器是一个带有权值选择的分类器。对于那些分类 效果好的分类器,权重较大;反之,权重较小。因此,最终的强分类器实际上为 一个线性加权的强分类器。怎么样在训练中得到弱分类器,怎么样确定每个弱分 类器的权值,下面将进行进一步的研究。 2 1 6a d a b o o s t 训练算法 a d a b o o s t 训练简单的说就是挑选最优的分类器,并且确定它的权值,最后由 这些最优分类器和对应的权值得到级联的强分类器的过程。 下面详细的叙述a d a b o o s t 的训练过程,假设人脸样本为( x l ,y 1 ) ,( x 2 ,y 2 ) ,( x m , y m ) ,总共m 个样本。其中x i 表示样本,y i 代表样本的类别,这里我们规定对于 人脸样本y i = l ,对于非人脸样本y i = 0 。在a d a b o o s t 训练算法中,最后的强分类 器中的弱分类器个数可以用户自定义,通常我们称之为强分类器的级数,这里我 们假设为t 。在实际的训练中,t 即为总的循环次数。 而且,每个样本对应一个权值,我们把假设第i 个样本在第t 次循环中的权 值为( x 。,t ) ,当第一次循环开始的时候,我们把人脸样本的权值初始化为 ( x ;,1 ) = 1 ( 2 p ) ,把非人脸样本的权值初始化为( x ;,1 ) = 1 ( 2 n ) ,其中p 为人 脸样本的数目,r l 为非人脸样本的数目。 。 假设使用了u 个特征进行训练,对应于第i 个人脸样本,首先选择第j 个特 征f 。( j = l ,2 ,u ) 作为弱分类器对第一个样本进行分类,如果分类正确的话, 分类器函数h j ( x f j ,p ,0j ) = l :否则,h j ( x 。,f j ,p ,0j ) = o 。其中,oj 为对应 于第j 个特征的阈值,p 为符号常量( 只取+ 1 或者一1 ) ,我们的目标就是,遍寻 所有样本,找到一个0 ,使得式2 7 最小。在式2 - 7 中,绝对值的取值取决于分 类正确与否,分类正确的话,绝对值为0 ;分类不正确的话,绝对值为1 。如果 分类效果比较差,则整个求和的值将会比较大,要使求和的值最小,就需要我们 在一个范围内改变0 。的值,找到使得式2 7 的求和最小的0 ,通过穷举法进行 1 2 k 瑚 = 国 中其 一种人脸检测与跟踪算法的研究 寻找,最终我们找到了对于第j 个特征的e ,至此,该特征对应的分类器已经 确定。而式2 7 的求和结果e ,反映了分类器h ,错误分类程度,我们的目的是在 确定分类器的时候,使得错误率最小。 j = 巾( x i ,t ) jh j ( x i ,i ,fp ,e ) - y i ( 2 7 ) 然后对所有的特征进行上面的操作,得到若干个弱分类器,然后,我们在这 些分类器中选取错误率最小的那个作为本次循环所找到的分类器,我们设找到的 分类器为h 。,对应的的错误率。- - r a i n ( ,) 。 至此,这一轮的循环还差最后一步,那就是更新权值,我们需要更新两个权 值:样本的权值和该轮分类器的权值。 首先我们更新样本的权值,更新方法为: ( x i ,t + 1 ) = ( x i ,t ) ( 粤) 写 ( 2 8 ) e i = l h i ( x i ,f t ,p ,e 。) 一y i i ( 2 9 ) 这样的话,如果分类正确的话,e := l ;否则,e i _ 0 。更新样本权值的目的就 是提高对那些分类错误的样本的重视,以期望在下一轮的训练能够对此样本分类 其次,我们要更新该轮循环的分类器的权值。h 。的权值为入。= ( 卜e 。) e 。 权值更新后,第t 轮循环结束,进入下面的一轮的循环中。 最终经过t 轮的循环,我们找到了t 个比较强的分类器了,我们称之为弱分 类器,分别是h 。,h 。,e e e 7h t ,权值分别为入。,入:,e ee 入,。这些弱分类器通过线性 加权叠加,最终得到了a d a b o o s t 强分类器h 蛐。舢其计算公式如式2 - 1 0 。 h a d = 船酗h 净t 埘 、 c l s c 2 2a d a b o o s t 人脸检测 h d a b o o s t 人脸检测即利用训练好的强分类器,对图像中的区域进行判断,如 果能够通过强分类器的每一级,那么按照a d a b o o s t 人脸检测的策略,此区域即 一种人脸检测与跟踪算法的研究 为人脸区域。在a d a b o o s t 的人脸检测中,有两个技术的使用极大的提高了人脸 检测的速度。他们是图像金字塔的检测策略和级联分类器策略。 2 2 1 图像金字塔 采用图像金字塔的检测策略,逐步缩小待检测图像,而保持检测窗口大小不 变,这样既减少了不同尺度的人脸的漏检,减小了运算量,相比较保持待检测图 像大小不变逐步增大检测窗口的方法,运算量要小很多。图2 6 阐明了图像金字 塔的原理。 逐 检 小按比例返回原 来图像大小 测到人脸 图2 6 金字塔的检测策略示意图 2 2 2 级联型的强分类器 a d a b o o s t 是一种级联分类器,利用对图像的多个区域进行逐级检测,直到在 一种人脸检测与跟踪算法的研究 最后一级找到人脸为止。这种级联的设计,在最初的几级就可以把大量的无关区 域排除掉,大大的减小了后面大数据运算的运算量,从而大幅度提高了检测的速 度。图2 - 7 的检测直观的反应了a d a b o o s t 人脸检测的逐级检测的思想。 一种人脸检测与跟踪算法的研究 图2 7 级联分类器的检测原理 1 6 一种人脸检测与跟踪算法的研究 3a d a b o o s t 训练检测及改进的a d a b o o s t 人脸检测 3 1 试验系统介绍 实验采用w i n d o w s x ps p 2 操作系统,m i c r o s o f t v i s u a lc + + 6 0 开发环境,实 验程序采用m f c 的编程框架,图3 1 为实验采用的人脸检测与跟踪系统,该程 序为主程序。 图3 1 实验采用的程序界面 主程序按照人脸检测和追踪的流程,把大致功能分为四个部分:取样、训练、 检测和追踪。其中前面三个部分为人脸检测的内容。程序使用文档形式的程序界 面,菜单采用弹出式形式,而点击菜单中的菜单项的时候,程序弹出对话框界面 执行后续的操作,此操作形式在后面的程序中会有所体现。 3 2 传统的a d a b o o s t 训练及检测 3 2 1a d a b o o s t 训练 3 2 1 1 样本的准备 3 2 1 1 1mit 样本库的准备 a d a b o o s t 训练就是利用现有的已经人为分类好的样本来进行特征、阈值选 择,从而找到多个弱分类器,最后通过线性级联的方式构成分类效果较好的强分 类器的过程。样本是训练的唯一输入数据,它的好坏将直接影响到分类器的分类 效果,因此,样本的制备尤为关键。目前,世界著名的人脸训练样本集有:m i t 、 f e r e t 、u m i s t 、y a l e 、a t & t 、h a r v a r d 、c m up i e 、p u r d u ea r 等等,这些训 练样本集都是部分世界知名大学或媒体实验室制备的样本图像,有着比较权威的 一种人脸检测与跟踪算法的研究 说服力。而且,这些样本集一般容量不大,比较适合研究或教学使用。 本文采用了m i t的m i t - c b c l人脸 训练库 ( h t t p :c b c l m i t e d u p r o j e c t s c b c l s o f l w a r e - d a t a s e t s f a c e s t a r g z ) ,此人脸样本库包 括2 4 2 9 个人脸样本,4 5 4 8 个非人脸样本,图像格式为p g m ,分辨率为1 9 1 9 。 图3 2 为部分人脸样本。 图3 2 部分m i t 正样本 f 样本人脸都是正面的人脸,并且都是对称的,样本多样化好,存在有胡须、 戴眼镜、头发遮挡、表情各异等多种情况。 图3 3 是部分负样本图像,图中可以看出,图像出自自然和人为的各种环境, 具有较强的代表性。 图3 3 部分m i t 负样本 非人脸样本图像包括多种场景的图像,但是必须不包括人脸,如果包括人脸, 将严重影响训练结果。这里非人脸样本和人脸样本都是取1 9 1 9 的分辨率的p g m 图像,p g m 格式是便携式灰度图像格式( p o r t a b l eg r a y m a p ) ,在黑白超声图像系 统中经常使用。但是我们在训练时使用的是w i n d

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论