




已阅读5页,还剩57页未读, 继续免费阅读
(信号与信息处理专业论文)实时视频中人脸跟踪和表情分析研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
实时视频中人脸跟踪和表情分析研究 摘要 面部表情是人体语言的一部分,在人们日常的交流中起到至关重要的作用。 人脸表情分析是指利用计算机对特定人的脸部表情及变化进行分类,进而确定 其内心情绪或思想活动,实现人机之间更自然更智能化的交互。它是计算机情 感计算的重要研究内容之一,在视频监控以及可视电话,电视会议等商业应用 方面都有着重要的价值。 本文按照人脸检测、跟踪、表情分析的步骤建立起一个人脸表情分析系统, 针对各个环节存在的问题进行了研究,主要工作和创新如下: ( 1 ) 在人脸检测和跟踪阶段,本文使用肤色模型以及面部特征验证的方法 进行人脸检测,并重点讨论了人脸跟踪过程中的多人脸匹配问题,提出了基于 2 d p c a 的人脸代数特征匹配方法,用于解决目标在跟踪过程中出现的遮挡等 问题,在速度和准确性方面都取得了较好的实验结果; ( 2 ) 在表情分析阶段,本文针对实时视频的具体情况,采用d c t 变换对整 幅人脸图像进行降维并获取有效特征,从而减少了观察值序列的维数,大大降 低了训练和识别系统的复杂程度;其后,根据提取的特征设计了基于隐马尔可 夫模型的人脸表情分析方法,选取表情脸与中性脸图像的2 d d c t 系数差值, 经z i g z a g 扫描、k 均值聚类生成观察值序列,最终对高兴、生气、吃惊、 厌恶、恐惧、悲哀六种表情进行分类识别,实验结果表明,本文提出的方法在 单个人和多个人的实验中均获得了比p c a 方法更高的识别率; ( 3 ) 最后研究了t i 公司t m s 3 2 0 c 6 0 0 0 系列d s p 的内部结构和开发过程, 将算法移植到d s p 集成开发环境c c s 上,并进行了相应的程序优化,试验仿 真成功。 关键词:肤色模型,人脸跟踪,2 d p c a ,表情分析,d c t 变换,隐马尔可夫模 型( h m m l ,d s p r e s e a r c ho ff a c et r a c k i n ga n de x p r e s s i o na n a l y s i si n r e a l - t i m ev i d e os e q u e n c e s a b s t r a c t h u m a nf a c i a le x p r e s s i o ni sa p a r to fb o d yl a n g u a g e ,w h i c hp l a y sac r u c i a lr o l e i no u rd a i l ye x c h a n g e s f a c i a le x p r e s s i o na n a l y s i si st oc l a s s i f yt h es p e c i f i c p e o p l e sf a c i a le x p r e s s i o ns t a t eb yc o m p u t e ra n dt h e nt oa s c e r t a i nt h es u b j e e t s i n n e re m o t i o n a lo r i d e o l o g i c a la c t i v i t i e s ,a c h i e v i n gs m a r t e ra n dm o r e n a t u r a l i n t e r a c t i o nb e t w e e nh u m a nb e i n g sa n dc o m p u t e r s i ti sa l li m p o r t a n tp a r to f c o m p u t e ra f f e c t i v ec o m p u t i n ga n dh a sg r e a tv a l u ei nv i d e os u r v e i l l a n c ea n do t h e r c o m m e r c i a la p p l i c a t i o n s ,s u c ha sv i d e op h o n e ,v i d e oc o n f e r e n c e ,e t c t h em a i nc o n t e n to ft h i sd i s s e r t a t i o ni st ob u i l daf a c i a le x p r e s s i o na n a l y s i s s y s t e m i na c c o r d a n c ew i t ht h e p r o c e s s a sf a c ed e t e c t i o n ,f a c et r a c k i n ga n d e x p r e s s i o na n a l y s i s ,a n dd or e s e a r c ho nt h ek e yi s s u e so fe a c hs t e p m a i nw o r ka n d i n n o v a t i o na r ea sf o l l o w s : ( 1 ) o nt h er e s e a r c ho ff a c ed e t e c t i o na n dt r a c k i n g ,t h ed i s s e r t a t i o na c h i e v e s f a c ed e t e c t i o nb ys k i n - c o l o rm o d e la n df a c i a lf e a t u r e sv a l i d a t i o n ,a n df o c u s e so n t h em u l t i p l e f a c em a t c h i n gi nt h ep r o c e s so ft r a c k i n gp e o p l e a na l g e b r af e a t u r e m a t c h i n ga l g o r i t h mb a s e do n2 d p c ah a sb e e np r o p o s e d ,8 0a st o s o l v et h e p r o b l e m ss u c ha so c c l u s i o n e x p e r i m e n ts h o w st h a tt h em e t h o dc a na c h i e v eg o o d r e s u l t si ns p e e da n da c c u r a c y ( 2 ) o nt h er e s e a r c ho ff a c i a le x p r e s s i o na n a l y s i s ,i nt h ev i e wo fr e a l t i m e v i d e oc i r c u m s t a n c e ,t h i sd i s s e r t a t i o na d o p t sd c tt r a n s f o r mt or e d u c et h ew h o l e f a c ei m a g ed i m e n s i o na n do b t a i n se f f e c t i v ef e a t u r e ,w h i c hg r e a t l yr e d u c e st h e d i m e n s i o no ft h eo b s e r v a t i o nv a l u es e q u e n c ea n dl o w e r st h ec o m p l e x i t yo ft r a i n i n g a n dr e c o g n i t i o n ;l a t e r , t h i sd i s s e r t a t i o nd e s i g n saf a c i a le x p r e s s i o na n a l y s i s a l g o r i t h mb a s e do nh i d d e nm a r k o vm o d e l w es e l e c tt h ed i f i e r e n c e so f2 d d c t c o e f f i c i e n t sb e t w e e n e x p r e s s i v e a n dn e u t r a lf a c e i m a g e s ,w h i c hg e n e r a t e o b s e r v a t i o nv a l u es e q u e n c eb yz i g z a gs c a n n i n ga n dk m e a n sc l u s t e r i n g ; u l t i m a t e l yt h ee x p r e s s i o n sa r ec l a s s i f i e d a ss i xk i n d s :h a p p y ,a n g e r , s u r p r i s e , d i s g u s t ,f e a ra n ds a d n e s s e x p e r i m e n ts h o w st h a tt h em e t h o dp r o p o s e db yt h i s d i s s e r t a t i o na c h i e v e sh i g h e rr e c o g n i t i o nr a t et h a nt h ep c am e t h o di nb o t hs i n g l e p e r s o na n dm u l t i p l ep e r s o ne x p e r i m e n t ( 3 ) o nt h er e s e a r c ho ft h ec h a r a c t e r i s t i c sa n dt h es o f t w a r ed e v e l o p m e n to ft i t m s 3 2 0 c 6 0 0 0s e r i e sd s p , t h i sd i s s e r t a t i o nt r a n s p l a n ta n do p t i m i z et h ec o d ei n d s p , a n dp r o j e c ti se x e c u t e ds u c c e s s f u l l yo nc c ss i m u l a t o r k e y w o r d s :s k i n c o l o rm o d e l ,h u m a nf a c et r a c k i n g ,2 d p c a ,e x p r e s s i o na n a l y s i s , d c tt r a n s f o r m ,h i d d e nm a r k o vm o d e l ( h m m ) ,d s p 插图清单 图2 1光线补偿对比结果8 图2 2 肤色点在y c b c r 空间8 图2 3c b 分量随y 分量的变化9 图2 - 4c r 分量随y 分量的变化9 图2 5 变换后的肤色聚类分布1 0 图2 - 6投影后的肤色聚类模型1 1 图2 7 人脸检测各阶段结果1 2 图2 8部分人脸检测实验结果1 3 图2 9 特征向量数目与能量对应关系1 6 图2 1 0 实时入脸库1 7 图2 1 l 入脸检测及跟踪系统流程图1 8 图2 1 2 多人脸跟踪结果1 9 图3 1 球和缸实验2 l 图3 2h m m 组成示意图2 2 图3 3前向算法示意图2 4 图3 4隐马尔可夫算法的关系2 6 图4 1h m m 模型中观察值序列生成流程图2 7 图4 2图像裁剪比例示意图3 0 图4 3部分人脸归一化结果3 0 图4 4d c t 变换过程3 1 图4 ,5 z i g z a g 扫描算法示意图一3 l 图4 6 表情脸与中性脸之差3 2 图4 7表情分析h m m 模型状态的确定3 3 图4 - 8 表情h m m 模型训练算法流程图3 5 图4 - 9 表情识别算法流程图3 6 图4 1 0j a f f e 表情库中部分表情样本3 6 图4 - 1 1 部分正确识别的表情样本3 8 图4 1 2 部分不能正确识别的表情样本3 8 图5 1c 6 0 0 0 c p u 芯片结构4 l 图5 2软件流水示意图4 6 表格清单 表2 1使用代数特征匹配算法前后检测准确率和平均检测时间对照表1 9 表4 1单个人的表情数据测试3 7 表4 2 单个人的差值表情数据测试3 7 表4 3多个人的表情数据测试3 7 表4 4 多个人的差值表情数据测试3 8 表4 5文献【1 2 单人脸表情识别率3 9 表5 1c 6 0 0 0 编译器数据类型4 3 表5 2c 编译器产生的默认代码段和数据4 4 表5 3c 6 2 0 1 存储器地址映射图4 4 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果 据我所知,除了文中特别加以标志和致谢的地方外,论文中不包含其他人已经发表或撰 写过的研究成果,也不包含为获得金胆王些太堂 或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 学位论文作者签字:苌藤施签字日期:如叼年占月9 日 学位论文版权使用授权书 本学位论文作者完全了解 金魍王些太堂 有关保留、使用学位论文的规定,有权 保留并向国家有关部门或机构送交论文的复印件和磁盘,允许论文被查阅或借阅。本人 授权金壁王些盔堂 可以将学位论文的全部或部分论文内容编入有关数据厍进行检 索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名 签字日期:幻叼年 蒋衷施 6 月厅日 , 学位论文作者毕业后去向 工作单位: 通讯地址: 名:私蟛糨 签字吼锄刁年6 月。厶日 电话: 邮编: 致谢 研究生生活即将结束。在两年半的学习生活中我所收获的不仅仅是专业的 知识,还深深地为师长身上严谨治学的态度所折服;为同学身上奋发向上,只 争朝夕的精神所感染。 首先要感谢我的导师蒋建国教授和齐美彬副教授。在我攻读硕士学位期间, 他们严谨的治学态度,广博的专业知识,对事业孜孜不倦的追求精神和平易近 人的处世作风给我留下了深深的印象,也必将会让我受益终生。他们不仅是学 术出色的导师,同时也是指引我前进的长者,为我将来的发展提供了极大的帮 助和指导。在此谨向恩师致以最真挚的谢意! 感谢实验室的詹曙老师、吴从中老师、李小红老师、夏娜老师、尤晓泉老 师,感漪他们三年来对我的关心和帮助;感谢李援、尹翔、张国富、李勇等各 位博士在学习过程中的指引和帮助;感谢常传文、王德宝、吴琼、袁炜、徐亚 东同学,三年来我们相互交流,取长补短,共同进步;感谢各位师弟师妹们, 正是因为生活在这样一个团结友爱互助的集体里,我能够乐观地面对生活,面 对每一天的学习和工作。难以忘记在d s p 实验室学习的日日夜夜,感谢各位同 窗的协作和帮助。诚挚的祝福他们在未来的生活和学习中一切顺利i 此外,在课题研究、论文工作,以及研究生学习期间,我还得到了其它许 多老师和同学的关心和帮助,在此一并表示谢意。 最后,要衷心的感谢我的父母和所有家人。他们一直给我精神上的鼓励、 物质上的支持、学习上的帮助和督促。他们的关怀和支持,是我不断前进的最 大动力。 作者:蒋庆汝 2 0 0 7 年5 月 第一章绪论 1 1 引言 面部表情是人体语言的一部分,在人们日常的交流中起到至关重要的作用。 1 9 7 1 年,美国著名心理学e k r a a n 在人脸面部表情方面进行了广泛的研究,并 且给出了六种基本表情的定义【i i ,分别是:生气( a n g e r ) 、厌恶( d i s g u s t ) 、害 怕( f e a r ) 、高兴( h a p p y ) 、伤心( s a d ) 、惊讶( s u r p r i s e ) 。这种分类方法对不 同种族,年龄,性别的人群具有普遍的意义。从心理学和生理学的角度对面部 情感的研究已有较长的历史,然而从工程学的角度把情感作为信息与信号工学 的研究对象来进行研究则是在2 0 世纪8 0 年代才还刚刚起步【2 】。随着计算机视 觉、人工智能等领域的迅速发展,表情分析技术作为高级人机交互的关键技术, 正受到越来越多的重视。该课题涉及图像处理、运动跟踪、模式识别、生理学、 心理学等研究领域,是当前国内外模式识别和人工智能领域的一个研究热点。 1 2 研究的背景和意义 表情分析是实现人机交互的一种手段,使得机器能够分析操作者的表情, 决定下一步的动作。这项技术现在已经被应用在工业、商业、医学、心理学很 多方面。其中,一些人脸表情分析技术己经在监控中投入应用d - t o ,使用表情 分析的司机疲劳监控系统己经局部投入使用,具有简单表情分析功能的智能机 器人和玩具也不断出现。可以预测,随着人脸表情分析技术的不断发展,该技 术将会在智能监控、心理学研究、精神病辅助治疗、医院护理、情感机器人等 方面得到极大的推广和应用。由此可见,机器智能的提高无论是对于消费电子 还是对于军事电子都有深远的意义。 按照对图像数据的处理流程,人脸表情自动分析系统可分为人脸图像获取、 特征提取和人脸情感分类三个核心环节1 n 】。考虑到实用性,人脸表情分析系统 的首要目标是全程自动化、实时性、高准确率和良好的扩展性。由于各个关键 环节有自己的特点,将人脸表情分析技术的最新进展按数据处理流程进行归纳: ( 1 ) 在人脸图像获取部分,需要建立一个基予p c 或者独立的图像获取平台,要 求能够清晰获取人脸图像,并且能够通过人脸跟踪反馈控制云台的运动;( 2 ) 人脸检测算法要能够处理复杂背景下人脸实时检测并且对脸部遮盖、年龄、表 情、种族等带来的影响具有鲁棒性,同时还要解决光照不均以及人脸旋转的问 题;( 3 ) 人脸特征提取算法需要对人脸的器官特征、纹理区域和预定义的特征点 进行定位和提取。由于人脸图像具有信息量大和模式复杂等性质,图像降维和 去相关变换如主分量分析( p r i n c i p l e c o m p o n e n t a n a l y s i s ,p c a ) 1 2 】( 1 4 】、独立成分 分析( i n d e p e n d e dc o m p o n e n ta n a l y s i s ,i c a ) t 1 3 1 、小波分析【14 1 、光流分析【1 5 】等方 法得到了广泛应用;( 4 ) 表情情感分类算法要能够准确地对人脸表情进行精确分 类,学者们使用了b a y e s 分类理论【1 6 】、神经网络【1 7 1 、隐马尔可夫模型( h i d d e n m a r k o vm o d e l ,h m m ) i s 】、s v m ”】等分类方法。此外,通过对常用的j a f f e , c o h n k a n a d e 等人脸表情数据库的观察可以看出,人脸表情数据库需要进一步 的完善。 本文研究实时视频中人脸的检测跟踪和面部表情分析,目的是建立起一个 人脸表情分析的平台和确定一个基本研究框架,通过对人脸表情分析各关键环 节所存在问题的研究,为该技术的实用化奠定基础。 1 3 目前国内外的研究情况 1 3 1 人脸跟踪的研究现状和前景 人脸跟踪要解决的是两个相互独立又相互影响的问题:人脸检测和运动预 测。它们的作用是相辅相成的,其中人脸检测是核心,其作用是确定跟踪对象, 而运动预测的目的则是预先估计跟踪对象下一个可能的状态,其作用是提高检 测速度。人脸检测为运动预测提供依据,而运动预测则为下一次人脸检测提供 大致的状态信息。 人脸检测及跟踪研究的涉及领域非常广,除了计算机视觉、模式识别以及 图像处理外,与生理学、心理学、认知科学等学科都有密切的联系。这些年来 科学工作者在这一领域进行了大量的探索工作【2 0 。射,比较著名的有m i t ( 麻省 理工学院) 的a i 实验室及媒体实验室、c m u ( 美国卡内基一梅隆大学) 的入机接 口研究室等,通常这些研究受到军方、警方及大公司的高度重视和资助。在国 内,也有一些学校及科研机构从事人脸检测相关的研究。其中,清华大学、北 京工业大学、上海交通大学、中国科学院计算技术研究所和中国科学院自动化 研究所等涉题比较早,目前已取得了一些研究成果。 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等 有关特征的对应匹配问题,常用的数学工具有卡尔曼滤波、动态贝叶斯网络 ( d y n a m i cb a y e s j a nn e t w o r k ) 等。人脸跟踪算法的分类方式很多,可以通过跟 踪环境( 室内或户外) 、跟踪人数( 单人、多人、人群) 进行分类,也可以根据摄 像机状态( 运动或固定) 等方面进行分类。以下仅根据几类不同的常用跟踪方法 作以简单介绍: ( 1 ) 基于肤色信息的方法。文献 2 3 中提出通过人脸肤色信息进行人脸跟 踪的思路。由于提取人脸的颜色信息具有速度快、姿态不变性等特点,它试图 利用统一的高斯模型来描述所有人的肤色,忽略了不同人之间的肤色差别,这 样会导致检测精度的降低,从而影响整个系统的性能。文献 2 4 中提出了一种 基于彩色直方图投影的人脸跟踪算法,该方法适用于对时间要求较高以及复杂 背景下的运动图像进行人脸跟踪,测试结果表明,该方法在保留人脸大量的有 用信息的情况下,大大改善了在复杂背景以及光照环境不佳情况下的人脸跟踪 效果,并具有计算量小的特点。 ( 2 ) 基于模型的方法。该方法利用参数模型或模板对整个人脸进行相似跟 2 踪,并通过运动预测减小搜索区域,提高跟踪速度。文献 z s 中结合肤色信息 与运动模型的方法,建立了在线人脸跟踪系统。实验证明,由肤色模型及运动 模型构成的人脸跟踪模型可以在复杂背景下实时地、精度较高地跟踪人脸的自 由运动。 ( 3 ) 基于运动信息的方法。光流( o p t i c a lf l o w ) 技术是运动跟踪中最典型 的方法之一,它是将人脸图像分成一些小平面,通过计算这些小平面上的光流 来跟踪人脸的运动。另一种方法是首先对运动图像进行运动分割,确定运动目 标,一般采用时空梯度技术 ( 4 ) 基于局部器官特征的方法。文献 2 6 中提出一种基于器官跟踪的人脸 实时跟踪算法,该方法利用形态学运算对嘴进行跟踪,进而通过对人脸对称性 的分析,实现了对头肩序列中人脸的跟踪。由于算法只涉及简单的形态学运算 和局部的旋转运算,速度能达到实时要求,同时人脸对称性的分析保证了跟踪 结果的精确性。 1 3 2 人脸表情分析的研究现状和前景 关于人脸表情分析的研究,国际上现在逐渐成为科研热点。进入9 0 年代, 对人脸表情分析的研究变得非常活跃,吸引了大量的研究人员和基金支持,e i 可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、法国等 经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研 究。其中m i t 、c m u 、m a r y l a n d 大学、s t a n d f o r d 大学、日本城蹊大学、东京 大学、a t r 研究所的贡献尤为突出。国内的清华大学、哈尔滨工业大学、中科 院、中国科技大学、南京理工大学、北方交通大学等都有人员从事人脸表情分 析的研究。 人脸表情分析主要可以归纳为以下三种方法: ( 1 ) 基于几何特征的方法。 该类方法主要是指基于可变形模板的表情分析方法【2 7 00 1 。人脸由眼睛、鼻 子、嘴巴、下巴等部件构成,正因为这些部件的形状、大小和相对位置的各种 变化才使得人脸表情千差万别,因此对这些部件的形状和结构关系变化的几何 描述,可以作为人脸表情识别的重要判据。首先通过对人脸面部图像的分析, 建立人脸部件的组合模型,提取子目标图像。接着根据对部件的形状分析,建 立部件的可变形模板。再根据匹配分析,采用能量优化的方法,经过模板匹配 提取目标特征,得到人脸表情的表征向量,与中性的表情向量比较,达到识别 表情的目的1 3 “。这种方法的优点是可以提取面部构件的几何特征,对光照不敏 感,有利于研究表情的编码。缺点是要扩展到多视角是非常困难的,并且在预 处理过程中会损失许多有用的信息。 ( 2 ) 基于整体的方法。 这种方法是通过对整幅人脸或人脸图像中特别的区域进行交换,获取人脸 3 各种表情的特征来进行识别。与基于几何特征的识别方法相比,基于整体的识 别方法主要强调尽可能多的保留原始人脸表情图像中的信息并允许分类器发现 表情图像中相关的特征,通过对整幅人脸表情图像进行变换,获取特征来进行 识别。这种全局表情特征未必有明确的含义,但在某种意义上是易于分类的。 由于基于全局的人脸表情识别方法具有强相关性及高冗余度,因此如何在抽取 优化特征的同时提高识别的自适应性,至今还没有一个行之有效的方法。应用 最广的是主元分析( p c a ) 方法。主元分析就是要找到一个正交的维数空间来说 明数据中变化的主要方向。而坐标轴就成了称之为h o l o n s 3 2 】和e i g e n f a c e s 圳 的近似人脸的模板图像轴。它是最小方差准则条件下基于图片的最优描述方法, 将输入空间的维数从模板中的像素数减少到特征脸的数耳。这种方法的优点是 可以从单帧图像进行表情分折,适合某些特定的应用环境。缺点是以前的工作 主要集中在子空间的变维分类方法上,而忽视了子空间自身的特点,并且分类 器性能也不十分理想。 ( 3 ) 基于光流计算的方法。 最近几年,部分研究者尝试通过计算光流达到自动人脸表情分析与跟踪的 目的【1 5 】。例如m i t 的媒体实验室的i r f a n a e s s a 等人利用以图像序列作为输入 的计算机视觉系统来观察脸部的运动单元 3 4 3 6 1 。基于脸部皮肤纹理与肌肉物理 模型的分析方法【”3 9 】在表情识别中具有重要意义。而基于光流计算的表情分析 方法通常是与描绘脸部结构的几何、物理肌肉模型相结合的。在i r f a na e s s a 的方法中产生了一个随时间变化的脸部形状的空间模板和一个独立的肌肉运动 群的参数化表征。这些肌肉运动模板可以用于面部表情的分析、解释与合成, 并且通过解释基于物理的优化估计框架中的脸部运动,产生了一个新的运动控 制模型。马里兰大学的y a c o o b 等人也采用了基于光流计算的方法研究表情识 别。在y a c o o b 的方法中既分析了人脸的面部器官的运动,同时研究了头部的运 动。这类方法的优点是描述了人脸表情的运动特性,不仅可以用于识别,而且 有利于表情合成的研究,从而实现面部表情的驱动。它的局限是描述的人脸模 型与要观察的人脸的匹配是手工完成的,实用性受到限制。 1 4 论文的主要工作和各章内容安排 人脸表情分析作为模式识别领域的经典问题之一,已经有很多的解决方法, 取得了较好的实验结果。然而表情分析的最终目的是走向实际应用。本课题的 主要内容是在d m 6 4 2 平台上建立起一个人脸表情自动分析系统,针对各个关 键环节存在的问题,按照系统对人脸数据处理的流程进行研究。 本论文共分为5 章。第一章是绪论,主要对人脸跟踪和表情分析技术进行 综述,介绍了人脸表情分析技术的应用、发展、内容和主要方法;第二章使用 肤色模型以及面部特征验证的方法实现人脸检测,并重点讨论了人脸跟踪过程 中的多人脸匹配问题,提出了基于2 d p c a 的人脸代数特征匹配方法,用于解 4 决目标在跟踪过程中出现的遮挡等问题,在速度和准确性方面都取得了较好的 实验结果;第三章对隐马尔可夫模型的基本思想和算法进行了研究和介绍,为 下一章的表情分析算法奠定数学基础;第四章基于h m m 模型的基础上设计了 人脸表情分析方法,对高兴、生气、吃惊、厌恶、恐惧、悲哀六种表情进行分 类识别,并给出实验结果;第五章介绍了本文所选用的t m s 3 2 0 c 6 0 0 0 系列d s p 芯片的c p u 结构特点以及软件开发流程,将本文设计的人脸检测、跟踪和表情 分析算法移植到d s p 上,同时进行了一系列优化;最后,在第六章中总结本文 的主要研究成果及展望未来需要傲的工作。 5 第二章实时人脸检测和跟踪设计 人脸检测与跟踪技术具有重要的潜在应用价值,它作为人脸识别、视频会 议、基于内容的压缩与检索、智能监控系统等领域中的一项关键技术,受到研 究者的普遍重视。本章研究彩色图像中的实时人脸检测和跟踪问题,是人脸表 情分析系统中的一个重要环节。彩色图像中的跟踪方法大多基于肤色特征,肤 色特征充分利用了彩色图像的信息,且不受人脸位姿的改变和部分遮挡的影响, 具有实现简单、实时性好的优点本章在肤色特征方法的基础上,针对多人脸 跟踪与匹配问题提出了基于2 d p c a 的人脸代数特征匹配方法,在速度和准确 性方面都取得了比较好的效果。 2 1 基于肤色模型的人脸检测 传统的人脸检测方法有:模板匹配法,特征脸法,基于统计模型的方法及 人工神经网络方法等。这些方法运算量都较大,检测效率低,一般不能满足实 时性的要求。肤色是人脸最重要而且明显的特征,不同人种、不同光照下,肤 色在色度空间都具有很好的聚类特性。另外它还具有运算速度快,对人脸姿态、 表情、遮挡物( 如眼镜,耳环) 不敏感等特点。因此考虑使用肤色模型的方法 进行人脸检测,从而大大缩小人脸搜索的范围,加快处理的进程。 基于肤色特征的人脸检测一般分为两部分,首先是通过人脸肤色特征对待 测人脸图像进行人脸分割,输出结果为人脸的候选区域,这个环节是利用人脸 肤色特征进行人脸的粗检测。第二个单元主要是对第一环节产生的候选区域进 行验证,以鄹除假的入脸区域,从而定位了真正的入脸区域。 2 1 1 肤色建模 2 1 1 i 色度空间选择 1 常用色度空间 对彩色人脸图像而言,一般情况下,图像的数据是以r 、g 、b 形式存放的, 反映的是此三色空间的信息。但是,在进行皮肤分割研究时,更多的是关心图 像的亮度、色度等信息。因此,通常采用其他的颜色模型,主要有y u v 、y 1 0 、 x y z 、y c b c r 等等。其中y u v 、1 i q 、x y z 是由r g b 转化来的亮度色度模型。y c b c r 是y u v 模型中的一种,是一个色差模型,利用了人对色度远没有对亮度敏感而 建立的,更符合人眼的视觉特点。其中y 是亮度信号,c b c r 是色度或彩度信号。 由于它受亮度变换的影响较小,且是两维独立分布,能较好的限制肤色的分布 区域,所以本文中采用的是y c b c r 这种颜色模型。 2 y c b c r 色度空间 y c b c r 色度系统也是一种常见的色彩系统,它是由y u v 色度空间衍生出来 的。其中y 还是指亮度,c b c r 则是由u 和v 做少量调整而得到的。 6 我们选用y c b c r 色彩空间,其具有如下一些优点: ( 1 ) y c b c r 色彩格式具有与人类视觉感知过程相类似的构成原理; ( 2 ) y c b c r 色彩格式被广泛应用在电视显示等领域中,也是许多视频压缩编 码,如m p e g 、j p e g 等标准中普遍采用的颜色表示格式; ( 3 ) y c b c r 色彩格式具有与h i s 等其它一次色彩格式相类似的将色彩中的 亮度分量分离开来的优点 ( 4 ) 相比h i s 等其它一些色彩格式,y c b c r 色彩格式的计算过程和空间坐标 表示形式比较简单。 ( 5 ) 实验结果表明在y c b c r 色彩空问中肤色的聚类特性比较好。 2 1 1 2 肤色建模的关键技术 肤色建模就是根据人脸肤色与其它背景颜色的差异这一特征来对输入图像 建立模型,借此对对象实现分析检测等功能。在肤色模型中有两个关键技术: i 光线补偿 肤色等色彩信息经常受到光源颜色、图像采集设备的色彩变差等因素的影 响,而在整体上偏离本质色彩而向某一方向移动。为了抵消这种整个图像中存 在着的色彩偏差,我们将整个图像中所有像素的亮度从高到低进行排列,取亮 度值排在前5 的像素点作为参考像素点,如果这些参考像素的数目足够多, 我们就将它们的亮度作为“参考白”( r e f e r e n c ew h i t e ) ,然后调整彩色图像的 r 、g 、b 三个分量的数值,使得这些亮点的平均灰度线性地变为最大值2 5 5 ,整 幅图像的其它像素点的色彩值也都按这一调整尺度进行变换。 令参考像素数目门限值r e f p i x t h r e s h 0 1 d = 2 0 0 ,具体计算步骤如下: s t e p l :计算像素的灰度值以统计获得灰度直方图; s t e p 2 :根据r e f p i x t h r e s h o l d 统计出在r e f p i x t h f e s h 0 1 d 门限范围内的临 界灰度级别c r a y o f c r i t i c a l ; s t e p 3 :统计灰度值在 c r a y o f c r i t i c a l ,2 5 5 范围内的像素的灰度平均值 a v e r g g r a y ; s t e p 4 :计算补偿系数c 。= 2 5 5 0 a v e r g g r a y ; s t e p 5 :利用补偿系数对所有像素的值进行放大,即:放大后的基色值用r , f ,g 表示,则计算表达式为: j r = r + c b = b + c i ( 2 - 1 ) l g ;g g 下面给出两幅图像的处理对比结果,如图2 1 所示。从图中可以看出,经 过亮度补偿后,原图的偏色被有效消除了,这样可以减少误判非肤色像素的机 会,提高肤色模型的检测率。 7 ( a ) 原彩色图像 ( b ) 光线补偿后的图像 图2 - i光线补偿对比结果 2 非线性分段色彩变换 这是我们构成的实际利用的肤色模型的主要部分。肤色模型的建立首先要 选取一种合适的色彩空间,我们选用的是y c b c r 色彩空间。 y c b c r 色彩格式是由r g b 色彩格式通过线性变换得到,所以其亮度分量y 并不是完全独立于色度信息而存在,肤色的聚类区域也是随y 的不同而呈非线 性变化的趋势。这种依赖关系在很大程度上影响了图像的检测,因此本系统实 现的时候对y c b c r 空间又进行了一次非线性的转换,用来消除色度对亮度的依 赖关系。 图2 - 2 肤色点在y c b c r 空间 从图2 - 2 中可以看出,在y c b c r 色彩空间中,肤色聚类是呈两头尖的纺锤 型,在y 值不同的地方,取c b c r 子平面的投影,得到的结果也不同的,因此, 简单地排除y 分量,按照传统的做法在二维c b c r 子平面中寻求肤色的聚类区 域是不可行的,我们必须考虑y 值不同造成的影响,从而对y c b c r 色彩格式 8 进行非线性分段色彩变换。 图2 - 3c b 分量随y 分量的变化 图2 4c 分量随y 分量的变化 从图2 - 3 和图2 - 4 反映了我们的肤色聚类的边界上,c b 分量和c f 分量随y 分量变换的情况。我们可以看出。在国2 - 3 和图2 - 4 中,用这四个边界柬限制 肤色聚类区域可以很好地适应亮度过明或者过暗的区域,从而使肤色模型的鲁 棒性大大地提高。经过了非线性分段色彩变换得到的色彩空间我们用y c b c r 表 示。y c b c r 坐标空间到y c b c r 坐标空问的变换过程推导如下; ( 1 ) 在图2 - 3 、图2 4 中,我们将肤色区域的中轴线分别用g ( 1 ,) 和e ( 1 ,) 来 表示,可以得到g ( y ) 和e ( y ) 的表达式为: g ( 即= c r ( n = 1 0 8 + ( k , - 7 r ) 0 1 1 - g - 一l o s ) j ,( y k d r 雌一瓦 1 5 4 一( k r - y ) ( 1 5 4 - 1 4 4 ) 矿( y - g d k 一毛 ( 2 2 ) ( 2 3 ) 其中,置和玩为常量,也就是非线性分段色彩变换的分段阈值,分别为: 9 fw l c s4 坠专雩苎盟i f ( y 葺) 耽。m : 局一y 劬 “( 2 - 4 ) 1州驴w h c , + 坠蜘胛圳 c ,:睁y ) 氰功。裹斋而蚝) 胛 k ,o r k h l ,) ( 2 5 ) 图2 - 5 变换后的肤色聚类分布 经过这样的非线性分段色彩变换,我们的肤色聚类在】q c ? 空间中的分布 如图2 - 5 所示。再将其投影到g 一c j 二维子空间,我们就可以得到实用的肤色 聚类模型。我们可以用一个椭圆来近似这一肤色区域,如图2 - 6 中的椭圆。我 们得到它的解析式为; 蝉+ 业型;1 ( 2 - 6 ) 她 拌r c o m s 0 口矧到 协, t 0 解析式中的常量分别为: p 巳= 1 6 0 ,e 0 = 2 4 1 ,a = 2 5 3 9 ,b = 1 4 0 3 g = 1 0 9 3 8 , 勺= 1 5 2 0 2 ,0 = 2 ,5 3 ( 弧度) 从上面的公式可以看出,在人脸建模的时候用到的主要是y c b c r 空间中的 色度信息,建模的形式是椭圆公式匹配两个色度分量的距离。 图2 - 6 投影后的肤色聚类模型 2 i 2 人脸分割及验证 根据肤色模型得到一定光照下的肤色阈值,对待检测彩色图像二值化。得 到的二值图像边缘较模糊,可能存在由于噪声而引起的被误判为肤色的孤立像 素点和由于人脸部眼睛、嘴等非肤色区域所导致的整个人脸非完全填充,因此 需要对二值图像进行预处理,去除噪声,增强边缘。我们利用图像密度p ( x ,j ,) 去 除毛刺点。当二值图像中某像素点邻域内的图像密度p ( x ,) ,) 超过某一阈值,认 为它为肤色像素点,否则为毛刺点,将其去除。去噪后的二值图像边缘清晰, 但大块区域中仍有非填充小区域( 空洞) ,还需进行空洞弥合。为使区域归并算 法得到正确的归并范围,对图像进行数学形态学处理,将腐蚀、膨胀算子作用 于二值图,增强边缘,弥合空洞。之后,采用一种快速的、基于图像二维空间 投影的区域归并算法进行区域分割。通过区域合并可在一幅图像中确定具有人 脸肤色特征的各个目标矩形包围盒,这些目标称之为候选目标。 候选目标中可能包括与肤色分布相近的其他物体形成的候选区( 如入的手 臂) 。因此,需要使用人脸独特的特征对候选区域进行特征匹配,从而确定人脸 区域。为了降低特征匹配的搜索空间,提高检测效率,首先检查候选区域的形 状,根据人脸的生理特点,保留长度与宽度比介于0 8 2 5 之间的候选区域【4 引。 裸露的脖子也可能在待选区域内,所以由准确定位的脸部上边界重新调整候选 区域的大小( 不考虑头部有帽子等其他装饰品) ,使得候选区域的长度为宽度的 i 3 倍( 取经验值) 。 特征匹配选取人的嘴部,这样可以适用于戴眼睛的人。实验数据分析表明嘴 唇区域的c b 值聚类性较好,故采用y c b c r 空间建立唇色模型,选取 c 6 卜1 0 ,8 1 ,c r 【1 5 ,3 2 】,方法与建立肤色模型大致相同。嘴位于人脸的下半部, 只在待选区域的下半部分进行搜索匹配。同样,也要采用一些判断规则来排除 非嘴唇区域。非嘴唇区域的判定规则如下; ( 1 ) 如果放检测出的嘴唇区域的像素点个数小于一定阈值,则将其排除; ( 2 ) 如果连通唇色区域外接矩形的面积与整个图像面积的比值大于一定阈 值,则将其排除; ( 3 ) 根据连通唇色区域的像素点个数和外接矩形面积的比值来进行判断: 假如小于一个阈值,则删除该区域。 ( 4 ) 判断外接矩形的长和宽比是否介于一定阈值,否则删除。 按上述方法进行的人脸检测结果如图2 7 所示。实验结果表明该方法能有 效地排除人体其它部位和与人脸颜色相近的背景形成的入脸待选区域,如手臂 等。 ( a ) 原图( b ) 肤色模型分割 c o ) 滤波及形态学( d ) 特征匹配结果 ( e ) 人脸检测结果 得到的二值图处理后的二值图 图2 7 人脸检测各阶段结果 2 1 3 检测结果 我们根据以上所述的算法,用v i s
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 【正版授权】 ISO 18708:2025 EN Solid recovered fuels - Determination of bulk density
- 2025年工业废气治理系统编程程序员编程能力考核试卷
- 2025年虚拟电厂数字化管理系统合规考核试卷
- 光催化制氢材料研发进展与应用考核试卷
- 考点解析人教版八年级物理上册第4章光现象综合练习试卷(含答案详解)
- 2025年物流数字化转型跨境供应链可视化合规考核试卷
- 2025年医学影像技术(中级)《CT诊断学》AI辅助脑静脉窦血栓CT影像诊断考核试卷
- 难点详解人教版八年级物理上册第5章透镜及其应用专项练习试题(解析卷)
- 解析卷-人教版八年级物理上册第5章透镜及其应用-透镜达标测试试题(含答案解析)
- 兴趣撬动儿童数学思维的支点
- 2025年电商平台生鲜配送售后服务标准范本3篇
- DB36-T 1941-2024 老年人轻度认知障碍筛查与干预指南
- 2024年09月2024秋季中国工商银行湖南分行校园招聘620人笔试历年参考题库附带答案详解
- 儿童青少年行为和情绪障碍的护理
- DB45T 2178-2020 甘蔗产量现场测定操作规程
- 实验设计DOE培训
- 第9课-秦统一中国【课件】(共30张课件)
- 智算中心发展创新指南
- 成都中医药大学《诊断学基本技能训练(一)》2021-2022学年第一学期期末试卷
- 2025年九省联考新高考 英语试卷(含答案解析)
- 数据分包灵活传(教学课件)-七年级信息科技全一册同步教学(人教版2024)
评论
0/150
提交评论