（精密仪器及机械专业论文）基于视频的人脸跟踪及其表情识别研究.pdf

摘要 基于视频的人脸跟踪及其表情识别在智能监控、视频会议、虚拟现实、人机交互、基于 内容的图像检索、医疗和汽车电子等领域有着广阔的应用前景，研究其实现方法有着重要的 理论意义和工程应用价值。 论文的研究_ t 作主要包括： l 、 提h 了基于肤色和a d a b o o s t 方法相结合的人脸检测方法，并在此基础上，采用 c a m s h i f i 算法在视频序列中跟踪人脸，取得了满意的跟踪结果。 2 、研究了人脸表情识别的方法。首先对含有表情的人脸图像进行预处理，裁剪出几何 归一化的人脸图像；接着对表情图像进行灰度均衡化和灰度变换处理，使表情图像具 有统一的均值和均方差；最后，提出了采用主成分分析降低表情图像特征空间维数与 采用线性判别分析对表情类别进行最优投影相结合的表情识别方法。 3 、 利用本文研究的基于视频的人脸跟踪及其表情识别方法，在v i s u a lc + + 环境下编程 实现了人脸跟踪交互系统和人脸表情识别交互系统。实验结果表明，本文提出的人脸 检测跟踪和表情识别方法是行之有效的，并为进一步的研究奠定了良好的基础。 关键字：人脸检测人脸跟踪表情识别主成分分析线性判别分析 a b s t r a c t f a c et r a c k i n ga n de x p r e s s i o nr e c o g n i t i o nb a s e do nv i d e op l a ya ni m p o r t a n tr o l ei ns m a r t s u r v e i l l a n c es y s t e m , v i d e oc o n f e r e n c e ，v i r t u a lr e a l i t y , m a n m a c h i n ei n t e r f a c e ，m o d e l - b a s ei m a g e s e a r c h ，m e d i c a lt r e a t m e n t ，v e h i c l ee l e c t r o n i ca n ds oo i l t h es t u d yh a sa ni m p o r t a n ts i g n i f i c a n c e o nt h e o r ya n da p p l i c a t i o n r e s e a r c h e sa r em a i n l yf o c u s e do nt h ef o l l o w i n ga s p e c t s ： 1 ac r e d i b l ef a c ed e t e c tm e t h o dc o m b i n et h em e t h o do fs k i nc o l o rw i t ht h em e t h o do f a d a b o o s ti si n t r o d u c e di nt h ep a p e r b a s e do nt h er e s u l to ff a c ed e t e c t ，u s et h ea l g o r i t h mo f c a r n s h i f it r a c k i n gf a c ei nt h ev i d e os e q u e n c e sa n dg e t sag o o de f f e c t 2 t h ep a p e rs t u d i e dt h em e t h o do ff a c i a le x p r e s s i o nr e c o g n i t i o n f i r s t l y , t h ei m a g e sw i t hf a c e e x p r e s s i o nh a v et ob ep r e t r e a t e d ，c u to u tt h ei m a g e sw h i c hh a v et h es a m es h a p e s e c o n d l y , c h a n g e t h ei m a g e si n t ot h es a m es i z ew i t hb i l i n e a ri n s e r tv a r i a b l ea l g o r i t h m i no r d e rt or e d u c et h ee f f e c t o fi l l u m i n a t i o n t h ei m a g e sw i t he x p r e s s i o nh a v et ob ep o i s e da n dt h e nt r a n s f o r m e dw i t ht h es a m e a v e r a g ev a l u ea n dm e a ns q u a r ee r r o r a tl a s t ，a l lf a c i a le x p r e s s i o nr e c o g n i t i o nm e t h o dc o m b i n e p r i n c i p l ec o m p o n e n ta n a l y s i sw i t hl i n e a rd i s c r i m i n a n ta n a l y s i si si n t r o d u c e d u s et h em e t h o do f p r i n c i p l ec o m p o n e n ta n a l y s i sr e d u c et h ed i m e n s i o no ff a c i a li m a g e ，t h e nu s et h em e t h o do fl i n e a r d i s c r i m i n a n ta n a l y s i sp r o j e c te x p r e s s i o nc h a r a c t e r , a f t e rt h e s ec l a s st h ee x p r e s s i o ni m a g e s 3 u s et h em e t h o do ff a c et r a c k i n ga n de x p r e s s i o nr e c o g n i t i o nb a s e do nv i d e ow h i c hi s s t u d i e di nt h ep a p e r , f a c et r a c k i n gi n t e r f a c es y s t e ma n df a c i a le x p r e s s i o nr e c o g n i t i o ni n t e r f a c e s y s t e mh a v eb e e np r o g r a m m e d 埘mv i s u a lc + + t h ee x p e r i m e n tr e s u l ts h o w st h a tt h em e t h o do f f a c et r a c k i n ga n de x p r e s s i o nr e c o g n i t i o np r o p o s e di nt h ep a p e ri su s e f u la n di th a se s t a b l i s h e d g o o df o u n d a t i o nf o r t h ef u t u r er e s e a r c h k e y w o r d s ：f a c ed e t e c t ；f a c et r a c k ；e x p r e s s i o nr e c o g n i z e ；p c a ；l d a i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：垦垄 日期：巡主! 星 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：廛! 虽导师签名： 第一章绪论 第1 章绪论 1 1 论文研究的背景和意义 表情是人类用来表达情绪的。种基本方式，是非语言交流中的一种有效手段【l j 。心理学 家m e h r a b i a n l 2 1 给m 了一个情感表达公式：感情表露= 7 的言词+ 38 的声音+ 55 的面部表情。面部表情能够准确而微妙的表达人的情感，人们可以通过表情辨知对方的态度 和内心世界，面部表情在人们的日常生活交流中起着至关重要的作用。 随着计算机科学技术的迅猛发展，人们认知自然、改造自然的方式也随着发生变化，计 算机在人类生活中开始扮演着越来越熏要的角色。为了使人类与计算机问更加智能、自然的 交互，新型的人机交互技术正逐渐成为研究热点。随着人机交互技术日益成为人工智能领域 中研究的热点，人脸跟踪及表情识别开始受到广泛的关注，通过人脸跟踪可以让摄像机定位 人脸，通过对人脸表情的研究，可以让计算机判断并理解人的情感，甚至可以做出回应。计 算机和机器人如果能够像人类那样具有理解和表达情感的能力，并能够自主适应环境，这将 从根本上改变人与计算机之间的关系，一方面计算机能够智能的感知人的意图，另一方面， 人可以不必坐在计算机前通过鼠标和键盘操作计算机，而是以更加自然和人性化的方式同计 算机进行交流。将人脸位置与表情、声音、视线、人体姿态等信息结合起来可以获得更高效、 更人性化的人机交互的目的，使计算机能够更好的为人类服务。 人脸跟踪及其表情识别技术在智能安全监控，视频会议，虚拟现实技术，人机交互，图 像检索，医疗和汽车电子等多个领域都有着极大的应用，具有广泛的应用前景。其具体的应 用领域如下： ( 1 ) 智能安全监控领域 智能安伞监控主要应用于那些对安全要求较高的场合，如银行、飞机场、体育场等。随 着北京2 0 0 8 年奥运会的日益临近，机场、体育场和各种公共场所的安全管理就显得尤为重 要，当发现与数据库中的犯罪嫌疑人相匹配的可疑人物或者具有异常表情的可疑分子时，系 统就会向保卫人员准确及时地发 n 警报，从而避免犯罪的发生，同时也可以减少了雇佣大批 监视人员所需要的人力、物力和财力的投入；在需要进行访问控制的场合，可以利用识别技 术，以便确定来访者是否有进入该安伞领域的权利，例如在足球比赛进场的时候，通过该系 统可以较好的控制足球流氓的进入和闹事。 ( 2 ) 视频会议领域 随着计算机视觉技术和网络多媒体技术的快速发展，视频会议已经受到越来越多的关 注。相比传统的会议模式，视频会议具有节省会议的经费和时间，提高开会的效率，适应自 然条件影响和参会人员限制等优势，远程视频会议已经得到越来越广泛的应用。新型的视频 会议除了对数据传输方式有极大的要求之外，更要求视频会议的效果，要求在视频会议中。 作报告的发言者始终处于视频的范围之内，不能使镜头偏离报告人太远，这就用到了视频中 的人脸跟踪技术，使镜头始终跟踪报告人，使视频会议达到参会者身临其境的效果。 ( 3 ) 虚拟现实领域 虚拟现实的目的就是为人们提供一个虚拟的交- 瓦世界。而在这个虚拟世界中，利用人脸 运动跟踪、手势识别跟踪和人脸表情识别等方面的技术成果，将提供给用户提供更加广阔的 交互空间；我们想要再现一个用户的表情，就必须首先获得他在真实物理窄间中的表情，然 东南大学硕士学位论文 后反映到虚拟空间中去，这也就是需要用到人脸表情识别的原因。另外，面部表情识别在人 脸动画制作、虚拟工作室等其它虚拟现实场合也有着相当广泛的应用。 ( 4 ) 人机交互领域 在人机交互的应用领域中，我们希颦与机器之间的交流，能够像人与人的交流一样容易 和便捷。人与人之间的信息交流i 要是依靠语言，并结合面部表情、手势和身体姿势等，冈 此视觉信息可以作为语音和自然语言理解的有效补充来完成更加智能的人机交互。这要求计 算机必须具备感知外部环境的能力，不依靠传统的键盘或鼠标输入模式，能够独立地提取周 围环境的重要信息( 如检测到人脸的存在并跟踪人脸等) ：更进一步的能力是进行表情的识别 和行为理解，结合身体姿势和手势等的分析来与人进行相应的交流。 ( 5 ) 图像检索领域 随着多媒体技术的迅速发展，如何从大量的视频或图片中快速的寻找到自己想要的一些 资料已经成为许多学者关心的内容。比如说想找包含某个人物某种表情的图片，可以通过提 取该人物面部的表情、纹理、形状等特征，利用该特征进行搜索匹配，找到想要的视频或图 片，从而大大提高检索的速度。 ( 6 ) 医疗领域 电子护： ：【3 】是一个专门用来照看病人的具有表情识别功能的医疗装置，主要设备是一台 安装在病人床头的带有表情识别功能的摄像机。在某些情况下，病人双手的活动往往受到一 定的限制，无法便利地进行按钮呼叫，电子护士通过自身带有的表情识别功能，能够很好地 解决上述问题，对于需要服务的病人来说，并不需要费力去按按钮，只要做出痛苦的表情， 电子护士马上就会发出呼叫信号，提醒医护人员提供必要的服务，以便能对紧急情况做出及 时处理。 ( 7 ) 汽车电子领域 在对交通事故进行统计分析的报告中有数据表明，造成交通事故的原因主要有疲劳驾 驶、行人进入高速公路、司机措施不当、车距过近、违章越线、天气恶劣、爆胎、超速等 1 0 多种，其中疲劳驾驶位列第一，占所有交通事故起因的2 7 。利用表情识别技术，可以通 过安装在驾驶室前方的摄像头检测驾驶员的面部表情，判断其疲劳与否，若驾驶员表现出疲 劳状态，则利用语音报警或者驾驶座椅震动等方式提醒驾驶员，从而有效地达到减少交通事 故的目的。 综上所述，基于视频的人脸跟踪及其表情识别在综上所述许多领域都有着广阔的应用前 景和重大的应用价值，冈而，目前越来越多的学者都投入到了该课题的研究当中。本文所研 究的基于视频的人脸跟踪及其表情识别系统涉及计算机视觉、图像处理、运动跟踪、模式识 别、生理学以及心理学等研究领域，是当前国内外模式识别和人工智能领域的一个研究热点。 1 2 国内外研究现状 1 2 1 人脸跟踪的研究现状 人脸跟踪主要包括人脸检测和运动预测两个方面，这两个方面是相辅相承的。人脸检测 是核心，其作用是确定跟踪对象，为运动预测提供依据；而运动预测的只的则是预先估计跟 踪对象下一个可能的状态，为下次人脸检测提供大致的状态信息，其作用是提高检测速度。 它不仅涉及到一般图像处理，而且更多地涉及到图像的理解和描述，如模糊处理、神经网络、 人工智能等领域。人脸跟踪等价于在连续的图像帧问创建基j j ：位置、速度、形状、纹理、色 彩等有关特征的对应匹配问题j 常用的数学工具有卡尔曼滤波、动态贝叶斯网络等。人脸跟 踪算法的分类方式很多，可以按跟踪环境分为室内或户外、按跟踪人数分为单人、多人、人 2 第一章绪论 群，也可以根据摄像机状态分为运动或固定等类别。 目前，国内外关于人脸检测和跟踪的方法多种多样，并且不断有新的研究成果出现。但 是，人脸检测和人脸跟踪与环境相关，具有很大的复杂性，要实现任意场景下对任意人脸的 准确检测与稳定跟踪，是非常困难的。因此，解决特定约束条件下或某种应用背景下的人脸 检测和人脸跟踪问题，仍将是该领域研究的土要课题1 4 j 。 在国内，一些学校及科研机构从事人脸检测跟踪的相关研究，已取得了一些研究成果。 其中，清华大学的艾海剧副提出了种基于人脸检测技术的人脸跟踪算法，利用前一帧的人 脸检测结果预测当前帧中人脸可能的尺度与位置范围，采用模板匹配与人工神经网分类的方 法实现快速而可靠的人脸跟踪：卜海交通大学的戚飞虎【叫提出一种基于混合肤色模型的实时 人脸跟踪方法，采用基于点的运动预测来减少搜索区域进行人脸跟踪；哈尔滨工业大学的高 文等提出基于肤色与运动模型的人脸跟踪方法；东南人学的高建坡1 7j 等人在粒予滤波器的框 架之下，提出了一种以直方图描述的颜色和形状为线索的粒子滤波人脸跟踪方法。国外学者 在这一领域也进行了大量的探索研究，比较著名的有美国麻省理工学院、美国卡耐基梅隆人 学等。麻省理工学院的舭实验室及媒体实验室瞵j 对人脸建立了低阶参数模型，利用参数模 型对整个人脸进行相似跟踪：卡耐基梅隆大掣9 j ( c m u ) 的人机接口研究室将主动外观模型 与人脸图像前后帧中的非对称信息结合，用于人脸跟踪系统：斯坦福大学提出了将目标的颜 色直方图模型和灰度梯度模型联合对人脸进行实时跟踪【l0 1 。美国贝尔实验室f l l 】使用了运动 轮廓的角点作为对应特征进行跟踪，采用基于位置和点的曲率值的距离度量在连续帧间进行 匹配。 1 2 2 表情识别的研究现状 人脸表情识别技术已经成为一个科研热点，国外很多机构都在进行这方面的研列1 2 】。 最早的人脸表情研究，是s u w a 和s u g i e 等人于1 9 7 8 年对表情识别做了一个最初的尝试l i 引， 他们跟踪一段脸部视频动画，得到每帧图片上2 0 个关键点的运动规律，将此运动规律与预 先建立的不同表情的关键点运动模型相比较，这还只是初步的尝试，m a s e 1 4 j 贝使用光流来 跟踪面部的运动单元，掀起了动态表情识别研究的高潮。人脸表情识别技术的进步离不开表 情库的建立，起初e k m a 和f r i e s e n 系统地建立了一个有上千幅不同人脸表情的图像库，近 来美国卡耐基梅隆大学、耶鲁大学、日本的a t r 研究所也都建立了各自的人脸表情图像库。 美国卡耐基梅隆大学( c m u ) 和美国加州大学圣地亚哥分校( u i u d ) 的t h o m a s s h u a n g 和i r a c o h e n 同样针对连续视频序列中的表情识别提出了两种分类方法一树型贝叶斯神经网络 和隐马尔科夫模型，同时对这两个方法进行了改进l i 引，并于2 0 0 5 年底建立一套名为“声音、 面部、表情”的识别系统。b a r t l e t t 1 6 j 和c a l d e ra n d r e w l l7 j 分别将土成分分析( p c a ) 和独 立分量分析( i c a ) 算法用于表情识别：l y o n s 等 1 8 1 对图像进行二维小波变换，然后结合线 性判别分析( l d a ) 进行表情识别；g o n z a l e z 憎j 将双线性主动外观模型用于表情识别，都取 得了满意的结果。 存我国，人脸表情识别技术也逐渐开始受到重视。2 0 0 0 年，中科院先进人机通信技术 联合实验室的高文教授和金辉提出了一。种针对混合表情的识别系统1 2 u j ，掀起国内研究人脸 表情的热潮。2 0 0 3 年1 0 月，由中国科学院自动化研究所等单位牵头举办的第一届中国情感 计算与智能交互学术会议将人脸表情识别与合成作为会议内容之一，吸引了国内广大研究者 的极大关注。2 0 0 5 年，中科院心理研究所的汪亚珉和脑与认知重点实验室的傅小兰提出面 部表情与面孔身份识别的多级整合模型1 2 ，为人脸表情在心理学和生物医学领域的发展提 供了新的想法和思路。清华大学的周j i 2 2 1 提出利用因素分解模型，在子空间中利用余弦距 离进行人脸表情图像合成和识别；谭华犁2 3 j 对表情特征进行高阶奇异值分解，计算人脸相似 3 东南大学硕上学位论文 度加权距离，去除个体差异进行表情识别；东南大学的孙与d 2 4 j 提出一种基于2 维偏最小二乘 法的图像局部特征提取方法，并将其应用于面部表情识别中取得良好的表情识别效果；西北 工业大学的崔沽【z 纠采用局域二值模式技术提取面部特征，进行由粗略到精细的表情识别分 类；湖南大学的汤丽君1 2 6 j 提出了以相位表示脸部运动特征，处理这些特征并组成时序特征序 列，输入到改进的高斯混合隐马尔科夫模型进行表情识别。国家“8 6 3 ”计划、“9 7 3 ”项日、 国家自然科学基金等都对人脸表情识别技术的研究提供了项目资助。由此可见，国内外卜对 该项研究都给予了高度重视。可以想象，将来也必定会有越来越多的研究者投身其中，从事 这方面的研究工作。 1 3 论文主要研究的内容介绍 人脸跟踪及表情识别是跨学科富有挑战性的前沿课题，如何捕捉人脸面部的运动信息、 如何提取人脸的特征，以及如何对面部特征的形变进行分类都是表情识别技术需要解决的问 题。总之，新型的人机交互环境要求计算机必须具有自然化、智能化、人性化的特点。 人脸跟踪及其表情识别技术的发展离不开计算机视觉、图像处理技术、生理学等学科知 识的理论基础支持。在计算机视觉领域，刚体运动和非刚体运动的运动形式，主成分分析技 术以及线性判别等技术直接影响并作用于人脸面部表情特征提取和表情分类的解决过程中。 图像处理技术中的特征提取、图像匹配等也为人脸跟踪提供了重要的理论依据。生理学中的 人脸器官特征等因素都是本文的重要依据。前人在这些领域所作的研究与实践，得出的理论 和经验，都为本文研究提供了很大的帮助。 概括起来，本文在人脸跟踪及其表情识别研究方面，主要有以下几个方面的工作： 第一章介绍了本文的研究应用背景和意义，说明了人脸跟踪及其表情识别研究的发展历 史和研究现状。 第二章对人脸跟踪及其表情识别研究进行了综述，介绍了人脸跟踪及其表情识别的一般 流程及各流程所涉及的基本内容。 第三章详细介绍了人脸检测和跟踪的理论基础与分析方法。通过基于肤色特征和 a d a b o o s t 算法相结合的方法在图像序列中检测人脸，然后利用c a m s h i f t ( 连续自适应数学期 望移动) 算法来进行人脸跟踪。 第四章详细介绍了表情识别中的图像预处理过程。表情预处理包括几何规范化和灰度规 范化。几何规范化通过眼睛定位，使得人脸角度归一化；通过左、右眼的距离，分割出人脸 表情的有效区域。然后采用插值的方法来缩放图像，达到人脸表情有效区域尺寸归一化的目 的。灰度规范化先通过直方图均衡化，对图像进行灰度拉伸，改善图像的对比度；再通过灰 度变换，使图像具有统一的均值和方差，消除光照强度的影响。 第五章介绍了基于主成分分析和线性判别的表情识别。通过主成分分析的方法提取人脸 面部表情的特征向量，降低图像特征维数，然后采用线性判别分析的方法，将特征向量投影 到分类空间，最后采用距离分类的方法进行表情分类。 第六章介绍了基于视频的人脸跟踪与表情识别的应用。详细介绍了人脸跟踪交互系统和 表情识别交互系统的组成、具体编程实现以及系统的部分实验结果。 第七章对论文进行了总结，并对进一步的研究做出了展望。 本文的文章结构安排与所做的工作相对应，文章的组织结构如下图1 - 1 所示： 4 第一章绪论 图i - i 本文的组织结构 5 东南大学硕士学位论文 第2 章人脸跟踪及其表情识别研究综述 2 1 引言 基于视频的入脸跟踪及其表情识别研究是指通过分析可能含有人脸的视频图像序列，检 测、跟踪人脸，并对含有表情的人脸图像进行分类识别。它属于图像分析的范畴：从技术角 度而言，人脸跟踪及其表情识别的研究内容相当丰富，主要涉及到计算机视觉、图像处理、 模式识别、人工智能等学科知识；同时，非固定背景下的人脸检测、人脸的非刚性运动、人 脸表情的复杂多样性也为人脸跟踪及其表情识别研究带来了一定的挑战。建立人脸跟踪系 统，首先要对图像序列进行人脸检测，然后进行跟踪定位；建立表情识别系统要从人脸图像 中提取能够表征表情本质的信息，在提取特征数据的过程中，为了避免可能出现的维数危机， 可能还需要进行特征降维提取、特征分解等进一步的处理，然后要分析特征之间的关系，将 输入的人脸表情分类到相应的表情类别中。总体来说，人脸跟踪及其表情识别可以分为人脸 检测、人脸跟踪、表情特征提取和表情分类四个主要部分。 2 2 人脸的检测 人脸检测是指对于给定任一幅带有人脸的图像，确定所有人脸的位置、大小、位姿的过 程。人脸检测系统的输入是可能包含人脸的图像，输出是图像中人脸的数目、位置、尺度等 信息。 人脸图像包含有丰富的信息，所具有的特征包括颜色特征、轮廓特征、结构特征等，在 序列图像中还包含运动信息等。基于这些特征信息，人脸检测的方法【27 】大致可以分为四种： 基于知识的方法，基于特征不变的方法，基于模板匹配方法和基于外观的方法。 ( 1 ) 基于知识的方法 基于知识的方法是基于对人脸的先验知识的检测方法。由一些简单的规则来描述人脸特 征和各个特征问的相互关系，这些特征之问的相互关系可以通过它们的相对距离、位置或者 像素值之间的关系来描述。例如一幅图像中出现的人脸，通常具有互相对称的两只眼睛、一 个鼻子和张嘴，灰度图像中眼睛要比脸上其他地方暗等等。基于知识的方法中具有代表性 的方法主要有：y a n g 和h u a n g 提出分层的基于知识的人脸检测方法【2 引，他们的系统由三级 规则组成，在最高级，通过扫描输入图像的窗口找到所有可能的人脸候选区。较高级的规则 通常描述人脸看起来像什么，而较低级的规则依赖于面部特征的细节。另外，k o t r o p o u l o s 和 p i t a s l 2 9 提出了的基于规则的定位方法也较为典型。将输入图像的灰度值在水平和垂直方向进 行投影，通过检测投影的变化来获得脸部特征，认为检测到两个局部的最小点对应于头部的 左右两边，获得输入图像的水平轮廓，类似地可以获得垂直的轮廓，局部最小点的确定用于 定位嘴唇、鼻尖和眼睛，这些检测到的特征组成面部候选区。 ( 2 ) 特征不变的方法 基于特征不变的方法着眼于检测面部的一些不变的特征，例如眼睛、鼻子、嘴巴等。与 基于知识的自顶向下的方法相反，特征不变的方法是自下而上地寻找人脸的不变特征用于入 脸检测，然后综合找到的这些不变特征来确定待检测区域是否是人脸。l e u i l g 等【3 川提出任意 图匹配的方法，用五个特征( 两只眼睛、两个鼻孔以及鼻子与嘴唇的连接处) 的几何分布 6 第二章人脸跟踪及其表情识别研究综述 来描述人脸。g r a f 等p u 根据形态学的知识设定一系列的阈值找出眼睛、嘴巴等区域，最后 依照以上位置检测出人脸。这些算法存在的问题是，由于光照、噪声和遮挡等的存在，使图 像中的人脸特征可能被严重地破坏，人脸的特征边界被弱化，阴影可能引起很强的边缘，使 得此类算法难以应用。 ( 3 ) 模板匹配的方法 基于模板的方法可以分为两类：预定模板和变形模板。预定模板方法首先制定出标准的 模板，然后计算检测区域和模板的相关值，当相关值符合制定的准则就判断检测区域为人脸。 变形模板首先制定出模板参数；然后根据检测区域的数据对参数进行修改直至收敛，以达到 检测出入脸面部器官位置的目的。梁路宏等1 3 2 j 提出了多模板匹配的方法。预制人眼和不同 长宽比的五种人脸模板，首先用人眼模板进行初步筛选，然后用人脸模板进行检测以适应不 同的脸形。该方法对单人脸的检测有较好的效果。c o o t e s 等p 列提出了主动形状模型( a s m ) 和主动外观模型( a a m ) 两种经典的变形模板方法用于人脸检测。 ( 4 ) 基于外观的方法 与模板匹配方法中的模板由研究者预先定义不同，基于外观的方法首先通过学习，在大 量训练集样本的基础上，建：移一个能够区分入脸和非人脸的分类器，通过对被检测图像进行 全局扫描，用分类器检测扫描到的窗口中是否包含人脸，若有则给出人脸所在的位置。这种 检测方法的关键在于选取具有代表性的人脸和非人脸图像来训练分类器，分类器的实现可以 采用神经网络方法或传统的统计方法等不l 一的策略。 2 3 人脸的跟踪 人脸跟踪是指在图像序列中检测是否存在人脸，如果存在则确定其当前位置、尺度等信 息，并跟踪人脸在后续帧中的位置、尺度等信息。人脸跟踪的方法可以分为两类【3 4 】：一类 是基于人脸检测的方法，另一类是基于目标跟踪的方法。 基于人脸检测的方法是从人脸检测算法入手，把人脸跟踪看成是静态图像中人脸检测问 题的延伸，同时利用帧间图像相关性的约束来减小搜索空间。通常先根据运动信息得出图像 中可能存在人脸的区域，然后在可能的区域中利用人脸检测的方法确定人脸的精确位置，从 而减少人脸搜索的时间、增加处理的速度。 基于运动目标跟踪的方法从研究。般运动目标跟踪入手，算法主要解决一般运动目标的 跟踪问题，然后从运动目标中找出人脸部分，对人脸的位置、姿态的要求相对较低：缺点是 没有充分利用人脸的特征。基于目标跟踪的方法中常用的有：基于区域的跟踪、基于特征点 的跟踪和基于变形模板的运动跟踪。 ( 1 ) 基于区域的跟踪 基于区域的跟踪方法通过跟踪区域块来完成目标的跟踪。基于区域跟踪的难点是处理运 动目标的影子和遮挡，若利用区域跟踪器并结合目标的表面颜色模型或纹理性质，在遮挡情 况下也能够较好地完成多目标的跟踪。m e y e r 和b o u t h e m y l 3 5 1 提 h 的区域跟踪算法存每一个 区域内利用密度流场的仿射模型来进行运动分割和区域边界传播，算法中使用了两个 k a l m a n 滤波器，一个用来跟踪仿射模型参数的运动滤波，另一个用来跟踪区域边界的几何 滤波。 ( 2 ) 基于特征点的跟踪 基于特征点的跟踪包括特征点的选取和特征匹配两个过程。在目标跟踪时可将目标用一 个矩形框封闭起来，封闭框的质心被选择作为跟踪的特征；在跟踪过程中若两物体出现相互 遮挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行；该方法的优点是实现简单， 并能利用目标运动来解决遮挡问题，但是它仪仪考虑了平移运动，如果结合纹理、彩色及形 7 东南大学硕- 上学位论文 状等特征p 州可能会进一步提高跟踪的鲁棒性。另外，以卡尔曼滤波形式的点、线特征的跟 踪技术在计算机视觉领域中也已被很好地开发。 ( 3 ) 基于变形模板的运动跟踪 变形模板有1 卜参数变形模板和参数变形模板，参数变形模板又可分为参数化变形模板和 基于原型的变形模板。典型的s n a k e 算法是种非参数变形模板，应用s n a k e 算法可以跟踪 运动对象。为了解决对运动速度较大的对象的跟踪，可以通过轮廓的运动投影作为下一帧中 对象的粗轮廓，然后再使用s n a k e 算法得到分割结果。采用基于参数化变形模板取得了较好 的效果，有文献首先采用运动检测的方法减少了模板匹配的搜索范围，然后进行相关性匹配， 并在跟踪的过程中动态调整优化模板，跟踪效果比较好。 。 2 4 人脸表情特征的提取 表情特征提取是表情识别中最重要的部分，表情特征提取对表情识别性能有极大的影 响。表情特征提取可以分成表情原始特征生成、表情特征降维和提取、特征分解三个步骤来 完成i lj 。首先，利用特征形状与几何关系、局部纹理、光流场等形式的信息来获得表情的原始 特征，然而这些原始特征一般都存在维数过高等问题，需要对原始特征数据进行特征降维和 提取、特征分解等处理，以降低维数去除干扰因素，得到有利于表情分类的特征数据。 表情的特征提取有基于几何特征、外貌特征和序列特征等多种方法。p a n t i c l 3 7 1 提出一种 基于几何特征的自动提取脸部器官和轮廓基准点的方法，但其对基准点提取的准确性要求较 高，在图像质量低和背景复杂的情况下难以实现。基于外貌特征的g a b o r 小波和l b p p 驯( 局 部二元模式) 的方法被广泛应用于人脸表情特征提取。基于序列特征的光流法1 3 9 】也在表情 特征提取中得到较多应用。 由于原始特征生成方法尤其是外貌特征的空间维数通常非常巨大，因此需要通过一些映 射或变换将它们转换到低维的子空间来表示，不仅可以使特征的维数明显降低，而且低维空 间特征的有效性也将得到提高。常用的特征降维及提取的方法有主成分分析( p c a ) ，线性判别 分析( l d a ) 等。这些方法在进行特征提取时各有优势，如p c a 提取了最有代表性的特征， 可以有效地消除冗余，降低维数，但它没有考虑不同类别数据之间的区分性；而l d a 则通 过最大化数据的类间离散度和最小化类内离散度来选择合适的投影方向，侧重于寻找具有最 大分辨力的方向。 人脸图像包含了丰富的信息，人脸识别需要利用表示人脸个体差异的信息，而表情识别 则需要表示各种表情之间差异的信息，对一种识别任务有利的信息有可能反而对其他识别任 务造成干扰。所以，近年来提出特征分解的方法，把人脸不同的冈素如表情因素和个体因素 分离开来，使得识别能够在相应的子空间中进行，避免其他因素的干扰。 a b b o u d 【帅】提出用双线性模型的方法来进行人脸的外貌分解，首先使用a a m 的方法获 取人脸的特征参数，然后通过双线性分解模型的方法将人脸特征参数分解为与个体无关的表 情分量以及与个体相关的线性映射的乘积。w a n g 4 1 将高阶奇异值分解( h o s v d ) 的方法用于 脸部表情的分解，得到个体子空问、表情子空间和特征子空间。这类方法由于分解了人脸各 种不同的因素，不仅可以较好地应用于表情识别，也可以方便地进行人脸表情的合成，甚至 增加新的因素来满足不同光照和彳i 同角度的合成要求。 2 5 人脸表情的分类 表情分类是指定义一组类别，并设计相应的分类机制对表情进行识别，归入相应类别。 8 第二章人脸跟踪及其表情识别研究综述 高文教授等人根据e k m a n 的六种基本情绪进行总结，给出了六种单一表情的表现与结构特 点，如表1 所示： 表1 表情的结构特点 表情额头、眉毛眼睛 脸的下半部 惊奇眉毛抬起，变高变弯 眼睛睁大，上眼皮抬高，下眼皮下落下颌卜| 落，嘴张开，唇和齿分开，但 眉毛下边的皮肤被拉伸眼白可能在瞳孔的上边和或下边露嘴部不紧张，也不拉伸 皱纹町能横跨额头出来 恐惧眉毛抬起并皱在一起一i - h i i 睑抬起，下眼皮拉紧嘴张：嘴唇或轻微紧张，向后拉：或 额头的皱纹只集中在中拉长，同时向后拉 部，而不横跨整个额头 厌恶眉毛压低，并压低上眼睑在眼皮下部出现横纹，脸颊推动其向上唇抬起，下唇与上唇紧闭，推动上 上，但并不紧张后向上，嘴角下拉，唇轻微凸起，鼻 子皱起脸颊抬起 愤怒眉毛皱在一起，压低下眼皮拉紧，抬起或不抬起唇有两种基本的位置：紧闭，唇角拉 在眉宇问出现竖直皱纹卜眼皮拉紧，眉毛压低直或向下，张开，仿佛要喊 眼睛瞪大，可能鼓起鼻孔可能张大 高兴阍毛参考：稍微下弯下眼睑下边可能有皱纹，可能鼓起，唇角向后拉并抬高 但并不紧张嘴可能被张大，牙齿可能露出 鱼尾纹从外眼角向外扩张一一道皱纹从鼻子一直延伸到嘴角外 部，脸颊被抬起 悲伤眉毛内角皱在一起，抬眼角内的上眼皮抬高嘴角下拉 高，带动眉毛下的皮肤嘴角可能颤抖 人的而部表情及其变化相当复杂，恐惧的情绪可能同时伴随着悲伤、生气、厌恶等等， 混合情绪可能包括恐惧和高兴，从而产生出混合表情，最为经常的是恐惧和惊奇的混合表现， 即惊恐的表情。为此，研究者提出了多种方法将表情分类为6 种基本表情。g u e o r g u i e v a 4 2 j 使用人工神经网络的方法来进行表情识别；s e b e l 4 3 1 采用贝叶斯分类器的方法进行表情识别， 都取得了较满意的效果。近年来，在统计学习理论的基础上发展起来的支持向量机l 4 4 j 的方 法也被用于表情识别。隐马尔科夫模型【4 驯的方法近年来也被学者广泛是用于表情识别当中。 9 东南大学硕士学位论文 3 1 引言 第3 章人脸检测与跟踪研究 人脸检测与跟踪是计算机视觉和人工智能领域中的一项富有挑战性的工作，本章通过研 究基于肤色的人脸检测方法和基于a d a b o o s t 算法的人脸检测方法，提出了肤色与a d a b o o s t 算法相结合的鲁棒性较高的人脸检测方法；并在人脸检测结果的基础上，采用c a m s h i f t 方 法对图像序列进行人脸跟踪。 3 2 基于肤色特征的人脸检测 肤色是人脸的重要信息，不依赖于而部的细节特征，不仅对于旋转、表情变化等情况都 能适用，而且具有相对的稳定性，并且和大多数背景物体的颜色相区别，所以利用肤色特征 进行人脸检测具有自身的优势，因此，基于肤色特征的人脸检测技术得到广泛应用。该方法 先分割出可能的人脸候选区，然后结合人脸所独有的特征，确定候选区是否为人脸。其算法 流程图如图3 1 所示： 3 2 1 肤色分割 图3 - l 基于肤色的人脸检测算法流程图 肤色分割是指把人的肤色像素从图像中分割出来，剔除背景，得到只包含肤色信息的图 像。研究统计表明，不同种族、不同年龄、不同性别的人的肤色看上去不一样，主要是由于 l o 第j 章 n 齄o m 咪研究 亮度引起的：在色度空问里，不例人种的肤色分布具有聚类性。因而利用肤色信息具有计算 罱小、易于宴时处理等优点。目前常用的颜色模型主要有硒b 、h s v 和y c b c r 等颜色模型。 r g b 颜色模型是阿像处理中最常用、最基础的模型。摹于p c 的囤像采集设备最终采集的大 多是图像的r g b 值，颜色显示设备最终使用的也是r g b 值。但是r g b 颜色模型的晷分量均含 有亮度信息，相关度太大，环境光照变换时根容易导致r g b 值的变化。y c r c b 麒色模型作为 肤色分布统计的映射空问，该空间的优点是受亮度变化的影响较小，而h 是两维独立分布 能较好地限制肤色分柑区域。在y c r g b 颜色模型巾，c r 和c b 分量分s 表示红色和蓝色的色 度。为了消睬光照因素的影响，我们选择y c r c b 颜色模型，对输入的彩色图像进行颜色空间 转换，将其从柑关性较高的r g b 中间转挠到颜色分量互不相关的y c r c b 颜色窄问，其转换公 式如下： r c r l 02 9 9 - 0 1 6 8 7 0 5 0 05 8 7 - 93 3 1 3 - 9 4 1 8 7 0 0 1 1 40 o51 2 8 - 90 8 1 31 2 8 0 l r g b 通过 最分析 体肤色的颜色直方圈分布，发现当y c r c b 颜色模型中的像素满足 c b e 【8 0 ，1 3 0 l 且c r e 1 3 5 ，1 7 0 】时该像素为肤色像素，否则为非肤色像素。具体的处理 公式如下： r = g = b = 1 1 凸6 【8 q 1 3 0 】且0 6 1 3 5 , i 7 0 ( 3 - 2 ) l 0 e l s e 对输入的彩色罔像图3 _ 2 进行肤色分割处理生成肤色二值图像，如罔3 - 3 。 图3 - 2 输入的彩色图像圉3 0 肤色分割二值化后的图像 3 2 2 形态学操作 由于一些噪声和背景扰动的影响，经过背景肤色分；后的图像中不可避免地会存在一定 的j i 二扰，这时，我们就需要对图像进行后处理，奉文通过数学形态学算法实现。 数学形态学是一种用于图像处理的新理论和新方法它是基于形状集台理论而提出的， 其运算本质上是并行的，便于并行处理实现。用教学形态学算于对图像进行分割处理不需 要计算每点的局部特征，方法简单速度快且抗噪声能力比较强。数学形卷学中有p q 个较为 常用的运算，分别是膨胀、腐蚀、开运算和闭运算， 一营一 r 东南大学硕士学位论文 3 2 2 1 膨胀和腐蚀 ( 1 )膨胀( d i l a t i o n ) 膨胀的作用是把图像区域周围的背景点合并到区域内，其结果是使区域的面积增大 相应数量的点。如果结构元素取3 3 ，则称为简巾膨胀，其结果使区域的边界沿岗边增 加一个像素。如果区域是圆的，则每次膨胀后区域的直径增加两个像素。如果两个物体 距离比较近，通过膨胀可能连通在一起。膨胀对填补分割后物体中的空洞很有用。 一般意义的膨胀定义为 d ( x ) = x o s = x ，yi 氏个x ) = x ，yi & n x ) ( 3 3 ) 式( 3 3 ) 的意思是：如果结构元素s 的原点移动到( x ，y ) 位置，如果s 与物体 x 有任何一点同时为1 ，则新图像上相应点为l ，如果s 与x 完全没有相交，新图像上 相应点为0 。 ( 2 ) 腐蚀( e r o s i o n ) 腐蚀的作用是消除物体所有边界点。如果结构元素取3 3 的黑点块，则称为简单 腐蚀，其结果使区域的边界沿周边减少一个像素。如果两物体间有细小的连通，当结构 元素足够大时，腐蚀运算可以将物体分开。 一般意义的腐蚀定义为 e ( x ) = x 郇= x ，y i s x , x ( 3 4 ) 式( 3 - 4 ) 的意思是：当结构元素s 的原点移动到( x ，y ) 位置，如果s 完全包含 在x 中，则新图像上该点为l ，否则为0 。 3 2 2 2 开运算和闭运算 ( 1 ) 开运算 先腐蚀后膨胀的过程称为开运算。它一般的作用是消除细小物体，在纤细点处分离 物体和平滑物体边界时又不明显改变其面积。 x 关于s 的开运算定义为 ( x ) 。哪= x o s = ( x e s ) o s ( 3 5 ) ( 2 ) 闭运算 先膨胀后腐蚀的过程称为闭运算。其作用是填充物体内细小空间，连接相邻物体， 在不明显改变物体面积的情况下平滑其边界。 x 关于s 的闭运算定义为 ( x ) 哂= x s = ( x o s ) e s ( 3 6 ) 开、闭运算往往需要反复做多次，才能达到满意的效果。在本文的实验中，还含有少量 噪声的图像进行阈值二值化时，所得到的边界往往很不平滑，物体区域内部有孑l ，背景区域 上则散布有噪声，我们利用连续的3 3 结构元素的闭运算和开运算可以显著改善这种情况。 1 2 圈3 4 形态学操作后的图像图3 - 5 肤色算法的人脸检测结果 3 2 3 连通域数目判断 经过 述的数学形态学算法处理之后我们将得到一十较为完好的二值化酗像，但是， 由于人的嘴、眼睛、眉毛处的荫色和面部其他部分肤色有一定差异所以，在肤色丹割后的 二值化图像中会存在一定的“孔洞”。所以可以