基于+SIFT+算法的人脸表情识别优秀毕业论文.pdf

代号代号 分 类 号分 类 号 学号学号 密级密级 1070110701 tp391tp391 公开公开 09221215670922121567 题题 中 英文 中 英文 目目 基于基于 sift 算法的人脸表情识别算法的人脸表情识别 the recognition of facial expression based on sift algorithm 作 者 姓 名作 者 姓 名 莫修飞莫修飞 指导教师姓名指导教师姓名 职务职务 裘雪红裘雪红 教授教授 学 科 门 类学 科 门 类 工学工学 提交论文日期提交论文日期 二 一二年二月二 一二年二月 学科 专业学科 专业 计算机应用技术计算机应用技术 创新性声明创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果 尽我所知 除了文中特别加以标注和致谢中所罗列的内容外 论文中不包 含其他人已经发表或撰写过的研究成果 也不包括为获得西安电子科技大学或其 它教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所作过 的任何贡献均已在论文中做了明确的说明并表示了谢意 申请学位论文与资料有不实之处 本人承担一切相关责任 本人签名 日期 关于论文使用授权的说明关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定 即 研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学 本人保证毕 业离校后 发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学 学校有权保留送交论文的复印件 允许查阅和借阅论文 学校可以公布论文的全 部或部分内容 可以允许采用影印 缩印或其它复制手段保存论文 保密的论文 在解密后遵守此规定 本学位论文属于保密在 年解密后适用本授权书 本人签名 日期 导师签名 日期 摘 要 近年来 在自然化 智能化的人机交互研究和情感智能领域已经取得令人瞩 目的成果 其中一项关键的技术就是如何获取人的内心情感 表情是人们内心情 感的重要表现形式 能够深刻地反映人们内心状态的变化 所以 人脸表情识别 技术引起了研究者们的广泛关注 本文对近年来在表情识别方面的相关技术和理论进行学习研究 并将理论付 诸实践 首先采用自适应阈值分割和基于 haar 特征的 adaboost 方法对人脸进行检 测 其次 采用尺度不变特征变换 sift 方法提取表情图像特征 同时为了提 高识别的实时性和准确率 在提取训练样本特征时 根据 fisher 准则选取最有代 表性的 15 个特征点来表征一幅表情图像 最后 采用有判别力的尺度不变特征变 换 d sift 和权重投票机制 wmv 来进行分类识别 最后 本文基于以上算法设计并实现了一个表情识别系统 完成了基于视频 的人脸检测 特征提取与表情识别 并从实验上验证所采用方法的准确性和有效 性 关键词 人脸表情识别 haar特征 sift 特征提取 d sift 表情识别 abstractabstract in recent years the field of naturalized and intelligent human computer interaction research and the emotional intelligence field have achived a lot of remarkable achievements in these areas a key technology of how to get people s inner feelings has been paid a lot attention expression is an important form to display people s inner feelings which can deeply reflect changes of the people s inner state therefore the facial expression recognition technology attracts wide attention from researchers this paper firstly discribes related theory and technology of the facial expression recognition in recent years and puts theory into practice the self adaptive thresholding method and adaboost method based on haar features are used to detect faces secondly scale invariant feature transform sift method is used to extract features from expression images meanwhile in order to improve the accuracy of recognition timely this paper extracts features from the training samples in which 15 representative feature points will be selected to represent an expression image according to fisher criterion thirdly discriminative scale invariant feature transform d sift and the weighted majority voting wmv classifi er are employed to get the final result finally this paper implements a facial expression recognition system based on the methods that have been refered above it takes three steps to gain this purpose they are detecting face extracting features and recognizing facial expression at the same time the accuracy and effectiveness of the methods could be verified by experiments based on this system keywords facial expression recognition haar features sift feature extraction d sift expression recognition 目录 1 目录 第一章 绪论 1 1 1 引言 1 1 2 课题背景及意义 1 1 3 人脸表情识别技术的发展历史 2 1 3 1 人脸表情识别技术的发展及现状 2 1 3 2 人脸表情识别的未来 3 1 4 本文的研究工作 4 1 5 各章安排 5 第二章 人脸表情识别系统综述 7 2 1 人脸检测基本理论 7 2 1 1 人脸检测常用方法 7 2 1 2 人脸检测方法总结 9 2 2 表情特征提取基本理论 9 2 2 1 针对静态图像 10 2 2 2 针对图像序列 10 2 2 3 特征选择 降维 分解 11 2 3 表情分类识别方法 13 2 4 本章小结 14 第三章 人脸检测 15 3 1 自适应阈值分割 15 3 1 1 阈值分割概述 15 3 1 2 阈值分割算法流程 16 3 2 adaboost人脸检测 17 3 2 1 haar 特征 17 3 2 2 adaboost 算法概述 20 3 3 人脸检测的其他处理 21 3 3 1 光线补偿 21 3 3 2 图像裁剪与尺度归一化 23 3 4 人脸检测实验结果分析 24 3 5 本章小结 25 第四章 基于 sift 特征的表情识别 27 4 1 sift 算法理论基础 27 4 1 1 尺度空间理论 27 4 1 2 sift 特征点提取 28 4 1 3 sift 算法小结 32 4 2 基于判别的 sift 的表情识别理论 35 4 2 1 kl散度 35 4 2 2 基于判别的 sift 的表情识别 37 目录 2 4 3 实验结果分析 39 4 4 本章小结 40 第五章 人脸表情识别系统的实现 41 5 1 系统的总体框架 41 5 2 系统的设计与实现 42 5 2 1 系统的软硬件环境 42 5 2 2 系统主要类的实现 42 5 3 系统的功能分析 43 5 3 1 系统基本功能描述 43 5 3 2 系统的不足之处 46 5 4 本章小结 47 第六章 总结和展望 49 6 1 工作总结 49 6 2 进一步的研究工作与展望 49 致谢 51 参考文献 53 第一章 绪论 1 第一章 绪论 1 1 引言 面部表情是人与人之间进行交流的一种重要途径 也是表达情绪的一种基本 方式 在非语言交流中占有极其重要的地位 表情是对内心思想活动的一种表露 和刻画 人们可以通过表情间接地表达自己的思想感情 传递自己的态度以及意 愿 也可通过对面部表情准确 细致地分析 辨识出对方的思想状态和内心世界 对于表情能够传递信息的这个作用 心理学家 mehrabian 1 给出了一个公式 感情 的表露 7 的言词 38 的声音 55 的面部表情 所以相对于言词与声音 面部 表情在感情的表露中占有较大的比重 所能传递的信息量也更大 对面部表情的 分析与识别能更好地捕捉人们在无意间所表现出的最真实 确切的信息 近年来 人机交互和情感智能是两项前沿性的研究课题 其中 怎样获取人 们的内心情感又是一项至关重要的技术 而表情作为人们的内心情感的表现形式 包含了大量的有关人们内心世界状态的信息 面部表情识别因而引起了人们的广 泛关注 如何提取人脸面部的表情信息 如何对提取的信息进行分析 整理 归 类 来反应和描述人们内心的心理状态等是表情识别研究领域需要解决的问题 作为一个涉及多学科的研究课题 人脸表情识别涉及到心理学 生理学 计算机 科学 认知学等多个学科 本文旨在学习人脸表情识别的相关理论 并在对传统 的人脸表情特征提取方法和识别方法进行研究的基础上 构建一个人脸表情识别 系统 1 2 课题背景及意义 面部表情是非语言交流的重要组成部分 同样也是人体语言的一部分 在人 们的日常交流中起到至关重要的作用 人脸表情分析是指利用计算机对人脸面部 表情及其变化进行分析 总结 分类 从而确定人的内心情绪波动或思想活动 实现人与计算机之间自然 智能化的交互 它是计算机情感计算的重要研究内容 之一 人脸表情识别技术已经在人们的生活中得到了一定的应用 尽管这些应用还 停留在某些特定的场所 功能也是十分有限 但是却受到了广泛的关注 在人机交互领域中 面部表情识别技术主要应用在两个方面 一是用户把面 部表情作为控制命令 来控制计算机执行相应的操作 让计算机实时地监控人脸 面部表情变化 当监控系统监控到某个作为控制命令的表情信息时 计算机就会 基于 sift 算法的人脸表情识别 2 按照预先设定好的程序作出反映 执行相应的指令 二是利用计算机分析用户的 面部表情 推测用户的内心情感 从而给出相应的人性化的服务 在安全领域中 人脸面部的表情信息是一种重要的生物信息 可以用来表征 验证身份 每一个 人表情产生的部位 表情的强度 表情产生时脸部器官的轨迹等等会有很大的差 距 表情这种人与人之间的不一致性相对于人脸 指纹 虹膜这些相对不变的特 征更加不容易被伪造 在交通安全领域中 研究表明造成交通事故的原因主要有 疲劳驾驶 司机措施不当 天气 超速等十多种 而疲劳驾驶位列第一 占所有 交通事故的 27 针对此类情况 haisong gu和 qiang ji等人设计了用来监控并 检测司机疲劳状态并实时地提醒司机需要注意安全的设备 2 这种设备会实时分析 司机的疲劳状态并予以判断 当预测司机疲劳程度会影响安全时 设备会采取必 要的措施来防止可能的交通事故 在医疗领域中 y dai等人设计了用来照看病人 的电子护士 3 在很多情况下 病人的活动往往受到一定的限制 无法顺利地进行 呼救而失去急救的时机 带有表情识别功能的电子护士能很好地解决上述问题 因为病人身体状况的变化通常会反映在面部表情上 只要做出痛苦的表情 电子 护士会捕捉到这种变化并提醒医护人员提供必要的服务 近来 随着人们生活水平的提高 以及多媒体信息处理技术的发展 简单的 语音通信已经不能满足人们的需要 可视电话 视频会议等应用技术的的发展前 景也逐渐明朗 但是相对于目前并不富裕的带宽来说 尽管只需要显示用户的头 肩部分图像 但是所传输的数据量也是很庞大的 众所周知 在人与人之间交谈 时 语言和面部表情是传递信息的主要载体 而面部器官的结构特征却是次要的 如果通过网络传递的仅仅是通信双方的语言和面部表情 而后在进行相应的表情 还原 就可以实现在大大节省带宽的情况下 尽可能多地传递要表达的信息 基 于视觉的人脸表情识别技术目前还处于初级阶段 很多方面还不是十分成熟 有 很多的研究热点 进行这方面的研究工作具有理论和现实意义 1 3 人脸表情识别技术的发展历史 1 3 1 人脸表情识别技术的发展及现状 人们对表情识别的研究可以追溯到 20 世纪 70 年代 早期的研究主要集中在 心理学和生物学方面 darwin 首先提出了表情在不同性别 不同种族的人群中的 一致性 4 ekman 和 frisen 提出面部表情编码系统 facs 定义了 6 种基本表情 类别 愤怒 厌恶 恐惧 高兴 惊奇 悲伤 并用 44 个运动单元 au 来描述人 第一章 绪论 3 脸表情的变化 5 这一系统得到了研究者的广泛认同 并为后来的表情识别研究工 作提供了很好的借鉴 日本提出了 感性工学 的概念 感性工学 6 是指在感性科学的基础上 通过 对人类感性的分析 把人的感性需要加入到商品设计中去 它是一门从工程学的 角度实现给人类带来喜悦感和满足感的商品制造的技术科学 其典型代表是索尼 公司的 aibo 机器狗 7 和 nec 公司的服务型机器人 parero 8 从 20 世纪 90 年代开始 欧美各国的研究机构也加快了对情感计算的研究步 伐 麻省理工学院 剑桥大学 飞利浦公司等通过深入研究 环境识别 环 境智能 智能家庭 等科研项目来开辟这一领域 德国 mehrdad jaladi soli 等人在 2001 年提出了多模型购物助手 它是以考虑消费者心理和环境需求为研究 目标的网络型电子商务系统 在我国 人脸表情识别技术的研究也逐渐受到重视 国内的许多大学和研究 院如清华大学 哈工大 中科院等都已经在人脸表情识别领域开始了相关的研究 2003 年 10 月 第一届中国情感计算与智能交互学术会议 9 把人脸表情识别与合成 作为会议的重要内容之一 引起了科研工作者的广泛关注 2005 年 10 月 第一届 国际情感计算及智能交互学术会议 10 在中国举行 来自世界各地的研究人员与我 国科研工作者进行了深入的探讨 同时许多有突出贡献的研究者报告了最新的研 究内容 促进了我国在表情识别研究领域的进一步深入 人脸表情识别的研究也 得到了国家自然科学基金 国家 863 计划 973 项目等大力资助 1 3 2 人脸表情识别的未来 人脸表情识别方面的研究已经取得了很大的成果 但从识别系统的性能来讲 距离实际应用还有很长的一段距离 目前 人脸表情识别主要受到以下几个方面 的限制 1 没有一种特别有效的特征提取的方法 现有的特征提取方法或多或少地存 在一定的缺陷 例如 许多模型的方法需要人们手动来标定一些点或区域 而基 于外貌特征的方法虽然不需要人工介入 但提取出的特征往往不够可靠而且稳定 性差 易受干扰 2 表情识别中对某些类别的表情识别率偏低的情况有待改进 每一种表情所 包含的信息量是不一样的 这就使得某些表情容易被识别 而某些表情不容易被 识别 通常最容易辨认的表情是快乐 痛苦 较难辨认的是恐惧 悲哀 3 现有的表情识别系统对外界条件的要求比较苛刻 目前的研究大多数都针 对在特定条件下采集到的图像或者图像序列进行的 要做到对在任意条件下采集 的图像或图像序列都适应 还需要图像学 人脸检测等其它领域的发展 基于 sift 算法的人脸表情识别 4 虽然受到诸多因素的限制 国内外研究者们仍然提出了很多新思想 新方法 希望在这些方面有所突破 以下是近年来表情识别研究的几个热点 同样也是未 来表情识别领域的发展方向 1 人脸的表情包含大量的信息 同时各种表情之间也有细微的差别 如面部 器官的位置 形变强度 以及皮肤的纹理 阴影等 因此只针对某一方面的特征 信息并不能很好的表征表情 只有把多种特征信息综合起来 才能准确完整地表 示表情 混合特征必将成为特征提取的一个趋势 2 基于模型的方法往往需要人工的介入 所以外貌特征就被较多地应用于自 动的表情识别领域 但由此带来的问题便是特征向量的维数会很高 而且特征的 稳定性 抗干扰性 有效性不强 所以特征降维 特征分解和选择等减少特征维 数 提高特征有效性方法也将成为一个研究的热点 3 随着机器学习的深入和发展 机器学习方法越来越多地被应用于表情的分 类识别中 取得了较好的实验结果 这将成为未来分类识别方法的发展趋势 同 时表情是遵循一定的心理学规律的 能否把机器学习的方法与心理学结合起来以 提高识别和分类的正确率和准确度 这也是有待研究的课题 4 目前的表情识别系统中 往往是针对几种比较明显的且区分度大的表情进 行分析和识别 例如生气 微笑 吃惊等 但在实际的生活中 表情的种类是繁 多的并且许多表情的区分度并不是很大 或者并不是很明显的表情 目前在表情 的强度方面还缺乏进一步的深入研究 虽然已经有针对表情的强度方面做的研究 但这些研究仍然处于初级摸索阶段 5 表情识别会受到多种因素的影响 例如脸部的遮挡 光照的强度 人脸姿 态的变化等 对于人脸存在遮挡的情况 文献 11 12 做了初步的探讨 但与实际 相比还存在一定的差距 近来的研究中 考虑到光照的强度和人脸姿势的变化等 情况 一般使用人脸的三维建模方法来去除影响 但就目前来看 人脸的三维建 模技术还不够成熟 还不能达到自动化的要求 并且精度也受到某些限制 特征 分解方法是解决该类问题的一种新技术 但这方面的研究还处于起步阶段 有待 进一步深入和发展 1 4 本文的研究工作 本文在研究国内外现有的人脸表情特征提取和表情识别技术的基础上 比较 和借鉴经典的人脸表情识别方法 针对表情识别中存在的一些关键问题进行深入 研究 对人脸表情识别各个阶段用到的关键算法和技术予以实现 最后在此基础 上构建了一个基于视频流的人脸表情识别系统 论文的主要研究内容和工作包括 以下几个方面 第一章 绪论 5 1 研究国内外经典的人脸表情特征提取方法和表情分类识别方法 并比较它 们的优缺点 2 在人脸检测模块 本文首先采用自适应阈值分割算法对待检测图像进行分 割 去除非肤色区域对人脸检测的影响 然后利用基于 haar 特征的分类器对人脸 进行检测 接着对检测到的人脸子图像进行处理 为后续的表情特征提取和表情 分类识别做准备 3 在人脸表情特征提取模块 本文采用了基于 sift 的表情特征提取算法 sift 特征是图像的局部特征 它能够对旋转 尺度缩放 亮度变化保持不变性 并且对视角变化 仿射变换 噪声也能保持一定程度的稳定性 对于同一类别的 表情图像 sift 算法所提取出的特征点数目是不一样的 同时由于不同的表情所 含有的表情信息也是不一样的 所以在对训练样本进行特征提取后 又进行了特 征选择 对每一幅图像只选择最有判别力的前 15 个特征点来描述 4 在表情分类识别模块 本文采用 d sift 和 wmv 相结合的表情分类识别 方法 首先 对待检测样本提取出的每一个 sift 特征点 计算其属于某一类别的 判别数 其次 根据特征点所处的位置得到其相应的权值 组合所有特征点的判 别数得到样本属于各个类别的置信度 取置信度最大的作为识别结果 5 开发人脸表情识别系统 采用面向对象的方法 在 mfc 环境下构建了一 个人脸表情识别系统 验证本文中提到的人脸表情特征提取与识别方法并分析实 验结果 1 5 各章安排 论文共六章 各章的内容如下 第一章 绪论 介绍课题的研究背景和意义 概述了人脸表情识别技术的发展 国内外研究现状以及人脸表情识别的发展趋势 最后提出本文的主要研究工作以 及各章的内容安排 第二章 人脸表情识别系统综述 首先介绍了一般的人脸表情识别系统的模块 组成 然后详细地介绍有关人脸检测 人脸表情特征提取 表情分类识别的比较 经典的方法和思想 以及在相关领域取得的成果 第三章 人脸检测 主要介绍本文所采用的人脸检测方法 首先采用自适应阈 值分割算法对待检测图像进行分割 去除非肤色区域对检测的影响 然后采用基 于 haar 特征的分类器进行人脸的检测 同时对检测到的人脸子图像进行归一化处 理等操作 基于 sift 算法的人脸表情识别 6 第四章 基于 sift 特征的表情识别 首先介绍 sift 特征的基本原理 特征提 取的过程 以及训练样本时有效特征的选择等 然后介绍表情分类方法 本文采 用 d sift 和 wmv 相结合的方法进行表情的分类 最后给出实验结果和分析 第五章 人脸表情识别系统的实现 构建了一个基于视频流的人脸表情识别系 统 首先介绍系统的总体架构 并讲解各部分实现的主要功能 然后介绍系统的 类框架及各个类的实现功能 最后是系统的功能演示 并分析了影响系统性能的 一些因素 第六章 总结与展望 首先对本文的工作进行总结 然后针对实验的限制条件 和所采用算法的不足 对下一步的工作和表情识别领域的研究方向进行了展望 第二章 人脸表情识别系统综述 7 第二章 人脸表情识别系统综述 人脸表情识别系统一般包括三个模块 即人脸检测模块 表情特征提取模块 和表情识别模块 见图 2 1 人脸检测模块对人脸进行检测与定位 表情特征提取 模块从人脸子图像中提取能够表征表情的描述信息 在提取特征信息的时候 为 了更准确地表征表情 提高后续识别的准确率 或是为了避免维数危机 减少计 算量 可能要用特征选择 特征降维与分解等方法做进一步处理 表情识别模块 依据某种分类识别标准 分析上一模块的输出 把表情分类到相应的类别 从而 得到系统的输出 人脸检测表情识别 特征提取 特征选择 降维 分解等 图像序列 输出结果 图 2 1 表情识别系统的一般架构 2 1 人脸检测基本理论 人脸检测是指从输入的图像或者图像序列中检测出人脸 并且给出人脸的数 目 位置等信息的过程 它是表情特征提取和识别的前提和基础 人脸的检测一 般是基于人脸的一些固有特征进行的 这些特征有 1 几何特征 人脸在外形上具有一定的规律性 比如 人脸的 三庭五眼 分布格局 眼睛 嘴巴等面部器官的形状特征 以及各器官之间的距离对应关系 2 肤色特征 人的肤色在某些特定的颜色空间中存在良好的聚类特性 并且 人的肤色是相对稳定的 不受人脸表情 姿态的影响 肤色检测是一种常用的人 脸检测方法 3 灰度特征 人脸灰度图具有一些固有特征 如根据人脸各器官之间灰度差 异的镶嵌图特征 人脸轮廓的边缘特征等 2 1 1 人脸检测常用方法 针对人脸的不同特征 有不同的人脸检测方法 具体归纳如下 1 基于肤色模型的人脸检测 特定人种的人脸在肤色上具有相近性 并且在某些特定的颜色空间中存在良 好的聚类特性 针对肤色的这种聚类特性构建肤色模型 然后基于肤色模型检测 人脸肤色 目前 常用的颜色空间有 hsi 颜色空间 ycrcb 颜色空间等 肤色 基于 sift 算法的人脸表情识别 8 在这些颜色空间中有良好的聚类特性 13 另外 也有某些颜色空间对肤色聚类特 性比较差 如 rgb yiq 文献 14 15 对它们进行归一化来改进对肤色的聚类效 果 2 基于模板的人脸检测 模板匹配方法实质上就是根据人脸本身以及面部器官的形状及位置特征构建 模板来进行检测 其一般过程为 构建标准人脸模板 最简单的方法只考虑人脸 本身或某一器官的特征 构建单一模板 而较为复杂的方法则考虑人脸的多个特 征 构建多个模板 如眉毛模板 眼睛模板 鼻子模板 嘴巴模板等 模板检测 用不同尺度的标准人脸模板在待检测图像中进行遍历 计算当前图像子区域与标 准人脸模板的匹配程度 从而判断当前图像子区域是否为人脸 yuiue 16 等人提出了利用弹性模板提取人脸特征的方法 梁路宏 17 等使用平均 脸模板匹配方法 首先通过眼睛模板进行人脸区域的粗检测 然后使用人脸模板 进行进一步的匹配 最后应用人脸各区域的马赛克规则进行验证 3 基于特征脸的人脸检测 特征脸方法是一种基于统计的分析方法 其基本原理为 把一幅大小为wh 的二维图像转化为一个k kwh 维向量i 于是人脸图像向量便构成了一 个k维的空间 由于人脸具有很多的相似性 则这种相似性必然会体现在k维空 间的一个子区域内 我们称该子区域为人脸子空间 特征脸方法的实质就是求解 其相应的人脸子空间 基于特征脸的检测步骤如下 首先 利用 kl 变换对由人脸样本所构成的空间 矩阵进行特征值分解 选择主特征向量构建人脸子空间 这些主特征向量构成的 空间通常也被称为特征脸空间 其次 将待检测的图像子区域映射到特征脸空间 上 构建由特征脸空间所描述的人脸 最后 计算构建后的图像和原图像之间的 信噪比 并与事先设定的阈值进行比较 从而判别被检测子区域是否是人脸 turk 18 等人采用特征脸方法来进行人脸检测和识别 4 基于人工神经网络的人脸检测 人脸可抽象为一个复杂的且易于变化的模型 同样人脸的检测也是一个复杂 的问题 人工神经网络方法在这种复杂模型上具有明显的优势 它把复杂模型的 特征抽象为神经网络的结构和参数 最终得到某种用于分析的数学模型 rowley 等 19 20 使用 ann 分别对正面人脸和旋转人脸进行检测 针对正面人脸 使用一种 多层的前向网形式的 ann 并使用人脸的正样本和负样本训练多个用于检测的 ann 对结果进行判别 增强健壮性 针对旋转人脸 使用旋转检测器与正面人 脸 ann 相结合的方法 5 基于支持向量机 svm 的人脸检测 第二章 人脸表情识别系统综述 9 支持向量机 svm 是基于结构风险最小化原理 structural risk minimization principle srm 的统计学习理论 用于分类与回归问题 21 22 svm 方法比基于经 验风险最小化 empirical risk minimization principle erm 的人工神经网络方法具 有更好的泛化能力 osuna 等 23 使用 svm 方法进行人脸的检测 其主要思想是使用 svm 对检测 窗口 19 19 进行分类 得到分类结果 训练 svm 时使用正样本 人脸 与 自 举 方法 24 收集的负样本 非人脸 并且使用逼近优化的方法 25 减少支持矢量的 数量 训练 svm 时要计算二次规划问题 这限制了 svm 的应用 platt 提出的 smo sequential minimal optimization 算法 26 解决了 svm 训练困难的问题 2 1 2 人脸检测方法总结 近年来 随着人机交互技术的发展 人脸检测的研究受到越来越广泛的重视 已经成为计算机视觉和模式识别等领域的研究热点 目前 许多人脸检测方法虽 然已经取得了很好的检测效果 但是它们往往都基于单一的特征进行检测并且没 有考虑复杂背景的影响 不具有通用性 很难普及 其次 许多方法都是基于正 面人脸来检测的 对于侧面的人脸 不完全人脸检测就显得无能为力 要找到一 种通用的人脸检测方法还有很多的研究工作要做 2 2 表情特征提取基本理论 表情特征提取是表情识别系统中最重要的部分 有效的表情特征提取是表情 识别的先决条件 将会极大地提高识别的准确率 一个好的表情特征应该具备以 下几个条件 1 能够有效地表征表情的本质特征 2 不同类别的表情特征之间具有良好的区分度 3 表情特征的维数不能太高 4 稳定性强 对于噪声 光照强弱等有很强的抗干扰性 表情特征的提取过程如下 原始特征提取 根据特征的某种表现形式 如几 何特征 灰度信息 频域信息等 来获取表情的特征描述 特征选择和特征降维 原始特征一般都存在信息冗余 维数过高等方面的问题 为了提高后续识别的准 确率 更加有效地表征表情 需要对原始特征进行特征选择和特征降维 来降低 维数 去除区分度不强的特征 得到对分类贡献度大的特征 基于 sift 算法的人脸表情识别 10 2 2 1 针对静态图像 1 基于几何特征的方法 人脸的面部器官在不同的表情下形变 轮廓是不一样的 通过提取面部器官 如眼睛 嘴巴等部分的特征点 来表征相应的表情 最后通过计算人脸面部特征 点之间的距离实现表情分类 pantic 27 在以前工作的基础上 改进并提出了一种自 动提取脸部特征点的方法 28 基于几何特征的识别对特征点提取的准确性要求比 较苛刻 对噪声的抗性不强 并且在提取几何特征时忽略了人脸的其它信息如皮 肤的纹理变化等 所以在识别区分度不高的表情时识别率不高 2 基于外貌特征的方法 外貌特征是指针对人脸图像全部像素所提取的特征 反映了人脸图像底层的 信息 基于局部特征的方法是外貌特征提取最主要的方法 它使用一组滤波器对 图像进行处理 其结果能够反映出图像局部像素间的梯度 纹理等关系 目前 gabor 小波方法在表情特征的提取中被广泛使用 它对光照的强弱有一 定的抗性 并且能够检测多方向 多尺度上的纹理变化 wen 在一些由人工标定 的子区域中提取平均 gabor 小波系数作为表情特征 同时为了最小化光照强度与 人脸之间的细微差异所带来的影响 使用基于比例图的方法来对特征提取区域进 行预处理 29 feng使用局部二元模式 lbp 来提取人脸图像的纹理特征 把人脸划 分为各个子区域 并分别计算 lbp 直方图 最后综合起来表征表情 30 3 基于混合特征的方法 几何特征从整体上提取表征表情的特征 能够清楚地描述人脸的宏观变化 而外貌特征则从局部提取能够描述人脸细微变化的特征 适用于细微表情的识别 许多研究者把两种方法结合起来 得到表征表情的混合特征 并以此来进行表情 的分类识别 文献 29 中把几何特征与局部点或局部区域的 gabor 小波系数结合起 来作为表情特征 基于模型的方法是混合特征方法的重要一种 该类方法用模型 来刻画人脸的结构 几何模型是一类最简单的模型方法 活跃外貌模型 aam 是 一种比较常用的人脸特征提取方法 结合形状和纹理信息建立对人脸的参数化描 述 然后用 pca 降维 2 2 2 针对图像序列 相对于静态图像 从图像序列中提取的表情特征要包含图像帧之间关系的信 息 如特征点的位移 形变等 具体可以分成两类 基于帧内特征的方法 对表 第二章 人脸表情识别系统综述 11 征表情的特征点进行跟踪和定位 基于序列特征的方法 利用图像帧之间的信息 来表征表情 1 基于帧内特征的方法 基于特征点的跟踪通常在灰度变化大的人脸子区域中选择特征点 比如嘴巴 眼睛等区域 这些特征点包含的信息量大 能够反应出脸部位移和形变信息 bourel 31 手动选择 12 个特征点并进行跟踪 然后用基于状态的特征选择方法来提 取表情特征 pardas 32 提出一种基于活跃轮廓的跟踪方法 能够提取人脸特征并 转换为 mpeg 编码中的人脸动画参数 faps 基于模型的跟踪针对整个人脸区域 braathen用3维模型跟踪头部的位置变化 并用 3 维变形的方法矫正人脸的姿势 从而方便地进行表情识别 33 huang 34 使 用多分辨率的 3 维可变形人脸模型对人脸进行建模 并在多个层次上进行跟踪 整体形变是通过底层节点来体现的 而针对局部纹理变化 则使用非刚性形状配 准方法来进行获取 该方法可以对细微的表情进行跟踪和提取 2 基于序列特征的方法 光流法是经典的运动估计方法 通过图像序列中点的灰度分布的差异性反映 图像帧之间的运动信息 但光流法易受光照不均等因素的影响 金辉等人 35 在人 脸物理几何空间模型的基础上 划分人脸表情特征区域 使用光流估计的方法计 算其运动场 从而获得其特征流向量 然后整合图像序列的运动向量构建运动特 征序列 并分析表情的运动 基于模型的方法来跟踪人脸 根据跟踪获得的参数以及图像帧之间的信息来 描述人脸的细微运动 tao 和 huang 36 设计了一种基于 bezier volume 的跟踪系统 首先用交互式的方法在图像序列的第一帧中确定眼角和嘴角等关键的特征位置 然后调整三维人脸网状模型来正确匹配已标定的特征位置 最后用一组定义好的 脸部运动单元 motion unit 来描述运动特征 gokturk 37 使用三维的可变形人脸模型 来进行人脸跟踪 用得出的形状向量及其在帧间的差异来作为表情识别的特征 2 2 3 特征选择 降维 分解 1 特征选择 一般情况下 在特征提取之后就要进行表情的分类识别 然而 我们为表征 表情所选择的特征描述信息并不总是有效的 其中包含很多冗余信息并且某些特 征的类间区分度不强 所以 对提取出的原始特征信息进行选择和优化就显得尤 其的重要 首先 通过特征选择我们可以删除冗余特征 并去掉区分度不强的特 征 经过特征选择后 余下的特征都能很好的表征表情 并且与其它类别表情特 基于 sift 算法的人脸表情识别 12 征的区分度很大 这样 在表情识别时 不但可以减少计算量 而且可以提高表 情识别率 识别率是人脸表情识别系统的一个重要的参数 目前 在情感计算和情感识别等方面的研究已经取得了一定的成果 但是它 们涉及心理学 生理学 智能科学等多个学科的相关理论 对于它们的研究还缺 乏相关理论体系的支撑 还有许多需要研究的问题 例如 在提取表情特征时应 该采用什么样的特征 几何特征 灰度特征 频域特征等 来表征表情 在提取 特征后选择那些特征来进行分类识别等 王志良 6 38 对情感是如何产生的以及怎样 进行表征进行了研究 2 特征降维 基于某些特征 外貌特征等 提取的的特征描述向量 其特征的维数通常会 非常巨大 这对后续的处理会产生一定的影响 所以要通过一些映射 变换把它 们转换到对等的低维子空间 进行特征的降维 这样不仅可以降低特征的维数 而且可以增加特征的有效性 减少计算量 常用的特征降维方法有主成分分析 pca 线性判别分析 lda 等 pca 方法 选择最具代表性的特征 能够有效地减少数据量 降低维数 但各个类别的数据 之间存在很大的相关性 区分度小 而 lda 方法则通过最大化类间离散度并最小 化类内离散度来确定合适的投影方向 寻找最有判别力的方向 dubussion 39 首先 用 pca 方法对特征进行分析 然后根据主成分对识别任务的贡献度对它们排序 使用前向逐步选择的方法筛选最有区分度的 k 个主成分方向 最后使用 lda 对排 序后的子空间进行计算 产生 c 1 维 c 为类别个数 的判别子空间进行分类 这种 方法称为排序 pca lda 方法 能够针对不同的识别任务构建相应的最优子空间 3 特征分解 人脸的表情图像包含了大量的信息 但是对不同的识别任务 用到的识别信 息也不尽相同 人脸检测需要人脸的一致性信息 人脸识别需要不同人脸间的差 异信息 而表情识别则需要与具体人脸无关的各类表情之间的差异信息 所以 对某个具体的识别任务 我们需要把某些特征从原始信息中分解出来 对于人脸 表情识别 我们要把表征人脸的不同信息如表情信息和其它信息分离开来 使识 别在相应的表情信息子空间中进行 避免其他信息的影响 wang采用高阶奇异值 分解 hosvd 进行人脸面部表情信息的分解 40 hosvd 是一种多因素方法 在人 脸识别和运动分析中都有广泛应用 该方法将人脸表情图像表示成一个 3 阶的张 量 分别表示个体 表情和特征 然后进行奇异值分解 得到相应的个体子空间 表情子空间和特征子空间 第二章 人脸表情识别系统综述 13 2 3 表情分类识别方法 表情分类识别是指首先针对人脸的表情 定义一组有区分度的表情类别 然 后 依据某种表情分类规则 对表情进行识别并纳入相应的表情类别中的过程 表情类别的定义有很多方法 可以按照脸部动作进行分类 也可以按照感情进行 分类 相应的也有多种表情分类识别方法 1 基于规则的方法 该类方法首先根据先验知识制定一套规则 然后对特征提取获得的特征描述 向量进行分析处理 并根据规则进行判断纳入相应的类别 pantic 27 28 利用 au编 码来表示输入的表情 并与每一类表情的 au编码进行比较 最后将输入表情纳入 某一类基本表情中 2 贝叶斯分类 贝叶斯分类是一种统计学方法 利用概率统计方面的知识进行分类 朴素贝 叶斯分类算法简单 分类准确率高 速度快 但由于贝叶斯定理假设一个属性值 对给定类的影响独立于其它属性的值 在实际情况下 这种假设通常是不成立的 因此其分类准确率可能会下降 为此 就出现了许多降低独立性假设的贝叶斯分 类算法 如 tan tree augmented bayes network 算法 通过发现属性对之间的依赖 关系来降低 nb 中任意属性之间独立的假设 sebe 采用朴素 naive 的贝叶斯分类器对表情进行分类识别 指出把特征分布 由高斯分布变为柯西分布能够增强分类效果 41 cohen 在基于柯西分布的贝叶斯 分类器基础之上 采用高斯树状分类器对特征间的从属性进行建模 42 并且研究 了怎样使用无标签的样本训练贝叶斯分类器 从而实现在有标签的样本较少的情 况下提高分类器的性能 3 人工神经网络 类似于大脑神经元相互连接的结构 人工神经网络是一种能够进行信息处理 的数学模型 它由大量节点 或称神经元 相互连接构成 每个节点表示一种特 定的输出函数 称为激励函数 activation function 两个节点之间的连接表 示它们的连接度 称为权重 网络的输出随着网络的连接方式 激励函数和权值 的改变而变化 而网络本身一般都是对自然界某种算法或者函数的逼近 gueorguieva 43 使用多层感知的神经网络来进行表情分类识别 提出 s 形函数 和径向基函数的神经单元混合可以很好地适用于前馈神经网络 ma 44 使用二维离 散余弦变换进行特征提取 使用前馈神经网络作为表情分类器 实验表明其效果 要优于传统的神经网络 4 支持向量机 基于 sift 算法的人脸表情识别 14 支持向量机方法是建立在统计学习理论和结构风险最小原理基础上的 根据有限的样本信息在模型的复杂性 即对特定训练样本的学习精度 和学 习能力 即无错误地识别任意样本的能力 之间寻求最佳折衷 目前 机器学 习较多的使用支持向量机作为分类器 bartlett 45 把 adaboost 方法与支持向量机结 合起来进行分类 获得了较好的实验结果 5 基于时空分析的方法 时空分析的方法是指在空间分析的基础上 考虑时间的因素 近年来 比较 常用的是隐马尔科夫模型 hidden markov model 的方法 muller 46 使用伪三维的隐马尔可夫模型 p3dhmms 进行动态表情的分析 对 时间用一维 hmm 进行建模 对图像序列中的每一帧用一个伪二维的隐马尔可夫 模型 p2dhmm 进行建模 cohen 42 提出分层的 hmm 第 1 层为 6 个 hmm 模型 分别针对 6 种基本表情 第 2 层为表示各种表情之间状态变化的马尔可夫模型 把底层马尔可夫模型的输出结合起来作为高层马尔可夫模型的输入 并训练得到 各种基本表情之间的状态转移概率 实现了把视频划分为不同的表情段进行分析 2 4 本章小结 本章介绍了一般人脸表情识别系统的架构和组成模块 并详细介绍了在每个 模块中已被应用的经典算法和取得的成果 首先介绍人脸检测的基本理论 涉及 到人脸检测基于的特征 以及常用的人脸检测方法 其次介绍表情特征的提取 介绍特征提取 特征选择 降维 分解的基本理论 最后介绍常用的表情分类方 法 第三章 人脸检测 15 第三章 人脸检测 人脸检测是人脸表情识别系统的一个重要组成模块 人脸检测主要是指在输 入的图像序列中检测是否有人脸的存在 并且在检测到人脸的情况下 给出人脸 的位置 大小等信息的过程 人脸检测是特征提取模块和识别模块的基础 其检 测的效果以及提取出的人脸子图像的质量会影响后续模块的处理 本文首先采用自适应阈值分割的方法对待检测图像进行预处理 排除非肤色 区域对检测结果的影响 然后采用基于 haar 特征的 adaboost 方法进行人脸的最终 检测 3 1 自适应阈值分割 3 1 1 阈值分割概述 图像的阈值分割法是一种被广泛使用的图像分割技术 它根据图像中要分割 的目标区域和背景区域在灰度级上的差异 把待分割的图像看做两个不同灰度级 的子区域 目标和背景 的组合 通过寻找一个恰当的阈值 来确定图像中的一 个像素点是属于目标区域还是属于背景区域 从而得到二值化图像 实现目标区 域和背景区域的分割 要把目标从复杂的背景中分割出来 阈值的选择是至关重 要的 如果阈值选择的太小 则背景可能会被分割为目标 而如果阈值选择的太 大 就会使目标被分割到背景中区 影响后续检测 另外 不同人种在肤色上存在一定差异 而且由于背景 光照等方面的影响 相同人种的肤色在不同图像中也是不同的 对于肤色来说 要设置一个确定的阈 值是不现实的 所以在确定阈值的时候 必须针对每一幅图像计算它的自适应阈 值 而且这个阈值能够有效地区分出肤色和非肤色区域 对此 国内外学者提出 了多种阈值选择算法 相比起来 ostu 提出的基于最小二乘法的最大类间方差阈 值分割法 是一种有效的传统图像分割方法 它是一种聚类方法 其基本思想是把 图像的灰度直方图在某一灰度级处分割成两组 当被分成的两组的方差为最大时 则确定该灰度级为阈值 扩展最大类间方法 引入模式识别理论中的 fisher 评价函 数作为判别准则以实现阈值的自动选择 算法核心是利用函数的类间均值最大 总类内方差最小的原则 自动获取某幅图像所对应的最佳的 最易于分类的阈值 基于 sift 算法的人脸表情识别 16 3 1 2 阈值分割算法流程 对于两类样本 1 2 i i fisher 评价函数为 2 12 22 12 mm f t ss 式 3 1 其中 1 1 2 i i y my i n 为每类样本的均值 2 2 1 2 i ii y symi 为 每类样本的类内离散度 本文在进行人脸检测之前 首先进行阈值分割 去除部分非肤色区域的影响 实验表明当肤色在待检测图像中占有相当大的比重时 通过肤色的自适应阈值分 割能很好的把肤色区域和非肤色区域分割开来 排除把背景检测为人脸的情况