【毕业学位论文】基于表观的人脸姿态估计问题研究-计算机应用技术博士论文

分类号 密级 编号 中国科学院研究生院 博士学位论文 基于表观的人脸姿态估计问题研究 马丙鹏 指导教师 高 文 研究员 中国科学院计算技术研究所 申请学位级别 工学博士 学科专业名称 计算机应 用技术 论文提交日期 2009年 4月 论文答辩日期 2009年 6月 培养单位 中国科学院计算技术研究所 学位授予单位 中国科学院研究生院 答辩委员会主席 卢汉清 声 明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名： 日期： 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编本论文。 （保密论文在解密后适用本授权书。） 作者签名 ： 导师签名： 日期： I 摘要 人脸识别是计算机视觉和模式识别研究中的热点问题，近年来受到越来越多研究者的重视。同时，作为生物特征识别的关键技术之一，其在公共安全、信息安全、金融等领域具有潜在的应用前景。近年来，限定条件下的人脸识别取得了很大进展，但非限定条件下的人脸识别尚不成熟，其中姿态变化即是瓶颈之一。为了实现对不同姿态人脸的识别，估计人脸姿态通常是必要步骤之一，具有重要的研究意义和实用价值。 本文主要研究内容就是围绕多姿态人脸识别问题，研究姿态变化下的姿态估计技术 。本文主要针对当前姿态估计问题中的困难问题，利用图像的表观特征，在统计学习理论的框架下，提出了一些能够有效提高姿态估计准确率的方法。本文的主要研究成果包括： 1. 提出基于 波的人脸对称性特征的提取方法。在传统的基于图像表观的姿态估计方法中，图像的特征通常通过子空间分析方法进行提取，例如主成分分析，费舍尔线性判别分析等。然而这些方法并不是专门针对姿态问题设计的，因此其提取的特征并不直接同姿态相关。另外，这些方法直接将二维的人脸图像转换成一维的向量进行处理，在一定程度上丢失了人脸的结构信息。本文认为 姿态估计中应用的特征应该更加紧密的同姿态变化相关，同时对于人的身份、光照、表情和数据库的差异等因素鲁棒。基于这种思想，结合头部基本对称这一广为接受的假设，本文提出面部图像的每一行灰度特征的对称性同头部的姿态紧密相关，并且同人的身份无关，从而可以利用该对称性特征进行头部的姿态估计。具体来说，本文使用了快速傅里叶变换方法提取头部的对称性特征。为了消除光照和噪声的影响，进一步使用了一维 波器。在不同数据库上的实验结果表明，基于 波的人脸对称性特征能够显著的提高姿态估计的准确率。特别是在训练数据 和测试数据来源的数据库不同时，基于 波的人脸对称性特征仍然能够取得不错的实验结果，表明方法具有很好的推广能力。 2. 提出局部判别能力增强的人脸对称性特征的提取方法。虽然基于 波的人脸对称性特征与姿态紧密相关，并在姿态估计问题中取得了不错的实验结果，但是在基于 波的人脸对称性特征的提取过程中没有显式地使用到姿态类别的信息。而在模式识别中一般认为，通过使用类别的信息，能够增强特征的判别能力。因此在本文中，为了提高特征的判别能力，将基于 波的人脸对称性特征和费舍尔线性判别 分析方法进行了有效的结合，提出了判别能力增强的人脸对称性特征的提取方法。实验表明，判别能力增强的人脸对称性特征能够进一步的提高姿态估计的准确率和鲁棒性。此外，针对姿态估计问题中的多模态问题和非线性问题，本文进一步将基于 波的人脸对称性特征和局部费舍尔判别分析方法相结合，从而提出了局部判别能力增强的人脸对称性特征的提取方法。实验表明了该方法在姿态估计问题中的有效性。 3. 提出基于类别间距的 姿态 判别分析方法用于提高姿态估计的准确率 。 在传统的判基于表观的人脸姿态估计问题研究：摘要 分析方法中，计算类间散度时往往将每个类同等的对待。但是在 姿态估计问题中，姿态为 0 度和 1 度的图像之间的差异要远小于 0 度和 90 度的图像之间的差异，因此姿态类别之间并不是平等的。换句话说，在姿态分类 (估计 )问题中，姿态类别之间可以定义距离度量。针对姿态估计问题，本文提出了基于类别间距的 姿态 判别分析方法。在该方法中，姿态类别之间的距离被 引入 到类间散度矩阵的计算中 ，从而使得 对于不同类的样本，其姿态类别间距越大，则其 对总体 类间散度 矩阵的贡献 越小 ； 反之 亦然 。 换句话说， 邻近姿态类别的样本之间的权重得到了提高，而姿态类别距离远的样本之间的权重被显著的降低。这种对类间散度矩阵调整的 思想是基于这样事实，在样本被错分时，往往被错分到邻近的类别中，而不是 与真实 姿态类别距离较远的类别，因此在计算类间散度矩阵时，应该增加邻近类的权重， 以使得 邻近类的样本更加 容易区分 ，从而使特征的判别能力得到了显著的增强。 此外， 为了保持类内的局部结构，在计算类内散度矩阵时， 本文同时引入了相邻类的样本的相似性 。实验表明了该方法在姿态估计问题中的有效性。 总之，通过上述工作，本文对姿态估计问题进行了深入研究，研究结果表明：基于波器的对称性特征更加与姿态估计问题紧密相关，能够充分的反映姿态信息 ；通过进一步和 线性判别分析相结合，提高对称性特征的判别能力后可以有效地提高姿态估计算法的准确率。 关键字 人脸识别，头部姿态估计， 波器，傅里叶变换，费舍尔线性判别分析 as in In of on To of be as a in at of of of On of be as 1. a on In by to by t In in D is in of is to to to to as of in of as an is on a is is to at of of of as a 1D is as to of To of 1D on of of is by 于表观的人脸姿态估计问题研究： V 2. it t in by of of is of To of in is to of DA of To in is of A of is in 3. to of in of to be in of is of 5. In in be at is in in of to In of of of is on in of be to of is to is to of is by of in In a on is to of of be DA by of 群系统 究： of 录 摘要 . I . 录 . 目录 . 目录 . 一章 绪论 . 1 课题研究背景 . 1 研究意义 . 1 主要挑 战 . 3 头部姿态估计问题综述 . 4 姿态估计问题简介 . 4 基于表观的姿态估计方法 . 5 基于模型的姿态估计方法 . 12 主要头部图像数据库 . 14 本文的主要贡献及组织结构 . 16 问题提出 . 16 主要贡献 . 16 组织结构 . 17 第二章 基于 . 19 引言 . 19 头部图像的对称性特征的提取 . 20 图像的表观对称性和人脸姿态变化的关系分析 . 20 傅里叶变换的对称性属性 . 21 特征的对称性测量及其验证 . 22 基于 波的人脸对称性特征的提取方法 . 24 一维 波器介绍 . 25 征的提取过程 . 27 一维 波器的优势分析 . 27 基于表观的人脸姿态估计问题研究： 目录 . 征的维数分析 . 28 征的对称性分析 . 29 征的提取方法的简化计算 . 29 征在姿态估计问题中的应用 . 31 实验结果及分析 . 32 实验数据库 . 32 对比实验设置 . 38 实验 1： 测试数据和训练数据同质 . 39 实验 2： 训练数据与测试数据异质 . 42 小结 . 44 第三章 人脸对称 性特征的判别能力增强 . 47 引言 . 47 判别能力增强的人脸对称性特征的提取方法 . 47 费舍尔线 性判别分析方法介绍 . 48 判别能力增强的人脸对称性特征的提取方法的计算过程 . 49 征的维数分析 . 49 征的计算效率分析 . 49 实验结果及分析 . 50 局部判别能力增强的人脸对称性特征的提取方法 . 62 费舍尔线性判别分析的点对形式 . 63 局部保持投影方法介绍 . 64 局部费舍尔线性判别分析方法介绍 . 65 局部判别能力增强的人脸对称性特征的提取方法的计算过程 . 67 实验结果与分析 . 70 小结 . 73 第四章 基于类别间距的姿态判别分析方法 . 75 引言 . 75 基于类别间距的姿态判别分析方法 . 77 基于类别间距的姿态判别分析方法的描述 . 77 非相似性权重 的设置 . 78 相似性权重 的设置 . 79 基于类别间距的姿态判别分析方法的计算效率分析 . 81 基于表观的人脸姿态估计问题研究： 目录 实验结果及分析 . 82 合成数据上的实验结果及分析 . 82 姿态估计问题中的实验结果及分析 . 83 小结 . 85 第五章 系统原型实现 . 87 引言 . 87 原型系统组成 . 87 系统模块简介 . 88 人脸检测 . 88 人眼定位 . 89 人脸姿态 估计 . 90 系统实例 . 91 小结 . 91 第六章 结论 . 93 参考文献 . 95 致谢 . i 作者简介 . 目录 图 告中的人脸识别实验结果 . . 2 图 头部姿态估计示意图 . . 4 图 头部的对称平面和姿态变化关系的示意图 . . 20 图 函数 t 和 t 的对称性测量和反对称性测量 . . 22 图 在 据库中不同姿态角度时的对称性测量 . . 23 图 4 个不同频率的 函数 . . 25 图 一些图像在不同频率下的 述 . . 26 图 征的提取方法的流程示意图 . . 27 图 征的非对称性测量 . . 30 图 据库的图像示意 . . 32 图 像头 . . 33 图 置跟踪器 . . 34 图 图像采集系统的系统结构图 . . 34 图 使用地球仪标定坐标系 . . 35 图 被采集者和摄像机 . . 36 图 采集测量程序界