面部表情识别#ppt课件

1、基于信息融合的人脸表情分析与识别，研究生：刘松指导教师：火炉学科：信号与信息处理，1，论文主题选择来源，广东自然科学基金项目：(032356)，2，研究现状，国际对人脸表情识别的研究逐渐成为科学研究热点。国内外很多机构正在进行这方面的研究，尤其是美国、日本。进入90年代，对面部表情识别的研究变得活跃，得到了很多研究者和基金的支持，EI可以检索的相关文献达数千篇。美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家(如印度、新加坡)都有专门的研究小组在进行这方面的研究。其中MIT、CMU、Maryland大学、Standford大学、日本成川大学、东京大学和ATR研究所的贡献尤为突出。国

2、内清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方交通大学等从事人脸表情识别研究的人，3、现在基于模板匹配的人脸表情识别方法基于神经网络的人脸表情识别方法基于规则的面部表情识别方法基于随机序列模型的面部表情识别方法其他方法，例如支持向量机、沙发基于SVM的多功能多分类器融合的人脸表情识别将径向基本函数神经网络用于人脸表情特征融合。基于RBF网络的多功能融合的面部表情识别，5，面部表情识别：一般可以描述为给定的静态面部图像或动态面部图像序列，可以使用现有的面部表情数据库确认其中一个图像或多个人的面部表情。研究内容包括三个方面：面部检测3360在各种场景中检测人的面部存在，并确定

3、位置。面部表情特征提取3330一般表示包括几何特征、代数特征、固定特征模板、莫尔、3D网格等。面部表情识别：将要识别的面部表情与数据库中已知的面部表情进行比较，以获取相关信息。本课程介绍了适当的面部表情表达和匹配策略、6、论文的主要工作、面部表情识别应用中信息融合的三个层次模型，并探索了基于单特征单分类器的面部表情识别，将支持向量机理论与信息融合理论相结合。基于SVM的多功能多分类器融合的人脸表情识别将径向基本函数神经网络用于人脸表情特征融合。基于RBF网络的多功能融合的面部表情识别、7、信息融合和面部表情分析、信息融合是将来自多个信息源的目标信息合并成具有一个一致表示输出的推理过程。基本起点

4、是通过合理支配和使用这些信息源提供的信息，利用多个源的时间或空间的冗余性和互补性，综合处理这些信息，从而对测试的目标获得一致的说明和说明。面部表情识别包括反映要识别的对象的每个元素的非度量格式的多种类型的表达技术，每种技术可以用不同的方法计算。8、基于信息融合人脸表情识别的三种模型，基于像素层融合的人脸表情识别特征层融合的人脸表情识别，9、基于像素层融合的人脸表情识别，10，基于特征层融合的面部表情识别，该方法提取各传感器的观察数据，获得一个特征向量，然后融合该特征向量，根据融合的特征向量进行面部表情识别和判定。11，基于决策层融合的人脸表情识别，该方法对每个传感器执行面部表情特征提取和面部表

5、情识别，然后将多个识别结果信息融合，从而得出面部表情判决结果，融合每个传感器的面部表情判决。12、在论文主要工作、人脸表情识别应用中，介绍了信息融合的三阶段模型，探索了基于单功能单分类器的人脸表情识别，将支持向量机理论与信息融合理论相结合。基于SVM的多特征多分类器融合的人脸表情识别基于RBF网络的多特征融合的人脸表情识别，13、基于单特征单分类器的人脸表情识别，基于神经网络级联人脸表情识别几何特征的人脸表情识别基于平均主成分分析的人脸表情识别，14、基于神经网络级联人脸表情识别结构BP网络的算法流程网络级联人脸表情识别实验结果网络层叠面部表情识别结构，16，网络层叠面部表情识别流程，17，网

6、络层叠面部表情识别实验结果，在两个数据库中进行实验，从耶鲁大学的Yale Face数据库中选择了60个面部图像，共15人，4人/人，其中培训样本56个，10个日本女性表情数据库(Yale Face数据库) 通过随机转换训练样本和测试样本，我们重复了10次这样的实验。18，日本女性表情数据库实验，SOFM加权矢量BP网络性能，19，Yale Face数据库实验，SOFM加权矢量BP网络性能，20，基于单功能单分类器的面部表情识别，基于神经网络级联的面部表情识别几何特征在面部图像上标记24个面部特征点。2 .根据上表获得12个测量距离，根据上述公式规范化测量距离，获得12维局部特征3。读面部库。读

7、取每个人的面部图像几何特性数据，将其转换为一维向量，对于表情面部图像，选择一定数量的图像来配置训练集，其馀的构成测试集。4.将所有测试图像与培训图像进行比较，以确定要识别的示例的所有权类别。本文最近使用距离分类器进行了识别，25，对两个数据库的实验结果，Yale Face数据库日本女性表情数据库，26，基于单功能单分类器的面部表情识别，基于神经网络级联面部表情识别几何特征的面部表情识别基于平均主成分分析的面部表情识别，27，基于平均周元分析的面部表情识别，以及周元分析，考虑维度图像空间中的个人脸图像，每个样本属于其中一个类，考虑将维度特征空间投影到维度特征空间的线性变换。 表示列矢量正交的矩阵

8、。转换后的新向量是由下面的线性变换定义的：总方差矩阵：其中是所有样例的平均值，通过线性变换获得的新要素矢量的方差图为。PCA选取最佳投影转换：是与以递减顺序排列的先前特征值相对应的特征向量。这种转换变更称为基本元素分析。由构成的空间是面部表情特征空间。29，主成分分析的改进：平均主成分分析，传统主成分分析的生成矩阵也称为协方差矩阵，整个方差矩阵是由两部分组成的：类之间的方差矩阵和类中的方差矩阵，改进算法仅考虑类之间的方差矩阵。训练样本集共有N个训练样本，分类为C等级，I样本的数量，其中是表示第一张脸图像的热矢量。(David aser，Northern Exposure，训练)每个班的平均值是

9、：总平均值为：类间方差矩阵：与传统主成分分析相比，主要区别在于用每个类的平均值替换类中的特定图像。这称为MPCA。由于每种类型的平均值是类中图像的线性叠加，因此每个类的平均值必须相当地保持每个特定图像的变化特征。也就是说，在一定程度上压缩和保留了每个图像的变化特征，对表情模式识别更有帮助。(关于David aser、Northern Exposure(美国电视)、Northern Exposure(美国电视)、ales，在下面的实验中，用每个类别的平均值替换类中特定图像的另一个明显好处是，教学时间明显减少。30，面部表情识别过程，1 .面部图像预处理。主要包括规格化几何体和规格化灰度。2.读取

10、面部库。读取每个二维人脸图像数据，并将其转换为一维矢量。对于面部表情图像，假定通过选择一定数量的图像来配置训练集，剩馀的配置测试集假定图像大小为w*h(w和H分别为维图像的宽度和高度)，用于训练的面部数为n1，用于测试的图像数为N2，M=W *。第一张脸可以表示为：3.计算每个类的平均值、总平均值和类之间的离散度矩阵。4.通过获取类之间的离散度矩阵，生成KL转换的矩阵并执行KL转换。5.计算生成矩阵的特征值和特征矢量以构造特征子空间。首先，将要素值从大值排序为小值，然后相应地调整要素矢量的顺序。然后选取建构特征子空间的一部分。特征向量具体选择的量在本文中采取实验方法来确定。6.将训练影像和测试

11、影像投影至在先前步骤中规划的图征子空间。每个脸部图像投影到特征子空间后，对应于子空间中的一点。同样，子空间中的所有点也对应于图像。7.将所有投影到子空间的测试图像与培训图像进行比较，以确定要识别的示例类别。本文采用最近邻距离分类器进行确认。31、实验结果，Yale Face数据库MPCA与PCA比较日本女性表情数据库，32、基于单功能单分类器的面部表情识别，基于神经网络级联人脸表情识别几何特征的面部表情识别基于平均主成分分析的面部表情识别，基于Fisher线性判别的面部表情识别，33、Fisher基于线性判别的面部表情识别。 34、Fisher线性歧视、Fisher Linear Discri

12、minant 3360 FLD是基于采样类别执行完整要素提取的有效方法，FLD希望通过基于PCA的改进创建仅包含较小维度的最基本元素的空间，以最大限度地实现类之间的分布。训练样本集共有N个训练样本，分为C类，每个类别的平均值为：总平均值为类I样本的离散度矩阵为：35，总类中的离散度矩阵：类之间的离散度矩阵：离散度矩阵：对应于以下两个正交的矩阵：SB和SW的广义特征值的广义特征向量。使用矩阵分割技术，在矩阵是对称矩阵的情况下，分别使用和不影响Fisher准则函数的值，但是和都是块对角矩阵，因此替换后的计算量大大减少。37，PCA FLD策略，将训练样本的面部图像矢量投影到低维空间，以避免类内分布

13、矩阵异常。通过PCA，可以将要素空间减少到N-c维，然后通过标准FLD将维减少到c-1。通过PCA将面部图像投影到N-c维特征空间：通过标准FLD将维度减少到C-1:38，基于Fisher线性歧视的面部表情识别过程，1。面部图像预处理。主要包括规格化几何体和规格化灰度。2.读取面部库。读取每个二维人脸图像数据，并将其转换为一维矢量。对于一个表情的面部图像，选择一定数量的图像来构建训练集，剩下的配置测试集假定图像大小为w*h (w和H分别为维图像的宽度和高度)，假设用于训练的面部数为n1测试的图像数为N2，M=W *。第I张脸可以表示为：3.计算每个类的平均值、总平均值和类之间的离散度矩阵，同时

14、查找类内的离散度矩阵和总离散度矩阵。使用矩阵块技术获得和的替换矩阵和。5.通过获取类之间的离散度矩阵，生成KL转换的矩阵并执行KL转换。39，6。计算生成矩阵的特征值和特征矢量以构造特征子空间。首先，将要素值从大值排序为小值，然后相应地调整要素矢量的顺序。然后选取建构特征子空间的一部分。在Yale University Yale face数据库中，我们使用m=N-c=52维要素矢量构造要素子空间。JAFFE使用m-N-c=76维要素矢量构造要素子空间。其中N是培训样品数，C是类别数。7.将训练影像和测试影像投影至在先前步骤中规划的图征子空间。每个脸部图像投影到特征子空间后，对应于子空间中的一点。同样，子空间中的所有点也对应于图像。8.使用替换矩阵和替换以及FLD。得到表征面部表情的特征向量。9.对于新的测试图像，用最大相关分类器分类。40、实验结果，Yale Face数据库日本女性表情数据库，41、论文主要工作，在面部表情识别应用中介绍信息融合的三阶段模型，结合了基于单功能单分类器的面部表情识别支持向量机理论和信息融合理论。基于SVM的多特征多分类器融合的人脸表情识别、基于RBF网络的多特征融合的人脸表情识别、基于SVM的多特征多分类器融合的人脸表情识别、基于SVM信息融合的人脸表情识别结构支持