面部表情识别#

1、基于对信息融合表情分析与识别的化学基，硕士研究生：刘松指导老师：火炉专业：信号与信息处理、论文选材、广东自然科学基金项目： (032356 )、研究现状、国际面孔表情识别的研究，如今成为科学研究的热点。 国内外许多机构都在进行这方面的研究，特别是美国、日本。 进入9.0年代后，脸部表情识别的研究变得活跃，收集了很多研究者和基金的鼎力相助，EI能够检索的相关文献达到数千件。 专门面向美国、日本、英吉利、德意志、荷兰、法国等经济发达国家和发展中国家，如印度、新加坡的课题组正在进行这方面的研究。 其中MIT、CMU、Maryland高等院校、Standford高等院校、日本城蹊高等院校、东京高等院校

2、、ATR研究所贡献尤为显着。 国内清华高等院校、哈注音字工业高等院校、中科院、中科院高等院校、南京理工高等院校、北方交通大学等，都有从事面部表情识别的研究工作的人。 目前，人脸表情识别的主要方法是基于数字大板块匹配的人脸表情识别方法基于神经网络的人脸表情识别方法规则化学基的人脸表情识别方法基于随机序列模型化学基的人脸表情识别方法的其他方法如支持向量机、小波分析等，论文的主要工作是、 介绍了信息融合在表情识别应用中的三个层次模型，基于单一特征分类器的表情识别将支持向量机理论与信息融合理论相结合， 基于SVM的多特征多分类器融合的表情识别提出了一种基于RBF网络特征融合的表情识别，提出了将径向基函

3、数神经网络用于表情特征融合，表情识别：一般给出静态人脸图像及动态人脸图像序列， 研究内容包括使用现有面部表情数据库指定图像中的一个或多个面部的表情，以及面部检测器：从各个场景检测面部的存在和指定位置的三个方面。 表情特征提取部：指定检测的面部的表情和表示数据库中的已有面部的表情的描述方式。 一般的表现有几何特征、代数特征、固定特征数字大板块、云纹图、3D网格等。 表情识别：将应该识别的面部表情与数据库中已知的面部表情进行比较，获得相关信息。 该过程是选择恰当的人脸表情表达方式及匹配策略，论文主要介绍表情识别融合信息的三个层次模型，利用单一分类器表情识别将支持向量机理论和信息融合理论结合， 基于

4、SVM多特征多分类器融合的表情识别提出了一种基于RBF网络特征融合的表情识别、信息融合和表情分析，提出了将径向基函数神经网络用于表情特征融合，信息融合通过将来自多个消息源的目标信息归纳成具有一个共识表示形式输出的推理过程， 其基本出发点是通过对这些个消息源提供的信息的合理控制和使用，利用多条消息源的时间或空间冗馀和互补来对这些个信息进行综合处理，获得对被测对象的一致解释和描述，使得其情报系统获得比其获得的每个组件更好的性能。 脸部的表情识别包含很多变量，反映识别对象的各要素的非计量形式行政许可多种类型的表达技术，各种技术可以用不同的方法计算。 基于信息融合表情识别的三种模型，基于像素层融合的表

5、情识别特征层融合的表情识别决策层融合的表情识别、基于像素层融合的表情识别方法是在对每个图像进行预处理之前进行像素层融合，然后获得融合后的面部图像数据，在此基础上进行特征提取和表情识别。基于特征层融合的表情识别，该方法特征地提取每个传感器的观测数据以获得特征向量，融合这些个的特征向量，并且基于融合后的特征向量执行表情识别和确定。 基于决策层融合的表情识别，该方法对各传感器执行表情特征提取和表情识别，信息融合多个识别结果得到一个表情判定结果，融合来自各传感器的表情判定。 论文主要工作是介绍信息融合应用表情识别的三个层次模型，单个特征单分类器表情识别结合支持向量机理论和信息融合理论，SVM多特征多分

6、类器融合表情识别将径向基函数神经网络用于表情特征融合， 提出了基于RBF网络的多特征融合的表情识别的基于单一特征的单分类器的表情识别，基于神经网络级联反应的基于表情识别几何特征的化学基表情识别平均主控解析的基于表情识别Fisher线性判别的表情识别，基于神经网络级联的表情识别， 基于神经级联反应的表情识别结构BP网络的算法流基于网络级联反应的表情识别实验结果网络级联反应的表情识别结构、网络级联反应的表情识别过程、网络级联的表情识别实验结果，并在两个数据库上进行实验， 从耶鲁大学的Yale Face数据库中选择6.0张脸部图像，共计1.5人，4人，其中训练样本为5.6张，1.4人，4张/人，试验

7、样本为剩下的4张图像，1人，4人/人，训练样本和试验样本通过随机转换，1.5回这样的实验从日本女性表情数据库中选出120张图像，共计1.0人、1.2张/人，其中8.4张的图像作为训练样品，分别为7人、1.2张/人、3.6张的图像、3人、1.2张/人。 通过将训练样品和测试样品随机变换，这样的实验重复了1.0次。 日本女性表情数据库上的实验，SOFM权向量图BP网络性能图，Yale Face数据库上的实验，SOFM权向量图BP网络性能图， 基于单特征单分类器的表情识别神经网络的基于级联反应人脸表情识别几何特征的基于化学基表情识别平均基元解析的基于化学基的基于人脸表情识别Fisher线性判别的人脸

8、表情识别、基于几何特征的面包表情识别、人脸特征点几何特征向量的形成识别过程实验结果、人脸特征点、几何特征的形成、 基于几何特征的人脸表情识别过程1 .在人脸图像上标记2.4个人脸特征点2 .根据上表得到1.2个测量距离，将测量距离用上述公式标准化得到1.2维的局部特征. 读入每个人的脸图像的几何特征数据并变换为一维度的矢量，对于一个人的表情的脸图像，选择一定数量的图像来构成训练定径套，剩下的构成测试集。 4 .将所有测试图像与训练图像进行比较以确定所识别样本的所属类别。 本文使用最近距离分类器进行识别，在两个数据库中的实验结果，Yale Face数据库日本女性表情数据库，单一特征单分类器的表情

9、识别， 神经网络级联反应基于表情识别几何特征的化学基表情识别平均基元分析基于表情识别Fisher线性判别基于化学基表情识别平均元分析的表情识别、元分析改进：平均元分析表情识别过程实验结果、元分析、考虑维度图像空间的个人脸部图像，每个样本属于类别之一，维度特征表示列向量的正交性的矩阵。所述变换后的新向量是：个全离散程度矩阵中所有样本的平均值，而通过线性变换获得的新特征向量的离散程度由下式的线性变换来定义： PCA选择最佳射影变换：是与按降序排列的前一个特征量相对应的特征向量，将这种变换称为主要素分析。 构成的空间就是表情特征空间。 主元分析的改进：平均主元分析、传统主元分析的生成矩阵是协方差矩阵

10、，也称为整体离散散布矩阵，整体离散散布矩阵有构成：类空间离散散布矩阵和类内离散散布矩阵的两部分，改进的算法仅考虑类间离散程度矩阵。 在训练样本定径套中有n个训练样本，被分类为c类，成为第I个样本的数目。 其中，是表示个人脸图像的列向量。 每个类的平均值，总平均值：类间离散程度矩阵：相对于传统的元分析，基本的差异是用每个类的平均值来置换类内的具体图像，因此称为MPCA。 由于每一类的平均值是类内的图像的线性重叠，故每一类的平均值保持相当于必然的各个具体的图像变化的特征，换句话说，对各个图像的变化的特征量实施一定程度的压缩处理，且保持的特征量用于表情图案的识别这一点将在后面的实验中说明，用每个班的

11、平均值替换班内具体的图像的另一个明显的优点是训练时间显着降低。 表情识别流程，1 .脸部图像预处理。 主要包括几何正规化和格雷斯比例正规化。 2 .读取面部库。 读取各自的二维面部图像数据并变换为一维向量，对于一个表情的面部图像，选择一定数量的图像构成训练定径套，其馀的配置测试定径套将图像的大小设为w*h(w和h分别为二维图像的宽度和高度)，将训练中使用的面部数设为n-1，测试令m=w*h，训练定径套m*n1变为一个沉积基质，并且测试集变为m*n2的沉积基质。 第一个脸是3 .计算各类别的平均、合计平均、类间的离散程度矩阵。 4、将类间离散程度矩阵设为KL变换生成矩阵，进行KL变换。 5 .计

12、算产生的矩阵的特征量和特征向量以建构特征子空间。 首先，将特征量从大到小进行排序，并且还调整与此对应的特征向量的顺序。 然后选取建构特征的子空间的一部分。 特征向量具体选择多少由实验方法决定。 6 .将训练图像和测试图像心理投射在前步骤结构的特征子空间中。 将各个面部图像心理投射到特征子空间时，与子空间的交点对应。 同样，子空间中的任何一点都对应于一张图像。 7 .将子空间中心理投射的所有测试图像与训练图像相比较，以指定待识别的样本的所属类别。 本文使用最近距离分类器进行识别。 实验结果，Yale Face数据库MPCA和PCA比较日本女性的表情数据库，根据单一特征单分类器的表情识别、神经网络

13、级联反应的基于表情识别几何特征的化学基平均基元解析的表情识别Fisher线性判别的表情识别， 基于Fisher线性判别的表情识别Fisher线性判别的改进： TPCA FLD基于Fisher线性判别的表情识别流的实验结果、Fisher线性判别、Fisher线性判别(fisherlineardiscrimant:fld ) 或者基于样本类型进行整体特征提取的有效方法FLD基于PCA来改进，其尝试建构更小维度的、仅包括最基本元素的空间，尝试最大化类之间的分布，换言之，对于面部表情识别FLD来说将训练样本集合划分为n个训练样本，并且每个类的平均值为c，则总平均值表示第I个样本的离散程度矩阵为：总类内

14、离散程度矩阵为：即与类间离散程度矩阵：的离散程度矩阵SB和SW的广义特征量相对应的广义特征向量， 最大只有c-1个非零广义的特征量，所以m的最大值为c-1，Fisher线性判别的改善： TPCA FLD，t :求离散程度矩阵的置换。 利用矩阵锁定技，在矩阵为对称矩阵的条件下将和分别置换为和对Fisher基准函数的取得方法没有影响，但因为和是子摇滾乐对角阵，所以置换后计算量大幅降低。 PCA FLD策略将训练样本的面部图像向量心理投射到较低维空间中，而类内分布矩阵并不奇异。 可以用PCA将特征空间降低到N-c维，用标准的FLD将维降低到c-1。 用PCA将脸部图像心理投射到N-c维特征空间：用标

15、准的FLD将维度进行c-1 :基于fisher线性判别的脸部表情识别流程，1 .脸部图像预处理。 主要包括几何正规化和格雷斯比例正规化。 2 .读取面部库。 读取各自的二维面部图像数据并变换为一维向量，对于1表情的面部图像，选择一定数量的图像构成训练定径套，其馀的配置测试定径套将图像的大小设为w*h (w和h分别为二维图像的宽度和高度)，将训练中使用的面部的数量设为n-1测试第I个脸是3 .计算每个类的平均、合计平均和类间的离散程度矩阵，求出类内的离散程度矩阵和合计离散程度矩阵。 4 .利用矩阵块得到和的置换矩阵和。 5、将类间离散程度矩阵设为KL变换生成矩阵，进行KL变换。 6 .计算产生的

16、矩阵的特征量和特征向量以建构特征子空间。 首先，将特征量从大到小进行排序，并且还调整与此对应的特征向量的顺序。 然后选取建构特征的子空间的一部分。 在耶鲁大学Yale face数据库中，使用m=N-c=52维特征向量建构了特征子空间。 在JAFFE中，使用m-N-c=76维特征向量建构了特征子空间。 其中n为训练样本的数目，且c为类数目。 7 .在预处理结构的特征子空间中心理投射训练图像和测试图像。 将各个面部图像心理投射到特征子空间时，与子空间的交点对应。 同样，子空间中的任何一点都对应于一张图像。 8 .使用置换矩阵、置换和FLD。 得到表示脸部表情的特征向量。 9 .用最大相关器分类新的测试图像。 实验结果介绍了Yale Face数据库日本女性表情数据库、论文主要工作、将信息融合应用于表情识别的三个层次模型，探索了单一特征单分类器的表情识别，提出了基于支持向量机理论和信息融合理论相结合的SVM多特征多分类器融合的表情识别， 将径向基函数神经网络用于表情特征融合，提出基于RBF网络的多特征融合表情识别，提出基于SVM的多特征多分类器融合表情识别，基于SVM信息融合的表情识别结构化学基， 运载体机和最优超平面SVM融合原理SVM融合函数和融合模型的一些常用核函数基于SVM信息融合表情识别过程的