面部表情识别#ppt课件

基于信息融合的表情分析与识别，研究生：刘松指导老师：炉学科专业：信号与信息处理，1、论文来源、广东自然科学基金项目： (032356 )，2、研究现状、国际表情识别研究成为科研热点。 国内外许多机构在这方面的研究，特别是美国、日本。 进入90年代后，面部表情识别的研究变得活跃起来，吸引了众多研究者和基金的支持，EI能够检索的相关文献达到了数千件。 美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家，如印度、新加坡等专业的研究小组正在进行这方面的研究。 其中MIT、CMU、Maryland大学、Standford大学、日本城蹊大学、东京大学、ATR研究所的贡献尤为突出。 国内清华大学、哈尔滨工业大学、中国科学院、中国科学院大学、南京理工大学、北方交通大学等都有从事面部表情识别研究的人。 3、目前人脸表情识别的主要方法：基于模板匹配的人脸表情识别方法神经网络基于人脸表情识别方法规则的人脸表情识别方法基于随机序列模型的人脸表情识别方法其他方法如支持向量机、小波分析等4，论文的主要工作是： 介绍了信息融合在表情识别应用中的三种层次模型，单特征单分类器的表情识别将支持向量机理论与信息融合理论相结合， 基于SVM的多特征多分类器融合的表情识别提出了一种基于RBF网络特征融合的表情识别，其中径向基函数神经网络用于表情特征融合，5、表情识别：给出一般静止的面部图像或动态面部图像序列， 面部检测单元3360，其通过使用现有面部表情数据库来识别图像中的一个或多个面部表情，通过从各种情景检测面部的存在来识别面部的位置，以及面部表情特征量提取单元3360，其识别指示数据库中的现有面部表情的描述方法。 一般的表现方式有几何特征、代数特征、固定特征模板、云纹图、3D网格等。 表情识别：将应识别的面部表情与数据库中已知的面部表情进行比较，得到相关信息。 该过程是选择合适的面部表情表达方式和匹配策略，6、论文主要介绍了在面部表情识别中应用信息融合的三个层次模型，单特征单分类器的面部表情识别将支持向量机理论与信息融合理论相结合， 基于SVM的多特征多分类器融合的表情识别通过提出将径向基函数神经网络用于表情特征融合的基于RBF网络特征融合的表情识别、7、信息融合和表情分析、信息融合将来自多个信息源的目标信息归纳为具有一个协议表现形式输出的推理过程， 基本的出发点是通过对这些信息源提供的信息的合理支配和使用，利用多个信息源的时间或空间冗馀和互补性来综合处理这些信息，得到对被测对象一致的解释和描述，从而该信息系统得到比其更好的性能。 面部表情识别包含许多变量，反映识别对象的各要素的非计量形式允许许许多类型的表现技术，各种技术可以用不同的方法计算。 8、基于信息融合表情识别的三个模型，基于特征层融合的表情识别基于特征层融合的表情识别决策层融合的表情识别，9和基于像素层融合的表情识别方法，在对每个图像进行预处理之前进行像素层融合之后，获得融合的面部图像数据，并在其上进行特征提取和表情识别。另外，基于特征层融合的表情识别，该方法特征性地提取各传感器的观测数据而得到特征向量，将这些特征向量融合后从融合后的特征向量进行表情识别。 11、基于决策层融合的表情识别，该方法对各传感器进行表情特征提取和表情识别，将多个识别结果信息融合得到一个表情判定结果，融合来自各传感器的表情判定。 12、论文主要介绍了信息融合应用于表情识别的三个层次模型，单特征单分类器表情识别将支持向量机理论与信息融合理论相结合，SVM多特征多分类器融合表情识别将径向基函数神经网络用于表情特征融合， 提出了基于RBF网络的多特征融合的表情识别，13基于单一特征的单分类器的表情识别，基于神经网级联的表情识别几何特征的表情识别平均主分析的基于表情识别Fisher线性判别的表情识别，14，基于神经网级联的表情识别， 基于网级表情识别结构BP网络的算法流基于网级表情识别的实验结果、15网级表情识别结构、16网级表情识别过程、17网级表情识别的实验结果，在两个数据库中进行了实验， 从耶鲁大学的YaleFace数据库中选择60张脸部图像，共计15人、4人，其中训练样本为56张、14人、4人，测试样本为其馀4张、1人、4人，随机转换训练样本和测试样本，这样的实验重复了15次。 从日本女性表情数据库中选择120张图像，合计10人，12张/人，其中84张图像作为训练样本，7人，12张/人，36张图像，3人，12张/人。 随机转换训练样本和测试样本，重复这样的实验10次。 18、日本女性表情数据库上的实验、SOFM权重向量图BP网络性能图、19、YaleFace数据库上的实验、SOFM权重向量图BP网络性能图、20、 基于单特征单分类器的面部表情识别神经网络的基于级联面部表情识别几何特征的基于面部表情识别平均元分析的基于面部表情识别Fisher线性判别的面部表情识别，21，基于几何特征的面包表情识别，面部特征点几何特征向量的形成识别过程的实验结果，22，面部特征点，23， 几何特征形成，24，基于几何特征的面部表情识别过程1 .在面部图像上标记24个面部特征点.2.根据上表获得12个测量距离，通过上述公式对测量距离进行归一化，获得12维局部特征. 读取每个人的脸部图像的几何特征数据变换为一维向量，对每个人的表情的脸部图像，选择一定数量的图像构成训练组，剩下的构成测试组。 4 .将所有测试图像与训练图像进行比较，确定识别样本的所属类别。 本文使用最近距离识别器识别的25，2个数据库的实验结果，YaleFace数据库，日本女性表情数据库，26，单一特征单识别器的表情识别， 基于神经网络级联的表情识别几何特征的表情识别平均元分析的表情识别Fisher线性判别的表情识别，基于27平均元分析的表情识别，元分析的改进：平均元分析表情识别过程的实验结果，28，元分析，考虑了二维图像空间的个人脸部图像，各样本属于类别之一表示列向量正交性的矩阵。 变换后的新向量是：个全离散度矩阵3360中的所有样本的平均值，由线性变换得到的新特征向量的离散度由该下式的线性变换来定义。PCA选择最佳投影变换：是对应于降序排列之前的特征量的特征向量，这种变换被称为主要像素分析。 构成的空间是表情特征空间。 29、改进的主元分析：平均主元分析，传统主元分析的产生矩阵是协方差矩阵，也称为整体离散散矩阵，整体离散散矩阵与：类之间构成类内离散散矩阵，改进算法仅考虑类间离散度矩阵。 训练样本集合有n个训练样本，分类为c类，作为第I个样本的数量。 在此，颜色是表示个人脸部图像的列向量。 对于每个类别的平均值，总平均值：类别间离散度矩阵：相对于传统的元分析，基本的差异或者用每个类别的平均值来置换类别内的具体的图像，由此称为MPCA。 由于每个类别的平均值是类别内的图像的线性重叠，所以每个类别的平均值必然保持相当于的各个具体的图像变化的特征，换言之，对各个图像的变化的特征实施一定程度的压缩处理，并且保持的特征量对于表情图案的识别有利这一点将在后面的实验中说明，用每个班级的平均值替换班级内的具体图像的另一个明显优点是训练时间显着下降。 30、表情识别流程，1 .脸部图像前处理。 主要包括几何规范化和灰度规范化。 2 .读取面部库。 读入各自的二维面部图像数据并将其变换为一维向量，对于一个表情的面部图像，选择一定数量的图像来构成训练组，其馀的构成测试组将图像的大小设为w*h(w和h分别为二维图像的宽度和高度)，将训练中使用的面部的数量设为n-1， 假设要用于测试的图像数量是n2，m=w*h，则训练集m*n1是一个矩阵，而测试集是m*n2的矩阵。 第一张脸3 .计算各类别的平均、合计平均、类别间的离散度矩阵。 4 .将类间离散度矩阵作为KL变换生成矩阵，进行KL变换。 5 .计算生成矩阵的特征量和特征向量以构造特征子空间。 首先将特征量从大到小排序，并且还调整与此对应的特征向量的顺序。 然后选取构建特征子空间的一部分。 特征向量的具体选择程度由实验方法决定。 6 .将训练图像和测试图像投影到前级结构的特征子空间。 将每个面部图像投影至特征子空间中并对应于子空间中的点。 类似地，子空间中的每个点对应于一个图像。 7 .将投影到子空间的所有测试图像与训练图像进行比较，以确定识别样本的所属类别。 本文采用最近邻距离分类器进行识别。 31、实验结果，YaleFace数据库MPCA与PCA比较日本女性表情数据库，32、基于单一特征单分类器的表情识别、基于神经网络级联的表情识别几何特征的基于表情识别平均元分析的基于表情识别Fisher线性判别的表情识别、33， 基于Fisher线性判别的表情识别Fisher线性判别的改进：基于t pcafldFisher线性判别的表情识别流的实验结果，34，Fisher线性判别，Fisher线性判别(fisherslineardiscriminant : fld ) 或者是基于样本的类别来进行整体特征提取的有效方法即FLD，基于PCA而改善，试图构筑仅包含较小维数的、最基本的要素的空间，使类别之间的分布最大化，试图使类别内的分布最小化，换言之，对于面部的表情识别FLD，能够实现相同类别的表情识别。将训练样本的集合分为n个训练样本，设每类的平均值为c，则总平均值为第I个样本的离散度矩阵为： 35、总类内离散度矩阵：类间离散度矩阵：离散度矩阵：由于只有与SB和SW广义特征量对应的广义特征向量、即最大为c-1个零以外的广义特征量，因此m的最大值为c-1， 36、改进的Fisher线性辨别：利用规定T PCA FLD，t :离散度矩阵的矩阵块技术，在矩阵为对称矩阵的条件下将和分别置换为和不影响Fisher参考函数的取向，但是由于和为块对角矩阵，因此置换后的计算量显着下降。 37、PCA FLD策略将训练样本的面部图像向量投影到较低维度空间中，从而类内分布矩阵是无异常的。 可以用PCA把特征空间降低到N-c维，用标准的FLD把维降低到c-1。 用PCA将脸部图像投影到N-c维特征空间：用标准的FLD将维度c-1 :38，Fisher线性判别的脸部表情识别流程，1 .脸部图像预处理。 主要包括几何规范化和灰度规范化。 2 .读取面部库。 读取各个二维面部图像数据并将其转换为一维向量，对于一个表情的面部图像，选择一定数量的图像来构成训练组，其馀的构成测试组将图像的大小设为w*h(w和h分别为二维图像的宽度和高度)，将训练中使用的面部的数量设为n-1测试的图像的数量第I个脸，3 .计算每个类别的平均、合计平均和类别间的离散度矩阵，求类别内的离散度矩阵和合计离散度矩阵。 4 .利用矩阵块技术得到和的置换矩阵和。 5 .将类间离散度矩阵作为KL变换生成矩阵，进行KL变换。 39、6 .计算生成矩阵的特征量和特征向量以构建特征子空间。 首先将特征量从大到小排序，并且还调整与此对应的特征向量的顺序。 然后选取构建特征子空间的一部分。 耶鲁大学Yaleface数据库利用m=N-c=52维特征向量构建了特征子空间。 在JAFFE中，使用m-N-c=76维特征向量构建了特征子空间。 其中n是训练样本数，c是类数。 7 .将训练图像和测试图像投影到前工序结构的特征子空间。 将每个面部图像投影至特征子空间中并对应于子空间中的点。 类似地，子空间中的每个点对应于一个图像。 8 .使用置换矩阵和置换和FLD。 得到表示脸部表情的特征向量。 9 .用最大相关分类器对新的测试图像进行分类。 40、实验结果表明，YaleFace数据库日本女性表情数据库，41、论文主要介绍了信息融合在表情识别中的三个层次模型，通过单一特征单分类器搜索表情识别，结合支持向量机理论和信息融合理论提出了基于SVM的多特征多分类器融合表情识别， 将径向基函数神经网络应用于表情特征融合，提出了基于RBF网络的多特征融合表情识别，提出了基于42，SVM的多特征多分类器融合表情识别，基于SVM信息融合表情识别结构， 基于向量机和最优超平面SVM融合原理SVM融合函数和融合模型的一些常用核函数是SVM信息融合的表情识别过程实验结果，43、基于SVM信息融合的表情识别结构，本文结合了整体特征建模、局部特征建模和多分类器信息融合的优点，提供了支持向量机为了提高识别系统的识别率和识别系统的鲁棒性，利用人脸图像的各种信息，对预处理的人脸图像提取局部表情特征和整体表情特征，对不同类型的特征使用不同的分类器对人脸表情进行初步分类，最后对三维多项式支持向量机进行分类识别结构如下： 44， 45、基于SV