表情识别博士答辩课件

导师：胡正平教授学生：孙哲专业：电子科学与技术基于解耦空间特征学习的稀疏表示表情识别算法研究2018导师：胡正平教授基于解耦空间特征学习的稀疏表示表情识别CONTENTS目录国内外研究现状技术路线研究内容研究目的和意义创新点12345研究不足与展望6CONTENTS目录国内外研究现状技术路线研究内容研究目的和研究目的和意义01[第一部分]研究目的和意义01[第一部分]研究目的和意义表情识别优势：所谓相由心生，人类对事物的喜恶，最直观的表现就是表情。方便友好、易于接受、不易伪造等应用：智能交通、辅助医疗、远程教育、卫生保健、监视系统、驾驶员安全、测谎、互动游戏、社交机器人等表情自动拍照表情驾驶系统监控表情测谎研究目的和意义表情识别优势：所谓相由心生，人类对事物的喜恶，研究目的和意义理论意义和应用价值：1.

利用新的理论工具，有望取得新的突破2.为解决实际生活场景中复杂的表情识别问题奠定基础；例如：多个体表情识别3.

推动基于动态的表情分析等相关问题发展；例如有效跟踪用户情绪变化，可以很方便的为静态图片/实时视频流中人脸加情绪标签4.

扩展表情识别应用范围，例如：人脸表情交互、营销辅助多个体表情识别动态的表情分析人脸表情交互研究目的和意义理论意义和应用价值：多个体表情识别动态的表情分国内外研究现状02[第二部分]国内外研究现状02[第二部分]特征提取方法几何结构特征人脸运动编码系统

浅层特征Gabor特征局部纹理特征LBP子空间表示PCA深度子空间特征PCANetLDANet深度特征CNNRNN特征提取方法几何结构特征深度子空间特征分类方法近邻分类方法NN二三一五四支持向量机SVM稀疏表示分类方法SRC协同表示分类方法CRC概率协同表示分类方法ProCRC分类方法近邻分类方法NN二三一五四支持向量机SVM稀疏表示分技术挑战

欠完备采样面部表情示例图面部表情的易变性：人脸身份、观察角度、光照、年龄等。训练样本欠完备：实际中能得到的样本只是对表情图像空间中的一个极小部分的采样，而标注信息完备的样本少。技术挑战欠完备采样面部表情示例图面部表情的易变性：人脸身份技术路线03[第三部分]技术路线03[第三部分]整体思路整体思路拟采取的技术路线

本文从特征提取角度入手，针对欠完备数据融合人脸身份和表情特征的特点，构建一系列基于解耦空间特征学习的稀疏表示表情识别算法并利用计算机仿真分析这些算法的性能。

一方面，本文从基于先验知识的解耦思想出发，利用浅层学习提取解耦空间的表情特征来提高面部表情识别性能；另一方面，本文从自学习解耦思想出发，利用深度子空间模型优异的特征提取能力结合稀疏表示来提高面部表情的识别性能。技术路线拟采取的技术路线本文从特征提取角度入手，针对研究内容04[第四部分]研究内容04[第四部分]为解决表情数据受人脸、小样本、光照等影响，提出两种基于解耦空间浅层特征学习算法针对训练样本中缺少中性表情集导致无法借助此表情集构造表情字典，提出一种基于低秩稀疏误差字典的概率协同表示识别算法一二研究内容从面向数据角度出发，提出一种基于像素差值表示的区分性特征学习识别算法鉴于深度子空间模型优异的特征提取能力及运行时间上的优势，提出两种基于解耦空间深层学习算法三四

本文针对欠完备数据融合人脸身份和表情特征的特点，构建了基于解耦空间特征学习识别模型并利用计算机仿真对算法性能进行分析，具体研究内容如下：为解决表情数据受人脸、小样本、光照等影响，提出两种基于解耦空研究内容框图基于独立人脸身份的协同表示识别算法1基于字典学习特征空间的稀疏表示识别算法2基于低秩稀疏误差字典的概率协同表示识别算法3基于像素差值表示的区分性特征学习识别算法4基于深度子空间特诊核映射的稀疏表示识别算法5基于深度子空间特征的二步表示分类识别算法6特征提取训练样本集测试样本分类结果研究内容框图基于独立人脸身份的协同表示识别算法1基于字典学习实验方案一1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征的二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5实验方案一1基于独立人脸身份的协同表示识别算法基于字典学习特算法一整体框架算法一整体框架实验验证：JAFFE、KDEF数据集实验设计与结果分析表1-1JAFFE数据集上不同算法的识别率表1-2KDEF数据集上不同算法的识别率

本节将实验提出算法与五种算法进行对比，识别结果如右表所示。对于JAFFE数据集，如表1-1可示，当参数g=0.5，h=0.5时，实验提出算法可取得62.29%的平均识别率，而对比算法CRC也仅获得60.98%的识别结果。对于KDEF数据集，IFRC算法同样优于其他对比算法。例如：当参数g=0.6，h=0.4时，IFRC算法取得最佳识别率为77.98%。（1）不同算法对比实验验证：实验设计与结果分析表1-1JAFFE数据集上不同实验设计与结果分析

为进一步验证本算法有效性，本节选取每个人每类表情的前N张图像作为训练样本。右表给出了两个数据集中不同训练样本数量在不同对比算法下的识别结果。由表可知，无论N取1或2时，IFRC算法识别结果均优于对比算法。表1-4KDEF数据集上不同训练样本数在不同算法中的平均识别率表1-3JAFFE数据集上不同训练样本数在不同算法中的平均识别率（2）不同训练样本数对比实验设计与结果分析为进一步验证本算法有效性，算法总结本节提出的IFRC算法具有以下优点：IFRC算法利用差分字典(通过从原始空间减去人脸身份信息)来表征表情变化特征，缓解了人脸身份对表情特征的影响；本算法利用对称性将差分字典扩展得到虚拟差分字典，该字典扩大了训练样本数量，从而弥补了欠完备样本对识别产生的影响；该算法通过适当融合差分测试样本在两个差分字典上的类残差提高了表情识别的性能。算法总结算法总结本节提出的IFRC算法具有以下优点：算法总结实验方案二1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征的二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5实验方案二1基于独立人脸身份的协同表示识别算法基于字典学习特算法二整体框架

首先，将原始空间映射到表情空间。

其次，利用表情图像的近似对称结构对表情字典进行学习并采用主成分分析进行降维，以进一步突出表情特征。

最后，利用稀疏表示分类对测试样本进行分类。算法二整体框架首先，将原始空间映射到表情空间。实验设计与结果分析（1）不同特征方法对比表2-1不同特征方法在不同数据集上的平均识别率及运行时间

本节分别将实验提出特征方法与四种特征方法进行对比。从下表可以看出，实验提出DLFS特征方法可达到的识别率高于其他算法，LBP特征方法识别效率次之。此外，实验提出DLFS特征在每个测试样本上的运行时间虽然不是最低的，但相对LBP和LPQ特征方法仍有明显的优势。实验验证：JAFFE、CK+、KDEF、AR数据集实验设计与结果分析（1）不同特征方法对比表2-1不同特征方实验设计与结果分析（2）不同数量训练样本对比

本节选取AR数据集中不同数量的训练样本进行实验。实验分别选取每人每类表情的1、2张图像作为训练样本，同样选取PCA方法降维。实验提出算法DLFS+PCA与对比算法DD+PCA的平均识别率随特征维数变化的曲线如图2-3所示。(a)(b)图2-3不同样本数在不同维数下的平均识别率(a)每人一张训练样本数和(b)每人两张训练样本数实验设计与结果分析（2）不同数量训练样本对比本算法总结实验提出DLFS_SRC算法具有以下优势：通过字典学习产生的最佳差分字典不仅缓解了人脸身份对表情特征的影响，而且确保面部图像中的表情更符合真实的表情类别信息；本算法简单易操作，还可用于图像恢复；最佳差分字典有利于增加同一表情类中图像之间的相似性，从而提高了不同表情类之间的差异性。算法总结

上述两种算法均从表情空间入手，通过从原始空间减去人脸身份空间得到相对独立的表情空间，均在一定程度上缓解了人脸身份对表情识别的影响，从而提高面部表情识别性能。然而上述算法均依赖于中性表情训练集，但当样本中无中性表情训练集时则算法不适用。为此，下面从低秩子空间映射入手，提出基于低秩稀疏误差字典的概率协同表示识别算法，以此提高表情识别鲁棒性。算法总结实验提出DLFS_SRC算法具有以下优势：算法总结实验方案三1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征的二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5实验方案三1基于独立人脸身份的协同表示识别算法基于字典学习特算法三整体框架

该算法尝试将原样本空间映射到表情空间进而利用概率协同表示原理进行分类得到最终的识别结果。算法三整体框架该算法尝试将原样本空间映射到表情空间进实验设计与结果分析（1）不同特征方法对比(a)(c)(d)图3-2五种特征方法分别在(a)JAFFE(b)KDEF(c)CAS-PEAL和(d)CK+数据集上的识别率(b)实验验证：JAFFE、CK+、KDEF、CAS-PEAL

由右图可知，实验提出LRSE特征在每类表情识别率和平均识别率上均优于其他对比特征提取方法，原因在于低秩分解方法将原始字典分解成与人脸身份相关的低秩共同字典以及与表情相关的稀疏误差字典，而稀疏误差字典有更好的表情表征力。实验设计与结果分析（1）不同特征方法对比(a)(c)(d)图实验设计与结果分析（2）不同分类方法对比

本节进一步讨论实验提出特征空间LRSE结合ProCRC及对比分类方法的识别结果。下列出不同分类方法在5个表情数据集上的结果表明，ProCRC优于其它分类方法。原因在于本算法中的ProCRC利用概率协同表示计算测试样本所属每个表情类的概率值，它有效利用了所有类中的训练样本来决定测试样本标签。表3-1不同分类算法在五个数据集上的识别率实验设计与结果分析（2）不同分类方法对比本节进算法总结

本节的算法利用低秩矩阵分解方法将原始字典分解为低秩共同字典及稀疏误差字典，而稀疏误差字典则具有区分性的表情特征，因此本算法进一步利用稀疏误差字典提取表情特征。分类阶段，本算法利用ProCRC通过计算测试样本属于各个表情类别协同子空间的概率进行分类，提高了识别准确性。算法总结

以上两章均是基于图像全局表示，第五章将从面向数据的局部角度分析如何提高表情特征的表征能力，进而提高表情识别鲁棒性。算法总结本节的算法利用低秩矩阵分解方法将原始字典实验方案四1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征的二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5实验方案四1基于独立人脸身份的协同表示识别算法基于字典学习特算法四整体框架

本算法尝试利用一种区分性的特征描述符提高面部表情的表示能力。首先，对于任一训练样本构建基于像素差值表示的区分性特征矩阵进而获得区分性特征词典；其次，利用垂直二维线性判别方法分析找到一个最佳映射矩阵使得区分性特征字典的类间散度与类内散度比最大；最后，利用最简单的近邻分类器来判决测试样本的标签。算法四整体框架本算法尝试利用一种区分性的特征描述实验设计与结果分析（1）不同参数对比

为验证实验提出方法的有效性，本节在CK+、KDEF和CMUMulti-PIE数据集上进行实验，且本算法采用LOSO和LOESO两种交叉验证方法。下表列出三个数据集在不同参数下的识别结果。由表中数据可知，当维数d为20到40之间实验结果相对稳定。表4-3CMUMulti-PIE数据集分别在两种场景下随不同参数下变化的识别率表4-1CK+数据集分别在两种场景下随不同参数下变化的识别率表4-2KDEF数据集分别在两种场景下随不同参数下变化的识别率实验设计与结果分析（1）不同参数对比为验证实验提实验设计与结果分析（2）不同算法对比

表4-4至表4-6给出了不同算法在不同数据集上的平均识别结果和测试阶段的运行时间。从这些表中可以看出，实验提出算法在LOSO和LOESO两种场景下对所有数据集均取得了最佳识别结果。此外，实验提出方法在运行时间上优于其他对比算法。表4-4两种场景中CK+数据集在不同算法中的平均识别率和运行时间表4-5两种场景中KDEF数据集在不同算法中的平均识别率和运行时间表4-6两种场景中CMUMulti-PIE数据集在不同算法中的平均识别率和运行时间实验设计与结果分析（2）不同算法对比表4-4至表算法总结本节算法优势的在于以下两点:区分性特征字典能够表示表情特征的局部变化，因此对识别更具鲁棒性；V-2DLDA不仅保护了DFD中区分性表情特征，同时降低了矩阵维数，有利于缩短运行时间。算法总结

以上算法均从解耦空间浅层特征角度对表情识别进行研究，且多个数据集上的实验验证了其有效性。第六章则从深层特征入手，利用深度子空间模型充分挖掘图像优异的抽象表征用于表情识别。算法总结本节算法优势的在于以下两点:算法总结以实验方案五1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征的二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5实验方案五1基于独立人脸身份的协同表示识别算法基于字典学习特算法五整体框架由于深度子空间模型提取的数据深层特征忽略了特征间的非线性关系，因此本章引入核映射思想，将深层特征映射到核空间使得特征高度可分，提出一种基于深度子空间特征核映射的稀疏表示识别算法。算法五整体框架由于深度子空间模型提取的数据深层特实验设计与结果分析（1）不同算法对比表5-2CK+数据集在不同算法上的识别率表5-4CMUMulti-PIE数据集在不同算法上的识别率表5-3KDEF数据集在不同算法上的识别率表5-1JAFFE数据集在不同算法上的识别率实验设计与结果分析（1）不同算法对比表5-2CK+数据集实验设计与结果分析（2）不同块遮挡率对比(a)(b)(c)(d)图5-2不同算法在(a)JAFFE(b)CK+(c)KDEF和(d)CMUMulti-PIE数据集上的平均识别率对比

由图可知，识别率都随遮挡率的增加而下降，原因在于遮挡部位越多，辨别性信息越少，稀疏度越差。而实验提出算法仍然优于其他对比算法，进一步验证了本算法对遮挡表情的鲁棒性。实验设计与结果分析（2）不同块遮挡率对比(a)(b)(c)(算法总结本节提出一种基于深度子空间特征核映射的识别算法。本算法有以下优势：深度子空间学习通过级联的PCA/LDA、二进制哈希编码及直方图分块来处理输入图像，当滤波器

固定时，即可简单高效的训练出样本的深层特征；

本节提出算法通过将深层特征映射到核空间以此捕获这些特征间的非线性相似性使得不同类别间样本特征高度可分；最后利用l2范数表示分类方法对测试样本进行分类，考虑了实际应用中的时间复杂度。算法总结算法总结本节提出一种基于深度子空间特征核映射的识别算法。本算实验方案六1基于独立人脸身份的协同表示识别算法基于字典学习特征空间的稀疏表示识别算法基于低秩稀疏误差字典的概率协同表示识别算法基于像素差值表示的区分性特征学习识别算法234基于深度子空间特征二步表示识别算法6基于深度子空间特征核映射的稀疏表示识别算法5实验方案六1基于独立人脸身份的协同表示识别算法基于字典学习特算法六整体框架本节从特征选择角度入手，提出一种基于深度子空间特征二步表示识别算法。对于任一测试样本，其深层特征矢量可表示为其中，为前最佳TSFs，表示系数可利用下式求解随后，每个表情类中的最佳TSFs对测试样本特征表示及分类最后，测试样本被分类到最小的残差类中：算法六整体框架本节从特征选择角度入手，提出一种基于实验设计与结果分析（1）不同参数对比

本节在不同参数设置下验证算法有效性，实验结果如下表所示。由表可知，实验提出算法在不同参数下均能取得较好的识别结果，同时也说明字典中并不是所有的训练样本均有利于表示及分类。表示最佳训练样本占所有训练样本的比例表6-1四个数据集在不同参数下的识别结果实验设计与结果分析（1）不同参数对比本节在不同参数设置实验设计与结果分析（2）不同块遮挡率对比(a)(b)(c)(d)图6-2四种数据集分别在不同算法下的平均识别率对比如右图可知，识别率都随遮挡率的增加而下降，原因同样在于遮挡部位越多，辨别性信息越少，稀疏度越差。然而基于PCANet特征在不同块遮挡率下取得的识别结果均优于其他对比算法。实验设计与结果分析（2）不同块遮挡率对比(a)(b)(c)(算法总结本文最后一章提出两种基于自学习的识别算法利用深度子空间模型提取图像的深层抽象特征，上述两种算法对于遮挡的测试样本具有更高的识别效率，原因在于遮挡样本经过模型每层PCA/LDA滤波后，被遮挡部位的贡献会被忽略，且不会传递到模型的输出层，从而使得算法对遮挡表情识别更具鲁棒性。算法总结算法总结本文最后一章提出两种基于自学习的识别创新点05[第五部分]创新点05[第五部分]本文提出的两种基于先验知识的特征学习识别算法，充分挖掘欠完备采样数据本身的表情信息提高了识别性能。创新点123本文从低秩子空间映射角度入手，提出了基于低秩稀疏误差字典的概率协同表示识别算法，提高了表情识别性能。从面向数据的局部角度出发，提出了基于像素差值表示的区分性特征学习识别算法，利用一种区分性的特征描述符提高了面部表情的表示能力。论文创新点4本文提出的两种基于自学习的深层特征识别算法，充分挖掘了数据的深层表情特征，提高表情识别性能。本文提出的两种基于先验知识的特征学习识别算法，充分挖掘欠完备研究不足与展望06[第六部分]研究不足与展望06[第六部分]研究不足与展望动态视频序列研究不足及展望局部判别性特征研究本文的实验样本均为静态的面部表情图像，实际上表情是实时变化的，动态视频序列能有效的表现表情的变化过程，因此后续会对动态视频序列进行研究。本文分别从浅层特征和深层特征角度考虑面部表情识别问题，虽然识别性能得到了不同程度的提升，但未考虑将不同区域的判别信息进行融合，因此后续可从多区域融合角度出发，提出更具判别性的特征提取算法。研究不足与展望动态视频不足及展望局部判别性本文的实验样本均为博士期间研究成果已发表及录用SCI论文8篇：[1]SunZhe,HuZhengping,WangMeng,ZhaoShuhuan,Individual-freerepresentationbasedclassificationforfacialexpressionrecognition,SignalImageandVideoProcessing,2017,11(4):597-604.(SCI)[2]SunZhe,HuZhengping,WangMeng,ZhaoShuhuan,Adaptivejointblock-weightedcollaborativerepresentationforfacialexpressionrecognition,TURKISHJOURNALOFELECTRICALENGINEERING&COMPUTERSCIENCES,2017,25(5):3699-3712.(SCI)[3]SunZhe,HuZhengping,WangMeng,ZhaoShuhuan,DictionaryLearningFeatureSpaceviaSparseRepresentationClassificationforFacialExpressionRecognition,ArtificialIntelligentReview,2017,126(21):1-18.(SCI)[4]SunZhe,HuZhengping,WangMeng,ZhaoShuhuan,Robustfacialexpressionrecognitionwithlow-ranksparseerrordictionarybasedprobabilisticcollaborativerepresentationclassification,InternationalJournalonartificialintelligencetools,2017,26(04):1750017.(SCI)[5]SunZhe,HuZhengping,WangMeng