基于特征分类器优化匹配和DBN决策的人脸表情识别.ppt

报告人：,基于特征分类器优化匹配和DBN决策的人脸表情识别,答辩人：指导老师：,汇报内容,一、绪论二、人脸表情识别概述三、多特征多分类器优化匹配的人脸表情识别四、多特征融合的DBN决策人脸表情识别五、总结与展望,绪论,研究背景及研究意义：人类情感意义重大，并且面部表情是内心情感最直观的外在体现。1971年Ekman等人提出了将表情分为6个基本类型：高兴、悲伤、愤怒、惊讶、恐惧和厌恶。人脸表情识别算法研究与发展，对学术科研、商业、日常生活以及当前的研究热点也都产生了重大影响。,绪论,表情特征提取的研究现状：,面部特征提取常用方法,全局特征,动态表情图像特征,局部特征,主元分析法(PCA)独立分量分析法(ICA)线性判别法(LDA),Gabor小波局部二值模式(LBP)SIFT特征,光流估计特征点跟踪隐马尔可夫模型,绪论,分类方法的研究现状：,表情分类常用方法,K近邻方法神经网络方法支持向量机方法Adaboost朴素贝叶斯(NB)模糊融合D-S证据理论,绪论,国内外人脸表情研究成果：,汇报内容,一、绪论二、人脸表情识别概述三、多特征多分类器优化匹配的人脸表情识别四、多特征融合的DBN决策人脸表情识别五、总结与展望,人脸表情识别概述,人脸表情识别系统工作流程：,人脸表情识别概述,图像预处理介绍：,表情图像预处理,图像的直方图均衡化,滤波去噪,图像几何变换,比例缩放图像的旋转等,线性滤波中值滤波自适应滤波,人脸表情识别概述,人脸检测：,表情分类常用方法,基于肤色信息的人脸检测模型基于几何特征的人脸检测模型基于纹理信息的人脸检测模型神经网络人脸检测模型隐马尔科夫人脸检测模型基于子空间的人脸检测模型活动轮廓模型,人脸表情识别概述,特征提取与分类识别的改进：,目的：为了提高人脸表情识别模型的性能,经典特征方法的改进，例如：LDP、LTP和LGC等,多特征的融合级联、多特征-分类器匹配,人脸表情识别概述,实验结果：,不同分类模型在JAFFE库上识别率对比,人脸表情识别概述,实验结果：,不同分类模型在CK库上识别率对比,人脸表情识别概述,实验结果,不同级联模型在JAFFE库上识别率对比,不同级联模型在CK库上识别率对比,汇报内容,一、绪论二、人脸表情识别概述三、多特征多分类器优化匹配的人脸表情识别四、多特征融合的DBN决策人脸表情识别五、总结与展望,多特征多分类器优化匹配的人脸表情识别,最优样本的主成分分析（OptimalSample-PCA，OS-PCA）,问题：PCA降维后的空间仍带有冗余信息,OS-PCA,样本筛选,多特征多分类器优化匹配的人脸表情识别,实验结果：,基于CK表情库的实验结果,基于JAFFE表情库的实验结果,多特征多分类器优化匹配的人脸表情识别,多特征-多分类器最佳匹配模型（OptimalMatching，OM）,为了弥补单一特征表征人脸的局限性,多人脸特征互补,针对特征与分类器的差异性,特征-分类器优化匹配,自适应决策,输出结果,多特征多分类器优化匹配的人脸表情识别,OM模型框架：,多特征多分类器优化匹配的人脸表情识别,实验设计：,实验设计,运行环境：WindowsXP、单核2.0GHz、2GB内存，vc6.0,表情库,特征参数,OS-PCA：累积贡献率为95%LBP:分块模式为3*3DCT:区域大小为14*14,JAFFE表情库CK表情库,多特征多分类器优化匹配的人脸表情识别,实验结果：特征-分类器组合为：OS-PCA对应朴素贝叶斯、DCT对应SVM、LBP对应SVM，最近邻分类器由于表现欠佳没有被采用。,JAFFE,CK,多特征多分类器优化匹配的人脸表情识别,不同模型的实验对比：,JAFFE,CK,汇报内容,一、绪论二、人脸表情识别概述三、多特征多分类器优化匹配的人脸表情识别四、多特征融合的DBN决策人脸表情识别五、总结与展望,多特征融合的DBN决策人脸表情识别,DBN模型：第三章提出的OM模型，虽然能对多个特征与多个分类器可以做出最优的匹配，并且缓解投票决策中存在分歧的问题。但是存在自适应决策时间复杂度过高的不足。,为了降低模型自适应决策的时间复杂度以及能更好地利用样本的时序信息，本章提出基于动态贝叶斯网络的多特征人脸识别模型（DBN模型）,多特征融合的DBN决策人脸表情识别,模型训练过程：将训练库分为训练子库和测试子库，完成以下两个任务：,（1）采用第三章的优化匹配思想，完成模型的特征-分类器的优化匹配工作,（2）针对匹配后的特征-分类器组合，完成每个组合对先验知识的学习,多特征融合的DBN决策人脸表情识别,概率值的计算过程：,基于训练过程学习得到的先验知识，计算粗分类结果C为正确的先验概率值pre,假设样本为C类时，结合先验知识，计算C类样本被正确识别的概率值post,Pre与post加权求和，得到最终后验概率值pro,多特征融合的DBN决策人脸表情识别,本章模型框架：,多特征融合的DBN决策人脸表情识别,实验结果：,多种识别模型在JAFFE和CK表情库的实验结果,多特征融合的DBN决策人脸表情识别,实验结果：,不同系数条件下的模型识别率,多特征融合的DBN决策人脸表情识别,实验结果：,JAFFE,多特征融合的DBN决策人脸表情识别,实验结果：,CK,多特征融合的DBN决策人脸表情识别,自建库样本图像：生气悲伤恐惧高兴中性厌恶惊讶,多特征融合的DBN决策人脸表情识别,实验结果：,多种识别模型在自建表情库的实验结果,多特征融合的DBN决策人脸表情识别,实验结果：,自建库,多特征融合的DBN决策人脸表情识别,时间复杂度分析：本章提出的模型的时间复杂度与选择的表情特征无关，有效地避免了时间复杂度过高的风险。,多种模型的时间复杂分析,汇报内容,一、绪论二、人脸表情识别概述三、多特征多分类器优化匹配的人脸表情识别四、多特征融合的DBN决策人脸表情识别五、总结与展望,总结与展望,本文工作总结：1）介绍了人脸表情识别的研究背景、研究意义和研究现状，以及人脸表情识别系统的组成，并且介绍了每个模块的几种常用方法；2）针对PCA降维过程中的不足，本文提出了基于最优样本的OS-PCA降维方法。为了弥补单一特征表征人脸的不足，提出了多特征-多分类器优化匹配的人脸表情识别模型；3）了更好提高多粗分类结果的融合效率，本文构造了利用动态贝叶斯网络的多特征人脸识别模型。,总结与展望,研究展