基于人脸非对称性的表情识别.doc

基于人脸非对称性的表情识别信息婪2009年第11期鲫一中图分类号:TP391.4文献标识码:A文章编号:11:1092552(2009)110OO804基于人脸非对称性的表情识别方婷,葛万成(同济大学中德学院,上海2OOO92)摘要:阐述了一种基于人脸非对称性的表情识别算法.该算法借助非对称人脸(Dface和S.face)来表征人脸非对称性,利用增强型方差率(AvR)和改进的基于排序思想的方差率自动选取人脸非对称性特征,然后分别用欧氏距离和K.近邻()算法测定表情识别率.仿真结果表明,人脸非对称性测量包含有判决信息,应用在表情识别中可以有效提高识别的准确率.关键词:表情识别;非对称人脸;增强型方差率;K.近邻(KNN)FacialasymmetryforexpressionrecognitionGTing,GEWan.cheng(CDHK,TongiiUniversity,锄ai2O0O92,China)Abstract:Anexpressionrecognitionalgorithmbasedonfacialasymmetryisdescribed.ThealgorithmrepresentsthefacialasymmetrywithAsymFaces(Dface,Sface).卟efacialasymmetryisselectedautomaticallyaccordingtotheaunentedvarianceratio(AVR)andimprovedvarianceratio.TheclassificationrateismeasuredwiththeEuclideandistanceandKNN(K?NearestNeighbor).eexperimentresultsshowthatthefacialasymmetrycontainsdiscriminativeinformationanditsapplicationinexpressionrecognitioncanimprovetheperformanceofexpressionrecognitionalgorithms.Keywords:facialexpressionrecognition;AsymFaces(Dface;S-face);AVR;KNN0引言一个人脸表情识别系统一般包括3个环节,即人脸检测,特征提取,表情分类.所谓人脸表情识别就是对人脸的表情信息进行特征提取分析.人脸表情数据库主要有七种最基本的表情,即中性,高兴,惊奇,愤怒,悲伤,厌恶和恐惧,各种表情都是通过人脸的显着特征,如眼睛,鼻子,眉毛,嘴等的变化进行分辨的.提取特征后,选择适当的分类器将得到的人脸与数据库中的已知人脸相比较,从而得到待测人脸的表情类别.人脸表情识别涉及图像处理,计算机视觉,模式识别,应用心理学,生命科学,认知科学等学科的相关知识,这是一个极富挑战性的任务.众所周知,表情的出现产生了一定程度的人脸非对称性_】J.在一个给定的人脸表情上发现左右脸在识别率上确实存在差异.另外,据报道,单卵双胞胎之间的人脸非对称参数有相当大的差异.心理学家认为,越是不对称的脸,越没吸引力,但是越不一8一对称的脸却越好识别.所有这些显示非对称性在自动人脸识别上的潜在意义,尤其在表情识别方面.人脸非对称性可以由外部因素引起,例如背景噪声,观察方位和光照方向,也可以由诸如种族,成长,受伤和年龄的变化等内部因素引起.外部因素可以通过适当的图像标准化方法及适当的人脸建模移除.所以人们可以通过人脸非对称测量提取影响人脸表情的内部因素信息.鉴于此,本文尝试把人脸非对称性特征应用于人脸表情识别上,并试图寻找一种简单而且好理解的特征提取算法和分类器来证实人脸非对称特点的实用性.本文采用CMU的Cohn.Kanade人脸表情数据库做了两组测试实验,第一组(ioyVSdisgust):200个训练样本及42个测试样本;第二组(joyVSsurprise):收稿日期:2O090508基金项目:本文受德国罗德与施瓦茨公司资助作者简介:方婷(1986一),女,硕士研究生,研究方向为通信网络中的信号与信息处理.I2个训练样本及46个测试样本.实验中,本文借JDface和S-face来表征人脸局部非对称性,利用强型方差率(AVR)自动选取人脸非对称性特征.:AVR基础上,人们提出了一种改进的基于排序思l的方差率算法,并也应用于人脸非对称性特征的取.最后人们分别用欧氏距离和K一近邻(KNN)法测定表情识别率.算法的数学模型.1D-face,Sface本文采用Dface和S-face_4表征人脸非对称性,=借此测定基于人脸局部非对称性的表情识别的识J率,如图1所示.密度差异图Dface:D(,Y)=,(,Y)一,(,Y)(1)边缘方向相似性图s.face:S(,Y)=cos(,(),()(2),()是两幅边缘图像,在同一个素值位置(,Y)上的夹角.,为样本原图,为样:的镜像对称图像,为样本原图的边缘图像,f镜像对称图像的边缘图像.图1原图样本,镜像对称脸,Dface和S-face由参数定义知D.face为原图减镜像图像,所得7密度差异图像.S-face为边缘方向相似性图,取得是两幅图像I夹角余弦值.根据.cos()=(3)实现方法:把样本图像存储矩阵每行的相邻三?像素值形成向量,求该图边缘图像与其镜像的边图像对应向量所成的夹角余弦值,所得值做归一:,然后存放于一矩阵中,该矩阵所显图像即为该图7Sface.2图像预处理非对称特征一个潜在的约束是它们需要精确处!数据库图像.实际图像通常有噪声,预处理阶段:该尽量去除人脸图像的各种干扰因素,如头部旋转,面部遮挡及背景和光照等影响.因此非对称性测量首先需要对人脸做一个标准化处理,来保证测量的是人脸的实际内部非对称性,而不是由于外部噪声形成的人为非对称性.因此测量有可能对标准化处理和人脸中线的检测很敏感,所以需要使这条线尽可能的准确.本文尝试用左右眼角(C,C)和人中(C,)三点对每一幅人脸图像做位置标准化.按照如下步骤:人脸检测出左右眼角(c,C:)和人中(C.);X-量化及量化,CC=0,c到CC的距离为b;旋转,以c为中心旋转cc到水平位置,调整,使c.在cc的垂直平分线上且使C,到CC:的距离为b.位置标准化后,接着对图像进行灰度拉伸,光照补偿,以改善图像的对比度,实现灰度归一化.最后对训练集与测试集中所有图像做S-face与Dface.1.3判决特征子集选择在人脸非对称测量中,人脸的整个范围的每一个像素不是具有相同的判决性,在一个可选择空间,可以自动选择一个具有高判决性的空间子集作为分类判决特征向量.对于一个具有c类的特征F,增强型方差率AVRL引:AVR(F)=Vr(S,)Ci=1crfin(1脚(S,)一meanj(S,)1)(4)式中,mean.(Js)是第i类表情特征F的平均,AVR是特征的方差与样本间特征的方差的比值,找出类之间最小的变化值.AVR值越大,说明该位置判决信息越大.训练集所得AVR曲线(i0vVSsurprise)如下:由图2可以看出,D的峰值点在Y=30的位置,即第30列具有最高判决性.D的峰值点在=92的位置,即第92行具有最高判决性.s的峰值点在Y:51的位置,即第51列具有最高判决性.s的峰值点在=79的位置,即第79行具有最高判决性.分类时则可取这些具有高判决性的点作为分类特征.图3为AVR选取的特征对应的人脸区域.增强型方差率AVR算法简单,选取的是脸部最具判决性的特征区域(带状区域).基于此,本文提出了一种改进的基于排序思想的方差率来选取判决特征.利用增强型方差率AVR算出脸部各离散点的判决强度,再通过排序算法,按照阈值标准选取出前n个最佳判决点,并记录各点位置信息.该位置信息即作为表情分类判决特征点.一9一图2表情识别中某训练样本(joyVSsmprise)特征的AVR曲线SxS图3表情识别中某样本(suI埘se)经AVR选取的特征区域定义一个阈值),:AVR),=L一96%(5)AVRi式中,为人脸图像像素点总个数,n为选取出的最佳判决点个数.实现方法:对训练集(Dface)中每类表情的所有图像(幅(128*128)按列存取,形成(128*128)*的矩阵置,对置取平均,得(128*128)*1列向量,求得各类表情间方差Var(),进而求出AVR值.一10一对AVR值排序,取出前n个值,并记下对应位置,该位置即为判决特征点.对训练集(sface)做同样操作,找出最佳判决特征.1.4分类器按照训练集所选出的表情特征对表情进行分类,测定识别率.首先尝试的是基于欧氏距离的线性分类办法.对于单个参数子集作为判决特征向量,可以直接用欧氏距离d作为判决准则.d=厂一i=1(test)(train)(6)上式,P(test)为每张测试图像的特征向量,p(train)为训练集得出的平均特征向量,/7,为特征向量维数.当多个参数子集合在一起作为新的子集时,会因各参数子集对判决距离的贡献不同而影响识别率.比如说+,按式(6)求出的距离为:厂一d=(0x(test)一Ox.(train)+(Sx(test)一Sx(train)(7)两参数向量,对d的贡献不同,对距离d进行归一化,公式改为:d:耋(一-1)对于多参数子集,经过对距离的归一化处理,实现了各参数子集的均衡.鬟熹表情的表现有缓和的和激动的,细微的和强烈的,轻松的和紧张的等诸多形式.鉴于表情的强度,比如说大笑,微笑,直接用线性判别有弊端.所以尝试用K一近邻测定识别率.处理方法:把测试集中的每一幅图像分别与训练集ioy,disgust里的每一幅图像的特征求距离,所得距离从小到大排序,选取前K个,测识别率,找出最大识别率.哪类表情个数大于K/2则判为该类表情.2实验结果分析2.1实验参数实验数据参数说明如表1所示:表1表情识别训练参数2.2实验结果表2为第二组实验的测试结果:表2表情识别(JoyVSSmprise测试结果(FNR)注:FNR(Falsenegativerate)为被判成负样本的概率;正样本(Positive)为Joy(P),负样本(Negative)为Surprise(N)2.3实验结果分析由表2可以看出,仅用单个非对称脸参数子集做表情分类识别率不高,Dface与S-face结合,识别率大大提高,全部参数结合起来的识别率比较理想(D)【+Dv+sx+Sv相比其他参数子集识别率有明显提高).用KNN做表情分类比用欧氏距离的识别率高(JoyVSSurprise中,对于参数子集D)(+sx+Sv,用欧氏距离Joy的FNR为12%,而用KNN却达到6%).因此做表情识别时应该考虑表情强度的分散性.但是KNN复杂很多,运行时间比较长.另外,改进的基于排序思想的方差率来选取表情特征也有可行性.3结束语D.face和sface算法模型很简单而且能够快速运算,具有一定的灵活性.它们可以完整的表示出人脸表情的本质特征,并能够有效去除背景噪声,光照及其他与表情无关的干扰信息.增强型方差率(AVR)可自动选取人脸区域的非对称性特征,改进的基于排序思想的方差率则能通过计算面部各离散点判决强度而选取最佳判决特征点.它们选取的特征,数据表示形式紧凑,维数较低.两者均能找出面部最活跃的特征,且不同类别表情的特征之间有较好的区分性,对表情变化显示出鲁棒性.因此,人脸非对称特点应用于表情识别可以取得很好的效果.参考文献:1jBoredJD,KoffE,YeckerS,eta1.Facialasymmetryduringemotionalexpression:gender,valenceandmeasurementtechniqueJ.Psychophysiology,1998,36(11):12091215.2FakasLG.FacialasymmetryinhthynorthAmericancaucasiansJ.angleOrthodontist,1981,51(1):7077.3JLiuY,MitraS.ExperimentsWithQuantifiedFacialAsymmetryforHumanIdentificationRobotlMJ.Inst.,C_椰eeMellonUniv.,Pittsbm-gh,PA,Tech.Rep.CMU-RITR-0224,2O02.14LiuY,SchmidtKL,CohnJF.FacialAsynrnetryQuantificationforExpressionnvariantHumanIdentification【cJ.ProceedingsoftheFiIEEEInternationalCon