基于双模态信息提取和高斯过程的情绪强度估计.doc

第11A期彭小宁等：基于双模态信息提取和高斯过程的情绪强度估计121基于双模态信息提取和高斯过程的情绪强度估计彭小宁1,2，邹北骥1，李春玲1，罗峋3（1. 中南大学 信息科学与工程学院，湖南 长沙410083；2. 湖南怀化学院 计算机科学与技术系，湖南 怀化 418008；3. 电子科技大学 电子工程学院，四川 成都 610054）摘 要：针对急躁情绪的强度估计问题，提出了解决方案，其思路是对急躁情绪进行数学建模，构建双模态特征模型，分别采用面部表情和动作表情双模态信息来表征急躁情绪；然后将高斯混合隐马尔可夫（MHMM）模型与高斯过程结合起来对情绪强度进行估计，得到情绪强度值。实验结果表明：该算法实现简单，并且能快速实时地对情绪强度进行估计，与只采用面部表情信息的方法相比正确率提高了24.7%，达到85.1%。关键词：面部表情；动作表情；双模态；情绪强度；高斯过程中图分类号：TP391 文献标识码：A 文章编号：1000-436X(2008)11A-0114-08Estimation of emotion intensity based on double-mode information extraction and Gaussian processPENG Xiao-ning 1,2, ZOU Bei-ji1, LI Chun-ling1, LUO Xun 3(1. School of Information Science and Engineering, Central South University, Changsha 410083, China;2. Department of Computer Science and Technology of Huaihua College, Huaihua 418008,China;3. School of Electronic and Engineering , University of Electronic Science and Technology, Chengdu 610054, China)Abstract: A solution was proposed for the estimation of impatience intensity as follows: a mathematical modeling was advanced for impatience to build a double-mode feature model, expressing impatience with both facial and actions expression. Then, emotion intensity was estimated by gaussian mixture hidden Markov model (MHMM) and Gaussian process. The experiment results indicate that it is a simple and effective algorithm of intensity estimation and the accuracy is heightened by 24.7% to 85.1% compared with the method based on facial expression.Key words: facial expression; actions expression; double-mode; emotion intensity; Gaussian process1 引言收稿日期：2008-10-15基金项目：国家自然科学基金资助项目（6067309333）；湖南省自然科学基金资助项目（06JJ20065）Foundation Items: The National Natural Science Foundation of China (6067309333); The Natural Science Foundation of Hunan Province (06JJ20065)情绪是指人对认知内容的特殊态度，是以个体的愿望和需要为中介的一种心理活动1。生活中人们有着各种各样的情绪，每一种情绪同时对人们的生活有反作用。因此对情绪进行识别，并相应地对情绪强度进行估计，其结果对于人脸识别、表情分析和基于视觉的人机交互等研究具有直接而重要的意义。心理学家认为人的情绪通过面部表情和动作表情体现2,其中面部表情通常表现为6种最基本的表情：惊奇、恐惧、厌恶、愤怒、高兴、悲伤3；而动作表情是指与情绪相关的除去面部表情以外的动作，它包括头部的运动以及身体其他部分的运动。近年来对情绪强度的研究着重在通过面部表情强度来估计情绪强度，而结合面部表情和动作表情对情绪强度进行估计的则较少。基于面部表情来研究情绪，利用表情强度来表征情绪强度是近年来国内外广泛采用的方法。对面部表情的研究又分为表情识别和表情强度估计2部分。目前国内外就表情识别展开了研究工作，提出了一系列的算法。文献4对HMM 进行训练时,划分眼部7种、嘴部7种，共14种HMM。把各种表情的眼部与嘴部分开训练，对不同特征区域进行分析, 进而分析混合表情的含义。文献5采用嵌入式HMM对表情进行识别，将MHMM与Adboost结合起来对人脸表情进行实时的识别。人脸表情强度表示表情的剧烈程度，国内外相关机构在表情识别的基础上开展了一系列对表情强度度量的研究。已有的方法大致为2类：全局的和基于局部特征的方法。全局方法考虑到整个面部图像包含的信息，需要保存人脸的所有信息并从这些数据中发现相关的特征。因此计算量很大且需要较大内存空间。文献6是一个典型的全局方法，该方法的思想是将整个面部区域视为一个整体势能场，利用弹性网格模型提取面部表情形变信息，通过面部表情的形变信息对待测试表情图像进行类型识别和强度估计。局部特征方法的思想是跟踪人脸的某些特征（如眼睛、嘴巴）的位置并假设这些特征的相对运动与表情强度相关。文献7是一个典型的局部特征方法，该方法是基于人脸表情运动单元（FACSAU）进行面部特征提取与强度估计。由于该方法获取的特征数据维度低，分类过程的计算负荷因此降低，处理时间加快。因此，局部特征方法更为合适对于表情分析实时性这个发展趋势的要求。 用面部表情来表示情绪，利用面部表情强度来表征情绪强度都存在着不足和缺陷，即忽略了情绪的另一个特征动作表情。为此,研究者们开始结合动作表情对情绪进行识别。由于身体其他部分的运动属于人体跟踪范畴，目前主要是针对头部运动的动作表情开展研究，文献8结合面部特征与头部运动特征采用动态贝叶斯网络（DBN）来对驾驶员疲劳状态进行识别。文献9采用多层次结构来识别6种情绪状态，第1层采用MHMM对表情进行识别；第2层结合头部运动信息和表情识别信息采用DBN识别6种情绪。但文献8和文献9的研究都只停留在特征提取阶段，没有对头部运动的强度进行分析；在情绪分析阶段也没有扩展到情绪强度估计层面。急躁是诸多情绪中一种常见的情绪，一般来说急躁情绪在面部表情上主要表现为厌恶表情，而在动作表情上则主要表现为头部的运动。轻微的急躁情绪大多数人都会经历，但是非常严重的急躁情绪会对人们的工作和生活产生不良影响，因此对急躁情绪进行识别，并且对强度进行估计，当急躁达到某一级别时提醒人们调整情绪，是有着重要的现实意义。本文在文献8和文献9的基础上，进一步扩展到情绪强度估计研究，针对它们所存在的问题就急躁这一特定情绪强度进行分析，提出了一种新的解决方法，其思想是分别采用面部表情和动作表情双模态信息来表征急躁情绪，然后将高斯混合隐马尔可夫（MHMM）模型与高斯过程结合起来对情绪强度进行估计，得到情绪强度值。实验结果表明该方法能够较好地估计情绪强度。2 双模态情绪信息提取方法双模态情绪信息指面部表情强度信息和动作表情强度信息。本文采用文献10的方法跟踪双模态信息，这是因为文献10的方法既能跟踪与表情相关的6个主要facial action unit (FAU)的运动，又能跟踪头部在X、Y、Z轴方向低于30的偏转。在面部表情信息提取部分，本文首先采用MHMM方法对表情进行识别，其中高斯混合系数M通过Gap Statistic方法11计算得到M等于2，然后采用改进的基于局部特征的方法，根据不同的表情有不同的主FAU，自动选取与表情相关的主FAU来表征面部表情强度；在动作表情信息提取部分，对动作表情强度进行建模，采用动作的频率和幅度来表征动作表情的强度。2.1 表情强度估计中主FAU的选取三级分段标题，小五号加粗，固定行距15磅,段前段后3磅由于每个FAU都对表情的产生有贡献，因此表情的强度为各个FAU值的线性叠加，如式(1)所示,其中I表示表情强度，FAU1FAU6表示6个表情运动单元的取值，af 表示每个FAU对表情强度的贡献大小。(1)虽然每一种表情的产生都与这6种FAU相关，但是这6种FAU对不同的表情有不同的重要程度，如FAU5嘴巴的拉伸，是决定人是否高兴的主要运动单位，而FAU1表示眉毛的下降，是决定人是否悲伤的主要运动单元。因此如何决定一种表情的主AU非常重要。方差是衡量数据波动程度的大小的量，不同的数据方差越大说明其波动程度越大，反之则越小。在决定表情强度的6个FAU 中，波动越大的对表情强度的影响越大，因此可以根据计算不同FAU的取值的方差来判断他们对表情强度的影响程度，影响程度大的为主FAU。方差的计算如式（2）所示。(2)其中，X为FAU在各个时刻的取值，E(X)表示数学期望。令D(Xi) i1，6 分别为6个FAU的方差，则式（1）转化为式（3）。(3)由于不是每一个FAU的方差都比较大，甚至有些FAU的方差可能非常的小，对表情强度的影响可以忽略，在此可以设当FAU的方差D(Xi)0.001时对表情强度的影响可以忽略，因此式（3）转化为式（4）。(4)2.2 动作表情的建模在急躁这一特定情绪中动作表情主要表现为头部运动。本文对头部运动强度进行建模，采用运动的频率和幅度来表征强度。由于头部运动的频率和幅度对头部运动强度的影响程度相同，因此取频率和幅度的平均值作为头部运动的强度。2.2.1 动作表情的幅度在分析头部运动幅度时，仅需要分析特征提取后Y方向上偏转的角度值，偏转的度数越大说明头部运动的幅度越大，这是因为在急躁情绪中动作表情为头部的摇动，在特征跟踪中头部摇动的大小即为Y方向上数据的大小。但是仅根据1frame的数据难以判断头部运动的幅度，需要依据一段时间的帧的数据变化来判断头部运动的幅度，实验证明取15frame作为一个时间片能较好地分析头部运动的幅度和频率。因此分析15frame内头部偏转角度的方差可以估计15frame内头部运动的幅度。方差表示一段时间内数据的波动程度，方差越大说明数据的波动程度越大，即幅度越大。令T为视频的长度，那么一共有i=T/15个时间片，i取整数。对每个时间片求方差得到D(i),将得到的方差归一化得到T(i)，如式(5)所示。(5)其中，i=1,2,floor(T/15)。所得T(i) 为在0到1之间变化的数，它与头部的运动幅度的变化趋势相同，因此将T(i)视为头部运动幅度的表达式。2.2.2 动作表情的频率头部运动频率在本文中即为头部摇动的频率，在此表现为特征提取后得到的Y方向的数据的改变频率。在15frame内对其在Y方向的偏转角度进行离散余弦变换（DCT）得到相应的频率分布。要在整个视频中估计每个时间片的频率，即需要估计每个时间片做DCT后所得到的数据的高频分量的多少，高频分量越多说明频率越大。定义：设时间序列x，经变换后的序列为X，则有(6)(7)其中，k=1,2,n1。同样以15frame为一个时间片，T为视频的长度，对每个时间片的数据yi进行DCT变化得Yi（i=T/15个时间片，i取整数）。本文主要是要观测每个时间片的高频值的多少，高频值多的时间片，说明头部摇动的频率高。由于对数据yi做DCT变化后，横坐标x为频率值，而纵坐标y为相应的强度，因此对Yi求数学期望E(Yi)= Yj Xj,(j=1,15)可以知道数学期望越大则说明其高频分量越多，头部摇动的频率越高。对i个时间片的数据进行DCT变化后再对其求数学期望得到E1,E2,E(i)，对他们进行归一化如式（8）所示得到数据频率大小的表示值。(8)其中，i=1,2,floor(T/15)。本节只是针对急躁这一特定情绪进行了分析，但是该方法可以扩展到其他情绪，例如兴奋、痛苦等。本节构建了一个由面部表情强度和动作表情强度决定的情绪强度估计的通用模型，其中面部表情强度由产生该表情的主FAU的取值决定，动作表情强度由情绪本身决定，不同的情绪其动作表情不同，因此相应的强度信息也不同。由此可以推广，对其他的情绪强度进行估计只要选取不同的主FAU 和不同的动作表情就可获得相应的情绪强度。3 人脸情绪强度估计3.1 观测值的构成经过特征提取阶段人脸表情强度值为It，t=1、2、3T其中T为视频的长度；头部运动强度为Hi=T(i)+E(i)/2，其中i=1,2,floor(T/15)表示该值为第几个时间片的头部运动强度值。由于同一段视频的人脸表情强度值和头部运动强度值序列的长度不一样，为了将它们结合起来构成一个观测值，必须将他们转换为长度相等序列。本文对人脸表情强度值序列处理，将其转化为与头部运动强度值序列长度相等的序列。同样以15frame为一个时间片，取15frame的人脸表情强度值的平均值为这个时间片的强度值，则人脸表情强度值如式（9）所示。(9)其中，i=1,2,floor(T/15)。将人脸表情强度值序列和头部运动强度值序列结合起来构成一个2行floor(T/15)列的观测值，如式（10）所示。(10)其中，t=i。3.2 情绪强度估计情绪强度不是由单一的因素决定的，而是由表情强度和动作表情决定，其中动作表情包括头部运动以及身体其他部分的运动。由于身体运动不是决定情绪强度的主要因素，本文拟采取面部表情强度和头部运动强度表示情绪强度。假设情绪强度的取值为Y，决定其强度的因素为X，通过回归分析可以建立X与Y之间的映射关系，如式(11)所示(11)其中，是径向基函数，h是基函数的序号，是基函数的权值,(12)式(11)中的X是2.1节所示的观测值Ot。如果设定Y的维度远小于X的维度，则上述回归分析实际上完成了对的非线性降维，其对应的隐变量为X，从隐变量空间到情绪强度空间的映射函数为。虽然隐变量X无法与“面部表情强度、头部运动强度绪、身体运动强度”等因素直接联系起来，但它提供了情绪强度的低维表示方法。除了X之外，式(11)中的待定参数还有很多（比如H个权值），因此参数求解的难度较高而且容易过度拟合（overfit）。采用“高斯过程法”的思路：假设服从高斯分布N（0,），这样H个便退化为一个方差变量，规则函数转化为随机过程。由于情绪强度的取值y是的线性组合，根据高斯分布的线性叠加性，情绪强度的分布也呈高斯分布，即(13)其中，形成协方差矩阵，记为K，它的第i行j列元素。鉴于P(y)的均值为0，可以把Y看作是减去了均值的情绪强度。j虽然式(13)仅仅揭示了FAU的先验概率分布P(y)，但结合贝叶斯定理可以实现从X到情绪强度的回归映射。假设有一组样本Dxi, yi | i1,N，其中N是样本个数，x可由2.1节描述的方法求得。研究人员希望求出测量值xt对应的情绪强度的取值yt，这等价于求解条件概率 P(yt | D)的数学期望。该条件概率可以根据贝叶斯定理展开，如式(14)所示。(14)其中，P(D)与测量值(xt, yt)无关，所以写作常数Z。yD=yi | i1,N ，KN+1是xi, xt | i1,N 形成的协方差矩阵，其逆矩阵可以用逆矩分解公式(partitioned inverse equation)13写成式(15)。(15) 其中，(16)其中，KN为KN+1的前N行N列，k1为KN+1最后一列的前N个元素，k是KN+1的最后一行最后一个元素。将式(15)和式(16)代入式(14)中可得(17) 其中，(18)(19)由于Y是减去了均值的情绪强度，所以测量值xt对应的情绪强度I的取值应该是(20)式(20)给出了低维隐变量X到情绪强度值I的映射关系。采用极大似然估计法对上式的参数进行求解，似然函数如式(21)所示。(21)4 实验结果采用MATLAB工具实现了上述算法，并与基于面部表情强度的算法进行了实验比较。实验的硬件环境是：Pentium 2.8GHz，512M DDRAM。4.1 训练和测试数据集的构成实验随机抽样采集10人（4男6女）共30段急躁情绪的视频，其中每一段视频包含4001 000frame不等，采集过程中，在不限制头部和身体运动的条件下，让每个采集对象阅读一段能激发人急躁情绪的文字并作出自然反应。图像采集的速度为30frame/s，采集的图像为灰度图像。将采集的图像分2组，每组15段视频，第1组视频仅包含1个从开始到结束的完整情绪，第2组视频包含2个从开始到结束的完整情绪。（一个完整情绪是指对象从开始出现情绪到情绪逐渐增强至高潮再逐渐减弱直至情绪停止的过程。）将每组视频进行表情强度估计和头部运动强度估计后所得的值构成一个2行T列的矩阵，其中第1行为表情强度值，第2行为头部运动强度值。取其中的9组作为训练数据集用来训练MHMM的参数，6组作为测试数据集用来估计情绪强度。在基于面部表情的情绪强度估计方法中仅需要面部表情强度一个特征来对情绪强度进行估计，因此取矩阵的第1行作为实验的训练和测试数据集。本文采用基于高斯过程的方法估计人的情绪强度。但是在训练和测试阶段数据的标记没有统一的标准，文献12中是经过特殊训练的专家来对表情强度进行手工标记，利用标记后的数据进行训练和测试。由于条件限制，本文对文献12进行了稍微的更改，选取不同性别和年龄的10个人来对数据进行标记，首先将试验的目的（估计情绪强度）告知标记者，让标记者根据自己的理解来对视频中的情绪强度估计明显的地方进行标记（最高点，最低点等），然后取平均标记值作为数据的最后标记值，再根据该标记数据使用样条插值法进行插值，得到每一个时间片的强度值为数据最终的标记值。最后将带标记的数据集输入到回归模型中进行训练和测试，得到情绪强度值。4.2 情绪强度估计结果在双模态信息提取阶段，根据1.2节所述的方法进行实验，所得结果如图1和图2所示。其中图1表示面部表情强度信息的提取，图2表示头部运动强度信息的提取。第1组实验：对象为15个视频，每个视频包含一个从开始到结束的完整情绪的视频，其中9个作为训练数据集，6个作为测试数据集。图3是测试数据集里的6个视频之一的实验结果。图1 面部表情强度估计图2 头部运动强度估计图3 第1组视频中某一段视频的实验结果：2种不同方法的估计结果以及标记数据图3表明，将2种不同方法所得情绪强度估计结果进行比较，采用本文提出的算法所得的实验结果与标记数据比较接近，在115个时间片内基本上没有产生误差，而在视频的后一阶段1539则产生了相对前一阶段来说较大的误差。究其原因是在数据的跟踪阶段，当人脸的表情和头部运动都达到最大值时，人脸模型偏离了原来的位置使数据的跟踪产生了较大的误差，这是由特征跟踪方法本身的局限性决定的只能跟踪头部偏转在30以内的视频。而基于表情强度的方法由于在其算法上忽略了一个决定情绪强度的特征头部运动强度而使得情绪强度估计结果与标记数据有着较大的偏差。第2组实验：对象为15个视频，每个视频包含两个从开始到结束的完整情绪的视频，其中9个作为训练数据集，6个作为测试数据集。图4是测试数据集里的6个视频之一的实验结果。根据图4，可以看出本文的算法在第1个完整的情绪阶段所得情绪强度值与标记数据基本一致，但是在第2个完整的情绪阶段估计结果与标记数据有较大的误差，这也是因为第1个情绪阶段由于跟踪所产生的误差会给第2阶段带来更大的误差。从图4还可以看出采用基于面部表情强度的方法所得的实验结果与标记数据有着非常大的差别，这是因为它在算法上忽略了一个决定情绪强度的特征动作表情强度，仅根据面部表情来决定情绪强度，假如动作表情强度与表情强度的趋势是一致的，那么采用基于面部表情强度的方法所得的实验结果误差将不大，但是如果动作表情强度与面部表情强度的趋势不一样时将会产生比较大的误差，如本实验所得实验结果。图4 第2组实验中某一段视频的实验结果：2种不同方法的估计结果以及标记数据通过对2种方法的实验结果进行分析可知本文的方法能够较好地估计情绪强度。文中采用计算2条曲线的夹角的余弦值的方法来估计2种方法与标记数据的相似程度即算法的正确率。首先在标记数据上等分的取N个点（N等于该视频的时间片），得到每个点坐标（xi, yi）,i=1,N。取yi的值构成一个向量。在本文算法所得实验结果的曲线上进行同样的操作构成向量,在基于面部表情的算法所得实验结果的曲线上进行同样的操作得到向量。则向量与之间的夹角的余弦值cos（如式（22）所示）就为本文算法与标记数据的相似度，同理可得基于面部表情的算法与标记数据的标记数据的相似度。(22) 表1显示了采用式（22）计算所得的2种方法2组视频中每一个视频的识别正确率和总体的识别率。由表1可以看出本文的算法在整体上达到了90.1% 的正确率，而基于面部表情的方法的正确率仅为77.1%，大大低于本文的方法，说明本文的方法比基于面部表情的方法优越。对表格进一步分析可得2种方法第2组视频的正确率低于总体正确率，说明在视频中当完整的情绪越多时正确率越低，这是因为在第1个完整的情绪阶段的误差会导致第2个阶段的误差更为严重。表1情绪强度估计的正确率组数正确率视频本文的方法基于面部表情的方法第1组190.7%79.4%298.0%84.6%385.2%71.8%492.2%75.0%585.6%71.1%693.6%80.6%总体90.1%77.1%第2组175.6%51.9%283.7%44.2%376.2%32.7%483.5%54.2%576.8%30.9%684.9%48.0%总体80.0%43.7%总体85.1%60.4%5 结束语由于急躁是一种在现实生活中普遍存在的负面情绪，对人的工作和学习都有消极的影响，因此利用计算机识别并估计人的急躁情绪的强度，依据结果来提醒人们调整情绪有着重要的意义。本文提出基于双模态信息提取和高斯过程的方法来对情绪强度进行估计。实验表明本文的方法能够较好地估计急躁情绪强度。参考文献：1丹尼尔.高曼.情商M. 北京：时报文化,1996. GOLEMAN D. Emotional IntelligenceM. Beijing: China Times Cultural,1996.2詹姆士. 什么是情绪J. 心理, 1884.JAMES W. What is EmotionsJ. Mentality,1884.3EKMAN P. Facial expression of emotion: an old controversy and new findingsJ. Philosophical Transactions: Biological Sciences,1992.4金辉, 高文. 基于特征流的面部表情运动分析及应用J.软件学报, 2003, 4(12):2098-2104.JIN H, GAO W. Analysis and application of the facial expression motions based on eigen-flowJ. Journal of Software, 2003, 4(12): 2098-2104.5ZHOU X X, HUANG X S, XU B, et al. Real-time facial expression recognition based on boosted embedded hidden markov modelA. Proceedings of the Third International Conference on Image and GraphicsC. 2004.6KIMURA S, YACHIDA M. Facial expression recognition and its degree estimationA. Proceedings of the International Conference on Computer Vision and Pattern RecognitionC.1997. 295-3007LIEN J J J, KANADE T, COHN J, et al. Subtly different facial expression recognition and expression intensity estimationA. Proceedings of the IEEE International Conference on Computer Vision and Pattern RecognitionC. 1998. 853-8598GU H S, JI Q. Facial event classification with task oriented dynamic bayesian networkA. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern RecognitionC. 2004.9KALIOUBY