人脸表情估计与表情合成

1、人脸表情估计与表情合成如果把人们之间交流时传递的信息进行分割的话，人 们所说的话语传递的信息占了 7% ，说话时的语调占了 38%， 而说话人的表情占到了 55%。从表情和神色的变化中，可以 感知到一个人的情绪、感受、甚至秉性和气质。人脸表情是人类进行相互交流的基础，通过人脸表情所 能传达的信息大大超过通过语音或动作所能传达的信息。如 果把人们之间交流时传递的信息进行分割的话，人们所说的 话语传递的信息占了 7%，说话时的语调占了 38%，而说话 人的表情占到了 55%。人的脸上分布着五十多块面部肌肉， 这些肌肉的不同运动方式会导致不同脸部表情，从这些表情 和神色的变化中，可以感知到一个人的情

2、绪、感受，甚至秉 性和气质。一般来说，表情可以分为中性无表情和六种基本 表情 : 高兴、忧伤、惊讶、愤怒、鄙视和恐惧，其他表情可 以看做是这些表情的组合。表情估计人脸表情是影响人脸识别系统性能的一个重要因素， 般的人脸识别系统数据库中存储的是中性无表情的人脸图 像，如果以带有各种表情的人脸图像去进行识别查询就往往 得不到所期望的结果。解决这个问题的可能方法有 : 在库中 保存每一个人的所有可能的表情，但这对于变化无穷的人脸 表情来说是不实际的 ; 采用对表情不敏感的识别算法，但这 样往往只能对低强度的表情变化有效，而且对表情的不敏感 很可能就会导致对其他影响因素敏感 ; 对输入图像进行表情 补

3、偿，这是解决表情对人脸识别系统的影响最有效的方法， 可采用如图 1 所示的结构。图 1 人脸识别流程对于输入的人脸图像，首先采用表情估计模块估计图像 中人的表情，如果此人是不带有表情的就直接可以交给人脸 识别系统进行识别了。而如果此人是带有表情的，则再输入 到表情合成模块，表情合成模块会根据此人的表情导入相应 的模型对其进行处理，然后合成得出此人的不带表情人脸图 像，再交给人脸识别系统进行识别。在人脸表情估计方面， 采用的是人脸图像的 Gabor 特征， 通过一系列的滤波器对图像进行处理，可以得出图中人脸在 不同方向上不同大小的特征，由于 Gabor 函数具有与人类大 脑皮层简单细胞的二维反射

4、区相同的特性，因此用 Gabor 特 征来体现人脸不同表情的不同变化是非常有效的。然后再对Gabor 特征进行抽样处理，并选择出其中最重要的部分。 正如我们在日常生活所体会的，表情的变化主要体现在 眼睛、眉毛、嘴巴这些部分，因此在这些部位得到的特征也 就应该得到更多的重视。最后再构造分类器对得到的特征进 行判别，这样便可以得知输入图像中人的表情了。这种技术 除了可以用在人脸识别系统外，还有广泛的应用空间，例如 高强度行业从业人员（例如长途车司机）的情绪监控，在监 测到司机的表情越来越疲倦的时候，可以报警或者发出醒神 的音乐，这样就可以大大降低发生意外的可能性 ; 又例如用 在远程教育辅助系统上

5、，在学生的屏幕前装上摄像头和表情 估计系统，那么在远程的老师就可以实时地了解到学生的情 绪状态，方便调整自己的讲课进度了。对于输入的人脸图像，根据需要使之产生不同的表情， 称为人脸表情合成。我们在电脑游戏和 CG 动画中常常见到 一类基于人脸模型的表情制作、合成技术，一般是先建立人 脸的三维模型并将其用一系列参数表示，然后通过调整参数 后使得人脸模型展现出各种各样的表情。这样的动画看起来 很有趣，但却不适合用在人脸识别领域，因为它们的目的是 根据现有图形按照一定规则产生不同表情对应的人脸图形， 要求在新产生的不同表情的图像中能感受到表情的变化，而 不关心图像中的人体（实际上用到的图形很多并不是

6、真正的人脸图像，而是通过计算机图形学画出的人脸图形）实际表 情变化时产生的人脸变化，因此看起来会有明显的人造痕 迹。而我们则是希望合成出的人脸图像能够尽量接近真人在 表达这种表情时的图像。表情合成进行表情合成时，我们通过在人脸上定义的 94 个特征 点对人脸的形状进行描述，人脸上的纹理则用这些特征点所 包围的人脸区域的灰度描述。通过收集一系列各种人各种表 情的人脸图像，我们可以建立起人脸的形状模型和纹理模 型。利用这两个模型我们可以方便地获得人脸图像的参数化 描述，也就是说，用一个参数向量去表示一个人脸，这样就 非常方便后续的处理了。既然参数向量代表着对应的人脸图 像，那么该人脸所具有的表情就

7、必然在参数向量上有所反 映，于是我们就可以把参数向量上的表情信息由一种表情变 换为另一种表情。其中对参数向量的表情转换是基于这样的 假设进行的 : 相似的人具有相似的表情表达方式。经过对训练集进行统计分析和学习后，对于一幅新的人 脸图像的参数向量，我们就能从中分析出其个人特性、表达 表情的方式等特点，然后得出此人的表达另一种表情时的参 数向量。最后，由经过表情变化后的参数向量结合前面得到的人脸形状模型和纹理模型就能得到合成的人脸图像。如图 2 所示，可以看到左边的人脸图像是带有比较强烈的表情的， 用这样的图像进行人脸识别往往得不到理想的效果，而右边 的图像是经过表情合成处理后的图像，已经是接近不带表情 了，这样就降低了与人脸数据库在表情上的差异，有利于进 一步提高识别效果。图 2 表情合成前后对比表情的合成技术除了用于人脸识别系统外，也有其他很 多有意思的应用 : 例如用于情感机器人中，使机器人在说话 及做动作的同时表达出相应的表