基于单张人脸图像表情生成方法

基于单张人脸图像的表情生成方法马禹骞钟宝江School

of

Computer

Science

and

Technology计算机科学与技术学院研究背景主要工作总结展望研究背景面部表情交流-55%（Mehrabian,1971）Mehrabian指出,在人与人的日常交流中,只有7%和38%的信息是通过口头和声音传递的。而面部表情交流的信息占到了55%。人脸表情作为人类情感的重要表达方式,具有无可替代的作用。情感计算（Affective

computing.

Picard,1995）要求计算机能识别,分析,处理,模拟人类情感,与人类进行情感交互。研究背景HCI:

CUI–GUI–NUI–EUI

（仿生代理）以现有的技术来说，人与机器的交流必须通过屏幕等设备进行，但是机器没有人类多样的表达器官。现在大多数的交互方式还是以机器为中心、生硬的。因而，模拟一个仿生代理就成了实现情感交互的重要媒介。表情识别率已经有相当水平表情生成研究仍然欠缺研究背景人眼视觉敏感——对人脸特别敏感现有的生成方式数据获取复杂计算量大生成效果不自然一种人脸数据获取设备一种表情生成方法结果提出方案针对单张人脸图像照片获取简单二维变换现有设备主要为屏幕——平面依照人脸器官特征进行划分、变换；组合生成表情研究背景主要工作总结展望主要工作归纳趋势：归纳人脸器官，抽象变化趋势提出原则：提出针对人脸图像的网格划分原则提出方法：提出一种针对人脸表情的网格划分方式及参数化方法建立生成：对人脸主要器官进行模型建立定义基本表情，生成多种表情，添加皮肤纹理细节调查评测：统计问卷，评价生成效果人脸器官形状特点轮廓曲线拟合——简单的二次曲线拟合变动趋势归纳例-眉毛：人脸器官形状特点在JAFFE数据库中随机选取一些人脸图像，截取出各类器官都能使用二次曲线进行拟合。说明使用二次曲线来描述轮廓是合理可行的。眉毛：拱桥状曲线，直线水平或略接近“八”字的形状；眉心处向上抬起，弯曲，呈现出椭圆的部分形状；直线倒“八”字形状。嘴：主要呈现为角度与厚度的变化。如厌恶时嘴角向一侧倾斜；悲伤时嘴唇厚度变小。眼睛：主要为眼皮的开合。高兴、悲伤时略微合起；惊讶时张大。针对人脸的划分原则对称性网格密度与变化程度的正相关性划分密度——变化依据五官特性设计单元网格形状——五官基于知识进行网格划分个性差异划分构想文献中已有的划分方式：主要从不同角度对人脸做出了细致的描述，需要相当数量的参照或定位点。（如Matthews,2004;MPEG-4

标准中人脸描述）没有将主要器官变化与周围皮肤变化区分开来本文新的网格划分方式：区分器官与周围皮肤划分构想主要器官为纺锤形使用简单的曲线（如二次函数）来描述器官轮廓针对表情的网格划分区域以四边形划分：每条曲线在横向上做均等分隔，形成多个四边形分隔区域定义d为划分密度，由此，我们得到“上皮肤”区域、“变换对象”区域、“下皮肤”区域各d小块区域，加上左右两个区域，一共需要变换3d

+2个四边形小块区域。针对表情的网格划分记H为主要部分原始高度；h为变换后目标区域高度。变换后目标只有方向趋势定义（点11、12、13），其本身没有高度。变换后的高度取决于原高度与比例系数r，即h=rH

.针对表情的网格划分d的取值：划分的数量即d的设置关系到变换效果的平滑程度。如果划分得太少，所生成的人脸表情很不自然；而划分得过多会加大计算量。在多次试验后我们发现一般d≥5的划分可以取得良好的效果。不合理的参数设置效果,这里d

=2各器官建模眉毛：内眉抬起、内眉下垂、眉毛抬起。嘴：嘴角上扬、嘴角下垂、嘴不对称弯曲。其它表情如抿嘴等可以通过调节嘴的厚度，即关键区域的高度来实现。眼睛：眼皮的变化，即其高度。表情分类表情——如何变动？感受的主观性6种基本表情（Ekman

&

Friesen，1971）高兴、悲伤、愤怒、惊讶、厌恶、恐惧依照表情一般规律、对JAFFE数据库的观察，定义表情定义基本表情#

表情高兴悲伤愤怒恐惧厌恶惊讶文字说明眉毛放松。嘴角往耳朵处拉伸。内眉毛弯曲向上。眼睛轻微合上。嘴角下垂。内眉毛向下拉伸聚拢。眼睛张大。眉毛抬起聚拢。内眉毛弯曲向上。眉毛和眼皮放松。上嘴唇抬起、弯曲，通常不对称。眉毛抬起。眼皮张开。组合生成表情高兴、悲伤、愤怒恐惧、厌恶、惊讶理论上可任意组合生成新表情皮肤纹理我们可以针对单张人脸的情况，提取一些褶皱图像。皮肤纹理在“愤怒”表情上的添加皱眉效果统计主观评测表情正确率自然度高兴100%4.5悲伤92.9%3.9愤怒100%4.8恐惧64.3%3.9厌恶85.7%2.8惊讶71.4%4.0研究背景主要工作总结展望工作总结提出针对人脸的网格划分原则，抽象人脸器官特