个性化人脸表情动画的研究与实现

个性化人脸表情动画的研究与实现个性化人脸表情动画的研究与实现 本科毕业设计答辩本科毕业设计答辩 报告人： 张申 指导教师：蔡莲红 教授 报告日期：2005年6月19日 报告内容大纲报告内容大纲 1. 研究的背景和内容 2. 个性化三维人脸模型的建立 3. 人脸表情动画合成 4. 总结和展望 报告内容大纲报告内容大纲 1. 研究的背景和内容 2. 个性化三维人脸模型的建立 3. 人脸表情动画合成 4. 总结和展望 研究背景研究背景人机交互人机交互 ? 具有丰富表现力的人机交互方式 ? 真实感三维人脸合成 ? 语音合成的研究 ? 情感表现力 ? 虚拟说话人的研究(lifelike talking head) 应用背景应用背景可视文语转换可视文语转换 ? 可视文语转换系统(Text to Visual Speech) ?与语音同步的唇动合成 ?面部表情配合语音中的情感 ?体现个性化(男声、女声、特定人) ? 交互服务应用 (e-learning, e-business, e-mail, entertainment) 研究内容研究内容 ? 工作一 个性化三维人脸模型的建立 ? 工作二 人脸表情动画的初步合成 国内外研究现状国内外研究现状 1. 真实感人脸合成 三维人脸合成的一般方法 基于MPEG-4的三维人脸动画框架 2. 人脸表情合成 基本表情分类 可视韵律，有情感表现力的人脸动画 3. 虚拟说话人系统应用 国内外研究现状国内外研究现状(1) 1. 基于模型的人脸合成（Model-based） ?手工建模：三维制作软件 ?特征建模：网格重构 ?扫描建模：三维扫描仪 ?统计建模：投影逼近 2. 基于样本的人脸合成（Sample-based） ?采集大量视频图像 ?样本拼接 真实感人脸合成真实感人脸合成 国内外研究现状国内外研究现状(2) 1. 基于网格的三维人脸模型 ?基本原理 以三维网格作为人脸骨架模型 ?组成要素组成要素 几何网格、面部纹理 ?特点 通用、实时性、易于实现人脸动画 真实感人脸合成真实感人脸合成 国内外研究现状国内外研究现状(3) 1. 网格控制方法： 如何驱动网格实现人脸变形 ?关键帧插值：不同时刻建模 ?参数模型：人脸网格参数化 ?肌肉模型：层状结构、弹簧联结 ?有限元方法：实时性差 基于网格的三维人脸模型基于网格的三维人脸模型 国内外研究现状国内外研究现状(4) 基于网格的三维人脸模型基于网格的三维人脸模型 1. 纹理生成方法 ?绘制生成：涂色、光照 ?真实人脸纹理：随网格变形拉伸 ?变化纹理：动态重构拼接 国内外研究现状国内外研究现状(5) 基于MPEG-4的三维人脸动画基于MPEG-4的三维人脸动画 1. 三维人脸动画标准 ?FDP FAP FAPU FAT 2. 人脸动画基本原理 ?FAP 人脸特征区域的运动参数 ?FAT FAP如何控制人脸变形 3. 情感表现 表情FAP,基本表情合成 国内外研究现状国内外研究现状(6) 1. 脸部表情动作的分类 生理动作(manipulators) 唇部动作(lip movement) 话语信号(conversational signal) 情感表现(emotional display/emblems) 视线运动(gaze movement) 头部动作(head movement) 2. 可视韵律(Visual Prosody) 人脸表情合成人脸表情合成 报告内容大纲报告内容大纲 1. 研究的背景和内容 2. 个性化三维人脸模型的建立 3. 人脸表情动画合成 4. 总结和展望 个性化三维人脸模型的建立个性化三维人脸模型的建立 1.方案设计 ?基于通用三维人脸网格（几何形状） ?采集单张正面人脸照片（个性化纹理） 基本流程基本流程 人脸网格模型 正面人脸图像 绘制三维绘制三维 人脸模型人脸模型 特征点 纹理对齐 特征点 选取 非特征点局部 纹理插值 空白区域 纹理填补 个性化三维人脸模型的建立个性化三维人脸模型的建立 1.工作内容 ?三维人脸几何模型的建立 ?面部特征区域纹理对齐 ?非特征点纹理坐标获取 ?空白区域纹理填补 三维人脸几何模型三维人脸几何模型 1.三维人脸网格数据 1040个顶点Vertex, 1704个三角面片Mesh 2.网格层次结构 网格点 三角面片 3.纹理构造 OpenGL纹理映射 ( ,)01039 iiii Vertex x y zi 123 123 (,)0,1039 jjjj Mesh VVVjjj ( ,)( ,) iiiiii Vertex x y zTex u v 网格数据结构网格数据结构 三维人脸几何模型三维人脸几何模型 特征区域划分特征区域划分 1. 网格面片人脸特征区域对应 1704个面片，划分为24个特征区域 0-252 头发 253-258 左眉259-265 右眉 266-276 左上唇277-292左下唇 293-303 右上唇304-319 右下唇 320-961 面部皮肤面部皮肤962-1002左耳 人脸真实纹理获取人脸真实纹理获取 1. 纹理获取 ?正面特征点选取 ?局部非特征点纹理插值 ?“特征区域标定特征点微调非特征 点插值” 2. 二维人脸图像的采集 要求： 正面、中性表情、均匀光照 图像：长宽均为2的幂次方 特征区域纹理对齐特征区域纹理对齐 特征点标定特征点标定 1. 正面人脸特征点标定 9个特征区域，109个特征点 脸部外轮廓29发际边缘9 左眉轮廓8 右眉轮廓8 左眼眶11 右眼眶11 外唇轮廓14 唇闭合线7 鼻尖边缘11 特征区域纹理对齐特征区域纹理对齐 特征点对齐特征点对齐 1. 正面特征点与二维图像对齐 比例缩放 特征区域对准 特征点微调 39个点 75个点 109个点 非特征特征区域纹理获取非特征特征区域纹理获取 非特征点插值非特征点插值 1. 特征点对齐 ?正投影：忽略深度信息 ?网格变形： 特征点的移动，影响其他网格点位置 2. 分区域局部插值 ?特征点聚集，影响区域内的非特征点 ?基于径向基函数的插值方法(RBF) ( , , )( , )P x y zQ u v 非特征特征区域纹理获取非特征特征区域纹理获取 径向基函数插值法径向基函数插值法 1. 基本插值公式 2. 解释： 网格点原始位置变形后新位置 目标函数：网格点位移 特征点线性权重 径向基函数 1 ( )()(1) n ii i f PPP = = ( )PPf P= P P i P i 64 () i P P i PPe = 非特征特征区域纹理获取非特征特征区域纹理获取 空白纹理填补空白纹理填补 1. 特征点微调 ?特征点位移 ?非特征点位移与两点间距离成反比 2. 空白纹理填补 ?单张正面照片（侧脸颊、耳朵） ?取最近邻点的纹理颜色 (2) i Cs s PP = s 实验结果实验结果 工作一：小结工作一：小结 1. 主要完成的工作 ?建立基于通用网格的三维人脸模型 ?从单张正面照片获取纹理信息 2. 进一步的工作 ?单张照片：侧面纹理信息缺失 ?个性化：面向几何特征 报告内容大纲报告内容大纲 1. 研究的背景和内容 2. 个性化三维人脸模型的建立 3. 人脸表情动画合成 4. 总结和展望 人脸表情动画合成人脸表情动画合成 1. 基本合成方法 ?直接定义68个FAP参数的值 ?在基本表情FAP参数的基础上调整 ?两种基本表情的线性插值 人脸表情动画合成人脸表情动画合成 1.MPEG-4基本表情的定义 ?高兴(joy) ?愤怒(anger) ?悲伤(sadness) ?惊奇(surprise) ?恐惧(fear) ?厌恶 (disgust) 基本表情分类基本表情分类 人脸表情动画合成人脸表情动画合成 1.基本表情的线性加权 ?表情向量 ?线性组合 2.基于MPEG-4的人脸动画 ?表情对应一组FAP参数组合 ?FAP参数驱动人脸网格变形 基本表情线性组合基本表情线性组合 3468 , T i EFAP FAPFAP=K 1 016 n iii i EEn = = 人脸表情动画合成人脸表情动画合成 1. 表情标记文件 ?根据标记内容生成表情 ?系统应用：TTVS 2. 标记内容 ?FRAME_NUM /总帧数 ?FRAME_DURATION /帧持续时间 ?FRAME_NO/帧号 ?FRAME_FAP_MASK /表情向量FAP掩码 ?FRAME_FAP_VALUE /表情FAP参数向量 表情标记文件表情标记文件 工作二：小结工作二：小结 1. 主要完成的工作 ?利用基本表情线性加权合成新表情 ?定义表情标记文件 2. 进一步的工作 ?基本表情定义：精确的FAP参数组合 ?表情冲突：复杂表情的分析处理 报告内容大纲报告内容大纲 1. 研究的背景和内容 2. 个性化三维人脸模型的建立 3. 人脸表情动画合成 4. 总结和展望 总结和展望总结和展望 1. 主要的工作和贡献 ?实现了基于单张正面照片和通用网格模 型的个性化三维人脸合成方法， ?利用基本表情的线性组合实现人脸表情 的初步合成 总结和展望总结和展望 1. 将来的工作 ?利用正面和侧面两张人脸照片获取纹理 ?建立面向几何特征的个性化人脸模型 ?搭建实验环境，简化人工标定工作 ?完善基本表情的FAP参数定义 ?改进基于线性加权的表情合成方法 致谢致谢 感谢蔡莲红老师的悉心指导 感谢吴志勇师兄思路和方法上的建议 感谢实验室良好的研究氛围 感谢所有帮助过我的同学和朋友 参考文献参考文献(1) 1 Cosatto, E. Ostermann, J. Graf, H.P. Schroeter, J., “Lifelike talking faces for interactive services”. In: PROCEEDINGS OF THE IEEE, VOL. 91, NO. 9, SEPTEMBER 2003 pp 14061429 2 H. McGurk and J. MacDonald, “Hearing lips and seeing voices”. In: Nature, vol. 164, Dec. 1976. pp. 746-748 3王志明. 汉语视位建模与可视语音的研究：博士学位论文. 北京：清华大学计算机科学与技术 系，2003.4 4 Waters K, Levergood T. DECface: “An automatic Lip-Synchronization Algorithm for Synthetic Faces.” CRL Technical Report 93/4, 1994 5 Nakamura S, Yamamoto E, Shikano K. “Speech-to-lip movement synthesis maximizing audio-visual joint probability based on EM algorithm”. In: IEEE Second Workshop on Multimedia Signal Processing, 1998. pp5358 6 Tsuhan Chen “Audio visual speech processing” In: Signal Processing Magazine, IEEE , Volume: 18 , Issue: 1 , Jan 2001 pp921 7 C. Pelachaud, N. Badler, M. Steedman: ”Generating Facial Expressions for Speech”. In: Cognitive Science,20(1) , Jannuary 1996, pp 146 8 Verma, A.; Subramaniam, L.V.; Rajput, N.; Neti, C.; Faruquie, T.A. “Animating expressive faces across languages “ In: Multimedia, IEEE Transactions on, Volume 6, Issue: 6 , Dec. 2004 pp:791800 9 Graf, H.P.; Cosatto, E.; Strom, V.; Fu Jie Huang “Visual prosody: facial movements accompanying speech”; In:Automatic Face and Gesture Recognition, 2002. Proceedings. Fifth IEEE International Conference on , 20-21 May 2002 pp:381386 10姜大龙. 真实感三维人脸合成方法研究：博士学位论文. 北京：中国科学院计算技术研究所, 2004.11 pp3-7 pp50-54 参考文献参考文献(2) 11 Bui, T.D.; Heylen, D.; Nijholt, A.; “Improvements on a simple muscle-based 3D face for realistic facial expressions” In: Computer Animation and Social Agents, 2003. 16th International Conference on , 8-9 May 2003 pp:33 40 12 Abrantes G.A., Pereira F. “Interactive Analysis for MPEG-4 Facial Models Configuration” In: EUROGRAPHICS98, Lisboa Portugal, September 1998 13 Parke, F.I. “Techniques for facial animation”, In: N.Magnenat-Thalmann and D. Thalmann (Eds.), New Trends in Animation and Visualization, JohnWiley, Chichester 1991, pp229241. 14 Cohen, M.M. , Massaro, D.W.; Clark, R.; “Training a talking head” In:Multimodal Interfaces, 2002 Proceedings. Fourth IEEE International Conference on , 14-16 Oct. 2002,pp499 504 20 Waters, K, “A muscle model for animating three-dimensional facial expressions”, In: Computer Graphics (SIGGRAPH87), 21(4), July 1987, pp1724. 参考文献参考文献(3) 21 Massaro D. W., Beskow J., Cohen M. M., Fry C. L., Rodriguez T. “Picture My Voice: Audio to Visual Speech Synthesis using Artificial Neural Networks” In:The fourth annual Auditory-Visual Speech Processing conference(AVSP99) Santa Cruz,1999 22 Jian-Qing Wang; Ka-Ho Wong; Pheng-Ann Pheng; Meng, H.M.; Tien-Tsin Wong ,”A real-time Cantonese text-to-audiovisual speech synthesizer”. In:Acoustics, Speech, and Signal Processing, 2004. Proceedings. (ICASSP 04). IEEE International Conference on , Volume: 1 , 17-21 May 2004 pp: I - 653-6 vol.1 23 Melenchon, J.; de la Torre, F.; Iriondo, I.; Alias, F.; Martinez, E.; Vicent, L.; “Text to visual synthesis with appearance models” In: Image Processing, 2003 International Conference, Volume: 1 , 14-17 Sept. 2003 pp:I - 237-40 vol.1 24 ISO/IEC 14496-1:2001, Coding of Audio-Visual Objects: System 25 ISO/IEC 14496-2:2001, Coding of Audio-Visual Objects: Visual 26 Hovden, G.; Nam Ling; “An MPEG-4 facial animation parameters generation system” In: Signal Processing Systems, 2003. SIPS 2003. IEEE Workshop on , 27-29 Aug. 2003 pp:171176 27 Ostermann, J.;”Animation of synthetic faces in MPEG-4” In:Computer Animation 98.