（计算机应用技术专业论文）手语韵律驱动的虚拟人头部动画研究.pdf

摘要 摘要 手语是聋人使用的交际语言，是一种靠动作、视觉进行交流的特殊语言。中 国有上千万聋哑人，而手语作为聋哑人的第一自然语言运用非常广泛，在通讯上 采用手语交互方式，不仅可以为聋人提供与健听人一样便捷的服务，而且还可以 建立聋人与健听人之间无障碍信息交流。此外，手语无障碍信息服务还有许多重 要应用价值。在通信领域，具有手语、语音、文字等多种交互方式的移动会议能 在更大程度上满足人们使用不同交互方式的、随时随地的信息交流需要。在信息 服务领域，具有方便交互方式的手语信息服务系统能够极大方便聋人参与各种社 会活动。 在聋哑人日常交流中，肢体动作不仅表达一定的心情、感情、性格等多种信 息，而且表达了一定的语义信息。肢体动作是人类交流沟通中重要的辅助表达 因素，通常被称之为“肢体语言”。由于手语属于视觉语言，信息的获取都依靠 具体的视觉观察，故而肢体语言在手语交流中的重要地位不言而喻。因而，在手 语合成系统中，加入虚拟人的头部运动，不但可以增强整个系统的绘制真实感， 获得突出的视觉效果，而且可以辅助表达手语含义。 本论文结合目前的国内外相关研究，对中国手语的合成中的运动数据捕获， 数据分析，头部运动合成等进行了深入探索。本文首先介绍了手语中关于头动研 究的现状，以及头部运动研究的方法，提出了本文采用的基于文本标注和基于隐 马模型的头部运动相结合的方法，然后介绍了运动捕获技术的发展现状以及数据 分析的方法，接着介绍了h m m 的基本理论，最后着重给出了语义相关的头部运动 合成方法和虚拟人随机头动合成方法。 本文的贡献在于： 1 ) 阐述了中国手语合成中头部运动研究的各项虚拟人仿真技术：运动捕获 技术、动画驱动技。 2 ) 对捕获数据进行分析，根据捕获数据的特点，提出了手语中头部运动与 手势不相关区域，基于此区域计算中国手语表达过程中手势运动数据与 头动运动数据的相关性关系。 3 ) 提出了文本标注头部运动合成的方法，并根据数据特点定义了头部运动 数据文件，建立了语义相关的头部运动数据库。 4 ) 分析了头部与手势数据之间的相互关系，提出了虚拟人随机头动的规律 及合成方法。 关键词手语合成； 头部运动合成；隐马尔科夫模型 a b s t r a c t 毫皇! 暑! 皇! 皇! 穹! 詈! 皇詈鼍! 皇苎窟苎皇! ! ! ! 苎! 苎詈皇詈! 鼍皇! 鼍! ! 苎苎! ! ! 鼍! 皇! 鼍霉詈! ! ! 皇曼鼍! 鼍孽i ii i, i i , 鼍 a b s t r a c t s i g nl a n g u a g ei ss p e c i a ll a n g u a g eu s e db yd e a fp e o p l e ，w h i c he m p l o y i n gs i g na n d o t h e rv i s i o n s i nc h i n a ，i ti st h ef i r s tl a n g u a g eo ft h o u s a n d so fd e a f p e o p l e ，s ot h e c h i n e s es i g nl a n g u a g ei su s e dv e r yw i d e l y t h eu s eo fs i g nl a n g u a g ei n t e r a c t i v ei nt h e d a i l yl i v e s ，c a nn o to n l yp r o v i d ef o rd e a fp e o p l es e r v i c ec o n v e n i e n t l ya st h eh e a r i n g h e a l t h yp e o p l e ，b u ta l s oc a ne s t a b l i s ht h eb a r r i e r - f l e ee n v i r o n m e n tb e t w e e nt h ed e a f a n dh e a r i n gh e a l t hf o ri n f o r m a t i o ne x c h a n g i n g f u r t h e r m o r e ，t h e r ea r em o r ei m p o r t a n t a p p l i c a t i o n si nb a r r i e r - f r e ei n f o r m a t i o ns e r v i c eo fs i g nl a n g u a g e s u c ha si nt h e c o m m u n i c a t i o nd o m a i n ，m o b i l ec o n f e r e n c ew i t hs i g nl a n g u a g e ，v o i c e ，t e x ta n do t h e r f o r mo fi n t e r a c t i v em a l l n e rs h o u l dm e e tp e o p l et oc h a n g ei n f o r m a t i o ni na n ym a n n e r , a n y t i m ea n da n y w h e r e i ni n f o r m a t i o ns e r v i c ed o m a i n ，f a c i l i t a t e dt h ei n t e r a c t i o n 州t h t h es i g nl a n g u a g ei n f o r m a t i o ns e r v i c es y s t e mc a ng r e a t l yf a c i l i t a t et h ep a r t i c i p a t i o ni n v a r i o u ss o c i a la c t i v i t i e so ft h ed e a f i nt h ed a i l yc o m m u n i c a t i o no ft h ed e a f , h e a dm o t i o nn o to n l yt oe x p r e s sc e r t a i n f e e l i n g s ，e m o t i o n s ，p e r s o n a l i t ya n do t h e ri n f o r m a t i o n ，b u ta l s ot h ee x p r e s s i o no fa c e r t a i na m o u n to fs e m a n t i ci n f o r m a t i o n h e a dm o t i o ni sa n i m p o r t a n ta s s i s t a n t e x p r e s s i o nt oc o m m u n i c a t i o n ，o f t e nr e f e r r e dt o “b o d yl a n g u a g e ”b e c a u s es i g n l a n g u a g ei sv i s u a ll a n g u a g et h a tr e l i e so na c c e s s t oi n f o r m a t i o ns p e c i f i cv i s u a l o b s e r v a t i o n ，b o d yl a n g u a g e ，t h e r e f o r ei na l li m p o r t a n tp o s i t i o ni ns i g nl a n g u a g e c o m m u n i c a t i o n s oa d d i n gv i r t u a lh u m a n sh e a dm o v e m e n ti ns i g nl a n g u a g es y n t h e s i ss y s t e m ，n o t o n l yc a ne n h a n c et h er e a l i s t i co ft h es y s t e m ，a c c e s st oo u t s t a n d i n gv i s u a le f f e c t s ，b u t a l s oc a l lh e l pt oe x p r e s st h em e a n i n go fs i g nl a n g u a g e i nt h i sp a p e rw ew i l lc o m b i n et h ec u r r e n ts t u d ya th o m ea n da b r o a da n df o r c h i n e s es i g nl a n g u a g es y n t h e s i sw ew i l lh a v ea ni n d e p t he x p l o r a t i o ni nt h ed a t a c a p t u r e ，d a t aa n a l y s i s ，h e a dm o t i o ns y n t h e s i sa n ds oo n f i r s t l y , w ei n t r o d u c et h e c u r r e n ts t u d yo fh e a dm o t i o ni ns i g nl a n g u a g e s e c o n d l y , i n t r o d u c et h eg e n e r a l m e t h o do fh e a dm o t i o ns y n t h e s i s ，a d v a n c ea nn e wh e a dm o t i o ns y n t h e s i sm e t h o do f t 1 1 ec o m b i n a t i o no ft e x t b a s e dm e t h o da n dh m m sd r i v e nm e t h o d t h e ni n t r o d u c ed a t a c a p t u r e ，d a t ap r o c e s s i n ga n dh m mt h e o r y l a s t l y , w ei n t r o d u c et h eh e a dm o t i o n s y n t h e s i sm e t h o d s t h ec o n t r i b u t i o no ft h i sp a p e ri sa sf o l l o w ： 1 ) d e s c r i b et h ev i r t u a lh u m a ns i m u l a t i o nt e c h n o l o g yi nt h es t u d yo fh e a dm o t i o ni n c h i n e s es i g nl a n g u a g e ：d a t ac a p t u r e ，a n i m a t i o ns y n t h e s i sa n ds oo n 2 ) d e s c r i b et h ed e v e l o p m e n to ft h ed a t ac a p t u r et e c h n o l o g y ，a n a l y s i st h ec o l l e c t e d d a t aa n da c c o r d i n gt ot h ec h a r a c t e ro ft h ec o l l e c t e dd a t a ，w ea d v a n c et h er e g i o n t h a th e a dm o v e m e n ta n d g e s t u r ea r en o tr e l a t e d ，l a s t l ya n a l y z et h ec a n o n i c a l c o r r e l a t i o no ft h eh e a dm o t i o na n dg e s t u r eb a s e dt h er e g i o n i l i 北京工业大学工学硕士学位论文 3 ) at e x t - d r i v e nm e t h o do fs y n t h e s i so ft h eh e a dm o v e m e n ti sp r o v i d e d ，a c c o r d i n gt o t h ec h a r a c t e ro ft h ec o l l e c t e dd a t aw ed e f i n et h eh e a dm o t i o nd a t af i l e ，a n ds e tu p t h es e m a n t i c r e l a t e dh e a dm o t i o nd a t a b a s e a n a l y z et h er e l a t i o no fh e a dm o t i o nd a t aa n dg e s t u r e ，p r o p o s et h er a n d o mh e a d m o t i o ns y n t h e s i s k e y w o r d ss i g nl a n g u a g es y n t h e s i s ；h e a da n i m a t i o ns y n t h e s i s ；h i d d e nm a r k o v m o d e l i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名卑路毫日期： 关于论文使用授权的说明 迎牡 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 第1 章绪论 第1 章绪论 1 1 研究背景与意义 手语是聋人使用的交际语言，通过手的姿势、位置和方向的变化来表达特定 的含义。在通讯上采用手语交互方式，不仅可以为聋人提供与健听人一样便捷的 服务，而且还可以建立聋人与健听人之间无障碍信息交流。此外，手语无障碍信 息服务还有许多重要应用价值。在通信领域，具有手语、语音、文字等多种交互 方式的移动会议必定能满足人们不局限于固定的地方，使用不同交互方式的，随 时随地的信息交流需要。在信息服务领域，具有方便交互方式的手语信息服务系 统能够极大方便聋人参与各种社会活动。 在聋哑人日常交流中，肢体动作不仅表达一定的心情、感情、性格等多种信 息，而且表达了一定的语义信息。肢体动作是人类交流沟通中重要的辅助表达 因素，通常被称之为“肢体语言”。由于手语属于视觉语言，信息的获取都依靠 具体的视觉观察，故而肢体语言在手语交流中的重要地位不言而喻。 因而，在手语合成系统中，加入虚拟人的头部运动，不但可以增强整个系统 的绘制真实感，获得突出的视觉效果，而且可以辅助表达手语含义。 手语作为一种视觉语言，是聋哑人之间以及聋哑人同正常人之间交流的最重 要工具。而手语中头部动作不仅使打手语者富有表情，表达更生动，而且头部以 及身体的运动在手语中往往表达特定的意义，因此，在手语合成系统中加入头部 以及身体的运动不仅增加手语合成系统的真实感而且可以增加对手语系统的可 懂性 1 2 国内外研究发展现状 1 2 1 国内研究现状 中国手语合成系统的研究起始于上世纪9 0 年代。在8 6 3 计划，国家自然科 学基金委等的支持下，中国科学院计算机研究所智能人机交互课题组多年来积极 从事多功能感知技术的研究，这项技术的研究方向面向集语音，肢体语言，情感 于一体的先进的人机接口技术，在人和机器之间实现手语的自然交互，y i q i n g c h e n 和w e ng a o 在文献1 中详细阐述了手语合成的相关技术，最近，应用在手 机上的中国手语合成系统由哈尔滨工业大学深圳研究生院计算机科学与技术学 科部智能计算研究中心研制成功。该手语合成系统主要包含虚拟人手势系统，手 语词库管理编辑子系统和汉语手语机器翻译子系统。该系统除了可以将汉语转换 为手语动作外，还可以通过手机上的摄像头来传递聋哑人的手语动作。此外，拥 有该系统的手机用户还可以在手机上自主编辑，修改手语的词库，对不满意的手 语姿势也可以进行修改。 考虑到手语表达中韵律和肢体动作的因素，目前很多学者分别从韵律的和肢 北京工业大学工学硕士学位论文 体动作两方面入手进行研究工作。在文献“5 j 础中陈益强、高文提出了手语合成中 的多模式行为协同韵律模型的概念。所谓多模式韵律协调指的是，将手势韵律、 肢体动作韵律、口形韵律等进行协调表达。很显然，在人的多模式行为之间存在 一种协同控制机制用于协调各模式间的同步表达，由于各模式行为合成是由各种 韵律模型控制的，那么这些韵律模型之间应有共同的协同韵律控制模型。要实现 逼真自然的虚拟人多模式韵律合成，多模式行为之间的同步关联和协同韵律是关 键问题。肢体语言，尤其是头部动作的合成研究，不但有助于提高虚拟人仿真技 术的真实感，而且对于手语合成系统中含义的表达有着直接的影响。手语中，头 部的运动尤为明显，但是目前对于手语动画合成中头部运动的模拟研究并不多 见，因此有着较强的学术研究价值。 1 2 2 国外研究现状 最早用计算机合成手语的研究见于1 9 8 2 年，s h a n t z 和p o i z n e r 描述了一个 用计算机合成美国手语的程序。之后，中国、美国、日本、德国等许多国家都进 行了自己国家的手语合成研究，并取得了许多重要的研究成果。日本日立研究中 心及通信研究中心分别将基于拼接的手语合成系统用于语音到手语的合成原型 系统中。文献n 1 中提出了一种基于视频的美国手语合成方法，该方法可以达到实 时的要求，文献乜1 中提出了美国手语合成与识别的研究框架。k a z u y u k i i 和 h i d e a k i m 在文献d 1 中提出了基于特征点跟踪的手语识别方法。具有代表性的是， 美国的a d a m o b i l l a n i 实验室的j o h nd o u b l es t e i n 等人研发了一个面向聋哑儿童 的高交互性美国手语合成表达教学系统，该系统的三维虚拟人模型采用m a y a 7 0 进行建模，所有的手语动作数据由运动捕获设备采集得到。通过该系统，聋哑儿 童可以和虚拟人用手语进行直接的数学教学互动。以德i 虱h a m b u r g 大学为代表 的研究组织开发了一个旨在推广德国手语信息服务的手语系统( 图卜l 所示) ， 该系统使用数据手套采集的手语运动数据，并运用顶点混和技术和关节动画技术 共同驱动三维虚拟人的手势动作，可以达到较好的实时效果。 图1 1f i a m b u r g 大学研发的手语教学系统 f i g u r ei lt h es i g n l a n g u a g es y s t e mu s e d t o t e a c hs i g n l a n g u a g e 对于手语动画合成中头部运动合成的研究，国外研究也同样比较少，在文献 ”中，研究者提出了一种从视频中获取头部运动信息的方法，并在此基础之上， 针对美国手语中的头部运动规律进行了分析，将头部运动按照具体的运动方式进 行了分类。但这篇文苹的研究点停留在运动规律的分析上，并没有对头部运动进 行计算机模拟。图卜2 展示了该文所得到的头部运动曲线图。 图卜2 头部运动角度曲线删 f i g u r e12p l o t o f t h eh e a d se u l e r a n g l e s 1 3 手语中头部运动合成框架与关键技术 本论文的课题来源于自然科学基金重点项目“普适计算研究一手语无障碍信 息服务的普适计算”。研究主要针对手语的人机交互系统，试图构造一个具有高 真实感的三维虚拟人模型，并通过它表达出聋哑人可以理解的手语动作序列，同 北京工业大学i 学硕士学位论文 时辅助于头部运动，表情等辅助信息。本文中重点阐明了对头部运动所进行的相 关研究。 本文的技术路线为：采用数据捕获设备获取手语表达过程中人的身体运动数 据，对手部绕肩关节的旋转角度与头部旋转角度进行相关性分析，利用h m m s 对这 两个通道的数据进行建模，最终实现基于 i 删s 的头部运动合成。同时本文还对语 义相关的头部运动进行了分析，基于从采集数据中提取的关键帧合成了可表达语 义信息的头部运动。图卜3 是头部运动合成系统的技术框架图。 匝圆 r ，f 一f 】二一 l 随机的头部 基于语义的l 运动 】头部运动l 囤 宙 图卜3 头部运动合成系统框架图 f i g u r e l - 3 t h e f r a m eo f t h eh e a d m o t i o ns y n t h e s i ss y s t e m 1 4 文章的研究内容和组织结构 本文的主要目标是要通过输入中文文本，合成出较为真实的针对特定人的头 部动作。作为手语平台的一部分，能够配合手语动作，提高虚拟人打手语的可懂 度。研究内容包括两个部分，第一部分语义相关的头部运动的合成，第二部分语 义无关的头部运动合成，详细的分为：运动数据的采集以及处理，关键帧的选取， h 删的建立，动画合成，动画融合。 本文将按照以下结构组织全文内容： 第一章是绪论部分，主要阐述了头部运动合成技术的研究背景和意义，并概 要介绍了国内外相关研究的进展与现状，以及本文研究内容。 第二章对动画合成技术进行介绍，同时概括的介绍了头部动画合成的相关技 第l 章绪论 术，最后提出了本文采用的头部运动合成的方法。 第三章阐述了运动数据的采集以及运动数据的处理进行。 第四章介绍了h 删的基本理论。 第五章介绍了基于语义的头部运动合成的方法，以及基于h m m 的运动合成方 法。 最后对本文进行总结和概括，并提出了今后的发展方向。 第2 章头部动画技术 第2 章头部动画技术 2 1 引言 由第一章介绍可知，肢体动作对手语的表达以及理解均有很大的影响，但由 于肢体动作具有很大的个体差异性，并且存在运动数据难以获取和运动规律不确 定等特点，这方面的模拟研究相对缺乏。针对手语中的肢体动作展开的研究，目 前主要集中在头部运动的模拟，主流方法有两类：第一种基于文本驱动的方法， 首先对文本进行标注，标示出头部相应的动作信息。第二种方法基于规律分析的 方法，从视频中提取头部运动的信息，然后分析运动规律，最终通过规律来合成 头部运动。本章2 2 小节介绍角色动画的基础和分类。2 3 小节介绍基于文本标注 的方法和基于视频的方法。 2 2 角色动画技术介绍 角色动画是计算机动画的一个重要的组成部分，在计算机辅助动画电影制作 和广告制作中一直扮演着重要的角色。所谓角色动画特指拟人动画。角色动画是 一种过程动画，动画的主体是各种各样的角色，动画的设计过程就等价于设计和 描述各种角色的过程，而动画的播放过程则是各种角色按照自身的行为进行表现 的过程。在角色动画制作中，包括角色的造型、运动调整、材质设置、环境设计 以及最后渲染等。动画制作种所使用的角色动画技术的一个重要特点是动画渲染 需要耗费大量时间，因此动画作品必须预先制作，渲染，然后作为视频文件播放， 也就是说是非实时动画。但是，虚拟现实，电子游戏，甚至是传统的动画制作软 件对实时角色动画同样有很大的需求。现在，随着计算机硬件技术的发展，特别 是带有硬件加速功能的显卡技术的发展，实时角色动画逐渐获得了越来越广泛的 应用。 2 2 1 角色动画分类 角色动画技术主要有三种类型。 第一类是关节动画。关节动画中的角色由若干独立的部分组成。每一个部分对应 着一个独立的网格模型，不同的部分按照角色的特点组织成一个层次结构。这类 动画的优点很多。首先，在动画序列关键帧中只需要存储节点间的相对变化，因 此此类动画文件占用的空间很小。其次，可以实现很多复杂的动画效果，如果应 用程序支持反向动力学还可以动态实现预先存储的动画序列之外的新的动画效 果。当然这类动画也有不少缺点。其中之一就是由于角色模型是一个层次模型， 要获得某一个部分相对于世界坐标的位置，必须从根结点开始遍历该节点所有的 祖先节点累计计算模型的世界变换。但最关键的问题是在不同部分的结合处往往 会有很明显的接缝，这会严重的影响该类动画的真实感。 第二类是单一网格模型动画。这种动画中的角色由一个完整的网格模型构 北京工业大学工学硕士学位论文 成。在动画序列的关键帧中记录着组成网格的每个顶点的新位置或者是相对于原 位置的改变量。通过在相邻关键帧之间插值来直接改变该网格模型中各个顶点的 位置就可以实现动画效果。相对于关节动画，单一网格模型动画的角色看上去更 真实，也不会有关节动画所面临的接缝问题。由于没有使用层次模型，获得模型 网格顶点在世界坐标中位置的计算量也很小。但是，这类动画的适应性很差，角 色很难通过实时计算来与环境进行良好的互动，以获得预先存储的动画序列之外 的动画效果。另一方面，由于关键帧要存储网格模型所有的顶点信息或顶点位置 改变信息，因此动画文件占用的空间特别大，如果单独使用该技术，不适合用于 实时角色动画 第三类是骨骼蒙皮动画。骨骼蒙皮动画可以看作是关节动画和单一网格模 型动画的结合。骨骼蒙皮动画兼具了以上两类动画的优点又克服了他们存在的缺 点。在骨骼蒙皮动画中，一个角色由作为皮肤的单一网格模型和按照一定层次组 织起来的骨骼组成。骨骼层次描述了角色的结构，就像关节动画中的不同部分一 样，骨骼蒙皮动画中的骨骼按照角色的特点组成一个层次结构。相邻的骨骼通过 关节相连，并且可以作相对的运动。通过改变相邻骨骼间的夹角，位移，组成角 色的骨骼就可以做出不同的动作，实现不同的动画效果皮肤则作为一个网格蒙 在骨骼之上，规定角色的外观。这里的皮肤不是固定不变的刚性网格，而是可以 在骨骼影响下变化的一个可变形网格。组成皮肤的每一个顶点都会受到一个或者 多个骨骼的影响。在顶点受到多个骨骼影响的情况下，不过的骨骼按照与顶点的 几何，物理关系确定对该顶点的影响权重，这一权重可以通过建模软件计算，也 可以手工设置。通过计算影响该顶点的不同骨骼对它影响的加权和就可以得到该 顶点在世界坐标系中的正确位置。动画文件中的关键帧一般保存着骨骼的位置， 朝向等信息。通过在动画序列中相邻的两个关键帧间插值可以确定某一时刻各个 骨骼的新位置和新朝向。然后按照皮肤网格各个顶点中保存的影响它的骨骼索引 和相应权重信息可以计算出该顶点的新位置。这样就实现了在骨骼驱动下的单一 皮肤网格变形动画。或者简单地说骨骼蒙皮动画。骨骼蒙皮动画的效果比关节动 画和单一网格动画更逼真，更生动。而且，随着3 d 硬件性能的提高，越来越多的 相关计算可以通过硬件来完成，骨骼蒙皮动画己经成为各类实时动画应用中使用 最广泛的动画技术。 2 3 头部运动的合成方法 2 3 1 文本驱动的头部运动合成方法 基于文本驱动的头部运动合成的方法，首先要对文本进行预处理，对相应的 文本进行标注，标示出相应的运动信息，具有代表性的有c a s s e l l h 3 等人的b e a t 系统。 第2 荦头部动i 田j 技术 c a s s e l l 等人在b e a t 系统中通过从输入文本中提取词与词之间的关系来分配 特定的表情及方法( 如图2 一l 所示) 。该系统首先从输入文本中提取语义信息以及 语义之间的脉络信息，然后通过一定的规则，合成了表情，以及其他肢体运动信 息。 u 上i 七k x c e i i t 远s 砌ek i a do f av k 蝴a c t m ： i li n p u tt ol a n g u a g et a 器, j n gm o d a h t h e 地日p r o r i d e ：a ：妇苔o f t e x t 獭眦飞啪瀣 。f 寸吞。蠢砒 面百一 a n i m e v e n te y e b r o w ss t a r tw - - 3t = 0 5 1 7s p e c = n u l l a n i m e v e n tlg e s t u r es t a r t w = 7 i = 1 3 3 8s p e c = i c o n i c v i r t u a l ) a n i m e v e n trg e s t u r es t a r t 肾= 7i = 1 3 3 8s p e c = i c o n i cv i r t u a l d 0 u t p u tf r o 皿s c h e d n l i n gm o d u e ( t l = t t e n e dt r e e ) b e 蜢i o r sb l a 、eb 酗沮c o m p i l e d 洫o3l i n e a r ：c ，平t f o ! j o w 近gt b en a 氆eo f t h e 硅h 3 订o tbc kw o z di n 如t m 璩啦瞰矗e 啦a 1 a 妇印奶讽l 平e c 5 图2 一1 ) ( m l 树 f i g u r e2 - 1x m l t r e e s h e nz h a n g 等人随1 提出了一种基于韵律词和p a d n0 1 情感模型的虚拟人的头部 运动合成方法。该方法首先对文本进行分析，分析每一个韵律词的p a d 值，然后 对每一个p a d 范围统计出该范围的头动振幅，以及头部位置的平均值，最后通过 振幅加上头部位置平局值加上一个扰动的方法得到头部运动，最终合成了头部运 北京工业大学i 学硕士学位论文 动，结果如图2 2 。 图2 - 2 基于p a d 的头部运动合成 f i g u r e2 - 2h e a d m o i f i o ns y 丌t h e s l s b a s e d o np a d 2 3 2 基于规律分析的头部运动合成方法 基于规律分析的方法随着捕获设备的发展迅速发展，近些年随着捕获设备的 发展，为数据提取规律分析的实现提供了可能性。数据获取的方法可以分为视频 获取和跟踪设备获取的方法。基于视频的人脸运动信息获取的方法根据是否在脸 上加标记点又分为两种：一种是未标记的人脸运动数据获取方法，这种方法对视 频中的人脸图像使用光流跟踪等技术提取人脸特征点运动信息。另一种是直接在 真实人脸上标记特征点的方法然后在视频中跟踪特征点的运动。相对于捕获设 备的数据而言，使用视频跟踪的方法提取的面部数据精确度较差，但是这种方法 花费较低，视频数据源广泛，非常适合做统计上的各种分析应用。c v o g l e r 和 sg l o d e n s t e i n 在文献”中进行了美国手语中头部运动的分析，采用了在未标记 的人脸视频中提取运动信息的方法。他们用一个三维网格覆盖在视屏中人脸图像 区域，然后使网格上的三维点和面部二维图像对应，对每个点跟踪其所对应的像 素运动。图2 3 展示了视频跟踪的过程。并在此基础之上，针对美国手语中的头 部运动规律进行了分析，将头部运动按照具体的运动方式进行了分类。但这篇文 章的研究点停留在运动规律的分析上，并没有对头部运动进行计算机模拟。 | 孥? l 晦l 霉l 锺一 图2 - 3 通过网格跟踪视频中的头部运动 f i g n 雎2 - 3 t h en a t i v es i g n e r w i t h t h e t r a c k c d3 d m o d e lo v c r i a l d 2 4 本文关于头部运动的合成方法 本文采用文本驱动和规律分析相结合的方法实现头部运动的合成，因为 在聋哑人表达的过程中，手势不仅表达一定的心情，性格信息同时也表达了一定 的语义信息，所以在模拟聋哑人交流的过程中仅仅运用基于文本标注的方法或者 基于规律分析的方法都不足以正确表达手语要表达的意思及感情因素。 图2 4 显示了本文头部运动的合成方法 北京t 业大学工学硕士学位论文 图2 4 头部运动合成方法 f i g u r e2 - 4t h em e t h o do fh e a dm o t i o ns y n t h e s i s i 2 5 本章小结 本章首先介绍了角色动画技术，然后对角色动画技术的分类进行了简要 的介绍，接着介绍国内外关于头部动画技术的发展状况，归纳了文本驱动的头部 运动合成方法以及基于归路分析的头部运动合成方法，并对这两种方法进行比 较。最后根据对捕获数据的特点以及手语本身的特点的分析，提出了本文采用文 本驱动和规律分析相结合的方法实现头部运动的合成方法并介绍了了手语韵律 驱动的头部运动实现的大概步骤。 第3 章运动数据的采集以及处理 第3 章运动数据的采集以及处理 3 1 引言 2 0 世纪9 0 年代开始兴起的运动捕获技术极大地方便了计算机动画创作，尤其 是三维动画创作。至今，基于运动捕获数据的计算机动画创作己经成为三维动画 创作的主流，本章首先简述运动捕获技术的发展和应用过程，其次介绍采集数据 的处理以及分析。 3 2 运动捕获 用于动画制作的运动捕获技术的出现可以追溯到2 0 世纪7 0 年代，迪斯尼公司 曾经试图通过捕捉演员的动作以改进动画制作效果。当计算机技术刚开始应用于 动画制作的时候，纽约计算机图形技术实验室的r e b e c c aa 1 l e n 设计了一种光学 装置，将演员的表演姿势映射到屏幕上，作为动画制作的参考。从2 0 世纪8 0 年代 开始，美国b i o m e c h a n i c s 实验室、s i m o nf r a s e r 大学、麻省理工学院等开展了对 计算机人体运动捕获技术研究。此后运动捕获技术吸引了越来越多的研究人员以 及开发商的目光，并且从尝试性研究逐步走向了实用化。随着计算机硬件的飞速 发展和动画制作的要求提高，运动捕获技术已经进入实用化阶段，有多家厂商相 继推出了多种商品化的运动捕获设备，女i v i c o n 、p o l h e m u s 、s e g ai n t e r a c t i v e 、 m a c 、m o n t i o n a n a l y s i s 等，其应用领域也远远超出了表演动画，并成功地用于虚 拟现实、游戏、人体工程学研究、电影、生物力学研究等许多方面。 运动捕获技术是利用传感器以三维的形式记录真实人体的动作，然后计算机 根据记录的数据驱动屏幕上的虚拟人来实现相应运动。这种方法的最大优点是能 够捕获到人体的真实数据，由于生成的运动基本上是角色运动的复制品，因此具 有较强的真实感，且能生成许多复杂的运动。 从技术的角度来说，运动捕获的实质就是测量、跟踪、记录物体在三维空间 中的运动轨迹。典型的运动捕获系统一般由以下几个部分组成： ( 1 ) 传感器：被固定在运动物体的特定部位，向系统提供运动的位置信息。 ( 2 ) 信号捕捉设备：负责捕捉、识别信号。 ( 3 )数据传输设备：负责将运动数据从信号捕捉设备快速准确地传送到计 算机系统。 ( 4 ) 数据处理设备：负责处理系统捕获到的原始信号，计算传感器的运动 轨迹，对数据进行修正、处理，并驱动三维角色模型。 到目前为止，已经出现了一些从使用简单机械设备到使用复杂光学系统的商 品化运动捕获系统船刳。主要分为以下几类： ( 1 ) 机械系统引：机械式运动捕获依靠机械装置跟踪和测量运动轨迹。典 型的系统由多个关节与刚性连杆组成，在可转动的关节处装有角度传 感器，探测关节转动角度的变化情况。装置运动时，根据角度传感器 北京i 业大学i 学硕士学位论文 所测得的角度变化和连杆长度，可以得出杆件末端点在空间中的位置 和运动轨迹。这种方法的优点是成本比较低，精度也比较高，可以做 到实时测量。其缺点主要是使用起来非常不方便，对表演者的动作阻 碍和限制比较大。图( 3 - 1 ) 为一种典型的机械式运动捕获系统。 图31 机械式运动捕获系统 f i g u r e3 - 1m e c h a n i c a lm o t i o nc a p t u r es y s t e m ( 2 ) 电磁系统：电磁式运动捕获系统一般由发射源、接收传感嚣和数据 处理单元组成( 图3 2 ) ，发射源产生按一定的时空规律分布的电磁 场。接收传感器安装在表演者身体的关键位置，随着表演者的电磁场 中运动。这类设各的优点在于它记录的是六维信号，速度快、实时性 好，装置的定标比较简单，技术成熟，鲁棒性好。其缺陷包括：1 ) 对捕获场景的金属物比较敏感。2 ) 由于电线等传感器附在演员身体 上，影响了运动的自然性。3 ) 采样率低。 篓：茎至垫塞耋墼量耋坠垒丝堡 图3 - 2 电磁式运动捕获系统 f i g u r e3 - 2 e l e c t r o m a g n e t i c m o t i o nc a p t u r es y s t e m ( 3 ) 光学系统o ”：光学运动捕获系统( 图3 3 ) 通过对目标上特定黄 监视和跟踪来完成运动捕获的任务。光学运动捕获系统的优点j 者的活动范围大，无电缆，无机械装置的5 e 制，表演者可以自匪 使用很方便；其采样率较高，可以满足多数高速运动测量的需! 方法的缺点是系统价格昂贵。 图3 - 3 光学运动捕获系统 f i g u r e3 - 3o p t i c a lm o t i o nc a p t u r es y s t e m 3 3 运动数据采集及处理 北京i 业大学i 学硕士学位论文 3 3 1 运动数据的采集 本文试验数据是利用m o t i o n a n a l y s i s 公司的h a w k 系统。该系统采用2 2 个帧率 为1 2 0 f p s 的摄像头，采集身体主要标记点( 如颈，肩等) 在进行人际交流时的 运动数据，采集点共有3 6 个，如图3 4 所示。首先准备一段不做任何标记的文本， 然后请聋哑学校老师在平静的心情下用手势打出该段文本的意思，同时利用采集 系统采集演员身体主要关节的运动数据。采集到的数据表示标记点在特定时刻相 对采集系统坐标原点的位置信息。采集到的数据信息如图3 5 ： 图3 4 数据采集 f i g u r e3 - 4d a t ac o l l e c t i n g f r a m # t i m e 8 s a d _ a 如础j1 e a d _ ch e a d _ i ) l s l u l d e rr 虫口d “7 0 p m e c k f r o m 孰e r m mr n u l d e r o f s e t 耻d c r e h e c kh 盯b a 出l m r h e c k o f f s e tr o nl b i m p r b l 唧l e l b o wr e l b 弭l w r i nh e r i s t l t h 珊bm h ml f i n e e rr f i n g e rl 辟i v l s r p e h d = l h l pl t h i g hr t h i 出l k m el 漪、e el = a l er a r 时el l e e l 鼽e e lh 埘w t h l d f o o tl t o er t o e l00 9 5一1 0 1 0 0 1 11 5 t & 5 髓0 67 2 7 4 0 7 一l t 1 l 葛9 1 5 2 5 9 9 0 4 8i8 1 7 3 3 6 22 8 3 0 8 1 4 9 4 5 黯q t1 2 84 5 2 3 41 2 0 6 31 5 2 n3 7 19 61 8 0 9 4 一i t 8 - 3 船0 01 3 4 14 0 1 0 01 1 1 4 0 8 8 41 2 8 6 t 舶81 3 4 8 - 4 澌7 5 l l7 t 0 5 0 6 2 3 3 5 i 1 2 5 10 0 0 2 42 2 88 0 7 7 3一i8 46 1 2 4 5 1 1 6 8 - 2 3 6 2 l 4 8 3 2 28 3 5 4 6 1 2 0 m9 1 7 4 8 2 2 8 6 1 4 7 92 7 4 9 3 1 71 1 0 94 1 5 8 8 2 3 09 9 1一扎5 8 嚣39 8 8 3 4 1 7 4 1 9 80 0 2 5 01 1 90 8 4 0 8 9 6 81 4 2 2 l1 8 97 2 52 53 4 棚56 0 72 0 3 4 3 2 1 2 口e 馆33 2 7 6 鹃3 51 3 2 2 3 9 6 2 41 1 1 4 7 4 9 68 7 3 7 6 6 1 41 3 2 7 4 3 5 3 1 0 69 1 9 7 3- 4 4 2 5 6 9 6 81 3 0 42 2 7 9 1 1 3 17 8 5 4 53 8 73 0 7 2 81 2 9 5 i 5 2 13 2 1 2 9 7 16 2 0 2 钾0 t1 3 2 86 5 3 4 8 1 2 嚣5 0 15 5 9 4 q 9 7 71 3 m7 9 5 6 05 1 1 3 4 黯 一7 0 98 5 2 8 4 1 3 1 02 2 9 3 7 - 23 2 5 7 15 8 52 4 2 7 41 3 0 5 4 0 9 4 21 8 目9 m 一6