（计算机科学与技术专业论文）面向特定词的中国手语动画合成研究.pdf

，jy l iylllllllll78lllllllllllltlllll8lllll9iillll嬲1111 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：! 当渔堡日期：丝坦：垒：丝 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：i 曼垒堡导师签名：玉丝羞 日期：垄f 竺： j ! 摘要 捅斐 手语是听力障碍者的第一语言，在听力障碍者之间及他们与健听人交流时 被广泛使用。由于听力障碍者很难形成完整有效的书面语言能力，因此创建具 有普适能力的手语合成系统具有很强的现实意义和广泛的应用前景。 手语是一种多模式协同的视觉语言，具有不同于口语表达的大量韵律特征， 在手语合成中加入韵律表达，可以使合成的手语动画更具有真实感。手势是手 语的主体，也是影响词义的重要因素，因此在合成中加入手势韵律是提高手语 动画真实感和可懂度的重要途径。 受限于中国手语语言本身的研究水平，手语合成研究在中国起步较晚，现 有中国手语合成系统为自然语言文本驱动。目前，中国手语标记语言( c s l m l ) 已经能够描述中国手语的手势、表情、唇动等多模式行为及其协同等。但如何 将c s l m l 中的韵律标记映射并实现为手语韵律的多样化表达仍是当前需要解 决的重要问题。 本文选取有实际应用意义的特定词，研究其韵律规律，并在分析手语动作 源数据的基础上，建立了中国手语中强调信息的韵律模型。基于该模型实现了 c s l m l 中“强调”标记到手语词根级手势动画参数的映射，进而合成任意程度 强调的中国手语韵律表达，进一步提高手语动画的可懂度和真实感。 关键词中国手语合成；中国手语韵律；手势合成 - i i a b s t r a c t a b s t r a c t s i g nl a n g u a g ei sm o t h e rl a n g u a g eo fh e a r i n gd i s a b l e dp e o p l e ，w h i c hi sw i d e l y u s e db e t w e e nt h e md u r i n gc o m m u n i c a t i o n h o w e v e r , m o s ti n f o r m a t i o nt r a n s m i t t i e d i no u rs o c i e t yi s e x p r e s s e d 诵t l ln a t u r a ll a n g u a g e b u ti t i sd i f f i c u l tf o r1 1 e 撕n g d i s a b l e dt of o r mc o m p l e t ea n de f f e c t i v ew r i t t e nl a n g u a g es k i l l s t h e r e f o r e ，i th a s g r e a tp r a c t i c a ls i g n i f i c a n c ea n dw i d ea p p l i c a t i o np r o s p e c t st oc r e a t eaw i d ea n d e a s i l yu s e ds i g nl a n g u a g es y n t h e s i ss y s t e m c h i n e s es i g nl a n g u a g ei sam u l t i m o d ec o l l a b o r a t i v ev i s u a ll a n g u a g ew i t l la l a r g en u m b e ro fp r o s o d i cf e a t u r e s h e n c e ，a d d i n gp r o s o d i ce x p r e s s i o ni n t os i g n l a n g u a g es y n t h e s i sc a nm a k es i g na n i m a t i o nm o r er e a l i s t i c g e s t u r ei so n em a i n e l e m e n to fs i g nl a n g u a g ea n da ni m p o r t a n tf a c t o rw h i c ha f f e c t sm e a n i n go fs i g n w o r d ，s oa d d i n gg e s t u r ep r o s o d yi n t os i g ns y n t h e s i si sa ni m p o r t a n tw a yt oi m p r o v e r e a l i s ma n di n t e l l i g i b i l i t yo fs i g na n i m a t i o n d u et ot h el i m i t a t i o no fr e s e a r c ho nc h i n e s es i g nl a n g u a g e ，r e s e a r c ho fc h i n e s e s i g nl a n g u a g es y n t h e s i ss t a r t sl a t e a tp r e s e n lc h i n e s es i g nl a n g u a g em a r k u p l a n g u a g e ( c s l m l ) h a sb e e na b l et od e s c r i b em u l t i m o d eb e h a v i o ra n dc o o r d i n a t i o n o fc h i n e s es i g nl a n g u a g ei n c l u d i n gg e s t u r e s ，f a c i a le x p r e s s i o n s ，l i pm o v e m e n t s ，e t c b u th o ww i l lt h ep r o s o d ym a r k e r si nc s l m l m a pt os y n t h e s i sp a r a m e t e r st oa c h i e v e d i v e r s i f i c a t i o no fs i g ne x p r e s s i o ni ss t i l la nu n s o l v e di m p o r t a n ti s s u e t h i st h e s i ss e l e c t ss p e c i f i cw o r d st h a th a v ep r a c t i c a la p p l i c a t i o n ，a n ds t u d i e s t h e i r p r o s o d yf e a t u r e s t h r o u g ha n a l y z i n go r i g i n a lc h i n e s es i g nd a t a , t h i sp a p e r p r e s e n t sam o d e lf o re m p h a s i si n f o r m a t i o ni nc h i n e s es i g n b a s e do nt h em o d e l ， s t r e s s ”m a r k so fc s l m lc a nb em a p p e dt og e s t u r ea n i m a t i o np a r a m e t e r so nw o r d l e v e l ，a n dr a t i o n a ld e g r e eo fs t r e s sc a nb es y n t h e s i z e df o rc h i n e s es i g na n i m a t i o n , w h i c hf u r t h e re n h a n c ei n t e l l i g i b i l i t ya n dr e a l i s mo fs i g na n i m a t i o n k e ) rw o r d sc h i n e s es i g np r o s o d y ；c h i n e s es i g nl a n g u a g es y n t h e s i s ；g e s t u r e s y n t h e s i s - u 1 北京t 业大学t 学硕士学位论文 i v 目录 目录 摘要i a b s t r a c t i i i 第1 章绪论1 1 1 课题研究背景及意义1 1 2 国内外研究现状2 l - 2 1 手语合成一2 1 2 2 个性化虚拟人动作合成4 1 2 3 手语韵律研究5 1 3 论文的主要研究内容及目标。6 1 3 1 研究内容一6 1 3 2 研究目标7 1 4 论文的结构7 第2 章中国手语韵律合成原理概述9 2 1 中国手语韵律特征分析9 2 1 1 影响韵律表达的因素。9 2 1 2 词根级韵律l o 2 2c s l m l 概述1 0 2 2 1c s l m l 提出的背景一1 1 2 - 2 2c s l m l 的基本框架。1 1 2 2 3c s l m l 的韵律标记1 2 2 3c s l m l 驱动的中国手语合成框架1 3 2 4 本章小结1 4 第3 章面向合成的中国手语“强调”韵律模型1 7 3 1 特定词及其韵律规律分析1 7 3 1 1 特定词选取1 7 3 1 2 特定词规律分析18 3 2 手语数据采集：1 9 3 2 1 本文手语数据采集设备及方案2 0 3 2 2 原始数据预处理2 1 3 3 单一关节自由度分析2 1 3 3 1 手势幅度。2 1 3 3 2 手势速度2 2 3 3 3 强调韵律模型2 2 3 4 实验结果2 3 3 5 本章小结2 5 北京t 业大学t 学硕十学位论文 第4 章c s l m l 驱动的中国手语动画合成2 7 4 1 标记驱动的手语手势合成框架2 7 4 2 标记驱动的手语手势合成2 8 4 2 1 手语词库。2 8 4 2 2 手势韵律数据库设计2 8 4 2 3 强调韵律标记解析3 0 4 2 4 手势动画合成3 0 4 3 实验结果3 l 4 3 本章小结3 2 结论。3 3 参考文献3 5 攻读硕士学位期间发表的学术论文。3 9 致谢4 1 第l 章绪论 第l 章绪论 1 1 课题研究背景及意义 据统计数据显示，我国现有2 0 0 0 多万听力障碍者，其中约有1 3 0 万为聋人。 中国手语作为一种独立的语言，同时也作为聋人的母语，在聋人之间及健听人 与聋人交流时被广泛使用。此外，从事特殊教育的工作者、某些服务行业和政 府职能部门，以及手语爱好者等，也是很大的手语使用群体【i j 。 随着计算机图形学和人机交互技术的发展，具有高度真实感的虚拟人形象 因其低人耗、编辑灵活而被广泛应用于各种交互领域，使人机交互接口向着更 为友好和自然的方向发展，手语合成更是其中的一项重要应用。由于阅读基于 书面语法的文本有障碍，聋人对信息的接收效率远远低于健听人，因此创建具 有普适能力的手语合成系统具有很强的现实意义和广泛的应用前景。 手语是一种多模式协同语言，包含了丰富的韵律信息。同一个文本词汇在 不同上下文条件下其手语动作的幅度力度有不同表现，不同的句式下面部表情、 唇动等也相应的发生改变。由于脱离了有声语言载体，手语手势所包含的信息 量远远超过了一般健听人在交流时随机、无特定表征的伴随动作的信息量，而 且在手语中这种韵律特征和语义、语法密切相关。如果韵律缺失，不仅会影响 真实感还会导致可懂度的下降甚至理解上的歧义【2 】。 因此，在手语合成研究中，随着虚拟人动作控制方法的越来越完善，越来 越多的研究人员开始关注如何在手语合成中加入韵律表达，使合成的手语动画 更具有真实感。手势是手语的主体，也是影响词义的重要因素，因此在合成中 加入手势韵律是提高手语动画真实感和可懂度的重要途径。中国手语标记语言 3 1 ( c h in e s esig nl a n g u a g em a r k u pl a n g u a g e ，c s l m l ) 是兼容于x m l 的中国 手语描述语言，为中国手语合成提供了准确、形象的规范化表达手段，如何将 c s l m l 中的韵律标记在不同规则映射下实现为手语韵律的多样化表达也是当前 需要解决的重要问题。 中国手语中针对不同的手语词在不同句式、不同情感条件下的表达千差万 别，本文针对有实际应用意义的手语词的运动源数据进行分析，面向这些词建 立了中国手语的“强调”韵律模型，并实现了c s l m l 中“强调 标记到手语词 根级手势动画参数映射，基于该模型可以合成任意程度“强调 的中国手语韵律 表达，进一步提高手语动画的可懂度和真实感。 本文的研究课题来源于国家自然科学基金重点项目“普适计算研究一手语 无障碍信息服务的普适计算( n o 6 0 5 3 3 0 3 0 ) 。 北京工业大学工学硕士学位论文 1 2 国内外研究现状 本文的主要研究内容是在中国手语合成中，面向特定词加入手势的韵律表 达，即在手语合成的多模式行为的手势模式中体现语言学本身的韵律属性，并 在手语动画合成中加以表现，而个性化虚拟人动作合成方面的研究成果提供了 大量可参考的思想和方法。因此，本节对手语合成、个性化虚拟人动作合成、 及手语韵律合成的研究现状分别进行综述，并针对本文借鉴和改进的部分进行 了分析。 1 2 1 手语合成 最早的计算机手语合成起始于美国，s h a n t z 和p o i z n e r 4 1 在1 9 8 3 年实现了 一个用计算机合成美国手语的b a s i c 程序。此后，世界各地的研究组织纷纷开 展了针对各自国家手语语言的合成研究，并做出了许多有益的尝试，使得手语 合成成为利用计算机进行姿态( g e s t u r e ) 表达领域十分活跃的研究方向，并产 生了许多令人欣喜的研究成果。早期的的手语合成研究【5 7 1 主要集中在如何实现 语言之间的翻译转换以及如何正确、形象地表达丰富的手势姿态，因此手语合 成技术主要用于自然语言到手语词汇的机器翻译，并主要集中于手部、上肢运 动的表达。 随着虚拟人动画技术的发展，研究人员开始专注于提高手语动画的真实感。 1 9 9 4 年，爱尔兰t r i n i t y 大学的c o n w a y 等人基于a s l 语言学特征提出了 l e x i c a l ，p h o n o l o g i c a l 及p h o n e t i c 三级结构，虽然并没有得到具体实现，但为提 高手语表达的真实感提供了有益的尝试【8 j 。2 0 0 0 年，n o r m a lb a d l e r 9 1 提出 p a r ( p a r a m e t e r i z e da c t i o nr e p r e s e n t a t i o n ) 参数化运动表达模型，并用于e m o t e 系统中，该模型根据知识为虚拟人自动生成一些控制参数用于美国手语以及表 情合成。 此外，数据手套、运动捕捉设备的使用大大简化了手势和身体运动数据的 采集和编辑过程，在后来的研究获得了普遍的应用。美国的a d a m o b i l l a n i 实 验室的j o h nd o u b l es t e i n 等人研发了一个面向聋哑儿童的高交互性美国手语合 成表达教学系绀1 0 l ( 如图1 1 ) 。该系统的三维虚拟人模型采用m a y a 7 0 进行 建模，所有的手语动作数据由运动捕获设备采集得到。通过使用该系统，聋哑 儿童可以和虚拟人用手语进行直接的数学教学互动。但该方法受限于数据集的 规模，只适合于某特定场景下的应用，不适于作为普遍的手语表达方式。 第l 章绪论 图1 - 1 美国手语数学教学系统【1 0 1 f i g u r e1 - 1a s ll e a r n i n gs y s t e m 【1 0 】 2 0 0 0 年2 0 0 4 年，德国h a m b u r g 大学为代表的研究组织开发了一套旨在推 广德国手语信息服务的手语系统( 图1 2 ) ，该项目分为两个阶段 v i s i c a s t ( 2 0 0 0 2 0 0 2 ) 【l i 1 2 j 和e s i g n ( 2 0 0 3 2 0 0 4 ) 1 1 3 - 1 4 。其在手语合成系统的表现力 和灵活性上做出了广泛的尝试，提出一种新的脚本驱动的手语合成方式【l 引，以 手势姿态符号语言h a m n o s y s 1 6 】取代自然语言文本进行手语内容的编辑。 h a m n o s y s 中包含了手语表达的基本信息，如手势、表情等，系统以自行设计 开发的标记语言s i g m l r 7 】作为h a m n o s y s 的机器表示并根据人体测量学和动 力学等信息进行参数化直接生成手语动画。由于h a m n o s y s 本身相比自然文本 蕴涵更丰富的姿态信息，在描述层面确保了生成动画的真实性与准确性，同时 为动画脚本的编辑方式提供了灵活性和便捷性。2 0 0 4 年雅典奥运会时，希腊也 把同样的合成框架用于开发对于s i g n w r i t i n g t 埽j 的解析系统v s i g n 【l 引。v c o m 3 d 6 公司开发的s i g n i n g a v a t a r 和s i g ns m i t hs t u d i o 系统采用了基于l i d d e l l j o h n s o n 手语描述系统的x m l 脚本进行驱动。g e s s y c a 系统利用q u a l g e s t 手语描述系 统实现一种面向法国手语的驱动脚本【2 0 】。t h e t o s 系统实现了波兰手语合成 2 1 1 。 图1 - 2e s i g n 中虚拟人手语动画表达【1 5 1 f i g u r e1 - 2s i g nl a n g u a g ea n i m a t i o ni ne s i g n t l 5 1 中国手语合成研究受限于中国手语语言学本身起步较晚但在近十年也取得 了突破性的进展。中国较早涉及手语合成方面研究的单位有浙江大学计算机系 北京工业大学工学硕士学位论文 1 1 人工智能研究所【2 2 1 和哈尔滨工业大学计算机科学与工程系高文教授领导的科研 小组【2 3 j 等。中国科学院计算技术研究所通过运动捕获技术建立了中国手语词词 库并在此基础上开发了基于虚拟人动画技术的中国手语合成系统，取得了丰硕 的成果 2 4 瑚1 。 1 2 2 个性化虚拟人动作合成 在虚拟人动作合成研究领域中，越来越多的研究者开始关注将情感或个性 因素加入虚拟人动作合成中，更使虚拟人的动作接近自然人的动作方式或者调 整已有的动作数据，以生成富有情感的虚拟人动作，同时达到数据复用的目的。 本课题所涉及的研究主要体现为在手语合成系统中实现韵律合成，已达到增强 真实感和可懂度的目的，因此，个性化虚拟人动作合成的研究对本文有很大的 借鉴意义。 m u n e t o s h iu n u m a l 2 9 等人在1 9 9 5 年提出了一种基于傅里叶变换的虚拟人动 画合成方法。通过将运动数据的关节角度的傅里叶展开，该运动的基本要素 ( b a s i cf a c t o r ，如“走”) 和性质要素( q u a l i t a t i v ef a c t o r ，如“疲劳) 被抽取出 来。这些要素可以进一步通过内插值和外插值的方法生成新的动作，如正常的 “走可以连续地变化为“疲劳地走”( 图1 3 ) 或者平滑地变化为“跑”的动 作。 图l - 3 虚拟人不同参数条件下的行为的差异p l f i g u r e1 - 3v a r i a t i o no fv i r t u a lh u m a n sb e h a v i o ru n d e rd i f f e r e n tp a r a m e t e r l 2 9 1 i e n j ia m a y a 3 0 】等人在1 9 9 6 年结合数字信号处理的方法提出了一个由“中 性 动作生成“情感 动作的模型。该方法首先从运动捕获设备采集到的原情 感动作数据中提取情感调整参数( e m o t i o n a lt r a n s f o r m s ) ，然后将该参数应用于 其他动作的中性数据上，以生成带情感的其他动作。在生成情感动作的过程中， 作者将动作的幅度和速度分别加以调整，这种将动作的幅度因素和速度因素分 别考虑的方法在后续研究中被广泛使用。 l i a n 9 1 3 1 1 等人使用带加速度器的设备进行运动数据采集，并通过隐马尔科夫 模型在动作数据库中识别该动作，然后再将该动作进行一定调整并生成动画。 第1 章绪论 在进行动作调整时，作者提出了有导引的时间调整( g u i d e dt i m ew a r p i n g ) 及动 作夸张( m o t i o ne x a g g e r a t i o n ) 方法，分别对动作的持续时间及幅度进行相应调 整以达到动作改进的目的( 图1 4 ) 。 图1 4 原始动作( 淡蓝色) 及调整后的动作( 深蓝色) 1 3 1 1 f i g u r e1 - 4t h eo r i g i n a l ( 1 i g h tb l u e ) a n de x a g g e r a t e d ( d e e pb l u e ) m o t i o n 【3 1 】 1 2 3 手语韵律研究 语言学中韵律的概念最初产生于对口语即有声语言的研究，经研究表明韵 律特征是语义和情绪表达的重要形式之- - 3 2 儿3 3 j ，心理学实验表明其在语言的传 递和理解上起十分重要的作用【3 4 】。韵律是语言构成的一致性特征，但不同语言 的韵律特征又各具特色。由于韵律特征在语言产生和理解中所处的重要地位， 计算语言学中研究人员将其引入语音合成领域，实验表明能否有效表达韵律特 征对合成语言的准确与自然度具有决定意义m j 。 手语早已在世界范围内被认定为一种独立的语言，具有特定的语法和组织 结构。在手语韵律研究方面美国、荷兰、以色列、日本等国家发展的比较快， 已建立了规范的语法体系。研究表明语言在一定程度上具有一致性p 6 1 ，无论是 有声语言还是手语都具有韵律这一特征。美国语言学家e i l e e nf o r e s t a l 指出，韵 律就是任何语言中用以产生节奏、重音和感觉信息的所有特征的集合。在手语 中表现为多种行为的共同作用，像头部、肢体的运动，眼部的运动、嘴部的运 动，以及打手势的速度、节奏和停顿等。b o s t o n 大学的语言学研究所总结了美 国手语的一系列韵律特征，并开发了专门用于辅助手语视频分析和标注的工具 软件s i g n s t r e a m t 3 7 1 ，该软件可在一定程度上对预定义的韵律特征进行自动识别。 b r e n d an i c o d e m u s 研究了美国手语中非手势姿态对韵律边界划分所起的作用， 通过视频分析和人工标定总结了一系列韵律特征并对其作了定性的分析【3 8 1 。 北京t 业大学。 掌坝十掌位论文 中国手语韵律研究起步较晚，在手语语言学界以及广大聋人中，韵律特征 的存在性和重要性都已被广泛承认，且已有了部分定性的分析【3 9 4 0 i 。缺乏韵律 信息是合成手语可懂度低的重要原因。因此，中国手语韵律研究不仅在手语语 言学中是一个重要的研究方向，在计算机手语合成中也是如此。 在韵律合成方面，文献 4 1 】提出了一种多模式行为协同韵律模型，实现了手 势与唇动表情的协同；文献【4 2 】提出了一种基于数据模型的个性化手语合成方 法；文献 4 3 】提出了一种增强动画运动细节的关键帧插值方案提高关键帧动画 的真实感。 借鉴会话虚拟人合成技术、t t s 语音韵律合成技术以及国外脚本驱动的手 语合成系统的研究方法，y e 等人提出了中国手语标记语言【3 】( c h i n e s es i g n l a n g u a g em a r k u pl a n g u a g e ，c s l m l ) ，c s l m l 是兼容于x m l 的中国手语描 述语言，能够描述中国手语的手势、表情、唇动等多模式行为及其协同等。 c s l m l 本身拥有高、低两层描述，其韵律标记通过不同规则映射，可以实现手 语韵律的多样化表达。 1 3 论文的主要研究内容及目标 1 3 1 研究内容 本文在收集和整理大量国内外相关资料的基础上，对手语合成系统的研究 现状进行了深入的分析，针对中国手语合成系统目前因缺乏手语韵律表达的问 题上，结合个性化虚拟人动作合成及手语语言学等相关领域的研究成果，确定 本文的主要研究内容如下： ( 1 ) 选取有实际应用意义的特定词，研究其韵律规律手语作为一门独立 的语言，其主要目的在于传递沟通的内容、意图以及情绪，使得参与对话的双 方能够无障碍的进行交流。目前手语合成系统已经能够准确有效地传递绝大部 分沟通内容，但对于沟通意图、情绪等与语义相关的信息却缺乏有效的表达。 在语言学中，韵律是一种基本的语言现象。它是信息发送者在语义、沟通意图 和情绪的综合驱使下形成的一种外在特征。因此也是接收者需要捕获的重要内 容，它对理解和感知对话的内涵起到非常重要的作用。为了提高合成手语的真 实感与可懂度，本文选取有实际应用意义的特定词，结合手语语言学领域的分 析方法，分析其韵律规律，以指导手语手势韵律合成。 ( 2 ) 数据采集方法手语韵律表达体现在手语者打手语的过程中，因此如 果要在手语合成中体现韵律特征，必须研究手语者的手语动作。通过运动捕捉 系统可以得到手语者表达手语时最原始的数据，通过数学分析提取韵律特征， 第1 章绪论 最终才能将这些特征应用于手语合成中。本文对比分析了当前主流的运动数据 采集方法及采集系统，设计了适合中国手语的数据采集方案，并采集原始数据。 ( 3 ) 设计手语韵律模型及韵律合成方法手语合成最终目标为最大程度上 仿真、还原聋人在手语表达过程中的方式和方法，在合成结果中准确的反映那 些对沟通内容的接收及意图、情绪的感知密切相关的信息。采集到手语源数据 并分析得到韵律规律后，需要根据韵律规律设计能够有效描述手语韵律的模型， 并根据模型确定手语合成方法，最终实现手语韵律合成。 1 3 2 研究目标 根据本文的研究课题，确定本文的具体研究目标如下： 面向特定词建立手语手势韵律模型； 建立手语韵律数据库； 在c s l m l 驱动下，合成带韵律的手语动画。 1 4 论文的结构 本文共分4 章，论文的结构安排简述如下： 第l 章介绍了课题研究的背景及意义，国内外研究历史及现状，定义本文 的主要研究目标、研究内容及文章结构。 第2 章对本文研究内容中所涉及的原理及相关领域的研究成果综述。 第3 章介绍特定词的选取原则，并分析其韵律规律，阐述本文对中国手语 “强调韵律模型的设计。 第4 章介绍在c s l m l 驱动下，如何基于中国手语“强调韵律模型，合 成带韵律的中国手语动画。 最后，对本文工作进行总结，并对针对现阶段存在的不足进行规划和展望。 北京工业大学工学硕上学位论文 - 8 第2 章中国手语韵律合成原理概述 第2 章中国手语韵律合成原理概述 2 1 中国手语韵律特征分析 手语本身是一种多模式协同的视觉语言，它所表达的内容主要可以分为两 部分：一是手语要传达的基本信息，即文本语义；二是情境信息，是在既定表 达内容上附加的辅助信息( 或称韵律信息) ，使对话内容产生特定人、特定语境 或者特定情感所具有的特征。韵律信息( 韵律特征) 是韵律行为产生的控制因 子，决定了在何时、以何种方式、产生怎样的行为。它作为韵律实现模型的最 高层，提供对韵律的直接描述，也是影响合成效果真实感与可懂度的重要因素。 韵律特征与表达内容共同决定了手语表达中多模式行为的协同方式和传递的信 息。 2 1 1 影响韵律表达的因素 本文认为手语中影响韵律行为发生变化的因子主要包含三个方面：强调 ( e m p h a s i s ) 、情绪( e m o t i o n ) 和说话方式( u t t e r a n c e ) 。 语言学中的强调分为两种：一种是语意上的强调，例如，在说“他打我。刀 这句话时，如果要在语意上强调主语，即强调打人的人是“他”，则会加重“他” 这个词的语气：另一种是附加修饰语的强调，依旧以“他打我。”为例，如果要 强调“打 的程度，可能会附加“使劲地”、“轻轻地 等程度副词修饰“打。 这种现象在手语中也有所体现：对于要强调的语义重心，手语手势往往在表达 这个词的时候力度更大，持续时间更长；而手语中的直接以手势表达的程度副 词有限，在表达程度副词的意思时，有时并不直接打程度副词的手势，而是根 据需要调整中心语的表达方式，达到强调的效果。 情绪( 高兴、愤怒、悲伤等) 是影响手语韵律的重要因素，情绪可以分为 两种：一是手语者自身的情绪，二是上下文包含的情绪。在手语者使用手语实 时交流时，上下文的情绪是和手语者的情绪是相同的，即手语者表达的上下文 包含的情绪就是自身的情绪：而在手语播报的时候，手语者则通常会受到上下 文情绪的影响或被上下文情绪所同化，进而对手语表达做相应调整。因此本文 认为两种情绪是统一的，且主要应该是上下文包含的情绪。在不同的情绪下手 语的手势表达方式会发生变化，同时面部表情也会有相应变化。例如，在愤怒 的情绪手势动作会比较急促力度较大，面露气愤的神态；而在悲伤时手势则会 比较缓慢，面露悲伤的表情。 北泵工业大学：【学硕十学位论文 曼n 一一 i mn n 皇! ! 曼鼍曼皇曼曼曼曼曼 说话方式是指上下文所包含的语气，如：陈述、疑问、反问、感叹等，主 要用于描述手语中需要依靠非手势( 尤其是面部和头部) 行为进行传递的语气 信息，与e c a 中定义的p e r f o r m a t i v e 具有相似性。听力障碍者只有通过结合面 部表情等信息才能获知对方的语气，如：疑问、肯定的区分；请求、命令的区 分等等。 2 1 2 词根级韵律 本文的研究目的主要是研究中国手语的韵律特征，通过引入韵律变化提高 合成手语的可懂度，因此只考虑与手语表达密切相关的上述三种因素，其它因 素( 如信仰、世界信息等) 主要用于虚拟人个性的建立，对手语表达可懂度的 影响处于次要地位留待后续研究。 在上节所述三种影响因素中，“强调”主要影响手语的手势动作，“说话方 式”主要会影响手语者的表情，“情绪”则对于手语的手势动作和手语者的表情 都会产生影响。在作用范围上，“强调 因素一般只对要强调的语义重心或被修 饰的中心词产生影响，而情绪的因素往往会对整个句子乃至整个篇章的手语词 均产生影响。 当“强调因素对中心词的手语手势产生影响时，最终体现在该词的手语 表达相对中性状态下的表达有变化。在强调时，当某些动词或形容词被特定副 词修饰时，该动词或形容词的手语表达相对中性状态下的表达有变化，这种变 化与中心词本身直接相关，称为词根级韵律。 借鉴个性化虚拟人研究领域的成果，本文将“强调因素对于手语手势的 影响作为研究重点，将韵律变化与中性表达分离，然后在手语动画合成中应用 这种变化规律，使手语动画体现韵律变化。 2 2c s l m l 概述 由于本文的研究是在中国手语标记语言( c h i n e s es i g nl a n g u a g em a r k u p l a n g u a g e ，c s l m l ) 驱动的中国手语合成系统基础上实现的，本节将对c s l m l 做简要介绍。 c s l m l 驱动的中国手语合成系统的设计目标是以标记语言作为通用接口 更准确、有效的提供预期的合成效果，同时利用标记语言对于韵律实现的支持 能力，提供多种层次的韵律控制变化，提高合成效果的可懂度。 第2 章中国于语韵律合成原理概述 2 2 1c s l m l 提出的背景 在c s l m l 提出之前，已有的由自然语言到手语动画的转换中存在诸多需要 改进的问题： ( 1 ) 缺乏中国手语特性支持现有手语描述语言还不具备普遍适用各种语 言的能力，对中国手语中的一些特殊现象和组成结构并不适用。 ( 2 ) 缺乏韵律标记现有手语描述语言建立在对字面内容翻译的基础上， 缺乏对语义、韵律特征的描述。这类信息往往通过抽象描述进行定义，并可采 用多种方式进行表达，在功能表述与行为选择间存在多对多的关系。尤其是在 视觉语言中，韵律通过一种复杂的涉及全身运动的协作方式来表达，例如：疑 问的语气可表现为头部的倾斜、眉毛的上扬或者其它依据上下文语义及个性原 因所产生的行为。 ( 3 ) 缺乏高层标记定义现有的手语描述语言主要工作于语音层数据接口， 在语音层直接定义行为构成虽然能够对表达提供有效的细节描述( 如手势音素 构成以及身体其它部位的运动方式) ，但是会在一定程度上限制合成效果的多样 性与自然度，造成虚拟人动作的呆板与机械化。此外，这种设计结构并不能有 效支持韵律模型的产生机制，并对人工编辑提出了较高的知识水平要求。 针对以上问题，c s l m l 提出了如下设计目标： ( 1 ) 符合中国手语语法规范、韵律模型数据定义； ( 2 ) 提供规范化的、形象化的中国手语描述能力； ( 3 ) 提供层次化的结构，支持韵律控制模型设计； ( 4 ) 独立于实现，可被合成系统应用作为通用数据接口； ( 5 ) 具备良好扩展性。 2 2 2c s l 池的基本框架 中国手语标记语言提供了对于中国手语表达内容的描述方法，采用基于 ) ( m l l 0 的标准设计与实现，便于编辑、处理与规范化。 ( 1 ) 文档内容设计首先将描述的内容分为两类：与内容相关的信息和与 韵律相关的信息。第一类信息决定了手语表达所要传达的基本信息，即对话的 内容。第二类信息是在既定表达内容上附加的辅助信息，即通过特定的表达方 式来传递第一类信息( 韵律信息) ，使对话内容产生特定人、特定语境或者特定 情感所具有的特征，也是影响合成效果的真实感与可懂度的重要因素。 与内容相关的信息，主要体现在对手语语法的支持，提供更具结构 化、易于阅读和修改的描述方式。在手势表达形成过程中，中国手 北京工业大学工学硕上学位论文 语的句法、构词法等语法规范定义了手势的组合和形成方式， c s l m l 遵照中国手语的语法规则建立了词根词句子的描述体系， 并对手势基本语义单元词根建立了名称索引。 与韵律相关的信息，主要体现在对于手语的韵律结构、语气、情感 以及强调等韵律特征的描述，为实现韵律描述提供了有效支持。 ( 2 ) 文档结构设计在两类描述内容的基础上，c s l m l 本身拥有两层结构： 功能层( 高层) 与音韵层( 低层) 。 功能层标记主要停留在抽象层面。例如：将情绪标记为愤怒、喜悦 或将语气标记为肯定或疑问。对内容信息而言，手势名称即功能标 记。对韵律信息而言，高层标记即为韵律实现模型中的韵律特征。 音韵层标记将高层的抽象叙述转化为具体的多模式行为及其程度 变化。例如：在愤怒的情绪下会产生眉毛皱起、鼻子皱起，动作强 度加大等行为。而对于内容信息而言，手势的音素构成即为音韵层 标记。对韵律信息而言，音韵层的标记即为韵律实现模型中的韵律 参数。 由于手语是一种多模式协同发音的视觉语言，较之口语更具复杂性和多样 性。尤其在情感等因素的表达上，某一种情绪可以通过多种方式在手语中得以 展现，所以将功能层( 高层) 描述从音韵层( 低层) 描述中抽离出来是为了能 够在合成中提供更为灵活的多样化实现机制，避免直接描述行为的单一化与机 械化。高层标记在一定条件下具备可以转化为低层标记的能力，符合韵律模型 中韵律控制的设计思想，为韵律多样化表达提供了支持。 2 2 3c s l 池的韵律标记 c s l m l 采用d t d ( d o c u m e n t t y p ed e f i n i t i o n , 文档类型定义) 作为文档定义 的说明格式。c s l m l 中的标记又称为元素，而标记的一系列被允许的取值又被 称为属性。 c s l m l 的标记包括结构标记、韵律标记、行为标记等。其中，结构标记包括 c s l m l ( 中国手语标记语言的根元素) 、s i g n(一段文本的韵律结构)、_group b a s i c (中国手语的一个词根)等：行为标记包括手部行为标记和非手部行sign 为标记( 头、脸、身体、注视、头动) 。 c s l m l 中的韵律标记主要包括： ( 1 ) p r o s o d y ： 标记用于描述抽象韵律信息，即韵律特征。它的 属性分别代表了强调( s t r e s s ) 、说话方式( u t t e r a n c e ) 和情绪状态( m o t i o n ) 。韵律特 征可以存在于任一级韵律结构中作为共享的信息。抽象层的韵律信息转化为具 第2 章中困手语趵律合成原理概述 体行为标记。 ( 2 ) p r o s o d ym a n u ai ：表示手部的韵律参数。它除了拥有和其它模式相同 的韵律参数 定义以外，还包含了s p e e d ，d u r a t i o n 和h o l d 。 s p e e d ：用于定义手势行为的速度，取值范围 0 ，1 】，l 表示最快。 d u r a t i o n ：用于定义每个手势的持续时长，取值范围为任意数字。 h o l d ：用于定义手势和手势间过渡的时间长短，可表示绝对时间也 可表示为相对时间。 ( 3 ) p r o s o d y _ n o n m a n u a i ：非手部的韵律信息。直接用行为定义。 ( 4 ) q u a li t y ：所有模式行为共享的行为质量参数。 a m p l i t u d e ：幅度，取值【1 ，1 】，l 表示最强。 r h y t h m ：节奏，取值 1 ，1 】，1 表示最强，默认取o 。 p o w e r ：力度，取值 1 ，l 】，1 表示最强，默认取o 。 f l u i d i t y ：流畅度，取值 0 ，1 】，0 无阻塞最流畅，默认取o 。 r e p e t i t i v i t y ：重复度，取值 0 ，l 】，l 表示最强，默认取0 。 本文将“强调”因素对于手语手势的影响是作为研究重点，而实际上在 c s l m l 中“强调”作为一种抽象的描述，可以转化为手部或非手部的动作，且 c s l m l 中对于这些动作，给出