（机械电子工程专业论文）基于手臂运动学模型的手语合成系统研究.pdf

摘要 手语合成就是将自然语言文本句子通过手语合成系统自动翻译 成聋哑人所熟识的手势语言，并通过计算机生成的三维人体模型将手 势表达出来，以达到服务聋哑人群的目的。本文通过对中国手语的研 究，从机器人运动学的角度，利用对手臂关节转角参数的控制达到生 成手势的方法，结合数据库技术，在l a b v i e w 平台上构建了一个基 于文本驱动的中国手语合成系统，实现了从文本到中国手语的自动翻 + 取得了很好的成果。 文中首先综述了目前国内外手语合成研究的成果及现状，并着重 分析了硬件采集和软件实现这两种不同的手势生成方法的优缺点，摆 脱采用硬件采集生成手势的传统模式，选择利用软件设计的方法来实 现手势的生成。接着，通过对人体上肢关节的分析，建立了上肢关节 的运动学模型，并在l a b v i e w 环境下加以实现，完成了对三维人体 上肢关节的运动控制，进而通过关节转角参数来控制手臂的姿态，进 行手势的生成。 手势的生成是本文重点研究的一个部分，通过对中国手语表达特 征的分析，编制了用于生成各种手势的诸多程序模块，完成了手势生 成系统的构建，并利用该手势生成系统，建立了包含一千余个常用词 汇的手势库。 为了满足大量手势信息的存储以及对手势库中数据的各种操作， 方便手势的生成和手语合成过程中对手势信息的调用，本文利用 l a b v i e w 环境中相关数据库操作函数，通过一定的程序设计，编制 了适应系统要求的一系列功能模块，方便了系统的操作，提高了程序 的运行质量，增强了系统的可扩充性。 为达到自然语言文本句子向中国手语连续转换的要求，论文最后 就文本切分技术进行了研究，提出了基于所建手势库的文本切分算 法，实现了对一般文本的正确切分，基本上满足手语合成系统对日常 会话语句合成的需要。 关键词：手语合成，运动学，手臂建模，文本切分，l a b v i e w a b s t r a c t s i g nl a n g u a g es y n t h e s i si sap m c e s st h a tm a k e sn a t u r a ll a n g u a g eo r t e x ts e n t e n c e st ob et r a n s l a t e di n t os i g nl a n g u a g ew h i c hi sf a m i l i a ra n d w i d e l yu s e db y t h eh e a r i n g - i m p a i r e dp e o p l ef o rc o m m u n i c a t i n gw i t he a c h o t h e r i nt h em e a n w h i l e ，t h et r a n s l a t e d s i g nl a n g u a g ew a sd i s p l a y e d t h r o w 【曲t h r e e - d i m e n s i o n a lv i r t u a li n a ni nt h ec o m p u t e ri no r d e rt oh e l p t h ei m p a i r e dt ou n d e r s t a n dn a t u r a ll a n g u a g eo rt e x ti n f o r m a t i o nq u i c k l y a n de a s i l y o nt h eb a s i so fa n a l y s i so fc h i n e s es i g nl a n g u a g e ( c s l ) ，w e g e ts i g nl a n g u a g eg e s t u r e sb yc o n t r o l l i n gt h ea r n la r t h r o s i sm o v e m e n t p a r a m e t e r sb a s e do nr o b o tk i n e m a t i c s i nt h em e a n w h i l e ，w ea d o p t e da m e t h o do f u s i n gs o f l - w a r et op r o d u c es i g nl a n g u a g eg e s t u r e sa n dd e s i g n e d as i g nl a n g u a g es y n t h e s i ss y s t e mb a s e do nl a b v i e w a tp r e s e n t ，t h e r ea r et w om e a n su s e dt op r o d u c es i g nl a n g u a g e g e s t u r e s o n ei st ou s em o t i o nc a p t u r eb a s e do nh a r d w a r es a m p l e ，w h i c h r e c o r d st h em o t i o na n dp o s i t i o no f h a n d st h r o u g hg l o v e sw i t hs e n s o r s ；t h e o t h e ri sr e a l i z e db yp r o g r a md e s i g n i n gb a s e do ns o f t w a r e e a c hm e t h o d h a si t sd i s a d v a n t a g e sa n da d v a n t a g e s 耵1 ef i r s tm e t h o d ，a sat r a d i t i o n a l o n e ，n c c d sac o n s i d e r a b l ea m o u n to ff i n a n c i a li n v e s t m e n tf o re q u i p m e n t , a n dh a sac r i t i c a ld i s a d v a n t a g ei nt h a tr e c o r d e dn u m e r i c a ld a t ai sh a r dt o m o d i f y t h e r e f o r e ，w et a k et h ea d v a n t a g e so fs o f t w a r e - b a s e dm e t h o dt o p r o d u c es i g ng e s t u r e s i ns u c c e s s i o n , w eb u i l tt h ek i n e m a t i c sm o d e l i n go f a r mb a s e do i lt h et h e o r yo f a r t h r o l o g ya n dr o b o t i c s ，a n dt h e nr e a l i z e dt h e c o n t r o lo f a r mm o v e m e n t si nl a b v i e w t l l ep r o d u c t i o no fs i g ng e s t u r e si sa ni m p o r t a n tc o m p o n e n to ft h i s s y s t e m f i r s t l y , w ea n a l y z e dt h ec h a r a c t e r so f c h i n e s es i g nl a n g u a g e ，a n d s u b s e q u e n t l yb u i l ts e v e a 1p r o g r a mm o d u l e si no r d e rt op r o d u c es i g n g e s t u r e se f f i c i e n t l y ；l a s t l y , ad a t a b a s ew h i c hi n v o i v e d a m o u n t so f i n f o r m a t i o no fs i g ng e s t u r e st h a tw a sp r o d u c e db yt h eg e s t u r e p r o d u c i n g s y s t e mw a sb u i l t i no r d e rt os a v et h eg e s t u r ed a t aa n dm a n i p u l a t et h ed a t a b a s eo fs i g n g e s t u r ei n f o r m a t i o ne f f i c i e n t l y , t h i ss y s t e ma d o p t e dd a t a b a s et e c h n o l o g y i n s i d e u s i n g t h ed a t a b a s e m a n i p u l a t i o n f u n c t i o n so f f e r e d b y t h e i i l a b v i e wd a t a b a s ec o n n e c t i v i t yt o o l s e tw h i c hw a sp r e s e n t e db yn i c o m p a n yb a s e do nl a b v i e w f o rt h ep u r p o s eo ft r a n s l a t i n gt e x ts e n t e n c ei n t o s i g nl a n g u a g e c o n t i n u a l l y , w ep r o p o s e as o l u t i o nt ot h e p r o b l e m o fc h a r a c t e r s e g m e n t a t i o nb a s e do nt h es i g ng e s t u r ed a t a b a s ea tt h ee n do ft h i sp a p e r b yt h el a r g e ，i tm e e t st h en e e do ft h es i g nl a n g u a g es y n t h e s i ss y s t e mf o r t r a n s l a t i n gd a i l yd i a l o g u es e n t e n c e k e y w o r d s s i g nl a n g u a g es y n t h e s i s ，k i n e m a t i c s ，a n nm o d e l i n g ， c h a r a c t e rs e g m e n t a t i o n ，l a b v i e w 1 1 1 硕士学位论文第一章绪论 第一章绪论 1 1 问题的背景及研究的意义 1 1 1 问题的背景 手语( s i g nl a n g u a g e ，s l ) 是一种手势动作语言，通过手的运动并附以适 当的表情或姿势来表达意思，主要用于聋哑人之间的交流【”。世界各国都有自己 的f 语，如中国手语( c h i n e s e s i g n l a n g u a g e ，c s l ) 、日本手语( j a p a n e s e s i g n l a n g u a g e ，j s l ) 、美国手语( a m e r i c a ns i g nl a n g u a g e ，a s l ) 、法国手语( f r a n c e s i g nl a n g u a g e ，f s l ) 等等【2 1 。 中国手语是中国聋哑人使用的一种特殊语言，是中国聋哑人交际的主要工 具。目前，中国大陆有残疾人65 0 0 万，其中患有听力语言障碍的聋人数目最多， 约28 0 0 万【3 】。聋哑人之间以及他们与周围其他人的交流，主要通过中国手语进行， 而一般的正常人都不会使用中国手语，这便使聋哑人与正常人之间的交流产生了 很大的障碍。 我国政府为关心聋哑人，促进聋哑人之间以及与外界的交流，早在2 0 世纪5 0 年代后期，就开始了中国聋哑人手语的规范化工作。到2 0 0 3 年4 月，中国残疾人 协会经过对原有手语的整合，重新修订出版了中国手语( 修订版) ，此版共收 录了55 8 6 个手语词条【4 】；接着又在2 0 0 5 年推出了中国手语日常会话等手语系 列丛书1 5 ，极大地推进了中国手语规范化的进程，而且随着众多学者对中国手语 的不断研究，中国手语的规范化也逐步趋于完善。 随着社会信息化的不断提高，聋哑人也迫切需要更多的信息，来不断地改善 或丰富自己的生活。然而，聋哑入却不能像正常人一样自然地获取外界的有声信 息，尤其是电视传播等。目前，也有一些电视台采用双语( 即汉语和中国手语) 来播出的节目，但这需要有专业的中国手语主持人，一般也仅限于新闻类的节目。 类似的还有在公共场所的声音广播等等，所有这些都跟聋哑人的生活带来了很大 的不便。所以，怎样将信息通过聋哑人所熟识的手语来表达出来，方便聋哑人的 生活，使他们更好的融入信息化社会，成为当前亟待解决的一个问题。 鉴于此，本课题从机器人手臂运动学的角度，首先实现手臂动作的控制，然 后通过对中国手语的研究，开发一套基于文本驱动的中国手语合成系统，实现由 自然语言文本句子向中国手语的连续转换，并通过三维人体模型将文本信息通过 硕士学位论文 第一章绪论 中国手语形式表达出来。 1 1 2 本课题研究的意义 手语的研究不仅有助于改善和提高聋哑人的生活学习和工作条件，为他们提 供更好的服务，同时也可以应用于计算机辅助哑语教学、电视节目双语播放、虚 拟主持人、动画的制作等诸多方面【6 】。另外，手语的研究涉及到数学、机器人运 动学、虚拟现实、医学等多种学科，因此手语的研究是一个非常有意义的课题【刀。 目前对于手语的研究，主要体现在两个方面，一是手语的识别；二是手语的 合成。其中对手语识别的研究比较多【8 l ，而对于手语合成的研究则比较少。 手语识别就是通过一定的设备比如摄像头或数据手套之类来获取作手势人 的手势信息，通过一定的系统设计将手势信息转换成文字或声音，使正常人能够 理解手语从而达到一定交流的目的。 手语合成则是将文本或声音通过一定的系统设计转换成手语的形式，并依靠 计算机三维人体模型将其逼真的显示出来，从而达到使聋哑人能够理解文本和声 音的信息，实现一定的交流目的 手语合成在功能上像是手语识别的逆过程，但是他们在系统设计的思想和实 现方法上却截然不同，这体现着将手语研究分为手语识别和手语合成这两个即有 联系又有区别的领域的根本原因。 一般而言，由文本驱动的手语合成系统主要有文本输入部分、文本切分部分、 汉语词至手语的转换部分、手语合成部分、手势词库及手势数据库、三维显示等 几个部分组成，如图1 1 所示。 图卜1 文本驱动的手语合成系统结构 其中，文本编辑输入部分的功能是自动编辑输入的汉语文本，包括标点符号 的处理等；文本切分就是按照一定的算法将文本合理切割成与手势库相对应的手 势词汇；汉语至手语转换、手势合成部分以及手势词库和手势数据库都是与所建 立的手势信息库( 手势库) 有一定的联系；三维显示部分就是利用计算机生成的 人体模型将相关的手势显示出来。在这个手语合成的过程当中，手势的生成是很 关键的一个环节，因为它是手势库建立的i i 提，直接决定着其他环节所采用的设 硕士学位论文第一章绪论 计方法和策略 手语合成的目的，就是将自然语言文本句子自动翻译成聋哑人所熟识的手 语，并由计算机生成的三维人体模型逼真地显示出来，达到使聋哑人能够获取一 定信息的目的。因此手语合成不仅有助于聋哑人获得各种信息，方便正常人和聋 哑人之间的交流，而且还可以帮助聋哑人参加各项社会活动( 如看电视) ，具有 十分重要的应用价值和社会意义【1 2 1 。 1 2 国内外研究现状分析 手语合成的研究始于1 9 8 2 年【1 3 】，s h a n t z 和p o i z n e r 实现了一个合成计算机 珲序。之后，中国【1 4 1 、美引15 1 、法国【1 6 】、日本【m 、丹型1 8 1 等许多国家都进行了 自己国家的手语合成研究，并取得了很多重要的研究成果。 1 2 1 两种手语合成系统的类型 在手语合成的过程当中，手势的生成是很关键的一个环节，因为生成手势的 数据信息包含手势的运动信息，是手语合成的基础。生成手势并建立手语词库不 仅工作量大，而且其质量也直接影响到手语合成的结果。因而生成手势所采用方 法将决定着整个手语合成系统的设计思想，可以说，不同手语合成系统的区别主 要体现在手势的生成和手势库的建造上。因此，可以根据手势生成方法的不同， 将国内外对手语合成的研究分为两部分【1 9 】：一是基于硬件采集的；二是基于软 件设计的。 一基于硬件采集的方法，又称运动跟踪法，主要使用数据手套与传感器记 录每个手语词对应的手语运动信息。在数据手套上一般安装有检测角度的传感 器，由于手语的运动靠的是手臂及手上各个关节的运动来实现的，通过做手势者 ( s i g n e r ) 佩戴数据手套，将上肢关节的运动信息输入到计算机，从而获得每个 手语词运动的信息，继而组建成手势库。在这一方面以我国研究者高文( g a o w e n ) 等学者和日本研究者h i r o h i k os a g a w a 等为代表。 中国科学院计算技术研究所高文等研究者，利用两只数据手套和3 个6 自由度 位置跟踪器，基于运动跟踪的原理，记录了真实人体演示每个手语词的运动数据， 建立了一个初始的手语词运动数据库。然后，应用一种基于控制点的人体运动编 辑方法，对每个手语词的运动数据进行编辑与微调，后得到一个高质量的手语词 运动数据库。给定一个文本句子时，用人体运动合成方法，每个手语词的手语运 动片段进行拼接合成，成一个完整的手语运动，并基于v r m l ( v i r t u a lr e a l i t y m o d e l i n gl a n g u a g e ，一种虚拟现实建模语言，用于传递三维虚拟场景) 逼真地显 硕士学位论文 第一章绪论 示出来。基于这种方法，实现了一个中国聋人手语合成系统【1 4 1 。 日本研究者h i r o h i k os a g a w a 等人也是利用数据手套，采集手语运动信息，建 立了一个日本手语( j s l ) 手语库，也实现了由文本向手势转换的手语合成系统， 取得了很好的效果【l7 1 。 二基于软件的方法，也称之为程序设计法，这种方法不需要使用硬件采集 手势数据，而是通过对手语特征及手语运动特点的研究，在计算机软件平台上实 现手语的生成，并组建手势库。在这方面以美国德保罗大学( d e p a u lu n v e r s i t y ) 计算机学院研究者n o r i k ot o m u r o ，等人和法国研究者s y l v i eg i b e t 等人为代表。 美国德保罗大学n o r i k ot o m u r o 等人通过对美国手语( a s l ) 的研究，完全使 用软件的方法建立了一个的手语合成系统。文中论述了使用软件建立手势库的优 越性，并通过实验验证了这个美国手语合成系统的可行性。他通过对美国手语的 研究首先生成一定数量的手形( h a n d s h a p ) ，建立一个手形数据库，并还通过一 定的控制按钮来改变手掌的形状，包括收伸开( s p r e e d ) 、手弯曲( b e n d ) 、手指 钩( h o o k ) 和伸拇指( t h u m b ) 等，如图1 2 所示【1 5 j 。 图1 - 2n o r i k ot o m u r o 设计的手形产生模块界面 选择好一定的手形后，就可以在手形的基础上定义手臂的位置了，n o r i k o t o m u r o 将手语运动手臂在空间的常用位置通过程序预先进行设定，可以根据表 达的手语动作选择手臂的位置，如图1 3 所裂旧。 图1 - 3n o r i k ot o m u r o i f 计的手臂产生模块界面 4 硕士学位论文第一章绪论 通过上面两步就完成了一个静态手势的定义，并通过人体模型显示出来 可以连续生成这种手势，还可命名并保存所做的手势，组成一个手势库，以备需 要的时候调出 然而，由于n o r i k ot o m u r o 所设计的手势运动是基于位置的而不是基于手臂 关节运动的，它所获得的手势缺乏丰富性，能表达的手语也是十分有限的 法国研究者s y l v i eg i b e ( 等人也完全利用软件实现了手语合成。跟n o r i k o t o m u r o 相似，s y l v i eg - i b e t 通过对法国手语( f s l ) 的研究发现，在手语运动的过 程中，有很多重复使用的基本手势，或大致相同只要稍作修改就可以再次利用的 手势。他将手势运动的空问相对于人体大致分为六个方位，即上、下、左、右、 前、后( u p 、d o w n 、l e f t 、r i g h t 、f o r w a r d ，b a c k w a r d ) ，其余的方位可由这六 个方位衍生出来，比如上前( u p f o r w a r d ) 位置就是与上和前各成4 5 度的一个 方位等，如图1 4 所示【。 图l 一4s y l v i eg i b e t , 之叉的手势运动空间 与n o r i k ot o m u r o 所不同的是s y l v i eg i b e t 驱动手臂运动靠得是程序指令， 在手形的控s t j 上s y i v i eg i b e t 也调用了基本的手形数据，不过他同时也为各个手和 手指指的运动赋予了指令比如手指的伸展( f - s p r e e ( t ) 抓紧( f - c l e n c h e d ) 弯曲角 度( a n g l e ) 等。总之，先定义手形和手臂的位置，在定义他们要运动的角度， 从而实现手势运动，并通过三位人体模型将结果显示出来，如图1 5 所示【1 6 j 。 图卜5s y l v i eg i b e r 手语合成三维显示 硕士学位论文 第一章绪论 通过s y l v i eg i b e t 所设计的手势生成系统，可以使用相应的手势生成命令来生 成各种各样的手势，但是由于每个手势都必须有明确的方位和运动量定义，因此 完成一个手语词的手势输出常需要输入很长的手势指令，尽管有时可以调用已经 存在的指令，但这个工作量仍然是非常巨大的，例如合成简单的手语“t h a n ky o u f o rl i s t e n i n gt om e ( 谢谢你听我说) ”就需要手势合成指令近一页，因此使用起来就 显得十分的繁琐。 1 2 1 两种手势生成方法的比较 通过对上述两种手势生成方法即基于硬件采集和基于软件设计的比较分析， 它们都有自己的优点和不足，现分述如下： ( 一) 基于硬件采集： 优点：通过佩戴数据手套，能迅速的完成原始数据的采集，简单方便； 缺点：首先，硬件成本高昂，要获得质量比较好的数据，必须依赖质 量较高的数据手套，以及与之相配套的数据采集卡；其次，采集数据 容易受外界的干扰，对获得的数据必须做进一步的编辑和修改，且修 改数据的工作往往繁杂；还有，一般数据手套佩戴的通用性都不是很 强，因每个人的手形不一，往往换了不同的人来佩带，所产生手势数 据会差别很大。 ( 二) 基于软件设计：由于软件设计所采用的设计思想不同，在生成手势的 过程中所体现的优缺点有很大区别，但从整体上来说也能表现出共同 的优缺点： 优点：无需硬件成本，可完全通过软件编程来实现手势的生成，而且 生成的手势一般通过三维人体模型的表达来察看效果，当手势不满意 时可随时进行修改，直到满意为至，达到所见既所得的效果。 缺点：由于手势运动的复杂性，完全依靠软件设计来生成手势，在程 序设计的难度上比较大，不易实现，并且当所采用的方法不适当，手 势的生成会相当繁琐。 通过对中国手语的深入研究和对两种生成手势方法的比较，以及现有软件生 成手势成果的分析，作者认为完全可以用一种崭新的思路通过软件设计的方法来 实现手势的生成。因此本课题选择第二种方法即软件设计法来生成手势，构建一 个手势生成系统，并逐步建立起手势库，从而最终完成整个手语合成系统的设计 实现文本向手语自动翻译的目标。 6 硕士学位论文第一章绪论 1 3 课题面临的几个主要问题分析 1 3 1 人体手臂运动学建模 由于本课题选择软件设计的方法来实现手势的生成，就必须实现手势的可视 化，用来判断生成的手势是否合理。为达到这个目的，首先要对身体特别是手臂 骨骼系统和关节类型作一个比较细致的分析，建立一个能够控制人体手臂动作的 三维人体模型，使它产生或输出手势。为此，首先将手臂运动的关节等效成相应 的运动副，根据机构学有关知识建立起手臂的机构学模型，并在此基础上利用机 器人运动学建模方法，建立起完整手臂的运动学模型，再通过l a b v i e w 平台程 纾改计加以实现，最终达到利用关节转角参数来控制手臂的姿态，实现手势的生 成或输出。这样就可以为手势生成系统的构建以及后来手语合成的输出打下比较 好的基础。 1 3 2 手势生成系统的构建 手语合成需要大量手势信息的输出，这些手势信息要从一个专门的手势库里 调出，从这个意义上说，包含大量手势信息的手势库也是手语合成的基础。为获 得各种各样的手势信息，就必须构建一个手势生成系统，将有形的手势转化为数 据贮存在手势库中，以便在手语合成时进行相关的调用。在中国手语里面，手势 词汇很多，手势的变化也非常丰富，要构建一个质量好效率又高的手势生成系统 并非易事，不但需要对中国手语的特点有足够的了解，还需要对手语表达的特征 进行综合的研究，探索手语表达的规律等，进而通过程序设计来构建一个比较好 的手势生成系统。 手势的生成还需要设计一个手势生成机制，在这个机制里面要实现静态和动 态手势的生成、命名、演示和保存等功能。对于动态手势，可以看做是静态手势 的连续组合，因此在生成手势时，利用提取动态手势的关键状态姿势，而关键状 态之问的姿势可以通过状态间插值等算法得到，从而实现动态手势的生成。 同时，为提高手势生成的质量和效率，通过对中国手语的研究，我们希望能 找到一些基本手势出来，用这些基本手势来组成各种词汇的手势，就如同用 a b c 等2 6 个字母组成千千万万个英文单词一样。但是手语毕竟与一般语言 不同，虽然不能用有限个基本手势来组成各种各样的手势语，但是仍然有一大部 分手势是经常用到的，比如中国手语里面出现频率非常高的3 0 个拼音手势，以 及手臂在空间运动的位置也有一定的规律可循。因此，可以依据这些基本手势的 特点来设计各种快速产生手势的程序模块，以便在生成手势时进行必要的调用。 7 硕士学位论文 第一章绪论 在提高手势生成的质量和效率的基础上，扩大手势库的信息规模，支撑手语合成 系统对手势信息的调用。 1 3 3 手势库操作功能实现与手势输出设计 几乎所有的手语合成系统都离不开数据库技术，这是系统本身的性质和特点 所决定的。因为在手语合成的过程当中，要利用获得的手势库进行文本的切分、 文本到手势数据的转换、手势数据的调出等多种数据操作。具体到本课题，不但 要完成上面所要进行的数据库操作，而且在利用软件生成手势时，有大量的手势 信息需要保存，还需要对已有的数据库进行必要的操作，比如调用已经生成的手 势信息来组成新的手势、删除错误手势数据、查询手势信息等等，若采用普通的 数据存储方法已经不能很好的完成这些操作，而采用数据库技术则相对容易实 现。 为此，本课题在l a b v i e w 平台上利用n a t i o n a li n s t r u m e n t s ( 美国国家仪器， 简称n i ) 公司推出的l a b v i e ws q lt o o l k i t ( 也称l a b v i e wd a t a b a s e c o n n e c t i v i t yt o o l s e t ) 数据库操作工具包，调用里面的相关函数，通过一定的程 序设计，来实现对手势库的建立与操作管理。在整个系统设计的构架中，从最初 的文本切分到最后的手语合成输出，都需要将数据库技术融入其中，成为本课题 重要的研究内容之一。 在手势生成的时候，采取手势关键状态点的保存策略，那么在手语合成输出 的时，要对手势输出数据进行一定的处理，须建立一个手势输出模块，才能使得 输出的手势平滑连接，衔接自然。 1 3 4 手语合成与连续输出系统的实现 手语合成的目的是将自然文本句子自动翻译成手语并通过三维人体模型显 示出来。既然是句子也就不仅是单一的词汇，要实现连续的手语输出，必须对输 入的文本进行必要的切分，使切分后的词汇通过手势信息的转换从手势库中调出 相应的手势数据来驱动三维人体模型，进行手语的表达。因此，文本切分也是手 语合成系统的一个重要组成部分。 文本切分也需要遵循一定的原则，一般而言，切分的词必须具备完整的意思， 能够独立的表达一个概念；再者，按切分的顺序，将切分的个体连接起来应与原 文本的意义一致，不能产生歧义。因此选择怎样的文本切分方法也是十分重要的 问题。需要对文本切分技术进行认真的研究，结合课题所建造手势库的结构和特 点，提出适合自身手势库的文本切分算法，有效解决了文本切分的问题。通过对 硕士学位论文第一章绪论 文本切分之后，按照手语合成的流程，经过文本词向手势的转化与手势输出系统， 既可以连续自然地输出手势，进行手语的表达。 1 4 论文研究的主要任务 在参考相关资料的基础上，充分利用实验室现有条件，总结课题实现所面临 的问题，重点从以下几个方面展开研究： 1 研究当前手语合成系统的相关技术，利用实验室条件，在l a b v i e w 平 台上设计出一个手语合成系统，实现一般文本句子向手语的自动翻译并 通过三维人体模型将其输出的目标 2 研究利用机器人运动学建模方法，建立人体上肢关节运动的数学模型， 并在l a b v i e w 软件平台上加以实现，达到通过控制关节转角参数来控 制手臂姿态的目的，为手势的生成和输出创造条件。 3 摆脱采用硬件采集获得手势信息的传统方法，研究完全利用软件实现手 势生成的策略，开发快速生成手势的模块，构建一个手势生成系统，用 以获得各种手势信息，并在此基础上组建一定规模的手势库。 4 在手势生成系统当中，针对静态和动态手势，设计出一个完整的手势生 成机制。对动态手势，探索采用提取其关键状态点的生成方法，提高手 势生成的质量和效率。 5 研究数据库技术在l a b v i e w 平台上的应用，实现对手势库的各种数据 操作，方便手势的生成和手语合成时对手势数据的调用；根据手势信息 的存储情况，设计手势输出策略，研究通过关键状态点之间的插值等算 法实现手势输出的平滑，使手势输出自然、逼真。 6 研究基于所建立手势库的文本切分技术，实现对一般文本的正确切分， 达到自然语言文本句子向中国手语连续转换的要求；对开发的手语合成 系统进行效果验证，对系统整体运行质量进行评估。 9 硕士学位论文 第二章手臂运动学建模与软件实现 第二章手臂运动学建模与软件实现 根据本课题选择生成手势的方案以及最后手语合成系统输出的要求，三维人 体模型尤其是手臂模型的建立都是必不可少的。在生成手势的时候，要通过对人 体手臂关节的数据驱动，来产生各种手势，手势生成的效果也要通过三维人体模 型显示出来，以达到所见即所得的效果；因而，三维人体模型尤其是手臂模型建 造的好坏将直接影响手势输出的效果。为此，必须对人体手臂的骨骼系统以及其 运动学特性有比较清晰的了解。然后，再根据机器人运动学建模方法，建立人体 手臂的运动学模型，并在l a b v i e w 软件平台上加以实现。 2 1 人体手臂的机构学模型 由于手语的表达主要是靠人体上肢的运动，因而，建立人体模型的主要工作 在于人体手臂模型的建立【2 ”。但是为了整个模型的美观，我们也将不做运动的 人体其他部位包括人的头部、胸部以及下肢引入，组成完整的人体模型，以增强 手势输出的逼真度。但考虑到手势输出的实际情况，就不对除手臂之外的其他部 分做结构和运动学分析，而是看作一个整体，参与人体模型的建立。 2 1 1 人体手臂关节运动及其运动自由度分析 人体上肢骨由上肢带骨和自由上肢骨两大部分组成。前者有锁骨和肩胛骨， 后者包括臂部的肱骨、前臂部并列的尺骨、挠骨及手的8 块腕骨、5 块掌骨和1 4 块指骨。所有这些骨骼都通过关节连接，并与连接骨骼的韧带、肌肉、肌腱、起 保护作用的软组织和皮肤共同组成了完整的人体上肢。上肢的骨骼组成如图2 1 所示。 图2 1 上肢骨骼的组成( 图片来源：s m a r l d a n 软件图形库) l o 硕士学位论文第二章手臂运动学建模与软件实现 上肢的关节分为上肢带的关节和自由上肢的关节，前者主要起连接自由上肢 与躯干的作用，后者则主要决定了整个上肢的运动。本小节主要针对自由上肢的 关节进行分析，其主要关节及其可能的运动如下1 2 2 - 2 4 1 。 1 肩关节：由肱骨头和肩胛骨的关节盂构成，属于球窝关节，能作多轴性 灵活运动，是全身运动最灵活的关节。在特定肌肉的作用下，肩关节可 做前屈和后伸、内收和外展、内旋和外旋以及环转等多种运动。肩关节 可以分别绕三个互相垂直的运动轴旋转，因此可以认为肩关节具有三个自 由度。 2 肘关节：是由肱骨下端和挠、尺骨上端构成的复合关节，可分解为肱尺 关节、肱挠关节和挠尺近侧关节，同包于一个关节囊内。肘关节的运动 以肱尺关节为主，主要是屈伸运动，肱挠关节因受肱尺关节的限制，虽 为球窝关节，只能随肱尺关节做屈伸运动及其本身的回转运动，挠尺近 侧关节和挠尺远侧关节的联合运动为前臂的旋转运动。肱挠关节的运动 因受肱尺关节的约束，虽然其有两个自由度，但是与肱尺关节和挠尺关 节自由度重合，通过分析可以认为肘关节有两个自由度。 3 手部关节包括挠腕关节、腕骨间关节、腕掌关节、掌骨间关节、掌指关 节和指骨间关节，是上肢中运动最复杂的部分。其中，挠腕关节、腕掌 关节、掌指关节和指骨间关节决定了手部的主要运动，而腕骨间关节和 掌骨间关节运动范围小且一般伴随其它手部关节运动，在此不对它们进 行分析。 ( 1 ) 挠腕关节：又称腕关节，由挠骨和尺骨下端的关节面与部分手掌骨 骼组成，是典型的椭圆关节。腕关节可做屈伸运动，内外旋转运动， 所以认为腕关节有两个自由度。 ( 2 ) 腕掌关节：拇指腕掌关节是典型的鞍状关节。第一掌骨与其余掌骨 并未处于同一平面，而是位于它们的前方，并且向掌侧旋转近9 0 度。 当第一掌骨的屈伴有外展并稍微旋内时，可使得拇指远节的掌面与 其它4 指远节的掌面接触，即为对掌运动，内侧4 个腕掌关节的运 动范围都很小。从分析可知，拇指的腕掌关节应具有三个自由度。 ( 3 ) 掌指关节：由掌骨头和近指骨底构成，共5 个。掌骨头远侧面呈球 形，其形态近似球窝关节。但掌骨头侧面较平，并且关节又受侧面 韧带的限制，故只能做屈伸、内收、外展以及环转运动。所以，每 个掌指关节由两个自由度，拇指的掌指关节只能作屈伸运动，故只 有一个自由度。 ( 4 ) 指骨间关节：共9 个，由各指相邻两节指底骨和滑车组成，为滑车 硕士学位论文第二章手臂运动学建模与软件实现 关节，只能做屈伸运动，所以每个指骨间关节只有一个自由度。 由解剖学分析可知，人手食指、中指、无名指以及小指的结构大致是一由解 剖学分析可知，人手食指、中指、无名指以及小指的结构大致是一样的。其中指 骨间关节又可分为近端指关节( p r o x i m a li n t e r p h a l a n g e a l ，记为p p ，由近端指骨 和中间指骨组成) 和远端指关节( d i s t a li m e r p h a l a n g e a l ，记为d i p ，由中间指骨 和远端指骨组成) ，它们都属于滑车关节，只可进行屈伸动作。拇指的腕掌关节 ( c a r p o m e t a c a r p a l ，记为c m ) 为一个鞍状关节，可做屈伸、收展和内外旋转等 动作，而掌指关节( m e t a c a r p o p h a l a n g e a l ，记为m p ) 和指骨问关节( i n t e r p h a l a n g e a l ， 记为i p ) 属于滑车关节，只能做屈伸运动，其中腕掌关节的内外翻转动作与另 两指关节的屈伸运动配合，能够完成复杂的空间运动。 2 1 2 手臂关节的层次关系分析 任何多关节生物，各个关节之间都有一定的依附关系，为描述方便本文将这 种关系称之为父子节点关系。父节点的运动将带动与其有依附关系的所有子节点 的运动，而子节点的运动一般不会影响父节点，同时一部分子节点又可以成为其 它子节点的父节点，这样就形成了一个层次化的结构，并且在这个结构中总会有 一个节点为其它所有节点的父节点，该节点可被定义为根节点。按照这样的结构， 运动将沿着父子节点构成的运动链进行传播。 依据前面对手臂结构的分析，可以很容易将手臂上的各个关节依附关系用父 子节点关系来描述，其各关节的依附关系如图2 2 所示。 图2 2 手臂关节层次关系 1 2 硕士学位论文第二章手臂运动学建模与软件实现 综上所述，通过对手臂运动形式和层次结构的分析，可以总结出手臂的运动 特点： 1 手臂的各个关节运动大都集中于身体前部，且都有一定的范围。 2 对于多自由度关节，比如肩关节，关节的运动可以由任意一个自由度上 开始，并可以影响其它自由度上运动轴线的指向，也就是说各个自由度 上运动的起因是相互独立的，相互之间的影响方式是相同的。 3 通过研究，本文认为手臂当前关节的内外旋运动与收展、屈伸运动相互 独立，即内外旋运动不改变当前节点其它两种运动形式的旋转轴线方位， 只会影响其后续关节运动轴线的方位。 4 手臂上某些关节运动和运动范围之间存在一定的约束关系。 5 单个手指的屈伸运动过程中，组成手指的各部分处于同一个平面内。 6 在手指伸展和弯曲的过程中，手掌会相应的变形，主要表现在各掌指关 节的空间相对位置的变化，并且还会影响其它手指的运动。 7 人体手臂中共有1 8 个关节，如果不计整个手臂三维空间内6 个自由度及 手臂中约束影响，这些关节中一共包含了2 8 个自由度。 2 1 3 手臂机构学模型的建立 在手臂上各个关节中，对手臂运动贡献最大的几个关节为：肩关节、肘关节、 腕关节、掌指关节和指骨间关节，对这几个关节的机构学分析是本节研究的重点。 为了方便后面对手臂的运动学建模，在满足第一节手臂建模基本要求的前提下， 本节首先对人体手臂组成结构，按下述要求进行简化。 1 从机构学的角度，可以把手臂各个部分的骨骼简化为连杆，骨骼之间的 关节简化为运动副。 2 不考虑手掌在运动过程中的变形。因为手掌的变形相对来说是比较复杂 的，并且在机构学模型中也不容易表达。由于腕掌关节运动会使手部发 生变形，因此在后续软件开发过程中将不对拇指腕掌关节进行控制，但 是为了问题分析的完整性，本章也对其进行相应的建模分析。 3 为了方便对拇指腕掌关节运动的分析，本文将拇指腕掌关节绕骨骼轴线 旋转的自由度省略，认为它和除拇指以外的掌指关节一样，具有两个自 由度。因此可以认为拇指的腕掌关节类似于其它手指的掌指关节，另外， 拇指的掌指关节类似于其它手指的指骨间关节，这样文中认为它们都可 以简化为相同的形式。 由于手臂上存在各种不同的关节，则相应关节连接的部位的运动形式也是不 同的，因此，应按关节运动的自由度，将手臂关节与机构学中的运动副进行类比， 硕士学位论文第二章手臂运动学建模与软件实现 类比结果如表2 1 所示( 2 5 】。 表2 1 手臂关节与运动副类比结果 自由度个数运动副类型运动副图形 简图符号手臂关节类型 3 个球面副 肩关节 遗l 起 2 个球销副 腕关节、掌指关节( 除拇指 叠 o y外) ，拇指腕掌关节 书 l 1 个转动副指骨问关节 ， 球： 。_ 厶 由于肘关节是一个复合关节，按照常理它的机构学模型应符合其真实结构， 但通过对肘关节运动自由度的分析，它具备使小臂绕自身旋转和弯曲两个自由 度，此处就可以通过两个转动副的组合来表达肘关节的结构。通过上面的类比， 对照手臂骨骼结构，并按照手臂运动的层次关系，建立了手臂的机构学模型，如 图2 3 所示。 a 手臂骨骼 b 手臂机构模型 图2 - 3 手臂骨骼与手臂机构模型图 1 4 硕士学位论文第二章手臂运动学建模与软件实现 2 1 4 手臂运动过程中的约束关系 上面通过简化和类比的方法，建立了手臂的机构学模型，但是仅有该模型还 不足以对手臂的运动进行完整的描述。通过前面的分析，手臂中某些关节运动和 运动范围之问存在相互约束的关系，正是这些约束关系的存在，才使人的手臂按 自然的方式运动。在参考相关文献之后，结合本文的研究对象，人体手臂运动中 存在的约束关系主要有 2 2 1 嘲1 2 7 j ： 1 由于人体躯干以及手臂各部分的相互影响，使手臂关节运动在空间中不 可能是任意的，其都有一定的极限运动范围，此处称之为静态运动范围 约束，各关节的极限运动范围的具体数值参见附录1 。 2 由前所述，肱挠关节的运送因受肱尺关节的约束，虽然其有两个自由度， 但是与肱尺关节和挠尺关节自由度重合，这使肘关节具有两个自由度。 3 单个手指各段指骨的运动都为平面内运动。 4 人的手指，若想活动末关节，则必然要利用与其相邻的p m 关节，否则 手指活动不自然。因此，在不施加外部约束的情况下，p m 关节与d i p 关节旋转角度间具有线性化的约束关系，用公式可表示为 = ( 2 3 ) 8 p z p 5 在手指运动过程中，各m p 关节屈伸运动