嵌入式手语合成技术

1、嵌入式手语合成技术一、 立项依据1、 目的和意义研究出一种可以用于电视、手机上的支持多种语言的手语合成系统。系统可以把电视和手机中以声音和文字形式承载的语言信息转换成手语信息，并通过数字化的虚拟人表示出来。该技术可以让成千上万的聋哑人和正常人一样看电视，使用手机，享受现代化数字技术为人类带来的便捷。手语合成系统是智能人机接口的一个重要研究课题.合成手语不仅有助于聋人使用各种信息,而且可以帮助聋人参加各项社会活动(如观看电视),具有十分重要的应用价值和社会意义2、 国内外概况国内主要研究者有：中科院计算所的高文教授、王兆其教授等研制的“中国手语合成系统”，该系统采用先进的传感器设备(包括6DOF

2、传感器和数据手套)建立中国手语词库，然后应用合成技术，对于给定文本句子(可由健听人话语转换而成)，自动合成相应的人体运动数据。最后应用计算机人体动画技术，将这些运动数据应用于虚拟人，由虚拟人完成合成的手语的运动。其他研究者有哈尔滨工业大学宋益波，姚鸿勋等和北京工业大学尹宝才教授。国外主要研究者有：美国宾夕法尼亚大学（University of Pennsylvania）的把英语翻译成美国手语的TEAM系统， 输入 Input : use STAG(Synchronous Tree Adjoining Grammar) rules to build an ASL syntactic struct

3、ure Output : a gloss notation with some additional limited information about morphological variations,facial expressions, and sentence mood attached；University of East Anglia的VISICAST系统，translating from English text into British Sign Language uses the CMU Link Parser to analyze an input English text

4、； uses Prolog declarative clause grammar rules to convert this linkage output into a DRS (Discourse Representation Structure) for the text A simple algorithm was used to transform the DRS into an input form appropriate for the HPSG-based generation process which followed.爱尔兰都柏林学院的（OReilly Institute,

5、 Dublin, Ireland）Zardoz English-to-ASL translation architecture used a set of hand-coded schemata as an interlingua for a transfer componentASL Workbench。 uses a lexical-functional grammar (LFG) for analysis of the English text to a functional structure Output:signstream3、 市场预测和发展趋势二、 研究开发内容、方法、技术路线

6、1、 具体研究开发内容和要重点解决的技术关键问题a. 快速手语库构建算法b. 高效手语库压缩算法c. 虚拟人动作平滑与拟合算法d. 书面语言到手语的机器自动翻译e. 大词表特定人连续语音识别技术难点：a、 机器翻译 汉语和汉语手语存在着很大的区别 语言表达形态 基本词汇 句子结构 Non-manual signals建立有难度当前翻译的常用方法： 基于转换的方法 基于中间语言的方法 直接的方法b、 手势库的建立两种方法： 手工编辑 数据量大，编辑的数据比较准确 运动跟踪（数据手套） 方便，形象自然，但容易受噪声的干扰 两者结合的方法c、 三维人体的显示虚拟人模型的表示手势之间的平滑过渡虚拟人的

7、姿态控制虚拟人的non-manual signal（除去手势的所有姿态）的显示2、 项目特色和创新之处3、 要达到的技术、经济指标及社会、经济效益4、 采取的方法、技术路线以及工艺流程系统有三部分组成（如图所示）：a、汉语文本分析模块一般系统在读入一个汉语句子后,首先对句子进行分词处理。经系统分词处理后的词序列作为待翻译的基本节点而确定下来,如有切分歧义,则调用相应的消歧知识。B、转换处理这个部分是系统的核心部分。它将文本分析模块产生的输出码转换成手语词语内码生成。经切分后的汉语词语或词组作为待译的基本节点查词典后,即被送入系统的这一阶段进行分析与生成一体化的转换处理。C、合成处理与动画显示在经汉语文本分析和转换处理后的手语符号序列中,只包含两种单元:手语词和手语运动参数。合成处理的目的是将这样的符号序列转换成手语运动。手语的生成基于手势合成词典及转换器的结果信息。根据转换器的结果信息去查手势合成词典,得到对应中国手语的编码序