（计算机科学与技术专业论文）面向pda终端的中国手语动画合成研究.pdf

独创性声明 删| 1 1 | 1 1 i | i | | f i l i | i | 1 1 i i | l | y 17 8 8 5 4 0 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：三! 氢日期：刨夕 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 摘要 摘要 手语是聋人之间使用的一种语言，是一种靠肢体、表情进行交流的特殊语言。 它是聋人在日常工作、生活中与人交流、传达信息的最重要途径，然而现今社会 中信息传播的主要方式建立在自然语言基础之上，聋人很难正常获取信息、融入 社会主体。在中国有上千万聋哑人，这个群体正在越来越受到社会的关注，如何 为这个群体提供信息变成了一个专门的研究领域。手语合成研究的主要目标就是 为听力障碍人群创建一种高效、准确且普适的手语表达方法，为他们提供一个更 广阔的信息传播平台，实现整个社会无障碍的交流。 随着3 d 图形技术的飞速发展，特别是3 d 虚拟人技术的日益普及，手语动画 因其友好的交互性和广泛的适用性逐渐成为手语合成的主要研究方向。3 d 形式的 手语合成动画，不但有助于改善聋人的工作条件和学习效率，为他们提供更便捷 的服务，同时还可以应用于手语辅助教学、双语电视节目播出、医疗研究和游戏 娱乐等诸多方面。 近年来，随着智能手机( s m a r tp h o n e ) ，个人数字助理( p d a ) 等手持移动设备 的日益普及，移动终端的图形应用也在迅速增加，真实感绘制技术也逐渐渗透到 嵌入式领域。显示技术的发展使得移动设备的屏幕分辨率和显示质量越来越高， 移动设备己经逐渐成为人们进行信息获取、信息处理、个人娱乐等的重要途径。 因此面向移动手持终端的手语动画应用可以借助移动手持设备的移动性和便捷 性更好的为听力障碍人群提供更为及时、快捷的信息服务。 本论文结合目前的国内外相关研究，对移动手持设备图形绘制技术、三角网 格简化算法和虚拟人动画技术等进行了深入探索。本文首先介绍了手持移动终端 图形绘制技术及其特点，然后对手持设备上的两种绘制方式进行比较，考虑到移 动手持终端的3 d 图形能力有限，并根据本文的研究目标最终确定使用基于本地的 绘制方法。然后对渐进网格生成和重建技术做了阐述，采用一种基于逆细分思想 的三角网格简化方法对虚拟人模型进行简化，生成一系列不同层次的渐进网格， 进一步减少手持终端的绘制量。在一系列工作的铺垫下，最终实现了面向移动终 端的中国手语动画合成平台。 关键词中国手语合成； 渐进网格； 计算机动画；移动终端 - i i a b s t r a c t a b s t r a c t s i g nl a n g u a g e i sas p e c i a l l a n g u a g ed e p e n d i n go np h y s i c a l a n df a c i a l e x p r e s s i o n sa n dm a i n l yu s e da m o n gt h ed e a f i ti st h em o s ti m p o r t a n tw a yf o rd e a f t oc o m m u n i c a t ea n da c c e s si n f o r m a t i o ni nt h e i rd a i l yw o r ka n dl i f e s i n c em o s t i n f o r m a t i o nt r a n s m i t t i e di no u rs o c i e t yi se x p r e s s e d 丽t l ls p o k e nl a n g u a g e ，i t sv e r y d i f f i c u l tf o rt h ed e a ft oa c c e s si n f o r m a t i o na n de n g a g ei nt h ep r i n c i p a lp a r to f c o m m u m 够i nc h i n a , t h e r ea r et e n so fm i l l i o n so fd e a f , a n dt h e yh a v er e c e i v e d c o m m u n i t y sa t t e n t i o n h o wt op r o v i d eb e a e rh e l pf o rt h e mb e c o m e sah o tr e s e a r c h f i e l d t h em a i ng o a lo fs i g nl a n g u a g es y n t h e s i si st oc r e a t ea ne f f i c i e n t ，a c c u r a t ea n d u n i v e r s a ls i g nl a n g u a g ee x p r e s s i o na n dp r o v i d eab r o a d e ri n f o r m a t i o nd i s s e m i n a t i o n p l a t f o r mi no r d e rt oa c h i e v eb a r r i e r - f r e es o c i e t yf o rt h eh e a r i n g i m p a i r e dp e o p l e w i t ht h er a p i dd e v e l o p m e n to f3 dg r a p h i c st e c h n o l o g y , e s p e c i a l l y3 dv i r t u a l h u m a nt e c h n o l o g y , s i g nl a n g u a g ea n i m a t i o nh a sb e c o m em a i nr e s e a r c hd i r e c t i o no f s i g nl a n g u a g es y n t h e s i s u s i n gt h et e c h n o l o g yo f3 da n i m a t i o nt os y n t h e s i st h e c h i n e s es i g nl a n g u a g ec a nn o to n l yi m p r o v ed e a f sl i v e s ，b u ta l s op r o v i d et h e m 晰m m o r ec o n v e n i e n ts e r v i c e s a n di tc a nb eu s e df o rt e a c h i n gs i g nl a n g u a g e ，t v r e p o r t i n g ，m e d i c a lr e s e a r c ha n dt h eg a m e i nr e c e n ty e a r s ，m o r ea n dm o r ep e o p l eu s em o b i l ed e v i c es u c ha ss m a r tp h o n e ， p d a 3 dg r a p h i c sa p p l i c a t i o nh a sa l s ob e c o m em o r ep o p u l a ro nm o b i l ed e v i c e ，s o r e a l i s t i cr e n d e r i n gt e c h n i q u eg r a d u a l l yi n f i l t r a t e di n t oe m b e d d e df i e l d d e v e l o p m e n t o fd i s p l a yt e c h n o l o g ym a k e sm o b i l ed e v i c e s s c r e e nr e s o l u t i o na n dd i s p l a yq u a l i t y h i g h e ra n db e t t e r ，t h em o b i l ed e v i c e sh a v eb e c o m eo n eo ft h em o s ti m p o r t a n tf a c i l i t y u s e df o ra c q u i r i n ga n dp r o c c e s s i n gi n f o r m a t i o n ，s e l f - e n t e r t a i n m e n t s i n c em o b i l e d e v i c e sh a v eb e t t e rm o b i l i t ya n dc o n v e n i e n c e ，s i g nl a n g u a g ea n i m a t i o na p p i c a t i o n s b a s e do nm o b i l ed e v i c ec a np r o v i d ee f f i c i e n ti n f o r m a t i o ns e r v i c e si nt i m e t h i sp a p e rc o m b i n e sc u r r e n tr e l a t e ds t u d i e s ，d o e sa l li n d e p t he x p l o r a t i o ni nt h e m o b i l e3 dg r a p h i c s ，t r i a n g l em e s hs i m p l i f i c a t i o n a l g o r i t h m s ，v i r t u a lh u m a n a n i m a t i o na n ds oo n i no r d e rt oa c h i e v er e s e a r c ho b j e c t i v e sa n ds a v et h er e s o u r c e s o fm o b i l ed e v i c e sa sm u c ha sp o s s i b l e ，t h i sp a p e rs e l e c t st h eal o c a l r e d n e r i n g m e t h o dt h a ti s v e r ys u i t a b l e f o r r e s e a r c h a i m ，t h e n u s e sat r i a n g l em e s h s i m p l i f i c a t i o na l g o r i t h mb a s e do nt h el o o pr e v e r s es u b d i v i s i o nt op r o c e s st h ev i r t u a l h u m a nm o d e la n dc r e a t eas e r i e so fp r o g r e s s i v em e s h f i n a l l y , w er e a l i z e sc h i n e s e s i g nl a n g u a g ea n i m a t i o np l a t f o r mo nm o b i l ed e v i c e i i i 北京工业大学t 学硕上学位论文 k e y w o r d sc h i n e s es i g nl a n g u a g es y n t h e s i s ；p r o g r e s s i v em e s h ：c o m p u t e ra n i m a t i o n ； m o b i l ed e v i c e s i v 目录 目录 摘兽喜i a b s t r a c t i i i 第1 章绪论l 1 1 课题研究背景及意义1 1 2 国内外研究发展现状o 。1 1 2 1 手语合成技术研究现状2 1 2 2 三角网格简化研究现状4 1 2 3 人体动画驱动技术现状6 1 3 论文的主要研究目标及内容7 1 3 1 项目来源。7 1 3 2 研究目标7 1 3 3 研究内容8 1 4 论文的结构8 第2 章移动手持终端图形绘制技术1 1 2 1 引言1 1 2 2 移动手持终端上图形应用的特点1 l 2 3 移动设备图形研究的关键技术1 3 2 3 1 远程绘制模式1 4 2 3 2 本地绘制模式1 4 2 4 本章小结一1 7 第3 章适应移动终端的渐进网格生成和重建方法1 9 3 1 引言19 3 2 渐进网格算法1 9 3 3 渐进网格的生成和重建方法2 0 3 3 1 逆向细分网格简化方法2 l 3 3 2l o o p 细分与逆细分2 3 3 3 3 渐进网格生成算法2 5 3 3 4 基于l o o p 逆细分的渐进网格生成实现2 7 3 4 实验结果3 3 3 5 本章小结3 5 第4 章面向移动终端的中国手语动画合成系统3 7 4 1 引言3 7 4 2 系统框架设计3 7 4 3 移动终端手语动画合成系统的实现3 8 4 3 1 处理流程3 8 北京t 业大学工学硕十学位论文 4 3 2 系统模块3 8 4 3 3 基于内存双缓冲区的快速绘制方法3 9 4 4 实验结果4 1 4 5 本章小结4 2 结论4 3 参考文献。4 5 攻读硕士学位期间发表的学术论文5 l 致 射5 3 第l 章绪论 1 1 课题研究背景及意义 目前，在我们的社会中存在着大量有听力功能障碍的人群。据统计数字显 示，迄今中国有超过2 0 6 7 万聋人，其中处于1 到1 4 岁年龄段的就高达1 1 7 万， 并且每年新生聋儿也以2 到3 万的速度在增加【l j 。他们在生活中所遇到的困难 往往是健听人难以想象的。如今我国正处于精神与物质生活高速发展时期，人 民生活水平稳步提高，网络、智能交互等高科技手段更是在不同层次丰富、便 捷着我们的生活。但这些对于残障人士来说却往往是可望而不可及的，在一定 程度上反而使他们更加脱离了社会群体。随着信息的飞速膨胀，交换信息早已 成为我们日常生活中不可或缺的一个重要组成部分。 手语是聋人交流时使用的语言。手语通过手形状、位置与方向的变化来表 达特定的语义。目前我国大多数聋人都使用中国标准手语作为交流的工具，而 聋校等教育机构已经成为标准化手语表达的核心推动力量。有统计数字表明， 聋人对文字信息的接受速度仅为1 5 2 5 岍m ；与之相对比，而对于手语信息的 接受速度却高达1 7 5 2 2 5 w p m ，是理解文字信息速度的7 到1 0 倍左右l l j 。这主 要是因为手语语法与汉语文法有着很大的不同，所以导致聋人在阅读和理解速 度上对文字信息有一定的障碍。由此可见，手语在聋人交流过程中起到了非常 重要的作用，可以说手语是聋人掌握信息、交流信息的第一工具。 在通信领域，手机作为现代化的通讯工具，在我们的生活中板扮演着重要 的角色，但这种以声音为传播媒介的高科技产品却一直把聋哑人拒之i - j # b ，这 种状况直到手机短信的出现才有了转机，但是据采访表明聋哑人还是更加喜欢 用手语这种特殊的语言形式来进行沟通。因此，面向p d a 平台的三维虚拟人手 语动画系统，必定能满足聋人不局限于固定的地方，不同交互方式的，随时随 地的信息交流需要。同时面向移动手持设备的3 d 动画合成已经从计算机动画 合成的研究中脱离出来，成为一个独立的研究领域，无论是考虑到其巨大的应 用潜力，还是其在移动图形计算和相关领域内的科研价值，都具有深入研究的 意义。 1 2 国内外研究发展现状 本课题所涉及的研究领域为移动手持平台上的手语动画合成技术研究 ( s i g nl a n g u a g es y n t h e s i sb a s e do nm o b i l ed e v i c e s ) ，主要由手语动画合成和手语 北京工业人学1 二学顾卜学位论文 动画驱动两方面组成。由于移动手持设备( m o b i l ed e v i c e s ) 的图形处理能力非 常有限，所以需要使用三角网格简化的方法对在m o b i l ed e v i c e s 上使用的模型 进行简化，构造多分辨率表示。而动画驱动则使用关节动画技术，该项技术和 动作捕获技术的紧密结合，可以模拟出效果逼真的虚拟人动画，并达到实时绘 制。因此，本节将对手语动画合成技术、网格简化技术、人体动画驱动技术三 个方面目前的研究现状分别进行综述，并针对本课题所需要借鉴和改进的部分 进行了分析。 1 2 1 手语合成技术研究现状 近几年，随着多功能感知、智能人机接口以及虚拟现实研究的兴起，有关 手语的研究在国际上越来越受关注。目前，世界上一些高校、大公司和研究机 构纷纷对手语合成和识别进行研究与开发。但是人们大多偏重于手语识别的研 刭川，关于手语合成研究进行的比较少。 美国的手语研究见于1 9 8 2 年i _ ，在该文中，s h a n t z 和p o i z n e r 叙述了一个 用计算机合成美国手语的程序，该程序基于棍棒模型，用b a s i c 语言编写。在 随后的2 0 年中，手语合成系统的研究取得了很大的发展，并出现了一些实用的 手语库，如美国手语联机词库是基于视频方法建立的一个有2 8 0 0 个手语词的联 机手语库【8 】，用户通过国际互联网即可以学习美国手语。v c o m 3 d 公司开发了 一套3 d 虚拟人的手语编辑软件，可以通过手语和脸部表情在互联网上和其他 人交流【9 】。目前比较成熟的系统是由宾西法尼亚大学研究的t e a m 系统【1 0 l ，它 是由英语转换成美国手语的手语合成系统，主要用于军用。 具有代表性的是，以j o h ad o u b l es t e i n 博士为首的美国a d a m o b i l l a n i 实 验室研发了一个面向听力障碍儿童的高交互性美国手语合成教学系统 1 l 】( 如 图1 1 所示) 。该系统的高真实感3 d 虚拟人模型采用m a y a 7 0 软件完成建模， 用具有高准确度的运动捕获设备采集得到所需的手语动作数据。聋哑儿童借助 该系统可以和虚拟人用手语进行直接的数学教学互动，更直观的用手语学习基 础数学。 图1 1a d a m o - b i l l a n i 实验室研发的手语数学教学系统i 1 f i g 1 1a s ll e a r n i n gs y s t e mo f a d a m o b i l l a n il a b l l l 】 第1 章绪论 日本的手语研究始于1 9 8 5 年【i 引。直至1 9 9 5 年，日本日立公司才实现了一 个日语语音与日本手语双向转换的手语翻译系统，该系统能把日本手语手势转 换成日语语音，也能反向把日语语音转换成日本手语手势。该系统己经被应用 到一个自动居住卡发放机中【i3 1 ，用于向聋哑人解释该机的操作方法，该系统只 能处理定量的固定的信息。1 9 9 8 年日立公司又成功开发了一个用于手语c a i 的二维、三维动画软件。其中收集了手语单词4 0 0 0 多个，是目前较大型的手语 教学软件【1 4 】。 欧洲的一些国家如德国、英国、法国、波兰、爱尔兰、斯洛文尼亚和希腊 等都对手语合成系统进行了研究。1 9 9 9 年，在欧盟的资助下，经过挪威的 u n i v e r s i t yo f e a s ta n g l i a ，德国的汉堡大学等多个学术团体及公司的联合研究， 开发出了v i s i c a s t 系统【1 5 , 1 6 j 。该系统使用了运动捕获技术来捕捉运动数据， 实现了从语音到英国手语的转换，目前己经应用到邮局等公共场所及网络上。 以德国h a m b u r g 大学为代表的研究组织开发了一个旨在推广德国手语信息服务 的手语系统f 1 5 - 1 7 1 ( 如图1 2 所示) ，该系统使用数据手套采集手语运动数据，并 运用顶点混和技术和关节动画技术共同驱动三维虚拟人的手势动作，可以达到 较好的实时效果。 图1 - 2h a m b u 唱大学研发的手语教学系统1 1 5 1 7 1 f i g 1 - 2s i g nl a n g u a g ea n i m a t i o ni ne s i g n t l 5 - 1 7 1 中国手语动画合成研究起始于上世纪9 0 年代。在8 6 3 计划，国家自然科 学基金委，北京市科委等的支持下，中国科学院计算机研究所智能人机交互课 题组多年来积极从事多功能感知技术的研究，这项技术的研究方向面向集语音， 肢体语言，情感于一体的先进的人机接口技术，在人和机器之间实现手语的自 然交互，y i q i a n gc h e n 和w e ng a o 在文献 1 8 d g 详细阐述了手语合成的相关技 术，而w e ng a o 在文献 1 9 】中针对手语的识别提出了h m m 的解决方法。中科 院计算所借助运动捕获设备建立了标准中国手语词库，并开发了基于虚拟人动 画技术的中国手语合成系统，取得了丰硕的成果【2 0 。2 3 1 。 北京- e ! i 大学工学硕j 仁学位论文 1 2 2 三角网格简化研究现状 要构造模型的多分辨率表达，一般要用到网格简化算法。网格简化的目的 是把一个用大量多边形表示的模型用一个简单的近似模型表示，使得近似模型 尽可能少的使用多边形面片却又能保持原模型的视觉特征。网格简化算法最大 的特点就是根据人的视觉特征，以最小的图形绘制开销取得最好的画面视觉效 果，删除掉视觉分辨不出的或无用的图形细节，最大程度地简化模型，从而减 轻图形系统的负载。一个有效的网格简化方法都有独特的正确误差度量准则。 对于因模型简化带来的视觉误差，我们既要考虑几何误差对视觉的影响，又要 考虑属性误差的影响1 2 4 1 。 模型简化的原则是尽可能地删除对模型几何形状影响不大的顶点和面片， 保留反映模型几何特征的顶点和面片，而这个优化问题实际上是个n p 问题 2 5 , 2 6 j 。因而在实际应用中，人们通常只是在满足逼近精度要求下，以某种误差 度量序列来指导模型的简化。对于几何误差我们既希望模型简化方法能保持在 象空间的形状，同时也希望它能保持物体在物空间的三维形状，通常可以从物 体的轮廓和像素覆盖面积两个方面来考察。 在实际的建模过程中，一个模型不仅含有几何信息，而且还有纹理、颜色、 法向量等各种附属信息。特别是物体的颜色、光照和纹理等不仅能为物体提供 真实的外部特征，而且为人眼提供了逼真的邻近和遮挡等视觉信息。因而模型 的简化不仅应给出几何的误差限定，而且应给出模型其他相关属性约束的误差 限定。 对于几何和属性误差的度量，可以从以下几方面考虑： ( 1 ) 点到点之间的距离 ( 2 ) 点到面之间的距离 ( 3 ) 面到面之间的距离 另外，体积或面积的保持度也是误差度量的一个标准；曲率变化也是网格 简化方法考虑的重要因素。 以限定误差逼近为依据，根据采用的策略，可将简化方法分为以下几种： ( 1 ) 基于全局范围误差逼近的方法，即准确性仅针对整个简化的网格( 例如超 平面和聚类方法、简化包络算法、基于变换成中间层表达的方法等) 。 ( 2 ) 基于局部范围误差的方法，即分别考虑每个曲面的逼近准确性( 大多数网 格要素删除方法都属该范畴) 。 ( 3 ) 基于其他参考标准控制准确性的方法。这些方法与第一类中叙述的误差 定义兼容。通常考虑用曲率来定义曲面的全局误差。 ( 4 ) 对逼近准确性人为定义的方法。通常根据用户自己的需求进行简化。 随着图形技术的广泛应用，模型简化方面的国内外研究工作越来越多，不 同的划分标准得到的分类结果也不尽相同。下面仅列出一些主要的网格简化方 法。 ( 1 ) 共面溶合法：网格中几个面的法向量接近平行的面片，可合并成一个大 的多边形面片，然后再规格化【”- 2 9 1 。面的合并由共面检测方法驱动【3 0 1 。在边界 近似上扩展了此类方法，提出超面方法。此类方法对模型上近似圆柱、圆锥以 及平面等分段线性表示处的简化特别有效。但对具有高曲率的模型表面，此方 法简化效率不高。 ( 2 ) 基于删除点的简化算法：基于某种优化准则迭代地消去点边面。此类 方法有利于保持原网格的拓扑。 s o u c y 【3 l 】提出了一种基于点删除的网格简化算法( 如图1 3 所示) 。此方 法中的几何误差被定义为删除前的顶点与重新后的三角形面片的最大距离。该 方法的简化质量好，但速度较慢且所需内存也较大。类似的方法还有文献【3 2 1 。 该方法的几何误差定义为待删除顶点与所对应的简化模型上的最近平面之间的 距离。c h o o 【3 3 】则提出基于边保持准则的更优的顶点消去方法进行三角形网格简 化。 图1 3 顶点消去过程：一个顶点被删除，删除后形成的空洞被重新三角化 f i g 1 - 3p r o c e s s i n go fv e n e x e l i m i n a t i o n 基于边消去的方法有 3 4 ，3 5 】等。g u e z i e c 3 3 1 在方法中依据边的重要程度从小 到大地对合法边进行删除。这里的合法是指边折叠边后能保持拓扑的整体结构、 法向量变化较小、不出现狭长三角形而且测量误差在给定阈值范围内等条件。 a l g o r r i 【3 4 】贝u 提出类似的基于无特征边删除的简化方法。之后g a r l a n d 在1 9 9 7 年 提出了经典的q e m 算法，是边消去算法的推广，叫点对折叠方法【3 6 1 g a r l a n d 【3 7 】 还对其在颜色与纹理信息方面作了推广。该方法的最大优点是速度非常快，它 可以在1 0 秒钟内迅速地将7 00 0 0 个三角形组成的模型简化到只含1 0 0 多个三 角形。 而h 锄a i l 【3 8 】则给出了三角形面片收缩的简化算法，根据顶点曲率对曲面 的三角形排序，相对较接近平面的三角面将首先被删去，删去后的洞则收缩成 一个顶点，如图1 - 4 所示。由于产生新点的操作较复杂以及为了保证拓扑结构 不变的约束，使得该算法实现起来比较复杂。 北京t 业大学工学硕士学位论文 图1 4 三角面收缩简化算法，简化是中间的三角形收缩成个顶点【3 8 i f 培1 - 4s i m p l i f i e da l g o r i t h mf o rt r i a n g u l a rc o n t r a c t i o n 3 8 】 另外，文献 3 9 1 提出的简化包裹( s i m p l i f i c a t i o ne n v e l o p e s ) 方法扩展了对全局 误差的控制，限定简化的网格必须落在两偏移网格之间，解决了位移表面之间 发生相交的问题。另一此类方法则采用启发式估算全局误差【3 1 , 4 0 】。 ( 3 ) 顶点面簇方法：根据几何距离，将几个邻近的项点组成簇，并计算出一 个新的顶点表示它【4 。该方法会破坏拓扑和小尺码的形状。文献 4 2 】从可视化 与几何质量上对顶点簇方法做了改进。v e l l h 4 3 则提出用4 面簇的方法对网格进 行简化。 此外，t u r k j 提出重新贴片的方法，随机地在原曲面上添加新顶点，移动 到曲率大的地方，消去原始顶点，最后由新顶点生成曲面的近似。该算法主要 适用于连续平滑的模型，对具有尖角等不连续表面的模型简化效果不好。 h o p p e 等人提出了基于能量优化的简化方法【4 5 】，用能量函数的变化指导网 格简化，通过能量函数中的距离能量变化反映出简化后的模型对原始模型的逼 近程度。h o p p e 给出了对三维扫描仪测量的数据模型进行简化的实例，效果十 分理想，但算法的执行效率很低。 g r o s s m j 提出的基于小波的简化方法也可用于生成层次细节模型。国内如马 小虎【4 7 l 也提出三角形移去准则的多面体模型简化算法；w n 4 8 1 提出基于面压缩 的特征保持网格简化方法。相关的研究工作还有文献 4 9 1 等。 1 2 3 人体动画驱动技术现状 动作建模用于对物体运动状态的描述，它的任务是尽可能搜索一种能够贴 近真实实体行为的运动方法。机器人学和图形学等学科近3 0 年的发展史告诉我 们，生成有骨架的动物的运动动画是一件非常困难的事情。 在9 0 年代初，一种获得人体运动姿态数据的技术开始出现，这种技术就是 运动捕捉技术( m o t i o nc a p t u r e ) t 跏5 2 l ，它主要是利用传感器技术，给真实人体穿 上一件装有电磁传感器的外套，而传感器位置一般是人体活动的关节部分，这 样可以获得人体运动时所用到的比较重要的1 8 个关节共2 3 个自由度的在每一 时刻的空间姿态数据，这些关节数和自由度都可以根据需要进行调整，但是一 般都采用这些数目和位置为代表，通过这些数据，就可以重建出在三维空间运 动的人体骨架模型。b b o d e n h e i m e r 等人在文献 5 3 】中介绍了这种技术。随着这 种技术的发展，慢慢衍生出了各种传感器类型的运动捕捉，例如专门用来捕捉 手部细节的手套，用来捕捉面部表情的发光点等【5 4 , 5 5 1 。根据调查，在虚拟环境 中，会真正引起视觉注意的人体部位包括面部、身体和手的姿势，而且由于手 和面部的细节在l o 米外的远处便无法注意，所以人体运动也可以和三维图形显 示技术中的层次细节( l e v e lo fd e t a i l s ，l o d ) t 5 6 】相结合，这样可以节省计算机的 各种处理资源。 此后，s o n y 北美研发部门的b v a n g l e o sk o k k e v i s 采用了f e a t h e r s t o n e 的关 节体模型( a r t i c u l a t e db o d ym e t l l o m 方法【，”，提出了将人体建模为由关节相连的 刚体模型并且结合d a v i db a r r a f 提出的约束方法用来处理碰撞脉冲和关节限 制。这种方法的局限性在于使用d a v i db a r r a f 的方法来计算，每个碰撞脉冲会 多计算3 个自由度，而且d a v i db a r r a f 的论文重心在于求解非贯穿性约束以及 静态约束。但是在与虚拟现实进行的交互式处理中，为了节省计算资源往往将 不计算静态约束，也就是说这个静态约束是多余的。 因此，对于建模低细节人体运动，目前还没有一个通用的方法，但是大部 分研究的出发点都是一致的，就是将人体建模为一个由关节相连的刚体树，并 且对这个刚体树与外界碰撞、关节的限制以及关节的驱动力、刚体所受的外力 建模，同时求解刚体运动的状态。这样，就可以较为逼真还原低细节人体的受 力运动，这种技术也常常被用于三维游戏中。 目前国内对这方面的研究还刚刚起步，也只有中科院计算所的王兆其等人 对基于运动捕捉的方法进行初步的研究。 1 3 论文的主要研究目标及内容 1 3 1 项目来源 本文的研究课题来源于国家自然科学基金国家杰出青年科学基金“面向中 国手语播报的数据压缩与视频编码方法研究”( n o ：6 0 8 2 5 2 0 3 ) 和北京市教委科技 发展计划“语义e m a i l 研究叫o ：k m 2 0 0 7 1 0 0 0 5 0 2 3 ) 。 1 3 2 研究目标 本文在收集和整理大量国内外相关资料的基础上，对手语动画合成和手持 北京l - 业人掌工学硕士学位论文 移动终端上3 d 图形绘制的研究现状进行了深入的分析，针对移动手持设备3 d 图形能力有限以及内存和电量都偏低的问题，结合移动图形快速绘制和三角网 格简化等相关领域的研究成果，确定本文的主要研究目标如下： ( 1 ) 建立面向移动手持终端的中国手语动画平台。通过引入移动图形绘制 技术，三维建模技术和虚拟人驱动技术，旨在建立一个面向移动手持终端的中 国手语动画平台，希望通过实时逼真的3 d 动画帮助聋人传递和获取信息。 ( 2 ) 研究基于移动手持设备屏幕分辩精度的渐进网格生成和重建方法。相 比传统的台式电脑平台，移动平台仍具有屏幕尺寸小、分辨率低、c p u 处理能 力低、内存及传输带宽小、存储空间以及功耗受限等特点，使得台式平台上的 大量三维网格模型资源，尤其是三维数据采集设备获得的复杂三维模型数据很 难在移动应用中直接使用。通过研究三角网格简化算法对虚拟主持人模型进行 简化，在保证手语动画可理解性和绘制质量的基础上节省移动终端的资源并提 高绘制效率。 1 3 - 3 研究内容 本文的研究内容主要是开发移动手持平台上的中国手语动画系统，包括对 虚拟人模型进行简化，生成多层次渐进网格模型，在移动终端根据屏幕分辩精 度动态加载合适层次的虚拟人模型，在保证绘制质量的基础上减轻终端绘制负 担；处理汉语文本得到所需要的手语动画文件，最终在终端绘制手语动画并显 示在屏幕上。 1 4 论文的结构 本文按照以下结构组织全文内容： 第1 章是绪论部分，主要阐述了手语动画合成技术和三角网格简化技术的 研究背景和意义，并概要介绍了国内外相关研究的进展与现状，定义本文的主 要研究目标、研究内容及文章结构。 第2 章对移动手持设备图形绘制的两种主流方法进行了介绍和比较，并着 重介绍了本文所采用的本地图形绘制的相关技术。 第3 章阐述了渐进网格的基本思想，介绍了一种基于l o o p 逆细分的三角网 格简化算法并使用此方法构建了虚拟人模型的渐进网格，并在最后展示了模型 简化后多层次的效果。 第4 章在前几章工作的基础上，设计和实现了面向手持移动终端的中国手 语动画系统。详细说明了系统的处理流程和处理模块，并对绘制部分使用的基 于双缓冲区的快速绘制算法做了介绍。最后展示了实验结果。 第1 章绪论 结论，对本文工作进行总结，并针对现阶段存在的不足进行规划和展望。 1 0 第2 章移动手持终端图形绘制技术 2 1 引言 第2 章移动手持终端图形绘制技术 现在关于3 d 图形绘制方面的研究很多，但是基于移动手持设备上的3 d 图 形绘制技术却仍然处于探索阶段。而且移动手持设备硬件也是最近几年才开始 加进3 d 图形功能，基于移动手持设备上的3 d 图形绘制研究也基本都是关于硬 件或者远程绘制相关方向，基于手持设备本地绘制的研究很少。主要原因是移 动手持设备在3 d 绘制方面有着很大的局限性。但在手机、p d a 广泛使用的今 天，在小屏幕的移动设备上显示高质量的图形效果的需求日益迫切。移动设备 图形技术已经成为计算机图形学中一个新的、重要的研究方向，尤其是在移动 平台上展示应用效果的图形绘制技术。本章首先介绍移动设备图形的研究特点， 接着针对图形绘制技术，讨论了移动手持终端图形绘制框架，并分别对远程绘 制和本地绘制两种方法做了介绍，重点对手持终端3 d 图形矢量绘制和面向移 动设备的真实感绘制等技术做了深入分析。 2 2 移动手持终端上图形应用的特点 因为移动设备体积小、配置低、电量不足，所以有线网络和p c 环境中的 三维图形理论和相关技术，在移动设备上不再完全适用。通用的计算机图形算 法如果直接移植到移动设备上可能无法运行，或者虽然能够运行，但运行时间 较长，且电源消耗较多。通常是将现有的方法改进成一个可用于移动设备的简 化版本，虽然只具有较少的特征，但仍然维持了核心功能。所以移动设备图形 研究既承袭p c 图形现有的研究方法和成果，又需要针对移动平台做出适当的 调整和革新的设计。移动设备图形具有以下特点，在研究过程中必须充分考虑 这些因素并设计相应的策略。 ( 1 ) 嵌入式体系结构 设备的体系结构决定了该设备的功能和性能等特征。从嵌入式设备衍生出 来的移动设备具有与p c 不同的体系结构，如图2 1 所示【5 8 1 。移动设备的体系 结构中包括了一个c p u 、一个图形处理器单元( g r a p h i c sp r o c e s s i n gu n i t ，o p u ) 和 一个主存储单元，其中g p u 和c p u 集成在同一个芯片上。 北京t 业大学工学硕士学位论文 ib u s ( 通信) r存储器、1 移动殴备pc 图2 1 移动设备与p c 体系结构比较 f i g 2 - 1a r c h i t e c t u r ec o m p a r i s o nb e t w e e nm o b i l ed e v i c e sa n dp c 手持移动设备体系结构的主要特征如下： a 有限的内存带宽，处理器与存储器之间的数据交换非常耗时和耗电； b 处理器单元一般不包括浮点处理单元( f l o a t i n gp o i n tu n i t ，f p u ) 。 目前，专门针对移动设备的体系结构纷纷出现，其中以a r m 最为典型， 基于a r m 体系结构的移动设备已经占据了绝大部分市场份额。 ( 2 ) 资源受限 手持移动设备的主要资源由硬件( 处理器、显示屏、存储器、电池) 和系统 软件( o s ) 组成。近年来，移动设备的资源配置逐渐得到改善，如c p u 主频和内 存容量的大幅提升，并将数码相机、m p e g - 4 解码器、视频播放器集成到手持 移动设备上以及网络通信质量的提高。但与在有线网络环境中的p c 相比，手 持移动设备图形能力所需的资源仍然相当有限。表2 1 总结了移动设备和p c 在 软件和硬件配置上的主要差别，以及资源限制对移动设备图形技术研究的影响。 表2 1 移动设备资源限制及影响 t a b l e2 - 1t h ei m p a c to fr e s o u r c eo nm o b i l ed e v i c e 资源移动配置 p c 配置影响 通用处理器a r ml o o - 7 0 0n 旺 zi n t e l1 - 3g h z 不能处理太复杂的任务 f p u 一般没有有 计算速度慢，效率低 限制模型的规模和绘制 存储器小，节电很大，耗电 的性能 平均像素视角大，要求 显示器 q v g a ( 3 2 0 x 2 4 0 ) - v g a ( 6 4 0 x 4 8 0 )s v g a ( 10 2 4 x 7 6 8 ) 以上更高绘制精度，交互空 间小 影响绘制的实时性， 图形加速卡 一般没有 n v i d i ag e f o r c e a t ir a d c o m c p u 负担重 电源电池外接直流电源不能长时间工作 网络无线无线或有线带宽低，误码率高 图形标准 o p e n g lo p e n g l d i r e c t x j a v a3 d 标准化过程中，没有硬 件加速 e s d 3 d m j s r18 4 o p e n v g ( 3 ) 多种技术融合 手持移动平台包括设备终端和无线网络环境。移动设备图形技术的研究领 域涉及到多个学科，如计算机图形学、嵌入式