（计算机软件与理论专业论文）基于opengl和机构学的手语合成.pdf

恭于o p e n g l 和机构学的t 语合成 摘要 在近些年来，手势的应用己经成为人机交互 ( h c i )的重要组成部分。手势 在所有人类的对话中扮演了一个自 然而直观的交流手段。 让计算机能从视觉方面 识别手势对未来的人机界面发展有着重要的作用。它的研究涉及到很多研究领 域，如模式识别、图形图像处理、 心理和感知科学、计算机笔迹学、 机器人运动 学和物理学等。 手势语的研究能被广泛应用在众多领域中，比如: 计算机手语教 学、电视双语广播、虚拟人的研究、聋哑人与正常人的交流、v r的控制和机器 人的研究等。 在聋哑人社区里， 手势语看来是交流的重要手段。 尽管在许多国家， 直到目前为止， 它仍然受到来自 各个方面的限制和压抑， 但它依旧保持旺盛的生 命力。 我们的手语合成计划是基于 这样一个事实， 就是聋哑人在阅读的时候遇到 很多困难， 从而导致其所受的教育明显不足。 如能合成出手语， 无疑会给他们带 来极大的兴趣和帮助。 从手势合成到虚拟动画的研究是专为聋哑人量身定做的人 机界面之重要基础。 在这篇论文中，我们的重点是在求手指的运动学和逆运动学的解上，首先， 我们提出了 三关节平面手指的机构学模型以及运动学合成分析的解析办法。 这是 通过连续而有规律地解一组能描述所有三关节的平面或空间机构的数学模型的 方程得以 完成的， 关节的固定长度在解这些方程时带给我们很多的便利， 与同时 求 解 这 些 线 性 和 非 线 性 方 程 箱 关 联 的 一 些 问 题 从 而 得 以 避 免 。 本 文 引 用 了 机 器 人 学中的机构学里的d e n a v i t - h a r t e n b e r g 矩阵方法来合成手指语，结果自 然、 可 信。 并推导出一个简化手指的运动学和逆运动学方程， 用类似的方法还可以解决 更为复杂的通用手指运动学和逆运动学方程。 根据所得方程我们可以 较好地实现 手指语的合成， 实际上， 这种方法可以同样地应用于四、 五和六关节的机构学模 型中， 只要我们考虑到肩、 肘、 腕等关节，我们可以得到通用的七关节，适用于 4 2 种类型的空间数学模型。 手指模型方程解的编程实现是通过o p e n g l 技术实现的。 o p e n g l 是在开发便 携式、交互的2 d 和3 d 图像应用程序中最主要的环境之一。自 从1 9 9 2 年被引进 以 来，在各种计算机应用平台上， 在支持2 d 和3 d 图像应用编程方面。 p e n g l 都 得到了 最广泛的应用。本文的重点就是用o p e n g l 如何绕一 个可变坐标轴或原心 平移或旋转。 问题的核心是如何绕一个不断变化的向量旋转。 本课题得到上海市 自 然科学基金 ( 0 2 z d 1 4 0 5 3 )的资助。 关键词:手指语，逆运动学，运动学，合成，机构学 基于o p e n o l 和 机构学的手语合 成 a b s t r a c t t h e u s e o f h a n d g e s t u r e s h a s b e c o m e a n im p o r t a n t p a r t o f h u m a n c o m p u t e r in t e r a c t io n ( h c i ) in r e c e n t y e a r s . h a n d g e s t u r e s p la y a n a t u r a l a n d in t u it iv e c o m m u n ic a t io n m o d e f o r a l l h u m a n d ia lo g s .t h e a b ilit y f o r c o m p u t e r t o v is u a l ly r e c o g n iz e h a n d g e s t u r e s is e s s e n t ia l f o r f u t u r e h u m a n c o m p u t e r in t e r a c t io n . it i n v o lv e s s e v e r a l f ie ld s s u c h a s p a tt e r n r e c o g n it io n , i m a g e p r o c e s s , p s y c h o lo g y a n d c o g n it iv e s c ie n c e , c o m p u t e r g r a p h o lo g y , r o b o t m o t io n a n d p h y s i c s . t h e r e s e a r c h o f g e s t u r e - l a n g u a g e c a n b e a p p l ie d in m a n y f ie ld s s u c h a s c o m p u t e r a c c e s s g e s t u r e - l a n g u a g e t e a c h i n g ，丁 v b ilin g u a l b r o a d c a s t in g , t h e s e a r c h o f v irt u a l h u m a n ,t h e c o m m u n ic a t io n b e t w e e n t h e d e a f a n d t h e n o r m a l, t h e c o n t r o l o f v r ,t h e s t u d y o f r o b o t . s ig n la n g u a g e a p p e a r s t o b e t h e m a i n m e a n s o f c o m m u n ic a t io n w it h i n t h e d e a f c o m m u n it y . l n s p it e o f a r e p r e s s io n c y c le it h a s s u ff e r e d f r o m in s e v e r a l c o u n t r ie s u n t il r e c e n t p a s t ,it r e m a in s a liv in g ia n g u a g e .o u r p r o j e c t o f s y n t h e s iz in g s ig n la n g u a g e is b a s e d o n t h e e s t a b lis h e d f a c t s t h a t h a lf o f d e a f p e o p le e n c o u n t e r d iff ic u lt ie s i n r e a d i n g a n d ,a s a r e s u lt ,s u ff e r f r o m s u b e d u c a t io n .b e in g a b le t o s y n t h e s iz e t h e ir m o t h e r t o n g u e w o u ld u n d o u b t e d ly b e o f m a j o r in t e r e s t f o r t h o s e p e r s o n s . f r o m s ig n f e a t u r e s e d it io n t o v irt u a l a n i m a t i o n , h e r e a r e la i d t h e f o u n d a t io n s o f a n e w i n t e rf a c e i n t e n d e d f o r d e a f p e o p l e i n t h is p a p e r , s t r e s s is la id o n t h e s o lu t io n o f h a n d k in e m a t ic a n d r e v e a s e k in e m a t ic . i n t h e f ir s t p la c e , w e p u t f o r w a r d t h e 3 - l i n k p l a n e m e c h a n is m m o d e l o f t h e f i n g e r a n d d e c o m p o s it io n m e t h o d f o r k in e m a t ic s y n t h e s is a n d a n a ly s is is in t r o d u c e d .t h is is a c c o m p li s h e d b y s o lv in g s e t s o f e q u a t io n s w h ic h c a n b e u s e d t o d e s c r ib e ma t h e m a t ic a l m o d e l s o f a ll 3 - l in k p la n e o r s p a t ia l m e c h a n is m s , s e q u e n t ia lly a n d in a n o r g a n iz e d w a y . f ix e d le n g t h o f j o i n t b r i n g u s m u c h c o n v e n ie n t i n f in d in g t h e s o l u t io n o f t h e s e e q u a t io n s . p r o b le m s a s s o c i a t e d wi t h t h e s i mu lt a n e o u s s o l u t i o n s o f a mu lt i t u d e o f l i n e a r a n d n o n lin e a r e q u a t io n s a r e t h u s a v o id e d . t h e p a p e r in t r o d u c e s d e n a v it - h a rt e n b e r g m a t r ix in r o b o t ic s t o s y n t h e s iz e t h e f in g e r l a n g u a g e , a n d a ls o d e t r u d e s a k in e m a t ic a n d r e v e r s e k in e m a t ic f u n c t io n t o s im p l if y t h e f in g e r 基十o p e n g l 和机构学的手语合成 m o v e m e n t p r o c e s s . e x p e r im e n t r e s u lt s s h o w t h a t it is r e l ia b le a n d e ff e c t iv e . t h e m e t h o d i s a ls o a p p lic a b le t o a d d r e s s t h e m o r e c o m p le x a k i n e m a t ic a n d r e v e r s e k i n e m a t ic f u n c t io n o f f i n g e r m o v e m e n t , w h ic h c a n e ff e c t iv e ly s y n t h e s iz e t h e f in g e r la n g u a g e . b r ie f ly ,t h e d e c o m p o s it io n m e t h o d w h ic h h a s a lr e a d y b e e n a p p lie d t o t h e a n a ly s is a n d s y n t h e s is o f 4 , 5 a n d 6 - lin k m e c h a n is m s e s s e n t ia l c r e a t e s a g e n e r a l m a t h e m a t ic a l m o d e l f o r a ll t h e 4 2 t y p e s o f 7 - li n k s p a t ia l m e c h a n is m if w e c o n s id e r w r is t ,e l b o w a n d s h o u ld e r . t h e c o m p u t e r p r o g r a m f o r t h e s o lu t io n s r e a liz e d b y o p e n g l t e c h n o lo g y . o p e n g l is t h e p r e m ie r e n v ir o n m e n t f o r d e v e lo p in g p o rt a b le , i n t e r a c t iv e 2 d a n d 3 d g r a p h ic s a p p lic a t io n s . s in c e it s i n t r o d u c t io n i n 1 9 9 2 , o p e n g l h a s b e c o m e t h e in d u s t ry s m o s t w id e ly u s e d a n d s u p p o rt e d 2 d a n d 3 d g r a p h ic s a p p lic a t io n p r o g r a m m in g i n t e rf a c e ( a p i ) , b r in g in g t h o u s a n d s o f a p p lic a t io n s t o a w id e v a r ie t y o f c o m p u t e r p la t f o r ms .t h e f o c a l p o i n t o f t h is p a p e r in u s in g op e n gl i s h o w t o mo v e o r r o t a t e a r o u n d a f le x i b l e a x i s . g ir o t a t e f ( a n g le ,x v e c t o r ,y v e c t o r ,z v e c t o r ) is r e s p o n s ib le f o r r o t a t in g t h e o b j e c t a r o u n d a n a x i s . t h e c r u x o f t h e m a tt e r is c o n t in u o u s a x is - c h a n g in g . t a o z h a n g ( p a tt e r n r e c o g n it io n ) d i r e c t e d b y : l in g q u a n wa n g k e y wo r d s : f in g e r la n g u a g e , r e v e r s e k in e m a t ic , k i n e ma t ic m e c h a n is m i i i 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。 论文 中 除了 特别 加以 标 注 和 致 谢的 地 方外， 不包 含 其 他人 或 其他 机 构已 经发 表或 撰 写 过的 研究成果。 其他同 志 对 本研究的 启发和 所做的 贡献均已 在论文中 作 了明确的声明并表示了谢意。 作 者 签 名 : 丝 v 6 _ 日 期 : 乞 户 口 从 、 v il 论文使用授权声明 本人同意上海海运学院有关保留、使用学位论文的规定，即:学校有权 保留 送交论文复印件， 允许论文被查阅和借阅: 学校可以 上网公布论文的全 部或部分内 容， 可以 采用影印、 缩印或者其它复制手段保存论文。 保密的论 文在解密后遵守此规定。 作者签名:导师签名:日 期:v 0 - 4c g . - o 基十o p e n g l 和机构学的手语合成 第一章手语识别与合成的研究与进展 ， 。 ， 研究背景 随着自 然、 合谐的人机交互的需要， 手势识别和虚拟人中的相关研究变得越 来越重要。 中国手语分为两类: 一类是手指语， 另一类是手势语。 手的运动非常 灵活， 两只手共有3 0 个关节5 0 个自由 度， 每个关节可以在一定范围内连续变化， 生成无穷无尽的手势，这给我们的手语研究带来了 很大的困难 ， 3 。 随着计算机在现代社会中的影响的迅速扩大， 高性能、 高智能和高可用性被 普遍认为是当前计算科学发展的主要方向， 尤其是在计算技术、 通讯技术及显示 技术迅猛发展的今天， 传统的基于鼠 标和键盘的人机交互技术越来越显示出它们 的局限性， 这种局限性在新的显示技术， 如虚拟现实、 穿戴计算机中变得越来越 明显， 所以研究多模式人机接口技术在现实生活中变得越来越重要。 多模式人机 接口技术研究目 标是要解决计算设备的高智能性和高可用性问题的核心技术， 建 立和谐自 然的人机交互环境， 使得用户可以方便、自 然地使用人类所熟知的方式 使用计算机， 这其中的重要环节就是要使得计算机能够准确无误的感知包括自 然 语言 、 手势语台 、 面部语台 在内不同人类表达方式。 手语识别作为多模式人机接 口 技术的重要组成部分，它的研究涉及心理学、生理学、人工智能、模式识别、 计算机视觉、 图 像分析与处理等多 个学科领域【 u更是模式识别、 人工智能和计 算机视觉学科的典型案例之一。 手语是聋哑人使用的语言， 它是由手形动作辅之以 表情姿势而构成的表达系 统，是一种靠动作和视觉进行交际的特殊语言。 人类交互往往声情并茂， 除了采用自 然语言( 口 语、 书面语言) 外， 人体语 言( 表情、 体势、 手势) 也是人类交互的基本方式之一。 与人类交互相比， 人机 交互就呆板得多， 因而研究人体语言 理解， 即人体语言 的感知， 及人体语言与自 然语言的信息融合对于提高计算机的人类语言 理解水平和加强人机接口的可实 用性极有意义的。 手语是人体语台 的一个非常重要的组成部分， 它是包含信息量 最多的一种人体语言， 它与语言 及书面语等自 然语言的表达能力相同， 因而人机 交互方面， 手语完全可以作为一种手段， 而且具有很强的视觉效果， 它生动、 形 象、直观。 基于o p e n g l 和机构学的于 语合 成 手语的研究不仅有助于改善和提高聋哑人的生活学习和工作条件， 为他们提 供更好的服务。 同时也可以应用于计算机辅助哑语教学、 电视节目双语播放、 虚 拟人的研究、电影制作中的 特技处理、 动画的制作、 医疗研究、 游戏娱乐等诸多 方面。另外，手语的研究涉及到数学、 计算机图形学、 机器人运动学、 医学等多 学科。因此，手语的研究是一个非常有意义的课题。 手语研究的应用领域表现在以下几个方面: 1 )能够使得聋人， 尤其是使得文化程度比较低的聋人， 人交流; 2 )从认知科学的角度， 研究人的 视觉语一言 理解的 机制， 类语言理解水平; 3 ) 利用手势控制v r 中的智能体: 4 ) 机器人的示范学习: 5 ) 虚拟现实系统中的多模式接口等。 使用手语和正常 提高计算机的人 手语识别研究不但具有重要的学术价值，同时其有广泛的应用前景。 1 . 2手语的识别 从手语输入设备来看， 手语识别系统主要分为基于数据手套的识别和基于视 觉 ( 图像) 的手语识别系统。基于数据手套的手语识别系统， 是利用数据手套和 位置跟踪测量手势在空间运动的轨迹和时序信息。 这种方法的优点是系统的识别 率高。 缺点是打手语的人要穿戴复杂的数据手套和位置跟踪器， 并且输入设备比 较昂贵。 利用数据手套等典型传感设备的方法， 台湾大学的l i a n g 等人利用单个 v p l 数据手套作为手语输入设备， 可识别台湾手语课本中的2 5 0 个基本词条，识 a 率 为9 0 . 5 % 0 ; c m u 的c h r i s t o p h e r l e e 和x 。 在1 9 9 5 年完 成了 一个 操纵 机 器 人的手势控制系统 ; k a d o u s 用p o w e r g l o v e s 作为手语输入设备，识别有9 5 个孤立词构成的词汇集， 正确率为8 0 % 。 基于视觉的手势识别是利用摄像机采 集手势信息， 并进行识别。 该方法的 优点是输入设备比较便宜， 但识别率比 较低， 实时性较差， 特别是很难用于大词汇量的手语录的识别。 在基于视觉的方法方面， 具有代表性的研究成果包括: 1 9 9 1 年富士通实验室完成了 对4 6 个手语符号的识 别工作。 d a v i s 和s h a h 将戴上指ib j 具 有高亮标记的视觉手套的手势作为系 统的 输入， 可识别7 种手势 1 ; s t a r n e r 等 在对美国 手 语中 带有词性的4 0 个词 汇随 机组成短句子识别率达到9 9 . 2 % 0 ; g r o b e l 和a s s a m 从视频录像中提取特征， 采 用h m m 技 术 识 别2 6 2 个 孤 立 词 ， 正 确 率 为9 1 . w 。 此 外， v o g l e r 与m e t a x a s 基十o p e n g l 和机构学的手 语合成 将两种方法结合用于美国手语识别， 交互采用一个位置跟踪器及三个互相垂直的 摄 像 机 作为 手 势 输入 设 备， 完 成了5 3 个 孤 立词 的 识别， 识 别 率为8 9 . 9 % 2 11 . 从识别技术来看，以往手语识别系统主要采用基于人工神经网络 ( a n n )及 基于隐m a r k o v 模型 h m m ) 等方法。 神经网络方法具有分类特性及抗干扰性， 然 而由于其处理时间序列的能力不强， 目前广泛用于静态手势的识别。 著名的f e l s 的 g l o v e t a l k系统采用 神经网 络方 法作为识别技术。 对于分析区间内的手语信 号， 通常采取h m m 方法进行模型化。 一般拓扑结构下的h m m 具有非常强的描述手 语信号的时空变化能力， 在动态手势识别领域一 直占有主导地址， 如卡内基 梅 隆大学的美国手语识别系统及台 湾大学的台湾手语识别系统等均采用 h m m作为 系 统的识别技术12 :11 。另外， g r o b e l 与a s s *利用h m m 识别由 戴有色手套的用户 通 过 摄 像 机 输入 的2 6 2 个 孤立 手 语 词 ，正 确率 为9 1 . 3 % 12 o 在我国， 哈尔滨工业大学的吴江琴、 高文等给出了a n n 与h m m 的混合方法作 为手语的训练识别方法， 以增加识别方法的分类特性和减少模型的估计参数的个 数。 将a n n - h m m 混合方法应用于有1 8 个传感器的c y b e r g l o v e 型号数据手套的中 国手语识别系统中，孤立词识别率为9 0 % ，简单语句级识别率为9 2 % 。接下来高 文等又选取c y b e r g l o v e 型号数据手套作为手语输入设备，并采用了d g m m ( d y n a m i c g a u s s i a n m i x t u r e m o d e l ) 作为 系 统 的 识别 技术， 即 利 用一 个随 时 间 变化的具有m 个分量的混合g a u s s i a n n 一 元混合密度来模型化手语信号，可识别 中国手语字典中2 7 4 个词条，识别率为9 8 . 2 % 。与基于h m m的识别系统比较，这 种模型的识别精度与h m m 模型的识别精度相当， 其训练和识别速度比h m m 的训练 与识别速度有明显的改善。 他们为了进一步提高识别速度， 识别模块中选取了多 层识别器， 可识别中国手语字典中的2 7 4 个词条， 识别率为9 7 . 4 % 。与基于单个 d g m m 的识别系统比较， 这种模型的识别精度与单个d g m m 模型的识别精度基本相 同， 但其识别速度比 单个d g m m 的识别速度有明显的提高。 2 0 0 0 年在国际上他们 首次实现了5 0 0 0 词以上的连续中国手语识别系统。另外，清华大学祝远新、徐 光等给出了一种基于视觉的动态孤立手势识别技术， 借助于图像运动的变阶参数 模型和鲁棒回归分析， 提出一种基于运动分割的图像运动估计方法。 基于图 像运 动参数， 构造了两种表现变化模型分别作为手势的表现特征， 利用最大最小优化 算法来创建手势参考模板，并利用基于模板的分类技术进行识别。对 1 2 种手势 的识别率超过9 0 % 。 在进一步 研究中， 他们又 给出了 有关连续动态手势的识别， 融合手势运动信息和皮肤颜色信息， 进行复杂背景下的手势分割: 通过结合手势 的时序信息、 运动表现及形状表现， 提出动态手势的时空表现模型。 并提出 基于 基于o p e n g l 和机构学的手语合成 颜色、 运行以 及形状等多模式信息的分层融合策略抽取时空表观模型的参数。 最 后， 提出动态时空规整算法用于手势识别， 对1 2 种手势， 平均识别率高达9 7 % . 尽管已经实现了一些手语识别系统， 但中国手语识别仍然面临许多挑战性课 题， 如手势不变特征的提取、 手势之间的过渡模型、 手语识别的最小识别、 基于 自 动分割识别基元、 词汇量可扩展的识别方法、 手语识别的辅助信息、 非特定人 的手语识别问题、混合手指语和手势语的手语识别以及中国手势语语法等。 1 . 3手语的合成 手语的合成是使聋哑人理解正常语言表达的最有效手段， 在手语合成中 涉及 以下几个方面的问题: 文本输入部分、 文本切分部分、 文本的分析与手语码转换、 手语库的建立与基于手语词的手语合成和手语的显示。 文本输入部分的功能是编辑输入汉语句子。 文本的切分将句子分成词， 标点 符号单独成词。 系统的分词过程首先采用最大匹配法切分。 然后利用第一步分词 结果通过查找词条的歧义标志位调用词规则， 进而进行歧义校正， 文本分析与手 语码转换是手语合成的重要部分。 虽然中国手语是参考汉语制定的， 但是两种语 言的差别主要体现在四个方面: 语言 表达形态、 基本词汇、 句子结构和构词方法。 在语言 表达形态上:汉语是靠语音/ 听觉交际的有声语台 。中国手语是一种靠动 作/ 视觉交际的可视化语言 。在基本词汇上:汉语的词汇大约有近五万多个字组 成，总的词汇量可达十万多个，中国手语的词汇仅由3 3 3 0 个手势语组成，中国 手语的手势词语与汉语的词语不完全存在一一对应的关系。在句子的语法结构 上: 手语句子与汉语句子的词序有所不同， 此外还省略了日常语言的某些词如量 词。 因此从汉语转换到中国手语， 主要解决的基本词汇上的差别， 同时考虑部分 词汇的差别。 手语词库记录了每个手语词的手语运动信息。 是手语合成的重要基 础， 建立手语词库不仅工作量大， 而且其质量也直接影响合成手语的结果。目 前 建立手语词库的方法有两种: 运动跟踪方法和手工编辑方法， 也有人综合使用这 两种方式。 运动跟踪的方法是对腕关节及各手指关节的运动由数据手套获取， 肩 关节与肘关节的运动由位置跟踪传感器获取， 而手工的方法是通过手工实验来获 取手势的参数。手语是一种可视语言，合成的手语只有显示出来，观察者才能 “ 读”取手语的信息与意义。 一个手语运动是一个人体手势的序列， 按照预定的 时间间隔连续显示一个手语运动中的每一个手势，即可以生成对应的手语运动。 基于o p e n g l 和书 l 构学的手 语合成 1 . 4手语的网络通讯 当今，网络通讯已经成为一种重要的通讯手段。 研究哑语通讯， 使聋哑人更 好地融入网络社会， 感受科技的进步， 更好地为他们服务并且方便了他们的生活。 而手语作为一种动作语言， 从广义上讲， 它的应用不仅仅局限于聋哑人之间， 聋 哑人与非聋哑人之间， 以及异语种间正常人的交流都可能应用到动作语言。 从这 个意义上， 研究哑语的表达与通讯，具有更加广泛的社会意义和实际应用前景。 1 . 5手的运动约束 人手的组成是一个非常复杂的结构。手是由骨头， 连接骨头的韧带，作为拉 力动力服务的肌肉， 运动时连接肌肉与骨头的腔， 以 及覆盖着保护的软组织和皮 肤。 骨头通过关节连接起来并且不能改变大小， 肌肉产生扭矩和关节通过拉力运 动都存在一块或更多的肌肉群为其服务， 因此， 手的运动极其复杂的。由于真实 手的生理 特点， 手的 运动受到一些限制和约束。 分析手的运动约束， 就可以 更好 研究虚拟三维人手的运动， 这样一来就可以在有关手的动画片中避免一 些不真实 的动作，使其更加拟人化。 手的运动约束主要体现在关节的运动的约束上， 有以下四种情况: ( i ) 关节 角度限制和运动类型的约束， 第二到第五手指的第三关节的运动仅能弯、 伸直或 一方向运动，并且第一和第二关节也仅能在同一方向上弯曲/ 伸直，因此，第二 到第五手指的四个手指在同一平面。 ( 2 ) 指骨之间的关节弯曲的约束， 对人的手 指运动来说， 在没有外力作用下， 不可能存在第一关节弯曲 而第二关节不弯曲的 情况。 经研究发现.第一关节弯曲的角度大约是第二关节弯曲角度的2 / 3 0 ( 3 ) 掌骨与 手之间的弯曲 的约束，当 第三个关节弯曲时大约角度是9 0 0， 而对于第 二个手指却少于9 0 0，第三到第五个手指弯曲的角度超过9 0 0。这是因为独立 的一个手指的弯曲要受到指状组合型韧带的限制， 这样一个手指的弯曲可能导致 其它附近的手指的弯曲， 同时一个手指的伸展也要受到其手指弯曲的阻止， 因此， 第三关节弯曲的 角度依赖于相邻的手指的弯曲或伸展。 ( 4 ) 掌骨与手之间的关节 并拢与分开的约束，自 然伸开手掌时， 并拢与分开可自由进行， 而握成一个拳头 时， 随着手指弯曲的角度增加分开与并扰的角度减少， 第三个手指作用限制并拢 与分开。 此外手的 运动约束还包括腕关节、 肘关节以及肩关节等 i g . 1 7 . :,fi 手语研究的内 容多， 范围 广. 发展很快， 是一个很有前景的 研究方向。 当 然， 手语 研究较为复杂， 而且涉及到多学科多领域， 许多问 题还有待于进一步的探索。 基于o p e n g l 和机构学的手语合成 第二章 计算机动画常用技术 2 . 1计算机动画的概述 计算机动画所涉及的技术范围非常广泛，在三维计算机图形学所采用的方 法中， 也有许多作品同时采用了原来的二维计算机图形学技术。 像迪斯尼动画片 这类用计算机作为辅助设计的手段进行开发的作品就非常多。 这里， 就计算机动画技术进行概述的同时， 介绍实际影像制作中所采用的具 有代表性的方法。 并对三维计算机图形学中所特有的变形方法， 以及人物等复杂 的三维形状的变形方法中， 正成为研究热点的机器人1程技术方面应用和手语合 成的主要方法进行介绍。 动画这个术语来源于英语中的 a n i m a t e ，即有生机，有活力的意思。手家 治虫的 “ 铁臂阿童木” 、迪斯尼的 “ 唐老鸭”等，在世界各地都成为孩子们所喜 欢的形象，与现实生活有着密不可分的关系。 计算机动画的制作技术分为两个方面，一 种是将传统的动画的制作过程用计 算机来辅助完成， 这样既可以 缩短制作周期，又可以节省经费， 这类系统称为辅 助系统;另一种是利用计算机图形学方法，直接从数值型数据生成动画的系统， 称之为合成型系统。这两类系统并行发展，并且相互影响。 如果将计算机动画的制作方法进行分类的话，可以按照所表示的对象不同， 分为特性动画， 以及表示火焰、 海浪等的动画， 但是要对其进行准确的分类， 则 是非常困难的。这里，主要对辅助型系统以及合成型系统的基本方法进行说明。 2 .2辅助型系统 2 . 2 . 1 关键帧方法12 8 1 关键帧方法是为了提高手工绘制单元动画的制作效率而研究出的方法。 对一 个人的关键动作， 在称为关键帧的画面上， 将动作的主要变化点进行描绘， 在参 考这个画面的同时，按照不失真的原则确定两个相邻关键帧之间插入的中间帧 ( i n b e t w e e n i n g ) 的帧数， 将多 个辅助动作绘制在这些中间 帧画面上。 这种操作并 行地，反复地进行的制作方法，称为关键帧方法。 计算机动画的制作中， 关键帧方法可以在两种含义下使用:其中之一是， 可 纂十o p e n g l 和机构学的手 语台成 以作为场景随时间变化的表示方法来使用， 这时， 该方法的设计思想是只将特征 场景指定为关键帧。 另一种含义下的使用方法是， 将基于动力学方法所生成的动 作， 或者是基于行动模型所生成的鸟群运动等， 与随时间变化的场景变化相吻合， 自 动生成动画片的方法。 从其狭义的含义上理解， 关键帧方法是指由两个相邻的 关键帧，通过线性内插值方法，自 动生成中间帧图形的内插值方法，称这种 方 法 为i n b e t w e e n i n g 方 法，“ 。 图形内插方式的关键帧法如图2 -1 所示， 将用线条图形描述的关键帧图形， 根据图形的复杂性， 用多边形来近似。 确定两个相邻关键帧的对应顶点、用式( 2 -1 ) 给出的线性内插值公式， 可以求出中间帧图形的顶点坐标， 将顶点连接， 就 可以获得中间帧的图像。 p= ( p ,. 一 p . ) * j 1 m + p , ( 2 -1 ) 式中，尸 ， 为初始关键帧的顶点， 尸 。 ， 为终止关键帧的顶点， p .， 为第i 帧( 中间帧) 的顶点，m 为中间帧的帧数。 当图形比较复杂时， 顶点的个数就会增加，由此， 确定关键帧间的顶点之间 终止关键顿 中间帧 初始关键帧 图2 -1基于 关键帧法的图形变形 对应关系的操作也就变得复杂。 此外， 由于图形旋转所导致的变形， 也容易 产生不自 然的变形。 2 . 2 . 2 动点约束法2 9 动点约束法是一种确定用关键帧法生成的中间帧图形的更加精细的动画制 作方法，该方法可以同时确定对应点的变化轨迹及其变化时间。利用这种方法， 可以减少对应点的确定，也可以自由地设定中间帧图形的形状及其变化的速度。 摧于o p e n g l 和机构学的手 语合成 2 . 2 . 3 骨骼法(:w 7 所谓的骨骼法， 是将复杂的图形简单化， 定义形成变形基准的骨骼， 根据骨 骼之间对应的位置关系来确定图形的变化。 用关键帧法求出骨骼的变化， 根据骨 骼的变化，获得图形的变化。 用这种方法， 需要确定图形与骨骼. 但是因为只需要确定相互间顶点的对应 关系， 所以可减少其计算量， 并且可以比较容易地实现人物或者动物的较为剧烈 的运动。 2 . 2 . 4 变形方法【j 11 变形方法常用来描述从物体a 向物体b 转换时， 形状与颜色同时变化的视频。 “ 变形” ( m o r p h i n g ) 术语是从m e t a m o r p h o s i s 派生出 来的， 变形方法原意是指使 物体变形的方法， 在这里， 是指将预先存储的视频作为素材进行处理的方法。 所 得到的结果视频与用m e t a m o r p h o s i s 处理得到的结果相似， 但在处理技术上则存 在非常明显的差异。 将物体a 和物体b 在表示平面上进行匹配， 使之一致， 将各自 所在的平面在 这个平面上进行局部缩放， 使视频中的物体形状发生改变的同时。 将变形后的两 个视频信号渐隐或擦除， 从而实现从物体a 到物体b 的影像切换。 这时的匹配方 法，比 较多的是利用自由曲 面。 在实际操作时，多数的情况是， 物体a 和物体b 都是利用动画来进行描述的，在指定每帧中的变形程度和影像切换状况的同时， 以 动画形式实现平滑的变换。 实际应用中， 多是采用这种具有庞大工作量的操作 方式。 2 . 3 合成型系统 人造结构 物体的形状变化比 较简单， 只要采用适当的函数进行描述， 就可以 实现。 但是包括草木在内的自 然现象的变化则非常复杂， 要进行统一的描述是非 常 由 难 的 ， 所以 只 能 针 对 不 同 的 对 象 采 用 不 同 的 算 法 。 2 . 3 . 1 函数法 表示摄像机的移动或者是物体运动的基本方法之一， 就是利用基于数学表达 式、 数据列表、 程序等函数的方法来实现。 除可以简单表示的直线运动、 旋转运动之外， 用样条函数近似任意曲线的方 基于o p e n g l 和机构学的手语合成 法也被广泛使用。 为了可以自由 地控制运动速度， 求出曲 线的长度，以及距曲线 上的点一定距离的位置是非常重要的，可以用二次b 一样条函数获得解析解。 2 . 3 . 2自由形状的变形( f f d : f r e e f o r m d e f o r m a t i o n ) s e d e r b e r g 等人提出了自由形状的变形方法，对三维物体进行平滑的变形。 如图2 -3 所示，这种方法的设计思想是，将需要变形的三维物体用一个平行六 边形围起来， 之后对这个平行六边形的各个边，以适当的间隔进行分割， 移动各 个分 割点，将被这些分割点所包围的空间进行变形， 其内 部的物体也随之变形。 图2 -3白由形状的变形 该方法可以将二 维图像在自由曲面上进行匹配的方法扩展到三维。 采用二维 的匹配方法， 将二维平面上的纹理图像用自由曲面的参数平面替代， 即可对应三 维空间中曲面上的点。将这种设计思想扩展到三维，用参数( s , t , u ) 表示的三维 自由形状的体素中的点x ，设控制点为p r k ，则点x 可由下式求: x( s , t , u ) e e e b i, i ( s ) b j , . ( t ) b k , . ( u ) 即 b , ( u ) = x,( 1 一 u ) - u ( 2 -2 ) 变形前的三维体素( s , t , u ) ， 可以影射到由 控制点岛; 生成的自由形状的体素 v 上。 移动控制点称 ，原来的平行六边形就变形成图2 -3 所示的六边形。 这种 方法可以作为立体建模方法， 在多面体及自由曲面的描述中使用。 在定义多面体 模型的时候，变形前的顶点的位置坐标设为( s , t , u ) ，变形后相同顶点的坐标可 由式( 2 -2 ) 计算得出。 基于f f d 的变形特征是， 将图 形的整体变形， 看起来好像是由橡皮气球所做 的立体物的变形。 2 . 3 . 3 多关节结构体的 变形 一般在动画中出 现的有动作的物体， 除了人物、 动物之外， 还有对其他非生 基十o p e n g l 和机构学的手语合irk 命物体的拟人化表现。 在操作这些运动、 动作时， 大多数的情况是， 将物体的形 状用骨骼方法进行描述， 之后对该骨骼多关节结构体进行变形处理。 这样， 变形 处理的问题就变成指定各关节角的变化， 以及关节位置移动的操作。 用多关节结 构建模的装置或物体的变形及运动， 在机器人领域中有比较广泛的研究， 作为运 动学或动力学的分析也不断深入， 并且应用在动画片的制作中。 其实， 本文就是 这一方法的加深而已。 ( 1 ) 关节角的关键帧方法在二维动画的制作技术中所介绍的关键帧方法， 适用于各个关节部分的旋转角。 根据两个关键帧中各个关节角度， 可以 通过线性 内插方法，获得中间帧中物体的形状。由此便可以比较容易地再现突然的动作。 但是， 对于手、 脚的运动轨迹，则会出现不太自 然的情况。 这是因为，在步行时 需要考虑地板与脚的关系， 手作业时需要考虑手与桌子之间的关系， 而对比 进行 合理的控制是非常困难的。 ( 2 ) 动作函数为了对人体频繁使用的基本动作用函数来建模，首先从实景 中的实际动作所拍摄的录像中， 检侧出关节或头部位置的移动量， 之后可以采用 如下所示的一般式来计算。 二 一 (。 一 卜 一 ;n b (t二 ) “ ( 2 -3 ) ， 二 一 ! r, 2 (!一 ) “ ， ( 2 -4 ) 式中，t 为时刻，a , a , b , b , c , c , d , d 为动作参数。 此外， 在求不依赖于体型的 动作目 标物的动作函数时， 可用正弦曲 线或直线 来近似各个关节的变化 城 。 ( 3 ) 运动学 因为采用运动学可以 确定具有链接结构的物体的关节，以 及端 点 位置与关节旋转角之间的关系， 所以 该问 题在工业用机器人的设计以 及运动分 析领域中研究。 将运动学引手指语的合成中， 可以通过对关节或端点位置的操作， 实现姿势、 动作的确定“ :川 。 只要确定了 端点的位置， 就可以自 动生成与之相关的多个关节 的旋转角，适用于人机对话型处理的实现。 前向运动学( f o r w a r d k i n e m a t i c s ) 。己 知关节角，求各关节或端点位置的 问题称为前向运动学。首先，在全局坐标系中，设链接结构中的点o . 为坐标原 点。如图2 -4 所示，设置各个坐标轴的方向， 在各链接结构的端点处定义局部 坐标系。臂的端点定义为