（计算机软件与理论专业论文）虚拟环境下几种三维交互技术的研究.pdf

浙江大学硕士学位论文摘要 摘要 为虚拟现实系统提供一系列丰富、可靠、自然的人机交互手段是虚拟现实与 人机交互领域当前需要解决的问题之一。就此问题，本文研究了适用于虚拟环境 下的几种三维交互技术。 提出了一种基于加速度计的三维手势交互技术，先对加速度计的输入数据进 行建模，之后与预定义的标准手势模型进行匹配，得出最佳匹配结果，最终完成 特定的交互功能。设计了一种基于加速度计、陀螺仪、磁力计的肢体运动捕捉系 统，在此系统之上提出了一种基于动作捕捉的三维交互技术，借助传感器的输出 数据来重建肢体主关节点空间坐标与运动轨迹，进而与虚拟物体进行三维交互。 提出了一种基于压力感应器的三维交互技术，利用压力感应器获得用户重心偏移 向量，以此控制三维虚拟化身的运动。 在此基础之上，本文将基于加速度计手势识别的三维交互技术应用于虚拟数 字奥运博物馆原型系统中，首先建立手势一语义映射表，训练标准手势，最后对输 入手势进行识别，根据识别结果完成交互语义。实验结果表明，利用该算法可有 效快速地识别出用户输入的手势，用户凭借此方法能准确无误地完成交互。除此 之外，本文还将基于压力感应器、语音识别的三维交互技术应用于虚拟驾驶模拟 系统中，实现了用户通过压力感应器进行油门、制动等车辆操作，使用语音命令 来进行系统的一般性控制，同时系统提供了丰富的交互反馈信息。实验结果表明， 用户通过上述两个三维交互子系统均获得了较为理想的交互效果。 关键词：虚拟现实，人机交互，三维交互，加速度计，手势识别，动作捕提 浙江大学硕士学位论文 a b s tr a c t a b st r a c t t op r o v i d eas e t i a lo fr e li a b l ea n dn a t u f a lh u m a n c o m p u t e ri n t e r a c t i o n m e t h o d si so n eo ft h eis s u e st h a ts t i l lh a v et ob er e s o l v e di nt h ea r e a s o fv i r t u a lr e a l i t ya n dh u m a n c o m p u t e ri n t e r a c t i o n o nt h isiss u e ，w e p r e s e n t + g e s t u r er e c o g n i t i o nb a s e d3 d i n t e r a c ti o n t e c h n o l o g y ，m o t i o n c a p t u r eb a s e d3 0i n t e r a c ti o nt e c h n o l o g y ，p r e s s u r es e n s o rb a s e d3 d i n t e r a c ti o nt e c h n o l o g ya n do t h e rk i n d so f3 di n t e r a c ti o nt e c h n o l o gi e s o nt h i s b a s is ，w ea p p l yg e s t u r er e c o g n i t i o nb a s e d3 di n t e r a c t i o n t e c h n o l o g yt o v ir t u a ld i g it a lo l y m p i cm u s e u m ( v d o m ) b yf 0 11 0 w i n gs t e p s ： e s t a b l is h i n gg e s t u r e s e m a n t i cm a p ，t r a i n i n gt h es t a n d a r dg e s t u r e s ，a n d f i n a l l yt h er e c o g n i t i o n i n g e x p e r i m e n t a lr e s u l tss h o wt h a tt h es y s t e mc a n r e c o g n i z ei n p u tg e s t u r e sq u i c k l yw it har e li a b l er e c o g n it i o nr a t e t h e u s e r sa r ea b l et op e r f o r mm o s to ft h et y p i c a li n t e r a c ti o nt a s k si nv i r t u a l e n v ir o n m e n tb yt h isa c c e l e r o m e t e r b a s e dd e v i c e i na d d i t i o n ，w ea 1s oa p p l y p r e s s u r es e n s o rb a s e d3 i ) i n t e r a c ti o nt e c h n o l o g ya n dv o i c er e c o g n iti o n b a s e d3 dt e c h n o l o g yt o v ir t u a ld r i v i n gs i m u l a t i o ns y s t e m u s e r sc a n t h r o t t l eo rb r a k eb yp r e s s i n gw i ib a l a n c eb o a r d a tt h es a m et i m et h es y s t e m a 1 s op r o v i d e sr i c hi n t e r a c t i v ef e e d b a c k e x p e r i m e n t a lr e s u l tss h o wt h a t u s e r sc a ng e tw e i ie x p e r i e n c ef o r mt h e s et w ov i r t u a lr e a i i t ys y s t e m s e y w o r d s ： v i r t u a lr e a tit y ，h u m a n c o m p u t e ri n t e r a c ti o n ，3 di n t e r a c ti o n ， a c c e i e r o m e t e r ，g e s t u r er e c o g n i t i o n ，m o t i o nc a p t u r e 浙江大学硕士学位论文图目录 图目录 图1 1w iit e n n is j 5 图1 2 虚拟网络马拉松6 图1 3e a s y b o w li n g ! 6 图2 1b o s c hs m b3 8 0 加速度计芯片8 图2 2 左至右隐马尔科夫模型1 1 图2 3 传感器组件构成示意图1 4 图2 4 传感器组件实物图1 4 图2 5 传感器绑定位置示意图1 5 图2 6 局部刚体系统示意图1 7 图2 7 交互应用流程图1 9 图2 8 内置压力感应器的w iib a l a n c eb o a r d 20 图3 1 客户端系统结构图23 图3 2 服务器端系统结构图2 4 图3 3 三维交互交互模型体系结构图。2 6 图3 4 交互语义库的建立过程；2 7 图3 5 标准手势图2 8 图3 6h m m 状态数对训练效果的影响2 9 图3 7 三维交互子系统的处理流程3 0 图3 8v d o m 交互系统运行示意图3 1 图4 1 交互子系统结构图! 3 4 图4 2w iib al a n c eb o a r d 交互模块工作流程3 5 图4 3 虚拟驾驶( 无导航图) 3 6 图4 4 虚拟驾驶系统( 含导航图) ：3 7 浙江大学硕士学位论文表目录 表目录 表3 1 手势一语义映射表2 8 表3 2 训练样本数目2 9 表3 3 识别结果一3 0 i v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特另t l d l ：l 以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得迸姿盘堂或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者繇翻铡肄签字吼川眇年乡月7 日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝婆盘堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：剖i 剑辫导师虢净乏左 签字日期：夕7p 年多月7 日 签字日期：2 6 ，c ，年多月7 1 7 t 浙江大学硕士学位论文第1 章绪论 第1 章绪论 得益于计算机图形学在近几十年的迅速发展与计算机硬件计算性能的迅速 提升，目前的虚拟现实系统已经有能力绘制出逼真的虚拟环境，并让用户获得了 身临其境的体验，虚拟现实系统越来越融入人们的日常生活、娱乐 - 3 中，这标志 着虚拟现实已经从理论转变为现实。在努力提高虚拟环境的真实感的同时，也不 能忽视提高用户的交互体验的重要性，因此研究并提出一系列用于虚拟环境下的 自然、可靠、便捷的人机交互方式也成为了虚拟现实、人机交互领域目前需要迫 切解决的问题之一。本文就此问题将对虚拟现实技术及虚拟环境下的几种三维交 互方式做出讨论。 1 1 虚拟现实 虚拟现实( v ir t u a lr e a l i t y ，简称v r ) 是由计算机图形学、人机交互技术、 传感器技术、计算机仿真、人工智能、计算机网络等多个学科交叉综合产生的学 科n 1 。其定义为：将真实世界的虚拟化场景或者纯粹虚构的虚拟场景展现在用户 面前，并提供给用户逼真的三维视觉、听觉，甚至嗅觉、触觉等信息，使用户获 得犹如1 处于真实世界般的体验n 。3 1 。在虚拟现实系统中，作为用户可通过一系列的 交互方式与交互设备，与虚拟世界进行自然地交互，交互的反馈信息也将通过视 觉、听觉、触觉等通道实时传达给用户h 1 。 虚拟现实的特点可用“3 i ”来概括： 一玑* - - t 浸( i m m e r sio n ) 虚拟现实系统的首要目标是提供给用户能使其身临其境的虚拟世界，使用户 能够融入投入到虚拟世界中船1 。 一交互( i n t e r a c t i o n ) 交互是指虚拟现实系统用户与虚拟世界之间为了完成某项任务而进行相互 作用的信息交流过程。 构想( i m a g i n a t i o n ) 浙江大学硕士学位论文 第1 章绪论 虚拟现实系统能够将虚拟世界呈现给用户，同时也支持用户对虚拟世界进行 改造，这一事实使人类的想象力有了很大程度的实现空间3 。 虚拟现实的上述特性决定了其在各个行业中的广泛应用： _ 工业仿真 计算机辅助设计与虚拟现实相结合已经被世界上许多大型制造企业运用在 生产的各个环节中，对提高企业研发效率，降低开发成本起到了重要的作用。 - 医学 随着虚拟现实、虚拟人技术的深入研究与发展，其对医学研究起到了越来越 重要的促进作用 1 。目前已有大量的外科手术、微创手术引入了虚拟现实技术， 手术的安全性与成功率有了很大的提高。 - 教育 虚拟现实系统的构想性决定了其在教育中的突出优势似1 。如浙江大学研制的 “虚拟生物实验室”，能够提供给学生一个虚拟的实验环境，学生能够自由地在 虚拟实验环境中进行各种实验或者观察虚拟生物细胞结构等。 _ 数字娱乐 虚拟现实对电影、游戏娱乐有着巨大的贡献。在电影制作过程中，虚拟现实 技术与人体运动捕捉技术完美结合，使得三维虚拟角色拥有更加真实的动作与面 部表情一1 。在游戏娱乐中，三维游戏已经取代了传统的二维游戏的垄断地位，玩 家在三维的虚拟世界中获得了前所未有的乐趣n 们。 1 2 人机交互 人机交互( h u m a n c o m p u t e ri n t e r a c t i o n ，简称h c i ) 是指为完成某项特定任 务而在用户与计算机系统之间的所产生的信息交流的过程 i i - 1 2 。 从人机交互的发展史来看，其经历了一个从人适应计算机到计算机适应人的 改变历程“钉，其大致发展过程如下： 原始的纯手工操作阶段 任务控制语言阶段 浙江大学硕士学位论文第1 章绪论 - 图形用户界面阶段 - 网络用户界面阶段 - 多通道智能人机交互阶段“卜1 6 1 其中多通道人机交互阶段出现在当今虚拟现实技术发展成熟的时代。在许多 虚拟现实系统中利用人的多种感官通道( 如声音、手势、姿态、面部表情都能做 为交互的输入) ，以并行方式与系统所生成的虚拟世界进行交互。在多通道人机 交互方式中，人机交互所强调的自然性与高效性得到了很大程度的体现。 虽然人机交互经历到多个不同的发展时期，就目前来看以w i m p ，g u i 为基础 的桌面交互虽然仍占统治地位，但其弊端日益显现出来。与此同时以虚拟现实为 基础的多通道人机交互技术也逐渐得到重视。 1 3 三维人机交互 三维人机交互( 3 9h u m a nc o m p u t e ri n t e r a c t i o n ) ，d b o w m a n n 7 1 等人把这个 概念定义为：在三维虚拟空间文境下完成的且以虚拟三维物体做为交互对象的 用户交互行为称为三维人机交互。 三维人机交互接口由如下部分组成： 一输入设备 三维交互输入设备极其广泛，任何虚拟现实系统中所用到的输入设备都可能 成为三维输入设备，例如数据手套“引，三维跟踪器、三维定位器、各类传感器、 以及用于人体运动捕捉的带标记的紧身衣n 如等。 一输出设备 输出设备包括一般的普通输出设备例如显示屏、投影仪、头戴式显示屏、声 音输出设备等，除此也包括一些特殊的输出设备例如三维投影显示设备、c a v e 系 统等。 概括的说，三维人机交互的主要任务有3 点“7 1 ： _ 选取与操控 “选取”是指在交互过程中用户利用各种交互设备可对虚拟环境中的虚拟物 浙江大学硕士学位论文第1 章绪论 体进行选择或取消的行为。 “操控”可理解为用户在选取虚拟物体之后，可对虚 拟物体进行任意的旋转、缩放、移动等操作。 - 视点控制 在虚拟现实系统中，视点也称虚拟眼或摄像机，包含z o o mf a c t o r 和f i e l do f v i e w 等参数。视点控制即用户通过各种交互设备移动视点在三维世界坐标系下的 位置，以此来完成其在虚拟环境中的漫游或导航。 - 系统信息控制 与三维虚拟环境相关性很小的对应用程序的一般控制任务皆可纳入系统信 息控制范畴。 三维交互技术处于人机交互技术与虚拟现实技术的结合点。三维交互较之传 统二维基于w i m p 隐喻式交互方式存在着交互对象的复杂性、交互通道的多维性、 交互类型的多样性的特点。这也是传统二维交互方式无法满足于虚拟现实系统的 原因，因此需要提供一系列丰富、自然、和谐的三维交互手段来满足虚拟环境中 的交互需求。 1 4 虚拟环境下的多通道三维交互技术 多通道交互技术属于人机交互学科的研究内容。传统的交互通道一般是由鼠 标、键盘、显示器组成，而在多通道交互中除常规交互方式外，一般还有手势、 语音、肢体动作等，在此基础之上组成由键盘、鼠标、手势、肢体动作整合而成 的视觉通道与以语音识别，语音输出为主的声音通道。多通道交互的目标即是使 用多种通道，让其拟补各自的不足之处，最终达到满足用户的交互需求。同时多 通道交互在三维交互中也具备其可行性与优势。 三维交互技术的发展很大程度上依赖于两点：一是虚拟现实技术的成熟，以 及周边软硬件支持的完善；二是必须有技术成熟、可靠、便捷的三维交互设备的 支持。 直到上世纪9 0 年代末，上述两点有了实质性的进展。数据手套、各种传感 器、跟踪定位设备，高精度动作捕捉系统使得虚拟现实系统能够准确得获得用户 淅 学硬学位文第1 章绪* 的手势姿态、运动，表情语音等信息：三维显示技术的成熟使用户能够获得 逼真的视觉反馈；成熟的软硬件技术使虚拟现实系统不需要过多的关系虚拟场景 营理、光照处理，模型优化、纹理映射等细节，从而能把更多的计算能力投入到 提供更好的交互应用中。再者虚拟环境下的三维交互形式多样交互对象复杂， 这也决定了其多通道的特性。因此，有足够理由将多通道技术引入三雏交互中 目前已有大量的应用实倒出现在军事、体育、数字娱乐等领域 著名的数字娱乐公司n i n t e n d o 的于2 0 0 6 年推出了w i i 系列游鹿以及配套的 一组游戏控制器“”，其游戏大多属于三维虚拟系统如w i it c n n i s ，该游戏以其丰 富的交互手段与良好的用户沉浸感风靡一时如图11 所示 目1l _ i it i 浙江大学20 0 7 年开发研审j 的“虚拟网络马拉格”系统”，是一就典型的用 于健身与娱乐的虚拟现实系统，如图12 所示，其特点是用户将踏步机做为三维 交互设备，借此来进行三维虚拟环境的漫游以及用户与虚拟人之问的交互用户 通过跑步机来控制虚拟化身在虚拟环境中的运琦速率与方向，借此实现在虚拟环 境中的漫游。这种交互方式使用户能够手足并用全身心地投入到变互当中，充分 具备趣睐性与健身意义 淅江大学2 0 0 2 年开发研制的虚拟现实系统：e a s y b o w l i n g ”，借助三维交互 方式实现了家用保龄球系统。如图1 3 所示 淅 学硬学谙x 第l 章绪论 图12 虚拟网络马拉帖 1 5 本文工作 固13e a s y b 呷i i n g 本文首先舟绍t 虚拟现实技术人机交互的基本概念，并讨论7 三维人机交 互技术及其在虚拟环境下的应用现状之后讨论了一系列应用于虚拟环境下的三 维交互技术及其算法：基于加速度计的手势识别算浩及其在三维交互当中的应 用，基于惯性式传感器的动作捕捉算法及其在三维交互当中的应用，基于语音识 别的三维交互技术以及基于其他类型传感器的三维交互技术最后介绍7 上述三 维交互技术在虚拟现实系统中的两个应用实倒：虚拟驾驶系统、虚拟数字奥运博 物馆原型系统。在本文的最后部分对全文进行了总结，并对下一步的工作进行展 望。 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 第2 章虚拟环境下的三维交互 本文上述部分对虚拟现实、人机交互、三维交互做了详细的介绍。在本章中 将提出基于加速度计的手势交互方式、基于惯性式传感器的动作捕捉算法及其在 三维交互中的应用的。此外还将描述其他类型交互设备如压力感应器在三维交互 中的应用。 2 1 基于加速度计的手势识别算法及其应用 手势交互是人类与生俱来最常用的交互手段之一，这意味利用手势作为交互 方式非常符合自然交互的要求，因此研究基于手势的交互方式十分有意义。本节 主要介绍基于加速度计的手势识别算法，以及其在三维人机交互中的应用。 2 1 1 相关工作 基于加速度计的手势识别技术运用于人机交互已经在许多文献中描述。 j k e l a n 等人提出将手势识别技术作为一种辅助性的交互手段，运用在指定的实 际环境中。并开发出系统s m a r td e si g ns t u d i o 用于支持这一交互方式，其系统 的测试情况表明，对不同用户开发不同手势命令有助于提高系统的识别率。p r o d r i g u e z 乜钉等人设计了一种基于f s m 的手势匹配方法，将手势根据在特定构型 空间中位置的分解成一组状态序列，以这组序列在f s m 中能否达到终点状态来判 断是否可识别。f g h o f m a n n 拉5 1 采用了一种基于手势运动加速度向量的手势识 别方法。在此基础之上，t s c h l o m e r 牡“等人借助w ii m o t e ( 一集成了加速度计的 游戏控制器) 实现了基于离散型h m m 的识别算法。本文借鉴f g h o f m a n n 、t s c h l o m e r 等人的方法提出了基于加速度计的手势交互方式，并将其应用在三维 交互系统中。 2 1 2 基于加速度计的手势识别算法 本文以集成了三轴加速度计的传感器作为手握式三维交互输入设备来获取 人体手部运动时产生的加速度信息。人体每完成一个手势，可获得一串输入信号， 将这组信号称为一个输入模式。 浙大擘学位论支第2 章虚* g 境下的= 雏交i 定义1 模式p = 【o s t 蔓t ，其中v 。为t 时刻获得的三轴加速度数向 量，t 为一个信号流终止时刻 根据日常经验可知，人体在执行相同手势时，手部运动每次产生的模式在某 种程度上满足一定的统计规律标准模武是预先定义好的一粪模式，每个标准模 式对应一个专门的输入语义，当交互处理系统接收到输入语义信息时做出必要的 反馈行为，此过程印达到了基于手势交互的目的基于加速度计的三维交互过程， 即可视为从交互设备获得输入模式，通过模式识别算法得到与其最接近的标准模 式，系统再对糖入的标准模式进行必要的反馈的过程 ( 1 ) 模式建立与预处理 本文所采用的b o s c hs m b 3 8 0 加速度计芯片”1 ”1 ( 如图21 ) 的采样频率和灵 敏度偏高，产生数值特点是近似连续的且噪声与冗余较大。因此在使用数据之前 需进行必要的击噪及量化处理。 图2 lb o s c hs 蛐3 8 0 加速度计芯片 去噪过程即对输入模式p 的每个加速度分量v 做平滑处理平滑函数如下 ，、rt：0 s e 2i s ；_ 。) + 。( k s ( 一，) ) 。c ：s r 公式( ，) 其中平滑因子a 的取值从0 到1 。d 值越大表示平滑的效果越明显 量化处理要求一种能有效减少数据复杂性且编码本( c o d eb o o k ) 固定的方法 量化对象v 为三维空间向量，且对象之间的相关性以欧几里得距高来衡量因此 空间划分聚类算法符合本文要求常用的空阿划分聚类算洼有k - m e a n s 聚粪和 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 k - m e d o i d s 聚类。k - m e d o i d s 聚类算法与k - m e a n s 聚类算法相比，对噪声和异常 数据有较强的鲁棒性雎9 1 ，因此本文选择后者作为聚类算法。 初始聚类中心预设为均匀分布在半径为r 。m ，的且中心在原点的球体表面上 的m 个点。 聚类算法如下： 设定r 。，。，与m 的初始值，计算得到初始聚类中心点集合 m i n i = ( m 1 ，m 2 ，m 0 ； 将所有对象v 分到各个类中( 根据与m e d o i d 最相近的原则) ； 对于每个类( c ；) ，顺序选取其中的一个对象v ，计算用v ，代替m ：后的消 耗一e ( v ，) 。选择e 最小的v ，来代替m i ； 重复 一 步骤，直到m e d o i d 确定。 理想的聚类结果是任意一个对象v 与其所在同一聚类中的其他对象之间的距 离尽可能小，与聚类之外的任意对象之间的距离尽可能大。 根据聚类结果，对数据进行量化量化之前需确定编码本，编码本的大小即 上一步骤得到的聚类数m 编码内容置为与之对应的聚类中心的i d 。量化对象v 。 的量化结果即是v 。所在聚类的聚类i d 综上，输入模式p 的量化结果为p = 觋i 杉p ) 。量化结果有如下特点： 一，数据离散化；二，数据复杂性小，且每个分量的值只可能为从1 到m 之间的 整数。可知，上述平滑和量化两个预处理步骤有效地解决了初始数据的噪声和复 杂度高的问题。 ( 2 ) 模式分类 常用的模式分类方法有支持向量机方法、神经网络方法、隐马尔可夫模型方 法。本文采用离散型一维隐马尔可夫模型方法1 3 0 隐马尔可夫模型( h ) 对于某一随机过程，记其在t 时刻的h 状态为q 。，观测值为o 。 可对h m m 做如下形式化描述： 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 v = s is 2 ，) 为h m m 的状态集合，其中正整数n 为随机过程所可能包含 的内部状态数； m = v l , v 2 ，) 为t t m m 的观测值的集合，其中正整数m 为随机过程所包含 的所有观测值的数目； 彳= i1 i ，z ) 为状态转移矩阵，其中嘞= 尸( 纵。= 一i v , = 薯) ； b = il i n ，l j m 为在此随机过程中的某时刻所得到的观测值的 概率矩阵，其中- - p ( o ，= _ i9 f = ) ； 7 = 乃l1 f 刀) 为初始内部状态的状态概率分布； 综上，一个h 删可记为见= ，必万，a ，b ) 。 ( 3 ) 训练 定义2 “手势”为一个二元组g = p 为一个输入模式经量化 的结果。a t t 为设备的一组附加输入信息，如本文所采用手握式传感器的其他按钮 信息。本文中用一组手势来代表一组特定的交互语义。 对于交互系统中的每一个标准手势，通过人体重复执行这一手势来获得一组 样本t ； 。用这组样本来训练一个i t m m 。 进行训练之前，根据本应用的特殊性，需先确认以下内容： n m m 的初始化：允= ，m ，万，a ，目，初始化状态数n ，设观测值数目m 为2 1 2 中得出的聚类中心数。令蜀= 1 0 ，即初始状态设为s ，。 为简化系统计算复杂性，本文采用从左至右隐马尔可夫模型( 如图2 2 ) ， 其特点是每个状态的后续状态只可能是下一状态或本身。对状态转换概率矩阵a 做如下初始化操作： - 置a s ，= o 5 ，0 f 玎； 一置q 州= 0 5 ，0 i ，； - 置a n n = l ： 浙江大学硕士学位论文 第2 章虚拟环境下的三维交互 _ 矩阵a 其余元素均置为o ； _ 观测值概率矩阵b 的元素置为：一1 ，0 f ”，o 占，旯= ，则重复步骤 ； 若e ( o f 名7 ) 一e ( o i 兄) s ，则视为算法收敛。所得五即为局部最优解。 ( 4 ) 识别 识别过程即获取一个随机输入手势并从标准手势库中找到最优匹配手势的 过程。 识别过程的形式化描述如下： 随机输入手势g ， ，取p 分量作为观测序列0 。 求解吒= a r g m a x 尸( 0l 乃) ，五为经训练的代表每一标准手势的h 删。 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 所得最大值盯。对应的h m m 所代表的标准动作g ，即为观测序列0 随对应 的识别结果。 ( 5 ) 阈值型i 删方法 上述识别算法对任意一个输入手势皆有解。该方法在用户误输入时将产生严 重错误( 系统产生错误的识别结果，且不可挽回) 。考虑采用阈值h m m 方法d ，在 上节步骤 中，考虑当盯。小于某一特定闽值占时，可认为该输入为无效输入， 以此来降低错误风险。 2 1 3 在三维交互中的应用 本节描述如何将上述基于加速度计的手势识别应用于三维交互中。 ( 1 ) 手势一语义映射 在设计交互系统时，首先需要定义好标准手势、交互语义以及其对应关系。 交互语义指对于特定交互行为所触发的执行例程。定义标准手势时要尽可能地从 自然、和谐、便捷的角度出发，提出一套完整易用的标准手势以供用户学习与使 用。 ( 2 ) 训练标准手势 训练样本可从同一用户采集，也可从多个用户采集。在获得训练样本的时候， 应注意对于复杂的手势，需适当的增加样本数目，以此来提高最终的识别率。 2 1 4 开发交互子系统 在定义好交互语义库、标准手势集合、标准手势一交互语义映射表，采集标 准手势训练样本集，训练标准手势对应的马尔可夫模型集合后，即可进行交互子 系统的开发。 详细的开发流程将在第三章的第三、第四节中做出详细介绍。 2 2 基于惯性式传感器的运动捕捉及其应用 2 1 节中介绍的基于加速度计的手势识别算法及其在三维交互中的应用，其 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 优点为：一是对硬件要求低，只需要一加速度芯片即可；二是得益于手势交互的 先天优势，此种类型交互自然、便捷、适用于各种场合；三是基于加速度的算法 成熟、简单、实现难度不大，因此具有较高的应用价值。但也存在这一些劣势， 由于加速度计所采集的数据相对较为单一，因此要求交互的手势必须比较简单， 从而对于相对复杂的肢体动作，仅依靠基于加速度计的方法很难得到理想的识别 效果。 基于上述状况，本文对基于加速度计、陀螺仪、磁力计以及g p s 的动作捕捉 算法，以及其在三维交互中的应用进行了研究。 2 2 1 相关工作 目前许多商业机构与研究机构在机械式或者惯性式人体动作捕捉算法方面 有了一定的研究成果。j f 0 b r i e n ”2 1 等人提出了一种基于磁力计的人体动作 捕捉方法，其核心是基于偏转焦的关节参数估计方法。m i t 的d v l a si c b 3 1 等人 设计了一种集成有加速度计、陀螺仪、磁力计、超声波脉冲、麦克风的微型传感 器，在此基础之上设计了动作捕捉算法以及误差校准算法，其最大的优势是该套 设备可以在户外使用。荷兰的x s e n s 公司钔推出了基于微型惯性测量传感器( 加 速度计，陀螺仪) 以及辅助技术( g p s g n s s ，磁场传感器) 的动作捕捉产品：m v n 。 此外，美国的m e t am o t i o n 公司5 1 也推出过机械式的动作捕捉产品如g y p s y6 m o ti o nc a p t u r es y st e m 。 2 2 2 基于惯性式传感器的运动捕捉算法 本文使用多个依附于人体的传感器组件，该传感器组件用于采集人体各肢体 躯干的运动数据，数据包括三维加速度、三维角速度、三维磁偏角、人体根节点 空间坐标等信息，并最终藉此数据来重建肢体各关节的位姿矩阵。 ( 1 ) 传感器组件配置 本文方案所采用的传感器配置如下： 一加速度计：用于测量物体三维加速度，单位为g ( 9 8m 2 s ) ； * 4 太 硬学位论x第2 $ 虚# * 境f 日二镕麦 陀螺议”6 1 ：也称角速度计，用于测量物体三维加速度，单位为r a d s - 磁力计”测量物体的三雏碰偏角，单位为t a d ； = 6 p s ”：测量物体三维空间坐标。 使用上进配置，传感嚣组件构成如图23 所示。 2 ) 采集方案 圈24 传巷器组件实物田 根据不同的应用需求可对用户进行全局肢体动作数据呆集，也可进行局部的 动作数据采集，本文以局部动作采集为例介绍动作捕捉算法 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 在进行运动捕捉之前，需如图2 5 所示先将传感器组件绑定于每个主要关节 点之间的躯干之上，并测量传感器到其所在躯干的两个端点的距离。 ( 3 ) 关节参数估计算法 关节参数估计算法是本文运动捕捉的核心，可将关节参数估计算法分解为求 解坐标变换矩阵、基于正向运动学解算两个子问题。本节先对第一个子问题作出 说明。 o 倍感器 图2 5 传感器绑定位置示意图 _ 坐标变换矩阵 若以坐标系i 为基准坐标系，依次绕坐标系i 的x 轴、y 轴、z 轴旋转角 度由、0 、巾，得到新的坐标系j 。本子问题即求解从原坐标系i 到新坐标系 j 的旋转矩阵。 经计算可得，从i 到j 的旋转矩阵如下： r ，0 ，少) = 一s q 勺+ c q s o s o s u , s + 勺s o c 妒i c q 白+ s q , s o s 。6 一c q s + s 缈s o c 妒l c o s oc o j 公式( 2 2 ) 记勺= c o s 沙，s 缈= s i nv 跏砌跆 - 一 。l 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 且经计算可得如下性质： 尺，9 ，) r = 尺，0 ，) 公式( 2 3 ) 考虑在三维空间中，若坐标系i 除三维旋转之外同时存在空间中的位移 p g 。，y 。，z 。) ，则变换矩阵可表示为： 丁7 _ _ ，= r 苫沙： 公式。：4 ， 在此基础之上，解决第二个子f q 题： 基于正向运动学解算 如图2 5 所示，可将每个肢体视为一刚体，人体肢体可视为由m 个刚体组成 的系统。 定义t ”，为从刚体i 所在的空间坐标系到刚体j 所在的空间坐标系的坐标 转换矩阵，其中f ，i o ，所】。 由公式2 4 可得： 丁7 _ - ，= r 了了7 公式。：， 其中r h 7 为刚体i 所在坐标系到j 所在坐标系的3 3 旋转矩阵，t ”为从 刚体i 坐标系到刚体j 坐标系的偏移向量。 设x ，为刚体i 所在坐标系下的任意点，根据公式2 5 ，其在刚体j 所在坐标 系下的对应点为： x ，一r 一t + f 叫 公式( 2 6 ) 同时有 r 。_ 一亿一，_ ) - 1 f f = 伍叫) 1 ( - f 叫) 公式( 2 7 ) 公式( 2 8 ) 如图2 6 所示，刚体i 、j 连接于关节点i ，关节点i 在坐标系i 与坐标系j 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 下的位移分别表示为c i 与1 ；。 引入函数p ( o ，尸( f ) 为刚体i 的父节点，其中尸g ) ，f 【o ，聊】。可得： x p = r _ 尸nx i q ) + x p ( ) = r 一尸( n x i r h 尸( 7 ) q + l 公式( 2 1 0 ) f一 图2 6 局部刚体系统示意图 结合公式2 6 、2 10 ，可得： r _ 尸x + f _ + 尸7 = r 一p x f r 。一户c f + t f7 哼p 7 = 一r7 寸p 7 c ，+ t 记w 为世界坐标系，现根据公式2 ：6 计算世界坐标系下关节点j 的坐标 可得： r 1 - - w c f + f 咖= j ” r 尸7 一w t + f 尸7 斗”= ，” r 。一w c f + f _ w = r p 斗”t + f p 。+ w ”卜。”吣 = 一枷) 做如下简化： 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 记陋，_ w ) ( _ 尺尸哼w ) 】为q ，一以， z 为“，+ d t - p ( o = g ，斗w f 尸c ，寸w ，) 可得： q 斗，n 2 f = d p 7 公式( 2 i i ) 据公式2 1 1 ，可求得各个关节点相对于根节点的空间转换矩阵即相对位移矩 _ g - ，则各关节点在三维空间中的坐标将被确定，刚体系统各关节的位姿矩阵也随 之确定。 2 2 3 在三维交互中的应用 本节描述2 2 2 节描述的基于惯性式传感器的动作捕捉系统在三维交互中的 应用。 依据上述的动作捕捉设备与姿态估计算法动作捕捉系统能够实时计算出用 户肢体的空间坐标、还原肢体的运动轨迹，运动捕捉系统的结果一般是一组连续 帧序列州( 常见的格式如b v h 等) ，每一帧都包含某一时刻人体各关节所在的空 间坐标等数据。这类数据在虚拟环境下的交互当中显得十分重要，在此基础之上 虚拟现实系统中的绘制模块可通过在相邻帧之间插值的方法实时生成用户肢体 的动画。基于以上特点，动作捕捉系统非常适用于控制三维虚拟环境下的虚拟化 身来进行交互的场合。 在具体应用中( 如图2 7 所示) ，由动作捕捉系统实时用户肢体运动采集数据， 经动作捕捉系统的解算与校准，生成人体动作信息并提交给虚拟现实系统中的绘 制子系统。绘制子系统实时地绘制虚拟化身的动画信息，并进行虚拟化身与三维 虚拟环境中的对象之间的碰撞检测。虚拟现实系统中的交互子系统实时监听虚拟 化身的动作，当捕获到用户特定的姿势时立即触发其对应的交互语义，引发交互 功能的执行，执行结束后交互子系统需将交互的结果通过各种渠道反馈给系统以 及用户。 在此类基于动作捕捉的三维交互系统中，用户能够获得极大的操作自由度， 任意的姿态、动作都可以定义为交互命令。与现有的交互方式相比，基于动作捕 1r 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 捉的三维交互方式更加接近自然、和谐的交互目标。将此类三维交互系统引入到 虚拟现实系统中，能极大地提高虚拟现实系统的交互质量以及系统的沉浸感： 、一， 佶感器组件 日一二 绘制子系统 ：! i ! 叵 i i j i ! i 匦 | 、o 上1 fn 磊藏函两n i r l 1 j 交互子系统 l i 交互语义分析 l i ；= = = = = = = ； i i 交互执行与反馈l 1 l1 _ j 图2 7 交互应用流程图 2 3 基于压力传感器的三维交互技术 除了上文2 1 、2 2 节介绍的基于手势识别、动作捕捉的三维交互方式之外， 本节介绍基于压力传感器类型传感设备的交互方式。 本文将数字娱乐公司n i n t e n d o 推出的压力感应设备们：w iib a l a n c e b o a r d h l ( 见图2 8 ) 应用于三维交互中。w iib a n l a n c eb o a r d 目的是用于近似测 量人体的质心相对于面板中心的二维方向向量。w i ib a l a n c eb o a r d 的面板由四 个大小相同的子面板组成，整个面板集成有四个压力感应器，分别分布于四个 子面板的下方，用于测量子面板所承受的压力。四个压力感应器的输出分别表 示人体质心在四个子面板方向向量上的权重，二者相乘能获得四个方向向量，经 叠加后得到一最终的向量，此向量可用于近似表示人体质心相对于面板中心的方 向向量h 引。下文将详细介绍基于压力感应器的近似重心偏移判定方法。 学学位论支第2 毒虚# * 蟪下时二簟麦i w i ib a l a n c eb o a r d 的设计简洁，计算简单，能够迅速得到人体瞬时的整体 运动的近似方向将此设备应用到三维交互系统中是一个十分理想的选择。 23 1 近似重心偏移判定方法 记四组压力感应器的输出分别为：r ，b ，b ，只；其代表的方向向量分别为 r 0 ，k ，k ，k 其中r o = 0 ，l l k = 0 广l l = ( _ l , - l i v , = ( _ l ，1 ) 。 记人体重心偏移度为实效d ，偏移向量为单位向量v 桫r ：扣一卜半。m oj - 0 “ 2 32 三维交互中的应用 由上节可知，此类交互设备的输出信息为一方向向量以及在此方向向量上的 偏秽度，类似于操纵杆一粪的交互设备 此种交互技术与传统操纵轩交互相比优点为： - 趣味性，在整个交互过程中要求用户整个身体都投入到交互中： - 直观性，尤其在控制虚拟化身的场合，此种变互手段能检剥用户的重心移动倾 向，以此来控制虚拟化身更加符合自然交互的原则 - 简易性，交互设备所产生的信息只包含一向量，能移迅速被系统处理，无需进 行如手势交互动作姿态交互般大量的计算 浙江大学硕士学位论文第2 章虚拟环境下的三维交互 基于以上的优点，本文将此种交互类型运用到一虚拟现实系统实例中，其具 体设计与实现将在第四章描述。 2 4 本章小结 本章提出的基于加速度传感器的手势识别算法，在经过对原始数据的去噪与 量化操作之后，数据复杂度得到很大程度的降低，每个加速度分量只需用4 b it 来描述，无论存储还是处理都十分迅速，适合使用离散型一维隐马尔可夫模型来 对其建模、训练、以及识别。其后介绍的基于惯性式传感器( 包括加速度计、陀 螺仪等) 的动作捕捉算法其核心是基于磁偏角的关节参数估计算法，但该算法的 结果很大程度上依赖于磁力计的输出结果，因此无法得到高精确度的保证，本文 将加速度计及陀螺仪引入动作捕捉系统，并借此两类传感器的输出数据来对其校 准。除上述二类三维交互技术之外，本章的最后部分还提出了基于压力感应器的 三维交互技术，其输出数据简洁、精确度高，系统能够迅速处理得到人体的重心 偏移向量，因此此交互技术十分适合