（计算机软件与理论专业论文）三维交互技术的研究与应用.pdf

三维交互技术的研究与应用 摘要 首先分析了现在流行的三维交互设备及其使_ f 情况。并对图形学原理的基本内容，包括三维几 何变换、坐标变换和二维观察进行了研究。在此基础上进一步分析了对象操纵技术和漫游技术，并 针对这两种技术在实际的应用，提出了设计准则，同时给出了基于二维桌面输入设备虚拟实体的拾 取算法。讨论了碰撞检测技术，并给出了轴向包围盒a a b b 的碰撞检测算法。 本文以燃气热水锅炉虚拟培训演练交互系统作为实现原犁。原型系统的分析设计部分详细分析 了本系统应采用的开发环境、系统数据库、场景漫游技术、对象操纵技术，并设计了交互系统的三 维引擎。在系统实现部分描述了场景模型及场景模型的加载，实现了数据库的引入，采用了路径漫 游、桌面环境下的相机控制、基于目标等漫游技术，开发了o p e n g v s 环境中用函数控制的漫游程序。 实现了虚拟手，音效、动画嵌入、图形菜单多种交互方式。特别针对采用透明纹理贴图的小场景与 大场景融合时产生蓝边问题，提出了解决办法；对于一个场景的多项任务操作，采用了二维图形菜 单的交互方式。 给出了以三维w i d g e t s 为核心的三维交互框架的设计，并应用到系统中，实现了3 dw i d g e t s 的 交互。应用这个交互框架可以提高三维交互环境中实体操作定位的精确度，并可以实现虚拟环境中 对同一物体多项操作的选择。 关键词：交互技术；虚拟培训；热水锅炉；3 dw i d g e t s ：实体操纵 t h r e e d i m e n s i o n a li n t e r a c t i v e t e c h n o l o g yr e s e a r c ha n da p p l i c a t i o n a b s t r a c t f i r s t , p o p u l a r3 di n t e r a c t i v ee q u i p m e n t sa n di t su s a g eh a v eb e e na n a l y z e d t h eb a s i so fc o m p u t e r g r a p h i c sp r i n c i p l ei ss t u d i e d , i ti n c l u d e s3 dg e o m e t r yt r a n s f o r m ，c o o r d i n a t et r a n s f o r ma n d3 do b s e r v a t i o n o nt h i sb a s i s ，o b j e c tm a n i p u l a t i o na n dn a v i g a t i o na r ea n a l y z e d d e s i g np h i l o s o p h yi sb r o u g h to u ti na c t u a l a p p l i c a t i o nf o rt h e m s i m u l t a n e o u s l yp i c ka l g o r i t h mi sg i v e nb a s e do nt w o - d i m e n s i o n a ld e s ki n p u td e v i c e f o rv i r t u a le n t i t y c o l l i s i o nd e t e c t i n gi sd i s c u s s e d ，a n dc o l l i s i o nd e t e c t i n ga l g o r i t h mo fa x i a ld i r e c t i o n s u r r o u n d i n gb o xo f m t b bi sg i v e no u t i nt h i st e x t ，t h ep r o j e c to f g a sh o tw a t e rb o i l e r sv i r t u a lt r a i n i n gs y s t e mi sm a d eap r o t o t y p e t h ep a r t o f p r o t o t y p es y s t e ma n a l y s i sa n dd e s i g nh a sa n a l y s e dt h ee x p l o i t a t i o ne n v i r o n m e n t ，d a t a b a s eo f t h es y s t e m ， n a v i g a t i o na n dm a n i p u l a t i o n a n dh a v ed e s i g n e di n t e r a c t i v es y s t e m3 de n g i n e t h ep a r to fp r o t o t y p e s y s t e mr e a l i z i t i o nh a sd e s c r i p t e dt h em o d e la n di t sl e a d i n gt os y s t e m d a t a b a s ei sl e a d e d n a v i g a t i o no f r o a d , c a m e r ac o n t r o l l i n go ne n v i r o n m e n to fd e s k ，n a v i g a t i o nb a s e do nt a r g e ta r eu s e d t h en a v i g a t i o no f p r o c e d u r ec o n t r o l l i n gu n d e ro p e n g v si sd e v e l o p e d t h ei u t e r a e t i v em o d eo fv i r t u a lh a n d ，a c o u s t i ce f f e c t , a n i m a t e di m p l a n t a t i o n , g r a p h i c sm e n ua r er e a l i z e d aw a yh a sf o u n df o rr e s o l v i n gt h ep r o b l e mo fh a v i n g p r o d u c e dt h eb l u ee d g e ，d u r i n gm a l lc i r c u m s t a n c e sw i t ht r a n s p a r e n tv e i nm e r g i n gt ob i gc i r c u m s t a n c e s p u r s u i n g ；h em i s s i o nh a n d l e sm a n y t oac i r c u m s t a n c e s ，i n t e r a c t i v em o d eo f l w o - d i m e n s i o n a la r t w o r km e n u i sa d o p tt oh a n d l em a n yt a s ko f as c e n e t h ei n t e r a c t i v ef r a m e w o r ki nc o r eo f3 dw i d g e t si sd e s i g n e d ，a n dr e a l i z e di nt h es y s t e m t h e p r e c i s i o no fe n t i t yh a n d l e si si m p r o v e da n dc a nr e a l i z et h ec h o i c et h a tm a n yh a n d l et ot h es a m eo b j e c ti n i n t e r a c t i v ee n v i r o n m e n to nu s i n gt h ef l a m e w o r ko f 3 dw i d g e t s k e yw o r d s ：i n t e r a c t i v et e c h n o l o g y ；v i r t u a lt r a i n i n g ；h o tw a t e rb o i l e r ；3 dw i d g e t s ；e n t i t y m a n i p u l a t i o n j i i 学位论文独创性声明 本人所呈交的学位论文是我在指导教师的指导下进行的研究工作及取得的研究成 果据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经发表或撰写 过的研究成果对本文的研究做出重要贡献的个人和集体，均已在文中作了明确说明并 表示谢意 作者签名：本! ! 学位论文使用授权声明 日期：o 种；，) 本人完全了解大庆石油学院有关保留，使用学位论文的规定，学校有权保留学位论 文并向国家主管部门或其指定机构送交论文的电子版和纸质版有权将学位论文用于非 赢利目的的少量复制并允许论文进入学校图书馆被查阅有权将学位论文的内容编入有 关数据库进行检索有权将学位论文的标题和摘要汇编出版保密的学位论文在解密后 适用本规定 学位论文作者签名：p p g 日期：宫们，孑7 导师签名：乒巧乏 日期：铆砷；k 创新点摘要 1 去除蓝边的丈小场景的融合。在o p e n g v s 环境下可以实现火焰、雾气、烟等动画，由于这些 动画是透明纹理贴图的快速变换产生的，会伴有蓝色边框显示，系统采用程序控制，实现了去除蓝 边的小场景与大场景的融合。 2 在虚拟场景中使用菜单选项执行操作任务。可以将菜单栏嵌入到虚拟环境中，菜单选项与任 务一一对应，执行起来直观、精确，并且比较方便，既可以节省一部分内存，义可以提高执行速度。 3 设计了以三维w i d g e t s 为核心的二维交互框架，并戍用到系统中，实现了3 dw i d g e t s 的交 互。应用这个交互框架可以提高三维交互环境中实体操作定位的精确度，并可以实现虚拟环境中对 同一物体多项操作的选择。 i v 大庆石油学院颂1 研究生学位论文 引言 人机交互( h u m a n c o m p u t e ri n t e r a c t i o n ，缩写为h c i ) 是近十年蓬勃兴起的一门新 型交叉学科。它以计算机科学、心理学、艺术设计作为三大根基，强调重视对计算机系 统和其开发过程中人的行为因素的研究，力求找到优化的方法，来保证设计出来的计算 机系统可以和其用户和谐共处，达成一个成功的体验感。 随着计算机的高速发展，人机界面也发生了重大的改变，从最初的以面板开关和纸 带输入为特点的交互设备发展到今天的图形用户界面，同时人机界面已经发生了翻天覆 地的变化，其地位也越来越重要。随着计算机的普及化，普通用户开始接触使用计算机： 另一方面计算机软硬件的发展也促使它成为了人们工作、学习和生活的重要工具。正是 在这个过程当中，人机交互的重要性开始凸现出来，并且向着三维交互领域发展1 1 2 。欧 美发达国家投入了大量的人力和物力推动这种人机交互新技术，我国也在近几年内开始 这项技术的研究。三维交互方式与真实世界密切相关，三维环境中的交互使得我们在大 量的应用中有直观感觉，因为这些领域的任务特性与三维环境的特性相匹配。虚拟环境 可以提供用户一种临场的感觉，这使得游戏、仿真和训练等应用变得更有意义。如果用 户沉浸在其中，并能够通过自然的技能进行交互，那么就可以利用用户在真实世界中已 经获得的大量知识，不需要特别的培训或学习。也就是说，在用户的动作和系统对动作 结果的反馈之间的“感知距离”更短。 实现三维交互并不容易。新的三维交互技术不断出现，但多数仍在实验室阶段，而 且伴随着这些新技术的应用，新的问题也产生了。人们常常会发现理解三维空间以及在 自由空间中执行动作具有固有的困难p j 。尽管我们生活在三维的世界中，真实地物理世 界中包含有很多帮助理解的线索、约束以及动作的提示，但是他们在计算机仿真中还无 法精确的表现。三维交互设备发展迅速，但因为其造价较高，使用不方便，维护相对困 难，并不能被广泛使用。因此在设计三维应用交互技术时，需要投入大量的精力。 本系统的实现原形是虚拟培训技术在石油工业中的应用的一部分，燃气热水锅炉的 培训交互系统。传统的培训系统中的培训过程可描述为：设计者将整个教学过程按顺序 执行下来，如果需要，可以重复执行，学习者不参与教学过程中的操作，只是看着演示 的过程。这个过程存在两点不足：其一，缺少人机交互的过程；其二，缺乏沉浸感。而 本系统追求交互过程，尽量让接受培训的人员参与到培训过程中，在演示的基础上，加 了演练部分，使用者在学习的基础上，可以虚拟的进行实习演练。因此交互技术就非常 重要，采用人们熟悉的和比较直观的交互方式，使用户不需要额外的培训即可以使用， 并能应用一部分自己的知识来参与其中。 本文即研究三维交互技术及其在系统中的实现，特别是就本技术在桌面系统中的应 用进行了重点的研究。桌面三维交互技术是采用传统桌面设备，如鼠标、键盘等来控制 引言 虚拟对象的位置和方向，不需要昂贵的6 自由度设备，并广泛应用在办公室或家庭环境 中。 2 丈庆年 油学院硕l 研究生学位论文 第1 章三维人机交互技术研究 人和计算机之问的交互一直是计算机研究领域的重要问题。自从屏幕显示和键盘成 为人和计算机的主要沟通方式后，人机交互成为每一个应用软件的重要组成部分。虚拟 现实技术为创建人机和谐环境提供了有利的技术手段，三维人机交互即指用协调、自然 的方式在虚拟环境中漫游，同时可以实时得到立体视觉效果反馈，并可以对虚拟场景中 的实体进行适当操作。本章简述三维人机交互技术的概念和分类，研究了一些热门的三 维交互设备，并在三维几何变换、坐标变换和三维观察的虚拟三维实体操纵图形学原理 基础上，进一步分析了三维物体选择和操纵技术、漫游技术、碰撞检测技术，为下一章 三维交互培训系统的原型设计奠定了理论基础。 1 1 三维人机交互概述 1 1 1 三维人机交互概念 三维人机交互技术不同于传统的、二维的窗1 3 、图符、菜单、光标( w i m p ) 形式的 图形交互技术，三维交互就是为了克服传统交互的二维的限制而发展起来的，其目的是 在人、机之间构造一种自然直观的三维交互环境1 4 1 。首先，三维交互技术采用六自由度 输入设备。所谓六自由度，指沿三维空间x 、y 、z 轴平移和绕x 、l ，、z 轴旋转，而 现在流行的用于桌面图形界面的交互设备，如鼠标、轨迹球、触摸屏等只有两个自由度 ( 沿平面x 、l ，轴平移) 。由于自由度的增加，使三维交互的复杂性大大提高。其次， 窗口、菜单、图符和传统的二维光标在三维交互环境中会破坏空间感，同时，也使交互 过程非常不自然，有必要研究新的交互方式。早期的三维交互环境大多采用传统的 w i m p 界面，这主要是由于w i m p 界面的实现比真正的三维用户界面要容易得多。9 0 年代以后，随着三维交互图形学和虚拟现实技术研究的深入，三维人机交互技术日益得 到重视。 虽然鼠标、键盘、窗1 3 、菜单和图标等这些传统的w i m p 界面的标准元素仍在流行， 但非传统的设备和界面组件也在快速增多，为了达到三维效果和立体沉浸感，并构造三 维用户界面( 3 d u i ) ，人们先后发明了立体眼镜、头盔式显示器( h m d ) 、双目全方位监视 器( b o o m ) 、墙式显示屏的自动声像虚拟环( c a v e ) 等。它们已广泛用于不同需求、不同 平台的虚拟现实系统中1 5 】。如在大型机械装置的装配仿真应用中，就需要提供自然、高 效的仿真用户界面和三维交互环境f 6 l 。 三维交互是用户任务直接在三维空间环境中执行的人机交互。显然三维图形的交互 第1 章三维人机交互技术研究 系统不一定意味着三维交互，例如在桌面计算机环境下，用户通过传统的菜单来改变视 点，从而实现漫游一个建筑模型的过程并没有发生三维交互，另一方面，三维交互也并 不意味着必须使用三维输入设备，例如在同样的应用中，如果用户通过点击一个目标对 象来实现漫游，这时二维鼠标输入转换为一个三维位置，三维人机交互就实现了。 1 1 2 三维人机交互分类 三维交互技术是使用交互设备来执行特定的交互任务的方式。用户可以使用同一种 交互设备，采用不同的交互技术来执行同一种交互任务。比如在w i m p 环境中，用户可 以通过菜单选择的方式执行一个命令，也可以通过点击按钮和图标的方式执行，亦可以 用键盘直接键入相应的命令。一种交互技术可以是一些有共同特征的交互任务的抽象表 现形式，如鼠标点击技术可以进行命令的执行，也可以进行对象的选择等其它操作。交 互技术的研究致力于研究人机交互过程中的一些具有共性的、可以应用到不同的环境下 的交互方式。交互技术研究的目的是能为人机交互增加新的，高带宽的交流方式。 交互技术的研究总体上可以分为以下几类1 7 , g l ： 1 基本任务的交互技术：基本任务指的是漫游技术、对象操纵技术、系统控制任 务。对象操纵技术是三维用户界面的基础，它往往是交互技术的基本组件，如在系统控 制技术中必须用到选择技术选择三维物体，而在基于离散点的漫游技术中，也需要连续 地选择多个点组成相机运动轨迹。系统控制主要用于完成改变系统参数、操作模式等。 2 混合交互技术：混合交互技术是相对于基本交互技术而言的，它们一般由基本 交互技术组合而成，它是设计交互技术的主要方法。 3 多通道交互技术：由于人本身具有多通道感知的特点，而虚拟环境的出发点就 是给用户提供逼真的感官体验，因此虚拟环境是研究多通道交互技术的理想环境。手势、 姿态、语音甚至表情都可以作为输入通道，力觉、触觉、嗅觉、听觉甚至味觉和嗅觉也 可以作为输出通道。多通道交互技术研究的关键问题是通道融合和用户意图的提取。 4 双手交互技术：双手交互以其在行为学和认知心理学上的一些优点而逐渐受到 人们的重视。这种交互方式不但能自然地提高输入带宽和工作效率，而且能把用户在现 实生活中的操作技能自然地映射到人机对话中，大大降低用户的认知负担。虚拟制造是 其典型的应用。目前对于双手交互方式的研究主要集中在三个方面：双手交互的理论研 究，包括双手操作的行为学原理、心理学基础和双手交互在人机交互中的应用特征：双 手交互的试验评估，即验证理论研究成果，指导交互技术的设计；双手交互技术的研究， 包括适合双手交互的设备和交互系统设计。 5 三维w i d g e t s ：三维w i d g e t s 是从二维图形界面中引申过来的一个概念，类似于 w i m p 下的b u t t o n 和i c o n ，主要目的是为了辅助用户使用低自由度设备完成复杂交互任 务，一个成功的应用是s o l 公司的o p e n l n v e n t o r ，用户使用鼠标间接地操纵w i d 譬e t s 就 可以对物体进行任意的变换。三维w i d g e t s 经常用于实体的数据访问，如缩放、旋转、 4 丈庆石油学院硕l 研究生学位论文 拉伸等。由于一个w i d g e t s 的自由度有限，因此也被称为受约束的操纵技术。过多地使 用w i d g e t s 会占据屏幕空间，同时要求用户记忆每个w i d g e t s 的映射关系，因此它常用 在桌面环境下的三维交互中。 6 基于二维设备的交互技术：基于二维设备的三维交互技术来源于c a d 领域，目 前主流的c a d 软件都提供了鼠标直接进行二维变换、选取和变换视点的功能。由于二 维设备自由度的限制，三维用户界面中的六自由度往往被映射为连续的鼠标操作序列， 这显然会降低用户的操作效率和交互自然性。指点选择是二维设备最适合的交互技术， 由当前视点和鼠标位置形成的矢量进行相交测试来判断哪个物体被选中。笔式三维交互 也是典型的此类交互技术，由于笔有可以自由勾画的优点，被广泛用于手势交互和草图 建模，此外，勾画路径的漫游技术也是将笔用于三维用户界面中的通用做法。这种技术 往往会配合约束、感知等软件。 1 2 三维交互设备 目前，三维交互设备还处于探索阶段，还没有一种输入装胃能像二维图形界面中的 鼠标那样处于主流地位，但三维交互设备发展非常迅速。现有的被广泛应用的三维交互 设备主要有以下几类【3 7 ，9 】： 一、立体显示设备 虚拟现实中常用的显示设备有：头盔式显示器、头盔单目镜、可移动式显示器等。 而根据其应用不同又可分为沉浸式与半沉浸式显示器。使用半沉浸式的显示器时，用户 可以同时看到现实世界和计算机所产生的图像；而使用沉浸式显示器时，用户只能够看 到计算机生成的图像。 1 立体眼镜是一副特殊的眼镜，用户戴在眼睛上能从显示器上看到立体的图像。 立体眼镜的镜片由液晶快门组成，通电后能实现高速的左右切换，使用户左右眼看到的 图像不同，从而产生立体感觉。 2 。显示器能显示左眼和右眼两种不同的图像。当显示器显示左眼图像时，系统控 制立体眼镜，把左眼的液晶快门打开，让用户的左眼看到左眼的图像。同样，当显示器 显示右眼的图像时，系统把立体眼镜右边的快门打开，用户的右眼看到右眼的图像。当 切换频率达到5 0 h z 时，用户便能由显示器看到连续的图像，而且左右眼分别看到各自 的图像。 二、3 d 位置跟踪器 虚拟现实系统需要输入参与者发出的数据，使得用户可以控制一个虚拟环境。因此， 虚拟环境系统应该能实时地检测出用户人头的位置和指向，能够准确地获得人手的位置 和指向以及每个手指的位置与角度等数据，以便将这些数据反馈给显示和控制系统。 从本质上来分有两类输入传感器，分别用在交互设备和位置跟踪设备中。交互设备 允许参与者在虚拟环境中活动时去选择和移动物体，它包括数据手套，三维鼠标和数据 第l 章三维人机交互技术研究 衣等；位置跟踪器可以感测到参与者的物理位置和方向，并把他们转换成虚拟环境界中 的相应图像。相关的设备有：传感手套、3 d 鼠标、数据衣、三维位嚣传感器、电磁跟 踪系统、以及超声波3 d 传感器等。 三、触觉和力觉反馈装置 在虚拟现实系统中，能否让用户产生“沉浸”效果的关键因素之一是用户能否用手 或身体的其它部分去操作虚拟物体，并在操作的同时能够感觉到虚拟物体的反作用力。 没有力反馈作用的系统至少有两个缺点：首先是缺乏真实感，其次是给视觉计算带来麻 烦，因为为了避免手握进杯子或人穿过墙壁这样不现实的图像出现，不得不在视觉计算 中加上某些物理约束条件。为了提供真实的感觉，必须提供触觉反馈，以便使用户感觉 到仿佛真的摸到了物体。但是由于人的触觉是如此的敏感，一般性精度的装置根本无法 满足要求。同时又要考虑到模拟力的真实性，它旅加到人手上是否安全，以及装置是否 便于携带并让用户感到舒适等问题。现实已经有一些关于力学反馈手套、力学反馈操纵 杆、力学反馈笔、力学反馈表面等装置的研究。在这方面的研究主要集中在新型材料微 型传感器开发设计、新型装置的设计和触觉界面的问题和算法设计。 四、3 d 声音生成器 在虚拟现实系统中，为了加强用户对视觉通道的感知，听觉通道向用户提供辅助信 息。当声音被加进虚拟现实系统时，整个用户的交互性、沉浸感、甚至于被察觉到的图 象质量都有所提高。具有高度沉浸感的虚拟现实系统除了具有立体显示外，还应该具有 虚拟声音。 以上这些三维设备产生大大促进了三维交互技术的发展，但使用6 自由度输入设备 在多数实际的交互式三维计算及图形应用中，这种需求并不能被满足。6 自由度设备还 是很昂贵的，其操作通常还需要一个高度受控的工作环境。如：数据手套就有很多问题， 一是数据手套需要频繁地校正，二是数据手套一般很贵，而且经过一段时间的使用其中 的光导纤维容易弯曲过度而折断，三是戴数据手套受到约束从而让人感到很不方便。而 且，大多数交互式计算机图形系统和应用还仅存在于传统桌面计算机中，并在办公室或 家庭环境中使用( 如商品化3 d 建模、动画软件包、c a d 系统、3 d 信息可视化软件以 及计算机游戏等) ，在一定程度上，二维的交互设备也可以通过映射，进行三维操作， 达到三维效果，因此交互软件设计时，采用能用传统桌面设备( 鼠标、键盘) 来控制虚 拟对象的位置和方向的交互技术，要着重考虑。在我们这个虚拟培训系统中就主要利用 鼠标、键盘来控制虚拟物体进行交互的。 1 3 实体操纵图形学原理 虚拟培训系统中的虚拟实体操纵能力不仅可以提升场景逼真度、可信度，还可以增 强受训者的沉浸感。所谓虚拟实体操纵是指操作者借助相应的输入设备在虚拟场景中选 择被操纵实体，对虚拟实体实施选择、平移、旋转、比例缩放等基本图形变换并对实体 6 大庆石油学院颀i 研究生学位论文 州的碰撞做出响应的过程。 本节针对虚拟实体操纵所涉及的计算机图形学原理作简要介绍，主要包括两部分： 三维几何变换、坐标变换和三维观察。 1 3 1 三维几何变换和坐标变换 一、三维几何变换 三维几何变换包括平移、旋转和缩放。三维几何变换可以表示为公式，或三维齐次 坐标和4 x4 变换矩阵的乘积。三维的几何变换和物体建模方法是在二维的基础上增加 了对z 坐标的考虑而得到的。我们可以通过制定一个表示物体在三个坐标方向移动距离 的三维变换向量来对物体进行变换，也可用三个坐标上的缩放因子来缩放物体。然而， 三维旋转的扩展则不那么简单，当我们讨论砂平面上的二维旋转时，只需考虑沿着垂直 于砂平面的坐标轴进行旋转，而在三维空间中，我们可能选择空间任意方向作为旋转轴 方向，解决方法可以根据给定轴的方向和旋转角度建立一个总的旋转矩阵l l o i 。 下面分别以公式，矩阵乘积和简记符号来描述三维几何变换。记变换前物体的坐标 为x ，y ，z ；变换后物体的坐标为一，y ，z 。 1 平移 设l ，t y ，t z 是物体在三个坐标方向上的移动量，则有公式： x 7 = x + z y = y + l( 1 - 1 ) z = z + 矩阵运算表达为： i x y l 】= i xyzl 卜 10 01 00 t 瓦 00 00 10 t 1 ( 1 2 ) 简记为：r 也，0 ，t ) 2 旋转 旋转分为三种基本旋转：绕z 轴旋转，绕x 轴旋转，绕y 轴旋转。在下述旋转变换 公式中，设旋转的参考点在其绕的轴上，绕轴转0 角，方向是从轴向指处往原点看的逆 时针方向( 图1 1 ) 。 绕g 轴旋转的公式为： 一= x e o s o y s i n p y = x s i n o + y c o s o( 1 - 3 ) z = z 第l 章三维人机交互技术研究 矩阵运算的表达为： z f x t ，y | ，对 图1 - 1 绕z 轴旋转 b y z 1 】= by z l 卜 c o s ps i n 00 0 一s i n pc o s p0 0 oo1o 000l ( 1 4 ) 简记为r ，( 口) 。同样可以得到绕j 和y 轴旋转公式和矩阵运算表达式。 二、坐标变换 在三维空间创建和显示一个( 多个) 几何物体时，首先必须建立世界坐标系，然后， 需要指定视点的方位、视线和成像面的方位，为了观察到物体的成像，还必须在各坐标 系之间视线变换之后，进行投影变换，才能得到物体的成像。 三维变换可以是同一个参考坐标系下将物体从一个位置移到另一个位置的运算，也 可以是一个系统到另一个系统的坐标变换。而两个不同坐标系之间的变换是三维物体拾 取和三维观察的基本要素。 为了通过显示设备来考察几何物体的特性，引入了一系列用于显示输出的坐标系 统，这些坐标系统包括1 1 0 i ： i 世界坐标系，该坐标系统主要用于计算机图形场景中的所有图形对象的空间定 位和定义，包括观察者的位置、视线等。计算机图形系统中涉及的其它坐标系统都是参 照它进行定义的。 2 局部坐标系，为考察物体方便起见，独立于世界坐标系来定义物体几何特性， 通常是在不需要指定物体世界坐标系方位的情况下，使用局部坐标系。一旦你定义“局 部”物体，通过指定局部坐标系的原点在世界坐标系中的方位，经过几何变换，就可很 容易地将“局部”物体放入世界坐标系内，使它由局部上升为全局。 3 观察坐标系，观察坐标系通常是以视点的位置为原点，通过用户指定的一个向 上的观察向量来定义整个坐标系统，缺省为左手坐标系，观察坐标系主要用于从观察者 的角度对整个世界坐标系内的对象进行重新定位和描述，从而简化几何物体在投影面的 成像的数学推导和计算。 4 像面坐标系统，它是一个二维坐标系统，主要用于指定物体在成像面上的所有 点，往往是通过指定成像面与视点之间的距离来定义成像面的，成像面有时也称投影面， 可进一步在投影面上定义称为窗口的方形区域来实现部分成像。 5 屏幕坐标系统，也称设备坐标系统，它主要用于某一特殊的计算机图形显示设 8 大庆石油学院硕i 研究生学位论文 备( 如光栅显示器) 的表面的点的定义，在多数情况下，对于每一个具体的显示设备，都 有一个单独的坐杯系统，在定义了成像窗1 3 的情况下，可进一步在屏幕坐标系统中定义 称为视图区的有界区域，视图区中的成像即为实际观察到的。 1 3 2 三维观察 对场景模型来说，三维观察就是世界坐杯转变到观察坐标。三维物体在计算机中通 常以二维平面物体的形式展现出来。在计算机图形学中，我们可以在世界坐标系中通过 建立观察坐标系来实现对三维物体的观察，建立观察坐标系，将世界坐标系中三维物体 的坐标转化为观察坐标，在观察坐标系中建立观察平面，将观察坐标再投影到观察平面 上。观察坐标系在图形包中用来指定观察者观察位置及投影平面位置的参考系，投影操 作将景物的观察坐标描述变换到投影平面上的坐标位置，然后将其映射到输出设备。在 观察范围以外的物体部分被裁剪，剩下的物体经可视面识别和表面绘制程序处理后显示 在设备视口。三维变换流水线参看图1 - 2 1 1 0 】。 三维景物视图的计算机生成过程类似于用相机对物体的拍照过程。我们需要对相机 定位，并决定镜头的方向。按下快门时，相当于用镜头当作窗1 3 来对景物进行裁剪。 模型坐 1 4 对象操纵技 图卜2 三维变换流水线 1 4 1 用于三维对象操纵的具体技术 用于三维操作的交互技术是非常多的，这里简要介绍一些常用的具体交互技术【6 7 l 。 一、指点交互 通过指点选择物体是现实中最简单的一种动作，只要给定一个选择方向即可以通过 相交测试判断选中的物体。在沉浸式虚拟环境中，往往用视点和虚拟手的位置形成选择 方向，而在桌面环境下，仅需要鼠标点的位置即可。这种技术最早可以追溯到m i t 在 1 9 8 0 年开发的“p u t t h a t t h e r e ”界面，其中用语音来进行确认选择操纵。之后，大量选 择技术被开发出来，这些技术的区别来自于这两个设计变量：选择方向形成的方式和选 择的范围( 决定每次选择有多少个物体可能被选中) 。 由于指点选择基本上不需要用户的物理动作，因此仅就选择来说它可以获得良好的 用户性能。然而由于维度限制这种指点技术不适合对象定位操作，用户仅能够在绕视点 9 第1 章二三维人机交互技术研究 的一个弧度上定位，也不能将对象沿着选择方向移动。 二、直接操纵技术 虚拟环境本身就是一种新型人机交互形态，虚拟现实技术比以日f 任何人机交互形式 都有希望彻底实现和谐的、“以人为中心”的人机界面。应运而生的就是直接操纵技术， 如同在二维图形用户界面中用户通过鼠杯进行直接操作一样，个由六自由度三维输入 装置控制的三维光标将使三维交互操作更加自然和方便。 1 在大多数情况下，选择的目的是为了操纵，即变换对象的位置和方位。其中虚 拟手是最简单的对象操纵技术，用虚拟手作为输入信息的映射，当虚拟手和对象相交时 通过一个离散的事件来触发选取操作，然后再把手部动作映射为对象的变换，直到有另 一个离散事件释放为止。这是一种一对一的映像方式，也是用户感到最自然的方式，但 是用户的可操作范围有限。虚拟手在虚拟制造中的应用是比较典型的，它可以充分的利 用人已有的知识与计算机进行交流。 2 g o g o 技术是为了让用户能够操纵远距离的对象，这种技术将跟踪器和身体之 白j 的距离进行非线性映射，当其超过一个设置的阀值d 时，虚拟手距视点的距离就会迅 速增长，当用户确认选择和虚拟手相交的对象时，就可以跟虚拟手技术一样任意变换对 象。使用它既可以把远处的物体拿到眼前也可以把眼前的物体移到远处，但操纵的最远 距离依然是有限的，而且当距离增加时，手部动作和虚拟手之间的映射比例也随之放大， 因此想精确操纵远处对象并非易事。单纯从选择对象来说，这种技术甚至不如指点选择 技术。 三、缩微世界 g o g o 是“延长”用户手部可操纵距离来达到操纵远距离对象的目的，与之相对应 的方法是将远处的对象拿到眼前操纵。缩微世界( w o r l d i n m i n i a t u r e ，缩写w i m ) 的思想 是对当前的场景创建一个缩略图，让用户直接操纵这个缩略图中的对象来间接的操纵大 场景中的对象。这种技术基本上解决了上述技术中不方便操纵远处对象的缺点，而且由 于给用户提供了一个全局的视图增强了用户的方位感。但是它仅适合于中等大小的场 景，当场景很大时( 如一个虚拟小区) ，一方面由于数据量的翻倍增加会影响实时性，一 方面由于小对象被缩小的比例太大而在w i m 中极难辨认。如果能够允许用户动态地选 择生成w i m 的范围( 如只生成场景中的一部分作为缩略图) 将能够解决这个问题。 四、组合技术 上述的操纵技术各有优缺点，可以说没有任何一种技术能够方便用户完成所有的交 互任务。借鉴这些技术的优点，将它们组合出新的交互技术是混合操纵技术的核心思想。 由于任何操纵技术都要经过选择操纵释放这几个步骤，因此如果能让系统自动 地根据上下文来切换合适的交互技术是最理想的设计方案。 五、桌面三维操作 从三维交互的方式来讲，对于三维交互技术的研究主要有两个方向：一是使用三维 的输入输出设备模拟三维交互，比如三维跟踪球、数据手套、头盔显示器等，但由于这 1 0 大庆石油学院坝l 研究生学位论文 些设备价格昂贵、应用面窄且操作复杂而且无法普及；二使用传统的二维输入输出设备 ( 鼠标、键盘、普通显示器等) 模拟三维交互，虽然在很多的情况下难以得到十分精确 的控制，但由于其设备简单且普及面广而得到广泛应用。使用6 自由度输入设备在多数 实际的交互式3 d 计算及图形应用中，这种需求并不能被满足。6 自由度设备还是很昂 贵的，其操作通常还需要一个高度受控的工作环境。而且，大多数交互式计算机图形系 统和应用还仅仅应用于传统桌面计算机，并在办公室或家庭环境中使用( 如商品化3 d 建模、动画软件包、c a d 系统、3 d 信息可视化软件以及计算机游戏等) 。因此交互软 件设计时，采用用户能用传统桌面设备( 鼠标、键盘) 来控制虚拟对象的位置和方向的 交互技术，要着重考虑。 使用2 d 输入设备的桌面三维操作技术采用的是传统桌面设备( 鼠标、键盘) 来控 制虚拟对象的位置和方向，不需要昂贵的6 自由度设备，应用于传统桌面计算机中，并 广泛应用在办公室或家庭环境中。 1 面向三维操作的二维界面控制 在桌面环境下制定虚拟对象的3 d 位置和方向的最简单的方法是询问用户，用户直 接键入所需要的3 d 对象的位置和方向的坐标及角度数值，这种方法在许多需要精确地、 无二意性地指定3 d 对象的位置和方向的3 d 建模和c a d 软件中被使用。这种技术非常 有效，因为它能精确的、增量式调整对象的位置和方向。而在一些其它交互情况中，这 种技术可能是无效的，因为人们很难完成所需要的心算。通常，作为交互过程的一部分， 用户指定对象的位置和方向容易多了；用户反复改变对象的位置，从视觉的角度评估， 再重新调整，重复这个过程直到达到期望的位置。在这一过程中，尽管缺乏精确性，但 由于在用户输入和结果之间建立了紧密地反馈，可以“加速”找出需要的对象位置和方 向。 2 三维w i d g e t s 在三维交互分类中我们还提到了一种被广泛采用的三维交互方式，它是通过三维 w i d g e t s 进行交互操作。它也是属于桌面三维操作技术。三维w i d g e t s 仍处于探索阶段， 许多三维用户界面的研究者正在设计和试验各种不同的三维w i d g e t s ，人们希望将来能 够建立一系列标准的三维w i d g e t s ，就像二维图形用户界面中的窗口、按钮、菜单等。 1 4 2 实体操纵技术讨论 交互设备的差别、影响参数的变化以及实现原理的不同，操纵技术也是不同的。每 一种技术都不是最好的，没有单独的最佳技术，但每一种又都相对某一种环境来说又是 最好的。通常一个系统中都采用几种交互技术的综合，下面总结出几条设计准则f 7 1 。 1 重用原则。尽量采用现有的交互技术及技术组合，这样可以大大地提高我们的 工作效率。很多情况下只需要应用或创造性的修改现有的交互技术就可以了。 2 选择操作技术时，应分析任务，要与交互设备相匹配。没有最好的交互技术， 第l 章三维人机交且技术研究 某些条件下，一些操作技术比另一些要好。任何交互技术部有其适用场合，应用领域的 不同、交互设备的不同、甚至用户的不同特点都将成为影响最终用户性能的因素。 3 尽量减少自由度。六自由度不是必需的。实际上，由于给用户控制自由度的增 加，反而增大了用户的认知负担。一些非常有效的选择技术是通过把三维选择简化为二 维的任务来完成。如使用光线投射技术比g o g o 技术能够更快速地实现精确选择。 4 技术的设计要与虚拟环境相适应。如在桌面环境下，可以设计约束、感知等“软” 的辅助手段精确地定位虚拟场景中的对象。因此虚拟环境应该主动地简化和加速交互技 术的处理过程。 这几条准则只是我们对前面具体交互技术的一些应用总结，当然具体情况还要具体 分析。 1 4 3 基于桌面二维输入设备的虚拟实体拾取算法 实际应用中往往需要通过鼠标等指取设备来选定观察体中的某个或某几个图元，以 便对其进行进一步的操作。这种通过指取设备选中物体的操作称为拾取操作。 拾取操作可以通过将一个特殊的拾取矩阵与投影矩阵相乘，从而将绘图操作限制在 视口中鼠标附近的一个小区域内，此时可以通过某种形式的输入( 如点击鼠标) 来激活选 择，这样鼠标附近绘制的物体就会被选中。 本课题采取一种基于标准二维输入设备的虚拟实体拾取算法【“l 。如图1 3 所示： p = - (i ，zj 一 ( 砟，匕，z ，： 。 z 坩 z 图卜3 透视投影变换 点p ( x ，y ，z ) 到观察平面上点( 巧，匕，z ，) 的透视投影变换，透视投影路线上点的坐标位 置的参数方程为： 工2 x 一埘 y = y 一叫( 1 5 ) z = z 一( z z 胛) 其中“为参数，在观察平面上，z = z 。，可求得：“= 二c ，带入上面参数方程 z 一z 1 2 人庆，e i 油学院硕i 研究生学位论文 得矿文去卜1 叁 其中d ，= z 。一z ，为投影参考点到观察平面的距离。由此可见，透视投影变换过程 中，观察平面上的一点到观察体投影线上点的对应关系是比例变换关系，则标准二维输 入设备在显示器上点取得的一点s ( ，只) 。经设备坐标正规化后，可按比例关系在观察 体底面上投影为点o ( x 。，y 。，z 。) ，由计算机图形学相关理论可知，透视投影的场景观察体 由图1 4 【l l i 所示的视点到近裁剪面距离n e a r 、到远裁剪面距离协及相机的 f o v ( f i e l d - o f v i e w ) 三个参数唯一确定。因此观察体远裁剪面的四个顶点( ，k ，巧) 坐 标可由当前视点的空日j 坐标求出。为了在观察坐标系下求得0 点的坐标，将观察平面上 的设备坐标正规化，并坐标。求出0 点坐标后，用视点坐标与0 点坐标建立空间直线方 程，使用检测算法即可得到场景中距离视点最近的虚拟实体。 v 2 y z 图卜4 设备坐标到观察底面的透视变换 1 5 漫游技术 底面 漫游或者变换视点是现实中最基本的一种动作，由于这种动作往往是下意识的，而 且变换视点往往是为其它动作服务的，人们甚至意识不到它的存在。而在虚拟环境下， 由于缺少足够的深度线索，必须显式地给用户提供视点的变换技术。和操纵技术一样， 漫游技术也有很多种，首先介绍用于实现的具体漫游技术。 1 5 1 用于虚拟环境漫游实现的具体技术 和操作技术一样，应用于漫游的具体技术也是非常多，每种技术都有它自己的优缺 点，下面简要介绍1 3 , 7 , 1 2 】。 第l 章= 维人机交互技术研究 一、驾驶技术 基于s t e e r i n g ( 驾驶) 的隐喻是最常用的一种漫游技术，和现实中一样，用户需要连续 地控制视点方向。控制矢量的来源可以是眼睛注视的方向，用户手指的方向也可以是身 体面对的方向，甚至用户可以手持相机实现六自由度连续控制。其中手持相机技术比较 适合在本系统中使用，不同的是本系统采用的是虚拟环境生成的虚拟相机。手持相机技 术是驾驶技术中一种，它是一种第三人称的漫游技术，用户置身于虚拟场景之外用六自 由度的输入设备直接控制相机的变换，这种技术经常用在桌面环境下，但是由于场景是 按第一人称生成的，用户需要在这两种视点之间进行认知转换，一定程度上会增加用户 的认知负担。 二、路径规划技术 基于路径规划的技术首先让用户勾画好相机的移动路径，然后系统自动执行。这种 技术非常适合于漫游过程中进行其它任务的操作，如信息搜集等。根据路径生成方法的 不同，可以分为以下几种： 1 绘制路径 绘制路径是基于笔输入的一种漫游技术。在桌面环境下，一个连续的点击被投射到 地面或者漫游平面上，视点的方向由这条路径上的切线决定，视点的高度也增加地面跟 踪的限制。这种技术的关键是一个智能投射算法，无论是与当前点击相交的是哪个对象， 都能自动地计算为地面上的点并且要保持路径的连续性。在沉浸式虚拟环境下，绘制路 径技术往往和地图结合，用户在地图上画出路径。 2 沿路径作标记 路径规划技术中视点的所有位置和视点方向都由用户决定，如果用户仅仅关心路径 上的关键点，则可以使用基于离散点列的路径漫游技术。在用户指定了若干个离散点后， 由系统进行拟合生成路径，离散点的多少决定着用户的控制程度。这种技术