虚拟环境鼠标三维操作的研究与实现.doc

首都师范大学硕士学位论文虚拟环境鼠标三维操作的研究与实现姓名：姚延嗣申请学位级别：硕士专业：计算机应用技术指导教师：刘金刚20070604摘要摘要文章首先介绍了OpcnGL中的鼠标拾取算法，详细讨论了算法中缓冲区数据的含义；并分析了OpenGL为什么没有按照拾取射线穿过物体的先后顺序来存储数据。在此基础上本文提出了一个三维环境下的鼠标拾取算法，将三维空阃中点与物体相交的判断条件从三维降低到一维。该算法在三维空间中建立了一个实体光标，该光标可以在三维空间中自由移动。与普通的屏幕二维光标相比，该光标可以沿屏幕的纵深方向移动。该拾取算法认为只有光标热点进入物体内部时才能拾取到物体。文中设计了一个测量该算法精度的试验，经过分析简化了试验步骤。在实际应用中对算法的精度和易操作性做了权衡。因为算法的误差与光标纵深移动的步长有关，较小的步长使得光标移动缓慢、不便于操作；较大的步长却容易穿过物体，而无法选中物体，为此对算法做了改进。本文还介绍了如何操作三维的实体光标来拾取并移动物体。用户可以通过鼠标的移动、左右键的按下与抬起、滑轮的滚动来进行操作。为了达到较好的操作效果，还为用户提供了指向、接触、选择三个反馈状态。为了更好地应用本文提出的鼠标拾取算法，开发了可操作的三维虚拟环境。虚拟环境中包含场景对象和物体对象。文章阐述了场景类型的基本属性、操作、渲染方法、物体为何以及如何向场景注册；同时还讨论了场景中物体名字分配的方法及其优化。在虚拟场景中设计了门的模型以触发场景转换；电脑模型用来在虚拟场景中直接打开应用程序；为了让用户能够在虚拟三维场景中漫游，实现了摄像机模型，可以平移视点和旋转视角；同时，为了针对同一个物体进行不同的操作，还为场景和物体设计了三维右键弹出菜单。关键词：三维交互界面；虚拟现实；鼠标拾取；OpenGL。AbstractAbstractFirst,I discuss the mouse-pick algorithm in OpenGL and find out the meaning ofdata in thebuffer1 will analysis why OpenGL store the data in all unnermal waySecond，1 will raise a mouse-picking algorithm based on OpenGLIt reduces the complex ofthe intersection judgement between a poiTlt and a 3D object from three-dimension to or-redimensionThis algorithm creats a 3D cursor in virtual environmentit caIl move around freelyin 3D spaceComparied with the traditional 2D cursor,the 3D C1Lrsor call move at fight angltothe SCTCCTI and reflect the perspective projection naturelyThe algorithm will judge whether thehot point of3D 6xllsor in the space ofthe target object，and set the objoct to be picked state ifthehot point in the space ofthe objectI also design all experiment to test the eTrorAnd I balance the precision and facility of thealgorithm when it is applied to user interfaceThe error has a relationship with mouse step，thenice step make the cursor move slowly,and the large step make the砚lrsor penetrate the objectwhich，however，will not be recongined as picked upAt last，the algorithm is improved to meetthis situationThe paper also discusses the operation of the 3D nlrsorUser Can move the mousc,pressunpress the rightleft button and rotate the wheel to control the 3D cursorIt provids threefeedback states，pointed，atteched，and selected to userA 3D virtual environment is developed to apply this mouse-picking algorithmIt containsscene and objectThe paper discusses how to design the scene；it includes the attributes，operations and renderingThe paper also explains that why the object should regist to the sceneand howThere are three ways to assign little id to each object in a scuttle，and 1 will analyseswhich is the best oneThe door model is designed to trigger the switch between different SCenesComputer model is designed to launch the applicationsCamera is designed to roam in the virtualenvironmentAnd the 3D popup menu is designed to apply several commands to one objectKeywords：3D User Interface：Virtual Reality：Mouse Picking；OpenGLJI第一章绪论11课题的目的和意义第一章绪论近年来随着计算机图形学的发展，三维图形界面成为国际上研究的热点，尤其是三维桌面操作系统；国际上几大操作系统厂商分别推出了各自的三维桌面操作系统。三维桌面系统的出现给用户耳目一新的感觉，但可以发现其中仍有可改进之处：首先，虽然桌面环境是三维的，但鼠标操作始终是二维的；用户只能用二维鼠标想当然的去选取虚拟空间中距离视点很远的对象，缺乏三维操作的真实感。其次，窗口之外只有背景图片，没有可以漫游的三维场景。本文讨论的问题就是如何将鼠标的三维操作和虚拟环境进一步结合起来，从而解决上述问题。首先，用鼠标的三维操作代替传统的二维操作。使光标可以沿屏幕纵深方向运动。其次，要为三维交互操作建立可以漫游的场景。本文所研究的鼠标三维操作有助于提高用户三维空问操作的真实感。12三维操作技术的国内外研究现状一交互技术对整个人机交互界面有着深远的影响。对于物理世界和虚拟环境，操作是一个最为基础的任务，如果用户不能有效地操作虚拟对象，那么一些依赖于应用程序的任务就不能简单地完成【l】。国外对3D人机交互界面有较长时问的研究，这里主要介绍在三维选择操作方向国际上的研究进展。3D操作界面设计受两个对立观点的强烈影响。同构观点建议在物理世界和虚拟世界间手的运动建立严格的、几何上的、一对一的对应。非同构的方法偏离严格现实的意义，提供给用户具有“魔力”的虚拟工具，如激光束、橡皮手和巫术玩偶等。这些非同构映射和技术允许用户在维护可用性和性能的同时，使用与物理世界不同的方式去操作对象。现在主要的3D直接操作技术都是非同构技术。Ill当前大多数操作技术是基于几种基本交互隐喻或隐喻组合来实现的。”】图11给出了一种可能的沉浸式虚拟环境中基于隐喻的三维操作技术的分类法。首先将这些技术分为环境外的和环境内的技术。在环境外交互中，用户在环境的外部与3D环境交互。例如，在缩微世界(WIM)技术中，用户与一个小的，手持的环境副本进行交互。在环境内的技术中，用户在环境的内部进行交互。虚拟环境包围着用户，用户作为第一人称观察环境。这种分类进一步把环境内操作隐喻细分为虚拟手和虚拟点取。对于虚拟手隐喻，用户通过用虚拟手“触摸”和“拾取”对象来接触并拾取它们。对于虚拟点取隐喻，第一章绪论用户通过指点对象和它们交互。【ll图1I基于隐喻的3D操作技术的分类IlJ12_1指点交互技术指点技术允许用户通过简单的点取来选择和操作超出手臂到达范围的物体点取的方向矢量与虚拟对象相交时，用户就通过触发事件确认选择。对象被选择后，可以附加到点取矢量的末端进行操作。【I】点取技术最早是在“putthatthere”界面中出现的。该系统允许用户通过点取技术选择和操作对象。之后出现了一些其他技术，这些技术的不同点在于两个设计变量：第一个是如何定义点取的方向；第二个是选择体的形状以及当用户点取时有多少个对象被选中。【I】点取技术是一种强大的选择技术。许多技术表明它比虚拟手技术有着更好的选择性能。基于点取的交互技术有：光线投射技术、双手点取、闪光灯技术、光圈技术、图像平面技术、鱼竿卷线技术。【l】光线投射光线投射技术中，用户使用定义点取方向的虚拟射线点取对象。在简单光线投射技术中，射线的形状是连到用户手上的短线段(图12)。但这对于选择远处的小对象是困难的，因为当射线与虚拟物体对象相交时，不能提供给用户充分的视觉反馈。无限长的虚拟射线可以提供很好的视觉反馈。Ell2第一章绪论幽12光线投射技术双手点取光线投射使用虚拟手的位置和虚拟射线的方向定义点取方向。在用户的双手都被跟踪的情形下，点取方向可以使用双手技术确定：一只手(通常靠近用户的手)用于指定虚拟射线的原点，另一只手指定射线的指向。双手点取的缺点是必须同时跟踪两只手，但是这种技术能进行更为丰富和有效的点取交互。例如，手之间的距离可以控制虚拟指点器的长度，而通过手的轻微的扭曲，用户可以弯曲虚拟指点器。这种技术提供了一种简单的消除多个对象在深度方向排列时的二义性的机制(见图13a)，并且可以简化点取全部或部分模糊对象的情况(见图13b)。【l】(a) (b)图13可用于点取部分模糊对象的柔性指点器”1闪光灯和光圈技术聚光灯或闪光灯技术是为了提供“软的”选择技术而开发的，它不需要用光线精确或准确地点取虚拟对象。这种技术模仿闪光灯点取对象，即使用户没有精确点取对象时也可以照亮它在闪光灯技术中，点取方向的定义与简单光线投射技术的方式相同，但用圆锥选择体替换虚拟光线，圆锥的顶点在输入设备上，落在锥体范围内的对象被选中，因此这种技术可以很容易地选择小对象，即使这些对象距离用户很远。【l】使用闪光灯技术的显而易见的问题是：当有多个对象落在闪光灯范围内时，如何处理期望的对象的二义性。【1J光圈技术使之成为可能。光圈技术是对闪光灯技术的一种修改，它允许用户交互地控制选择体的张角。点取方向由虚拟空问中用户视点的位置定义，并由被跟踪的头部位置和表示光圈光标的手部传感器的位置来确定。(见图14和图15)【Il3第一章绪论澜辱彭m一一d一；。淼4第一章绪论图像平面技术和光圈技术的区别在于，对象只有被用户的虚拟手指框住时才被选择，这是这种技术的基本隐喻，它提供了一种自然的消除二义性的方法。而使用光圈技术，整个物体不必完全落入选择体内，即使对象只与选择体侧面接触也将被选择。llJ图像平面技术模拟直接触摸，因此对于选择来说是直观的和易于使用的。尽管这种技术允许用户修改3D对象的方向，但与用户的距离不能直接控制，因为对象的操作是做了比例变换的。可伸缩世界抓取技术和巫术玩偶技术解决了这个问题。111缩微世界延伸用户手臂的另一种选择是伸缩这个虚拟世界，使之停在用户可达范围内。缩微世界WIM技术向用户提供一个虚拟环境的手持缩微模型。通过与WIM中的缩微模型进行交互，用户可以间接地操作虚拟对象。WLM是一种强大的技术，它能使用户对可达范围内之外的对象都能很容易地操作。它也能结合操作来导航。但缺点是它不能很好地缩放。尽管WIM对于小的和中等尺度环境下能相对完美地工作；但在很大的环境中，WIM将需要一个极大的比例因子，结果导致在WIM中有很小的对象复制，这将使精确的选择和操作变得极为困难。尽管有这个缺点，WIM技术还是可以在许多不同类型的3DUI中得到很好的应用。特别是它被成功应用于增强现实3D界面中。WIM也可用于桌面3DUI。事实上WIM可以看作是在3D游戏中常使用的传统全局地图的3D的普遍化。Il】图16 WIM技术【I】1。22虚拟手技术另外一种基本类型的3D操作技术是虚拟手技术，通过这种方法用户可以用手选择并直接操作虚拟对象。通常是用3D光标显示用户输入的当前位置，例如光标可以是人手的3D模型f见图16)。输入设备的位置和方向被映射为虚拟手的位置和方向。为了选择对象，用户只需将3D光标和待选择的对象相交，然后选中对象。虚拟手交互技术又可分为简单虚拟手技术和GoGo技术。5第一章绪论图17虚拟手技术IlJ简单虚拟手简单虚拟手技术是直接将用户物的运动映射到虚拟手的运动，是一种同构交互技术。它是更为直观的交互技术。这种技术的根本问题是只有用户可达范围内的物体才可以被选择和操作。为了在当前位置选择更远的对象，用户必须使用漫游技术移动到物体附近，这一些情况下是不方便的，也增加了复杂性。【11Co-Go交互技术GoGo技术能让用户交互式地改变虚拟手臂的长度。该技术提供了一种交互地控制虚拟手臂的长度的方法一只需简单地伸缩真实手。在靠近用户和远离用户时，GoGo技术都能提供直接的操作。使用户将远处的物体拿到近处，也可以移动近处物体到远处。虽然这种技术提供了可达距离的最大化，但仍然是有限的。此外，随着距离的增加，这种技术将用户手的小运动映射到虚拟手的大运动，使得在远距离的精确定位变得复杂化。尽管GoGo技术在选择任务下不如光线投射技术有效，但GoGo技术具有能在整个操作范围内统一交互的独特性质。【l】12。3组合技术设计一个适合所有交互环境的单一的、最好的3D操作技术是比较困难的，甚至是不可能的。在3DUI中也没有一种交互技术可以有效地适用每种操作。因此组合操作技术就成为一个活跃的研究方向，它试图集成不同交互技术的优良特性。目前已经出现了两种基本方法：技术聚合和技术集成。01技术聚合足把几个技术组合到一起的最简单的方法：为用户提供一种外在的机制，从有限的可选项中选择需要的操作技术。例如，能显示命令的3D菜单系统，这种机制是一类虚拟工具箱，用户可以从中选择操作技术。【Il技术集成是另外一种组合技术的方法，使用这种技术的界面转换操作技术明确地依赖于当前任务的情境。这种方法基于一种简单的认识，即所有操作基于重复的任务序列：对象在操作前必须被选中。因此，操作序列的不同阶段可以使用不同技术完成。在最简单的情况下，界面可以选择对象之后，从选择技术转换到操作技术，在用户释放操作对象之后，6第一章绪论再转换回到选择模式。理论上，这种方法可以对每种模式进行优化达到最好的效果。【l】HoMERHOMER代表的是扩展光线投射的以手为中心的对象操作。用户使用光线投射技术选择对象，替代对象连到光线上，用户的虚拟手立即移动到对象上并附加到对象上，然后转换到操作模式，使用户能够定位和旋转虚拟对象。【l】HOMER能让用户很容易地在虚拟对象和用户之间的区域内重新摆放对象，在选择时对象在多远的地方并不重要。然而用户可以重新摆放物体的最大距离仍然受限制。例如，用户选中一个位于很远位置的虚拟对象，将它拿过来并释放它，这时再让对象返回到原来的位置将是很困难的。因此用户必须远离对象，使用不同的交互技术，或者执行一些连续的对象操作，以便将对象移动到它的初始位置。【11可伸缩世界抓取可伸缩世界抓取技术基于与HOMER相类似的原理。用户开始时使用一些选择技术选择对象，在可伸缩世界抓取中使用图像平面选择技术来选择。成功选择之后，界面转换到操作模式，用户可以在空问中放置和旋转虚拟对象。可伸缩世界抓取技术在用户视点周围对整个环境进行比例放缩。计算比例因子，把要操作的对象拿到用户可达范围内，从而使用简单的虚拟手技术执行操作。类似HOMER技术，可伸缩世界抓取技术对于有一定距离的操作完成得很好111巫术玩偶巫术玩偶是一种双手交互技术，组合了前面讨论的图像平面和WIM技术。巫术玩偶技术使用一对掐捏手套，使用户能够在不同的操作任务的参考框架之间无缝地转换，并能进行不同尺寸和不同距离的对象操作。这个技术基于几个关键的思想。llJ第一，它试图使用称为玩偶(见图18)的临时的、缩微的手持对象副本问接地操作虚拟对象。类似wDd，用户操作这些玩偶取代虚拟对象，因此可以在任意距离、任意大小以及任意遮挡状态下操作对象。【l】图18巫术玩偶交互技术不同于WIM技术，巫术玩偶技术允许用户决定哪些对象在交互中使用。用户用图像平面技术选择目标对象(或对象组)开始操作序列，图像平面技术创建目标对象的玩偶表示，并把它们放在用户的手上(如图19)。因为在操作中只是虚拟对象的子集，巫术玩偶技术7第一章绪论可以缩放这些副本到一个合适的尺寸进行交互，克服了wIM技术的一个限制。【!图19在巫术玩偶技术中仓4建玩偶【l】第二，这种技术让用户明确地和交互地指定用于操作的参考框架。用户的非支配手持有玩偶，这只手表示一个固定的参考框架，当用户移动这个玩偶时，相应的虚拟对象不发生移动。玩偶在用户的支配手时，定义了相应的对象相对于固定参考标架的位置和方向(见图18)。因为用户可以明确地定义操作参考框架，操作可以更为方便。当玩偶被拿在用户的非支配手上时，用户可以很容易地变换他的手到更为方便的位置，而不影响“真的”对象。开始操作时，用户仅需传递玩偶到支配手。【l】13课题目标和主要研究内容131课题的总体目标本课题要研究鼠标的三维操作，同时还要为鼠标的三维操作建立可漫游的场景和各种可拾取的物体。132研究的主要内容(1)用光标在三维空间中拾取物体在虚拟三维空间中建立一个实体的光标，该三维光标可以在三维空问中随意移动并拾取物体，有别于用屏幕二维光标拾取物体。这个模块包括光标的建造、拾取算法的设计以及光标与可漫游的场景问的关联。(2)光标拾取状态对于交互式系统来说，系统提供给用户的反馈信息是非常重要的。对鼠标拾取物体设计了三个反馈状态。表11是关于反馈状态的定义及其反馈信息：l状态定义反馈信息I指向拾取射线穿过物体时，从_f；I户的角度来看，光标指向了物体物体亮度增加Il接触鼠标的热点接触了物体物体呈浅红色II选中当鼠标“接触”某物体后，点击鼠标左键，物体被选中物体呈浅绿色I表11鼠标拾取的状态及其反馈信息8第一章绪论(3)光标的三维操作方式本项目中利用普通鼠标的移动、左，右键按下抬起、滚动鼠标滑轮这些操作进行控制。移动鼠标一控制三维光标在与视平面平行的方向移动；滚动滑轮一控制三维光标在视平面纵深方向的移动。如果此时没有选中物体，则移动三维光标；如果选中了物体，则同时移动物体和三维光标；单击鼠标左键一如果选中了物体，则执行物体的打开操作；鼠标左键按下+移动鼠标一如果此时没有选中物体，则移动摄像机；如果选中物体，则同时移动物体和三维光标；右键按下+移动鼠标一旋转摄像机；左右键抬起标志相应的操作结束。(4)虚拟场景的设计与开发光标三维操作的虚拟环境包括场景和物体两个基本概念。场景的表现形式是房间，场景中包含各种物体。需要开发以下若干场景：走廊、工具室、办公室、网络室、资料室、游戏室。走廊：进入三维场景后默认用户所在的场景，包含有通向其他场景的门；工具室：放置各种工具软件的链接；办公室：放置各种常用的办公软件的链接；网络室：放置各种网络常用软件的链接；资料室：放置各种书籍；游戏室：放置各种游戏程序的链接。物体对象包括：三维光标、摄像机、门的模型、电脑模型、桌椅模型。用户通过操纵三维光标选中、打开物体；摄像机表示用户视点，用户通过摄像机观察场景以及场景中的物体；门的模型可以旋转打开，使用户通向另一个场景；电脑模型表示某个应用程序的链接，通过打开电脑模型启动该程序：使用3ds模型导入桌椅等形状复杂的物体。并将这些物体作为静态的对象考虑，暂不提供任何操作。同时还为用户设计了三维右键弹出菜单，方便用户在虚拟场景中的操作。每一个物体和场景可以有一个三维右键弹出菜单。选中物体后单击鼠标右键，在三维光标处弹出该物体对应的三维菜单。未选中物体时单击鼠标右键则弹出场景对应的三维菜单。每一个菜单包含至少一个菜单项。每一个菜单项对应该物体(或场景)的一个操作命令。接触菜单项后，单击鼠标左键可以执行菜单项的命令。9第二章鼠标拾取算法的设计第二章鼠标拾取算法的设计2。1鼠标拾取算法概述鼠标拾取是交互式操作中的重要环节。用屏幕二维光标拾取场景中的物体，一般以消隐算法为基础。消隐算法可分为物空问算法和象空间算法。物空自J算法将场景中的各个物体和物体的各组成部件进行比较，最终判断可见面；象空间算法则在投影平面上逐点判断所对应的可见面。除了在线框方式的图形显示中采用物空问算法之外，其他场合下一般采用象空间算法。消隐算法可分为后向面判别法，深度缓冲器(Z-buffer)算法，A缓冲器算法，扫描线算法，深度排序算法，BSP树算法，区域细分算法，八叉树算法，光线投射算法，线框算法等。后向面算法效率高，并且可用于预处理，但不能保证消除全部隐藏面；Z-buffer算法简单高效，但需要占用两个缓冲区；A缓冲器是Z-buffer算法的改进，可以处理反走样和透明面片；当场景中面片在z方向很少重叠时深度排序算法和BSP树算法的效率较高；当场景中面片在水平方向很少重叠时使用扫描线算法和区域细分算法比较好；当视点不断变化并生成多幅视图时，BSP算法最有效；如果场景中包含曲面，则可用八叉树算法和光线投射算法。实际中往往用不同方式来合并实现各种可见面的消隐算法。本文阐述的鼠标拾取算法基于光线投射。采用光线投射算法主要有如下两个原科2l：(1)精度高。光线投射算法能够跟踪的几何对象种类丰富，不仅仅包括多边形网格。实体对象是由各种基本几何形状构造出来的，例如球体、圆锥体和圆柱体。每种形状都通过一个数学表达式准确地表达出来，而不是近似地表示为切面体。(2)适合复杂场景的建模。将这些形状添加到场景之前，还可以通过变换改变它们的大小和方向，对复杂场景的建模能力比较强。22基于OpenGL的鼠标拾取算法系统中以OpcnGL的鼠标拾取算法为基础，首先介绍OpcnGL的鼠标拾取算法的基本原理。如图21所示：M是空间三维光标热点；定义Proj(x)为空间一点x在屏幕上的投影点。P=Proj(M)；PM组成的射线L即为拾取射线。从屏幕上看，射线上(除P之外)的点均被点P遮掩：10第二章鼠标拾取算法的设计图21 0penGL鼠标拾取算法示意图设物体obj表面被L先后穿过的点为near(ohj)，far(ohj)，则neav(obj)踞屏幕较近，far(obj)踞屏幕较远。如图，near(A)=al，觚A)=a2；nearI：B)=bl，far(B)=b2；near(D)=dl，far(D)-d2,假设被拾取的物体是凸物体，并且两两不交叉。判断M点是否在物体obj内部，需判断dcpth(near(obj)_depth(M)_25试验测量算法精度图27拾取接触的物体的流程l璺l251试验思路如图29所示，在空间中建立轴对齐长方体obj，obj沿Z轴的长度为width，obj到屏幕的距离为Zobj。拾取射线L穿过obj的两点为pO=near(obj)，pl=far(obj)。当width大于某个值的时候，上述拾取算法可以根据depth(near)depth(far)识别出heat和filr为两个不同的点。现在需要求证的是系统能够识别的、使得depth(near)depth(far)的最小的width值。试验分为两个步骤。第一，初始化。使得初始值depth(near)depth(far)。第二，不断减小width的值(width减小为前一次的12)，直到depth(near)不小于depth(far)为止。此时width的值即是所求。第二章鼠标拾取算法的设计弦薛砌Z臃泞y渐嚣Zl2n 0一r_+l 002n一t_+b 0o o也一竺j一魂，一孔0 0 1 0(t，b，l，r为上下左右平面；n，f为近平面和远平面)得阢一z=筹一鸶-，可写为砌一z一等一篙志得： ，一詹_，一糟z，可写为，一n_，一月zpJ却蹈(力=：一2Winzp) (2)同时，由于驴7一Znear 得：dwp(t加h二f们YJa：r-二型Z删t(弋坐#J一-n一望芳，者可以看出depth(p)只与z(p)相关。所以Adepth只与z相关。那么如果给定z值，对于p(x，Y，z)与p(O0，00，z)应该有depth(p)=depth(p)。所以，将拾取射线由原来的L变为水平的拾取射线L，这将简化试验步骤，而对试验结果却不会有影响。所以，试验步骤得到了简化为只针对p，(O0，00，z)进行试验。简化后的试验示意图如图210所示。19第二二章鼠标拾取算法的设