水电站虚拟环境中的沉浸式人机交互技术研究.pdf

声明 论文是我在导师的指导下取得的研究成果，尽我所知，在 中，除了加以标注和致谢的部分外，不包含其他人已经发 的研究成果，也不包含我为获得任何教育机构的学位或学 的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：必 。| 年月：；j 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：查堑圳年j 日 水电站虚拟环境中的沉浸 摘要 虚拟现实是近年来十分活跃的技术研究领域，是一系列高新技术的汇集。它能给 用户更逼真的体验，为人们探索宏观世界和微观世界提供了极大的便利。本文研究了 水电站虚拟环境中基于数据手套的人机交互技术以及多通道投影系统的无缝拼接技 术。本文主要开展了以下研究工作： ( 1 ) 根据人手的解剖结构和运动特点，利用3 ds t u d i om a x 进行虚拟手的建模；根 据水电站设施组成进行水电站虚拟环境的建模。 ( 2 ) 概述了数据手套的原理和功能，分析了人手各指段的运动规律，研究了虚拟手 各关节数据的获取和校正。概述了位置跟踪技术和p c t r a c k e r 位置跟踪器的体系结构， 设计了滤波算法保证虚拟手交互任务的稳定性。 ( 3 ) 介绍了虚拟手操作的分类，提出了基于水电站v r 系统情景模式的虚拟手的碰 撞检测算法。针对水电站不同类型部件，分析了虚拟手操作的流程，提出了相应的虚 拟手稳定抓取规则，完成了虚拟手对不同类型部件的操作，实现了基于数据手套的人 机交互。 ( 4 ) 介绍了沉浸式虚拟现实系统的分类和多通道投影系统的特点，研究了多通道投 影系统的校正技术，实现了基于o p e n g l 的几何校正以及边缘融合，实现了水电站虚 拟环境在三通道投影系统的显示。 关键字：虚拟环境，数据手套，位置跟踪器，稳定抓取，水电站，多通道投影 a b s t r a c t硕十论文 a b s t r a c t v i r t u a lr e a l i t yi sv e r ya c t i v et e c h n o l o g yr e s e a r c hf i e l d si np a s td e c a d e ，i sas e r i e so f l l i g h t e c hc o l l e c t i o n s v i r t u a lr e a l i t yc r no f f e r t h e u s e rm o r el i f e l i k ee x p e r i e n c e ，a n d p r o v i d ep e o p l eag r e a tc o n v e n i e n c et oe x p l o r em a c r o s c o p i cw o r l da n dm i c r ow o r l d t h i s p a p e rs t u d i e s t h e h u m a n - m a c h i n ei n t e r a c t i o nb a s e do nt h ed a t ag l o v ei n t h ev i r t u a l e n v i r o n m e n to ft h eh y d r o p o w e rs t a t i o na n dt h es e a m l e s st e c h n o l o g yi nm u l t i c h a n n e l p r o j e c t i o ns y s t e m t h i sp a p e rm a i n l yd o t h ef o l l o w i n gr e s e a r c hw o r k ： f i r s t l y ，a c c o r d i n gt ot h ea n a t o m i c a ls t r u c t u r ea n dm o v e m e n tc h a r a c t e r i s t i c so ft h eh a n d ， im o d e lav i r t u a lh a n da n dav i r t u a le n v i r o n m e n to fh y d r o p o w e rs t a t i o nf a c i l i t i e s ，诵n 1t h e u s eo f3 ds t u d i om a x s e c o n d l y ，t h i sp a p e ro u t l i n e st h ep r i n c i p l e sa n df u n c t i o n so ft h ed a t ag l o v e ，a n a l y z e s t h em o v e m e n to fe a c hf i n g e rs e g m e n t ，a n ds t u d i e so nt h ej o i n td a t aa c c e s sa n dc o r r e c t i o no f t h ev i r t u a lh a n d i tg i v eao v e r v i e wo ft h el o c a t i o nt r a c k i n gt e c h n o l o g ya n dt h ea r c h i t e c t u r e o ft h ep c t r a c k e r id e v i s eaf i l t e r i n ga l g o r i t h mt oe n s u r et h es t a b i l i t yo ft h ev i r t u a lh a n d i n t e r a c t i o nt a s k t h i r d l y ，t h ep a p e rd e s c r i b e st h ec l a s s i f i c a t i o no f t h ev i r t u a lh a n do p e r a t i o n ip r o p o s ea v i r t u a lh a n dc o l l i s i o nd e t e c t i o na l g o r i t h mb a s e do nt h eh y d r o p o w e rs t a t i o nv rs y s t e m i a n a l y s i st h ep r o c e s so ft h ev i r t u a lh a n do p e r a t i o no nd i f f i e r e n tt y p e so ft h eh y d r o p o w e r s t a t i o nd e v i c e s ，p r o p o s et h ec o r r e s p o d i n gv i r t u a lh a n ds t e a d yg r a s p i n gr u l e s ，t h e nc o m p l e t e t h ev i r t u a lh a n do p e r a t i o no nd i f f e r e n tt y p e so fc o m p o n e n t s t h u sia c h i e v et h e h u m a n - c o m p u t e ri n t e r a c t i o nb a s e do nt h ed a t ag l o v e f o u r t h l y ，t h ep 印e rd e s c r i b e st h ec l a s s i f i c a t i o no ft h ei m m e r s i v ev i r t u a lr e a l i t ys y s t e m a n dc h a r a c t e r i s t i c so fm u l t i c h a n n e lp r o j e c t i o ns y s t e m i ts t u d i e sc a l i b r a t i o nt e c h n o l o g i e si n t h em u l t i - c h a n n e lp r o j e c t i o ns y s t e m ii m p l e m e n to p e n g l b a s e dg e o m e t r i cc o r r e c t i o na n d e d g eb l e n d i n g ，a n da c h i e v et h ed i s p l a yo ft h eh y d r o p o w e rs t a t i o nv i r t u a le n v i r o n m e n ti nt h e t h r e e c h a n n e lp r o j e c t i o ns y s t e m k e yw o r d ：v i r t u a le n v i r o n m e n t , d a t ag l o v e ，p o s i t i o nt r a c k e r s ，s t a b l eg r a s p i n g ， h y d r o p o w e rs t a t i o n ，m u l t i - c h a n n e la r o j e c t i o n i i 硕| ：论文水电站虚拟环境中的沉浸式人机交互技术研究 目录 摘要。i a b s t r a c t 1 i 目录。i i i 1 绪论。1 1 1 课题背景及来源1 1 2 虚拟现实技术概述1 1 2 1 虚拟现实的概念1 1 2 2 虚拟现实的特征2 1 2 3 虚拟现实系统的分类3 1 3 虚拟现实技术的发展与研究现状4 1 3 1 虚拟现实技术的发展历史4 1 3 2 虚拟现实的研究成果5 1 3 3 虚拟现实的应用领域6 1 4 本文所做工作。7 2 虚拟手与水电站虚拟环境的建模。8 2 1 三维建模技术8 2 1 1 三维建模技术概述8 2 1 23 ds t u d i om a x 概j 丕8 2 2 虚拟手建模9 2 2 1 人手的解剖结构和运动特点9 2 2 2 虚拟手的几何建模1 0 2 3 水电站虚拟环境建模1 2 2 3 1 水利发电与水电站设施1 2 2 3 2 水电站虚拟环境的建模1 5 2 4 本章小结18 3 水电站虚拟环境中的人机交互1 9 3 1 人机交互技术概述1 9 3 1 1 人机交互概念模型1 9 3 1 2 人机交互设备。2 0 3 1 3 基于数据手套的人机交互2 1 3 2 虚拟手的运动映射2 2 i i i 目录 硕士论文 3 2 1 数据手套原理和功能2 2 3 2 2 人手各指段的运动规律2 3 3 2 3 虚拟手各关节数据的获取和校正2 4 3 3 位置跟踪。2 5 3 3 1 位置跟踪技术概述2 5 3 3 2 位置跟踪器p c t r a c k e r 2 6 3 3 3 位置跟踪器的滤波算法2 7 3 4 虚拟手操作2 8 3 4 1 虚拟手操作分类2 8 3 4 2 虚拟手的碰撞检测2 9 3 4 3 虚拟手的稳定抓取3l 3 5 水电站虚拟环境中的虚拟手交互的实现3 2 3 5 1 水电站操作部件分类3 2 3 5 2 虚拟手对指面抓取型部件的操作3 3 3 5 3 虚拟手对掌抓取型部件的操作3 5 3 5 4 虚拟手对指侧面抓取型部件的操作3 7 3 5 5 虚拟手对手指推动型部件的操作3 9 3 6 本章小结4 2 4 多通道投影系统的研究与实现4 3 4 1 多通道投影系统概述4 3 4 1 1 沉浸式虚拟现实系统分类4 3 4 1 2 多通道投影系统的特点4 3 4 1 3 多通道投影系统的校正技术4 4 4 2 图像几何校正与边缘融合4 5 4 2 1 几何校正4 5 4 2 2 边缘融合4 5 4 3 三通道投影系统的组成与现场沉浸感设计4 6 4 4 水电站虚拟环境在三通道投影系统中的显示4 8 4 5 本章小结4 9 5 总结和展望5 0 致谢。5 2 参考文献5 3 i v 水电站虚拟环境中的沉浸式人机交互技术研究 1 1 课题背景及来源 虚拟现实( v i r t u a lr e a l i t y ) 是- - f - j 崭新的综合性信息技术，通过提供给用户诸如 视听触等各种直观自然的实时感知交互手段，极大限度地方便用户操作和探索宏观和 微观世界中的不便直接操作和观察的事物。 促使虚拟现实走向应用的核心技术是交互技术，随着虚拟现实技术的发展，人机 交互的方式已经远不限于键盘和鼠标的传统模式，许多先进的虚拟现实交互设备被运 用到虚拟现实系统之中，如数据手套、数据衣、头部跟踪器等。虚拟现实系统通过运 用交互设备使用户获得沉浸式人机交互体验。多通道大屏幕立体显示系统是一种能够 为用户提供宽视场角、高分辨率、具有高度沉浸感和良好交互性并可支持多用户的虚 拟现实系统，它可以使用户获得更好的沉浸体验。 水电站是一个集水力、机械、电子、电力等多学科设备为一体的生产系统，由于 需要考虑水电站实际运行的安全性、经济型以及它对整个电力系统的影响，很多实际 的试验研究的条件是不被允许的，也是不现实的。水电站仿真培训系统通过仿真水电 站的运行状况，逼真地模拟典型操作和各种异常，对提高水电站运行人员的操作技能、 检验业务素质具有重要意义。利用基于虚拟现实和人机交互技术的水电站虚拟仿真系 统来进行试验研究和培训运行人员，既安全又经济有效，具有广阔的发展前景。 本课题的背景科研项目是为华东电网培训中心研发的富春江水电站仿真培训系 统，该系统以富春江水电站为仿真对象，构建水电站虚拟环境，全面仿真水电站系统 设备，从而来完成运行人员的培训工作。 1 2 虚拟现实技术概述 虚拟现实技术，又称“人工现实”、“赛伯空间、“虚拟环境”等，它以计算机技 术为主，结合计算机图形学、传感技术、人体工程学、人机交互理论等多个领域的研 究成果，利用计算机等设备来产生一个存在于计算机内部的看起来、听起来、摸起来 都像真的的三维虚拟环境【i l 。在这个虚拟环境中，人与虚拟世界融为一体，感知并干 预环境，获得沉浸式体验。 1 2 1 虚拟现实的概念 关于虚拟现实的概念，目前主要分为狭义概念和广义概念。狭义概念：是一种先 进的人机界面( 人机交互方式) ，即基于自然的人机界面1 2 1 。在此环境中，用户眼睛看 到虚拟环境中的立体景象，耳朵听到虚拟环境中的立体声音，肢体感触到虚拟环境反 l 绪论 硕士论文 馈的作用力，用户从中体验到身临其境的感觉。换句话说，人以与感知真实世界相同 的( 自然的) 方式来感受由计算机生成的虚拟世界，体验到和在真实世界中一样的感 觉。广义概念：是对真实三维世界的模拟，不仅是表面的模拟，还包括三维世界内部 的模拟。用户以自然的方式接受和响应虚拟环境的各种感官刺激，与虚拟环境中的人 和物体进行思想和行为上的交流，用户从中体验到身临其境的感觉。虚拟现实系统产 生的虚拟世界是由计算机生成并存在于计算机内部的三维的虚拟世界，主要分为两种， 第一种是真实世界的重现，如现实世界中真实建筑物的虚拟莺建；第二种是完全虚拟 的世界，如三维动画中的人工童话世界。 综合各种文献对虚拟现实的定义，主要包含以下三个要点： 计算机生成具备多种感官刺激的虚拟世界； 人在虚拟世界中有身临其境感，即沉浸感； 人与虚拟世界自然地进行交互操作。 虚拟现实可简明定义如下：虚拟现实是计算机生成的给人多种感官刺激( 视、听、 触觉) 的虚拟世界，人以自然的方式与虚拟世界中的物体进行交互，获得沉浸式体验。 虚拟现实的概念模型如图1 1 所示。 ；西re j 脊_佩1 日了 介感知系统 入 虚拟世界 者反应动作 ( 环境) 反应系统 图1 1 虚拟现实的概念模型 1 2 2 虚拟现实的特征 美国科学家b u r d e ag 和p h i l i p p ec o i f f e t 在v i r t u a lr e a l i t yt e c h n o l o g y 一书中，提 出了一个“虚拟现实技术金字塔”，该金字塔表示出了虚拟现实技术的三个基本特征一 一沉浸( i m m e r s i o n ) 、交互( i n t e r a c t i o n ) 、构想( i m a g i n a t i o n ) ，如图1 2 所示。 ( 1 ) 沉浸性：是指用户感觉仿佛完全置身于在计算机所创造的三维虚拟世界中，感 觉自己就是虚拟世界中的一部分、融入其中，虚拟环境中的一切事物都和自然世界一 样形象逼真；用户可以主动参与虚拟世界中的各种活动。 ( 2 ) 交互性：是指用户可以借助交互设备与虚拟世界以自然的方式进行交互，对虚 拟世界中的物体进行操作，并得到虚拟世界的实时反馈【3 1 。 ( 3 ) 构想性：是指盘拟的环境是设计者根据自己的思想而想象出来的，可以用来实 现一定的目标。为此而开发的虚拟现实系统通常以夸大的形式反映设计者的思想，为 人类突破时空限制去探索世界提供了一种全新的方法。例如，在实地建造一座摩天大 2 硕上论文 水电站虚拟环境中的沉浸式人机交一呸技术研究 厦之前，以往需要画许多图纸，现在可以采用虚拟现实系统来进行设计，这比图纸生 动形象得多，设计出来的虚拟摩天大厦反映出来的是设计者的思想。因此部分学者也 称虚拟现实为放大人们心灵的工具或是人工现实( a r t i f i c a lr e a l i t y ) 。 图1 2 虚拟现实的3 i 特征 除了以上的3 i 特点之外，多感知性也是虚拟现实的特点 4 1 ，是指虚拟现实不仅具 备普通计算机技术皆有的视觉感知，还具备听觉感知、触觉感知等多种感知方式。 1 2 3 虚拟现实系统的分类 沉浸性和交互性是虚拟现实技术最重要的两个特征，根据虚拟现实所倾向的特征 的程度不同，可将虚拟现实系统划分为以下四类：桌面式虚拟现实系统、沉浸式虚拟 现实系统、增强式虚拟现实系统、分布式虚拟现实系统。 ( 1 ) 桌面式虚拟现实系统：以个人计算机作为虚拟环境产生器、计算机屏幕作为虚 拟场景的输出窗口，用户通过键盘鼠标等输入设备的操作来完成与虚拟世界的交互。 它要求用户利用计算机屏幕或单投影墙观察虚拟世界，并使用输入设备来操作虚拟世 界中的物体。桌面式虚拟现实系统有如下特点：用户会受到外界的干扰，不能完全 沉浸于虚拟世界中，缺少身临其境的感觉；硬件要求较低，实现成本较低，易于广 泛应用。 ( 2 ) 沉浸式虚拟现实系统：以高级图形工作站作为虚拟环境产生器，头盔显示器或 多面投影墙作为输出设备，用户利用各种交互设备来获得完全沉浸式体验1 5 j 。沉浸式 v r 系统使用户获得仿佛置身于真实世界的沉浸感，它是一种较高级的虚拟现实系统。 ( 3 ) 增强式虚拟现实系统：增强式虚拟现实系统是把真实世界与虚拟世界叠加在一 起的一种系统，用户既町以看到真实世界，也可以看到叠加在真实世界上的虚拟对象。 其中的虚拟对象提供给用户在真实世界中无法感知或不方便感知的深层信息，加强用 户对真实世界的认知。增强式虚拟现实系统具备三个特点：真实世界和虚拟世界融 3 l 绪论 硕论文 为一体；能够进行实时的人机交互：真实世界和虚拟世界在三维空间中整合在一 起。增强式虚拟现实系统的一个典型例子是：飞行员在驾驶战斗机时，平视显示器将 仪表数据投射到飞行员前方的穿透式屏幕上，使飞行员不必低头读取座舱中的仪表数 据，只需正视前方的敌机。 ( 4 ) 分布式虚拟现实系统：分布式虚拟现实系统足虚拟环境不受地理位置的限制运 行在多台通过计算机网络互联的计算机上，多个用户借助计算机网络共同参与到一个 虚拟世界，对同一虚拟世界进行实时观察和操作，从而实现协同工作。分布式虚拟现 实系统有五个特点：各用户共享同一个虚拟工作空间；伪实体的行为真实感【6 1 ： 支持实时交互，共享时钟；各用户可以用各不相同的方式进行通信；资源信息 共享，用户可以自然地操纵虚拟世界中的对象【_ 7 1 。 1 3 虚拟现实技术的发展与研究现状 1 3 1 虚拟现实技术的发展历史 虚拟现实技术的发展可以粗略地分为三个阶段： ( 1 ) 2 0 世纪5 0 年代2 0 世纪7 0 年代：虚拟现实技术还没有完整的概念。 1 9 5 6 年，m o r t o nh e i l e g 研制出了名为s e n s o r a m a 的摩托车仿真器1 8 1 ，该仿真器 拥有三维显示与立体声，还有振动和风吹的效果，这是虚拟现实思想的起源。 1 9 6 5 年的i f i p 会议上，计算机图形创始人i v a ns u t h e r l a n d 作了“终极显示( t h e u l t i m a t ed i s p l a y ) 的报告 9 1 ，提出观察者可以通过显示屏这个窗1 ：3 来观察一个世界， 从而获得身临其境的感觉，这是虚拟现实技术发展史上的重要里程碑事件。 1 9 6 8 年，i v a ns u t h e r l a n d 利用两个阴极射线管( c r t ) 开发出了头盔式显示器 h m d ，这一成果为三维立体现实技术的继续发展奠定了坚实的基础。 ( 2 ) 2 0 世纪8 0 年代初- 2 0 世纪8 0 年代中期：虚拟现实技术形成基本的概念。 1 9 8 1 年，m i c h a e lm c g r e e v e y 开展了研究性项目“空间理解与高级显示“ ，随后 他和s c o t tf i s h e r 研制出了基于液晶显示( l c d ) 技术的虚拟可视环境头盔系统v i v e d h m d 9 。 1 9 8 6 年，美国航天管理局n a s a a m e s 实验中心研制出了v i e w 系统，该系统 采用了头盔显示器、数据手套以及语占识别与跟踪技术，这是世界上第一个较完整的 多用途、多感知的虚拟现实系统，随后，n a s a a m e s 实验中心的部分研究人员离开该 实验中心，独立成立了专门头盔显示器和数据手套的v p l 公司。 1 9 8 9 年，v p l 公司的j a r o nl a n i e r 提出了名词“v i r u a lr e a l i t y ”( 虚拟现实) t o l ， 其含义为：v i r u a lr e a j i t y 是让用户在在人工合成环境中获得“进入角色“ 的感受。 ( 3 ) 2 0 世纪8 0 年代后期至今：虚拟现实技术加速发展。 4 式人机交互技术研究 讨论，主要包 括以下三方面：实时三维图形生成技术；多传感器交互技术；高分辨率显示技 术。由此，v r 技术发展的研究方向得到确定。 1 9 9 2 年，虚拟现实的第一次国际会议“真实世界与虚拟世界的接口”在法国召 开，该会议促使虚拟现实成为了一个独立研究方向。 1 3 2 虚拟现实的研究成果 虚拟现实是信息技术领域的研究热点，世界各国投入大量人力物力进行虚拟现实 技术的研究，主要研究成果如下： ( 1 ) 国外：以美国为代表的一些国家的虚拟现实技术发展十分迅速。 美国航空航天管理局( n a s a ) 实现了对哈勃望远镜的仿真，开展了“虚拟行星 探索试验计划，并研制出了空间站仿真训练系统、卫星维护仿真训练系统和国家v r 教育系统【1 0 l 。美国北卡罗来纳大学( u n c ) 计算机系开发了帮助用户实现复杂场景的 实时动态显示的p i x e lp l a n e s 并行处理系统【1 1 1 。美国伊利诺斯州立大学研制出一个支持 车辆远程协作设计的分布式虚拟现实系统，不同地理位置的工程师可以通过计算机网 络实现实时的分工协作设计。 德国国家数学与计算机研究中心利用二维卫星云刚l ，对地球环境进行了多维演 示模型的虚拟重构。 日本筑波大学工程机械学院开发出了拥有九自由度的触觉输入系统【l 引，还研制出 了虚拟行走原型系统，用户可以穿上全方向的滑动装置来交替迈动左脚和右脚。同本 东京大学为了克服现今显示技术与交互作用技术的局限，研发出了一种虚拟全息系统。 此外，英国、荷兰等国在虚拟现实技术相关领域也开展了大量的研究工作，主要 包括软硬件的设计和开发、虚拟现实技术在工业和培训中的应用，虚拟现实可视化等。 ( 2 ) 国内：与一些发达国家相比，我国在虚拟现实技术领域的研究还稍有差距，这 引起了国内专家学者的高度重视，国内高校与科研机构已经积极投入该领域，而且取 得了许多重要的研究成果。 北京航空航天大学计算机系是国内进行虚拟现实技术研究最早且最权威的单位之 一。他们开发出了v r 视觉接口的部分硬件、用于开发虚拟现实应用系统的开发平台、 用于飞行员的v r 训练系统，并实现了分布式虚拟环境网络设计，研究了虚拟环境中 物体物理特性的表示与处理方法。 浙江大学c a d & c g 国家重点实验室开发了一套桌面型虚拟建筑环境漫游系统 【1 3 l ，采用了层面叠加绘制技术与预消隐技术，该系统具有较好的实时性，虚拟场景的 真实感也较强。此外，他们还提出了一种虚拟环境的快速漫游算法、一种递进网格的 快速生成算法。 5 l 绪论硕士论文 哈尔滨工业大学计算机系针对人类高级行为中的特定人脸实现了图像合成、表情 合成以及唇动合成，目前的主要研究内容的是人在说话时的手势和头势动作、语音和 语调的同步等问题。 武汉大学的虚拟现实实验室是国内一流的虚拟地理环境教学与研究机构【1 4 】，成功 开发了多项数码三维模拟系统，并提供了大量科学的空间信息。 中国科技开发院威海分院侧重研究虚拟现实的视觉接口技术，还开发出了l c d 红外立体眼镜，并实现了其商品化的生产。 另外，国防科技大学计算机研究所、上海交通大学图像处理与模式识别研究所、 西北工业大学c a d c a m 研究中心、安徽大学电子工程与信息科学系、华东船舶工业 学院计算机系等机构也进行了很多虚拟现实技术方面的研究和探索。 1 3 3 虚拟现实的应用领域 虚拟现实技术经过多年发展，其应用领域越来越广泛，最初是用于军事仿真，近 年来在城市规划，室内设计，虚拟现实游戏，工业设计等方面都取得了巨大的发展。 ( 1 ) 军事 虚拟现实技术就是诞生于军事应用，在军事应用方面很多，包括：虚拟战场，虚 拟操作，虚拟驾驶，虚拟装配等，这些都是通过v r 技术来实现的。 ( 2 ) 航天航空 宇宙飞船和各种航空器是需要耗费巨资的现代化航天航空设备，宇宙中存在着大 量未知且危险的因素【1 5 】，因此十分有必要对航空器可能遇到的环境进行模拟，这可节 省大量费用，虚拟风洞就是一个著名的例子。 ( 3 ) 计算机辅助设计 各种工业产品和建筑物都需要进行反复构思及设计，但往往用户仍不甚满意。美 国波音公司b u t l e r 设计出了一架名为v s x 的虚拟飞机，设计人员可以身临其境地观 察弋机的外形、内部结构以及空间布局。建筑设计师也可在实地盖楼前设计虚拟建筑 物，让用户自己来观察建筑物外形和内部房间部位，便于设计师根据用户意见修改设 计。 ( 4 ) 科学研究和计算的可视化 各种分子结构模型、地震石油勘探数据处理、大坝应力计算的结果等，都需要进 行三维或多维图形可视化显示和交互式浏览，虚拟现实技术为进行科学研究、探索微 观形态等提供了直观形象的工具。 ( 5 ) 工业 虚拟现实技术在工业应用上，主要运用于机床模拟操作、设备管理、虚拟装配、 工控仿真等。 6 水电站虚拟环境中的沉浸式人机交互技术研究 ( 6 ) 医疗 由于不能随便允许实习医生在患者身上动手术，培训外科医生不仅耗资大，而且 耗时长。但是如果不进行实际操作的话，实习医生又很难学会动手术。虚拟手术台能 部分模拟出外科手术的现场，并能提供模拟的人体器官，可以让实习医生逼真地观察 人体器官内部的构造和病灶，具有极高的实验价值。 ( 7 ) 城市规划 在城市规划中经常会用到虚拟现实技术，用虚拟现实技术能十分直观的呈现城市 环境，模拟各种天气以及飓风、火灾、水灾、地震等自然灾害下的城市情景，而且能 让用户一目了然的了解城市的供电系统、排水系统、道路交通，沟渠湖泊等。这可以 有效地帮助政府进行城市规划。 ( 8 ) 游戏 对于游戏的开发，目前虚拟现实技术比较适合开发：角色扮演类、动作类、冒险 解迷类、竞速赛车类的游戏，其先进的图像引擎丝毫不亚于目前的主流游戏引擎的图 像表现效果，而且整合配套的动力学和甜系统更给游戏的开发提供了便利。 1 4 本文所做工作 本文研究基于数据手套的人机交互技术和多通道投影技术实现水电站虚拟环境中 的沉浸式人机交互。本文的主要研究内容有： ( 1 ) 对虚拟现实技术的概念、特征、分类及其发展和研究现状进行了总结和阐述。 ( 2 ) 介绍了3 ds t u d i om a x 三维建模软件，通过分析人体解剖学原理和手部运动约 束分析，建立了一个可以模拟真实手部运动的虚拟手模型；根据水电站实际设施组成， 创建了一个水电站虚拟环境模型。 ( 3 ) 研究分析了虚拟手各关节数据的获取和设置，完成了虚拟手在三维空间中的运 动映射，研究了p c t r a c k e r 位置跟踪技术及其滤波算法，研究了虚拟手操作类型，提 出了基于水电站v r 系统情景模式的虚拟手碰撞检测方法，最终通过设计抓取规则完 成虚拟手对水电站虚拟环境中的设备部件的操作，实现了基于数据手套的人机交互过 程。 ( 4 ) 介绍了沉浸式虚拟现实系统的分类及多通道投影系统的优点和校正技术，通过 几何校正和边缘融合软件方法实现了多通道投影系统的无缝拼接，利用多通道投影系 统对水电站虚拟环境进行输出显示，提高沉浸式人机交互的体验。 7 2 虚拟人勺水电站虚拟环境的建模 硕士论文 2 虚拟手与水电站虚拟环境的建模 2 1 三维建模技术 2 1 1 三维建模技术概述 三维模型的实时建模与动态显示是v r 技术的基础，可以将之分为三类： ( 1 ) 基于几何模型的实时建模与动态显示技术 是指利用计算机建立基于几何多边形的三维模型，然后通过给定的观察点与观察 方向，完成绘制过程( 即消隐、光照、投影) ，从而生成几何模型的图像。 该技术的优点是用户可以随意改变在仿真建模环境中的观察点与观察方向，沉浸 于其中，而不是仅从外部观察建模结果。因此，该技术能够基本满足v r 技术的3 i 特 性的要求。基于几何模型的建模软件很多，其中3 d sm a x 和m a y a 是较为流行的软件。 ( 2 ) 基于图像的建模技术 是指为了能够更为方便地获取真实世界的三维信息，通过摄像机拍摄的景物图像， 自动获取该景物的二维增强表象( 或三维模型) 。具体方法是将摄像机放在某一指定观 察点，通过旋转摄像机的角度，拍摄景物不同角度的图像，然后将所有图像拼接起来 并进行切割与压缩，最终形成全景图。 该技术能够十分真实完整地重现真实环境的原有风貌，有着广泛的应用前景。但 是，它只能完成对真实世界三维数据的采集，而不能提供给用户自由想象的空间。 ( 3 ) 三维扫描成型技术 该技术利用三维扫描仪采集物体的三维信息，数据准确性很高。但由于三维扫描 设备比较昂贵且不够灵活，该技术尚未得到广泛应用。 根据现有条件，本课题采用3 d sm a x 来实现虚拟人与水电站虚拟环境的建模。 2 1 23 ds t u d i om a x 概述 3 ds t u d i om a x ( 人们常简称为3 d sm a x 或m a x ) ，是由a u t o d e s k 公司开发的基 于p c 的三维动画渲染和制作软件，是当今p c 机上最为流行的三维动画与建模软件。 3 d sm a x 的应用范围十分宽泛，譬如建筑设计、工业设计、游戏、多媒体制作等领域。 3 d sm a x 的功能十分强大，有着以下特点： ( 1 ) 整体化的工作组工作流程 不管用户的项目的规模大小及工作人员的多少，3 d sm a x 的外部参考( e x t e r n a l r e f e r e n c i n g ) 可以使用户极为方便地管理三维对象；其图解视图( s c h e m a t i cv i e w ) 也 使用户观察并建立复杂的场景变得较为简单。 外部应用程序可以通过3 d sm a x 的d i s t r i b u t e dc o m 接口与其进行交互，三维场景 8 硕十论文水电站墟拟环境中的沉浸式人机交互技术研究 内容对辅助管理工具是可见的。 ( 2 ) 可定制的工作界面 用户可以根据不同项目的需求定制3 d sm a x 的工作环境。用户可以随时调用定制 的工作界面，还可以在不同的图形工作站之间使用。这可以提高日常的工作效率。 ( 3 ) 角色动画 c h a r a c t e rs t u d i o 是快速且直观的角色动画建立标准，可支持简化的表皮、从属的 运动和角色的变形。用户可以通过绘制的衰减权重来控制样条线或骨骼实现角色变形， 还可以利用基于弹簧的变形功能来创造柔软体。c h a r a c t e rs t u d i o 可以让动画设计师基 于足迹、运动捕捉及自由变形技术创建出极为真实的高级动画角色。 ( 4 ) 极大的提高工作效率 3 d sm a x 有简洁的脚本语言、插入式应用程序扩展。其脚本语言对应用程序( 包 括插件) 是开放的，用户可以快速地生成脚本、结合多个插件界面，甚至自行定义插 件。 3 d sm a x 可以利用多处理器和网络进行渲染，提高复杂项目的渲染速度。3 d sm a x 还可以与其它软件包、系统和渲染器一起工作，可以非常直观地进行材质调整、贴图 和建模。3 d sm a x 的众多特性可以极大地提高工作效率。 2 2 虚拟手建模 在虚拟现实系统中，若要实现用手直接操作控制虚拟环境中的虚拟物体，需创建 人手的虚拟三维模型，用户通过控制虚拟环境中的虚拟手来实现对虚拟物体的操作。 2 2 1 人手的解剖结构和运动特点 人手有着非常复杂的结构，共由2 7 块骨骼组成，主要分为腕骨( c a r p a l ) 、掌骨 ( m e t a c a r p a l ) 和指骨( p h a l a n x ) ，其骨骼解剖图如图2 1 所示。 腕骨共有8 块，互相连接在一起，腕骨在手的运动过程中基本上不会发生形状和 位移变化，我们可以将其整体简化成一个刚体。掌骨共有5 块，由拇指到小指依次称 为第1 v 掌骨。指骨共有1 4 块，除了拇指只有两节指骨，其他手指都有三节指骨， 依次称为近节指骨( p h a l a n g e ) 、中节指骨( i n t e r - p h a l a n g e ) 和远节指骨( d i s t a lp h a l a n g e ) 。 手部骨骼通过关节相互连接，随着关节的运动，人手的形状也随之发生变化。 人手的关节运动有两种类型： ( 1 ) 屈和伸。屈：由关节相连的两指段相互靠拢，两者夹角逐渐变小：伸：由关 节相连的两指段相互分开，两者夹角逐渐变大。 ( 2 ) 内收和外展。内收：以中指为中轴假想线，其他手指向中指靠拢；外展：以 中指为中轴假想线，其他手指离开中指。 9 2 虚拟人与水电站虚拟环境的建模硕士论文 p s p 2 p ， m e t a c a m 图2 1 右手骨骼解剖结构图( 手掌朝外) 研究人员分析得到，人手共有2 7 个自由度。大拇指有5 个自由度：掌腕骨相连的 关节处有2 个、m p 处有2 个、口处有1 个。其他的每个手指都有4 个自由度，其中 m p 处有2 个自由度，即朝手掌方向沿y 轴的弯曲伸展和手指间沿x 轴方向的内收 外展，p i p 和d i p 处各有1 个自由度，即朝手掌方向沿y 轴的弯曲伸展。图2 2 中表 示出了大拇指和一般手指的旋转轴。另外人手在空间有6 个自由度。 4l p 图2 2 人手运动分析 2 2 2 虚拟手的几何建模 根据2 2 1 节的分析，本文创建的虚拟手模型由一个手掌和五根手指的构成，其中 大拇指包括掌骨、近节指骨和远节指骨，其它手指包括近、中、远三节指骨；手掌和 l o 水电站虚拟环境中的沉浸式人机交互技术研究 人手各部分之间存在着运动继承关系。本课题采用层次树状结构进行虚拟手建模， 这样可以准确地表达这种运动继承关系，如图2 3 所示。树中每个节点都有自己的局 部坐标系，子节点可以根据坐标变换到父节点的坐标系中，因此树中的所有节点都可 变换到根节点的坐标系中，这便能得到手在某一时刻的形状。另外，对父节点的操作 将同时作用于子节点，但是对子节点的操作不会影响到其父节点。 手掌 形上孓 近节指骨近节指骨近节指骨 近节指骨 掌骨 上上上上上 中节指骨中节指骨中节指骨中节指骨近节指骨 上j r上上上 i 远节指骨远节指骨远节指骨 远节指骨远节指骨 不。 小指 无名指 中指食指火拇指 图2 3 虚拟手的拓扑结构 基于上述树状层次结构，我们由3 d sm a x 创建了的虚拟手几何模型，如图2 4 所 2 虚拟人与水电站虚拟环境的建模 硕士论文 图2 43 d sm a x 创建的虚拟手儿何模型 2 3 水电站虚拟环境建模 2 3 1 水利发电与水电站设施 2 3 1 1 水力发电 ( 1 ) 水力发电在能源开发中的作用 能源的开发和利用是整个国民经济的重要保证，其中电力工业是工农业生产的基 础，拥有十分重要的地位。水力发电是指将水能转化为电能的过程，它在电力工业中 有着特殊的作用。 为了利用水能，需要建造水工建筑物来集中落差、控制流量及输送水流。当水流 从上游通过水轮机流向下游时，水轮机将水能转化为机械能，水轮发电机再将机械能 转化为电能。因此，水电站是将水能转化为电能的设备与建筑物的综合体，是生产电 能的单位。 水电与火电或核电相比，有着本质上的优越性。水电属于可再生性能源，不需要 消耗燃料，而且水电站所需运行人员较少，因此水力发电的成本很低。水力发电的运 行很灵活，可根据电网负荷变化迅速调整其电量输出，因此可以很好地担负起电力系 统的调峰、调频以及事故备用等任务。水力发电大都具有航运、水产、防洪、供水等 1 2 硕士论文