虚拟现实与增强现实理论与实践 课件 单美贤 第1-3章 什么是VR -AR系列教程-Vuforia入门 - -Unity虚拟交互引擎介绍

虚拟现实与增强现实第一章

VR&AR概述VR定义概述VR的发展历史与演变VR定义及原理虚拟现实(VirtualReality)，简称VR技术。利用电脑或其他智能计算设备模拟产生一个三度空间的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户如同身临其境一般。虚拟现实三大特点：浸沉感、交互性和构想性。一是沉浸性(Immersion)。就是在虚拟现实系统提供的虚拟环境中，体验者的确有了“看得见、听得到、摸得着、闻得出”的真实感受。二是交互性(Interaction)。就是体验者用在日常生活中的方式与虚拟场景中的人或物进行各种交流、产生真实的互动体会。三是构想性(imagination)。就是用户能在虚拟的环境中获取新的知识和经验，形成感性或理性的认识，从而产生新的思想和行动，有效提高思考和行动能力。VR分类非沉浸式虚拟现实系统，用户通过键盘、鼠标、操纵杆或触摸屏等设备与虚拟环境进行交互，这种虚拟现实系统通常被称为非沉浸式虚拟现实系统（Non-Immersive

VRSystem），又称桌面式或窗口式虚拟现实系统。/resourcedetail.aspx?id=184沉浸式虚拟现实系统（Immersive

VR

System）可使用户完全融入并感知虚拟环境，获得存在感。一般有两种途径实现系统功能：洞穴自动虚拟环境（Cave

Automatic

Virtual

Environments

，简称CAVE）和头戴式显示器，同时配备运动传感器以协助进行自然交互。分布式虚拟现实系统（Distributed

VR

System）通过互联网络使多地用户能够实时交互，共享相同虚拟世界。虚拟世界不独立存在，运行于网络连接的多个计算机系统。

1VR与AR的区别AR

(Augmented

Reality)-增强现实：是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，将真实环境和虚

拟物体实时地叠加到同一个空间，进行互动。真实世界信息和虚拟世界信息“无缝”集成。AR,1970年提出这一概念。2012年4月，谷歌发布Google

Glasses2015年1月，微软发布Hololens全息眼镜2016年2月，Meta公司发布Meta

2眼镜……VR与AR的区别VR和AR的区别：VR的视觉呈现方式是阻断人眼与现实世界的连接，通过设备实时渲染的画面，营造出一个全新的世界。（VR遮断真实世界）AR的视觉呈现方式是在人眼与现实世界连接的情况下，叠加全息影像，加强其视觉呈现的方式（AR则是叠加虚拟的影像）MR

(Mixed

Reality,

混合现实)是虚拟现实技术的进一步发展，该技术在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。认识常见的VR、AR、MR设备不同类型VR眼镜性能对比典型的VR交互外设VR将视听体验带到了一个新的高度VR主要设备构成VR显示原理人体左眼、右眼存在视觉差（位置/角度偏移），人脑基于双眼视觉差计算出立体场景。所有3D格式（偏振/红蓝/快门等）均基于此原

理。左右分屏式3D格式，将左眼、右眼图像并排输出显示，通过佩戴眼镜实现左眼只看左边图像、右眼只看右边图像，合并入人脑后即呈

现立体场景。VR眼镜：核心包括显示屏幕、光学器件、图像处理器及输入接口等。处理器及输入接口负责左右格式内容处理、输入，屏幕负责显示

左右格式内容，光学器件通过光学路径使左右眼与左右图像对应。思考：4KVR眼镜的视觉效果只达到了2K，是什么原因？VR眼镜由于要实现立体效果，所谓的4K其实只有一半的有效分辨率，也就是2K单眼VR眩晕VR在各行各业中的应用VR典型应用/app/468820/Titans_of_Space_PLUS/VR+艺术绘画VR直播参考演示案例：/home/live/index.html?home_id=697&live_id=1489VR数字人VR发展展望VR市场细分VR头戴设备市场规模VR内容市场规模VR内容市场：•

消费级内容市场：游戏、影视、直播……•

企业级内容市场：教育、培训……•

VR营销市场：VR技术+广告营销VR发展展望目前资本市场前景良好，融资创新积极性较高。预计2021年中国VR设备出货量820万台，用户量超过2500万人，中国VR市场规模将占全球的34.6%，达到460亿元。2020年3月2日，人社局新发布了16个新职业，其中包括：虚拟现实工程技术人员、全媒体运营师

等。复习VR、AR、MR的概念发展历史VR应用VR行业现状：产品快速成熟，市场高速增长，人才、应用紧缺VR技术路径虚拟现实专业技能集及岗位集（数字媒体/计算机等相关）VR与元宇宙虚拟现实，数字孪生，元宇宙......信息技术3.0时代来临元宇宙：现实世界高度数字化与虚拟世界高度个性化的深度融合。VR：元宇宙世界的视觉大门。虚实共生：虚实相互依存；AI赋能现实世界；人类赋能虚拟空间数字孪生是充分利用物理模型、传感器更新、运行历史等数据，集成多学科、多物理量、多尺度、多概率的仿真过程，在虚拟空间中完成映射，从而反映相对应的实体装备的全生命周期过程。元宇宙的英文名MetaverseMeta来自希腊语，意为超出verse则来自于宇宙「Universe」其字面意思就表示为「超越现实宇宙」的存在，即被科技创造出的与现实真实世界映射交互的虚拟世界，是一种具备新型社会体系的数字生活空间。09:48S.

35

1

1

1从物理宇宙到元宇宙可以大致分为四个阶段:09:48S.

3909:48S.

40

109:49虚拟现实与增强现实虚拟现实的接口设备请体验相关VR和AR类产品或应用，例如：手机端应用“AR

Ruler”;

元宇宙校园，数字/VR展馆、VR直播，等等。在此过中，1､可以从沉浸感、交互性、想像性等程角度思考；2､可以结合自己的专业角度来思考（这些产品包括哪些专业能力，有哪些地方可以改进的，自己如果想从事这方面的工作需要如何提升等）09:49S.

209:49S.

3虚拟现实系统的组成虚拟现实从应用角度讲，是利用计算机图形生成技术从空间和位置上以交互方式虚拟出三维场景（视觉）、声音（听觉）、触觉甚至嗅觉的感受，从而达到身临其境的效果。从技术角度讲，是由高性能计算机系统、显示输出设备、位置和触觉跟踪采集输入设备、软件引擎系统等组成。09:49S.

409:49S.

5本章内容人的视觉特效立体视觉视场虚拟现实接口设备视觉显示设备听觉显示设备触觉/力觉等显示设备跟踪设备

109:49S.

609:49S.

709:49S.

8立体视觉人为什么要长两只眼睛？仅从单幅场景图像无法获知物体的深度信息两眼大约有6.5cm的瞳距，对同一场景，两眼得到的图像略有差别，大脑对这两幅图像中的细节进行解释使你有距离和深度的感觉09:49S.

9我们只是根据场景中的光照变化、物体遮挡、阴影以及经验等渠道来感觉那些场景的立体效果。浮空硬币的效果09:49S.

1009:49S.

11立体视觉可以推算出深度

z

的计算公式：z

=

D*S

/(xl

-

xr)视差：真实空间的某一点，分别投影生成两幅图像中两个位置不同的像点，这相互对应的两个像点在图像中位置上的差值就是视差。09:49S.

12立体视觉只要使双眼各自看到恰当的图像，就能使人产生立体的感觉。立体显示的原理就是通过体视设备使左右两眼看到两幅图像。两幅图象之间存在的水平位差在人眼中形成视差，使得原本在二维平面上的图像被重构成一虚拟的立体空间。立体显示原理立体图产生的基本原理是通过深度信息的恢复来实现的。我们这里所指的立体图是通过让左右双眼接受各自的图像，从而恢复三维信息。通过这一机制产生的立体图是和人们日常生活中感受立体信息的过程相一致的。立体图绘制则是对同一场景用左右两个视点分别计算其透视图，产生两幅具有一定视差的图像，然后借助立体眼镜等设备，使左右双眼只能看到与之相对应的图像，视线相交于三维空间中的一点上，从而恢复出三维深度信息。立体视觉显示器的原理举例09:49S.

1409:49S.

15视场眼睛的视场约为水平±100o，垂直±60o，而水平的双目重叠视场120o目前的实际全景显示设备可能产生水平±100o，垂直±30o视场，这已经有强的沉浸感了。09:49S.

16本章内容人的视觉特效立体视觉视场虚拟现实接口设备视觉显示设备听觉显示设备触觉/力觉等显示设备跟踪设备09:49S.

17虚拟现实的接口设备视觉显示设备听觉显示设备触觉/力觉等显示设备跟踪设备09:49S.

18视觉显示设备视觉显示设备视觉显示表面成像系统跟踪系统09:49S.

19视觉显示表面阴极射线管（CRT）液晶显示器（LCD）等离子显示器（PDP）发光二极管显示器（LED）VRD类显示器投影类显示三维显示09:49S.

20发光二极管显示器（LED）09:49S.

21VRD显示原理（VirtualReality

Display

）VCD直接把调制的光线投射在人眼的视网膜上，产生光栅化的图像。09:49S.

22VRD显示特点很小很轻的眼镜大于120º的大视场很低的功率消耗具有看穿的显示方式09:49S.

23投影类显示司空见惯的投影仪投影在投影幕上、墙上或者任何地方可穿戴设备：第六感omniTouch09:49S.

24能够让任何表面或物体变成交互式显示屏幕，辨识操作者的手势动作。09:49S.

25三维显器

Felix3DRGB激光调制器二色镜电机和位置传感器09:49S.

26期

望当

下09:49S.

27视觉显示设备视觉显示设备应当包括：视觉显示表面成像系统跟踪系统几种典型的虚拟现实立体显示设备09:49S.

28几种典型的虚拟现实立体显示设备头盔式立体显示器HMD可看穿的HMD双目全方位监视器BOOM立体眼镜式立体显示器环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示器09:49S.

29HMD09:49S.

30HMD09:49S.

31可看穿的头盔显示器在看穿的头盔显示中，虚拟图像投射在观察者眼前的半反光半透明的光学玻璃上。于是在看到计算机生成的虚拟图形的同时，也看到真实场景。09:49可看穿的头盔显示器BAE为“鹰狮”提供综合头盔显示器系统Sony公司的LDI-100头盔显示器，重量120g，提供可看穿的显示S.

3209:49S.

33BOOM显示器BOOM（Binocular

Omni-OrientationalMonitor双目全方位监视器）力图克服头戴式头盔的几个缺点：有重量，头戴不适跟踪延迟分辨率低09:49FakespaceFS2(dual

CRT,1280x1024)S.

3409:49S.

35FakespacePinch(dual

CRT,1280x1024)09:49S.

36BOOM显示器BOOM已不常用力图克服头戴式头盔的几个缺点：有重量，头戴不适跟踪延迟分辨率低游戏头盔：Oculus

Rift2013年CES中展出了一款名为OculusRift的头戴式娱乐终端09:49S.

37Oculus

Rift

视频OculusRift & VR极宽的视角对角线

110

度、水平视角

90

度不会有在黑暗中看小屏幕的感觉。这是真正沉浸式体验的保证。低延迟使用高精度、轻量级的屏幕，使得游戏画面能够最大程度跟上头部的摆动。价格实惠希望更多的满足各位游戏迷大视场介绍视频-2’3009:49S.

40几种典型的立体视觉显示设备头盔式立体显示器HMD可看穿的HMDBOOM立体眼镜式立体显示器环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示09:49S.

41立体眼镜式立体显示显示设备提供左右眼交替的立体显示对；通过佩带立体眼镜使双目分别观看左右图像，从而产生立体视觉。09:49S.

42立体眼镜式立体显示分类按照眼镜原理分类主动系统（有源系统）。通过场顺序眼镜（液晶光阀眼镜）使双眼分时观看左右图像；被动系统（无源系统），使用红绿眼镜、偏振眼镜等使双眼分别观看不同的左右图像。主动式立体投影系统主动式立体成像是计算机通过投影仪快速交替地将左右眼的图像投射到屏幕上，并通过红外发射器发射同步信号。观众佩戴主动式立体眼镜，镜片由高速反应液晶制成。S.

44主动系统显示原理标准布局：利用红外信号传送同步信号，用于控制液晶眼镜的开关。主动式立体成像是计算机通过投影仪快速交替地将左右眼的图像投射到屏幕上，并通过红外发射器发射同步信号。观众佩戴主动式立体眼镜，镜片由高速反应液晶制成。被动式立体投影系统–

被动式立体成像一般情况下是使用两台投影仪，一台投射左眼图像，另外一台投射右眼图像，将左右眼图像同时投射到屏幕上。投影仪镜头前安装偏振光片，使投射的光线变成偏振光，而观众配带的立体眼镜的镜片也是偏振光片，并且左眼的偏振片与投射左眼图像的投影仪的偏振光片的偏振方向是相同的，右眼的偏振片与投射右眼图像的投影仪的偏振光片的偏振方向是相同的。这样左眼图像只能透过左眼镜片，而右眼图像也只能透过右眼镜片，从而使观众看到立体的图像。09:49S.

46被动系统佩戴偏振眼镜偏振光09:49S.

47被动系统两台投影机，

各套上一个偏振片，把两个偏振光的影像同时放映在金属银幕上(金属的反射不会改变偏振光向)，两个偏振光的振动方向互成直角。观众也戴上偏振片造成的眼镜。左眼的镜片只许左方摄影机的影像通过，而右眼的镜片只许右方摄影机的影像通过，于是就产生立体感觉。09:49S.

48被动系统戴红绿眼镜看黑白立体影像两台放映机，其一透过红滤镜放映红色影像，另一透过绿滤镜放映绿色影像。这两影像同时在银幕上相叠。观众戴上以一红一绿的玻璃纸为镜片的眼镜。09:49S.

49几种典型的立体视觉显示设备头盔式立体显示器HMD可看穿的HMDBOOM立体眼镜式立体显示器环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示09:49S.

50环屏立体显示设备180度环状屏幕09:49S.

51环屏立体显示设备09:49S.

52双通道，三幕09:49S.

53核心技术——边缘融合重叠区域需要进行融合色彩上的平衡几何矫正09:49S.

54几何矫正09:49S.

55非线性失真校正无几何矫正时的柱幕投影效果，重合区形状不重合09:49S.

56非线性失真校正带几何矫正时的柱幕投影效果，重合区形状重合球幕09:49S.

57四川志胜公司球幕1四川志胜公司球幕209:49S.

58球屏立体显示设备09:49S.

59几种典型的立体视觉显示设备头盔式立体显示器HMD可看穿的HMDBOOM立体眼镜式立体显示器环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示09:49S.

60洞穴式立体显示（CAVE）09:49S.

61洞穴式立体显示（CAVE）第一个CAVE为1991年由美国Illinois大学EVL实验室研制至少具有三个显示表面，它们彼此相连构成房间。允许多人共享一个虚拟环境，立体视图受控于一位观察者的视点位置和视线方向。09:49S.

62CAVE09:49S.

6309:49中视典CAVE中视典CAVE

209:49S.

65视觉显示设备头盔式立体显示器HMD可看穿的HMDBOOM立体眼镜式立体显示环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示（裸眼3D）09:49S.

66自动立体显示（裸眼3D）自动立体显示不要求辅助的观看设备（如场顺序或偏振眼镜），不给用户附加惯性约束自动分光立体显示

(Autostereoscopic

Displays)-------又称为光栅3D显示集成成像3D显示(Integral

Imaging

3D

Display)体三维显示

(Volumetric

3D

Display)全息术

(Hologram)其他09:49S.

6709:49S.

68自动分光立体显示

---

透镜显示面一个透镜面是圆柱透镜的阵列，它可以产生左右眼观看的图像，并可以将这两副不同的二维图像导向不同的观看子区域。当观察者的头在正确的位置时，每只眼就在不同的观看区，看到不同的图像，得到双目视差。09:49S.

69自动分光立体显示

---

视差档板显示视差档板是放在显示前方的垂直平板，它对每只眼都阻档了屏幕的一部分。视差档板的作用类似透镜面。差别在于它是用档板档住部分显示，而不是用透镜导引屏幕图像。屏幕显示两个图像，每个分成垂直条。屏幕上显示的条交替为左右眼图像。每只眼只看到它的条。自动分光立体显示

(光栅3D显示)已开始应用到手机、电脑、电视等产品上。09:49/articles/107717.htm光栅3D显示的笔记本09:49 S.

7109:49S.

72光栅3D显示的液晶显示器09:49S.

73集成成像3D显示记录阶段将记录介质置于微透镜板的焦平面上,

每个微透镜单元从不同的方向记录物体空间的部分信息再现阶段将记录介质置于具有相同参数的微透镜阵列的焦平面上,

用散射光照射,

由光线可逆原理就可在微透镜板另一侧观看到再现物体空间场景09:49S.

74记录过程再现过程09:49S.

75自动立体显示（裸眼3D）自动立体显示不要求辅助的观看设备（如场顺序或偏振眼镜），不给用户附加惯性约束自动分光立体显示

(Autostereoscopic

Displays)-------又称为光栅3D显示集成成像3D显示(Integral

Imaging

3D

Display)体三维显示

(Volumetric

3D

Display)全息术

(Hologram)其他09:49S.

76体三维显示体三维显示扫描体显示

(Swept-Volume

Display)高速旋转的屏幕，二维图像堆积形成立体印象–

Felix3D、Perspecta固态体显示

(Solid-VolumeDisplay)solidFELIX：一整块立方体水晶作为显示介质DepthCube系统：层叠液晶屏幕方式来实现三维体显示09:49S.

77体三维显示

---

扫描体显示Felix3D原理09:49 S.

78体三维显示

---

扫描体显示Perspecta原理09:49S.

79体三维显示

---

扫描体显示东京－日立公司“日立人类交流实验室”开发的3D显示器原型－－TransPort09:49S.

80体三维显示

---

固态体显示DepthCube系统原理09:49S.

81自动立体显示（裸眼3D）自动立体显示不要求辅助的观看设备（如场顺序或偏振眼镜），不给用户附加惯性约束自动分光立体显示

(Autostereoscopic

Displays)-------又称为光栅3D显示集成成像3D显示(Integral

Imaging

3D

Display)体三维显示

(Volumetric

3D

Display)全息术

(Hologram)其他09:49自动立体显示

---

全息摄影演示Holography.wmvS.

8209:49S.

8309:49S.

84←世界上首次使用全息投影的演唱会2010年3月9号晚间世嘉公司举办了一场名为“初音未来的感谢祭”“初音之日”（Miku'sDay）的初音未来全息投影演唱会普罗米修斯电影片段2013年6月在Nature杂志上的一篇文章，宣称：3D技术获突破，低成本移动全息图将成现实据估计，采用他们研发的新技术制造全息显示器的成本不到320英镑。09:49S.

85四种裸眼3D技术的比较自动分光3D显示（光栅3D显示）：技术最成熟，正推向市场，但技术仍需进步。集成成像3D显示：技术较成熟，研发阶段，极具竞争力。体3D显示：机械复杂，3D图形质量欠佳，发展受限。全息3D显示：技术不成熟，研究阶段，3D显示的终极目标。09:49S.

8609:49S.

87视觉显示设备头盔式立体显示器HMD可看穿的HMDBOOM立体眼镜式立体显示环屏或球屏立体显示设备洞穴式立体显示（CAVE）自动立体显示09:49S.

88接口设备视觉显示设备听觉显示设备触觉/力觉等显示设备跟踪设备09:49S.

89耳朵的定位功能双耳效应：人的两只耳朵对同一声源的直达声具有时间差（0.44~0.5）微妙，而人耳可以根据这些微小的差别判断声音的方向，确定声源的位置，但只能局限于确定前方水平方向的声源，不能解决三维空音声源的定位耳廓效应：人的耳廓对声波的反射以及对空间声源的定位有重要的定向作用。借此效应，可以判断声源的三维位置人耳的频率滤波效应：人耳的声音定位机制与声音频率有关，对20~200赫的低音靠相位差定位，对300~4000赫的中音靠音强差定位，对高音则依靠声音差定位头部相关传输函数：人的听觉系统对不同方位的声音产生不同的频谱，而这一频谱特性可由头部相关传递函数HRTF来描述09:49S.

90听觉显示设备要求虚拟环境的听觉接口应该能给两耳提供一对声波：它应有高度逼真性；能以预定方式改变波形，作为听者各种属性和输出的函数；排除所有不是VR系统产生的声源（增强现实系统除外）。09:49S.

91听觉显示系统的任务声音空间定位和建模声音传播模拟声源信号合成语音合成非语音合成09:49S.

92环绕立体声杜比（Dolby）环绕声系统虚拟环绕声技术–

把多声道的信号经过处理，在两个平行放置的音箱中回放出来，并且能够让人感觉到环绕声的效果立体声文件09:49S.

93四声道环绕立体声立体声与三维虚拟声音的区别立体声不像真实声音那样是在外部的.立体声听上去好像是从用户的头里发出来的.随着用户头部运动,小提琴的声音变到了用户左边.三维虚拟声音是使用头部跟踪器的数据合成的虚拟小提琴在空间中的位置保持不变,因此声音好像来自用户的脑后.声音传播的模拟09:49S.

95教堂声音传播模拟公路障碍物声音模拟声源信号合成语音合成非语音合成TTS（Text

To

Speech）的研究–

木兰09:49S.

96木兰声音其他声音合成游

戏应用09:49S.

972.2

接口设备视觉显示设备听觉显示设备触觉/力觉等显示设备跟踪设备（位姿传感器）09:49S.

98触觉/力觉显示触觉/力觉包括“肌肉运动知觉”和“接触的感觉”触觉/力觉显示的困难触觉是唯一一个双向感觉通道除味觉外，触觉是唯一一个不能隔一段距离进行刺激的感觉09:49S.

99各种不同类型的抓取动作从左到右，按照力量大小和灵巧程度排列S.

100触觉/力觉显示器举例力觉显示器力反馈鼠标FEELitMouse力反馈手柄力反馈手臂安装在人身体上的力反馈设备触觉显示器液压气动手阻抗控制振动09:4909:49S.

101力觉显示设备力反馈鼠标FEELit

Mouse：当仿真碰撞时，它给人手施加反馈力。09:49力反馈手柄ImpulseEngine2000：它在两个自由度跟踪运动，增加力反馈。通过调节刚度、频度、幅度的变化可以仿真表面、纹理、弹性、液体、重力场、弹跳的球、生物材料以及其他物理感觉。09:49S.

103力反馈手臂力反馈手柄09:49S.

104安装在人身体上的力反馈设备力反馈操纵手臂09:49S.

105安装在手上的力反馈设备S.

106触觉/力觉显示器举例力觉显示器力反馈鼠标FEELitMouse力反馈手柄力反馈手臂安装在人身体上的力反馈设备触觉显示器气动式探针式振动式手阻抗控制09:4909:49气动接触反馈Teletact

Glove–

使用安装在手套上的微型空气袋来提供接触反馈09:49探针式接触反馈还可通过声音线圈的振动来模拟触觉轻型的形状记忆合金（SMM）驱动器探针阵列式的振动触觉反馈设备微软在触觉方面的尝试09:4909:49S.

110基于热反馈增强的接触反馈在Salford大学（UK）研究的接触反馈设备。该设备提供了温度和热传导反馈。温度信息可以帮助识别虚拟物体是冷是热，甚至代替"疼痛"（危险）反馈。S.

111触觉/力觉显示器举例力觉显示器力反馈鼠标FEELitMouse力反馈手柄力反馈手臂安装在人身体上的力反馈设备触觉显示器气动式探针式振动式手阻抗控制09:4909:49S.

112还有少数对嗅觉、味觉等的模拟工作09:49嗅觉研究的实例2007年日本奈良尖端技术研究生院大学教授千原国宏领导的研究小组开发出一种嗅觉模拟器只要把虚拟空间里的水果拉到鼻尖上一闻，装置就会在鼻尖处放出水果的香味来自谷歌09:49S.

114味觉研究的实例2003年的国际计算机图形学大会（Siggraph）上，日本筑波大学展示了其研制的味觉虚拟器。它可以真实地模拟食物在口中咀嚼时的味道和口感。振动式虚拟味觉设备—TagCandy09:49接吻机器人09:49S.

1162012年2月新家坡国立大学研制09:49虚拟怀孕2009年IavalVirtual虚拟现实大会上的一个展示。日本的一个产品。用户可以体验怀孕的感受。感受重量以及被婴儿踢的感觉。里面是一个水袋。09:49多感官研究的实例来自谷歌2008年3月，来自约克和华威大学的科学家小组，研制世界上第一款能够模拟所有5种感觉的虚拟现实装置：虚拟茧09:49S.

119多感官研究的实例“虚拟茧”包括：–电脑显示屏–扬声器–风扇–嗅觉管09:49S.

120多感官研究的实例虚拟茧设计原理图：09:49S.

121接口设备视觉显示设备听觉显示设备触觉/力觉等显示设备跟踪设备S.

122跟踪设备机械式传感器磁场式传感器超声式传感器光学式传感器惯性式传感器神经/肌肉跟踪技术声音识别意念操纵位姿传感器虚拟现实系统中常需要检测头部和手的位置：一般要跟踪6个不同的运动方向，即沿X、Y、Z坐标轴的平动和沿X、Y、Z轴方向的转动。六自由度（6DOF）：宽度、高度、深度、俯仰角、转动角、偏转角6DOF跟踪器6

DOF(自由度,

Degree

Of

Freedom)09:49S.

125机械式传感器

---

跟踪球安装有传感器的球，它测量用户的手施加在弹性元件上的三个力和力矩，从而控制虚拟物体的运动速度和角速度的大小。09:49S.

126机械式传感器

---

3D探头这个探头有六个关节。每个转动关节表示一个自由度，于是探头有六个自由度，这允许同时确定探头尖端的位置和方向。09:49S.

127一个雕刻品的实例力反馈系统

Phantom09:49S.

128机械式传感器

——

数据手套VPL公司的DataGlove：光纤导管09:49S.

129二、电磁传感器原理：被动线圈中的感应电流正比与被动线圈和主动线圈的距离，也与夹角相关。09:49S.

130三、超声传感器原理：利用声音的速度。超声传感器包括三个超声发射器的阵列（安装在天花板上），三个超声接受器（安装在被测物体上），用于启动发射的红外同步信号，以及计算机。声音定位跟踪系统利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等进行定位与跟踪。一般使用超音速频率(20kHz以上)以使发射器发射的声音不被周围的人听到,从而不至于造成环境污染。因此，又称之为超音速系统。两种基本算法–声波飞行时间(Time-of-flight)测量法–相位相干(Phase-Coherent)测量法声波飞行时间位置跟踪器声波飞行时间设备通过测量声波飞行时间来确定距离。通过使用多个发射器和传感器获得一系列的距离，便可以计算出接收器的位置和方向。相位相干位置跟踪器相位相干位置跟踪器通过比较基准信号与由传感器检测到的发射信号二者的相位来确定距离。由于相位可被连续地测量，因此相位相干系统能产生较高的数据传输率。大的数据设备可进行多次滤波以克服环境干扰的影响而不影响系统的精度、响应性、或者耐久性。声音位置跟踪器的评价声波飞行时间系统小范围内，声波飞行时间系统有较好的精确度和响应性。操作范围扩大时，声波飞行时间数据传输率的降低，系统对于归类误差的校正能力变差。任何范围内都容易受到伪声音脉冲的干扰。系统由于每一次测量的都是一个绝对距离，不易产生累积误差。相位相干系统相位相干系统本质上不易受到噪声的干扰。具有较高的数据传输率使此系统能提供改善了的精度、响应性、范围大和鲁棒性。相位相干系统也不易受到伪脉冲的干扰。不能直接测量距离而只能测量位置的变化，容易产生累积误差。09:49S.

135四、光学传感器原理：距离可以由三角关系测量（立体视觉），或由传递时间测量（激光雷达），或光的干涉测量。光学跟踪系统实现方法采用两个或多个摄象机类型的传感器分辨三维信息。它利用先进的模式识别技术跟踪头部位置。工作原理在要跟踪的物体上贴上反光标签(Marker)，通过镜头发射和接受指定波长的红外光，这样可以获得Marker的三维运动轨迹。必须保证每个marker

有两个以上相机观察到。09:49S.

138光学传感器09:49S.

139光学传感器应用：人脸表情或动作捕捉09:49S.

140光学传感器应用：人脸表情或动作捕捉09:49S.

141光学传感器应用：人脸表情或动作捕捉09:49S.

142阿凡达演示表情捕捉09:49S.

143微软的mobile

surface演示：MobileSurface.flv一种四摄像头的摄影设备一种全场景的光学跟踪系统09:49S.

145五、惯性传感器原理：采用加速度计和角速度计moven演示

Moven表演加速传感器演示学生作的加速传感器学生作的手机传感器体感游戏索尼的EyeToy游戏任天堂的Wii

Remote索尼的PlayStation

Move微软的Kinect09:49S.14609:49S.147前几年出现的PC机单摄像头游戏（如EyeToy），可算是一种简单的体感跟踪。EyeToy演示09:49148位置跟踪器已经在游戏中得到越来越广范的应用任天堂2006年推出的Wii游戏机配备有Wii控制器（Wii

Remote）– Wii控制器除了像一般遥控器可以用按钮来控制，它还有两项功能：指向定位及动作感应。Wii宣传片S.09:49S.149位置跟踪器已经在游戏中得到越来越广范的应用索尼2010年推出了PS3动作控制手柄PlayStation

Move（又称为体感手柄）09:49S.150位置跟踪器已经在游戏中得到越来越广范的应用微软在2010年推出“初生计划（Project

Natal）”

，后产品以Kinect命名Natal宣传片Kinect09:49S.151Kinect周年纪念S.

152跟踪设备机械式传感器磁场式传感器超声式传感器光学式传感器惯性式传感器神经/肌肉跟踪技术声音识别意念操纵位姿传感器S.09:49153神经/肌肉跟踪技术通过感知人体肌肉或神经信号来确定手指动作的技术演示：muscle_Sense.flvMYO腕带MYO腕带MYO腕带原理跟踪设备机械式传感器磁场式传感器超声式传感器光学式传感器惯性式传感器神经/肌肉跟踪技术声音识别与交互09:4意9念操纵位姿传感器声音识别与交互Iphone

5

的Siri声音识别与交互很有可能成为下一个热点09:49S.

156意念控制脑机接口（Brain-Computer

Interface）TED视频09:49S.

158本章内容人的视觉特效立体视觉视场虚拟现实接口设备视觉显示