第4章虚拟现实的计算体系结构

数媒与艺术设计系虚拟现实脚本与策划授课人：杨利莹第4章虚拟现实的计算体系结构01一、学习目标1.掌握图形绘制流水线和触觉绘制流水线的原理。2.熟悉基于PC和基于工作站的VR的系统结构。3.理解多流线的同步机制，掌握分布式VR的网络组成和应用。二、重点、难点1、图形绘制流水线3个阶段应用程序、几何处理、光栅化。2、触觉绘制流水线3个阶段碰撞检测、受力计算、触觉计算。3、多用户分布式虚拟现实网络拓扑结构单服务器、多服务器环状网、点到点LAN、通过路由的混合点到点WAN

导学VR引擎是从输入设备中读取数据，访问与任务相关的数据库，执行任务要求的实时计算，从而实时更新虚拟世界的状态，并把结果反馈给输出显示设备。VR系统结构的设计中最重要的是绘制技术。在VR中，术语“绘制”表示把虚拟世界中的三维几何模型转变成二维场景展现给用户的过程。这一过程有一系列必须依次顺序完成的操作，通常把这个过程叫做绘制流水线。4.1绘制流水线4.1绘制流水线绘制在VR中包含图形绘制流水线-视觉(图形、图像)的绘制触觉绘制流水线-力的反馈、真实感（温度、皮毛等）的绘制4.1.1图形绘制流水线图形绘制流水线：指的是把图形绘制过程划分成几个阶段，并把它们指派给不同的硬件资源并行处理，用来提高图形绘制速度。多边形（三角形）网格表示法）：物体的立体几何信息是通过它们的边界面或包围面来表示，而物体的边界面可以用许多单独的多边形表示。是最常见的虚拟现实三维模型表示法之一。使用多边形网格法建模的三维图像4.1绘制流水线图形绘制流水线3个阶段4.1绘制流水线应用程序阶段几何处理阶段光栅化阶段完成建模、加速计算、动画、人机交互响应、用户输入和触觉绘制流水线的一些任务。生成需要绘制的多边形。将需绘制的多边形从三维坐标变换为二维屏幕坐标。包括模型变换、光照计算、场景投影、剪裁和映射。将几何图形信息转换成视频显示器需要的像素信息（像素颜色），即几何场景转化为图像通过CPU软件编程实现由几何处理引擎硬件实现由光栅化单元硬件实现4.1绘制流水线图形绘制流水线的实例-HPVisualizefx卡几何处理阶段：由几何处理主板上最空闲的几何处理引擎执行相关操作，处理相应的三维数据，并返回结果到接口芯片。接口芯片将经过几何处理的数据发送给纹理芯片，纹理芯片负责纹理映射。光栅化阶段：光栅化单元从纹理芯片中读取数据，把它们转换成像素信息，然后发送到帧缓冲区。接口芯片接收系统总线传送的3D数据，发送到几何处理主板。视频芯片把像素颜色映射成真彩色，进行数/模转换和视频同步处理，输出显示结果4.1绘制流水线4.1.2触觉绘制流水线为了提高对象模型的真实感除了视觉效果外，还需要触觉来感知物体。可以通过多阶段的触觉绘制流水线描述触觉模型的过程。4.1绘制流水线碰撞检测阶段受力计算阶段触觉计算阶段确定两个（或多个）虚拟对象之间是否有接触。从数据库中加载虚拟对象的物理特性。基于各种物理仿真模型计算触点压力。使用户感觉到物体的反作用力。主要绘制仿真过程的接触反馈分量（触觉纹理，例如温度等）增强了对象表面物理模型真实感。注意：只有发生了碰撞的对象才会在触觉绘制流水线中处理。4.1绘制流水线基于PC的图形体系结构：PC的运算速度和图形卡绘制能力的提升满足了一般VR仿真中的大多数实时性要求。PC机的性能以及价格上的巨大优势使之成为VR引擎之一。基于工作站的体系结构：与PC相比，工作站使用了超级（多处理器）体系结构，具有更强大的计算能力、更大的磁盘空间和更快的通信形式，很容易满足VR系统实时性的特性。4.2图形体系结构4.2.1基于PC的图形体系结构

只有将PC和虚拟现实交互式设备集成在一起才能构成VR引擎。一个简单基于PC的VR引擎示例4.2图形体系结构4.2.2基于工作站的体系结构 InfiniteReality是SGI公司开发的第一个为通用工作站专门设计，具有4个几何处理引擎和主板，用于提供复杂场景下具有稳定的60HZ刷新率高质量绘制的图形系统。4.2图形体系结构分布式VR引擎：使用两个或多个绘制流水线的VR引擎。这些流水线可以同时位于一台计算机中，也可以分别位于多台协作的计算机中，或者位于集成在一个仿真系统中的多台远程计算机中。可同时绘制多个视图目标。4.3分布式虚拟现实的体系结构应用分布式VR引擎同时绘制多个视图目标首先要解决视图同步输出问题。多流水线图形卡和PC集群是联合定位绘制流水线（分布式VR绘制系统）的重要应用。分布式虚拟环境包含二用户共享的虚拟环境和多用户共享虚拟环境。4.3分布式虚拟现实的体系结构4.3.1多流水线同步

多视图显示需要多条流水线输出同步图像。

如果不进行同步，帧刷新率（图像每秒绘制的次数）不一致，就会导致系统整体的延迟，图像扭曲。

特别是用多台CRT显示器联合仿真显示，不同步会会导致图像闪烁，使用户产生视觉不适。4.3分布式虚拟现实的体系结构多流水线同步解决的方法1.软件同步法2.帧缓冲器同步法方法：流水线绘制3D图像前会等待系统垂直同步信号，然后开始绘制一帧图像。缺点：同时绘制，但绘制速度较快的流水线会先绘制完帧，还存在图像偏差的可能。方法：要求并行流水线的应用程序阶段在同一时刻开始处理新的一帧。缺点：某一条流水线处理速度快于其他流水线，先填充帧缓冲器，图像先显示出来。4.3分布式虚拟现实的体系结构

3.主从显示器同步法方法：将其中一个显示器成为主显示器，而其他显示器为从显示器。主从显示器图形卡之间通过内部视频逻辑电路连接，可确保从显示器的垂直和水平扫描线都与主显示器相同，确保了输出图像的一致性。4.3分布式虚拟现实的体系结构视觉与触觉流水线同步视觉和触觉两种感觉模态也需要同步绘制才能提高真实性，视觉和触觉的同步是在应用程序阶段实现的。4.3分布式虚拟现实的体系结构4.3.2联合定位绘制流水线联合定位绘制流水线的系统由一台带有多流水线图形加速卡的计算机；或者每台带一个不同的绘制流水线的多台计算机；或者它们的任意组合构成。4.3分布式虚拟现实的体系结构（1）

多流水线图形卡WildcatII5110能同时在两个显示器上独立地显示，具有两套几何处理引擎和两套光栅化引擎。WildcatII5110图形加速卡外观4.3分布式虚拟现实的体系结构（2）PC集群基于大型的多流水工作站，依靠特殊的硬件进行图像合成。使用一组PC绘制服务器，每台服务器驱动一个投影仪。PC集群通过高速LAN网络连接起来，使用控制服务器能够控制输出图形的同步。4.3分布式虚拟现实的体系结构

由多部图形工作站通过虚拟现实环幕以网络连接，经过边缘融合处理，进行同步工作，其所组成的集群投射组合成大尺寸、高分辨率的影像，拓展了观者的视野，满足了观众的舒适感和临场感。应用PC集群实现大型的VR系统的采用多通道环形投影屏幕4.3分布式虚拟现实的体系结构4.3.3分布式虚拟环境分布式虚拟环境是指在一组以网络互连的计算机上同时运行虚拟现实系统，使处于不同地域的多个用户可以在同一虚拟世界中共享信息，进行实时交互，协同完成各种任务。4.3分布式虚拟现实的体系结构（1）两用户共享的虚拟环境

两用户可单独使用交互设备与同一VR系统交互，通过LAN通信网络互联，使用TCP/IP协议发送单播数据包来传消息，用户之间通信要顺畅、状态要一致。4.3分布式虚拟现实的体系结构（2）多用户共享虚拟环境的网络拓扑结构单服务器模式多服务器环状网模式点到点LAN模式通过路由的混合点到点WAN模式4.3分布式虚拟现实的体系结构多服务器环状网模式单服务器模式原理：客户机管理本地用户与I/O交互，执行本地图形绘制；服务器负责维护所有虚拟对象的状态和协调仿真活动。动作以单播（一个用户和一个接收者之间）的模式传播。缺点：中心服务器的处理能力限制更多用户参与仿真。原理：用多个互连的服务器代替中心服务器。每个服务器都维护着虚拟世界的同一副本，并负责自身客户机所需的通信。单播模式传播。缺点：不同服务器之间客户机需要通信时，延迟可能会增加。4.3分布式虚拟现实的体系结构点到点LAN模式通过路由的混合点到点WAN模式原理：一个客户机的信息可以通过多播（一个用户对多个接受者）通信的方式直接发送给另一个客户机。缺点：局域网使用；所有用户下线后，无法维持虚拟世界。原理：使用一个代理服务器的网络路由把多播信息打包成单播包，在网上传送给其他路由器；本地的代理服务器收到后进行解析，将信息以多播的形式发送给本地用户。4.3分布式虚拟现实的体系结构

在欧洲的工业界多家公司开展的CoSpaces项目，目标就是要建立一个远程沉浸式分布式虚拟协同设计企业。无论是团队成员在同一个建筑的不同的生产设施，或在世界各地生产地点。都可以实时的使用一系列设备进行交互，参与决策、查看设计、提出修改，效地提高合作水平和效率。应用分布