虚拟现实技术_3rd

虚拟现实技术Virtual Reality Technology,汪日伟 天津理工大学 计算机与通信学院,题纲,第一讲 虚拟现实概述第二讲 虚拟现实显示技术计算机三维图形技术立体图形显示技术声音、力觉显示第三讲 虚拟现实跟踪技术位置跟踪器数据手套人体运动跟踪第四讲 人体动画技术,虚拟现实的概念模型,王兆其，虚拟环境中物体运动逼真性的研究，博士学位论文，北京航空航天大学，1999.6.,第三讲 虚拟现实跟踪技术,/PAPER/vr2004_3rd.rar,本讲题纲,运动跟踪设备简介6DOF位置跟踪器数据手套人体运动跟踪,1、运动跟踪设备简介,运动跟踪设备：mouse (2D),There are many different kindsWheeled mouse2-button mouse3-button mouseOptical mouseWireless mouse.,The Purpose of a Mouse,Translate your hand motion into signals that the computer can use to position a cursor on the screen.,Inside a wheeled mouse:,The Components of Non-optical Mouse,A ball Touches the desktop Rolls when mouse moves.Two rollers Touch the ball Detect motion directions at 90 degrees to each other.Drive a shaft that spins a disk with holes in it.,Optical Mouse,Same goal, but has no moving parts.Introduced in late 1999.Uses a tiny camera to take 1,500 pictures every second and sees how patterns have moved from previous image.Using the image, it is determined how far the mouse has moved and how far the cursor should move on the screen.Provides increased tracking response that is smoother.Doesnt require a special mouse pad.,Problems With Using Mouse for Art,Dont have a change in touch sensitivity.Somewhat clunky to move exactly as you wish.Really designed as a pointing device, not a drawing device.Dirty mice cause major problems with input.Problems with Carpal Tunnel Syndrome .Need to prevent by usingExercisesGood posture at computerPossibly hand bracesSpecial equipment,运动跟踪设备： Trackball,运动跟踪设备： Graphics Tablet,Often used with a mouse also.,运动跟踪设备：6DOF跟踪器,Flock of Bird,运动跟踪设备：数据衣,采用电磁式位置/姿态传感器获得人体运动轨迹图,双人徒手格斗动作示意图,真现实与虚拟现实人体之间的交互示意图,运动跟踪设备：数据衣(无线),数据衣与数据手套的工作原理相似，但可以检测出整个身体的运动。VPL 研制出一种使用与数据手套相同的光纤系统制成的数据衣。大量的光纤安装在一个紧身衣服上，它能测量肢体的位置，然后用计算机重建出图象。这种方法是否会在虚拟环境中占有一席之地还有待考证。但对于涉及到具体工作环境中人的位置的研究，这种技术是非常重要的。对于数据衣生产厂家，一个潜在的问题是，人的外形变化太大。,采用两个或多个摄象机类型的传感器分辨三维信息。它利用先进的模式识别技术跟踪头部位置。,运动跟踪设备：光学式运动捕捉设备,工作原理,在要跟踪的物体上贴上反光标签(Marker)，通过镜头发射和接受指定波长的红外光，这样可以获得Marker的三维运动轨迹。必须保证每个marker 有两个以上相机观察到。,工作原理,运动跟踪设备：基于图像系统,采用两个或多个摄象机类型的传感器分辨三维信息。它利用先进的模式识别技术跟踪头部位置。,一种四摄像头的摄影设备,一种全场景的光学跟踪系统,运动跟踪设备：数据手套,数据手套可以把手势转化成计算机可识别的数据。 由于其合理的性能价格比，数据手套已成为最流行的手控制器。在手套背面嵌有光导纤维传感器，可以监视手指伸展情况。在手背上安装的空间跟踪系统能监视手的位置和方向，并且有一个微处理器来监控通过光导纤维的光量以及由空间跟踪器返回的信息。,数据手套,数据手套,构成：输入传感设备，空间位置跟踪器作用：抓取、移动、装配、操纵、控制虚拟物体VPL公司 Data GloveVertex公司Cyber Glove Exos公司 DHM Glove 精度高Mattel公司 Power Glove 价廉5DT公司 Glove5/16,运动跟踪设备简介：小结,2DOF 运动跟踪设备6DOF 运动跟踪设备数据衣数据衣(无线)光学式运动跟踪(3DOF)基于图像的运动跟踪方法数据手套,2、6DOF 跟踪器,6 DOF跟踪器,6 DOF(自由度, Degree Of Freedom),交流电磁跟踪系统原理图,实现方法1：交流电磁跟踪系统,由励磁源、磁接收器和计算模块组成。励磁源是由三个磁场方向相互垂直的由交流电流产生的双极磁源构成, 磁接收器由三套分别测试三个励磁源的线圈构成。,Flock of Bird,实现方法2：直流电磁跟踪系统,直流电磁跟踪系统由发射器(相当于励磁源)、接收器(相当于磁接收器)和计算模块组成。,静态准确度：静态准确度是跟踪器确定空间某一位置坐标的能力。该数据是与单个样本的参考值相比的最大偏差。动态准确度：动态准确度是指在跟踪器的传感器运动时系统的准确度。更新率：跟踪器向输出端口输出位置及方向数据的能力。等待时间：等待时间是一种速率，系统的获取部分以该速率获得新数据。更新率与等待时间共同构成了相位延迟反应。相位延迟：在静态情况下，或感受器位置变化慢时，计算机的输出能在准确度限制及计算机分辨率的范围内跟踪感受器在空间的绝对位置。当感受器动得很快时，计算机的输出与感受器的位置就会有一个明显的误差。这就是众所周知的相位延迟。定位：定位是实际位置和方向与报告的位置和方向之间的对应。信号噪声比：位置方向跟踪系统的信号噪声比给出了信号成份相对噪声成份的简单表示。,性能参数,所受限制,电磁跟踪系统的缺点是对出现在发射器和接收器系统附近的电子导体(尤其是铁磁物质)非常敏感。这些铁磁物质使得发射器形成的电磁场模式发生畸变，这种畸变的场会导致跟踪器计算的位置和方向结果错误。,实现方法3：声音定位跟踪系统,利用不同声源的声音到达某一特定地点的时间差、相位差、声压差等进行定位与跟踪。一般使用超音速频率(20kHz以上)以使发射器发射的声音不被周围的人听到,从而不至于造成环境污染。因此，又称之为超音速系统。两种基本算法:声波飞行时间(Time-of-flight)测量法相位相干测量法。,声波飞行时间位置跟踪器,声波飞行时间设备通过测量声波飞行时间来确定距离。通过使用多个发射器和传感器获得一系列的距离，便可以计算出接收器的位置和方向。,声波飞行时间位置跟踪器受几个因素的限制：,声波每毫秒大约可传播1英尺，而发射波的传播必须在测量开始前完成，只有当波阵面达到传感器时才可得到有意义的数据。这些系统必须允许发射器在产生脉冲后发出几毫秒的声脉冲并且在新的测量开始前，等待反射脉冲(回声)消失。所需的时间应乘上发射器-传感器的组合数，因为每一个组合都需要单独的飞行序列。由于时间飞行设备的较低的数据传输率，它们在分类误差上存在缺陷。测量的可靠性依赖于设备检测被发射声波到达的准确时刻的能力。到达的检测会受到来自磁盘驱动器的周围噪声和CRT扫描序列的干扰。空气流和传感器闭锁也会导致分类误差。进一步的滤波可以补偿误差，但是这种额外的数据需求将降低测试更新速度增加滞后。,相位相干位置跟踪器,相位相干位置跟踪器通过比较基准信号与由传感器检测到的发射信号二者的相位来确定距离。由于相位可被连续地测量，因此相位相干系统能产生较高的数据传输率。大的数据设备可进行多次滤波以克服环境干扰的影响而不影响系统的精度、响应性、或者耐久性。,声音位置跟踪器的评价,声波飞行时间系统小范围内，声波飞行时间系统有较好的精确度和响应性。操作范围扩大时，声波飞行时间数据传输率的降低，系统对于归类误差的校正能力变差。任何范围内都容易受到伪声音脉冲的干扰。统由于每一次测量的都是一个绝对距离，不易产生累积误差。相位相干系统相位相干系统本质上不易受到噪声的干扰。具有较高的数据传输率使此系统能提供改善了的精度、响应性、范围大和鲁棒性。相位相干系统也不易受到伪脉冲的干扰。不能直接测量距离而只能测量位置的变化，容易产生累积误差。,基于传感器的虚拟人上肢运动实时控制,初衷：希望使用传感器，实时记录真实人体手语运动，以减轻手工编辑手语时的工作量，并达到手语合成中的逼真性要求。,虚拟人上肢运动实时控制虚拟人模型,虚拟人可以抽象为一个 Articulation (链体)，其姿态可以由下列参数表示：,基准位置 ：表示虚拟人在全局环境中的位置各关节的角度 ：表示各骨骼段(segment)相对于它所附骨骼段的方向。,对于不同的虚拟人几体模型，根据给定的人体姿态表示参数，应用运动学方法(平移与旋转)，都可以计算出虚拟人的姿态，并应用计算机图形学的方法显示这一姿态。一个姿态序列组成一个人体运动,虚拟人上肢运动实时控制传感器安放,说明：T1所获取的位置与方向信息是参考值上手臂的信息由逆运动学方法(inverse kinematic)方法计算出来。手腕的信息由数据手套获取。T4可用来感知头部的运动，暂时不使用。一只手的肩关节与肘关节共有 5 个自由度，面上述方法中每只手使用一个 6DOF 传感器，因此可以完全确定人手的姿态，而且还可以使用一个多余的自由度进行纠错或校验,每次传感器读取一帧数据时，一个 6DOF 传感器返回的数据是它在全局坐标系(发射器坐标系) 中的位置与方向： (x, y, z, , , ),虚拟人上肢运动实时控制传感器数据,虚拟人上肢运动实时控制人体上肢姿态计算方法,坐标系世界坐标系 (W坐标系)，即发射器设备坐标系。T1坐标系，即传感器T1的本地坐标系。肩关节初始坐标系 (S0坐标系)肩关节坐标系 (S坐标系)。肘关节初始坐标系 (E0坐标系)肘关节坐标系 (E坐标系)。T2坐标系，即传感器T2的本地坐标系。对于右手是T3坐标系,虚拟人上肢运动实时控制人体上肢姿态计算方法,问题:给定姿态下，根据各传感器在发射器坐标系中的位置与方向，计算出：肩关节在身体坐标系(即 T1坐标系)中的 Euler 角肘关节在当前肩关节坐标系(即S坐标系)中的 Euler角,虚拟人上肢运动实时控制人体上肢姿态计算方法,T2 在 E 坐标系中的位置与方向为 (x0, y0, z0, 0, 0, 0 )肩关节 S 在初始时刻(即S0)在 T1 坐标系中的位置与方向为 (x0, y0, z0, 0, 0, 0 )上手臂的长度 |SE| = l,假设计算过程中假设以下量已知。这些量可以通过传感器校正得到。,虚拟人上肢运动实时控制人体上肢姿态计算方法,肘关节E在S0坐标系中的位置E(S0)其中E(E) = (0,0,0)肘关节E在S0坐标系中的 Euler 角 eE(S0) 其中RE(E) = (0, 0, 0),计算肘关节在S0坐标系中的位置与方向,虚拟人上肢运动实时控制人体上肢姿态计算方法,设肩关节S的本地坐标系的三个单位向量在S0坐标系中的表示分别为：XS(S0), YS(S0) , ZS(S0)。则取：,计算肩关节S在S0坐标系中的 Euler 角,虚拟人上肢运动实时控制人体上肢姿态计算方法,计算肩关节 E 在 S 坐标系中的 Euler 角,虚拟人上肢运动实时控制小结,优点：肩与肘共有5个自由度，而一个传感器有6个自由度，因此，该方法可以完全确定一只手的状态，不存在不确定性问题，甚至还可以用多余的一个自由度进行纠错处理，判断是否出现了传感器的滑落。计算速度快，粗略估计达7001000 FPS，可完全实现实时处理缺点：因为没有考虑锁骨关节，因此，当耸肩太厉害时，会引起运动失真,虚拟人上肢运动实时控制传感器校正方法,传感器校正的目的是计算各传感器在人体上安放的位置与方向，以便确定计算人体姿态时所需要的所有参量。我们的系统中，校正的目的是测量所有假设量：,T2 在 E 坐标系中的位置与方向为 (x0, y0, z0, 0, 0, 0 )肩关节 S 在初始时刻(即S0)在 T1 坐标系中的位置与方向为 (x0, y0, z0, 0, 0, 0 )上手臂的长度 |SE| = l,虚拟人上肢运动实时控制传感器校正方法,5 个校正姿态,虚拟人上肢运动实时控制传感器校正方法,根据各姿态之间的旋转关系，求出S0坐标系的 X，Y， Z方向及原点位置姿态1到姿态5的旋转轴与S0坐标系中的XY平面的交点即姿态1下肘关节在S0坐标系中的位置，由此可以求出肩关节到肘关节的长度，即上手臂的长度。因为人体运动过程中，T2相对于E坐标系不发生变化。所以，我们可以求姿态1下，T2在E0坐标系中的方向作为T2在E坐标系的方向，并求T2在E0中的位置作为T2在E的位置。,小结优点：简捷缺点：有时不太稳定，特别是左右两手难于保持完全一致！因此，还需要找更好的校正方法。,虚拟人上肢运动实时控制传感器校正方法,3、数据手套,Anatomical Definitions of the Human Hand,数据手套及其虚拟手模型,我们使用的数据手套每只手有18个传感器，基本上是每个手 的每个自由度都有一个角度传感器用来获取它的关节角度。但有一个例外，即除拇指外的其余4个手指的外展只用了三角度传感器，用来测量它们的三个张开角度。多余的一个传感器用余测量手掌的弓形(我们不用),手指关节角度计算,每从数据手套读取数据时，所读取的数据是当前姿态下，每个指关节的一个8位模拟量 (0255)，将其转换成角度的基本公式为：Angle = Gain * (A/D_value - Offset)其中Offset 是偏移量，Gain是比例因子，这两个值都需要通过数据手套校正完成。说明：因为人的手及数据手套变形较小，因此，对于每个人，只需要进行一次校正，以后可以多次重复使用。而传感器的校正在每次重新配戴或传感器滑动时，都需要重新校正。,例外处理-手指外展,MI = (middle-index abduction sensor value - middle offset) * middle abduction gain. RM = (ring-middle abduction sensor value - ring offset) *