面向5G的远程云VR视界交互系统

第1章绪论1.1研究背景虚拟现实（VirtualReality，VR）技术开创了一种全新的视频观看方式与环境感知概念，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。其中沉浸感(immersion)、交互性(interaction)和构想性(imagination)是虚拟现实系统的三个基本特征。（1）沉浸感：所谓沉浸感是指虚拟现实系统必须提供所描述事物的物理和心理的场景，要求对现实世界中各事物本质与内在进行模拟和仿真虚拟[1]。体现了虚拟现实系统是对主客观事物的反映。沉浸感其实意为多感知，除了计算机技术所具有的视觉感知之外，还有听觉感知、力觉感知、触觉感知、运动感知，甚至还可以包括味觉感知、嗅觉感知等。理想的虚拟现实技术应该具有一切人所具有的感知功能。理想的模拟环境应该达到使用户难以分辨真假的程度[2]。（2）交互性：交互性是指用户对虚拟环境内物体的可操作程度和从环境得到反馈的自然程度，体现了虚拟现实系统与人的互动关系。虚拟现实系统是因人而动，通过用户与虚拟环境之间的双向感知建立起一个更为自然，和谐的人机环境[3]。（3）构想性：构想性是指人们在进入虚拟现实系统过程中要具有合理的想象和推理[4]。虚拟现实系统能给操作人员提供一个合理的想象空间，使操作人员身处虚拟环境能进行有效的操作。但是目前VR技术仍然具有一定局限性，目前主要的VR人机交互方式有如下两种：（1）3D视觉：利用人左右眼观看的视角不同，利用双目摄像机录制与计算机处理制作视频，营造立体感。其原理与主流电影院3D电影类似。（2）体感交互：通过在VR设备中装入体感传感器，实时跟踪人体头部的运动，以此控制视频画面的变化，营造临场感[5]。其实现方式一般为全景摄像机录制加VR前端软件算法。然而，目前如上两种交互方式并没法有机结合起来，主要原因是双目摄像与全景摄像难以融合到一起。此外，无论3D视觉还是体感交互，都是录制-处理-播放的流程，并不能实现远程人与环境的实时交互。远程VR实景交互功能将实现如远程会议、远程专家指导和远程亲友会面等功能，其体验与传统视频方式不可同日而语，而在诸如远程门诊与手术等方面更是传统视频方式所无法实现的。而远程实时环境交互需要满足如下两个方面：融合3D视觉与体感交互的全新实时交互平台与低延迟的远程无线通讯[6]。远程通讯技术的延迟与速度会直接影响VR人与环境交互的临场感。目前4G技术已经十分成熟，具有数十Mb/s的传输速率与50ms的传输延迟，是远程实时VR技术的较好选择。而5G技术也日渐成熟，其具有理论10Gb/s的传输速度与1ms的传输延迟，各方面均大幅超越4G技术。在5G网络普及后，远程VR交互技术将给人提供真正的“远程虚拟现实”。1.2本文主要研究内容（1）设计融合3D视觉与体感交互的VR平台：利用双目摄像头实现3D视觉，并利用高精度的拟人结构云台实现双目摄像头与人眼的同步运动。（2）搭建4G网络下的远程VR通讯系统：包括实时视频传输与体感仪的数据发送。在此基础上做好5G网络普及后的准备，包括通讯硬件的更换与网络服务器的选择。（3）定性以及定量分析本作品的实用性，并通过实际体验来分析本作品的体验感；展望5G网络普及后对作品体验感的提升以及应用本作品的应用场合分析。

第2章技术方案2.1整体设计理念及总体结构远程VR视界交互系统分为VR人与环境交互平台与远程4G/5G通讯系统，整体结构如图2-1所示。图2-1远程VR视界交互系统整体结构VR人与环境交互平台分为前端VR系统与后端云台双目摄像机系统，前端VR头显上设置超低延迟陀电子陀螺仪，将人体头部运动姿态信息通过4G/5G传送至网络云服务器，然后送给后端云台系统；云台系统同样含有电子陀螺仪，作为云台系统的姿态反馈，并结合前端姿态信号作为给定，形成拟人云台x、y轴双电机的闭环控制；双目摄像机将采集到的视频/声音信号通过4G/5G发送回前端VR头显，实现跟踪人体头部运动的3D视界交互流程。其中，为了实现真正的拟人“沉浸感”，后端云台双目摄像机系统采用拟人化设计。其中拟人云台采用与成年人头骨运动系统相同的结构，保证头部转动跟踪对应视觉采集的过程更符合实际，这种设计的优势在观测近景时尤为明显。其次，双目摄像头采用大广角镜头，接近人眼视野；双目摄像机含有左右双麦克风，实现声音的临场交互感；双目摄像机采用硬件同步技术，保证双摄像头视频画面的绝对同步。最后，云台陀螺仪的位置与VR陀螺仪的相对位置相同，保证头部姿态跟踪与拟人云台运动轨迹完全相同。由于4G/5G网络与中央云服务器的应用，VR视界交互系统可以实现任意距离之间的应用，如相隔数百公里的远程手术指导，又如相隔数千公里的亲友、情侣会面，距离对基于云服务器的网络传输延迟可以忽略不计。2.2技术方案2.2.1整体控制方案远程VR视界交互系统的控制方案如图2-2所示。图2-2远程VR视界交互系统整体控制方案VR陀螺仪作为姿态给定远程输出给拟人云台，云台陀螺仪作为云台的位置变送器反馈回控制器，通过PD控制输出给云台电机的速度给定值，云台电机内部含有速度内环，保证转速严格跟踪给定。电机继续带动双目摄像机和云台陀螺仪运动，云台陀螺仪再次检测角度值，反馈构成位置外环。值得注意的是，x、y轴的云台电机分别与陀螺仪的x、y轴角度信号构成图2-2所示的双闭环。无论是VR头显上的姿态跟踪还是拟人云台上的位置闭环，陀螺仪模块都扮演了至关重要的角色。作品采用的MPU6050六轴传感器芯片集成了3轴MEMS陀螺仪和3轴MEMS加速度计，每个轴对应有一个16位AD转换器，其高分辨率(3.9mg/LSB)能够测量不到1.0⁰的倾斜角度变化。芯片正常工作时，采集x轴、y轴和z轴的加速度值(电压信号)，经过AD转换，通过板上集成的姿态解算器，配合动态卡尔曼滤波算法，计算出三轴解耦后的角度值。为了得到当前姿态，本项目使用MEMS测量单元，通过融合陀螺仪，加速度计和磁力计数据计算出姿态角。磁力计的引入，彻底解决了陀螺仪的零飘问题。解算流程如下：图2-3陀螺仪EKF姿态更新解算流程由于云台系统状态方程是一个非线性系统，单纯的线性卡尔曼滤波并不合适，因此本项目选用扩展卡尔曼滤波，将状态方程通过泰勒展开线性化，得到线性化的展开式，此时即可使用扩展卡尔曼滤波进行数据的互补融合与滤波。选取四元数作为状态变量，通过四元数的更新方程即可建立状态更新方程，建立流程如下：q使用一阶龙格库塔法求解上述微分方程可得：qq引入系统噪声W，满足正态分布，即可得到系统的状态更新方程：x其中，x为四元数，I为单位矩阵，T为采样周期。以东北天建立参考坐标系，将加速度计和磁力计的数据投影到参考坐标系中，可以作为扩展卡尔曼的测量方程，用于实时修正陀螺仪因零偏而引入的积分误差。投影可由如下公式转换：am其中，ax，ay和az表示由加速度计获取的加速度测量值，mx，my和mz表示由磁力计获取的地磁数据，CgC由此可建议系统的量测方程，其表达式如下：zz其中V(k)为量测噪声，满足正态分布，hxh令y 可得z H(k)即为Jacobi矩阵。上式即为系统的量测方程。 综上，扩展卡尔曼的系统方程建立完毕，如下：高速处理器STM32基于专为要求高性能、低成本、低功耗的嵌入式应用专门设计的ARMCortex-M3内核，增强型系列时钟频率达到72MHz，是同类产品中性能最高的产品；内置32K到128K的闪存，不同的是SRAM的最大容量和外设接口的组合。时钟频率72MHz时，从闪存执行代码。其可以很容易的输出多路互补的PWM，拥有8个定时器，其功能十分强大，具有低功耗、高性能、运算速度快的优点。在远程VR视界交互系统的整体控制方案设计中，无论控制算法的设计还是硬件电路的选取，都以低延迟高精度为准则，其根本目标就是实现拟人云台对头部运动跟踪的试试准确性，营造身临其境的交互感。2.2.2拟人云台结构设计为了保证人体头部运动对眼睛视角的影响与拟人云台运动对双目摄像机采集视角的影响完全相同，应结合人体头部结构设计云台的结构。如图2-4所示为成年人抬头喝水时的头部运动分析，x轴约在脖颈中部A点处，指向屏幕并与y轴相交。x轴是抬头低头动作的主轴，y轴是左右摇头动作的主轴；而相较于低头抬头与摇头动作来说，歪头的动作的环境并不多见，所以为了降低云台复杂度和降低整体惯性，不考虑z轴。云台电机按照正交的x、y两轴进行设计，而图2-2中可以看出，人眼睛所在位置为B点，并不在正交点A点。目前市面上的VR方案是按照软件方式跟踪头部运动来控制图像的变化，然而视频录制时全景相机只能建设于一点，也就相当于图2-4中的A点。这就意味着传统VR的体感交互功能不仅无法实现3D效果，更无法模拟真人眼睛的实际运动轨迹，在观看近景时，这种差异尤其明显。为此，云台在A点设计x、y两轴的同时，应考虑到A点到B点的距离。A点到C点为云台的可调高度支撑架，其高度为用户坐姿脖颈中部离桌面的距离（云台固定在桌面）。图2-4中D点为位置闭环所用陀螺仪的固定位置，其与前端VR上部所固定的姿态跟踪陀螺仪是相同位置。图2-4人体头部运动分析拟人云台本体机械结构如图2-5所示。图2-5拟人云台机械结构拟人云台所用电机是实现云台实时跟踪头部姿态的关键，在选取电机之前，我们结合云台结构以及所需特性测试并分析了各种类电机，以寻找出最佳方案，分为以下三个方面：低速特性、跟踪特性和控制精度，如表2-1。表2-1不同电机特性比较低速特性跟踪特性控制精度步进电机低速扭矩大但震动明显开环控制有最小步长限制减速直流电机在零附近调速有死区依赖传感器做内环减速器有空程无刷电机线性调速且转矩大依赖传感器做内环控制精度极高无刷与有刷电机最大的区别在于换向器，无刷电机没有换向机构，因此大大降低了因换向机构而造成的机械故障。同时利用外转子无刷电机可以做到直驱，降低机械结构设计难度，节约成本。无刷电机驱动可以分为六步换向法（方波）控制和磁场重定向技术（FOC）控制。本项目采用的是FOC控制，利用SVPWM进行调制，相较于传统的方波控制，其具有更小的转矩脉动和能量损耗，大大提高电机转换效率。图2-6FOC控制框图综上，无刷电机在各项性能上都非常适合做拟人云台，固采用了两台大疆公司的GM6020云台专用直流无刷电机，如图2-4所示，电机采用空心轴设计，扭矩密度大、控制精度高、交互方式灵活，适用于低转速、大扭矩直接驱动的应用场景，是拟人云台电机方案的不二之选。此外，电机内置驱动器和角度传感器，可以方便地构建速度内环。图2-7大疆GM6020云台电机云台控制采用速度-位置串级闭环控制技术，相较于单纯位置环PID控制，具有调参快速，控制稳定的特点为了抑制给定数据的抖动，本项目在云台给定角度之前设计了一斜坡函数，使控制效果更平滑，斜坡函数如下：图2-8斜坡函数只需要将给定值乘以对应的斜坡函数，即可实现云台给定值的平滑变化。其中云台运用的速度-位置串级闭环控制框图如图2-9所示。图2-9速度-位置串级闭环控制2.2.3远程通讯方案设计为实现前端VR头显系统与后端拟人云台系统的远程通讯，需要借助互联网来跨越距离的鸿沟，目前设备连接互联网的方式常见有三种：网线、Wifi和移动通讯网络。在远程VR视界交互系统的常规应用场合下，前端VR头显系统需要脱离主机独立运行，这就意味着网线并不可取，此外，网线和Wifi都依赖网络路由器的支持，许多应用场合受到限制。随着4G网络技术的全面普及以及5G网络技术的逐步发展，移动网络技术的传输速度及延迟甚至赶超网线的并网方式，真正做到了随时随地、超低延迟和高清实时传输。5G的出现不仅意味着更快的传输速率和更大的网络容载能力，而且在传输中呈现出低时延、高可靠、低功耗的特点，其特点如图2-10，是一个真正意义上的融合网络。图2-105G移动网络通讯技术特点5G的设计非常灵活，它可以识别数据的传输类型，对于特殊的设备将转换成低功耗模式，而对于高分辨率的视频，网络将自动切换成高大功率模式，提供高达10Gbps的峰值数据下载速度。4K视频流所需最低下载速度为25Mbps，而5G将能提供100Mbps的最低下载速度，而4G则只会低于10Mbps。4G的网络延迟约50ms，而5G网络延迟仅为1ms。相较之下，在使用VR看流媒体视频时，当延迟超过20毫秒，用户就会出现不适，最好的情况时延迟时间也为7毫秒。因此目前的4G技术无法为VR流媒体提供一个十分理想的硬件环境，不过5G技术可以同步视频和音频，提供更好的使用体验，使AR和VR的应用更加真实化。5G技术将大大促进VR市场发展，助力VR通过虚拟物品、虚拟人物、增强情景信息等方式给人们带来连接媒体的全新方式。本作品目前以4G网络技术为基础进行研发，其应用在VR陀螺仪的姿态角度信号发送与拟人云台的角度信号接收；双目摄像机的视频信号发送与VR头显视频信号的接收。发送与接收通过租赁第三方公司的云服务器作为中介媒介。如果本作品得以进一步发展或者有望商品化，云服务器或将采用购买的方式。若5G技术普及，本作品只需要替换4G通讯模块为5G通讯模块，其他无任何变化。

第3章系统测试与成本分析3.1系统测试前端VR头显测试：图3-1前端VR头显测试拟人云台系统测试：图3-2拟人云台系统测试3.2成本分析成本对于产品是否能过投入生产，具有至关重要的意义。因此，产品的成本分析一定程度上影响着设计方案的可实施性。工业产品生产成本的构成包括生产过程中的实际消耗的直接材料、直接工资、其它支出和制造费用。由于本作品的实现效果与器件的性能高低成直接正比，而器件的性能又与成本息息相关，所以只考虑本文所做样品的固有器件以及机械材料和电路消耗器材的成本。作品使用器件详细型号及成本如表3-1所示。表3-1成本表部件价钱云台电机899x2=1798元双目摄像机480元中央处理器52元4G通讯模块155x2=310元陀螺仪76x2=152元VR头显1200元云服务器租赁3元/天机械材料与电路耗材50元左右从表3-1中看出，总体制造成本在4045元左右。由总体的成本分析可以看出，组成元件数量少，价格低廉，所以装置整体的生产成本在可接受范围内，远低于市场上单单一只专业VR体感游戏机的价格，因此更加证明此设计方案的可行性。

第4章产品的应用前景4.1产品未来的研究方向目前本作品已基本达到设计功能，但在实际软件设计与实物开发的过程中，发现在一些方面仍有改进空间。以下部分将列出该设计的未来研究方向。（1）新增：由于佩戴VR头显之后只能看到拟人云台所在位置的场景，而不能看到自身周围的场景，这为使用者带来了一些困难，如无法手写字记笔记等。未来将在VR头显中同样安装双目摄像头，利用前端VR头显中对二者视频信号进行融合处理，形成类似于增强现实（AR）的功能。使得VR头显自动分辨远处景物与用户手部接触范围内的实际交互物体，实现自动融合二者图像。（2）改善：目前拟人云台的控制算法虽然能实现基本功能，但跟踪精度可以进一步提高，这需要更复杂的人工神经网络控制器，对人体头部运动的过程与轨迹做出提前预判，进一步提高跟踪效果。其次，针对于“歪头”所用的z轴目前暂未考虑，以后为了营造更真实的临场感，还应加入z轴。（3）产品化设计：依托于商业化的云服务器租赁平台，实现在线的视频信号压缩减量处理，降低用户的5G流量消耗。与目前VR一体机公司进行合作，降低已有VR的用户的二次消耗。4.2产品的应用前景在VR产业发展初期，由于用户体验不佳、内容生态不完善，产业一度陷入低谷。如今，随着高质量内容的涌现，VR产业已步入复苏期。更为关键的是，5G逐步走向商用，VR技术从本地走向了云端，创造了一种全新的商业模式—智终端、宽管道、云应用。VR技术业在5G助力下，将从“虚拟”走向“现实”，其沉浸式体验将在多个行业中得到更广泛的发展，有望代替目前的远程视频交互方式，实现人与人、人与物、人与景真正“零距离”接触。（1）设备的远程操作指导与维护。可以将后端拟人云台装置在遥控载具上，实现诸如远程管道巡检、远程电缆巡检、远程工厂维护与指导等功能。（2）远程驾驶。目前的远程驾驶主要依赖于视频方式，但是视频方式本身为2D图像，不利于司机辨认前方车距。并且即使最昂贵的全景相机也无法做到无畸变无死角的全景视频采集。所以本作品可以完全替代目前的远程驾驶系统，并不改变司机的原有操作习惯。（3）远程手术与门诊。目前国外已经有VR手术指导的案例，但是广角镜头与无畸变镜头相矛盾，而在手术与门诊中，灵活的无畸变的视角尤为重要。（4）亲友远程见面。目前亲友远程见面主要是视频方式，这种方式与VR远程视界交互系统不可同日而语。如目前越来越常见的异地恋情侣之间，一种身临其境的见面方式毫不意外会成为一种刚需。若前端VR和后端拟人云台都以电池驱动，成为便携式，或成为亲友之间远程相伴的一种理想解决方案。可能在不远的将来，基于5G的VR应用还会扩展到更高级的形态，具备更深层的沉浸感，实现“万物互联”，我们指日可待。

第5章总结本文