基于边缘计算的沉浸式VR

基于边缘计算的沉浸式VRVR/AR应用精灵宝可梦Go任天堂和谷歌通过智能手机在现实世界里发现精灵，进行抓捕和战斗房屋装修HouseVR想看看将来装修好的房子？想和设计师一起所见即所得？HouseVR发展难点室内模型构造麻烦，设计师？–家具模型更不易，家具城？“+互联网”arcore

google

daydream明确设备技术不够成熟VR市场问题VR市场现状2016

VR元年2017寒冬将至？17年VR新品谷歌DayDream微软HoloLensHTC

ViveFocusVR市场如何？寒冬？考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大VR市场问题VR市场现状设备出货量增加用户量增加PC端VR与手机VR市场分析手机VR比PC端VR设备和用户多市场对比手机端VR将成主流？PC端手机考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大PC端VR

vs手机端VR手机端VR画质体验待优化但价格低用户可自由移动高画质存在渲染延迟PC端VR画质体验好但价格高移动受到限制分析需求来结合两者优势？考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大社交VRFacebook

Social

VR

Avatar实现Face-to-Face社交连线型头戴式VRVR的性能需求极低响应延迟：小于25ms较高刷新率(FPS)：大于60Hz复杂的场景：真实环境、全景视角…社交VR给移动终端和网络传输架构带来了巨大挑战传感器采集运动输入数据采集到的数据进行过滤并通过线缆传输到主机游戏引擎根据获取的输入数据更新逻辑和渲染视口提交到驱动并由驱动发送到显卡进行渲染把渲染的结果提交到屏幕,像素进行颜色的切换用户在屏幕上看到相应的画面VR延时需求产生延迟过程端到端产生延迟的流程多延时需求高延时导致用户晕眩用户视觉反馈受限延迟画质降低如何克服延时？考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大手机VR相关试验方法1：云端渲染高质量VR画面发至手机帧率受带宽波动影响带宽不足方法2：手机本地渲染VR应用手机温度过热用户体验画面卡顿如何克服两者缺陷？带宽不足考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大未来的手机VR将来无线网能带来帮助?将来硬件能带来帮助?400Mbps

TCP吞吐量已经包含27%CPU（在谷歌Pixel手机中）高质量VR帧流的传输需要大约6

Gbps的吞吐量

[MoVR,NSDI’2017]CPU/GPU在高端手机中发展的非常缓慢的进展:由于电源的约束，GPU

Frequency(MHz)Nexus

4(2012)Nexus

5(2013)Nexus6(2014)Nexus6P(2015)PixelXL(2016)Note8(201

CPU

Frequency7)

(GHz)考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大“本地手机”的高质量VR微软提出FlashBackImmersive

Virtual

Reality..[MobiSys16]手机VR设备无法提供好的用户体验？核心思想：预渲染＋缓存预测用户三维空间->离散点每一个点->预测缓存移动中加载预测点Blockage产生的主要原因是用户变化的动作（如图所示的抬手）会阻挡mmWave信号-解决方案是架设可编程的mmWave反射镜Mobility的问题在于mmWave的波长非常小，头盔的移动（用户移动）会导致天线需要重新校准（确保天线发射的方向能到达头盔），校准的时间会影响到VR的响应性-解决方案是利用VR系统本身的定位传感器等功能，快速、实时确定头盔的位置，并以此计算、调整天线“剪掉绳子”的高质量VR？MIT的Dina尝试采用新型高速无线传输Enabling

High-Quality

Untethered

VR

[NSDI17]手机VR设备无法提供好的用户体验？核心思想：60GHz＋本地缓存响应性处理产生时延设备精确性被波长影响–移动中需加载预测点什么是真实部署无限网络？60GHz

AP微波反射器Blockage产生的主要原因是用户变化的动作（如图所示的抬手）会阻挡mmWave信号-解决方案是架设可编程的mmWave反射镜Mobility的问题在于mmWave的波长非常小，头盔的移动（用户移动）会导致天线需要重新校准（确保天线发射的方向能到达头盔），校准的时间会影响到VR的响应性-解决方案是利用VR系统本身的定位传感器等功能，快速、实时确定头盔的位置，并以此计算、调整天线“剪掉绳子”的高质量VR？UCSD的Xinyu,Zhang尝试采用实时压缩码率帧传输POI360:

Panoramic

Mobile

Video

Telephony

over

LTECellular

Networks

[CoNext17]存在问题：压缩不同码率放云端延时大用户不能和视频交互转换视角大时码率清晰度低如何解决交互性和云端延时？Blockage产生的主要原因是用户变化的动作（如图所示的抬手）会阻挡mmWave信号-解决方案是架设可编程的mmWave反射镜Mobility的问题在于mmWave的波长非常小，头盔的移动（用户移动）会导致天线需要重新校准（确保天线发射的方向能到达头盔），校准的时间会影响到VR的响应性-解决方案是利用VR系统本身的定位传感器等功能，快速、实时确定头盔的位置，并以此计算、调整天线边缘计算＋手机VR

＝

Furion传统做法–服务器放在云端延时高创新思路：边缘计算手机VR放云端延时高！引入边缘计算(VR服务器)高清＋交互考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大手机VR重要发现重要发现1:–内容可分为前景交互和背景环境重要发现2：–前景交互和背景环境有可预测性的渲染工作云朵和山脉

(背景环境)赛车

(前景交手互)游戏,KartsDaydreamVR应用故障率可预测性渲染工作量前景交互随机,不可预测相对低背景环境连续,可预测的高考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大Furion设计第一步协同渲染手机GPU→前景交互远端GPU→背景环境结合它们到手机关键优势互作用耗时显著降低挑战：如何解决带宽不足？解码

(16ms)背景环境(≈48ms)请求

(3ms)渲染背景环境

(11ms)编码

(10ms)传输

(8ms)每一帧合并(<1ms)渲染前景环境(12ms)前景交互(≈12ms)样例输入瓶颈!考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大Furion设计第二步离散化虚拟世界借移动时延去预先取临近的帧使用预先渲染和预先编码的全景帧去批处理所有可能的方向挑战：如何解决解码延时？预取临近的全景照片

一般来说,运动延时≈20ms离散化的虚拟世界考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大Furion设计第三步手机上解码一个全景帧大约需要40ms的延时并行解码互作用耗时显著降低并行解码多核解码，解码时间:≈13ms考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大相关软件框架预渲染部分Unity

v5.6.2f1VRPanorama

v1.9FFmpeg

v3.4手机VR展示部分Unity

v5.6.2f1EasyMovieTexture

v3.5.9ijkPlayer

v0.8.2GoogleVR

v5.2考虑到Mobile

VR在短期内更具前景…网络延迟无法规避○响应延迟难以保证复杂的场景和高质量的画面○消耗大量带宽资源网络连接&高刷新率○手机能耗增大创新成果发热量和性能消耗30分钟内不会过热发烫电池消耗平均在410mA资源使用率CPU：64~76%GPU：37～63％平均带宽127～130Mbps