虚拟现实VR技术实现难点分析及应用案例_第1页
虚拟现实VR技术实现难点分析及应用案例_第2页
虚拟现实VR技术实现难点分析及应用案例_第3页
虚拟现实VR技术实现难点分析及应用案例_第4页
虚拟现实VR技术实现难点分析及应用案例_第5页
已阅读5页,还剩83页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

虚拟现实VR技术实现难点分析及应用案例第1页/共88页-3-VR搞笑集锦视频第2页/共88页-4-VR/AR虚拟现实(Virtual

Reality,VR)是3D视频或虚拟世界,遮蔽了现实世界,增强现实(Augmented

Reality,AR)则是将电子信息叠加于现实世界中,

构想性Imagination

交互性Interaction虚拟现实三大属性

沉浸性

Immersion

智能性Intelligence

交互性Interaction增强现实三大属性

集成性

IntegrationVR/AR虽在技术上有相通性,但用途有差异,我们认为二者一定要分开单论!第3页/共88页VR沉浸感AR智能化软硬件

入门VR+AR+周边硬件

复活VR/AR全新体验是VR生存的基础,智能支持是AR终极的任务,下一代计算平台,下一个入口。可以+的大生态有哪些?最新的是互联网+、移动互联网+、大数据+、云计算+,往以前看,电力+、蒸汽动力+等,往以后看,AI机器人+、区块链+等。Leap

Motion的手势识别、Lytro的光场相机等产品在刚出场的时候都被认为是革命性的产品,但很快被发现叫好不叫座,不过它们未来的机会正逐步到来。

-5-

现有的CPU/GPU、屏幕等硬件都已经能足够满足用户的需求,升级的机会在哪里?工业界兴奋地发现这些顶级软硬件相对于VR/AR来说才刚刚入门。第4页/共88页-6-2016是VR元年Oculus

Rift2014年3月被Facebook以20亿美元收购,VR技术进入资本前台,扎克伯格说“虚拟现实会是继个人电脑和移动设备后第三个改变人们生活的重要领域”,下一代计算平台!高盛2016年1月13日VR/AR产业报告中性预测2025年市场规模将达到800亿美元(其中硬件450亿,软件350亿),并给出1820亿美元的乐观估计及230亿美元的悲观估计。高盛从游戏、实况、视频娱乐、健康、房地产、零售、教育、工程、军事等9大领域做了非常精细的收入预测。高盛预测正常情形下三大头显2016年销量311万部,2020年2455.6万部,我们很认同,未来五年由于价高并不会爆发太快,限于游戏视频等垂直领域;高盛预测2020-2025年时按正常、乐观、悲观情形分别对标笔记本、手机、PC的发展速度,我们认同VR以笔记本为对标,想补充的是,AR在16年始第一个十年无足轻重,第二个十年逐步追赶VR销量,第三个十年成为手机的一类重要载体(手机其它载体包括微投影/微全息、折叠卷曲屏等,便捷性优于AR、隐私性不如AR)。VR/AR这类重磅产品的诞生将推动整个产业跨越式大发展,这次VR大潮,中国技术力量的跟随速度还是很快的,但产业生态布局要求高,我们能否取得优于智能手机行业的地位还需要观察。工信部很重视,16年4月发布14000字《VR产业白皮书》

/RqO8Cw6

,并组织成立了中国虚拟现实产业联盟。第5页/共88页-7-2016是VR元年1962年的虚拟现实设备Sensorama,可以让人们坐在椅子上、把头探进去,通过三面显示屏来形成空间感,从而实现虚拟现实体验。第6页/共88页2016是VR元年资料来源:王元,凌感的早期员工36氪《虚拟现实50年》

-8-1968年第一台头戴式原型机,因为体积十分沉重,需要在天花板上设计专门的支撑杆,被笑称为“达摩克利斯之剑”,作者是被誉为计算机图形学之父和虚拟现实之父的著名计算机科学家Ivan

Sutherland。它定义了虚拟现实的几个要素:立体显示:两个1吋CRT显示器不同视角显示创造立体视觉。虚拟画面生成:视频中的立方体是实时计算渲染出来的。头部位置跟踪:使用了两种方式来对头部位置进行跟踪,机械连杆和超声波检测,居然有三个超声波发生器和四个接收器。虚拟环境互动:与原型互动的手段还仅限于双手操作的把手。模型生成:虽然视频只是个简单的立方体,但8个顶点的确是通过空间坐标建立的模型,并且立方体是随着人的视角在变化的。第7页/共88页2016是VR元年1980年代早期,美国军方开始大量关于飞行头盔、军事训练仿真器的研究。1987年一位著名的计算机科学家Jaron

Lanier,捣鼓出一款价值10万美元的虚拟现实头盔,第一款真正投放市场的VR商业产品。1980年代,最重要的改变是,组成虚拟现实的各个设备都可以独立购买了!立体显示:市场上已经可以买到Sony生产的便携式LCD显示器、35mm广角镜片,使得近距离下视场的广度也能得到保证(只是没有变形校正);虚拟画面生成:显卡每秒可渲染上千个三角形,已经可展示复杂的图像了。头部位置跟踪:Polhemus公司开发出了6个自由度的头部追踪设备,虽然使用距离还有局限,但是比起机械连杆和超声波,精度大大提高,还少了束缚。虚拟环境互动:带有关节动作传感器的手套。模型生成:当时的显卡也可以做到实时三维建模了。资料来源:36氪《虚拟现实50年》

-9-第8页/共88页2016是VR元年

1996任天堂第一次将VR带入家庭,一套价值180美金、名叫Virtual

Boy的电子

游戏操控系统,但因为体验差,最后产品卖了不到80万套;

2010年代后,随着电子元器件,尤其是智能手机和智能硬件的发展、电子元

器件的小型化和计算的高效化、显示屏幕技术的成熟、内容开发工具的进步,

虚拟现实从军工走向了民用化;

2012年Oculus

Rift众筹大获成功、2014年3月Facebook耗资20亿美元(4亿美

元现金,以及2.31亿股普通股票)将其收购,将VR技术由开发者层面推向了

资本的前台,Sony、HTC等大厂纷纷跟进;

2014年6月谷歌在I/O大会上发布了第一代CardBoard,带来了超廉价版VR解

决方案,年底时走同样插手机路线的三星Gear

VR发售;

2014年9月Oculus宣布公开Oculus

Rift

DK1外设源代码及工程原理图,国内

VR头盔设备开发商大量涌现,产品兼容DK1(DK2兼容则需破解);

2016为什么是VR元年?公认的三大头盔厂Oculus、Sony、HTC之前只是推出

了开发者版,2016年将正式推出消费版产品,Oculus

Rift、HTC

Vive分别于1

月6日、2月29日预售,Sony

PlayStation

VR于3月15日发布。

-

10

-第9页/共88页2016是VR元年

连PC式头盔:主流方向,还包括连Xbox、PS4、手机等外设来运算与图形渲

染,可以适配重度游戏,连PC式头盔可以适配所有PC内容。缺点是连线不便

利,代表是三大头盔厂Oculus、Sony、HTC;

插手机式头盔:也叫手机壳子、手机架,定位为入门级VR产品,谷歌

CardBoard是鼻祖,三星Gear

VR则是其中技术佼佼者。轻产品,靠低价格迅

速普及VR体验,比较适合观影与轻度游戏,缺点是重度游戏玩不转、手机容

易发热掉电快、延迟眩晕、视场FOV普遍都没有达到90度、难有沉浸感,以

及高端手机流行金属机壳、对VR头盔来说太重。也有观点认为VR手机壳市场

乱象在损毁用户体验。

一体机、分体机:全移动,不需要电脑,优点不仅仅是便携,而是适合需走动

的大型游戏,但硬件性能、电池续航都是短板。有国内公司表示,赶超Oculus

一步到一体机,错!1、元器件性能提升还有个过程;2、硬件核心技术都在海

外大厂手上;3、硬件换代速度快,买早了吃亏。中期可考虑做分体机,还可

为头盔减重,北京Pico于2016年4月发布Neo分体机,采用高通骁龙820芯片。

-

11

-第10页/共88页-

12

-2016是VR元年资料来源:招商证券研究类型连

PC

式公司OculusSonyHTC&Valve乐相科技最新产品CV1PlayStation

VRViveDëePoon

E2M2价格599

美元499

美元799

美元1799

元待定上市时间

适配设备2016.3.28

PC、Xbox

2016.10

PS4

2016.4.1

PC

2015.11

PC

待定

一体机技虚拟现实科

3Glasses

D2蓝珀/Blubur

S1/W12199

元待定待定2015.9

PCPC/一体机手机架蚁视AvegantSamsungGoogle暴风影音蚁视蚁视+联想头盔+控制器二代

CyclopGlyphGear

VR1Gear

VR2Cardboard1Cardboard2暴风魔镜

5机饕乐檬蚁视

VR

眼镜1888

元待定3688

元699

美元199

美元99

美元25

美元16.99

美元499

元149

元199

元2015

初

各类设备全兼容

待定2015Q4

各类设备全兼容2014.12

S5、Note4

等手机2015.11

S6、Note5

等最新手机

2014.5

安卓手机

2015.5

所有大屏手机

2016.6

大屏手机2015

初

大屏手机2015.11

乐檬手机第11页/共88页-

13

-游戏

360摄像机游戏引擎影视

C端分发渠道

直播内容

应用

商店

视频

网站

内容制作厂垂直社区

头盔

操控

手柄体感手套衣服

B端

应用体验店、主题公园、网吧、野战馆、旅游等

工业、军事、医疗、教育、房地产等社交设备软件跑步机蛋壳机等动感

设备

OS屏幕或微投影、透镜、CPU/GPU

九轴传感器、定位器等2016是VR元年

VR产业链大图第12页/共88页2016是VR元年资料来源:

Greenlight

Vr

-

14

-第13页/共88页2016是VR元年资料来源:

Greenlight

Vr

-

15

-第14页/共88页2016是VR元年资料来源:

Greenlight

Vr

-

16

-第15页/共88页2016是VR元年资料来源:

Greenlight

Vr

-

17

-第16页/共88页2016是VR元年资料来源:

Greenlight

Vr

-

18

-第17页/共88页Oculus

RiftOculus

Rift

消费者版CV1于2016年1月6日预售,3月28日开始发货。定价599美元,高于市场预期(之前的工程机DK2是350美元),创始人说599是成本价了,Oculus预计2016年发售100万部。首发地没有中国大陆,大陆发售时间尚未落实,这是中国企业的机会所在。Oculus何时进入中国市场?“欢迎到傲库路思”,傲娇的名字,2016年1月上线,中文官网?创始人随后予以否认。

这是我们在CV1预售前一晚倒计时的

截图,这不仅预示着CV1的诞生,更

记录着高端VR时代的诞生。

规格参数如下:FOV:水平方向110

度,FPS:90Hz,显示屏:OLED,

分辨率:2160

x1200

(单眼

1080

x

1200),镜片:菲涅尔(非对称),

重量:380g。套餐中没有输入设备

Touch,而是用Xbox

One的手柄代替。

-

19

-第18页/共88页-

20

-Oculus

RiftPalmer

Luckey2012年众筹时才19岁,他是个VR发烧友,酷爱收藏拆解旧式VR头戴设备,他攒出的原型产品视场之宽广完败市场上所有竞品。第19页/共88页-

21

-Oculus

Rift贵人相助:重磅级VR发烧友John

Carmack(第一人称射击游戏之父)2012年6月E3大展把

Oculus

Rift

介绍给全世界,他本人亲自用原型展示

Doom

3

BFGEdition游戏,Oculus在Kickstarter上8月众筹爆收243万美金,13年8月,Carmack加入Oculus任CTO。Carmack作为游戏界的教父级人物,是id

Software的联合创始人之一,对3D

加速技术的贡献无人能及,代表作有

Quake、Doom系列和

Wolfenstein3D

等。卡马克被授予英国电影学院奖最高荣誉,于4月7日登上颁奖典礼领取“British

Academy

Games

Awards”大奖杯。约翰·D·

卡马克二世John

D.

Carmack

II1970年8月20日-第20页/共88页-

22

-Oculus

Rift2013年6月,Oculus获得A轮融资1600万美元,投资方包括美国经纬和SparkCapital等;2013年8月发布了开发者版本DK1

,售价300美金;2013年底再次获得7500万美元的B轮融资,领投方为Oculus

VR的天使投资方A16Z,A16Z的创始人Mark

Andreessen加入了Oculus

VR的董事会。2014年3月Facebook耗资20亿美元(4亿美元现金,以及2.31亿股Facebook普通股票)收购了Oculus。DK1第21页/共88页-

23

-Oculus

RiftOculus

为什么要卖给Facebook?

背靠大树好乘凉,容易得到其他大厂的合作机会。

做硬件很烧钱,VR屏幕的参数与手机参数很不一样,要找三星这种大厂,开

屏费用可能就要几百万美金,还要保证一定的量才行。Oculus需要三星的

OLED屏幕以及处理器,它可能在消费版头盔中加入了处理器以加快处理头部

运动侦测。

内容制作上前期要给游戏开发商50万至100万美金不等的定制费,才有人愿意

做,因为导入期游戏开发商基本拿不到收入。

Facebook和它的小伙伴们第22页/共88页-

24

-Oculus

Rift现在3D视频已经很丰富,但戴上3D眼镜看电影,需要坐近点,这样3D效果更好、视野更宽、沉浸感更佳,但电影屏幕再大总有边界。如果大到没有边界?头部转动时画面也能同步移动让人感觉可以360度环视,沉浸感会更好。打破边界,怎么解决?第23页/共88页-

25

-Oculus

RiftVR原理很简单:不同于偏光式、快门式的3D眼镜,也不同于光栅式的裸眼3D,怎么解决?1、近距离双眼双屏模式,视差相叠骗过大脑、简单粗暴!2、为了解决视频放大、视场扩大到110度的问题,要加两个高倍凸透镜;3、透镜边缘变形问题,需要软件矫正;4、开始时是一个屏幕一分为二,比如DK1的屏幕分辨率只有1280*800,分成两块显示后、单幅画面其实只有640*800的分辨率,非常低!后来者则多采用独立双屏模式,不仅提升分辨率,还方便调整瞳距。第24页/共88页-

26

-Oculus

RiftDK2成为2014、2015年的业内标杆。Crystal

Cove

DK2于2014年1月CES发布、7月发货,售价350美元,使用了一块三星NOTE3的屏幕,分辨率提升到1920x1080的,但清晰度还是非常不够。增加外部动作追踪的摄像头,侦测头部运动的精度与延迟较仅有陀螺仪的DK1大为进步。传感器数据采集频率达到1000Hz,屏幕刷新率从60Hz提升到75Hz,但重量DK2是440g,高过DK1的380g。DK2的目镜只有两组替换(一组针对视力一般和轻度近视的A组镜组,一组针对高度近视的B组镜组,DK1则是附带了三组替换镜组),且目镜安装采用固定方式,瞳距不可调。作为标杆,国内头盔总是喜欢跟它比较硬件参数,其实意义不大,因为DK2考虑价格因素,根本没有用上好的硬件。第25页/共88页-

27

-Oculus

Rift时隔仅两个月,2014年9月Oculus公司首届Oculus

connect大会,公布了内部原型Crescent

Bay(参数未公开,屏幕清晰度估计是1440p,90fps)、3D音效、眼罩四周增加大量红外LED,利用前方的摄像头,实现头部360度运动侦测(星座系统),允许各方向移动3英尺(不过公司比较慎重,仍鼓励开发者多为设计“落座体验”),镜片形状不是正圆,而是一个类四边形形状,所以畸变算法也随之改变,不过视野还是与DK2类似,有边框。2016年正式发售的消费版CV1则改为菲涅尔透镜,又名同心螺纹透镜,相比凸透镜能减厚减重,短焦距大视野,畸变算法更复杂,菲涅尔透镜正成为行业标配。第26页/共88页-

28

-Oculus

Rift独家输入设备Oculus

Touch于2015年6月发布,9月的Oculus

Connect²

大会上做了详细说明与体验,这是一对拥有六自由度定位的虚拟现实输入控制器。配套了Oculus

Medium应用工具,让用户在VR中“做黏土”,正式销售要到2016年6月,没有赶上这次CV1的发售,没有Touch时的Oculus被人认为是残缺的。第27页/共88页-

29

-Oculus

Rift2015年9月的Oculus

Connect²

大会,

Oculus宣布将在联合推出的三星Gear

VR上发布大批新的专为

VR

设计打造的游戏,包括

UsTwo

的

Land’s

End,CCPGames

的

Gunjack,以及

Mediocre

的

Smash

Hit,微软Mojang的Minecraft,Epic

Games的Bullet

Train等;和21世纪福克斯、狮门影业等公司建立伙伴关系,未来也将携手Netflix和Hulu等流媒体视频服务提供商,以及亚马逊旗下的Twitch游戏直播平台为用户提供更多的内容,还有Facebook

也在他们的新闻流

NewsFeed

里启用了

360°

的视频应用。第28页/共88页-

30

-Oculus

RiftOculus的CV1用户将免费获得游戏《Eve:

Valkyrie》太空题材的3D射击游戏、《Lucky’s

Tale》VR中的超级马里奥。应用收费则按传统的开发商、平台七三分成,应用内收费的模式还需要摸索。Oculus应用商店的审核共有3个环节,包括:技术审核(Technique

Review)、内容审核(Content

Review)、舒适度审核(Comfort

Review),每一个app和游戏的下载页面都加上了舒适度标注:Comfortable

for

most或Comfortable

forsome,绝大部分游戏还是第三人称视角游戏,少部分是第一人称定点视角游戏,极少数是第一人称运动视角游戏,Oculus对避免眩晕感的重视已经到了可以妥协游戏类型的程度。(资料来源:TVR访谈)

Oculus的内容是独占的,而Libre

VR

制作出第三方应用Revive将其破解,

让HTC

Vive用户也可体验Oculus的内

容,16年5月Oculus升级“平台完整

性检查”程序,结果很快又被Revive

破解,且权限大到不用识别是否合法拥有软件。拉锯战将继续。第29页/共88页-

31

-rockychuOculus

RiftOculus15年12月25日公布了Oculus

Rift零售版的PC配置要求,900美元,合计头盔一共1500美元:操作系统:64位Windows7/8.1/10;处理器:Intel

Core

i5-4590或更高;内存:8GB;显卡:NVIDIA

GeForce

GTX970或AMD

R9

290;接口:3个USB3.0+1个USB2.0。Nvidia的Jason

Paul称市场上只有1300万台PC符合资格,我们倒认为正是PC升级的契机。我们在京东组装电脑中配置了一款含1T固态硬盘的电脑,价格5499元,

/1101213525.html

。

不过,VR头盔要大卖,整个硬件

套餐价格最好控制在800美元以

内,根据硬件降价规律,可能需

要五年时间,注视点渲染视频技

术突破则可加速这个时间。第30页/共88页-

32

-VR技术难点第31页/共88页-

33

-VR技术难点VR最重要的沉浸感决定于以下的一些指标(需牢记!)1.眩晕感:延迟需控制在20ms以内(奇点);2.屏幕分辨率:2K以上分辨率(低了会有纱窗效应、或晶格);3.屏幕刷新率与视频帧速:屏幕刷新率一般只是60Hz,但VR最低90Hz、最好120Hz,不过刷新率上升了很耗电(

80Hz的耗电量估计就能是60Hz的两倍),此外,视频帧速fps与之相适应,达不到需要用插值算法;4.可视角度FOV:至少110度,甚至120度(双眼重合区才能看到立体物体,水平角度122°、垂直角度120°,鼻子越高,水平视角越小,最外侧各30

°

为余光区,看不清楚物体,但影响沉浸感);5.头盔轻盈度:200g以内,否则戴久了脖子痛,近视眼镜一般在7-35g;6.交互方式:手持、体感等,对精准、延迟都有较高要求。图片来源:Yivian第32页/共88页-

34

-VR技术难点眩晕感:最大障碍,主要源于使用者所见所感不同步,不同健康状况的人敏感度又不同,延迟度的度在哪里?20ms是个临界点,跨进来就能化腐朽为神奇。怎么解决?后文详述。屏幕:从双眼单屏到双眼双屏后,单眼要从现在的1K清晰度一直发展到未来的单眼8K(屏幕主要来自三星与索尼),刷新率从75赫兹、90赫兹直至120赫兹。GPU运算能力:Nvidia与AMD雄霸PC端的GPU(分占75%、25%份额),移动GPU芯片集中在高通Adreno、ARM的Mali、苹果Imagination的PowerVR手中,不过,移动GPU的性能仅是PC端GPU十年前水平,一体机突破需要其它辅助。软件算法:包括图形图像的核心算法(反畸变、反色散和头部运动预测、硬件访问能力)、与各类外设交互的算法、兼容各类游戏引擎。谷歌一直说要做安卓VR版OS,腾讯在15年7月份发布了VROS,外设大厂雷蛇Razer联合

Sensics发布了开源VR系统

OSVR,想打造成VR领域的Android。头盔重量:400克以上的重量,戴20-30分钟,脖子会受不了;300克重量,佩戴时间可能延续到1小时左右;如果200克左右,佩戴更自如。目前的头盔相当于90年代的“大哥大”。第33页/共88页-

35

-VR技术难点(20ms延迟之战)Oculus怎么解决眩晕感的?Motion-to-photons

latency,指玩家运动头部到在屏幕上看到新图像这整个周期里延迟时长总和,分解为6个环节:1、用户输入;2、USB电缆从Rift向电脑传送指令;3、游戏引掣为GPU翻译指令;4、处理器发布写出“新图像”的命令;5、Rift的显示屏将像素转化为新图像;6、完整延迟时长。新图像完全生成。

取自Nvidia的技术文档

《Gameworks

VR》

资料来源:36氪,作者:

Chloe头盔内置一个集陀螺仪、加速计、磁力计为一体的追踪器,1000HZ,第一环节的延迟时长已由最初的15毫秒降至1毫秒;信号从Rift传输至PC又会产生1-2毫秒的延迟,所以需要USB3.0;大部分现代游戏约为60fps,每张图传输至GPU的时间为16.67毫秒,如果帧速提高1倍,延时能省半,屏幕刷新率要相应提升;GPU再通过USB线缆给Rift显示屏写图;屏幕响应速度,LCD屏还是需要5ms、2ms,三星AMOLED在数微秒之内(无余晖),Oculus还要三星放开硬件权限可以直接访问前置内存。2014年10月份Oculus推出Latency

Tester小工具让开发者测量第34页/共88页VR技术难点(GPU性能天梯)

PC显卡方面,

Nvidia于16年5月7日发布基于新的Pascal架构、全球首款16nm制程游戏显卡GeForce

GTX1080/1070,前者核心频率达1860~1886MHz,售价599美元,国行5399元,后者售价379美元,国行3499元。GPU并行计算能力令其可广泛用于图形视频处理、AI深度学习、智能驾驶等领域,Nvidia股价迭创新高。移动显卡有功耗的约束,目前最顶级的Adreno

530,虽然最高主频650MHz,性能只相当于PC显卡十年前水平,几十倍的差距。

-

36

-第35页/共88页-

37

-VR技术难点(GPU

VR跑分)

评测先锋Futuremark的3DMark基于5种场景对GPU的3D性能进行测评,结果见左图,同价位产品AMD的要小胜Nvidia,但后者性能上更胜一筹。3DMark还于2015年12月发布VRMark测试的预览版,针对当时市面上的VR头盔,4个场景、按场景真实性、延迟(分段与全程)、准确度等维度测评,GPU跑分未公布,但对比结论与前述测评差不多,VRMark正式版将于近期推出。第36页/共88页-

38

-VR技术难点(VR

SDK)Nvidia推出VR

SDK-VRworks,消费级GeForce、专业级Quadro、移动Tegra都支持,其中VR

SLI分屏刷新、Multi-Resolution

Shading一屏分九块差异化渲染;16年5月基于GeForce

GTX1080/1070,同时增强功能推出该高端显卡专属的曲面屏/多联屏/VR图像矫正技术Simultaneous

Multi-Projection引擎,其中的Single

Pass

Stereo可渲染出左眼图像后,迅速转换出右眼图像,以及拟真VR音频技术VRWorks

Audio。高通骁龙820作为当今最强的移动处理器、三星代工14nm

FinFET工艺,包含KyroCPU架构、AdrenoGPU图形核心、HexagonDPS传感中心,其中Adreno530率先支持最新的OpenCL2.0和Renderscript。高通还为该芯片发布VR

SDK,可大大降低渲染延迟,支持3D立体注视点渲染和镜头矫正、色彩矫正、畸变矫正等,低功耗360度4K

HEVC视频解码、帧率60fps。ARM当红的CPU是Cortex-A72,GPU为Mali

T880最高主频850MHz

。ARM也推出了Mali

VR

SDK,完全基于NDK和OpenGL

ES

开发,将许多VR处理需求直接嵌入ARM架构的硬件IP和驱动里,改善立体渲染、校准、各种透镜效果以及光学畸变的软件修正,且也可像Nvidia那样对屏幕分块处理,以及支持高效内存压缩。第37页/共88页-

39

-VR技术难点游戏和视频是目前VR行业最先启动的两个内容模块:

绝大部分3D的PC或手游都不适合移植到VR平台,SDK包转换不是问题,关键

是它们不能提供沉浸感的要素比如全景视角和足够的清晰度与帧速,VR游戏

需要选定平台重新开发。

需要一门VR交互语言,比如用户怎么移动?很多游戏干脆落座不移动,要移

动则分真实移动、跑步机、瞬移、行走重定向等不同方法,有人发明贴传感器

于大腿外侧的原地踏步移动法;另外,VR社交的模式也要重新探讨。

VR视频首先是沉浸式观影,无边大屏幕,3D内容已现成。而全景视频内容需

要进一步丰富,这又包括两类,第一类场景式视频拍摄难度较小,例如全景视

频或实况比赛,直播、录播皆可。

全景视频第二类为剧情式视频,拍摄甚难,为了不穿帮,整个画面构成将要发

生革命性的颠覆,最快发展的剧情式拍摄主要还是动漫电影,但制作成本也很

高昂。兰亭数字VR电影的拍摄经验:主线故事要能抓住观众注意力(否则容

易出戏);导演不在现场,要有全局观、演员要一镜到底、要求高;切换镜头也要务必保证过渡的自然性并减少切换的频率。第38页/共88页-

40

-VR技术难点-游戏引擎灵活度高、最具人气的游戏引擎是Unity引擎与Epic旗下的Unreal引擎。Unity1.0始于2005年,它于手游时代迅速崛起,最新是5.4β版,3D引擎口碑佳主要在于开发方便、一次开发适用所有终端,开发者占比超50%,三倍于Unreal,Oculus

Rift首发30款游戏中有16款、Gear

VR90%以上的游戏都是使用Unity引擎。Unity于2016年2月首度举办Vision

Summit

2016

大会,意图打造VR/AR界的奥斯卡奖盛会。目前该公司正在以15亿美元估值融资。Unreal则表示全球收益超过10亿美元的7大游戏都是用他们引擎,他们认可Unity游戏开发写代码更便捷,但他们优势在于游戏整个发行、运营维护的便利。

Unreal虚幻引擎4于16年3月率

先拿出杀手锏-VR编辑器,开发

者可以直接在VR环境下构建所

见即所得的场景,视野从50x到

1x可随意缩放。一周后Unity也

宣布他们也在开发类似系统。

Unreal的VR编辑器视频/RqY6Mco第39页/共88页-

41

-VR技术难点-全景摄像机全景摄像机厂商已经大量涌现:Jaunt、360Heros、谷歌Jump、Panocam3d、Bublcam、诺基亚OZO、三星Gear360、Lytro

Immerge,国内Insta360等等。

要拍3D全景,摄像头至

少在8个以上,少了只能

拍2D全景。硬件方面难

点是所有摄像头的同步

性,后期要无缝拼接则

需要调整多幅图像的曝

光度、对比度、白平衡

等参数,渲染需要相当

时间。第40页/共88页-

42

-VR技术难点-全景摄像机Google在2015I/O大会上发布了虚拟现实内容解决方案Jump,包含CameraGeometry、Assembler和Player三大部分。Google与GoPro达成合作,由16台GoPro组成的阵列Odyssey进行360°同步拍摄,Jump后续处理,全景视频在Youtube360视频频道上,供Cardboard及其他VR设备观赏。单台GoPro

Hero4相机售价499美元,而整套Odyssey定价1.5万美元!GoPro于15年4月收购VR

软件公司

Kolor,16年4月推出自家6摄像机组合产品Omni,售价4999美元,同时推出GoPro

VR视频网站,并吸引全球领先音频公司森海塞尔加入开发者计划,

该公司VR

麦克风

AMBEO可抗恶劣拍摄条件,不过可能也要2000美元,预计于16年4季度发售。

GoPro的摄像机需求看来将来会不少第41页/共88页-

43

-VR技术难点-全景摄像机Jaunt是目前全景摄像机的领军者,已经拍摄了很多最受欢迎的视频,如McCartney现场音乐会Live

and

Let

Die、二战营救类动作片The

Mission、惊悚片Black

Mass、怪兽电影Kaiju

Fury等。Jaunt于2015年6月底发布了代号NEO(后改名为ONE)的第五代影视级别虚拟现实摄像机原型,8月后只租不售,2016年准备上市销售。Jaunt成立于2013年,2014年4月获得

680

万美元的

A

轮融资,8月获得GoogleVentures领投的2780万美元B轮融资,2015年9月获得黎瑞刚的华人文化、迪斯尼领投的6500万美元C轮融资。

Jaunt

ONE,貌似混元锤(很多研

究报告弄错图片),有24个摄像头,

一周16个,上下各4个,号称可捕捉

(伪)3D光场,单镜头4K分辨率、

60FPS的360度视频,且能适应弱光

与运动场景,不过拼接和渲染工作

量不小,一分钟的Jaunt视频要花费15至20分钟。第42页/共88页VR技术难点-听觉VR要实现沉浸感,声音元素少不了,尤其是昏暗场景中,声音还能给出提示、引导剧情。我们知道VR视觉三要素是分辨率、延迟与追踪,而VR听觉最重要的是营造空间感,这跟音响播放的杜比环绕立体声5.1或7.1没有一点关系,它要的是360度“声场”,并且必须通过耳机还放!为音响录制的音效用耳机播放可能造成听觉敏感者“头中效应”。定位声源的方向与距离,OculusAudioSDK(

/RqU9Mt5

)有详细说明,先看人耳是怎么做的:人耳怎么给声源定位方向?每个声源都是立体声双声道,左右定位时用时间差及响度差,前后上下定位时则通过耳廓、头部、肩部等反射或遮挡衍射及干涉混响后大脑综合判定,如果还不能定位则需要移动头部二次定位。人耳怎么给声源定位距离?就是通过响度与周遭熟悉声音这一参照系的大小比较、高频声音衰减速度、原声与混声比例、运动声源的听觉差等综合判断,有称作“心理声学”。资料来源:poemqiong,

-

44

-第43页/共88页VR技术难点-听觉声音到鼓膜的反射混响过程,工业界有比较成熟的音效算法,叫头部相关传输函数head-related

transfer

function

(HRTF),把单一音源转化为双声道欺骗人耳来定位。这要用到人头录音(Dummy

head

recording),即采用仿真人头模型、在人耳鼓膜位置放置两个麦克风来录制声音,比较原音与双耳录制音即可得到HRTF,然后用HRTF对其它原音编码即可,这方面有很多公开数据集,比如:IRCAM

Listen

Database,但有的数据集采样自由度稀疏,需要插值。HRTF技术在定声音方向上非常不错,距离感差点,因为混声回声缺乏很好的构建模型,另外一个难点是每个人的HRTF是不一样的,怎么预设?基于HRTF的耳机音效系统,从很早就投入商用的SRS到后来三星DNSe再到DTS的Headphone:X(迅雷移动端为其开辟电影专区),之前仅在耳机发烧友这一小众群体中流行,但,这在VR中确是必需的!计算密度巨大!每个声源都要计算双耳效果,要求好的直达声与回响之间的初始时间延迟、混响、衰减曲线,并且当头部有移动时,更要迅速对声源方位、耳间听觉差等重新计算。人头录音小站:黑木的录音笔/rtlyxz资料来源:胡岐山等,知乎

-

45

-第44页/共88页-

46

-VR技术难点-交互设备交互模式的四代革命:CLI命令行界面GUI图形用户界面TUI可触摸用户界面NUI自然用户界面NUI包括头部与全身运动、眼球追踪、语音识别、手势及全身动捕与力反馈、脑机接口等,交互设备各家有各家的想法:包括手柄、魔戒、手套、体感枪、座椅、跑步机、光学或传感器动作捕捉等等,但大家都在等Oculus、HTC

Vive开放追踪系统的API。第45页/共88页VR技术难点-交互设备(语音交互)语音交互于VR非常重要

一是声场音效,前文已详述,另,Facebook于16年5月收购虚拟现实音频公

司Two

Big

Ears以助力Oculus,TBE的“3Dception

Spacial

Workstation”是款

专业的空间音效工具现在被免费开放给公众;

二是语音快捷键,游戏中切换武器、技能、物品等,语音识别技术已很成熟;

三是联网用户的语音通道实时交互,需要带宽要求与低延迟,技术也成熟,

有YY语音前CTO赵斌在硅谷创业的声网Agora.io(还兼具声场音效)

;

四是语音助手、AI语音交流,技术已经运用在苹果Siri、Google

Now、微软Cortana、科大讯飞、百度、IBM、亚马逊Echo等,但离成熟还有很远的距离,远景目标是达到电影《HER》的水平,不过VR中要求没那么高,不需要麦克风矩阵、远程降噪、但还是需要低延迟、口音识别、语义分析、语言表达。

-

47

-第46页/共88页-

48

-VR技术难点-交互设备(眼球跟踪)眼动追踪技术Eye-Tracking通过图像捕捉或者红外扫描等方式来提取人眼注视方向,后者精度高。该技术原先只是用于手机或PC上的解屏锁屏、视频播放暂停、菜单操作、或是帮助残障人士等,VR中将增加很多有意思的玩法,比如武器快速瞄准(指哪打哪升级为看哪打哪,空战中太棒了!)、与游戏角色NPC作眼神交流、游戏黑暗中手电筒功能,最最重要的是注视点渲染foveated

rendering,模拟人眼生理特质即注视点中央清晰、周围模糊,改变全局渲染,可大幅降低GPU负载、提升性能2~6倍不等,如果技术成熟,一体机就没那么遥远了。

目前红外最高可以做到380Hz的

刷新率,延迟3~5ms,已经基本

合用了,将来希望也能如运动传

感器一样达到1000HZ,以确保全程过20ms的坎。其它待解决问题:戴眼镜者的眼镜影响眼球追踪效果、菲涅尔透镜的同心圆会干扰信号,还要注意防抖。让你的眼睛会说话第47页/共88页-

49

-VR技术难点-交互设备(眼球跟踪)东京的FOVE,第一家眼球追踪头盔厂商,内置双红外摄像头,产品计划16年秋季发售,早前接受了微软创投加速器在伦敦分部的孵化,后于16年3月完成1100万美元的A轮融资,Colopl

VR

Fund基金领投,鸿海、三星跟投,Colopl是日本最大的游戏发行商之一。公司于16年5月开放下载SDKv0.4,基于

C++,允许集成自定义渲染引擎和原生App,并表示有意将其眼球追踪技术授权给其他头显厂商。该领域的公司还有SMI、Percept、Eyematic、Eyefluence、Tobii及国内的七鑫易维等。

七鑫易维号称已实现垂直30°、水平50°全视场角跟

踪,完全可以覆盖全FOV的VR设备,追踪速度为

240Hz,延迟低于5ms,且具备防抖追踪算法。目前除

了跟Nvidia、高通合作外,其眼控模组既可嵌入Oculus

等头显,又可植入Gear

VR类手机VR盒子,并提供

SDK进行功能拓展。另外,公司还很注意基于注视点信息的大数据分析(网上类似有别家的眼球跟踪热力图)。FOVE

CEO小岛优花Yuka

Kojima15年9月登上日本福布斯封面,她曾在Sony

Playstation部门工作过五年时间第48页/共88页-

50

-VR技术难点-交互设备(全方位跑步机)Virtuix

Omni全方位跑步机,带来VR运动感受。普通跑步机主要体现速率和距离这两个维度的数据,但Omni还加入了方位这一因素,用户可以自由转向,Omni采用的是内倾斜的光滑表面,当玩家向前走的时候,就会不经意滑下来。玩家需要穿上特制的鞋子,一是便于平衡,二是收集速度数据并同步到VR游戏中。支持Oculus

Rift与HTC

Vive。缺点是移动精度还需要不断提升;价格不菲,699美元;50公斤,体积重量太大,适合商业场所运用。第49页/共88页-

51

-VR技术难点-交互设备(光学动捕)Leap

Motion:2013年产品首发70美元,2014年入华取名“厉动”,售价

688元,两轮融资共4275万美元。原先只是想替代鼠标,但是并不成功。原理是使用红外LED

+双目灰阶30万像素camera采集手部特征点运动数据生成3D全手数据,不如Kinect、Intel

RealSense深度摄像头的精确与视觉深,但胜在低成本,且延迟8ms较佳。公司现在主攻VR,改进了算法、推出Orion技术解决方案,加大动捕FOV到150度,可精确识别十指,但为了扩大手部活动范围,公司准备推出自己的头盔及与中国头盔合作、把Orion做进头盔里,因为三大头显都有自己的输入设备了。它现在的问题还是缺乏强应用的配合。第50页/共88页VR技术难点-交互设备(惯性传感器动捕)北京诺亦腾Noitom(Motion的倒序拼写,梦想是颠覆传统动作捕捉行业)成立于2012年,开发了领先水平的基于

MEMS惯性传感器的动作捕捉技术。相比光学动捕,精度与即时性上有不足,但可避免光学动捕因动作或物品遮挡而所需的大量后期处理,硬件成本也低很多,适合VR游戏,游戏要求的精度不高,但一定要得到游戏大厂的支持,另外延迟还是过线:从硬件到

PC延迟10ms、软件处理延迟3–5ms、传输到头盔显示还要20+ms,还有就是解决易穿戴问题。诺亦腾2015年11月获得B轮2000万美元投资,估值超2亿美元,奥飞动漫领投,A轮君联资本等跟投。

专业版“腾挪PERCEPTION”套装9.8

万元,在

影视(《权力的游戏》

、《寻龙诀》)

、体育

训练、医疗诊断等行业已有运用;消费版在

Kickstarter上众筹的“Perception

Neuron”分包

含10个、20个、30个传感器子节点的不同套装

价格分别为

200美元、375美元和

550美元,支

持WIFI无线传输,传感器模块还可以像乐高玩

具一样进行自由调整和组合。

-

52

-第51页/共88页VR技术难点-交互设备(触觉-力反馈)触觉分为皮肤感知(温度、纹理、粗糙)和运动感知(力与方向)。基于运动知觉的远程操作与模拟力反馈的商业化产品已很多,如世界最大3D打印机制造公司3DSystems于2013年收购杰魔获得Geomagic

touch(左下图),广泛应用于工业、医疗、教育等领域的模拟、培训、设计、控制等方面。不过这个“3D鼠标”不仅价格过万人民币,且在VR中并不方便。法国Haption的更是贵至60万人民币。VR力反馈怎么设计?模拟枪的后座力还相对简单(StrikerVR)

,手部力反馈有一定难度,多采用外骨骼方式,由电动、气动、液动等主动型发展到电/磁流变的被动型。中下图为Immersion

CyberGrasp力反馈装置附在数据手套CyberGlove上,每个手指能提供最大10N的力,但要完全做成轻薄手套难度非常大!

目前有斯坦福的开源

触觉框架CHAI

3D、

杰魔的力触觉开发组

件OpenHaptics可用。

皮肤感知则可能需要

线性马达。

-

53

-第52页/共88页-

54

-VR技术难点-交互设备(肌电刺激)Teslasuit是世界上首款VR全身触控体验套件,登陆Kickstarter拟筹资25万美元,16个触控点衣服1799美元,52个触控点衣服2099美元,价格超贵。英国开发团队Tesla

Studios

希望能通过采用肌肉电刺激(EMS)技术来实现虚拟感受,该套件号称能传送从微风轻拂到重力狠踢各种不同力度。

主控单元--T型腰带,可无线连接

到市面上绝大多数虚拟现实设备。第53页/共88页-

55

-VR技术难点-交互设备(脑机接口BCI)脑机接口技术:脑信号读取-信号预处理-特征提取-分类-控制外部设备-反馈大脑,其中信号采集分为侵入式、非侵入式两类。信号需要去噪、需要利用深度学习技术来分析,精确度差,但安全性高

信号精确,但有安全风险,

且硬件寿命短啸语知乎账号有系列文章第54页/共88页-

56

-VR技术难点-交互设备(脑机接口BCI)从脑到机的意念控制主要是帮助残障人士重建运动能力,还有基于脑电EEG技术的消费类产品如Melomind脑电波耳机、Emotiv

Insight

、NeuroSky

MindWave意念控制器,如果外部设备换成VR游戏,操作起来更容易,比如MindMaze用脑波操控VR游戏MindLeap。但如果要让大脑在VR游戏中更全面的沉浸,需要由机到脑反向写入体验信息,人工视网膜、人工耳蜗等感觉修复技术给残障人用的,更多更强更直接的信息刺激则有相当危险性,目前仅允许在一些医疗机构用于治疗手段,例如深部脑刺激

DBS技术和经颅磁刺激TMS技术可以

用来治疗抑郁症和帕金森氏病,如美

敦力的脑起搏器。

也有研究作用于正常人大脑上改善脑

功能和个性如增强记忆、提升学习能

力等,这些也可用于VR体验。《黑客

帝国》的脑后插管,随着微电极技术

的升级也将逐步成为现实,但离消费级使用还有相当距离。第55页/共88页-

57

-其它连PC式头显第56页/共88页Sony

PlayStation

VR(第二势力)索尼电脑娱乐(SCE)于GDC2014、2015游戏开发者大会上发布过两次VR设备原型机Project

Morpheus(墨菲斯计划),并于2015年9月东京电玩展上宣布正式改名为PlayStation

VR,明确其作为PlayStation系列主机的配件的位置。新版原型机以5.7英寸大小的OLED显示屏替换原先的5英寸LCD显示屏,可以输出1920x1080分辨率影像、100度视野、刷新率高达120帧每秒(视频跟不上的用插帧方式解决),延迟降低到18毫秒,为支持360度的动态感应,头盔上有9个LED、利用PS

Camera来实现头部追踪,模式与Oculus类似,外形很有科技感,PS

Move体感控制器则可变身成游戏中的刀剑、枪械等武器。

索尼于16年3月15日美国旧金山GDC

大会上发布消费版PlayStation

VR,

将于3月22日开始预售,10月正式上

市,

399美元价格不包括PS

Camera

与PS

Move,

499美元包含二者。

-

58

-第57页/共88页-

59

-Sony

PlayStation

VR老炮儿索尼早在2011年11月份就推出了“观影神器”头戴显示器,并且一年推一代推了三代,HMZ-T1、T2、T3/T3W(无线),但没有大卖,索尼14年将重心转移到虚拟现实产品上,15年4月宣布停产HMZ系列产品。HMZ系列产品配置了两块独家0.7英寸OLED屏,分辨率均为1280x720,60Hz,单眼45度角视野,产生近似20m远看750英寸屏幕的感觉。T1重量约为420g,T2约为330g,T3机身320g,电池盒重213g。缺点一是分辨率略低,二是视野略窄,三是不支持屈光调节,四是不带陀螺仪。第58页/共88页Sony

PlayStation

VRSony

PlayStation

VR的优势

设计的时尚感!

旗下的游戏机PS4已经在主机大战中斩获头筹,目前已销出3700万台;

索尼旗下拥有大量内容,公司宣布不久将来PlayStation

VR会有超过100款游

戏出现,而且独占游戏多;

体验一致性佳,其它公司要看配套PC性能;

499美元头盔+350美元PS4较其它两大头显省至少一半,门槛最低!Sony

PlayStation

VR的劣势

PlayStation

VR硬件性能弱于其它两大头显,2013年11月起售的PS4性能也不

足,不过索尼在图形技术上的精深挽回了一些劣势,据悉Sony将打破PS系列

硬件更新周期、推PS4升级版Neo来提高感受;

PS

Move是PS3时代产品,太大、当刀剑很好,抓取东西则成问题,且反应滞

后、精准不足,Yivian报道Sony近期也申请了手环感应手势专利;

正式上市时间晚于另两家半年,折磨粉丝耐性;产业链封闭,开发迭代慢。

-

60

-第59页/共88页-HTC

Vive

(第三势力)HTC背水一战,手机业务在失血,VR必须成功。

HTC

Vive消费者版已于2016年2月29日开启预售,4月正式上市,定价

799美元,预售地区包括中国大陆,大陆价格是6888元(美国价格加17%增值税、15%电子产品关税),相比Oculus

Rift(不含Touch)的599美元,这个价格更贵一些。与Oculus一样配置的两块三星1080x1200的AMOLED屏幕、90Hz、110度视野,菲涅尔透镜,但形状不同。整套

Vive系统包括两个无线控制手柄、两个激光空间定位器、内置前摄像头的头戴显示器(前置摄像头可偶尔切看真实环境,有必要)。Vive消费者版特别提供了电话服务,可在头戴设备上直接接听电话、回拨未接来电、读取短信并快捷回复,还可以查看日历邀请,我们认为这一功能画蛇添足,VR不需要,AR才需要。

首发124款游戏,大陆版免费三款

游戏:

《Job

Simulator:

The

2050

Archives》玩家向机器人学

习模拟工作、《Fantastic

Contraption》发明奇妙装置、

Google的《Tilt

Brush》3D绘画。

体验视频:/Rq7ymr761

-第60页/共88页-

62

-HTC

ViveHTC

Vive最大特点是RoomScale,超越Oculus体验。利用室内大范围跟踪技术Lighthouse,两个灯塔发射器被吊在房间对角,头盔上光敏二极管阵列(32+8*2个激光定位感应器)来追踪两个基站发射的激光以定位,模式与Oculus刚好方向相反。每个基站包含一个红外LED阵列,两个转轴垂直、旋转的红外激光发射器,每20ms一循环,先是红外LED闪一次光,10ms内X轴旋转激光扫过整个空间,Y轴不发光,下10ms内Y轴旋转激光扫过整个空间,X轴不发光。系统优势:计算能力要求比红外摄像头还低、延迟小、精度更高,用户甚至可以在VR体验中将手柄扔来扔去都能接住。缺点是内有高速旋转件,需牢牢固定,否则手柄显示会有颤动。灯塔系统使得4.5米×4.5米范围可以自由走动,也可改为2.5米×2.5米。优势也是挑战,一是C端客厅难有大的空间,B2B2C才好;二是走动会受到头盔线缆的干扰;三是开发者如何定义走动方案还需考量。第61页/共88页-

63HTC

ViveHTC的VR战略:硬件、内容、平台以及商业模式相结合HTC

Vive的最大优势是与游戏行业巨头Valve联手推出,Valve是著名游戏HalfLife与CS的开发商、Dota2的联合开发商与总运营商。

Vive

VR使用的是Valve自主研发的SteamVR系统,储备了不少Valve自身开发的Vive头盔游戏,而背后的Steam平台是全球最流行的PC游戏下载平台,它使用的是BT软件之父BramCohen的代码和技术,下载方便快捷,该平台有过亿用户、日活千万,不容小觑。Valve以前一直与Oculus合作的,在Oculus即将被Facebook收购的时候启动了B计划,HTC刚好提出合作意向,二者一拍即合,最终打造出HTC

Vive。不过事实上,SteamVR后来也支持Oculus

Rift头显。Vive

VR商业模式:从B2C模式到B2B模式和B2B2C,Vive商店国外用Steam,国内用Viewport,HTC希冀把后者打造成VR内容分发渠道。2015年11月宣布与顺网科技合作,顺网覆盖全国10万家网吧,用户规模接近1亿,这点非常值得看好!HTC描绘的美好蓝图,汽车、教育、医疗、地产、购物都是其潜在市场。

-第62页/共88页-

64

-乐相科技-大朋头盔上海乐相科技,号称中国最大VR设备公司,研制的VR产品形态主要有,大朋头盔+大朋助手(PC端VR内容聚合平台)、幻影眼镜+3D播播(手机APP累计用户超过150万)、VR一体机。2014年创业,其大朋头盔DëePoon2015年6月在京东众筹筹资114万,国内唯一兼容Oculus

DK2、DK1内容的头盔。大朋E2售价1799元人民币,采用三星AMOLED

1080P屏(三星的屏不是一般人能拿到的)、75HZ游戏帧率、19ms延迟率、120度视场角。迅雷(XNET)、恺英网络(002517)

15年12月25日1.6亿元增资加老股受让获得乐相科技15%、7.5%股权,总估值8.2亿人民币,迅雷作为云加速服务提供商,目前月活跃用户超3亿规模,是VR刚需用户群;恺英网络研发并运营包括《全民奇迹》在内的多款月流水过亿的游戏作品,《全民奇迹》VR版开发已然开始;奥飞动漫于12月31日通过受让老股拿到乐相10%股权,将力促动漫、电影、游戏内容的嫁接。第63页/共88页乐相科技-大朋头盔大朋无线一体机M2亮相2016CES、3月24日北京正式发布、4月1日登陆淘宝众筹限量发售,售价2999元人民币(价格给力!),398g,3G内存、32G闪存、3000mAh电池、双频WIFI、采用三星AMOLED的2K屏幕2560*1440、75HZ、19.3ms延迟率(其中:姿态信息采集1ms、数据传输到CPU1ms、软件算法处理(ATW)3ms、AMOLED屏扫描显示14.3ms,

75HZ下的极限低延迟了,上HZ更费电),采用三星S6手机相同的8核Exynos

7420

CPU(14nmFinFET制程),8核ARM

Mali

T760

GPU、与ARM战略合作做了大量渲染优化、SDK中整合了异步时间扭曲ATW(即头部转动时图像逆向旋转、减少重新渲染的时间)等关键算法;异形非球面PMMA透镜、96度视场角、3级传动物距调节装置、支持0-600度

近视;M-Touch触感交互、

3D相位音效。

大朋M2欲叫板三星GearVR。

应用开发者的分成比例给到90%,首次发

布海内外100多款精品VR游戏,与华数传

媒深度合作,首批搭载300部正版3D大片,

也同时内置了爱奇艺VR

应用,以及兼容

其它平台。

-

65

-第64页/共88页-

66

-深圳虚拟现实科技-3Glasses14年10月发布、12月31日推出VR头盔3GlassesD1开发者版,15年6月发布、9月推出3Glasses

D2开拓者版,该版是全球首款量产的2KTFT屏幕VR头盔,5.5寸屏、60HZ、110度视角、246g重量(很轻),2199元,配体感魔戒,或诺亦腾的体感手套。2016CES展出了蓝珀/Blubur系列体验版,双2K屏、S1为连PC,W1为无线一体机,3月31日深圳正式发布S1,分辨率2880*1440,PPI高达704(Oculus与HTC

Vive皆为456),但屏幕估计不是OLED,最高120HZ,去蓝光护眼,278g,交互设备3Wand。我们试用感觉延迟较D2有明显改善。图片来源:网易科技蓝珀/Blubur

S1头显与3Wand手柄第65页/共88页-

67

-深圳虚拟现实科技-3Glasses3Glasses母公司经纬度科技称十年前就已开始尝试开发离消费者更近的虚拟现实的行业应用,不过我们从D1的推出时点看它应是受益于DK1开源的技术方案,之后3Glasses项目被剥离到现在的虚拟现实科技,并进行了3000万元的A轮融资,估值1.5亿人民币,领投方投创伟业占16%股权比例。2015年B轮融资的估值在1.5亿美元,并计划在2016年登陆新三板上市。虚拟现实体验点模式,截至2015年底,3Glasses

VR头盔已覆盖全国1500家线下体验店,零售总用户突破30万,也号称中国最大VR设备公司,公司计划2016年底实现线下20000+体验店。3Glasses游戏达成与Epic合作,加上国内外众多游戏中小合作方,公司计划2016年底达到20000+正版内容。另外,公司的一个突破是宣布与成人领域内容提供商春水堂进行了深度合作,仅面向海外用户,公司表示后续会对成人游戏及视频内容进行分级。而Oculus官方则重申VR内容政策:暴力可以,色情不行!Sony也明确禁止色情。第66页/共88页-

68

-Avegant

Glyph虚拟视网膜技术美国Avegant公司2015年6月30日发布VR眼镜Glyph,号称全球首款视网膜VR眼镜!Glyph乍看像个大耳机,

411g,可连接Xbox、PS、PC、Mac、iOS、Android各类设备,分辨率单眼720P、刷新率120HZ、延迟<12ms、对比度>1000:1、电池续航4小时。Avegant2014年2月曾在Kickstarter上众筹150多万美元,14年11月获得940万美元A轮融资,Intel

Capital和NHN

Investment领投,15年8月完成B轮2400万美元,联络互动(002280)领投,其全资子公司数字天域香港1500万美元获得Avegant21.02%股权,并取得中国区独家经销权,

Glyph国内售价为3688元,海外售价则从众筹时的499美元提升到699美元。第67页/共88页Avegant

Glyph视网膜成像显示(RID,Retinal

Imaging

Display)听上去高大上,其实就是微投影,光线经过反射后直接到达视网膜,扫描成像的方式与过去的阴极射线管有些类似(前者是光子、后者是电子),它不用屏幕,但需要一块反射镜阵,根据反射面可以分为DLP、LCoS(硅基液晶);根据光源可分为LED与激光;扫描方式又分为微镜阵列、高速转动的棱镜、MEMS光纤环形扫描等。人眼识别立体物体靠双目视差、聚焦景深等多种方式,屏显看3D解决了双目视差,但眼睛实际是聚焦在屏幕上,而非实际距离上,RID是真3D、眼睛聚焦在正常的深浅上、不容易疲劳。

小知识:人的眼球直径在24mm左右,后半部

分基本被视网膜覆盖。按球面积公式计算出面

积为900平方毫米左右。视网膜由1.1~1.3亿

个柱细胞(只有黑白响应),600~700万个

锥细胞(能够感受彩色)。但这些细胞的分布

并不平均,边缘分辨率很低,中央凹处分辨率

极高。中心与边沿的细胞比例大概是30:1。

-

69

-第68页/共88页-

70

-Avegant

GlyphDLP(Digital

Light

Processing)即数字光处理,基于TI(德州仪器)(唯一专利方)开发的数字微镜元件DMD(Digital

Micromirror

Device),DLP芯片组现在为全球超过80%的电影院所采用,可以说DLP从根本上改变了电影制作、发行和观影的方式,德州仪器(TI)DLP芯片发明者Larry

Hornbeck博士甚至于2015年荣获奥斯卡奖。不过,在影院系统中DLP正在为激光显示系统所取代,而激光显示系统能否应用于智能穿戴还有争议,主要是担心激光近距离对视网膜的伤害。第69页/共88页-

71

-Avegant

GlyphGlyph采用DLP投影技术,原理是将RGB

LED发出的光线投射在DMD芯片上,封装好的DMD芯片实际上是由200百万个微镜阵列所组成,每个微镜代表一个像素,微镜受微电流控制通过旋转角度来改变光线反射路径,视网膜接收图像。

Glyph对角FOV仅40度,等效于用户在8英尺远的距离观看80英寸屏幕上的画面。Avegant公司联合创始人Allan

Evans从军方带来的该穿戴技术。第70页/共88页-

72

-Avegant

Glyph优点:对各类设备的兼容、视网膜技术眼睛低疲劳、低延迟等;缺点:

1、视场尚窄,还只是索尼HMZ一样的观影神器,眼镜上下部未密封、无沉浸感,较HMZ多了头部跟踪系统;2、缺手控设备,需要摇头晃脑来操作游戏;3、DLP技术较之LCoS技术成熟,但由于技术垄断、成本下降慢。我们认为未来还会有视野更宽、重量更轻的RID技术出来。第71页/共88页-

73

-插手机式头盔第72页/共88页-

74

-Google

CardBoard-插手机式鼻祖Cardboard最初是谷歌法国巴黎部门的两位工程师David

Coz和Damien

Henry利用谷歌“20%时间”、花6个月时间打造出来的,智能手机一下子成了VR的原型设备,凸透镜-屏幕架构应该还是受Oculus启发。看起来寒碜的再生纸板盒成为2014年I/O大会上最令人惊喜的产品。2015年I/O大会谷歌正式推出第二代产品,取消了磁铁作为输入设置(之前操作不敏感),并可支持iPhone,兼容所有6英寸以下智能手机。但产品还是比较屌丝,没有动作感应器,靠手机内置感应器、延迟较明显;故意不设头带,需要手扶观看,这样控制每次观看时间在10分钟内。谷歌作为公益项目送了10

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论