VR、AR行业市场前景及投资研究报告:iPhone时刻苹果MR硬件生态丰富_第1页
VR、AR行业市场前景及投资研究报告:iPhone时刻苹果MR硬件生态丰富_第2页
VR、AR行业市场前景及投资研究报告:iPhone时刻苹果MR硬件生态丰富_第3页
VR、AR行业市场前景及投资研究报告:iPhone时刻苹果MR硬件生态丰富_第4页
VR、AR行业市场前景及投资研究报告:iPhone时刻苹果MR硬件生态丰富_第5页
已阅读5页,还剩48页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

证券研究报告行业深度报告苹果MR:硬件顶配、生态丰富——VR/AR有望迎iPhone时刻2023年5月22日。核心观点据等多家海外媒体报道,苹果有望在今年6月6日-10日开发者大会上,推出其第一代MR头显产品1)从硬件参数来看,均达到行业“顶配”:包括Micro-OLED显示屏、电脑级M2芯片、十余颗摄像头和传感器等,能够实现VR/AR切换、眼动/手动追踪功能。2)从内容生态来看,兼容、智能、多元是关键词。1)兼容性:可与iPhone、iPad等其他苹果设备无缝切换;2)智能性:支持Siri语音输入创建物品,极大降低UGC门槛;3)多元性:布局健康、教育、游戏、视听四大内容品类。我们此前也前瞻提出,快速发展的AI技术,有望撬动VR/AR行业奇点,我们看到:1)SAM模型助VR/AR内容更好生成,也革新了VR/AR的交互体验;2)AI提升VR内容的制作效率,提升供给。在全球智能手机出货量下滑背景下,手机龙头公司苹果的第一代MR产品意义非凡,顶配的硬件参数和丰富兼容的内容生态,足见其对VR、AR市场的重视与投入程度。我们看好苹果MR发布,以及AI技术的快速发展,对VR、AR行业的带动。我们看好苹果MR发布,以及AI技术的快速发展,对VR、AR行业的带动。1)硬件相关公司:建议关注兆威机电,长盈精密,立讯精密,华兴源创,杰普特2)内容相关公司:推荐恺英网络、锋尚文化、风语筑、凡拓数创、大丰实业;关注丝路视觉、宝通科技、电魂网络、凯撒文化、飞天云动。1前言:预计2023

WWDC上将发布XR相关OS及产品

苹果2023年WWDC大会将在6.6-6.10举行,本次WWDC除了会发布iOS

17、iPadOS

17等OS产品,以及MacBook

Air

等硬件产品外,预计会发布xrOS

和相关功能应用,并在更晚一些时间发布MR头显硬件产品“Reality

Pro”。图表:历届WWDC上发布的产品OS版本软件升级硬件更新/固件升级iOS16、watchOS

9、iPadOS

16、2022

WWDC

macOS

Monterey、tvOS16、Swift

6、Xcode

14M2芯片、MacBook

Air更新、MacBookPro更新、Macmini更新、iMacPro更新、MacPro更新、iMac更新、AirPods更新ARKit6、Siri

enhancements、Healthenhancements、iCloudenhancementsiOS15、iPadOS

15、watchOS

8、tvOS15、macOS

Monterey、Spatial

AudioARKit5、Xcode

13、iCloud+、FaceTime、WalletMac、MacBookPro更新、iPadPro更新、Apple

TV4K更新2021

WWDC2020

WWDC2019

WWDC2018

WWDC2017

WWDC2016

WWDCAirPods

Pro、iPad、MacBook

Air更新、Macmini更新、iMac更新、MacBook

Pro更新iOS14、iPadOS

14、watchOS

7、tvOS14、macOS

Big

SurXcode

12、ARKit

4MacPro、Pro

Display

XDR、MacBookiOS13、iPadOS、watchOS

6、tvOS

13、macOS

CatalinaXcode

11、Sign

inwith

Apple、ARKit

3

Pro更新、iMac更新、Mac

Pro更新、macOS

Server更新iPad、macOS

Server更新、MacBookiOS12、tvOS12、watchOS

5、macOSARKit2、Siri

Shortcuts、Xcode

10

Pro更新、iMac更新、MacBook

Air更新、Macmini更新MojaveiMacPro、HomePod、iPadPro更新、MacBook更新、iMac更新、MacBookPro更新iOS11、watchOS

4、tvOS11、macOSARKit1、Xcode

9HighSierraiOS10、watchOS

3、tvOS10、macOS

Xcode

8、Siri

for

Mac、iWork更新、iLifeMacBook

Pro更新Sierra更新、SwiftPlaygrounds2资料:苹果WWDC

,中信建投目

录第一章

硬件升级,行业顶配,打破VR与AR的界限内容丰富,兼容性强,应用场景大幅增加生成式AI爆发,降XR内容制作门槛,革新交互体验相关公司第二章第三章第四章31.1

MR头显是一个什么样的产品?第一代头显自2015年左右开始研发,配备了性能可以媲美最新款Mac的先进处理器,而且搭载了超高分辨率屏幕。目前设备进入量产准备阶段。第二代Apple

AR/MR预计2025年上半年出货,零组件供应商预计2024年下半年供货。

库克表示AR是一个像智能手机一样伟大的想法,苹果希望AR眼镜能在10年后取代iPhone,那么可以预计它未来的总销量将会达到数十亿台。图表:第一代AppleMR头显渲染图资料:,映维网,财联社,IDC,中信建投41.1

苹果AR/VR团队已搭建多年,具有强大的研发设计能力

苹果AR/VR团队已搭建多年,汇聚群英,团队规模和研发能力均为行业领先。2015年,苹果的AR/VR项目成立,团队负责人是前杜比执行副总裁Mike

Rockwell,目前苹果AR/VR技术团队人数约为2000人,该团队不仅有来自NASA和来自游戏、图形和音频行业的关键员工,还有iPhone、iPad和

Mac的前硬件和软件工程师。图表:苹果MR团队成员团队成员负责MikeRockwell杜比实验室的执行副总裁,ARVR项目负责人,视觉和高保真方面专家DougBowmanHoloLens

团队Lytro团队计算机教授。带领弗吉尼亚理工大学的人机交互中心。3D

用户界面设计有创建高级增强现实耳机的经验能够融合实景和计算机图形以提供实景

VR

体验的相机苹果高级计算机视觉算法工程师。曾MagicLeap(AR/VR显示器公司)担任首席计算机视觉工程师ZeyuLi担任研究科学家。研究了虚拟现实体验、光学原型并开发了计算机模拟软件。曾是Oculus研究科学家YuryPetrovJeffNorris担任增强现实团队的高级经理。曾任职于NASA,领导了多个专注于人机交互的项目,重点是虚拟和增强现实SterlingCrispinAndrewKim为VR设备开发了立体绘图软件曾任职于特斯拉和微软Hololens。可能效力于苹果的AR眼镜或苹果汽车ArthurvanHoffKimVorrath担任高级架构师。曾是JauntVR创始人,其主攻VR硬件,包括开发了3DVR相机从苹果软件主管调任到增强现实耳机部门。他被描述为“强大的力量”,可确保员工按时完成任务,同时还能找出错误”5资料:苹果,中信建投1.1

苹果为AR/VR(HMD

头戴式显示设备)积累了大量相关专利

苹果自从2014年开始,即为AR/VR(HMD

头戴式显示设备)积累了大量专利。其中包括显示类、扫描类、手部识别、眼球追踪、音频、导航、监测、AI算法、操控、识别等多方面技术。图表:苹果MR相关专利时间专利名称描述涉及领域音频2021年6月2021年3月2021年3月根据头部转动,听到3D的音频Apple为未来的

AirPods、眼镜和

AR耳机改进了带有空间音频的定向触觉输出系统Apple推出了一种新型智能戒指系统,主要用于

AR、VR

和

MR

应用程序Apple的第一个工业增强现实相机系统利用手上的戒指,识别手部动作将信息投影到真实环境中的真实物体的方法和系统手部识别显示基于超声波在用户身体(例如,在用户的手指/手指)中的传播的超声波力检测系统和方法2021年3月2020年12月2020年9月超声波力检测(Ultrasonic

Force

Detection)检测显示显示根据探测物体的视觉信息VIRTUAL

CONTENTPOSITIONED

BASED

ON该专利将为用户提供只有在佩戴这些

AR

眼镜时才能看到的信息DETECTEDOBJECT该专利申请涉及未来在设备上使用虚拟纸,这些设备将能够在虚拟纸改变角度时在不同位置保持图形完好无损和观点虚拟纸张(Virtual

Paper)2020年9月2020年7月这个专利包含数十个专利,在苹果耳机中实现空间音频AR

体验分享软件(AR

ExperienceSharingApp)SpatialAudio音频显示Systems

and

methods

for

determiningan

object

through

adisambiguated

selection

苹果将20200233212

和10,558,037两个专利混合成了一个。主要关于2020年7月2020年6月inamixed

reality

interface在车挡风玻璃上实现更加真实与现实交互的图像使用现实界面,用户能够获得关于一个或多个外部设备的信息(例如,操作状态)或控制一个或多个外部设备的功能CONTROLLING

EXTERNAL

DEVICES

USINGREALITYINTERFACES操控使用apple的头戴设备,可能会在用户玩游戏时提供游戏辅助。利用iphone摄像头扫描并创建3D图像显示/AI扫描ContextualDigital

AssistantsObject

DetectionUsingMultiple

Three

DimensionalScans2020年1月2019年11月2019年7月Tangibility

Visualization

ofVirtualObjects

within

VariousHeadset

Environments专利代号和名称没有找到在头显中将计算机模拟的图像投影在真实世界中的技术显示AR

设备可以内置到未来的车辆中显示帮助有视网膜问题的用户使用

iPhone拍照,而让他们的盲点不再成为障碍2019年七月2018年3月2019年5月2020年6月2019年4月Augmented

reality

devicetowarp

images3ddocument

editingsystem显示显示一种头戴式显示器,可用于将虚拟键标签叠加到物理键盘上自动确定设备相对于真实环境的位置和/或方向,并创建真实环境的缩放几何模型,而无需预先了解环境。VisualInertialOdometry

HealthFittingVein

scanning

devicefor

automatic

gesture

andfinger

recognitionIMUbased

gloves扫描利用apple

watch确定手部动作手部识别手部识别智能织物技术制成的

VR手套可用于多种应用,包括游戏、教育和军事训练6资料:苹果,中信建投1.1

MR头显经历了7年的开发验证测试,已达到量产准备阶段EVTDVTPVTPOCMP(Proof

of

Concept)

(Engineering

Verification

Test)

(Design

Verification

Test)(Production/Process

Verification

Test)

(Mass

Production)20152023•

既概念验证,目的是以尽可能低的成本证明产品背后的基本概念。也是具体项目开展前,对客户的需求进行进行简单的基础验证,POC

通过后,再向后推进。POC

的目的主要是验证厂商的是否具备相应的能力,能不能满足项目基础要求。POC验证概念•

产品开发初期的设计验证。许多产品刚设计出来仅为工程样本,问题很多需要把可能出现的设计问题一一修正,重点在考虑设计完整度,是否有遗漏任何规格。包括功能和安规测试,一般由RD(Research

and

Developmentengineer,研发工程师)对样品进行全面验证,因是样品,问题可能较多,测试可能会做N次,所以这种设计通常是硬件电路的工程验证verification)、除错(debug)EVT工程验证测试•

设计验证测试是研发的第二阶段,所有设计应该都已经完成了。这个时候会把机构的外壳加上来,另外电路板也要达到实际的尺寸大小,这样才可以把电路板整个放到机构壳之中。这个阶段的机构外壳有可能一开始只是拿一块大的树脂用雷射雕刻所制作出来的样品,或是用软模具所生产出来的而已,目的是在真正模具发包生产前,用来验证机构外壳的设计是否符合需求,因为真正的模具费用很贵,所以要先验证才能开模。DVT设计验证测试•

这个阶段的产品设计应该已经全部完成,所有设计的验证也告一段落了。这个阶段试产的目的是要做大量产前的制造流程测试,所以必须要生产一定量的产品,而且所有的生产程序都要符合制造厂的标准程序,另外还要计算所有的治工具、测试治具及生产设备数量是否可以符合大量产的产能(capacity).PVT生产验证测试MP•

量产意味着已经下了采购订单(PO),并与CM商定了生产数量。现在只剩下“简单的事情”,即销售、客户支持和量产服务、处理产品退货和缺陷,以及考虑下一个产品版本。7资料:苹果,中信建投1.1

硬件方面均为高规格

第一代MR头显“Reality

Pro”硬件方面均为高规格。据The

Information、VR陀螺,苹果MR头显屏幕为两块1.4英寸、4K级高分辨率的

Micro-OLED

屏幕,供应方为索尼;芯片搭载了基于苹果M2打造的2枚处理器芯片,采用5nm工艺打造,已被应用于

MacBook

Pro

等产品;光学方案采用了Pancake折叠光路,Fov达120°;摄像头和传感器方面,苹果MR头显配备了十余颗摄像头和传感器,其中每只眼睛各一颗,以实现眼动追踪和注视点渲染功能还搭载了如今应用于iPhone和iPad设备的LiDAR传感器,以实现SLAM等功能。图表:苹果MR头显参数推测汇总产品名称产品代号光学方案Reality

ProN301操作系统电池xr

OS(海外平台爆料)RealityOS(商标文件信息)电池外置Pancake折叠光路+Micro-OLED主SOC基于M2打造一颗专用的图像信号处理器后配镜片屏幕分辨率3块屏幕,其中2块4K

MicroOLED,内屏单眼4K(索尼)芯片RAM16GB屈光度调节FOVIPD其它特性售价自动IPD调节眼动追踪、面部识别、手势识别3000美元120°电池外置可更换,单次可使用两小时8颗外部头+4颗眼部追踪+2颗眼部追踪红外+2颗Face

ID+2颗红外+1颗TOF摄像头重量大约400g资料:The

Information、VR陀螺,中信建投81.2

芯片方案:苹果单独为MR设备开发定制多颗芯片

苹果会为新类别终端设备单独开发定制芯片,如智能手机的A系列芯片,智能手表的W系列芯片,Airpods的H系列芯片以及PC的M系列芯片。

由于MR设备对算力的需求较大,苹果将单独为MR开发定制芯片,预计可能是M2的改款。另外苹果为MR设备单独设计了代号为

Bora

的图像处理芯片和代号为

Golay

的无线芯片,用于驱动内部显示屏和设备与基站间的数据传输。图表:苹果自研芯片及应用终端类型智能手表智能家居芯片W3S5发布时间2018Q32019Q32019Q12022Q3设备Watch

4、Watch

5、Watch

6、Watch

SEHomePod

MiniAirPods(2nd

Gen)、Powerbeats

Pro、Beats

Solo

Pro、AirPods

Pro、Powerbeats(2020)、AirPods

MaxH1TWS耳机H2AirPods

Pro

2iPhone11、iPhone11Pro、iPhone

11Pro

Max、iPhone

SE(第二代)、iPad(第九代)

、StudioDisplayA13

BionicA14

BionicA15

BionicA16

BionicM12019Q32020Q32021Q32022Q32020Q42022Q2iPhone12系列,iPad

Air(第四代),iPad(第十代)手机iPhone13mini、iPhone

13、iPhone13

Pro、iPhone

13Pro

Max、

iPhoneSE(第三代)、iPhone

14、iPhone14

Plus、iPad

mini(第六代)iPhone14

Pro、14

Pro

MaxiMac2021

、MacBook

Air(M1,2020)、MacBook

Pro(M1,2020)、Mac

mini2020、iPad

Pro(2021)

、iPad

Air(第5代)MacBook

Pro(M2,2022)、MacBook

Air(M2,2022)、Mac

mini

2023、iPad

Pro(2022)PCM29资料:苹果

,中信建投1.3

显示方案:硅基微显示方案有望逐步得到广泛应用

硅基微显示器更加符合XR领域需求,大幅改善显示体验,有望逐步得到广泛应用。在XR领域,用户希望拥有尺寸更小、

清晰度更高、刷新速度更快、功耗更低的设备来实现海量信息的传达,得到身临其境的体验。传统显示器通常是基于非晶硅、多晶硅薄膜场效应晶体管(TFT)工艺的,像素密度一般不高于

1000

PPI。随着CMOS工艺技术的发展,出现了以单晶硅为衬底的硅基微显示器,在单晶硅

CMOS

工艺条件下,单像素点距可达

10

μm

以下,像素密度提升至

5000

PPI

以上,可以制造出尺寸更小的显示器,制造良率也大幅提升。显示技术技术类型亮度(nit)色域LCD传统LED(背光)500MiniLED背光1000-6000>110%NTSC10000:1OLED自发光500124%NTSC10000:1Micro

OLED自发光1000-6000>100%NTSC10000:1<10000微秒(μs)-50℃-70℃低TFT/CMOS较低薄Micro

LED自发光100000(全彩)140%NTSC100000:1>10000075%NTSC1000:1约60000毫秒(ms)-40℃-100℃高对比度寿命(小时)反应时间运行温度/℃功耗:同尺寸驱动方式良率约80000-100000

约20000-30000纳秒(nm)-100℃-120℃低微秒(μs)-30℃-85℃LCD的60-80%Driver

IC至少80%以上较薄纳秒(nm)-100℃-120℃LCD30-40%TFT/CMOS低Driver

IC高厚Driver

IC较低薄厚度薄复杂制造工艺成本产业化程度简单低复杂较高较复杂中等已成熟多年复杂较高高研究阶段已成熟多年近期逐步量产近期逐步量产10资料:Ofweek,BOE,电子工程专辑,赛迪顾问,中信建投1.3

显示方案:Fast-LCD产业链成熟,性价比高

Fast-LCD屏幕量产稳定、性价比高,目前已成为消费级VR头显的主流屏幕。Fast-LCD技术使用新的液晶材料(铁电液晶材料)和超速驱动技术(overdrive)来有效提升刷新率,同时也具有较高的量产稳定性和良率,性价比较高,OculusQuest2即采用一块改良后的

Fast-LCD替换了上代产品中的两块

AMOLED。

Fast-LCD刷新率、PPI、功耗表现未达到理想状态,显示技术仍需升级。目前主流VR搭载Fast-LCD屏幕,刷新率在90-120Hz,单眼PPI(像素密度)约1000,相比理想状态(刷新率120-240Hz,单眼PPI

2000-4000)仍有较大提高空间,此外由于Fast-LCD显示需要全亮背光层,功耗也比较大。中长期来看,Fast-LCD受限于工作原理,已经较难跟上VR设备升级显示性能的要求。

目前国内外布局Fast-LCD技术的公司包括:夏普(日)、JDI(日)、京东方、华星光电等。图表:Fast-LCD与OLED方案对比OLEDFast-LCD•

响应时间小,低于1ms•

对比度高,达100000:1•

可规模化生产•

价格较低•

量产稳定优势劣势•

像素密度低,量产型不超过800PPI,受工艺和掩膜材料限制,提升空间有限•

光线透过率低,尤其是使用pentile子像素布局的面板•

对比度低,通常是1000:1•

响应时间高,快速液晶也达ms11资料:映堆网,雷锋网,中信建投1.3显示方案:LCoS产业链相对成熟,性价比较优

硅基液晶(LCoS)是一种新型的反射式微液晶投影技术,它采用涂有液晶硅的CMOS集成电路芯片作为反射式LCD的基片。传统的LCD是做在玻璃基板上,LCOS则是做在硅晶圆上。前者通常用穿透式投射的方式,光利用效率只有3%左右,解析度不易提高;LCOS则采用反射式投射,光利用效率可达40%以上,而且可随半导体制程快速的微细化,逐步提高解析度。LCOS的优势在于结构紧凑、稳定可靠、分辨率高,缺点在于对比度不足以及功耗较高。

LCoS

器件结构:液晶器件制作于单晶硅基底上,通过反射光形成图像。硅基底中集成

CMOS

驱动电路,表面通过化学机械抛光(CMP)等工艺形成像素电极,在电极上制作定向层,盖上覆有ITO电极的玻璃,灌入液晶形成。

目前国内外布局LCoS技术的公司包括:Syndiant(美)、豪威科技/韦尔股份、KOPIN(美)、奇景光电(台)、Raontech(韩)。图表:LCoS面板剖面图图表:豪威科技LCoS产品OP02220产品架构图(单像素)12资料:光电子技术,豪威科技,中信建投1.3

显示方案:Micro

OLED(硅基OLED)正快速导入应用,有望成为“元宇宙主流显示器

MicroOLED显示性能有所提升,有望成为中短期内的替代方案。不同于LCD和OLED采用的玻璃基板,MicroOLED是单晶硅晶圆基板,显著降低像素尺寸,仅有前者1/10,可有效提升像素密度和角分辨率。MicroOLED分辨率可达3000PPI以上,响应时间可达微秒级。

苹果第一代MR头显采用索尼供应的Micro

OLED,达到极致显示效果

。苹果即将发布的MR将配有2块4K的Micro-OLED。LG

Display的一位高管曾表示,硅基OLED将是未来元宇宙设备使用的主要显示屏

目前国内外布局硅基OLED技术的公司包括:Sony(日)、eMagin

(美)、MED(英)、

KOPIN(美)

、MicroOLED(法)、LG(韩)、视涯科技、创视界/京东方、清越科技、维信诺等。

提供硅基OLED检测设备的公司包括:华兴源创、精测电子等图表:硅基MicroOLED显示器件结构图表:近期发布的VR/AR及显示技术品牌发布时间产品名称设备类型显示技术2022年1月2022年1月2021年8月2021年9月2021年10月2021年11月2021年12月2021年12月2022年1月2022年1月2022年2月2022年1月2022年7月2023年Vuzix

ShieldVuzix

M400CLeopardAR智能眼镜AR智能眼镜AR智能眼镜AR智能眼镜VR头显一体机VR眼镜MicroLEDMicroOLEDMicroLEDMicroOLEDMiniLEDVuzixWaveOpticsRokidPimaxEM3RokidAirPimax

RealityETHERMicroOLEDMicroOLEDMicroOLEDMicroOLEDMicroLEDMicroOLEDMicroOLEDMicroOLEDMicroOLED索尼/VR头显设备VR一体机VR头显Arpara松下Arpara

AIOMegane

XCelidWaveguide

60Nreal

AirCellidNrealAR智能眼镜AR眼镜TCLNxtWear

AirINMO

AirApple

MRXR眼镜影目科技AppleAR智能眼镜XR眼镜13资料:索尼,LEDinside,各公司官网,中信建投1.3

显示方案:Micro

LED技术逐渐成熟,有望接力Micro

OLED驱动VR显示再升级

Micro

LED

是高度集成的自发光器件,在CMOS

驱动芯片上集成微小尺寸的

LED

阵列,形成

MicroLED

微显示器,每个

LED

像素点单独寻址点亮形成图像。Micro

LED

的发光效率高、色彩丰富、器件稳定、响应速度极快,能在近眼显示领域得到较好应用。

但目前Micro

LED技术尚不成熟,在外延技术、封装结构、Wafer

bonding、全彩方案、功耗等方面仍有需解决的问题。预计Micro

LED逐步成熟量产之后,将接力Micro

OLED推动微显示技术继续升级。

目前国内外布局MicroLED技术的公司包括:

KOPIN(美)

、JBD/上海显耀、利亚德。

提供Micro

LED

MOCVD设备的公司包括:中微公司等图表:晶圆级单片混合集成技术(可避免巨量转移,提升良率)图表:Micro

LED

微型显示器结构与

RGB单色显示14资料:激光与光电子学,中信建投1.4

光学方案:Pancake为头显继续“瘦身”,成为VR光学技术的未来发展方向

超短焦光学为头显继续“瘦身”,

Pancake为最易量产方案。超短焦光学按照视场角的大小可划分为自由曲面和基于反射偏振的折叠光路技术两种方案:自由曲面透镜加工工艺复杂、成本更高、应用条件更为苛刻,难以量产;而折叠光路技术(Pancake

lenses)量产潜力较大,目前是超短焦光学的主要解决方案。

Pancake目前市面上多为两片式,其生产工艺要求简单,成本可控,是目前大多数VR眼镜所采用的短焦光学方案。基于Pancake技术方案的VR眼镜,图像源发射光线进入半反半透的镜片之后,光线在镜片、相位延迟片以及反射式偏振片之间多次折返,最终从反射式偏振片射出。实现了将光路“折叠”,压缩光学镜头与显示屏之间的距离,极大地缩小了产品体积。图表:Pancake折叠光路原理图表:Pancake方案与菲涅尔透镜性能对比菲涅尔透镜方案Pancake模组方案原理示意图可变焦调节支持支持理论FoV上线~140°~200°可支持面板分辨率上限4K*4K无限制光学效率材质80%-90%25%塑料玻璃制造成本相对较低,已量产相对较高,下一代量产光学设计复杂光效较低轻薄与广视角难以兼得光路长度难缩短成像质量较差缺陷15资料:wellsenn

XR,中信建投资料:Edmund,Meta,中信建投1.4

光学方案:Pancake在减重、提高沉浸度方面具备巨大潜力

突破视场角和分辨率限制。菲涅尔透镜方案,理论视场角上限为140°图表:菲涅尔透镜与Pancake,单眼分辨率上限为4K,应用该方案的主流设备视场角平均为90-110°,单眼分辨率已经达上限;而Pancake方案,理论视场角上限达220°,单眼分辨率可实现视网膜级。

提升成像效果。菲涅尔透镜方案,边角会有暗角、模糊和畸变

;Pancake方案,组合透镜提高透镜边缘成像质量,降低图像畸变,提高成像对比度、清晰度和细腻度,并支持

0-700°屈光度调节。

继续推动轻薄化。根据YVR,Pancake模组相对菲涅尔方案厚度可减少一半,大幅降低头显重量。HTC

VivePro2和

OculusQuest

2采用菲涅尔透镜方案,重量为

785/503g,厚度为

73.5/80.1mm;而HuaweiVRGlass和

Arpara

VR采用折叠光路方案,重量为

166/200g,厚度为26.6/30.0mm。图表:菲涅尔透镜和

Pancake的VR厚度、重量对比资料:Oculus,YVR,中信建投资料:VRcompare,中信建投1.4

光学方案:Pancake工艺优化空间仍然较大,未来需进一步开发

光路损失较高:在折叠光路设计模式下,光线需要经过两次半透半返膜,每次强度损失50%,因此Pancake方案理论最高光学效率只有25%,加之反射偏振膜也会损失10%,整体光学利用率只有10-20%,因此Pancake方案需要配有高亮度显示屏幕,如Micro

OLED、Micro

LED等。

存在伪影现象:在双折射效应下,光线在透镜中折返时容易产生伪影,需通过偏振膜以消除影响,而准确的偏振膜对材料、耐热性、精密加工等的要求较高。

生产难度、成本高:Pancake中的核心光学膜,对材料和多片镜片贴合工艺要求较高,全球只有3M、旭化成等企业能够满足要求,且生产良率较低、成本高,一组透镜(单目)的光学膜成本接近100元人民币。

实际效果未达到理想:受透镜直径被压缩等因素影响,目前分辨率和视场角表现还未达到理想水平。现有Pancake方案VR产品显示效果随已实现或超越菲涅尔透镜产品,但是距离理论上限(200°)仍有较大差距。图表:Pancake光学利用率只有10-20%图表:Pancake光学模组生产流程17资料:国家知识产权局,,wellsenn

XR,中信建投1.5

IPD调节:根据不同使用者进行瞳距调节,改善视觉体验

瞳距调节:瞳距因年龄、性别、人种和体型相差巨大,自动瞳距调节可使XR头显扩大使用佩戴人群。瞳距调节的技术逐步发展,2022年,自动IPD调节眼镜将首次进入消费级市场,随着苹果眼镜的上市,电驱IPD调节将逐步成为未来VR行业的“标配”图表:VR瞳距自动调节系统原理机械驱动电路驱动微型电机、行星齿轮减速机、丝杠等机构,推动VR光学机构位移,对准人眼VR眼镜内用多个红外线LED照射眼球,同时用红外摄像头拍摄眼球。(人眼无法感知红外线,视觉不受红外LED影响)红外摄像头获取眼球瞳孔位置及眼球反射的红外LED位置图像眼动追踪算法根据瞳孔图像及红外LED反光位置图像,计算得出孔位置、大小及瞳距等信息,并将IPD数据发至IPD调节机械结构驱动电路图表:VR眼镜瞳距调节系统由手动分段调节向电动无极调节演进是否单目/独立品牌型号手动/自动电机驱动分段/无极无极调节3档可调发布时间调节MetaQuestPro

22023~24年单目独立调节苹果PicoVarjoPicoMetaPicoMeta第一代4ProXR3自动调节2023年1月2022年9月2020年10月2022年9月2022年10月2021年5月2020年9月Yes4双目一体调节QuestProNeo3Quest2手动调节No18资料:AR圈,中信建投1.6

焦距调节:通过可变焦技术,实现屈光调节和视力矫正

可变焦显示:可变焦显示可以提高观看舒适度,具体包括机械式变焦和电子变焦(液晶透镜技术)等,机械式可变焦显示原理是通过图像处理技术,定位瞳孔位置,利用内置算法推算人眼的注视点,通过电机+齿轮模组推动分光镜完成可变焦,实现镜片多个自由度的切换;电子变焦液晶透镜应用光学成像原理,通过改变液体镜头的曲率来改变焦距。

根据目前海内外大厂的专利布局,我们认为短期机械式变焦调节将成为主流方案。图表:具有视力矫正的头戴式显示设备(苹果专利)显示器透镜传感器定位器控制电路光线跟踪像差仪通过分析在显示器上显示形状时产生的相机处的光图案来测量屈光不正位置传感器可以用于调节显示器相对于眼睛的位置输入和输出耦合器可用于将光耦合到波导的端部并从其耦合出来19资料:国家专利局,中信建投1.6

焦距调节:苹果已布局大量头戴显示视力矫正相关专利

美国视觉委员会公布的数据,有75%的成年人都在使用视力矫正镜片(近视、远视等等)。市场需求较为刚性,前景广阔。苹果此前公布MR眼镜矫正处方镜片的专利系统,让近视或其他用户无需额外矫正镜片,即可直接佩戴眼镜观看,大大提升使用体验。

视觉调焦涉及的核心环节包括:1、算法(苹果自研),2、电机(日本电机、美蓓亚、兆威机电),3、微型齿轮及系统设计(兆威机电)图表:头戴式显示器的调节机构细节图(苹果专利)公开(公告)号:CN113614611A

公开(公告)日:2021.11.05申请(专利权)人:[美国]

苹果公司一种头戴式显示器包括光学组件和致动器。致动器包括:移动机构,其被配置为调节光学组件内光学部件的位置;锁定释放机构,其被配置为在检测到动态事件时修改移动机构的操作;以及阻尼机构,其被配置为在动态事件期间控制光学部件的位置变化。图表:用于IPD调节、竖直调节和良视距调节组件的侧视图公开(公告)号:CN112505921A

公开(公告)日:2021.03.16申请(专利权)人:[美国]

苹果公司本文所述的头戴式设备包括可调节部件,该可调节部件允许将设备的特征调节为适应特定用户。可调节部件可包括瞳孔间距(IPD)调节机构,该调节机构可操作以改变光轴(内容沿该光轴显示给用户的左眼和右眼)之间的距离,诸如通过移动与用户的左眼和右眼对应的光学模块的位置或者通过移动与用户的左眼和右眼对应的光学模块中包括的镜片的位置。可调节部件可包括良视距调节机构,该调节机构可操作以改变光学模块与用户眼睛之间的距离。可包括其他可调节部件。20资料:知识产权局,中信建投1.7

眼动追踪:用于视觉交互和优化渲染,成为XR中不可或缺的功能眼动技术:通过对眼动轨迹的记录从中提取诸如注视点、注视时间和次数、眼跳距离、瞳孔大小等数据,

在XR设备中主要用于视觉交互设计以及图像优化渲染。视觉交互:人类对客观世界的感知信息有70%是来自视觉,用户不需要做出显性的输入

(如点击),而是系统本身在用户的浏览中提取出眼动信息,并作出适应性的变化图像优化渲染:眼动追踪技术可实现将注视点映射到头显的屏幕上或真实的空间环境中,最终实现人眼视觉中心看哪里,就重点渲染注视点所在的区域,而其他外围区域则可采用较少分辨率处理(较低的图像质量)。此举将大大降低处理器的计算能力。索尼的

PSVR2运用

Tobii眼动追踪技术,称其可以节省约72%算力。图表:眼动仪“推断”被试者视线的原理眼动仪实时定位眼睛图像上的瞳孔和普尔钦斑的位置,计算出角膜反射向量,便能利用几何模型,估算得到用户的视线方向。再基于前期定标过程中所建立的用户眼睛特征与屏幕呈现内容之间的关系,眼动仪就能判断出用户究竟在看屏幕上的什么内容了。同时,通过软件还能自动生成热点图、视线轨迹图、感兴趣区域等直观的结果。21资料:人工智能产业链联盟,中信建投1.7

眼动追踪:用于视觉交互和优化渲染,成为XR中不可或缺的功能

眼动、手动追踪功能:据,苹果MR头显将会有通过外部摄像头追踪手部定位,以及通过内部传感器读取眼睛的相关数据。用户可以通过眼动交互来选择某个按钮、应用程序或者是列表项目,然后通过拇指和食指捏在一起的动作激活某个特定的任务。目前,苹果已经有至少3项专利涉及到眼动追踪技术,例如通过3颗眼动摄像头完成眼动分析、如何处理眼动追踪中的数据过滤等。

眼球追踪方案与设备专利:该专利于2021年9月提交,指出了一种在AR/VR头显中检测眼球运动,实现眼球输入的方案如选择或切换设置、调用菜单,简化UI交互,在专利中,苹果描述了眼球追踪的多种应用场景,比如支持设备唤醒(目的是省电)、提升菜单输入效率、视力矫正等等。图表:苹果公司眼球追踪方案与设备专利22资料:,青亭网,中信建投1.7

眼动追踪:收购德国SMI布局眼动追踪技术

2017年,苹果公司收购德国眼动追踪公司SMI。SMI在实现眼球中央区域高分辨率显示的同时,还联合推出SMI

Social

Eye眼动追踪技术,通过富有表现力和精准的眼神接触让虚拟角色的交互更加可信。

眼动追踪涉及的核心环节包括:1、算法与系统(SMI自研,Tobii),2、摄像头(LGI、索尼、豪威科技),3、校准与验证设备,4、标定设备图表:头戴式设备的眼动追踪系统(苹果专利)苹果的专利中,眼动追踪系统包括一个显示装置,还包括一个处理单元,该处理单元可以集成到显示设备中或眼动跟踪器中,或者也可以配置为一个独立的实体,作为独立的处理单元,并与显示设备通信耦合以控制显示设备,与眼动追踪器通信耦合以分析捕获的图像。图表:SMI

Social

Eye系统SMI

Social

Eye

通过精确追踪

VR

头显佩戴者眼睛的注视焦点,并实时地集成到用户虚拟化身的眼睛中。这让虚拟化身可以凝视,使眼色,眨眼睛,还可以通过瞳孔反应来认可他人,从而在虚拟世界中表达出用户自己的真实感受或简单表明其立场。23资料:Patent

Apple,SMI,中信建投1.8

电池:外置电源与MagSafe技术

头戴式设备重量过笨重和电池发烫问题。据MicroDisplay苹果MR头显将推出专属移动电源,能够佩戴在用户腰部,减轻头戴设备重量,能通过

96W

USB-C

外接式

MagSafe

磁吸电源线替头戴设备供电。

移动电源体积大概是两台

iPhone

14

Pro

Max

叠放在一起大小,电池续航最长能够提供2小时,且移动电源佩戴在用户腰部使用时,还能允许通过其中一块供电,同时替另一块移动电源进行补电,已延长设备使用时间。图表:iPhone

MagSafe技术:MicroDisplay,快科技,中信建投24资料1.9

其他:一键切换VR/AR模式

一键切换VR/AR模式:据MicroDisplay,苹果MR头显将会有两种模式:完全沉浸在虚拟世界(VR模式)和将虚拟世界叠加到现实世界两种模式(AR模式)。用户想要切换从VR模式切换到AR模式时,只需要“转动”右侧类似Apple

Watch的数位表冠(Digital

Crown),能够一键快速切换

AR、VR

两种模式,主要是运用头戴设备上的

6

~

8

颗光学模组用来定位追踪和

VST

透视,假设用户沉溺在

VR

体验中,切换成

AR

模式后,虚拟画面会通过渐层淡出转厂,让用户能感受

Reality

Pro

周围真实环境与虚拟讯息和物体结合画面。

相关专利于2018年第二季度提交:2020年8月,美国专利商标局公布关于苹果公司的关于协调相机和显示系统的增强现实覆盖层的专利,该专利涉及一种戴在头上的设备,例如混合现实眼镜,设备可能具有摄像头。在操作期间,照相机可以捕获用户周围的真实世界环境的运动图像,从而让电子设备中的控制电路可以为用户显示真实世界的内容,此外还可以向用户提供计算机生成的内容,图表:苹果MR顶部数位表冠(Digital

Crown)设计示意图图表:苹果公司眼镜系统框架专利:MicroDisplay,VR陀螺,苹果,中信建投25资料目

录第一章

硬件升级,行业顶配,打破VR与AR的界限内容丰富,兼容性强,应用场景大幅增加生成式AI爆发,极大降低XR内容制作门槛相关公司第二章第三章第四章262.1

苹果近年布局和收购动作频频,深入布局VR/AR诸多方面

苹果通过收购相关企业深入方方面面布局AR领域。近些年苹果动作频频,根据不完全统计,近年来苹果收购VR/AR相关的企业多达几十家,包括3D感应以及动作捕捉技术公司PrimeSense、MicroLED公司LuxVue、动捕公司Faceshift、面部识别公司Emollient、硅基OLED公司eMagin、体全息光波导公司Akonia等,在光机、显示、动捕、面部识别、建模、内容方面均有深度布局。图表:苹果近年来对于XR相关收并购2010-2014201520162017201820192020-•

iPad、iPhone部分机型首次使用dTOF激光•

收购面部识别公司PolarRose•

收购Metaio,其他ARSDK等软件技术成为苹果ARKit的前身•

收购面部识别和动捕公司•

收购AR眼镜公司•

收购动作捕捉公司•

苹果研发两款机型:N301机型VR头显,N421机型AR眼镜VrvanaFaceshiftKinema•

眼动追踪公司•

发布ARKit4.0•

室内定位公司•

收购面部识别公司SensoMotoric•

发布ARKitWiFi

SLAM3.0•

发布AR格式转换工具Reality•

图像传感器公司Emollient•

收购体全息光波导公司•

动作捕捉公司Invisage•

发布3D建模工具RealityComposerConverterPrimeSense•

收购室内定位公司indoor•

图像识别公司Akonia•

收购VRAR内容直播公司Next

VR•

MicroLED公司Regaind•

投资硅基OLED公司eMaginLuxVue•

面部识别捕捉公司•

收购三维虚拟形象公司spacesRealFace•

计算机视觉、AR抠图Camerai•

收购计算机视觉AR公司Spektral•

AppleTV+流媒体视频服务中增加VRAR内容•

音频识别、图像识别Shazam•

发布ARKit1.0•

苹果APPStore超过2000个ARKit开发的应用,下载超过1300万次•

发布ARKit2.027资料:苹果,中信建投2.1

收购多家MR内容公司,丰富内容生态

据不完全统计,自2015年以来,苹果已经在过去7年时间里收购了超过7家创企,为其MR内容服务。2015年,苹果收购了位于慕尼黑的Metaio,此前该公司主要为AR应用程序制作工具。同年,苹果还收购了专门从事面部动画和动作捕捉的Faceshift。2017年,苹果收购的初创公司Fabric

Software,也正是目前研发内容开发工具团队的前身。2020年,苹果收购了两家位于南加州的初创公司,分别是提供VR体育直播的NextVR和提供VR视频会议的Spaces。图表:苹果收购的MR内容创业企业收购时间2015被收购公司Metaio曾主营业务AR应用程序制作工具面部动画和动作捕捉开发3D游戏引擎2015Faceshift2016DigitalRuneFabricSoftwareFlashwellNextVR2017开发视频游戏引擎从事AI图像视觉研发提供VR体育直播提供VR视频会议201820202020Spaces28资料:智东西,中信建投2.2

专有xrOS操作系统,或实现与其他苹果生态设备无缝切换(1)

专有xrOS操作系统,将支持iPad

应用程序,可作为Mac外接显示器。xrOS操作系统将有一个类似iOS的界面,降低用户操作门槛,同时将xrOS将与macOS集成,MR头显可以在虚拟现实中充当Mac显示器,扩展使用场景。

将支持数十万个iPad

应用程序:苹果MR头显可在AR/VR场景中运行大部分苹果一方的iPad应用,包括MR优化版本Safri浏览器、照片、相机、通讯录、FaceTime通话、信息、文件、无边记(Freeform)、天气、家庭、邮件、地图、音乐、图书、提醒事项、备忘录、股票等;并可运行App

Store数十万个现有第三方iPad应用,无需适配或经过少量适配。

作为Mac外接显示器,或打造“空气键盘”:操作系统xrOS将与macOS集成,苹果MR头显能够作为连接Mac的外部显示器,还能在用户戴上头显之后,使用触控板或者鼠标、物理按键控制设备。当用户需要输入某些文本信息时,苹果MR头显至少支持语音输入和按键输入两种输入方式,语音输入时,设备将直接识别相关文本信息;按键输入时,借助iPhone、Mac或iPad等第三方设备的键盘通过物理按键输入文本信息。苹果还在开发“空气键盘”,让用户可以用手在半空中打字。图表:iPadARKit29资料:苹果,TechWeb,智东西,中信建投2.2

专有xrOS操作系统,或实现与其他苹果生态设备无缝切换(1)

苹果MR设备或实现与其他苹果生态设备之间的无缝切换。2023年3月,欧洲专利局公布了苹果的

“用于扩展现实

(XR)

系统的多设备

Continuity”专利,该功能可实现在

MR

设备和其他苹果生态设备之间的无缝切换体验。Continuity

功能的其他示例包括

AirPlay

to

Mac、Sidecar、Universal

Control

和

Continuity

Camera。

与iPhone联动:例如一名佩戴

MR

头显用户在

iPhone

屏幕上查看电子邮件时,iPhone

的屏幕上会出现一个悬浮的扩展邮件应用界面。通过手势或眼球的交互控制,用户随后可将电子邮件传输到悬挂在其虚拟环境中的更大显示屏上,并通过头戴式摄像头检测到他们的手指移动来继续起草电子邮件。图表:苹果公司用于扩展现实

(XR)系统的多设备

Continuity专利30资料:苹果,MacRumors,VR陀螺,中信建投2.3

健康、教育、游戏、视听四大场景内容布局

健康方面,苹果或推出有助于冥想和锻炼的冥想应用“Wellness”,提供沉浸感的视觉、舒缓平静的音乐和背景音,之后将推出全新设计的适用于VR的Fitness+,可以让用户在VR中进行锻炼;

教育方面,苹果希望用户可以通过MR头显打造沉浸式MR阅读;

游戏方面,苹果已经创建了自己的底层引擎为MR游戏提供支持,但游戏内容仍然是交付给第三方开发,将集成现有第三方开发者在其它苹果设备上(iOS、iPad

OS等)的Top级游戏阵容;

视听方面,苹果将为MR头显打造专用的视频观看功能,可以让观众处于一个新的观看环境,如沙漠或者太空场景中观看视频,用户通过佩戴AirPods,可以获得完整的空间音频体验,感受环绕立体声,或将推出专为虚拟场景提供的体育赛事App。图表:iPhoneFitness+31资料:苹果,智东西,中信建投2.4

打造内容开发工具,用户可以创建自己的AR软件

苹果正在打造了一款内容开发工具,可以让用户轻松构建自己的AR软件,并能够上线App

Store,提供给他人下载。据The

Information,该软件可以帮助用户构建一个新的应用程序,例如让虚拟动物在现实世界的房间里开始移动,还可以围绕在部分现实物体旁。借助该软件,用户无需从头开始设计动物模型,也无需计算该动物将如何在有障碍物的3D空间中移动。这项内容创建工具类似于“我的世界”和“Roblox”两款游戏,这些游戏中,用户可以通过简单的界面轻松构建自己的3D世界和对象,与Meta的游戏创建应用程序Horizon

Worlds相类似。

与迪士尼等公司在MR内容上合作:苹果已经与包括华特迪士尼公司(Walt

Disney)和杜比实验室(DolbyLaboratories)在内的大约六家合作伙伴讨论了为该平台开发MR内容相关事宜。《纽约时报》报道称,苹果已聘请Jon

Favreau等好莱坞导演为其开发内容,Favreau

正在“努力让(史前星球的)恐龙在头显上栩栩如生”。图表:MetaHorizonWorlds32资料:Meta,The

Information,智东西,中信建投2.5

一对一视频会议支持全身渲染

视频会议,全身渲染:据,苹果将重点打造基于FaceTime的高级视频会议功能。头显内的FaceTime软件将在虚拟世界中逼真地渲染用户的面部和全身。用户将会感觉自己和其同伴都处在同一个“房间”。考虑到全身渲染所需要的数据处理能力,全身渲染功能仅在一对一视频聊天中所支持。如果要是多人进行FaceTime通话,其他用户仍以图标或者Memoji(Apple的自定义表情符号)的形象出现。图表:Meta全身元宇宙形象33资料:Meta,,中信建投2.6

海外体育VR内容—NextVR有望与苹果MR硬件一同推出

海外体育赛事VR直播已有先例。海外VR直播平台NextVR自2012年转型内容,主要涵盖体育、音乐、娱乐、新闻等领域的VR直播和内容提供,包括NBA、国际冠军杯、温网等赛事,且NextVR应用程序已在HTC

Vive、PSVR、Windows

VR、Oculus

Go、Gear

VR和Daydream推出,硬件兼容程度较高。

Next

VR在2020年被苹果收购,2023年苹果即将推出旗下首款MR头显设备,Next

VR或将成为苹果系内容生态的重要组成。图表:NextVR

NBA直播赛事服务效果图表:NextVR媒体属性较强,合作平台及内容提供较为丰富合作方

合作对象合作方式合作内容温布尔登国际网球锦标赛

VR直播支持VR直播观看同足球内容媒体COPA90建立合作伙伴关系,支持内容分发于球场上设置12个VR摄像机,对比赛进行拍摄COPA90设立VR频道VR直播国际冠军杯(ICC)足球赛提供常规赛VR直播;总决赛期间,在VR直播及回放

NBA总决赛频道发布高分辨率的全景比赛集锦体育NBA体育赛事转播公司TurnerSportsVRVR直播VR直播NHL

赛事VR直播包括美网公开赛、拳击和NCAA美国大学篮球赛等赛事直播FOX体育与Coldplay乐队合作拍摄制作GhostStories虚拟现实演唱会体验版上传演唱会至VR平台Coldplay乐队VR演唱会VR演唱会音乐LiveNationGotham

Comedy

Club喜剧现场直播、好莱坞校园夜生活中的“up-and-comingbands”表演娱乐

OculusVenues新闻

CNNVR直播VR直播2015年美国民主党辩论资料:NextVR,中信建投34目

录第一章

硬件升级,行业顶配,打破VR与AR的界限内容丰富,兼容性强,应用场景大幅增加生成式AI爆发,极大降低XR内容制作门槛相关公司第二章第三章第四章353.1

AI能为VR带来什么?颠覆交互、提升内容(1)

生成式AI的快速发展将为XR设备销量的提升带来契机。一方面,大语言模型及SAM等模型带来的理解能力提升将为XR设备的语音交互、物体识别等带来更多的可能,带来更具有沉浸式的交互体验;另一方面,生成式AI降低了3D资产制作的成本和门槛,为VR游戏、VR视频、AR应用程序等专业内容制作降本增效,通过文字或语音即可建立3D模型甚至程序将极大丰富UGC。

Meta发布图像分割模型,有望接入XR设备识别物品。未来,SAM有望接入XR设备,例如可用于通过AR眼镜识别日常物品,用户仅需要使用目光注释物体,SAM对用户看到的画面进行分割,配合AR眼镜应用,为用户展示所注释物体的提醒和说明。图表:

Meta

SAM分割效果图表:接入Segment

Anything

Model的AR眼镜识别物体36资料:Meta,中信建投资料:Meta,中信建投3.1

AI能为VR带来什么?颠覆交互、提升内容(2)

大语言模型极大提升文字理解能力,为XR设备实现深层次语言交互奠定基础。一方面,大语言模型能够理解更复杂的自然语言,完成更复杂的自然语言处理任务,进而能够听懂用户以语音形式给出的复杂指令并做出响应,使得XR设备除肢体、眼睛交互外增加一种深层次的语音交互方式,使得用户与设备之间的交互更加综合。另一方面,大语言模型可为虚拟助手、聊天机器人或其他支持语音的交互式

XR

应用程序提供更逼真、更自然的对话,这有助于通过提供更自然和直观的交流方式来改善整体交互体验。

创业公司rct.ai实现通过语音操作游戏行为的对话虚拟人Lucy,未来或可通过语音精准操作XR应用,比方说查询游戏账户、转账、买卖装备等。图表:语言模型能力训练规模超过一定阈值后快速提高图表:能够操作游戏行为的对话虚拟人Lucy资料:Emergent

Abilities

of

Large

LanguageModels,中信建投资料:rct.ai,中信建投373.1

AI能为VR带来什么?颠覆交互、提升内容(3)生成式AI已经能够高效率生成较成熟的3D模型及场景。

神

经

辐

射

场

(Neural

Radiance

Field,NeRF):一种面向三维隐式空间建模的图表:网易瑶台通过物体多视角图像重建其3D模型深度学习模型,能够完成新视角合成任务。

网易与英伟达合作,在NeRF基础上实现高效、高质量3D建模:

以

NeRF

为代表的神经渲染技术支持用户手机拍摄物体,自动快速数字化建模,但存在效率和精

度

无

法

兼

顾

的

问

题

。

网

易

瑶

台

与NVIDIA

合作,利用

NVIDIA

instant-npg中的

tiny-cuda-nn

技术,基于

NeRF

和隐式曲面的神经渲染重建算法并结合预训练

CasMVSNet

的3D点云先验,对神经隐式曲面建模进行了20多倍加速,实现了高效、高质量的3D

mesh重建。资料:网易瑶台,中信建投383.1

AI能为VR带来什么?颠覆交互、提升内容(4)

腾讯

AI

Lab

提出自研3D虚拟场景自动生成解决方案:帮助游戏开发者以更低成本创造风格多样、贴近现实的虚拟城市,提升

3D

虚拟场景的生产效率。这样一座大规模城市的3D构建,过去往往需要多名美术师以年为单位的时间才能完成,而结合AI只需要数周。图表:腾讯AI

Lab使用AI生成3D建筑模型

完美世界根据文字生成的概念设计图结合扫描建模技术实现游戏场景:由文字转图像模型生成场景概念设计图,结合扫描建模技术自动化处理流程,无需传资料:腾讯,中信建投统美术介入,两个人仅用一周便生成完整游戏场景,其中每个模型超过四五百万面;公司还实现了使用公开的SD模型配合Stable

Diffusion插件ControlNet生成角色概念三视图设计,基本符合输入的要求。图表:根据文字生成的概念设计图结合扫描建模实现的游戏场景资料:完美世界,中信建投393.1

AI能为VR带来什么?颠覆交互、提升内容(5)VR游戏:大幅降低VR游戏开发成本,促进更多开发者投入。

AI驱动虚拟主播,降低VR内容制作成本。OpenAI的大模型技术支持对玩家对话内容、游戏情节、关键物品和行为等进行解析,结合微软TTS

技术进行语音合成和声纹模仿,创造出于人类主播非常相似的虚拟主播。

AI驱动虚拟人运营,有望进一步丰富VR内容生态。虚拟人创作互动平台aisocia不仅支持一键生成这个虚拟人及其形象,还支持让多个虚拟人在一起聊天,通过接入各种API,例如运营虚拟人IP,能够接到社交平台上面,让虚拟人自动发布运营消息,用户只需要最后做一步确认即可图表:NPC虚拟游戏主播图表:Mount

&

Blade

II中NPC对话符合游戏世界观资料:微软,中信建投资料:微软,中信建投403.1

AI能为VR带来什么?颠覆交互、提升内容(6)VR社交/虚拟人:降低普通用户3D内容创作门槛,极大丰富UGC。

AI驱动的3D资产生产力提升,达数倍甚至数十倍。若以腾讯

AI

Lab提出的3D虚拟场景自动生成解决方案测算,其将构建大规模3D城市时间由数年减少到数周,带来的是生产力数十倍的提升。以3A级VR游戏《半衰期:艾利克斯》为例,其开发团队由大约80人构成,是Valve历史上规模最大的团队,开发周期历时4年,若使用

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论