第十九届D2终端技术大会：淘宝Vision背后的XR应用研发方案探索与实践

第十九届D2终端技术大会淘宝Vision背后的XR应用研发方案探索与实践2第十九届D2终端技术大会第十九届D2终端技术大会第十九届D2终端技术大会淘宝Vision介绍2024.04.122024.06.19登录、消息、支付淘宝与多品牌合作打造沉浸式的购物体验登录、消息、支付淘宝与多品牌合作打造沉浸式的购物体验得到了用户一致好评第十九届D2终端技术大会第十九届D2终端技术大会XR应用的技术挑战7第十九届D2终端技术大会最初我们想开发一款XR应用第十九届D2终端技术大会如果开发的不是游戏，而是应用路由存储权限Native逻辑/JS动态化第十九届D2终端技术大会机制，只进行必要重绘规模的实时渲染和计算，对于常规应用来说，这样规模的实时渲染和计算，对于常规应用来说，这样第十九届D2终端技术大会我们的解法(XRAppOS)12123434“沉浸式效果”研发解决方案“沉浸式效果”研发解决方案第十九届D2终端技术大会AUDIOcoreLocationcoreLocationAVFoundation•与iOS接近，iOS开发者和应用可以快速迁移•大部分iOSSDK通过少量修改可适配到第十九届D2终端技术大会Window：ImmersiveSpace：更高级别的沉浸形态，融合在真实世界•全新的应用形态•丰富的平台新特性，需要定制一些新的中间件第十九届D2终端技术大会Window：ImmersiveSpace：更高级别的沉浸形态，融合在真实世界•全新的应用形态•丰富的平台新特性，需要定制一些新的中间件第十九届D2终端技术大会弱化平台差异-工程架构WebUIJavaScriptUIKitSwiftUI业务逻辑WebUIJavaScriptUIKitSwiftUI业务逻辑业务逻辑导航器导航器启动器窗口管理器组件库权限管理基于visionOS特性定制的中间件启动器窗口管理器组件库权限管理复用的淘宝第十九届D2终端技术大会终端3D开发难点-学习曲线高第十九届D2终端技术大会终端3D开发难点-3D引擎生命周期差异第十九届D2终端技术大会终端3D开发难点-主线程优化的复杂性第十九届D2终端技术大会场景逻辑树场景渲染树面向终端工程师的应用式3D开发场景逻辑树场景渲染树XRAppOSCoreXRPluginXRCoreNNRBackendNNRBackendAceNNRBackendAceNNRWeexXRScene解耦2D与3D两个复杂的引擎系统(内存、线程、状态同步等)实现Native/JS环境下均可使用的「事件型3DAPI」XRSceneXRNodeXRNodeXRAnimationXRColliderXRInputTarget业务方可在「任意线程」调用3DAPI，无需关注底层实现XRAnimationXRColliderXRInputTargetXRGeometryXRAnimatorXRViewAttachmentXRGeometryXRAnimatorXRViewAttachmentXRComponentMath拆分冷热数据，按需同步底层3D渲染引擎支持批处理同步，而非实时同步，提升性能XRComponentMath第十九届D2终端技术大会我们的解法(XRAppOS)12124433“沉浸式效果”研发解决方案VisionOS、Oculus、Pico、AndroidXR第十九届D2终端技术大会万能淘宝-多样的空间子程序形态第十九届D2终端技术大会空间容器空间子程序:空间子程序:不同子程序由不同团队完成开发多个空间子程序可以共存ImmersiveSpace第十九届D2终端技术大会空间容器框架层需要管理不同空间子程序的生命周期。ImmersiveSpace第十九届D2终端技术大会空间容器集成发布代码包/资产包集成发布代码包/资产包 第十九届D2终端技术大会我们的解法(XRAppOS)12123434“沉浸式效果”研发解决方案“沉浸式效果”研发解决方案第十九届D2终端技术大会全景漫游介绍通过360全景图将用户“传送”到预设的场景中第十九届D2终端技术大会全景漫游-加载性能第十九届D2终端技术大会全景漫游-加载性能 三级渐进式加载加载更新天空盒材质更新天空盒材质第十九届D2终端技术大会全景漫游-地标点位精准贴合地标点位难以贴合目标位置在此方向的很远处，例如(1000⽶)放置地标组件并将地标组件放大相应的倍数，以使得看起来和真实世第十九届D2终端技术大会空间视频介绍第十九届D2终端技术大会空间视频与普通视频的差异4K/8K空间特效/全景漫游•模拟双眼视差的两个不同但相似的画面第十九届D2终端技术大会空间视频的播放第十九届D2终端技术大会XRAppOS沉浸式模块-空间视频播放器DecoderAudioDecoderAudioDecodeBufferManagerSeekerPreloaderReader跨平台VideoDecodeStreamReaderControllerPlayingStateControllerMessageQueueAVSynchronizationVideoDecodeStreamReaderControllerPlayingStateControllerMessageQueueAVSynchronizationPerformanceTrackerVisionPro/Quest/PICO使用场景更全面支持在球面、半球面渲染支持嵌套在2D页面中扩展性更好支持添加自定义特效支持自定义解码器RendererFilterOutputReshaperRendererShaderColorSpaceManagerCustomizedEffectsSpatialSoundStereoSoundGraphicAudio第十九届D2终端技术大会空间视频与窗口同步单位不同，需要找到合适的遮挡关系不同，UI层级的配空间视频与窗口同步单位不同，需要找到合适的遮挡关系不同，UI层级的配形状不同，空间视频播放的面片需要配合窗口做改动窗口绘制空间空间维度：2维空间视频的播放界面空间视频的播放界面是三维空间的物品，透视关系与窗空间视频播放界面三维空间中的单位为真实世界的“⽶”，与2D空间中的“点”不同。空间视频表现为一个悬浮在窗口上的薄片，会遮挡窗口第十九届D2终端技术大会我们的解法(XRAppOS)12123434“沉浸式效果”研发解决方案“沉浸式效果”研发解决方案第十九届D2终端技术大会3DObjectFinal