第十九届D2终端技术大会：裸眼3D效果的实践之路

裸眼3D效果的实践之路杭州2025.3.8狄清乐狄清乐（悲鸿）di.dql@alibaba-2仅凭肉眼将平面二维图片或视频看出三维立体的效果。而普遍意义上的裸眼3D技术是指通过双目的视差来实现。裸眼3D的视觉效果，是一种视觉欺骗，这种效果主要是通过“出框”来实现的。也称为出框效果。接下来的部分将主要讨论“裸眼3D视觉效果”的实现。微信朋友圈的裸眼3D出框视频赋能品牌广告。调研发现，炫酷的创意样式更容易得到品牌广告主的青睐。成都太古里商圈里的大屏幕裸眼3D微信朋友圈的裸眼3D出框视频赋能品牌广告。调研发现，炫酷的创意样式更容易得到品牌广告主的青睐。Youneedalittlebitofbasicknowledgeingraphics,butit'sokayifyoudon'thaveanybecausethere'sDeepseek.截获系统播放器视频流，由图形管线接管渲染流VideoFramesMediaPlayer截获系统播放器视频流，由图形管线接管渲染流VideoFramesMediaPlayerCommandStreamVertexProcessingVertexProcessingTransformedGeometryRasterizationRasterizationFragmentProcessingFragmentProcessingBlendingBlendingGraphicspipeline通过接管视频帧渲染流程，使用Shader逐像素对视频帧进行处理，达到裸眼3D的视觉效果。逐像素处理逐像素处理逐像素处理逐像素处理一分为二裸眼3D视频帧用于取色用于计算逐像素处理逐像素处理通过xz+yz<rz来计算采样像素的采纳与否来绘制圆角。当圆角半径现实理想现实理想场景卡视频区域在Shader的处理上需引入“抗锯齿”算法进行反走样处理。会增加每个像素处理的计算量，经验证，对性能的影响微乎其微。傅里叶变换傅里叶变换频域（FrequencyDomain频域（FrequencyDomain）（SpatialDomain）逆傅里叶变换高通滤波锯齿–空间采样错误低通滤波锯齿–空间采样错误低通滤波通过先模糊再采样的方式可以有效抗锯齿，而模糊是一种周围像素对某个像素求平均的结果，可以使用卷积来实现，例如选择一个3×3的卷积核。119111119111111111125%75%50%25%75%50%100%裸眼3D视频在播放结束后，会通过动画的形式缩放到场景卡的“第一个坑位”，但使用系统原生动A动画缩放AA1A1裸眼裸眼3D视频动画中间态一坑广告位横屏播放态（7.25秒）一段动画态（0.5秒）小屏播放态（2秒）二段动画态（0.25秒）一段动画yyvyyvuA·回=x第一种采样方式在动画结束时，丢失了较多的主体信息。第二种虽uA·回=xxz\zw一次z\zw一次△X△XVertex=A·Vertex动画插值器（线性/非现性）引入自动化配置进行视频CDN预热、展位预加载、视频后处理来提高投放效APIAdapterOpenGLES3.0/Metal/Other引入自动化配置进行视频CDN预热、展位预加载、视频后处理来提高投放效APIAdapterOpenGLES3.0/Metal/OtherEventSpiritTransformerEffectAnimationScheduleSceneCacheDownloaderPipeline3DPlayerRenderEngineArchitectureManagerStorageRenderer裸眼3D端到端投放链路Client（首页业务）3D3DPlayer搭建后台Server搭建后台预加载展位投放展位首页业务（*/homepage预加载展位投放展位运营供给服务投放后台投放管理预加载计划配置视频处理投放管理预加载计划配置投放前端裸眼3D的素材制作成本高，是制约客户投放的关键卡点，需要寻找AlphaAlpha通道视频.mp4准确率约为60%~70%，因此粗抠之后需要对素材进行二次的人抠图工具效果对比中高20元/分钟低视觉同学借助AE（AdobeAfterEffects）进行抠图，然后生成包含Alpha通道的视AE提供了可交互的主体物识别和逐帧对象跟裸眼3D视频帧的制作需要同时满足图像分割和物品跟踪。图像分割领域最理单帧图像。videoobjecttracking/segmention领域经典的SiamMaskSiamMask算法SiamMaskSiamMask分割可见，SiamMask的分割效果不能满足商用要求。裸眼3D对比SiamMask方案，采用了SAM+VOT实现视频主体物可交互标记及跟踪分割的技术方案，实现裸眼3D素材的制作。在具体实际案例投放中，该方案的抠图效果达到替代人工二次精修的水平。SiamMask算法•问题1：能否同时从两个视频力取帧？•问题3：框为什么不做在视频帧上？•问题2：视频能否是左alpha+右rgb的？•问题4：业界的其他方案？TTTT TTTTTTTTTT T T TTTTTTTTask1Task2Task3Task3Task4Task5Task6TaskTTTT TTTTTTTTTT T T TTTTTTTTask1Task2Task3Task3Task4Task5Task6Task7Task8Task92k4TTTT Task6 T Task7Task8T kkT T TTTaskTask1Task6Task2Task7Task3Task8Task4TaskTask11TaskTask22TaskTask334Task4Task4TaskTask55TaskTask66TaskTask7 8Task8Task89Task9Task9Task20Task21Task22Task23Task24Task25Task26Task27Task28Task29Task30Task31Task32SPH算法（SmoothedParticleHydrodynamics）是基于粒子模拟中最常用、简单的算法，最初提出于天体物理学领域，然后被广泛的应用到计算流体力学领域，成为基于拉格朗日粒子模拟方法的典型代表。简单说即某个粒子的物理量