4D自动驾驶场景生成-小米南开大学-2025-12-自动驾驶

WorldSplat:Gaussian-CentricFeed-Forward4DSceneGenerationforAutonomousg小米汽车世界模型—南开大学任务定义：自动驾驶模拟世界手段-视频生成vs场景重建•世界模型-视频生成:根据结构控制条件和文本提示生成自动驾驶视频•世界模型-自动驾驶场景重建：使用三维表征表示场景，可以优势与困境-生成•世界模型-视频生成:借助Wan2.1优势与困境-生成优势与困境-生成•缺陷：“themodelshouldbeabletogeneratethesamescenecapturedfromdifferentpositions”优势与困境-重建•世界模型-场景重建:基于3D/4DGaussians表征，可以准确重建出场景结构模拟自车向右变道2m模拟自车向左变道2m优势与困境-逐场景重建vs前馈重建•自驾场景下观测视角稀疏，传统逐场景拟合的3DGaussians方案难以还原3D场景世界模型设计思路•动机：以Gaussians为核心生成重建统一的世界模型化o借助diffusion的生成能力，生成多视角致的视频世界模型设计思路ConditionConditionsGaussianGaussiansDiffusionGaussiansLowResoVideorenderEnhancedEnhancedDiffusionHighFidelityVideo提出的世界模型框架•以Gaussians为核心的世界模型框架：提出的世界模型框架细节•基于ControlNet增强的Diffusiontransformer•前馈4DGaussians生成•二阶段diffusion可以弥补Gaussians渲染新视角的天然缺陷：视频生成效果对比-量化指标•对比最新的世界模型-视频生成的方法视频生成效果对比-视觉效果•对比最新的世界模型-视频生成的方法视频生成效果对比-视觉效果•模拟阴雨天气的真实物理环境：模拟潮湿路面的车灯反射生成视频真实视频视频生成效果对比-视觉效果•模拟阴雨天气的真实物理环境：玻璃可以反射出自身车辆生成视频真实视频视频生成效果对比-视觉效果生成视频真实视频新视角生成效果对比-量化指标•对比最新的自动驾驶场景重建方法新视角生成效果对比-视觉效果•对比最新的自动驾驶场景重建方法新轨迹生成效果•将自车分别向左右平移1m、2m，我们能实现不同视角的场景一致性视频展示•上下两段视频分别模拟将自车分别向左和右平移2m视频展示•上下两段视频分别模拟将自车分别向左和右平移2m消融实验与下游应用•对提出策略的消融实验•对下游感知带来的提升未来工作•相关代码的整理与开源•轻量化整体的生成框架•在闭环仿真任务上测评我们模型带来的提升效果欢迎关注我们的工作自动驾驶世界模型学习路线—视频生成篇•非常有用的GitHub网站：/LMD0311/Awesome-World-Model汇集了最新的一系列工作•开源的长时序，高分辨率视频生成方案：MagicDrive-V2:High-ResolutionLongVideoGenerationfor•基座生成模型：CosmosWorldFoundationModelPlatformforPhysicalAI自动驾驶世界模型学习路线—视频生成篇（我们团队的工作）•联合生成多视图视频和LiDAR点云的统一框架（NeurIPS2025）：Genesis:MultimodalDrivingSceneGenerationwithSpatio-TemporalandCross-ModalConsistency•先生成视频，以生成视频作为引导合成与视频一致的点云自动驾驶世界模型学习路线—视频生成篇（我们团队的工作）•可编辑生成模型：RethinkingDrivingWorldModelasSyntheticDataGeneratorforPerceptionTa通过3D资产编辑，实现对目标位姿、轨迹和外观的精准控制，生成驾驶视频。•仅用420个合成样本（<2%真实数据量就能超越纯真实数据训练的模型自动驾驶世界模型学习路线—前馈重建篇•推荐关注最近很火的一些前馈重建模型，比如VGGT,CUT3R,StreamVGGT,Pi3,HunyuanWorld-Mirror，DepthAnything3等•Nuscenes场景前馈式3D重建：Omni-Scene:Omni-GaussianRepresentationforEgo-CentricSparse-ViewSceneR