Aether-实-用教程完整版

Aether-实用教程完整版前言Aether是上海人工智能实验室开源的生成式世界模型，主打4D动态重建、视觉规划、视频预测三大核心能力，是首个融合重建-预测-规划全链路的开源世界模型，全程依托合成数据训练，兼顾推理速度与真实场景适配性，广泛用于机器人视觉、自动驾驶仿真、动态场景重建、视频生成等领域。本教程为完整版实操指南，覆盖从零部署、基础推理、核心功能调用、参数调优、报错解决、二次开发全流程，适配Windows/Linux双系统，零基础开发者可直接跟着步骤复现。第一章产品基础概述1.1核心定位与优势核心能力：4D动态场景重建、动作可控视频预测、机器人端到端视觉规划、真实世界空间决策差异化优势：纯合成数据训练，无需海量真实场景标注；重建与生成模型深度融合；轻量化部署，支持本地GPU单机运行；开源完整权重与推理代码，无功能阉割适用场景：机器人导航视觉规划、动态三维场景重建、短视频AI生成、自动驾驶感知仿真、AR/VR动态空间建模1.2软硬件环境要求1.2.1硬件最低配置GPU：NVIDIA显卡，最低RTX306012G；推荐RTX409024G/A100（大分辨率视频推理必备）内存：≥16G，推荐32G及以上硬盘：空闲空间≥50G（含模型权重、依赖库、测试视频素材）1.2.2软件环境要求操作系统：Linux（Ubuntu20.04/22.04推荐）、Windows10/11（WSL2运行）Python版本：固定3.10（不兼容3.8/3.11及以上版本）CUDA版本：11.7/11.8（匹配PyTorch版本）必备工具：Git、Conda第二章从零环境部署（全程可直接复制代码）2.1前置环境准备安装Anaconda并配置系统环境变量，打开终端（Linux终端/WindowsWSL2终端）验证CUDA环境，输入指令：nvidia-smi，确认显卡驱动与CUDA版本匹配2.2源码拉取与项目初始化bash

#拉取官方开源源码

gitclone/OpenRobotLab/Aether.git

#进入项目根目录

cdAether

#创建专属虚拟环境（固定python3.10）

condacreate-naetherpython=3.10-y

#激活虚拟环境

condaactivateaether2.3依赖库一键安装bash

#安装项目全部依赖

pipinstall-rrequirements.txt

#补充适配显卡的PyTorch版本（cuda11.8版本）

pip3installtorchtorchvisiontorchaudio--index-url/whl/cu118避坑提示：国内网络建议提前配置pip清华源，否则依赖下载极易超时；不要手动升级torch版本，会导致模型推理报错。2.4预训练权重下载官方提供公开预训练权重，项目运行前必须下载并放入./checkpoints文件夹：访问官方权重仓库下载完整权重包在项目根目录新建checkpoints文件夹：mkdircheckpoints将解压后的权重文件全部移入该目录第三章三大核心功能实操教程（附完整运行指令）3.1功能一：4D动态视频重建（最常用基础功能）输入普通2D视频，输出带时序的4D动态三维场景，还原物体运动轨迹与空间结构，支持自定义视频路径与输出分辨率。bash

#基础4D重建运行指令

pythonscripts/demo.py--taskreconstruction--video./assets/example_videos/moviegen.mp4

#自定义参数版本（修改输入视频+输出帧率）

pythonscripts/demo.py--taskreconstruction--video你的本地视频路径.mp4--fps24--output_size1024输出结果：自动在./output文件夹生成重建点云、动态三维模型、对比视频，可直接用Meshlab打开三维文件查看效果。3.2功能二：动作条件视频预测基于前置视频画面+自定义动作指令，预测后续动态画面，适用于机器人动作预判、视频续写场景。bash

pythonscripts/demo.py--taskprediction--video./assets/test_video.mp4--actionforward--predict_frames30参数说明：--action支持forward/backward/left/right四大动作；--predict_frames为预测帧数，数值越大生成时长越久，显存占用越高。3.3功能三：机器人视觉规划输入场景视频与目标点位，模型自动输出机器人可行走路径，实现端到端视觉规划，无需额外算法适配。bash

pythonscripts/demo.py--taskplanning--video./assets/robot_scene.mp4--target_point[5.2,3.1,0.8]第四章关键参数调优指南（提升运行速度与生成效果）参数名称作用低配显卡推荐值高配显卡推荐值--batch_size推理批次，影响显存占用28--num_samples生成采样步数，步数越高画质越好2050--gpu_id指定运行显卡编号00/1（多卡并行）--precision推理精度，fp16提速，fp32保画质fp16fp32第五章常见报错与一站式解决方案5.1报错1：CUDAoutofmemory显存溢出原因：显卡显存不足，分辨率/批次设置过高解决方案：降低batch_size至1-2；切换fp16半精度推理；缩小输出视频分辨率至720P5.2报错2：权重文件无法加载原因：权重存放路径错误、文件缺失、版本不匹配解决方案：严格将权重放在根目录checkpoints；重新下载完整权重包；核对torch与cuda版本5.3报错3：Videoreadererror视频读取失败原因：缺少ffmpeg依赖、视频格式不支持解决方案：终端执行condainstallffmpeg-y；统一输入视频为mp4格式5.4报错4：Python版本不兼容解决方案：必须使用python3.10，不要升级环境，重新创建纯净虚拟环境第六章进阶二次开发指南6.1自定义数据集微调按照官方数据集格式，将自有视频数据集放入./custom_data文件夹修改configs目录下训练配置文件，调整学习率、迭代次数启动微调指令：pythonscripts/train.py--configconfigs/aether_custom.yaml6.2API接口封装（本地部署调用）项目内置fastapi接口文件，一键启动本地服务，支持前后端对接：bash

pythonapi/main.py启动后默认访问地址：:8000/docs，可在线调试所有模型接口6.3机器人端轻量化部署支持torchscript模型导出，降低端侧推理延迟，适配嵌入式显卡设备，导出指令：bash

pythonscripts/export_torchscript.py第七章附录：常用指令速查表查看环境版本：condalist关闭虚拟环境：condadeactivate清空项目输出