SIMWORLD面向物理与社会世界的开放式自主智能体模拟器

SIMWORLD:面向物理与社会世界的开放式自主智能体模拟器AnOpen-endedRealisticSimulatorforAutonomousAgentsinPhysicalandSocialWorlds01研究背景和现状02系统架构详解03案例研究-快递任务04总结与讨论目录01研究背景和现状研究背景和现有挑战具身智能需要复杂的物理和社会环境来训练和评估，但现有模拟器存在短板。缺乏一个同时兼顾真实感、开放性和LLM友好接口的模拟平台。游戏类Minecraft物理和社会规则过于简化，缺乏真实感。室内类AI2-THOR场景单一，环境静态，难以应对没见过的新环境新物体。传统自动驾驶类CARLA原生动作空间仅包含低级控制信号，无法接入LLM的高级指令控制。SIMWORLD的核心贡献多样的推理场景支持长时程的物理与社会推理任务(如合作、竞争)。三大核心能力基于UnrealEngine5(UE5)构建的新型模拟器真实且开放的世界UE5提供的逼真物理模拟+优化的社会动力学+程序化生成的无限环境。丰富的Agent接口支持多模态输入/反馈，支持分层动作空间的Gym-like接口。相关工作对比唯一支持Human/Robot/Vehicle全种类Agent

的模拟器独特的语言控制地形生成能力少有的高级/低级控制语言全面支持的模拟器最新的UE5引擎带来更拟真的画面和物理模拟专门优化过的先进社会动力学模拟02系统架构详解总体架构UE5后端(C++)负责高保真渲染、物理模拟、资产库+T2A资产生成。环境层(Python)负责程序化地形生成、交通流、Gym接口封装。Agent层(Python)负责感知、记忆、规划、动作执行。世界构建-资产与场景Text-to-3D与Hunyuan3D交互，支持通过自然语言生成模型，并自动处理为符合项目画风的资产基于UE5的先进物理引擎集成资产与场景，极具真实感。手工制作+自动生成内置100+手工制作高质量场景，另支持程序化自动生成。丰富的内置资产内置大量拟真建筑、植被、城市、人物资产。程序化城市生成独特优势：支持LLM驱动的后介入场景调整，"在医院旁边加一棵树"基于生长算法进行路网生成，并使用一个基于QuadTree的容器存储场景数据，进行空间划分和碰撞检测。依路网逐步填充建筑物和装饰品，并存入QuadTree结构容器中导航与交通系统路点系统(Waypoint):分为粗粒度（道路级）和细粒度（行走路径），作为导航骨架。动态交通:包含车辆管理器、行人管理器、路口管理器。车辆使用PID控制器，行人具备避障逻辑。智能体接口与动作空间Gym-likeInterface:提供step(),reset()等标准接口，支持同步/异步模式。Gym如何工作？智能体说（代码）：env.step(action)——“我决定这么做”。环境回答（代码）：returnobservation,reward——“结果是这样，你看到了这些”。High-Level:自然语言指令（如"Sitonthenearestchair"）。Low-Level:原子动作（如"MoveForward","TurnLeft"）。ActionPlanner:使用LLM将High-level指令分解为Low-level执行序列。03案例研究-快递任务任务设定多智能体在城市中通过送快递赚钱包含复杂机制:经济系统:赚钱、买载具、买吃喝（补体力）。竞价机制:多个Agent对订单报价，价低者得。合作机制:订单共享（分包）。动态性:需考虑饥饿度、体力、移动效率。“我这里有一个订单，从A点送到B点，报酬是$50，但我现在没油了/不想去，谁愿意接手？”实验设置与评估指标评估维度:整体:总利润(TotalProfit)。运营:订单成功率、能量效率。策略:订单分享次数、投资行为(购入载具)。参与模型:GPT-4o,Claude-3.5-Sonnet,DeepSeek-V3,Gemini-2.5-Flash等。主要实验结果高收益vs高风险:DeepSeek-V3和Claude-3.5利润最高，但方差极大（行为不稳定，有时会瞎买东西或乱报价）。最稳定:Gemini-2.5-Flash利润中等，但表现最稳定（方差小）。失败案例:GPT-4o-mini几乎无法完成任务（利润为0）。思考：为什么小模型难以胜任该任务？多智能体竞争分析竞价策略:Claude-3.7和Gemini-2.5采用灵活的竞价策略（价格分布宽），胜率较高。DeepSeek倾向于报低价来抢单（"卷王"策略）。结论:模型需要权衡“中标率”和“利润空间”，不仅能提高实验胜率，也是我们期待的进化方向。环境配置的影响资源稀缺度:

订单少时，Agent更卷；订单多时，Agent倾向于“躺平”（DoNothing）或等待更好的机会。初始资金:钱多的时候，Agent更愿意投资和合作；钱少时，更激进地抢单。符合预期，证明了模拟的有效性。人格特质的影响一些有趣的发现:尽责性(Conscientiousness)高:专注于完成任务，甚至不怎么通过竞价策略投机。宜人性(Agreeableness)高:更愿意合作，闲置时间少。开放性(Openness)高:可能会因为尝试新奇策略而导致任务完成率下降（"分心"）。证明了SIMWORLD能够模拟出性格驱动的细粒度社会行为。04总结与讨论总结SIMWORLD填补了高拟真、开放式、LLM原生支持的模拟器空白。提供了从底层物理到顶层社会推理的全栈模拟能力。通过快递任务证明了其评估Agent长期规划、社会交互和策略博弈能力的有效性。亮点展望与思考复杂且即时的物理操作（如精细的机械臂抓取）展示较少。是否可行？原子指令到“行走100m/2s，捡起…”层面。是否需要考虑机器人的电机级控制？UE5+多Agent+即时LLM交互架构是否计算开销过大？