具身智能科技前瞻探索（第3期）：多任务操作、第一人称世界模型、低光照与模糊感知

具身智能科技前瞻探索(第3期) 多任务操作、第一人称世界模型、低光照与模糊感知跟踪具身智能科技前沿,解读最新论文成果,为产业发展和投融资提供前瞻指引跟踪具身智能科技前沿,解读最新论文成果,为产业发展和投融资提供前瞻指引本期核心关注多任务操作、本期核心关注多任务操作、第一人称世界模型、低光照与模糊感知、仿真数据生成等六大前沿进展VLA模型、CRAFT:基于视频扩散的双臂机器人操作数据生成框架、Heracles:下一代人形机器人通用控制框架、ThermoAct:首风险提示技术研发进度不及预期风险、技术成果转化2/CONTENTS4/5 Transformers》2026/3/16Transformers》2026/3/16主要贡献:1:提出轻量化多任务双臂操作框架MOE-ACT:将稀疏MOE模块融入ACT的Transformer编码器,通过自适应专家激活实现多任务动作分布解耦,有效缓解多任务学习中的任务干扰与负迁移问题。2:设计任务条件化FiLM调制机制:基于语言指令嵌入动态调整动作令牌,保障动作生成与任务指令的一致性,强化模型对不同任务的适配能力。3:引入多尺度交叉注意力模块:融合高低层级视觉特征,为操作控制提供互补的视觉信息,提升复杂场景下的机器人操作性能。4:完成多维度实验验证:在仿真基准与真实世界双臂平台完成系统验证,较主流基线模型实现稳定性能提升,为多任务机器人策略学习提供了实证影响展望:1:对具身智能学术研究前沿的影响:本文为多任务机器人模仿学习提供了轻量化的MOE融合方案,验证了稀疏专家激活机制在缓解多任务干扰上的有效性,其FiLM语言调制与多尺度注意力设计,可为后续ACT类策略的多任务优化提供可复用的技术路径,同时也为双臂操作场景的轻量化多任务学习研究提供了新的实证参考。2:对具身智能产业界发展的参考意义:本文提出的轻量化框架可在边缘其多任务统一策略的优化方案,可降低工业场景多任务操作的模型训练与部署成本,为3C电子、汽车制造等场景的双臂机器人规模化落地,提供了轻量化、易部署的技术优化方向参考。6 原文摘要:摘要:机器人在统一策略下完成多任务的能力,是具身智能在真实家庭与工业场景落地的关键。然而,在训练通用机器人策略时,任务间的分布外差异往往会引发严重的任务干扰与负迁移问题。为应对这一挑战,我们提出了一套面向双臂操作的轻量化多任务模仿学习框架,即混合专家增强型动作分块Transformer(MOE-ACT),该框架将稀疏混合专家(MOE)模块集成至ACT的Transformer编码器中。MOE层将统一的任务策略拆解为可独立调用的专家组件,通过自适应激活,在隐空间中自然实现多任务动作分布的解耦。在解码阶段,我们通过逐特征线性调制(FiLM)对动作令牌进行动态调整,提升动作生成与任务指令的一致性;同时引入多尺度交叉注意力,使策略能够同时聚焦低层与高层语义特征,为机器人操作提供丰富的视觉信息。我们进一步融入文本信息,将框架从纯视觉模型升级为以视觉为核心、语言条件化的动作生成系统。仿真环真实世界双臂平台的实验验证表明,M作性能,平均成功率较原生ACT提升33%。上述结果证明,MOE-ACT在复杂多任务双臂操作环境中具备更强的鲁棒性与泛化能力。数据来源：《MoE-ACT:Scali数据来源：《MoE-ACT:Scali上海交通大学、上海人工智能实验室、香港大学联合团队提出了一款可持续更新底层3D场景状态、生成空间一致的交互视频的闭环式第一人称主要贡献:1:提出闭环式第一人称世界模拟器Egosim:将3D场景建模为可更新的世界状态,解决了现有模拟器视角变化下结构漂移、多阶段交互无法更新场景状态的核心局限。取对齐的训练数据对,缓解了世界模型训练数据获取难度大的行业瓶颈。3:推出低成本Egocap数据采集方案:无需预先相机标定,仅用普通智能手机即可获取视角对齐的配对数据,降低了真实世界训练数据的采集4:实现性能优化与跨具身迁移适配:在视觉质量、空间一致性等指标上优于现有方法,同时支持从人类交互到机器人操作的跨具身迁移,拓展了应用边界。影响展望:1:对具身智能学术研究前沿的影响:本文为第一人称世界模拟器的技术优化提供了新的可行路径,其可更新3D场景状态的设计思路,为长时序业解决世界模型训练数据瓶颈提供了可复用的方案,对具身智能世界模型的后续迭代研究具备一定的借鉴意义。2:对具身智能产业界发展的参考意义:本文提出的无标定低成本数据采集方案,可降低具身智能训练数据的采集成本,对中游机器人算法厂商优人操作算法的泛化性优化提供了探索方向,可辅助降低不同机器人硬件平台的算法适配成本。8原文摘要:拟器可生成空间一致的交互视频,并对底层3D场景状态进行持续更新,以实现连续仿真。现有第一人称模拟器要么缺乏明确的3D在多阶段交互中更新世界状态。Egosim通过将3D场景建模为可更新的世界状态,解决了上述两大局限。我们通过几何动作感知的观测仿真模型生成具身交互,同时借助交互感知的状态更新模块保障空间一致性。针对场景-交互对齐训练对获取难度大带来的关第一人称视频中提取静态点云、相机轨迹与具身动作。大量实验表巧交互的泛化能力上,优于现有方法,同时支持向机器人操作任务的跨具身迁移。代码与数据集即将开源,项目主页为数据来源：《EgoSim:Egocent数据来源：《EgoSim:Egocent9 浙江大学、蚂蚁集团和湖南大学联合提出E-VLA框架,首次将事件相机感知无缝集成到VLA模型率从0%提升至90%,在严重运动模糊(1000ms曝光)下从0%提升至20-25%(pick-place)及5%提升至32.5%(sorting)。主要贡献:1:提出首个事件增强型VLA框架E-VLA:实现了事件驱动感知与预训练VLA架构的轻量化融合,针对性优化了传统VLA在暗光、运动模糊场景下的感知失效问题。2:搭建开源遥操作平台与配套数据集:采集了多任务、多光照条件下的RGB-事件-动作同步数据集,为事件增强型VLA模型的训练与验证提供了标准化数据支撑。3:设计两类轻量化事件融合策略:包含无参数叠加融合与层级事件适配配边缘端部署。4:完成系统性实验与设计洞察输出:通过多组消融实验明确了事件窗口、训练策略的关键影响,为事件感知与VLA模型的融合提供了可复用的工程化设计参考。影响展望:1:对具身智能学术研究前沿的影响:为事件驱动感知与VLA模型的融合提供了系统性的实证参考,验证了无需大规模事件预训练,即可通过轻量化策略提升VLA模型在视觉退化场景的鲁棒性。其提出的融合方案、用的技术路径,推动VLA模型从实验室理想场景向复杂真实场景的适配2:对具身智能产业界发展的参考意义:验证了事件相机与VLA模型融合的工程可行性,为解决工业、仓储等真实场景中机器人暗光、高速运动求的方案,可适配边缘端设备部署,对提升工业机械臂、人形机器人在复杂光照与动态场景下的落地稳定性具备一定的实践参考价值。 原文摘要:框架,可在传统帧式视觉感知失效的场景下,提升机器人操作的鲁棒性,适用场景包括极端低光、运动模糊与黑场裁切等。不同于从结构线索,在恶劣工况下保留语义感知能力与感知-动作一致性。我们搭建了搭载DAVIS346事件相机的开源遥操作平台,采集了覆同时,我们设计了轻量化、兼容预训练模型的事件融合策略,并研无参数的简单融合方案(将累积事件图叠加至RGB图像),也能显著提升模型在暗光与强模糊场景下的鲁棒性:在20勒克斯光照的抓取放置任务中,纯图像基线模型成功率为0%,叠加融合方案提升至60%,我们的事件适配器方案进一步提升至90%;在1000毫秒曝光的严重运动模糊场景下,抓取放置任务成功率从0%提升至20%-25%,分拣任务成功率从5%提升至32.5%。总体而言,E-VLA为事件驱动感知可有效融入VLA模型提供了系统性实证,为突破传统帧式成像限制、打造更具鲁棒性的具身智能指明了方向。代码与数据集将在E-VLA项目页面开源。数据来源：《E-VLA:Event-augmentedVision-Lan数据来源：《E-VLA:Event-augmentedVision-Lan 《CRAFT:videoDiffusionforBimanualRobotDataGenerati》2026/4/4南加州大学研究团队提出了一套名为CRAFT的canny边缘引导视频扩散Transformer框架,可基于仿真轨迹生成具备时序一致性、同步匹配动作主要贡献:1:提出统一的双臂机器人数据增强框架CRAFT:基于canny边缘引导的视频扩散模型,实现物体位姿、光照、跨本体迁移等七大维度的统一数据增强,解决了现有方案增强维度分散、无法形成完整管线的问题。2:设计canny边缘结构引导机制:以仿真轨迹的边缘轮廓为控制信号,平衡了动作结构保留与视觉多样性生成,提升了合成视频的物理合理性与时序一致性。3:实现零样本跨本体数据生成:通过正逆运动学完成轨迹重定向,无需目标机器人的真实示教数据,即可生成适配目标本体的高保真训练数据。4:完成多场景系统实验验证:在仿真与真实世界双臂操作任务中完成全维度验证,较主流基线模型实现稳定性能提升,为具身智能数据增强方案提供了实证参考。影响展望:1:对具身智能学术研究前沿的影响:本文为双臂机器人示教学习提供了作结构、提升合成数据质量上的有效性。其七大维度的增强管线设计,可为后续具身智能数据生成相关研究提供可复用的技术框架,同时也为仿真到现实迁移、跨本体学习等方向提供了新的实证参考。2:对具身智能产业界发展的参考意义:本文提出的轻量化数据生成方案,可有效降低工业双臂机器人、人形机器人操作策略训练的真实数据采集成本,其多维度数据增强能力可提升策略在复杂工业场景的泛化性与鲁棒性,为3C电子、汽车零部件装配等场景的双臂机器人规模化落地,提供了低成本的训练数据解决方案参考。 原文摘要:摘要:基于示教学习的双臂机器人操作能力,从根本上受限于真实世界数据采集成本高、视觉多样性不足的问题,这也制约了操作策略在不同视角、物体配置与机器人本体间的鲁棒性。我们提出了基于视频扩散Transformer的canny边缘引导机器人数据生成框架能够合成时序连贯的操作视频,同时同步生成对应的动作标签。通过以仿真轨迹中提取的边缘结构线索为条件引导视频扩散模型,CRAFT能够生成符合物理规律的轨迹变体,支持一套统一的增强管以及多视角合成等全维度能力。我们利用预训练视频扩散模型,将仿真视频与对应动作标签转换为与动作一致的示教数据。仅需少量真实世界示教数据,CRAFT即可生成大规模、视觉丰富的高保真训练数据集,无需在真实机器人上复现示教轨迹(即无需仿真到现实的迁移步骤)。在仿真与真实世界的双臂操作任务中,CRAFT相较现有增强策略与简单的数据规模扩容方案,实现了任务成功率的稳定提升,验证了基于扩散模型的视频生成能够有效拓展示教数据多样性,提升双臂操作任务的策略泛化能力。本项目开源页面可访问: 北京人形机器人创新中心提出了状态条件扩散中间件Heracles,通过隐式状态驱动自适应机制桥接精准运动跟踪与生成式合成,在101个未见运动序列测试中完成率达到90.6%,迭代恢复任务完成率达到90.0%,实现了人形机器人在极端扰动下的类人恢复能力与零样本跟踪保真度的统一。主要贡献:1:提出人形机器人控制分层新范式Heracles:设计状态条件化扩散中间件,搭建高层指令与底层跟踪器的生成式桥梁,无需显式模式切换,即2:优化底层物理跟踪器核心架构:采用改进的有限标量量化(iFSQ)模块,结合自适应运动采样课程,提升了多模态运动轨迹的跟踪精度与跨场景泛化能力。3:设计流匹配轨迹生成优化方案:通过方向热启动、噪声状态增强、运特征。4:完成全维度仿真与真机落地验证:在unitreeG1平台完成多动态场景运动跟踪与全向跌倒恢复验证,量化验证了框架的鲁棒性与工程化可行影响展望:1:对具身智能学术研究前沿的影响:本文为人形机器人控制领域提供了跟踪与生成融合的分层架构新思路,验证了状态条件化扩散模型在闭环控制中实现隐式模式切换的可行性。其提出的iFSQ量化模块与运动学感知加权设计,可为后续通用人形控制器的架构优化提供可复用的技术参考,也为平衡跟踪精度与抗扰鲁棒性的相关研究补充了新的实证数据。2:对具身智能产业界发展的参考意义:本文提出的轻量化中间件方案,可在不重构现有底层跟踪器的前提下,提升人形机器人在非结构化场景的人化的恢复策略设计,也可为工业、服务场景人形机器人的安全运行与规模化落地提供技术优化参考。 原文摘要:摘要:实现通用人形机器人控制,需要在指令动作的精准执行,与应对不可预测环境扰动所需的灵活类人自适应能力之间实现精妙平衡。当前通用控制器大多将运动控制定义为刚性的参考轨迹跟踪问性、非类人化的失效模式,缺乏人类运动控制中固有的生成式自适应能力。为突破这一局限,我们提出Heracles,一种新型的状态条件化扩散中间件,实现了精准运动跟踪与生成式轨迹合成的桥接。Heracles无需依赖刚性跟踪范式,也无需复杂的显式模式切换机制,而是作为高层参考运动指令与底层物理跟踪器之间的中间层运行。通过以机器人实时状态为条件进行建模,扩散模型可实现行为的隐式自适应:当机器人状态与参考轨迹高度吻合时,模型近似恒等映射,完整保留零样本跟踪保真度;反之,当出现显著状态偏差时,模型可无缝切换为生成式合成器,生成自然、类人化的恢复轨迹。我们的框架验证表明,在控制闭环中融入生成式先验,不仅能显著提升机器人应对极端扰动的鲁棒性,更将人形机器人控制从刚性跟踪范式,升级为开放式、生成式的通用架构。20 6.1ThermoActVLA韩国东国大学研究团队提出了ThermoAc40%。主要贡献:1:提出热感知VLA分层框架ThermoAct:将热红外信息系统性融入VLA体系,搭建VLM高层语义规划与VLA底层动作执行的两级架构,实现温度感知与机器人操作决策的端到端融合。2:设计热数据适配预处理方案:通过线性归一化、伪彩映射完成原始热数据的标准化处理,解决了热数据难以被预训练VLA模型直接编码的问题,支撑小样本下的模型高效微调。3:量化验证热感知的任务增益效果:通过多组对照实验,验证了热信息在日常服务、工业安全场景中对机器人任务成功率的稳定提升作用,明确了热感知的落地价值。4:验证分层架构的小样本适配优势:对比端到端平层VLA模型,验证了VLM任务分解架构在热数据稀缺场景下,具备更高的数据效率与更稳定的长时序任务执行能力。影响展望:1:对具身智能学术研究前沿的影响:本文为VLA模型的多模态感知拓展补充了热红外维度,验证了分层式VLM+VLA架构在稀缺模态数据场景下的可行性。其提出的热数据预处理与多模态融合方案,可为后续具身智能多感官融