腾讯-“人本”采集 助力具身模型加速进化_第1页
腾讯-“人本”采集 助力具身模型加速进化_第2页
腾讯-“人本”采集 助力具身模型加速进化_第3页
腾讯-“人本”采集 助力具身模型加速进化_第4页
腾讯-“人本”采集 助力具身模型加速进化_第5页
已阅读5页,还剩19页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

再决定如何行动。再决定如何行动。模型范式变了从直接预测动作,走向预测未来世界+动作数据需求变了视频中的物理交互序列成为更密集的训练信号数据入口也要变需要低成本、多场景、少本体鸿沟的数据采集方式 核心区别:VLA更像“观察→动作”的反应式策略;WAM用未来世界状态作为额外监督和中间表征。为什么数据scaling天花板更高?•未来状态=物理动态表征•动作=可直接执行的策略输出训练信号主要落在动作标签上:每段演示最终被压缩成“该做什么动作”。未来世界未来世界训练信号同时来自未来视频/状态预测与动作预测:数据中的物理交互序列被更充分地利用。数据利用效率数据利用效率WAMdefinitionreference:NVIDIAG Bydefinition:带动作标注的视频序列;更进一步,要覆盖更多“世界状态变化”0101任务/场景/物体要足够diverse03数据采集不能被机器人本体锁死02动作与视频必须可对齐nextframes/latentstate观测视频RGB/深度位姿/触觉目标与语义DatatupleReference:Fast-WAMsuggestsvideoco-tra 答案:UMI数据=多样性+无本体化UMI把“真实世界的人类操作”变成机器人可学习的数据,同时降低跨本体差异。①Diversity上限更高①Diversity上限更高机器人策略机器人策略实验室桌面仓储货架家庭厨房手持/穿戴式采集让人可以在真实场景里完成碎片化、低门手持/穿戴式采集让人可以在真实场景里完成碎片化、低门务、物体、环境的覆盖面远高于单一机器人遥操作。更通用的接口,减少人类示教、不同机械臂、不同末结论:结论:WAM需要“会动的世界数据”;UMI把真实人类操作变成可规模化、可对齐、可泛化的数据资产。 统反复跨节点传输数据一致性冗余保护IO能a高性能共享存储能力灵生科技本地IDC腾讯云数据预处理模型训练推理应用对象存储COS作为数据的统一存储底座,结合GooseFS为存储加速。通过“海量稳定存灵生科技本地IDC腾讯云数据预处理模型训练推理应用赁赁多区域数据同步其他区域IDC多区域数据同步其他区域IDC对象存储北京区域原始数据GPU租本地盘跨区域同步广州区域原始数据模型文件借助GooseFS的多机共享能力,及单客户端跨区域同步广州区域原始数据模型文件支撑数据采集、预处理、训练与推理的全流程数据流转,实现业务持续进化Livsyn产品体系:从采集设备到数据平台面向VLA/WAM的端侧无本体采集设备+LDP数据平台+训练评测闭环。LDPLDP平台数据回放/标注/评测/训练把原始数据变成可训练资产头戴式第一视角采集多视角人类操作视频Video+Action数据手套手部姿态/触觉/近手视觉手持式UMI夹爪真实操作轨迹/触觉/视觉产品定位:降低高质量具身数据采集门槛,把产品定位:降低高质量具身数据采集门槛,把UMI数据规模化供给给VLA/WAM。08从UMI采集到WAM训练:端云体化数据闭环同一套数据链路,服务VLA的动作学习,也服务WAM的世界状态预测与动作解析。端侧无本体采集人类行为数据采集训练与评测VLA/WAM训练管线端侧无本体采集人类行为数据采集训练与评测VLA/WAM训练管线机器人部署数据回放/标注/审核视觉、轨迹、任务数据统一管理标注/评测标注/评测核心价值:同一套无本体数据资产,既服务VLA,也为WAM提供世界状态预测所需的视频序列。核心价值:同一套无本体数据资产,既服务VLA,也为WAM提供世界状态预测所需的视频序列。LivUMIGrip:把人类操作直接转化轻量化手持夹爪与多模态传感器融合,记录真实世界中的操作行为。无本体UMI不依赖特定机器人本体,便于快速规模化采集空间定位无本体UMI不依赖特定机器人本体,便于快速规模化采集空间定位触觉+视觉同步0.1N触觉分辨率(选配),双目与广角相机记录场景参数项规格详情重量650g(便携版)/725g(专业版)空间定位精度末端执行器开合0–100mm;夹持力20N触觉传感测力分辨率0.1N(选配)视觉系统双目FOV92°;广角FOV195°IMU/存储200Hz;128G本地存储LivUMIGrip看到的每一个动作,下一秒就变成可供机器人复用的数据GRIP是UMI数据采集的核心入口:便携、真实、多模态,适合高频任务采集。GRIP是UMI数据采集的核心入口:便携、真实、多模态,适合高频任务采集。补足操作过程中的视觉上下文,让模型看到人类如何观察、接触并完成任务。33LivUMIEgoLivUMIEgo第一人称视角×多模态时间同步×长时程真实操作性能参数9轴360mm*260mm/1kg工况续航≤4h/20000mAhBCM2712/8G/主动散热模块相机相机相机IMUDataCube电源系统指标数量分辨率视场角轴数尺寸/重量续航/电池CPU/内存Ego补足Ego补足UMI的第一人称视角,让WAM学到更完整的世界LDP到模型训练:服务VLA/WAM的数据闭环平台不是单点工具,而是把采集、管理、训练、部署贯穿起来的基础设施。云端管理平台云端管理平台数据统计生成训练数据集训练能力VLA/WAM端到端训练管线数据闭环回流端侧采集平台采集员登录查看采集任务数据采集与存储数据上传推理部

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论