具身智能技术专题学习课件_第1页
具身智能技术专题学习课件_第2页
具身智能技术专题学习课件_第3页
具身智能技术专题学习课件_第4页
具身智能技术专题学习课件_第5页
已阅读5页,还剩54页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

具身智能技术

仅供学习交流使用01具身智能技术及发展趋势23发展趋势与现状具身智能的起点,

1950~阿兰图灵:《ComputingMachinery

and

Intelligence》1950“大模型”技术范式与Scaling

Law,2020~视觉观察视觉语言模型 规范化文本 语言大模型 行为规划 执行器 行为动作序列当前技术方案:以语言大模型为中心,引入视觉文本数据、机器人演示数据进行联合微调语言指令为什么具身智能在当下爆发中国具身智能市场规模2018年

2,133亿元2025年

9,150亿元2026年预计突破万亿元市场增速惊人融资额2022—2025年累计披露融资额:480亿元其中2025年单年:329亿元,占比近七成资本密集涌入人形机器人厂商2026年预计实现万台级交付消费级足式机器人销量将突破10万台量产拐点将至中国具身智能产业综合实力已处于全球第一梯队产业地位4国家政策:打造具身智能基础设施,加速产业升级国家战略强化技术主权竞争,推动新质生产力发展,构建国际标准话语权产业升级催化全行业数智化转型,制造业智能化跃迁,战略新兴产业孵化器技术突破突破Al落地瓶颈,弥合仿真与现实的“鸿沟”,推动多学科交叉创新52025年“具身智能”首次写入政府工作报告和十五五规划,全国20个省市纷纷出台专项政策布局具身智能产业具身智能数据训练场建设成为发展共识,一脑多机的通用具身智能平台应用是关键核心能力什么是具身智能?----AI从虚拟走向物理的关键跨越具身智能是指智能体通过物理实体与环境实时交互,实现感知、认知、决策、行动一体化的智能系统。其本质在于“身体”与“智能”的深度结合。存在形态交互方式适应能力固定环境中的重复执行预设程序的自动化工具具身智能真实物理世界的实时交互拥有物理身体的完整智能体传统AI/大模型 传统工业机器人仅处理数字信息数字世界中的“大脑”无法作用于物理世界环境变化即失效适应动态、非结构化环境核心逻辑程序

执行感知

决策

执行

反馈感知

输出传统AI:能背下所有菜谱,但拿不起锅铲具身智能:让AI真正拥有“手”和“脚”,走进现实世界6什么是具身智能?----AI从虚拟走向物理的关键跨越具身智能是指智能体通过物理实体与环境实时交互,实现感知、认知、决策、行动一体化的智能系统。其本质在于“身体”与“智能”的深度结合。存在形态交互方式适应能力固定环境中的重复执行预设程序的自动化工具具身智能真实物理世界的实时交互拥有物理身体的完整智能体传统AI/大模型 传统工业机器人仅处理数字信息数字世界中的“大脑”无法作用于物理世界环境变化即失效适应动态、非结构化环境核心逻辑程序

执行感知

决策

执行

反馈感知

输出传统AI:能背下所有菜谱,但拿不起锅铲具身智能:让AI真正拥有“手”和“脚”,走进现实世界7具身智能:从数字空间到物理世界离身智能:模型被动感知数字空间,无法直接改变环境并作用于物理世界。具身智能:智能体主动理解物理世界,通过适应性行为和自主学习来完成任务。促进分类8跟踪检测预测视觉导航抓取具身整理移动操纵具身问答具身智能:从数字空间到物理世界实际应用场景中增强或者解放人力具身基础模型主要功能:感知、规划、控制一体化结构类型:针对原子任务的端到端VLA模型针对复杂长程任务的分层大模型具身世界模型研发状态:新兴阶段大模型持续演化语言大模型主要功能:对话研发状态:完备多模态大模型主要功能:多模态视觉理解研发状态:基本完备局限性:模型架构

&训练环境强交互、强泛化、高度自适应能力突破瓶颈无法赋能物理世界新一代复合型类人机器人... ...具身智能: 突破传统机器人大规模应用瓶颈的关键技术,实现通用人工智能的必经之路9具身智能的核心难点I:平台与数据缺高质量仿真平台大规模具身数据集视觉和物理真实性受限缺乏复杂的环境交互任务和指令的多样性不足真实性、交互能力、场景多样性不足多类型机器人的数据集格式不统一多种控制对象或多种任务的数据难以兼容数据与任务规模有限,限制了模型训练数据与任务形式单一、规模有限实体机器人10具身智能的核心难点II:感知与决策难无法正确推理物理位置关系长程任务规划可解释性低Human机器臂现在能把右侧水杯抓起来吗?GPT-4o可以,因为机器臂的手已经抓住了盘子...错误预测深度信息错误关联空间关系空间推理能力不足工业产品种类不同机器人种类不同抓取失败环境干扰不同抓取失败复杂操作泛化能力弱空间推理长程任务规划复杂操纵请帮我把卫生间洗手台上的布洗干净,并帮我把厨房冰箱上的面包放到微波炉。11思维链推理GPT-4o推理思考1:机器人到达卫生间步骤1:找到卫生间思考2:已经到达卫生间,需要接近洗手台

…找到卫生间拿起布(不在洗手池附近)打开水龙头4.

…12具身感规控一体化基础模型具身基础模型:旨在实现能跨越不同任务、不同本体、不同场景,具有泛化能力的具身智能体。2024年3月,谷歌发布具身基础模型RT-H,通过将复杂任务分解成简单的语言指令,再转化为机器人行动,来提高任务执行准确率。2024年10月,清华大学发布双臂操纵机器人扩散基础模型RDT-1B,能够对未见过的目标和场景,表现出零样本泛化能力。将绿色瓶子和薯片放在一起2024年鹏城实验室发布国内首个操纵大模型在多级别操纵任务上的准确率比字节的GR-1高23.1%,比谷歌的RT-1高19.5%抓取最右侧的瓶子2024年10月,Physical

Intelligence发布视觉-语言-动作(VLA)具身基础模型

π0

π0使用了互联网规模数据预训练,并用高质量精细数据微调VLA模型,能够高效执行复杂任务。视觉→语言语义化:空间物理信息严重丢失推理发生在符号世界:缺乏真实物理建模高度依赖昂贵的机器人示教数据图像、场景与语言的语义理解几何信息丢失物理量离散化只懂关联,不懂因果动作解码器机器人控制指令视觉编码语言编码图像+语言指令需要大量机器人演示数据......语言token

空间推理... ...离散token

空间VLA:从语言世界到物理世界,但停于“看到”不是“真懂”真实物理世界VLA基于语言token推理预测的范式VLA核心瓶颈13世界动作模型成为业界突破大脑瓶颈的重要探索视频图像ft,ft+1,

…人类指令Inst动作指令Action世界模型(预训练)逆动力学模型或神经网络模型世界动作模型Input常见世界模型(视频世界模型+动作模型)工作流程Output下一状态预测1物理世界的常识理解2跨任务泛化能力3支持规划与决策理解世界与真实环境交互完成指定任务多模态感知理解真实物理世界环境交互规划模拟根据环境变化动态调整决策模拟多个潜在情景和行动路径深入评估通用表征根据经验与共同规律进行推理建捕捉各个任务间的共同规律复杂场景具身智能AI亟需算法模型层面的关键突破,发展瓶颈非堆数据和算力可解决1415科学问题与面临挑战1.

如何确保具身智能体的感知规划与物理环境的精准一致性

(Grounding)2.如何确保具身智能体的交互执行与人类价值观的可控对齐性

(Alignment)指令:

紧固螺丝,不损坏零件安全可靠的任务执行:✅

安全✅对齐✅无损坏操作安全任务对齐及时干预人机协作认知定位执行配电站巡检推理感知 配电箱控制台变电箱障碍控制台配电箱变电箱动态规划线路定位真实物理环境中的目标与物理环境进行精准、安全的交互感知物理环境可供性推理物理规则 人类价值对齐多模态大模型在物理世界的推理与交互能力不可控、存在幻觉(Hallucination)现象,这对于安全敏感场景风险巨大:难以追因溯源、缺乏理论支撑挑战16研究思路诺奖得主丹尼尔·卡尼曼:

人脑认知双通道理论系统1

慢速思维5%系统2

快速思维95%缓慢逻辑严密快速无意识联想性“人脑在推理决策时各主要功能区是一体联动、协同开发的”JuriMinxha,etal.Flexiblerecruitmentofmemory-basedchoicerepresentationsbythehumanmedialfrontalcortex,Science,

2020慢思考快反应策略模型动作模型规划执行动作反馈奖励反馈桌面整理不处理杂物玻璃杯 书本 水果 文具因果图处理易碎品因果自洽的任务规划自适应策略学习感知规 执划 行感知、规划、执行统一建模,保证各模块协同优化交互/操作协同优化具身智能:重点研究领域预训练平台原型系统大规模数据集2.

智能体的多模态感知与交互空间智能3D场景生成1.

国产自主可控的具身智能生态底座多模态具身基础模型 具身智能评测体系中国算力网 脑海大模型底座多模态感知、对齐与融合触觉与力反馈 可供性与交互3.

智能体任务规划与决策模拟物理规则 虚拟环境 领域世界模型任务符号化 大小脑协同规划 复杂系统类脑控制模拟环境4.具身智能体的虚实迁移与应用示范虚实交互与迁移 真实场景数据 模型高效部署 策略微调与持续学习低空经济:无人机群自主巡检 智能制造:零售分拣作业构建虚实人机互动环境,打造具身基础模型,推动算力网应用从赛博走向现实。17具身智能研究进展1802研究进展一:高效超长序列建模世界模型基础架构贡献:针对语义与生成可控问题,构建显式语义概念体系与生成过程可控机制各模态编码器大语言模型模态语义映射器可控生成器图像声音视频3D文本多模态输入多模态内容生成输出语义一致结构合理过程可追溯文本输出世界模型项目组19各模型生成可控性指标平均提升约10%持续生成评估中表现更稳定显著领先现有方法

40%目标:提升世界模型生成与执行的可靠性、可控性项目组20研究进展一:高效超长序列建模世界模型基础架构InputText𝜀condition

cOnly

appliedtotraining

stageto

onepreDiffusion

postBlock×𝑁0 0 00 1 0··· ··· ···1 0 00 0 10 0 00 0 00 1 0··· ··· ···1 0 00 0 10 0 0··· ······在one-hot单纯形上实现了严格的扩散过程,直接在离散空间中进行去噪,而不是依赖嵌入或掩码,也不依赖马尔可夫性BenchFDA↑SWDE↑SQUAD↑Transformer21.442.222.1RetNet2.913.327.6Mamba2.112.423.0GLA13.5319.7826.31Ours40.1532.5232.17连续记忆计算、对称记忆计算结构化计算21研究进展一:高效超长序列建模世界模型基础架构Pickdual

bottlesPutbottles

dustbinPlaceburger

friesHandover

micBlocksranking

sizePutobject

cabinetScan

objectStackbowls

three22研究进展二:物理规则驱动的空间感知与推理构建物理规则驱动的空间感知与推理模型,提升具身智能体任务规划与执行的可靠性主动溯因挖掘具身基础模型世界知识领域知识物理规则人类价值约束场景验证问题:

我把浴袍落在浴室的哪里了?智能体:它挂在墙上的挂钩上。复杂指令:

请把浴室里的毛巾拿出来,放到客厅的箱子里,然后把客厅的书拿出来。安防自主巡检面向主动探索的可信具身交互真机复杂连续具身导航任务可靠规划部署多智能体协作与复杂任务执行研究进展三:大模型内在机理驱动的多智能体协同智能体动态选择 角色分化自主分工协作:幻觉少、错因可查技能API工作流程业务系统协同优化规划执行复查迭代协作成功率指标提升51%幻觉率减少11%项目组项目组斯坦福团队性能随智能体规模稳定增长关键指标优于斯坦福同期工作5%23贡献:针对幻觉多、协作失效问题,提出多智能体自主分工协同框架目标1:让智能体协作从“试验可行”→“稳定可靠”研究进展三:大模型内在机理驱动的多智能体协同智能体编程性能超越最优Nature正刊方法贡献:突破效率与可靠性互斥瓶颈,提出具备快慢思维的认知推理智能体目标2:智能体推理从“快而不稳”→“高效可靠”审时度势权衡利弊深思熟虑多模态数据大模型生成模型策略评估动态调控价值观对齐因果分析双程认知理论脑图脑干因果观与反思能力额叶顶叶分析、理解与记忆情感观、价值观颞叶感知外界枕叶小脑行动与操控Groves,PhilipM.,andRichardF.Thompson."Habituation:adual-processtheory."Psychologicalreview77.5(1970):

419.项目组24Nature

2025项目组同等算力成本,准确率大幅度领先10%~15%研究进展四:高质量具身数据生成与仿真提出新型桌面3D场景生成框架,通过引入认知拓扑推理链和物理感知去噪对齐技术,确保生成的场景既符合真实物理规律,又能与用户的指令语义高度一致2526研究进展四:高质量具身数据生成与仿真为了解决现有仿真平台资产匮乏、交互能力不足的问题,整合了生成式

3D

资产构建、Real2Sim场景重建和统一3D资产管理技术。开源操纵仿真平台InfiniteWorld室外场景Sim室u内l场a景tor即开即用的大规模室内外场景,包含医院、办公室、仓库、工厂、城市等海量场景。扫描重建领先的3D扫描与重建技术,助力现实场景的便捷虚拟化。文本场景生成 场景编辑 风格变换文本场景生成+物体编辑/替换,实现场景的无限扩增200+纹理/背景/材质自由替换,场景量×200+刚性物体铰接物体可控交互式物体生成机器人家族 导航与抓取10W+高质量物体资产无限的可控式交互物体生成与文本物体生成支持90+种多样的机器人丰富的机器人交互方式27研究进展四:高质量具身数据生成与仿真大规模室内场景大规模室外场景模拟场景桌面整理重建场景桌面整理机器人控制定制化场景支持室内、室外、定制化、桌面等各种级别场景的仿真研究进展四:具身智能通用数据标准及数据集优势联盟数据统一采集标准ARIO:AllRobotsIn

Onehttps://openi.pcl./ARIO/ARIO支持5种模态 大规模场景跨机器人平台 海量复杂任务开源数据集…超越Google的Open

X-Embodiment全球最大开源具身数据集300多万条具身操作轨迹258个场景,32万个任务28研究进展五:基准与评测仿真平台难以对齐真实物理世界真实物理平台的系统性瓶颈视觉和物理真实性受限,无法完全模拟真实世界场景和资产类型单一、缺乏复杂的环境交互高质量仿真数据生成能力不足RoboChallenge AutoEval机械臂价格昂贵,机械臂差异影响评测公平无法摆脱人在回路,运作需要操作员监督评测泛化性受限于固定化的指令评测指标缺乏客观性、可解释性29研究进展五:基准与评测VLA模型比想象的更具普适性:重新审视物理和空间建模指令动作❄物理模型

(2.3B)(4K;4M)空间模型(400M)❄新场景30研究进展五:基准与评测真实世界验证1条轨迹微调:拾取积木、堆叠积木、关闭微波炉门、按按钮、拉抽屉)31持续迭代的场景化的多种类、不同规模的系列模型基于双程认知推理的机器人操控模型,

NeurIPS

2024Vidman:Exploitingimplicitdynamicsfromvideodiffusionmodelforeffectiverobot

manipulationPhysicalAutoregressiveModelforRoboticManipulationwithoutActionPretraining,

2025.基于物理自回归架构的机器人动作规划模型,

2025LearningtoSeeandAct:Task-AwareViewPlanningforRoboticManipulation,

2025基于自适应视角规划的机械臂操控模型,

2025RoVer:RobotRewardModelasTest-TimeVerifierforVision-Language-ActionModel,

2025过程奖励引导的VLA模型推理增强框架,

20253233核心基础:国产自主可控的具身智能科产融合生态体系细粒度可编辑可交互的具身平行数字空间支持20多类机器人中国算力网算力供给具身感规控一体化大模型大规模训练…超过2000种物体,有超过70种可供交互的日常物体酒店、养老院、咖啡厅等数十个仿真场景多层级语言指令,支持导航和操纵任务、200+复杂日常任务比清华大学的ManiSkill2有更加丰富的语言指令比Nvidia的ALFRED更加多样的层级推理任务设定跨机器人跨场景的大规模预训练平台,构建与真实场景同步的机器人模拟技能库,支持多种机器人形态和原子操作,生成海量演示数据,实现跨机器人跨场景的大规模预训练。丰富的高逼真重构3D资产 多样化的高逼真仿真场景 物理模型驱动的机器人模拟技能库比Meta的Habitat-Sim的物体数量多4666个比谷歌的SAPIEN的物体种类数量多2119个比斯坦福的iGibson2.0有更真实的物理模型海量任务生成核心技术总结

|

虚实融合具身数据生产平台针对现有具身数据集规模小、质量差等问题,研究具身数据高效采集与生成技术,构建超大规模虚实融合具身数据集,

支撑具身大模型的训练与验证34场景落地

|

软硬一体化按摩机器人深入软硬协同,实现从“感知精准”到“执行专业”的跨越。不仅仅是复制动作,而是复制专家级按摩师的“力度节奏感”和“体感记忆”。目前已实现:背部展油点按膀胱经指推膀胱经跪推膀胱经拨腰肌手部展油推上臂推下臂35场景落地

|

软硬一体化柔性包装机器人面向柔性包装的全链路,完成折盒成型、物品装填、缓冲材料填塞的全链路自动化操作,适配多品种、变工况的柔性包装需求。36场景落地

|

虚实迁移具身智能原型系统基于具身仿真训练与真机迁移部署,实现多任务导航、真机灵巧操作等关键技术,支撑高通用性交互与操作应用真机灵巧操作场景导航抓取37具身智能的产业实践3803时代背景:新一代AI技术正加速变革劳动力市场需求《人工智能趋势报告

(Trends–ArtificialIntelligence)

》-Mary

Meeker

2025.5以OpenAI的ChatGPT为例,这一AI浪潮的典型代表在2025年4月已拥有8亿周活跃用户。其全球扩张速度令人瞩目:仅用三年时间。AI的影响力正迅速超越纯粹的数字领域,深刻渗透并重塑我们身处的物理世界。

具身智能——即由AI驱动、能够与环境互动并执行物理任务的系统——正在兴起。机器替人39AI正在替代传统岗位,同时催生新职业机会。未来十年内,将减少8300万个工作岗位,6900万新岗位产生。采用人工智能技术,一定程度的体力劳动或人际交往,被机器人或智能软件所取代或辅助。国内机器人产业招聘职位数同比增长409%,而市场上具备相关技能的人才供给增长仅为28%发展背景:打造具身智能基础设施,加速产业升级机器人岗位化通过“岗位化设计”实现迎宾、配送、搬运、家务等特定职能的专业化服务。远程打工人通过VR设备实现跨地域精准控制机器人执行复杂任务,为高风险场景提供“风险兜底”方案,结合自主化路径实现高效人机协同。机器人在特定岗位上岗远程“驾驶员”,一个人可以同时监控大约

50

台机器人40发展背景:资本大量涌入2026年Q1:资本核爆210+融资事件300亿+融资总额平均每天

2起融资

3亿元

流入单笔

10亿+

融资达

14融资规模爆发式增长202420252026Q170亿126亿300亿+单笔10亿+融资:2024年

1起

2025年

6起

2026Q1

14起百亿独角兽俱乐部(14家+)200亿+银河通用单轮融资纪录保持者25亿元A+轮200亿+星海图清华系、具身大脑10亿元B轮100亿+千寻智能26个月破百亿近20亿元127亿宇树科技人形机器人第一股科创板IPO受理100亿+智元机器人千台量产、车企资源10轮+融资100亿+星动纪元清华系、全栈自研10亿元A+轮100亿+智平方深圳首个百亿独角兽10亿元B轮100亿+灵心巧手灵巧手市占率80%+15亿元B轮还有

帕西尼、自变量、逐际动力、云深处、众擎、光轮智能

等6家百亿独角兽产业规模预测82亿2025年中国人形机器人市场2026年万亿4000亿2030年中国市场规模万亿+2035年全球市场突破"每天3亿元砸向具身智能,10亿级融资只是入场券"4142发展挑战:具身智能产业应用的“三大难题”数据采集成本高当前机器人训练依赖真实场景数据采集,成本高昂,当前具身数据采集成本约500元/小时场景泛化能力不足同本体在不同环境空间泛化能力不足同场景下不同本体之间的泛化困难实验室Demo

工业现场可用存在虚拟到现实的鸿沟,导致具身无法应用实际场景智能化水平不足,具身机器人可用性低物理仿真保真度瓶颈和海量高质量数据匮乏:异构智能体的训测依赖对真实物理世界的感知与交互,高昂的数据成本和地成熟度的智能化水平,无法支持产业良性发展。缺乏高效的持续演进平台和大规模算力支撑的云服务:异构智能体的进化,缺乏支撑协同训练与持续演进的仿真环境和大规模算力,无法进行高效迭代学习给职业院校的启示:企业不缺"造机器人"的博士,缺"让机器人跑起来"的工程师,从技术到应用,隔着一道"工匠鸿沟"。具身智能发展亟需技能型人才推动场景落地产业现状需求侧:新质生产力加快形成供给侧:高技能人才供给水平不足2025年中国制造业十大重点领域人才需求预测数据来源:教育部、人力资源和社会保障部、工业和信息化部《制造业人才发展规划指南》人才总量人才缺口 人才缺口率《中国特色高水平高职学校和专业建设计划(2025—2029

年)实施方案》教育部

财政部

2024年8月目标:办学能力「高水平」

产教融合「高质量」打造高水平专业群校企共同优化专业群人才培养方案和课程体系,培养更多与区域经济社会相适应、与新质生产力发展相契合的高技能人才。建设产教融合实训基地利用人工智能等技术,建设数字远程实训平台和虚拟仿真实训基地。基于企业生产真任务、真场景,研究开发生产性实训项目。构建数字化教学新生态推进“AI+职业教育”教学改革。运用数字技术重塑教学空间,探索基于生成式人工智能的互动式教学模式。43具身智能发展亟需技能型人才推动场景落地设备迭代快——今年买的机器人,明年就出新型号;刚学会A型号,B型号又出来了。教学追着设备跑。以宇树科技为例,从四足到人形,产品迭代周期缩短至半年到一年资源割裂——不同厂商设备互不打通,课程无法复用;“一机一课”成为常态。教学成本高,学生迁移能力弱。国内人形机器人整机企业已超过140家,发布产品达330多款设备用不起来——花大价钱买的设备,开学用几次就闲置。投入产出比低当前具身智能本体领域呈现“百花齐放、百家争鸣”的格局,但给职业教育带来巨大挑战4445技术路线不收敛,迭代速度超乎想象大脑“逐鹿时代”,课程设计如何“以不变应万变”?模型路线之争大语言模型(LLM)路线:语义理解+任务分解视觉语言模型(VLM)路线:跨模态融合视觉-语言-动作模型(VLA)路线:直接输出控制指令世界模型路线:在VLA基础上引入物理规律理解数据范式之争真机数据:质量最高但采集昂贵,真机遥操作采集成本高昂合成/仿真数据:规模大、成本低,但物理一致性有差距人类第一视角视频数据:自然丰富,但动作标注与映射存在挑战技术迭代速度惊人2025年:Helix实现快慢脑并行架构,控制频率突破至200Hz2026年2月:达摩院开源RynnBrain,首次让机器人拥有时空记忆2026年2月:蚂蚁灵波发布LingBot-VA,首创“自回归视频-动作”框架2026年3月:大晓机器人发布开悟3.0,全球首个开源具身原生世界模型。46职业教育的新命题——如何应对“双重不确定性”?重构实训平台的建设理念——“通用平台+典型场景,”让课程独立于具体设备?——换一台机器人,不用重讲一遍课让一套平台支撑多场景教学?——既能学四足,也能学人形,还能学机械臂让实训从“演示”走向“真练”?——学生不仅会操作,更能理解原理47建设目标:打造具备进化能力的具身智能教学实训基地让技能型专业学生成为机器人的“教练”培养一批面向实际产业场景的“具身智能机器人训练师”细粒度可编辑可交互的具身平行数字空间真实任务输入仿真训练

虚实迁移教学体系转化实机验证

反馈迭代反哺产业智能升级产业需求驱动具身智能机器人实训平台具身机器人本体复合型技能人才输出打通具身机器人到实际场景应用的最后一公里建设方案:“1+N+X”模式的未来实训中心模式内涵48“1”:1个通用平台——

提供基础技能实训环境,统一数采、仿真、训练。“N”:N个产业场景(APP)——

模块化配置,对接真实的区域产业。“X”:X项专项技能——

分层培养,精准赋能,根据岗位目标选择技能。思维转变从

一次性采购

持续迭代

转变

重视平台开放性与可扩展性。从

设备为中心

平台为中心

转变

通过统一平台应对设备迭代。通用平台支撑所有场景和技能,场景驱动技能训练,技能反哺平台与场景的迭代。“1+N+X”未来实训中心是一个以“通用平台+典型产业场景+专项技能”为核心理念的具身智能实训室建设系统性解决方案。基于通用平台的“1+N+X”未来实训中心建设内容课 生程 态教 保学 障体 体系 系数据模型通用平台空间具身通用多模态数据集图片

3D模型

声音

文本

触觉

…中国算力网云边端协同基础设施平台鹏城云脑 国产硬件生态具身合成数据引擎物理空间智能模型(世界模型)环境感知能力长程规划能力精细化操纵能力场景构建技能库1个基础技能实训室N个典型产业场景模型库数据采集X个专项技能实训室RoboTrain具身智能机器人训练平台数据处理 模型训练 仿真测评PhyAgentOS(异构本体生态基座)49基于RoboTrain基础教学实训室实训能力支撑模型库:实时更新最新模型,VLA、PI0、ACT、kai。。技能库:桌面零售、叠衣服、动作复现等,支持场景扩展多种数据采集手段:仿真遥操、真机遥操、UMI、合成数据主流构型数采支持:机械臂、单臂机器人、双臂机器人虚实孪生:支持仿真环境和真机环境的采训推全流程。50序号名称数量单位1具身智能机器人训练工作台多功能机械臂及配套组件2套2高性能算力与存储工作站1台3VR遥操作设备1套4RoboTrain通用平台1套5配套教学资料1套RoboTrain:端云协同、虚实孪生的具身机器人训练通用平台系统化认知场景理解与构建能力数据采集与处理能力模型微调能力数据 数据 数据采集 标注 审核从数字空间到物理世界,让学生在仿真中理解原理,在真机中验证效果基础认知技术原理核心技能综合应用测试与评估能力场景 测评 报告分析 执行 分析基础模型训练参数训练数据训练分析真实场景搭建真机数据采集模型微调训练真机部署验证场景需求

真实场景

仿真场景的理解 的搭建 的搭建具身智能机器人训练平台(web端)在线课程 场景构建具身智能机器人训练工作台(客户端)数据采集仿真测评机器人技能库模型训练产品矩阵能力培养虚实迁移能力技能 动作 动作运行 复现 编排实操路线仿真场景搭建仿真数据采集模型微调训练仿真测评验证仿真真机硬件设备51低门槛、可视化虚实融合的场景构建能力ENV多物理引擎适配器场景构建系统预设场景用户自定义场景场景应用桌面物品抓取场景家居康养场景室内导航场景......空间与资产生成实时编辑与渲染完成搭建上传图纸AI生成空间3D资产生成素材应用内置20+场景模板应用到“仿真数据采集”用途应用到“仿真测评”应用到“机器人技能运行”一键选用实时编辑添加光源添加摄像机3D视图AI空间智能生成实时编辑渲染1000+丰富素材库标准化场景模板可用于具身智能机器人训练核心亮点场景需求理解能力场景构建能力3D资产的构建能力能力培养isaacsim52mujocogazebopybullet物理引擎抽象层跨本体、多模式的数据采集实训核心亮点采集需求理解能力项目管理能力数据采集能力数据标注能力数据审核能力能力培养全流程 • 多本体全类型 • 摇操、动捕、合成数据采集环境项目管理项目管理任务管理数据集数据集管理数据集导出开源数据集数据采集多模态数据实时监控数据回放数据审核人工质检质量评定数据标注质量初筛动作标注53VR摇操双臂真机数据采集合成数据异构本体场景数据UMI54低门槛、可视化数据合成及仿真评测提供数据可视化、数据转换等多种工具链虚实互融具身数据开抽屉柜打开台灯物体抓取与放置纸杯收纳堆叠内置测评模型案例兼容不同算法、异构本体同一场景支持设置不同测试用例测评数据全记录/在线回放支持多场景对比测试自动生成测评报告不同模型基本认知测试用例设计能力 • 测评结果评定能力场景拆解及设计能力报告分析及解读能力55多模式、跨模态具身智能机器人混合应用实训基于本地工作站的算力资源,融合快速训练能力,支持模型本地部署与高效迭代内置仿真与真机的教学案例,具备教学案例快速复现能力

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论