GTC大会及Figure“具身智能”奇点已至

目录索引一、伟达—形器时代卖人” 5（一英达出项形机人用术 5（二英达现程式的AI能促具身能快发展 7二AI大型齐余图，身能点至 8（一）FIGURE01展机人与工能撞生绚丽花 8（二）AI模补人机器剩拼，身能奇已至 9三FIGURE：先入VLM模型+础控法 10（一）FIGURE01用层式控径与OPENAI的势补 10（二“LM模基运控法或成短最佳用案 12四、资议 15五、险示 15图表索引图1：伟人机开发术架 5图2：伟达GR00T础模框流程 6图3：伟达JetsonThor计算台 6图4：形器在IsaacLab虚环训练 7图5：OSMO实云机器工流调度 7图6：伟达形器人示 7图7：Figure01根据完成务 8图8：Figure01展现处理个务力自判断力 9图9：Figure01分层控框架 10图10：层控决策OpenAIModel与PaLM-E 图学框与MobileALOHA模学习 12图12：模大型人形器的条术线 13图13：模和础各有缺和用领域 14图14：着体大效率提，形器通用水将一提升 14一、英伟达—人形机器人时代“卖水人”（一）英伟达推出多项人形机器人专用技术GTC形机器人的开发和发展必要的技术，其包含GR00T基础模型、基于Omniverse的ISAAC实验室和GR00T堆栈。图1：英伟达人形机器人开发技术框架数据来源：英伟达官网，英伟达宣布推出GR00T人形机器人基础模型。根据英伟达官网，GR00T旨在为通用人形机器人构建基础模型，GR00T模型将多模态指令和过去的互动作为输入并产生机器人下一个动作，之后机器人将动作执行后的环境信息观察反馈至GR00T进行下一次循环。由GR00T驱动的机器人将被设计为通过观察人类行为来来理解自然语言和模拟动作，快速学习以适应并和现实世界互动。视频中展示傅利叶GR1机器人已经具备互动能力。图2：英伟达GR00T基础模型框架流程数据来源：英伟达官网，英伟达推出人形机器人智能专用计算平台JetsonThor。根据英伟达官网，JetsonThor能够执行复杂的任务并与人和机器安全自然地交互。它采用模块化架构，针对性能、功耗和尺寸进行了优化。该Soc芯片包括基于NVIDIABlackwell架构的下一代GPU，带有transformer引擎专为人形机器人打造，能提供800Tflops的FP8算力，100GB以太网带宽。图3：英伟达JetsonThor计算平台数据来源：英伟达官网，IsaacLab构建虚拟环境，加速人形机器人学习。根据英伟达官网，为了加速人形机器人的学习，英伟达开发了基于Omniverse技术的IsaacLab，能实现物理精确的世界模拟。人形机器人可以在IsaacLab的模拟环境中使用深度强化学习，并在虚拟环境中反复训练以学习技能。OSMO实现云原生机器人工作流程调度。根据英伟达官网，OSMO是一个云原生工作流编排平台，可以轻松地从本地到私有云和公有云资源集群扩展工作负载，从而实现DGX和OVX系统的无缝协调，进而实现高效和迭代的模型开发。一旦模型准备好进行测试和验证，OSMO就可以在OVX上以独特的方式编排软件在环工作流程，以及使用NVIDIAJetson计算资源的硬件在环工作流程。图4：人形机器人在IsaacLab虚拟环境训练 图5：OSMO实现云原机器人工作流程调度数据来源：英伟达官网， 数据来源：英伟达官网，（二）英伟达实现里程碑式的AI赋能，促进具身智能快速发展多家人形机器人厂商将依附英伟达技术实现快速发展。根据现场视频，英伟达将多个品牌的人形机器人放在同一个实验室进行训练培训，合作的人形机器人厂商包括Figure、宇树、Apptronik（阿波罗）、Agility、SanctuaryAI(Pheonix)、1x、傅里叶、波士顿动力、小鹏px5等。英伟达实现里程碑式AI赋能，具身智能引来快速发展。英伟达此次展示出的Issaclab、OSMO等对于人形从“机器人”变成“具身智能”具有极为重要的意义。没图6：英伟达GTC人形机器人展示数据来源：英伟达官网，二、二、AI大模型补齐剩余拼图，具身智能奇点已至（一）Figure01展现机器人与人工智能碰撞产生的绚丽火花ChatGPT+人形机器人，Figure展现机器人与人工智能碰撞产生的绚丽火花。根据Figure官方社交媒体，3月13日Figure发布了和OpenAI合作后的首个人形机器人Figure01的演示视屏，受益于OpenAI强大的人工智能方面的加成，Figure01展现Figure01OpenAI赋能Figure01逻辑思考与学习能力。得益于OpenAI成熟的大模型技术的加持，此次公布的视频中Figure01仿佛拥有了大脑，其不只是简单的执行命令，还吗？”时，Figure01。图7：Figure01根据要求完成任务数据来源：Figure，Figure01能同时处理多任务并通过学习提升其任务完成的能力。视频中Figure01在完成收拾垃圾任务的同时还能回答所问问题，展现出同时处理多个任务的能力。其次，Figure01的行为是通过自主学习和适应环境而习得的，并不依赖远程操控且延迟很低，其能识别桌上杯子和盘子的位置，还能自主的判断出接下来可能的任务并完成。Figure01在原速播放的展示视频中展现出了低延迟且精准智能的任务完成能力，象征着其已初步具备现实生活中任务完成的要求。图8：Figure01展现同时处理多个任务能力和自主判断能力数据来源：Figure，（二）AI大模型补齐人形机器人剩余拼图，具身智能奇点已至Figure01的展示证实人形机器人将成为AI最佳的物理载体。随着人工智能大模型的快速发展，应用到何处且如何应用一直是我们所关注的核心，Figure与OpenAI的结合证实了AI大模型的确能给人形机器人带来质的飞跃，证实了两者相结合的道路可行性，人形机器人将成为人工智能最佳的物理载体。AI大模型为人形机器人进展到具身智能的剩余拼图。之前，多家人形机器人产品都展现出较强的运动能力，如波士顿动力Atlas具备翻滚能力，宇树机器人具备良好的抗外力冲击等。AI大模型如同人形机器人所缺失的一块拼图，Figure01展现出了完整拼图所具备的能力，其象征着人工智能与人形机器人相结合的道路已逐渐光明，未来人形机器人将迎来下一阶段的快速发展时期。AI大模型赋能人形机器人，具身智能奇点已至。短短13天的合作，FigureAI推出的人形机器人就能达到如此震撼的效果，展现出了AI大模型与人形机器人相结合的强大能量。Figure01已经同时具备交互、处理信息、决策的能力并能通过机器人实体在物理世界中的行为来体现，已经具备具身智能的特征，具身智能的奇点已至。三、Figure：率先导入VLM大模型+基础运控算法（一）Figure01选用分层式决控路径完成与OpenAI的优势互补Figure01VLM大模型FigureCoreyLynch01OpenAINetworkPolicies（NNP）Wholebodycontroller（WBC）VLM存在中间的层级。图9：Figure01分层式决控框架数据来源：Twitter，高层级控制决策功能类似PaLM-E，完成信息的处理与理解。高层级OpenAImodel作为Figure01NNPPaLM-EFigure01与PaLM-E图10：高层级控制决策OpenAIModel与PaLM-E数据来源：PaLM-E:AnEmbodiedMultimodalLanguageModel，Figure0101上运行哪种习得的闭环行GPU中层控制决策与Mobile和RT-1根据所展示的Figure01NNP此我们认为这与斯坦福的MobileALOHA的模仿学习和RT-1学习框架相类似。根据MobileALOHAMobileALOHART-1。图11：RT-1学习框架与MobileALOHA模仿学习数据来源：RT-1:ROBOTICSTRANSFORMERFORREAL-WORLDCONTROLATSCALE，MobileALOHA:LearningBimanualMobileManipulationwithLow-CostWhole-BodyTeleoperation，低层级WBC主要完成机器人特定部位的具体的运动，为FigureAI的优势领域。在大模型赋能机器人之前，传统人形机器人厂商低层级运动控制算法WBC会对中层级所调用的“技能包”输出的高层级动作描述进行行为序列解码，从而转换为低层级的控制信号，一般为特定的电机控制命令、关节角度或力度。FigureAI的运动控制算法与OpenAI大模型优势互补，共同迎来具身智能曙光。Figure01分层式决控路径是将FigureAI在人形机器人运动控制端的优势与OpenAI在AI大模型感知层的优势相结合，以此实现机器人“大脑”和“小脑”的协调，从而带来如此震撼的效果。（二“VLM大模型基础运控算法”或将成为短期最佳应用方案人工智能大模型主要是对语言和视觉信息的处理和理解，为了达到操控机器人动作的能力，目前主要分为分层式决控与一体化大模型两种路径。分层式决控路径主要将信息的接受处理和任务的生成拆解交给高层级的大模型VLM处理，低层级的运控算法根据高层级大模型的输出结果产生对机器人的控制，目前推出的模型包括SayCan、PaLM-E等。一体化大模型则在接受语言和视觉信号后直接输出机器人的运动指令，跳过高低层级控制构建，直接实现理解到控制的过程，例如RT-2等。图12：多模态大模型赋能人形机器人的两条技术路线数据来源：短期内一体化大模型实时性困境难以逾越。想要实现人形机器人在现实场景中的应用，不仅要求机器人能够提供准确的决策，更要求机器人的动作响应具有实时性。Figure01在视频中展现出良好的实时性，其WBC低层级的控制周期为200Hz且能在原速状态下流畅的完成任务。虽然一体化大模型能的目标实现端到端简单直接的机器人运动指令，但目前实时性问题是大模型难以逾越的一座大山。在RT-2论文展示的一些失败案例中，有一项就是因为机械臂的控制周期太慢，跟不上马克笔的滚动速度而导致任务执行失败。Figure01所用的分层式决控路径短期或将是人形机器人落地的较优选择。在人工智能大模型出现之前，多家人形机器人厂商都已开发研制了自身的运动控制算法和01图13：大模型和基础模型各有优缺点和适用的领域数据来源：长期来看，人形机器人需要依赖大模型能力的提升来实现通用化。目前VLM+运控算法大多需要利用模仿学习，从演示中学习复杂的移动操作任务。虽然模仿学习能图14：随着一体化大模型效率的提高，人形机器人通用化水平将进一步提升数据来源：四、投资建议里程碑式的Issaclabsim等对AI大必选。五、风险提示（一）技术进展不及预期的风险目前电子皮肤还存在成本较高，多功能触觉传感存在串扰等问题，距离达到人类皮肤的触觉传感能力还有较大差距。若技术进展不及预期，无法进一步降低大规模应用的成本，则电子皮肤可能只能用于机器人指尖等关