人工智能与未来 课件 9.5 扩展：具身智能新发展

EmbodiedIntelligence第9章

具身智能2035吴宁9.19.29.39.4具身智能那些事具身智能概述具身智能的核心能力具身智能的应用领域目录CONTENTS9.5扩展：具身智能的最新发展9.5.1人形机器人9.5.2大模型技术在具身智能中的应用学习通讨论：一提起人形机器人，你头脑中闪现的形象是什么？

人形机器人不仅要在外形上与人类相像，其功能构造也需与人类相近。为此，它必须集成四大核心技术模块：感知系统（感官）、规划决策系统（大脑）、运动控制系统（小脑)、本体系统（肢干），以此来实现具身感知、具身推理与具身执行的基本能力。9.5.1人形机器人9.5.1人形机器人具身智能核心能力人形机器人人体系统执行任务具身感知感知系统感官传感器采集信息具身推理规划决策系统大脑综合分析当前所有状态，根据当前状态，对自身下一步的运动做出规划和决策具身执行运动控制系统小脑根据决策指令，控制运动部件生成具体执行指令本体系统肢体根据运动部件执行指令123感知系统规划决策系统运动控制系统人行机器人关键技术机械运动系统自然语言处理深度学习机器学习计算机视觉4本体系统定位与地图构建技术全球导航卫星系统运动学和动力学算法

大模型驱动的具身智能重点研究如何将大模型的感知、推理和逻辑思维能力与具身智能相结合,提升现有模仿学习、强化学习、模型预测控制等具身智能框架的数据效率和泛化能力。

随着大模型能力的不断提升,以及具身智能中示教数据、仿真平台、任务集合的不断完善,大模型和具身智能的结合将成为人工智能发展的下一个浪潮。大模型技术在具身智能中的应用可以体现在下面几个方面：9.5.2大模型技术在具身智能中的应用

1.感知与认知的融合

在具身智能体中，机器人（本体）需要理解周围的物理世界。大模型由于其强大的序列处理能力和自注意力机制，能够同时处理来自不同感官（如视觉、听觉、触觉等）的信息。这种跨模态的感知能力使得机器人能够更全面、更细致地理解环境，从而进行有效的物体识别、场景解析（即理解场景中的各个元素及其关系）和行为预测（预测其他物体或人的可能行为）。9.5.2大模型技术在具身智能中的应用以做菜类比大模型=超级食谱大脑具身智能=会动手的厨师只有理论，不会动手。它有身体和感知，但缺乏知识。美味的菜肴

2.任务规划与执行

在具身智能中，机器人需要完成各种任务，这通常需要对环境有深入的理解，并规划出一系列复杂的动作序列。大模型通过学习大量的行为轨迹（即过去机器人或其他智能体如何执行任务的记录），能够生成合理的、符合逻辑的任务计划。这些计划随后可以指导机器人执行具体的动作，从而更快更好完成任务。9.5.2大模型技术在具身智能中的应用

2.任务规划与执行

在具身智能中，机器人需要完成各种任务，这通常需要对环境有深入的理解，并规划出一系列复杂的动作序列。大模型通过学习大量的行为轨迹（即过去机器人或其他智能体如何执行任务的记录），能够生成合理的、符合逻辑的任务计划。这些计划随后可以指导机器人执行具体的动作，从而更快更好完成任务。9.5.2大模型技术在具身智能中的应用场景：家庭环境中物体种类繁多，机器人需具备对未知物体的识别、抓取和操作能力。大模型应用：行为轨迹学习，大模型通过分析大量人类抓取操作视频，学习不同物体（如玻璃杯、易拉罐）的抓取策略和操作顺序。效果：机器人抓取成功率提升，可处理家庭环境中多种物体，任务执行效率提高。

3.自主学习与适应

自注意力机制是大模型的核心组成部分，它允许模型在处理序列数据时，动态地关注序列中的不同部分。这种机制使得机器人能够在没有明确指令或预先编程的情况下，自主学习环境中的模式（如物体的运动规律、人的行为习惯等）。这种自主学习能力对于提高机器人的自主性和灵活性至关重要，因为它使机器人能够适应新的、未知的情境，并作出相应的反应。9.5.2大模型技术在具身智能中的应用

3.自主学习与适应

自注意力机制是大模型的核心组成部分，它允许模型在处理序列数据时，动态地关注序列中的不同部分。这种机制使得机器人能够在没有明确指令或预先编程的情况下，自主学习环境中的模式（如物体的运动规律、人的行为习惯等）。这种自主学习能力对于提高机器人的自主性和灵活性至关重要，因为它使机器人能够适应新的、未知的情境，并作出相应的反应。9.5.2大模型技术在具身智能中的应用场景：协作机器人与人类工人共同完成汽车座椅装配，需适应不同工人的操作节奏和习惯。大模型应用：实时自适应协作，当检测到工人速度减慢时，模型动态调整机器人动作延迟，保持同步；若工人因疲劳降低操作精度，机器人自动补偿装配误差。效果：人机协作效率提升，装配不良率降低。

可以预见，在大模型和机器人领域的不断发展下,未来大模型驱动的具身智能研究将带来很多实质性的突破。01人形机器人全面发展运动控制、抓取操作、导航、灵巧操作等具身技能方面全面发展02人机合作不断深化通过增强的人类意图识别技术,具身智能越来越会成为人类得力助手03更高