机器及其具身 4

第8章具身多模态大模型本章概述具身多模态大模型是借助涵盖多个模态的基础大模型能力构建的适应于具身场景的模型。通过引入视觉、语言、动作等多模态信息，使机器人具备场景指令理解、行为动作决策、智能控制等能力。学习目标理解机器人与大模型结合的四个主要方向；掌握语言-动作对齐、多模态动作控制、端到端控制和细粒度控制的关键方法。核心概念预览LLM在具身环境中的挑战与解决方案；可操作函数的作用；Transformer在机器人控制中的应用；VLM到VLA的扩展；语言动作中间层的设计。8.1机器人语言指令与动作决策对齐本节介绍如何利用大语言模型（LLM）将人类自然语言指令与机器人具体行为动作决策相匹配。虽然通用LLM具有强大的泛化能力，但由于缺乏对机器人具体行为动作的认知，需要进一步的对齐工作才能使LLM有效地辅助机器人进行决策。代表性工作：SayCan（DoAsICan,NotAsISay）是谷歌提出的代表性工作。8.1.1大语言模型在具身环境的应用困境LLM的优势与局限LLM通过大量文本语料学习强大的逻辑推理能力；但LLM缺乏物理世界的实际观察经验，无法感知智能体执行物理过程的结果。具体挑战LLM可能给出在特定物理环境中不可行的指令。例如：用户要求机器人清理洒出的饮料，LLM可能建议"使用真空吸尘器"，但环境中根本不存在该工具，导致任务无法完成。问题根源没有给定机器人的能力范围和环境的当前状态，即使将高级指令分解为子任务，也无法完成指令。8.1.2.1SayCan的技能训练方法马尔可夫决策过程定义M=(S,A,P,R,\gamma)，其中：S：状态空间A：动作空间，包含末端执行器6自由度（位置和姿态）、手爪控制、移动基座控制等P=S\timesA\timesS\rightarrow\mathbb{R}^+：状态转移概率函数R=S\timesA\rightarrow\mathbb{R}：奖励函数（稀疏奖励，成功为1.0，失败为0.0）\gamma：折扣因子训练策略采用行为克隆(BC)和强化学习(RL)两种方法：BC：通过模仿专家演示学习策略，使用BC-Z架构实现语言条件化技能训练RL：采用MT-Opt方法，使用模拟器进行初期训练，通过RetinaGAN实现sim-to-real迁移多任务策略：根据技能描述对策略和价值函数进行条件化，提高训练效率和泛化能力语言条件化将技能的自然语言描述输入预训练句子编码器生成文本嵌入，指导机器人执行对应动作。不同层次的语言模型可用于规划和技能表达。8.1.3语言指令-动作决策模型对齐实验实验环境移动机械手（来自EverydayRobots）真实和模拟办公厨房环境15个对象和5个语义位置（两个计数器、一张表、垃圾桶、用户位置）LLM配置：540B参数的PaLM任务特性需要多步骤无错规划和导航需要理解指令中的隐含上下文信息涉及多个物体交互关键实验结果任务理解：SayCan能理解"适合锻炼后恢复"的语义，选择水和苹果而非苏打水和薯片。上下文追踪：系统能追踪代词"它们"的指代对象及物体状态变化。推理能力：理解顺序关系（先接近、再拾取、后传递），做出可解释决策。可解释性优势实时可视化显示LLM和可操作函数的决策过程，用户能看到算法考虑的选项和认为可行的操作。💡

思考：为什么可解释性对机器人控制系统很重要？8.1.3.1SayCan的局限性与未来方向主要局限继承LLM的局限性和偏见，依赖训练数据质量系统瓶颈在底层技能的范围和能力在个别技能失败时反应能力较弱，难以恢复未来研究方向扩展技能种类和提高其鲁棒性通过机器人经验改进LLM的准确性和常识推理能力探索其他基础信息来源以增强复杂环境决策能力⚠️易错：不要认为SayCan能处理任意指令，其能力受限于预训练的低级技能集合。8.2机器人动作控制多模态模型前一节介绍了语言指令与动作决策的对齐，但主要输出是高层动作决策。本节介绍如何直接进行动作控制。RT-1（RoboticsTransformer1）是谷歌机器人团队提出的基于Transformer的机器人学习模型，通过学习从视觉和语言输入预测机器人策略，能够执行700多个不同任务。8.2.1RT-1与多模态动作控制RT-1的目标训练赋予模型根据视觉信息与语言指令预测机器人策略的能力，解决多样化的语言条件任务。形式化定义在时间步t=0时，给定语言指令i和初始图像观测x_0，策略\pi产生行动分布\pi(\cdot|i,x_0)从分布采样得行动a_0并执行，持续迭代完整交互过程i,\{(x_j,a_j)\}_{j=0}^T称为一个事件(episode)事件结束获得二值奖励r\in\{0,1\}（表示是否正确执行指令）训练目标：最大化不同指令和初始状态下的奖励期望学习范式采用模仿学习，通过演示数据集\mathcal{D}=\{(i^{(n)},\{(x_t^{(n)},a_t^{(n)})\}_{t=0}^T)\}_{n=0}^N学习策略；使用行为克隆(BC)方法最小化行动的负对数似然。实时执行RT-1以3\mathrm{Hz}的实时速度完成行动预测。8.2.2动作控制多模态模型设计方法（第一部分）闭环3HzTransformerTokenLearnerEfficientNet+FiLM图像+文本RT-1采用短序列图像和自然语言指令作为输入，在每个时间步为机器人输出一个动作。主要包含以下模块：①图像与文本处理图像和文本通过预训练的EfficientNet处理，使用FiLM层对网络进行语言条件化②TokenLearner计算紧凑令牌，实现信息压缩③Transformer处理令牌生成行动④闭环控制以3\mathrm{Hz}频率发出行动，直至产生"终止"动作使用环境：机器人教室、真实厨房(Kitchen1/Kitchen2)、移动操作机械臂、多样化物体集合8.2.2.1RT-1的令牌化处理图像令牌化将6张历史图像传递给预训练EfficientNet输入分辨率：300\times300输出特征图：9\times9\times512展平为81个视觉令牌文本令牌化自然语言指令通过通用句子编码器嵌入嵌入作为FiLM层输入FiLM层添加到EfficientNet中，对图像编码器进行条件化使条件编码器能尽早提取与任务相关的图像特征令牌学习器（TokenLearner）是一个逐元素注意力模块将大量令牌映射到更少数量（81个→8个）实现对重要令牌的软选择推理速度提升2.4倍🔑

重点：令牌学习器通过信息压缩实现计算效率，而非简单的令牌删除。8.2.2.2RT-1的Transformer和动作编码Transformer模块将历史6张图像的8个令牌拼接，共48个令牌添加位置编码使用仅解码器(Decoder-only)的Transformer包含8个自注意力层输出行动令牌推理速度优化令牌学习器减少EfficientNet令牌数：提升2.4倍令牌计算一次并缓存复用：提升1.7倍行动令牌化每个行动包含11个维度：机械臂运动：7个变量（x,y,z位置，roll、pitch、yaw角，手爪张开度）底座运动：3个变量（x,y位置，yaw角）控制模式：1个变量（3种取值：操控臂、操控底座、结束事件）将连续值均匀离散到256个区间，预测时将每个变量映射到对应的256个区间之一。8.2.2.3RT-1的数据收集数据集规模超过13万个示例13个机器人编队在17个月内收集覆盖700多项不同任务任务定义创新采用"可执行的语言指令"定义任务，每个指令包含一个动词和一个或多个名词。例如："将水瓶直立放置"、"将可乐罐移动到绿色薯片袋中"、"打开抽屉"技能分类（表8-1）技能示例数拾取物体（PickObject）130例移动物体近物体337例正立放置物体8例打倒物体8例打开/关闭抽屉各3例放入容器84例从容器取出放到柜台162例长期任务9例总计744项任务8.2.3动作控制多模态模型实验RT-1的实验旨在回答四个关键问题：泛化能力RT-1是否能学习执行大量指令并在零样本中泛化到新任务、对象和环境？异构数据能否通过整合异构数据源（模拟数据或不同机器人数据）进一步改进模型？长期任务不同方法如何推广到长期机器人场景？数据影响性能指标如何随数据量和多样性变化？实验环境：EverydayRobots移动操作臂，两个真实厨房场景和一个模拟训练环境8.2.3.1RT-1的整体性能（问题①）表8-2展示了RT-1与基线方法的对比：模型已见任务未见任务干扰物背景变化Gato65%52%43%35%BC-Z72%19%47%41%BC-ZXL56%43%23%35%RT-197%76%83%59%真实环境泛化（表8-3）L1（新台面布局和照明）：88%L2（+未见干扰物）：75%L3（全新环境和物体）：50%整体：70%性能亮点已见任务：RT-1达到97%优异正确率未见任务泛化：76%高正确率鲁棒性：干扰物下83%，背景变化下59%🔑

重点：RT-1在训练任务上接近完美，在泛化任务上仍保持强性能。8.2.3.2异构数据学习（问题②）表8-4展示RT-1利用模拟数据的能力：模型训练数据真实物体已见技能模拟物体已见技能模拟物体未见技能RT-1仅真实92%23%7%RT-1真实+模拟90(-2%)87(+64%)33(+26%)真实物体性能添加模拟数据后几乎不变（-2%），保持稳定模拟物体性能大幅提升（+64%），sim-to-real迁移能力强大未见任务泛化泛化能力显著增强（+26%）💡

思考：为什么添加模拟数据不会损害真实数据性能？8.2.3.3长期任务执行（问题③）表8-5展示RT-1在SayCan框架下的表现：模型Kitchen1规划Kitchen1执行Kitchen2规划Kitchen2执行原始SayCan73%47%——SayCan+Gato87%33%87%0%SayCan+BC-Z87%53%87%13%SayCan+RT-187%67%87%67%规划一致性所有方法规划成功率都达到87%执行优势RT-1在Kitchen1和Kitchen2上都达到67%，优于其他基线泛化性RT-1在更具挑战性场景保持一致性能8.2.3.4数据影响分析（问题④）数据量影响数据量已见任务未见任务100%数据97%73%51%数据71%50%37%数据55%46%22%数据59%29%数据多样性影响任务/数据已见任务未见任务100%任务，100%数据97%73%75%任务，97%数据86%54%关键结论：删除25%任务类型（保留97%数据）的性能损失等效于将数据集缩小49%。🔑

重点：数据多样性比数据数量更重要。8.2.3.5RT-1的局限性与启示主要局限模仿学习方法：继承该范式的问题，可能无法超越演示者性能泛化限制：仅能泛化到先前看到的概念组合，无法推广到完全新的指令应用范围：仅在大型但不太灵巧的操作任务上演示模型性能总结具备优异的多任务学习能力展现强大的泛化能力和鲁棒性比之前基线方法在新任务、新对象、新环境上表现更优8.3视觉-语言-动作一体化端到端多模态模型前面章节中的方法（SayCan和RT-1）分别进行高层规划和低层控制。本节介绍将语言、动作、图像放在统一输出空间的方法，构建视觉-语言-动作一体化端到端多模态模型。VLA（Vision-Language-Actionmodels）由谷歌DeepMind团队于2023年提出，基于强大的视觉语言预训练模型通过在具身数据集微调，实现根据图像输入直接输出机器人控制指令的功能。8.3.1视觉语言模型概念与不足VLM的优势LLM展现逻辑思维、创造力，在长文本生成、数学推导、代码生成等领域表现优异VLM支持开放词汇视觉识别，对图像中对象与智能体的复杂交互进行推理语义推理、问题解决和视觉解释能力对通用机器人很有用VLM应用于机器人的主要困境数据不对等：机器人交互数据为百万级，VLM训练数据远超此量级，差距难以弥补抽象层次不匹配：VLM关注高层语义，机器人需要低层笛卡儿末端执行器指令现有方法的局限：LLM+VLM结合通常仅解决高层规划，扮演状态机角色，低层控制器无法从大规模数据中受益VLA的目标：将预训练VLM直接集成到机器人的低层次控制中，增强泛化能力，实现具身智能的涌现能力。💡

思考：为什么不能直接将VLM输出转换为动作指令？8.3.2视觉-语言-动作大模型方法VLA方法旨在微调预训练VLM，使其直接输出机器人低层控制指令。以谷歌DeepMind的RT-2为例。VLM基座模型（以PaLI-X为例）01图像处理ViT-22B模型处理图像，将图像分割为Patch并通过Transformer获得特征序列02特征融合图像特征经投影层后与文本特征拼接03主干网络编码器-解码器主干网络（320亿参数）处理拼接特征04输出生成自回归方式生成输出特征序列；文本输入包含任务类型和补充信息8.3.2.1具身动作指令微调动作离散化编码基于RT-1的离散化方法6自由度末端执行器位置和旋转变换：各均匀量化为256个区间机器人抓手伸展程度：量化为256个区间结束任务指令：1个特殊指令8个整数表示一个完整动作动作指令格式空格分隔序列："terminate\Delta\mathrm{pos}_x

\Delta\mathrm{pos}_y

\Delta\mathrm{pos}_z

\Delta\mathrm{rot}_x

\Delta\mathrm{rot}_y

\Delta\mathrm{rot}_zgripper_extension"具体示例：1128912415101127模型适配PaLI-X：每个小于1000的整数有唯一符号，直接关联动作指令PaLM-E：覆盖256个最不常用符号表示动作指令输入/输出格式输入：机器人摄像头图像和文本任务描述任务描述格式："Q:whatactionshouldtherobottaketo[taskinstruction]?A:"输出：表示机器人动作指令的符号序列8.3.2.2RT-2的微调策略策略1：协同微调（JointFine-tuning）同时使用具身智能任务和原始视觉语言任务进行微调通过增加具身任务采样权重平衡机器人数据和网络数据比例好处：引入大规模视觉概念数据，维持对视觉语言的泛化理解，而不仅关注动作预测策略2：输出约束（OutputConstraints）VLA必须输出有效的动作指令以在真实机器人上执行输出动作指令时仅在有效指令中采样执行标准视觉语言任务时仍输出完整自然语言符号范围🔑重点：协同微调保持泛化能力，输出约束确保可执行性。8.3.2.3推理与控制计算资源挑战RT-2最大模型使用55B参数，普通计算机无法承载。部署方案云服务部署模型，通过网络访问：55B参数版本：1\sim3\,\mathrm{Hz}频率5B参数较小版本：约5\,\mathrm{Hz}频率闭环控制过程接收机器人摄像头图像输入推理输出对应指令机器人执行指令，环境变化根据新图像给出新指令重复直至任务完成或终止8.3.3视觉-语言-动作大模型实验RT-2展现四大特点：1性能与泛化性优异已见任务性能与RT-1相当；未见物体、未见背景、未见环境三类场景平均成功率比次优基线高约2倍，比其他基线高约6倍。成功将网络预训练的视觉语言知识迁移到机器人控制。2涌现能力三类涌现能力测试平均成功率是RT-1的3倍以上：符号理解（理解数字和图标的语义信息）、视觉推理（进行视觉推理和数学运算）、人物识别（识别人物特征、理解多语言指令）。这些能力未在机器人数据中明确训练，而是从视觉语言预训练中涌现。3模型规模和训练策略的影响模型规模：55B参数版本表现优于5B版本。训练策略：协同微调>仅机器人数据>从头训练。更大模型规模和保持原始预训练数据都很重要。8.3.3.1RT-2的思路链推理能力思路链推理（Chain-of-ThoughtReasoning）：通过额外训练"计划"步骤，RT-2先用自然语言描述行动目的，再生成具体动作。指令计划（Plan）动作（Action）Bringmeadrinkpick7upcan1143129123145114115127Moveallobjectstogethermovegreencanneargreenricechipbag1128126127135123119127Pickthedifferentobjectpickrxbarchocolate1128129125131125128127Movegreenobjectstogethermovegreencanneargreenricechipbag1130129121131127128127Whatcouldhammeranail?Rocks1129138122132135106127意义：表明RT-2具备初步推理规划能力，为未来整合LLM规划能力提供可能性。💡

思考：思路链推理如何提高机器人的可信度和可解释性？8.3.4总结与讨论VLA的创新贡献将机器人动作编码为大模型特征，使预训练VLM直接用于机器人控制协同微调策略：同时在机器人轨迹数据和网络规模视觉语言数据上训练实现优异泛化性能和涌现能力应用前景人机交互：自然语言理解能力使机器人更好地与人类交互多样化应用：适应工业生产、家庭服务、医疗护理等领域通用机器人系统：为发展通用机器人系统提供新的可能性VLA的局限性物理技能限制：仅限于训练数据中见过的动作精细操作：抓取特定部位、使用工具等精细操作仍有提升空间复杂推理：对需要多层间接推理的复杂任务存在困难计算资源：大规模模型实时推理需要较多计算资源未来研究方向数据收集：探索新的数据收集方式扩展机器人技能范围推理能力：加强多步推理能力和精细操作能力计算效率：通过量化和蒸馏提升计算效率，实现更高频实时控制开源发展：推动更多开源VLM发展，使技术更易获取🔑

重点：VLA整合了LLM的推理能力与视觉语言模型的语义理解，代表机器人学习的重要发展方向。8.4细粒度语言控制动作生成前面章节完成了从语言到动作的端到端映射。本节进一步改进，引入中间的"语言动作"层，实现细粒度的语言控制。RT-H（RobotTransformerwithactionHierarchies）将复杂任务分解成简单的语言指令，再转化为机器人行动。例如，给定"盖上开心果罐的盖子"，RT-H预测语言动作如"向前移动手臂"和"向右旋转手臂"，然后根据这些预测具体动作。8.4.1语言与动作关联语言作为推理引擎语言使我们能将复杂概念分解为简单组成部分，纠正误解，在新环境中推广概念。机器人也开始利用高效、组合式的结构进行类似操作。现有范式的局限高层任务→语言描述→低层动作的映射需要大规模多任务数据集。随着任务多样化，描述语言也变多样，难以学习不同任务间的共享结构。"语言动作"中间层的优势将任务分解为更细节的步骤——语言动作（如"手臂向前伸"、"抓紧罐子"、"手臂上举"），作为高层任务描述与低层动作的中间层。四大好处数据共享增强：不同任务在语言动作层面能更好地共享数据。例如"倒水"和"拿可乐罐"虽语义不同，但"捡起物体"前的语言动作完全一致。上下文依赖性：语言动作非固定原语，而是根据任务和场景通过指令和视觉学习。"手臂向前伸"的速度和方向取决于具体任务。人类修正能力：允许人对语言动作修正。例如若机器人提前关闭夹爪，可指导"保持手臂前伸更久"。学习效率：机器人能从人类修正中学习，场景微调易于人类指导和机器人学习。8.4.2细粒度语言控制动作模型方法RT-H的两阶段框架第一阶段从任务描述和视觉观察预测语言运动第二阶段对预测的语言运动、任务和观察进行条件设置，推断精确的动作模型基础与联合训练使用VLM主干实例化RT-H，遵循RT-2的训练过程从预训练检查点开始（与RT-2相同）使用PaLI-X模型训练混合ViT编码器被冻结用语言运动和动作查询替换RT-2中的动作预测单个模型学习语言动作和动作查询同时从广泛先验知识中受益8.4.2.1语言动作的自动标注自动标注方案依赖机器人本体感觉(Proprioception)信息，廉价地提取可靠语言动作z优势语言动作直接来源于动作，对动作预测具有很高的预测能力。从一组简单已知运动中提取2500多个语言运动。标注流程维度映射：将末端执行器姿势变化的每个维度连接到空间维度（例如：位置z轴变化映射为"上"和"下"）全维度处理：对所有9个动作维度进行此操作（delta位置3维、delta旋转3维、基座移动2维、夹具1维）确定主要运动：识别当前主要空间运动（如"向上和向右移动臂"）过滤和组合：过滤出低于"小动作"阈值的维度，按动作幅度顺序组合产生的动作。例如：主要向前移动手臂，同时开始闭合夹持器→"向前移动手臂并闭合夹持器"规模化：从一组简单已知运动中提取2500多个语言运动8.4.2.2RT-H的推理模式推理流程首先运行语言动作查询推断技能在动作查询中使用推断的技能计算动作问题：两个查询必须按顺序运行，推断时间翻倍用户交互显示当前预测的语言运动以提高透明度用户可以输入新的语言动作校正、继续运行或退出固定频率下用户有时间更新校正或让模型接管解决方案：两种语言运动推断模式1.异步查询（选中的方案）仅在RT-H中训练语言运动查询，预测未来的技能测试时：用上一时间步的推断结果，同时预测下一时间步的语言运动优势：对查询进行批处理，实现与RT-2几乎相同的查询滞后适用：技能需要在精确时间步改变，可能与固定频率不一致2.固定频率每H步评估一次技能查询减少分期滞后8.4.3细粒度语言控制动作模型实验核心实验问题Q1：语言行动层级是否提高多任务数据集的策略性能？Q2：RT-H学得的语言动作是否与任务和场景情境相关？Q3：语言动作修正比远程遥操更好吗？Q4：行动层级是否提高分布外设置的鲁棒性？数据集合并两个数据集，共10万个演示样本：Kitchen：RT-1和RT-2使用的数据集，70K样本，6个语义任务类别Diverse：新数据集，30K样本，超过24个语义任务类别组合数据集：Diverse+Kitchen(D+K)，使用自动化程序标记语言动作评估任务（8项复杂任务）这些任务需要复杂的动作序列和高精度：将碗直立放在柜台上打开开心果罐关闭开心果罐将碗移离谷物分配器将碗放在谷物分配器下方将燕麦片放入碗中从篮子里拿勺子从分配器中拉出餐巾8.4.3.1RT-H的性能指标离线动作预测的MSE对比（表8-7）：RT-H训练数据评估数据RT-2RT-H-JointRT-H(GT)KitchenKitchen30.228.2224.917.9D+KDiverse27.725.4423.617.8RT-H性能MSE比RT-2低约20%（Kitchen数据）RT-H-Joint性能MSE比RT-2低5%～10%GT性能差距RT-H(GT)与端到端MSE差距为40%，说明还有优化空间解释：行动层级有助于改进大型多任务数据集中的离线动作预测；正确标记的语言动作对动作预测具有很高的信息价值。RT-H在各任务上整