智能机器人与具身智能 课件 第8-15章 具身多模态大模型 -具身特种机器人

第8章具身多模态大模型本章概述具身多模态大模型是借助涵盖多个模态的基础大模型能力构建的适应于具身场景的模型。通过引入视觉、语言、动作等多模态信息，使机器人具备场景指令理解、行为动作决策、智能控制等能力。学习目标理解机器人与大模型结合的四个主要方向；掌握语言-动作对齐、多模态动作控制、端到端控制和细粒度控制的关键方法。核心概念预览LLM在具身环境中的挑战与解决方案；可操作函数的作用；Transformer在机器人控制中的应用；VLM到VLA的扩展；语言动作中间层的设计。8.1机器人语言指令与动作决策对齐本节介绍如何利用大语言模型（LLM）将人类自然语言指令与机器人具体行为动作决策相匹配。虽然通用LLM具有强大的泛化能力，但由于缺乏对机器人具体行为动作的认知，需要进一步的对齐工作才能使LLM有效地辅助机器人进行决策。代表性工作：SayCan（DoAsICan,NotAsISay）是谷歌提出的代表性工作。8.1.1大语言模型在具身环境的应用困境LLM的优势与局限LLM通过大量文本语料学习强大的逻辑推理能力；但LLM缺乏物理世界的实际观察经验，无法感知智能体执行物理过程的结果。具体挑战LLM可能给出在特定物理环境中不可行的指令。例如：用户要求机器人清理洒出的饮料，LLM可能建议"使用真空吸尘器"，但环境中根本不存在该工具，导致任务无法完成。问题根源没有给定机器人的能力范围和环境的当前状态，即使将高级指令分解为子任务，也无法完成指令。8.1.2.1SayCan的技能训练方法马尔可夫决策过程定义M=(S,A,P,R,\gamma)，其中：S：状态空间A：动作空间，包含末端执行器6自由度（位置和姿态）、手爪控制、移动基座控制等P=S\timesA\timesS\rightarrow\mathbb{R}^+：状态转移概率函数R=S\timesA\rightarrow\mathbb{R}：奖励函数（稀疏奖励，成功为1.0，失败为0.0）\gamma：折扣因子训练策略采用行为克隆(BC)和强化学习(RL)两种方法：BC：通过模仿专家演示学习策略，使用BC-Z架构实现语言条件化技能训练RL：采用MT-Opt方法，使用模拟器进行初期训练，通过RetinaGAN实现sim-to-real迁移多任务策略：根据技能描述对策略和价值函数进行条件化，提高训练效率和泛化能力语言条件化将技能的自然语言描述输入预训练句子编码器生成文本嵌入，指导机器人执行对应动作。不同层次的语言模型可用于规划和技能表达。8.1.3语言指令-动作决策模型对齐实验实验环境移动机械手（来自EverydayRobots）真实和模拟办公厨房环境15个对象和5个语义位置（两个计数器、一张表、垃圾桶、用户位置）LLM配置：540B参数的PaLM任务特性需要多步骤无错规划和导航需要理解指令中的隐含上下文信息涉及多个物体交互关键实验结果任务理解：SayCan能理解"适合锻炼后恢复"的语义，选择水和苹果而非苏打水和薯片。上下文追踪：系统能追踪代词"它们"的指代对象及物体状态变化。推理能力：理解顺序关系（先接近、再拾取、后传递），做出可解释决策。可解释性优势实时可视化显示LLM和可操作函数的决策过程，用户能看到算法考虑的选项和认为可行的操作。💡

思考：为什么可解释性对机器人控制系统很重要？8.1.3.1SayCan的局限性与未来方向主要局限继承LLM的局限性和偏见，依赖训练数据质量系统瓶颈在底层技能的范围和能力在个别技能失败时反应能力较弱，难以恢复未来研究方向扩展技能种类和提高其鲁棒性通过机器人经验改进LLM的准确性和常识推理能力探索其他基础信息来源以增强复杂环境决策能力⚠️易错：不要认为SayCan能处理任意指令，其能力受限于预训练的低级技能集合。8.2机器人动作控制多模态模型前一节介绍了语言指令与动作决策的对齐，但主要输出是高层动作决策。本节介绍如何直接进行动作控制。RT-1（RoboticsTransformer1）是谷歌机器人团队提出的基于Transformer的机器人学习模型，通过学习从视觉和语言输入预测机器人策略，能够执行700多个不同任务。8.2.1RT-1与多模态动作控制RT-1的目标训练赋予模型根据视觉信息与语言指令预测机器人策略的能力，解决多样化的语言条件任务。形式化定义在时间步t=0时，给定语言指令i和初始图像观测x_0，策略\pi产生行动分布\pi(\cdot|i,x_0)从分布采样得行动a_0并执行，持续迭代完整交互过程i,\{(x_j,a_j)\}_{j=0}^T称为一个事件(episode)事件结束获得二值奖励r\in\{0,1\}（表示是否正确执行指令）训练目标：最大化不同指令和初始状态下的奖励期望学习范式采用模仿学习，通过演示数据集\mathcal{D}=\{(i^{(n)},\{(x_t^{(n)},a_t^{(n)})\}_{t=0}^T)\}_{n=0}^N学习策略；使用行为克隆(BC)方法最小化行动的负对数似然。实时执行RT-1以3\mathrm{Hz}的实时速度完成行动预测。8.2.2动作控制多模态模型设计方法（第一部分）闭环3HzTransformerTokenLearnerEfficientNet+FiLM图像+文本RT-1采用短序列图像和自然语言指令作为输入，在每个时间步为机器人输出一个动作。主要包含以下模块：①图像与文本处理图像和文本通过预训练的EfficientNet处理，使用FiLM层对网络进行语言条件化②TokenLearner计算紧凑令牌，实现信息压缩③Transformer处理令牌生成行动④闭环控制以3\mathrm{Hz}频率发出行动，直至产生"终止"动作使用环境：机器人教室、真实厨房(Kitchen1/Kitchen2)、移动操作机械臂、多样化物体集合8.2.2.1RT-1的令牌化处理图像令牌化将6张历史图像传递给预训练EfficientNet输入分辨率：300\times300输出特征图：9\times9\times512展平为81个视觉令牌文本令牌化自然语言指令通过通用句子编码器嵌入嵌入作为FiLM层输入FiLM层添加到EfficientNet中，对图像编码器进行条件化使条件编码器能尽早提取与任务相关的图像特征令牌学习器（TokenLearner）是一个逐元素注意力模块将大量令牌映射到更少数量（81个→8个）实现对重要令牌的软选择推理速度提升2.4倍🔑

重点：令牌学习器通过信息压缩实现计算效率，而非简单的令牌删除。8.2.2.2RT-1的Transformer和动作编码Transformer模块将历史6张图像的8个令牌拼接，共48个令牌添加位置编码使用仅解码器(Decoder-only)的Transformer包含8个自注意力层输出行动令牌推理速度优化令牌学习器减少EfficientNet令牌数：提升2.4倍令牌计算一次并缓存复用：提升1.7倍行动令牌化每个行动包含11个维度：机械臂运动：7个变量（x,y,z位置，roll、pitch、yaw角，手爪张开度）底座运动：3个变量（x,y位置，yaw角）控制模式：1个变量（3种取值：操控臂、操控底座、结束事件）将连续值均匀离散到256个区间，预测时将每个变量映射到对应的256个区间之一。8.2.2.3RT-1的数据收集数据集规模超过13万个示例13个机器人编队在17个月内收集覆盖700多项不同任务任务定义创新采用"可执行的语言指令"定义任务，每个指令包含一个动词和一个或多个名词。例如："将水瓶直立放置"、"将可乐罐移动到绿色薯片袋中"、"打开抽屉"技能分类（表8-1）技能示例数拾取物体（PickObject）130例移动物体近物体337例正立放置物体8例打倒物体8例打开/关闭抽屉各3例放入容器84例从容器取出放到柜台162例长期任务9例总计744项任务8.2.3动作控制多模态模型实验RT-1的实验旨在回答四个关键问题：泛化能力RT-1是否能学习执行大量指令并在零样本中泛化到新任务、对象和环境？异构数据能否通过整合异构数据源（模拟数据或不同机器人数据）进一步改进模型？长期任务不同方法如何推广到长期机器人场景？数据影响性能指标如何随数据量和多样性变化？实验环境：EverydayRobots移动操作臂，两个真实厨房场景和一个模拟训练环境8.2.3.1RT-1的整体性能（问题①）表8-2展示了RT-1与基线方法的对比：模型已见任务未见任务干扰物背景变化Gato65%52%43%35%BC-Z72%19%47%41%BC-ZXL56%43%23%35%RT-197%76%83%59%真实环境泛化（表8-3）L1（新台面布局和照明）：88%L2（+未见干扰物）：75%L3（全新环境和物体）：50%整体：70%性能亮点已见任务：RT-1达到97%优异正确率未见任务泛化：76%高正确率鲁棒性：干扰物下83%，背景变化下59%🔑

重点：RT-1在训练任务上接近完美，在泛化任务上仍保持强性能。8.2.3.2异构数据学习（问题②）表8-4展示RT-1利用模拟数据的能力：模型训练数据真实物体已见技能模拟物体已见技能模拟物体未见技能RT-1仅真实92%23%7%RT-1真实+模拟90(-2%)87(+64%)33(+26%)真实物体性能添加模拟数据后几乎不变（-2%），保持稳定模拟物体性能大幅提升（+64%），sim-to-real迁移能力强大未见任务泛化泛化能力显著增强（+26%）💡

思考：为什么添加模拟数据不会损害真实数据性能？8.2.3.3长期任务执行（问题③）表8-5展示RT-1在SayCan框架下的表现：模型Kitchen1规划Kitchen1执行Kitchen2规划Kitchen2执行原始SayCan73%47%——SayCan+Gato87%33%87%0%SayCan+BC-Z87%53%87%13%SayCan+RT-187%67%87%67%规划一致性所有方法规划成功率都达到87%执行优势RT-1在Kitchen1和Kitchen2上都达到67%，优于其他基线泛化性RT-1在更具挑战性场景保持一致性能8.2.3.4数据影响分析（问题④）数据量影响数据量已见任务未见任务100%数据97%73%51%数据71%50%37%数据55%46%22%数据59%29%数据多样性影响任务/数据已见任务未见任务100%任务，100%数据97%73%75%任务，97%数据86%54%关键结论：删除25%任务类型（保留97%数据）的性能损失等效于将数据集缩小49%。🔑

重点：数据多样性比数据数量更重要。8.2.3.5RT-1的局限性与启示主要局限模仿学习方法：继承该范式的问题，可能无法超越演示者性能泛化限制：仅能泛化到先前看到的概念组合，无法推广到完全新的指令应用范围：仅在大型但不太灵巧的操作任务上演示模型性能总结具备优异的多任务学习能力展现强大的泛化能力和鲁棒性比之前基线方法在新任务、新对象、新环境上表现更优8.3视觉-语言-动作一体化端到端多模态模型前面章节中的方法（SayCan和RT-1）分别进行高层规划和低层控制。本节介绍将语言、动作、图像放在统一输出空间的方法，构建视觉-语言-动作一体化端到端多模态模型。VLA（Vision-Language-Actionmodels）由谷歌DeepMind团队于2023年提出，基于强大的视觉语言预训练模型通过在具身数据集微调，实现根据图像输入直接输出机器人控制指令的功能。8.3.1视觉语言模型概念与不足VLM的优势LLM展现逻辑思维、创造力，在长文本生成、数学推导、代码生成等领域表现优异VLM支持开放词汇视觉识别，对图像中对象与智能体的复杂交互进行推理语义推理、问题解决和视觉解释能力对通用机器人很有用VLM应用于机器人的主要困境数据不对等：机器人交互数据为百万级，VLM训练数据远超此量级，差距难以弥补抽象层次不匹配：VLM关注高层语义，机器人需要低层笛卡儿末端执行器指令现有方法的局限：LLM+VLM结合通常仅解决高层规划，扮演状态机角色，低层控制器无法从大规模数据中受益VLA的目标：将预训练VLM直接集成到机器人的低层次控制中，增强泛化能力，实现具身智能的涌现能力。💡

思考：为什么不能直接将VLM输出转换为动作指令？8.3.2视觉-语言-动作大模型方法VLA方法旨在微调预训练VLM，使其直接输出机器人低层控制指令。以谷歌DeepMind的RT-2为例。VLM基座模型（以PaLI-X为例）01图像处理ViT-22B模型处理图像，将图像分割为Patch并通过Transformer获得特征序列02特征融合图像特征经投影层后与文本特征拼接03主干网络编码器-解码器主干网络（320亿参数）处理拼接特征04输出生成自回归方式生成输出特征序列；文本输入包含任务类型和补充信息8.3.2.1具身动作指令微调动作离散化编码基于RT-1的离散化方法6自由度末端执行器位置和旋转变换：各均匀量化为256个区间机器人抓手伸展程度：量化为256个区间结束任务指令：1个特殊指令8个整数表示一个完整动作动作指令格式空格分隔序列："terminate\Delta\mathrm{pos}_x

\Delta\mathrm{pos}_y

\Delta\mathrm{pos}_z

\Delta\mathrm{rot}_x

\Delta\mathrm{rot}_y

\Delta\mathrm{rot}_zgripper_extension"具体示例：1128912415101127模型适配PaLI-X：每个小于1000的整数有唯一符号，直接关联动作指令PaLM-E：覆盖256个最不常用符号表示动作指令输入/输出格式输入：机器人摄像头图像和文本任务描述任务描述格式："Q:whatactionshouldtherobottaketo[taskinstruction]?A:"输出：表示机器人动作指令的符号序列8.3.2.2RT-2的微调策略策略1：协同微调（JointFine-tuning）同时使用具身智能任务和原始视觉语言任务进行微调通过增加具身任务采样权重平衡机器人数据和网络数据比例好处：引入大规模视觉概念数据，维持对视觉语言的泛化理解，而不仅关注动作预测策略2：输出约束（OutputConstraints）VLA必须输出有效的动作指令以在真实机器人上执行输出动作指令时仅在有效指令中采样执行标准视觉语言任务时仍输出完整自然语言符号范围🔑重点：协同微调保持泛化能力，输出约束确保可执行性。8.3.2.3推理与控制计算资源挑战RT-2最大模型使用55B参数，普通计算机无法承载。部署方案云服务部署模型，通过网络访问：55B参数版本：1\sim3\,\mathrm{Hz}频率5B参数较小版本：约5\,\mathrm{Hz}频率闭环控制过程接收机器人摄像头图像输入推理输出对应指令机器人执行指令，环境变化根据新图像给出新指令重复直至任务完成或终止8.3.3视觉-语言-动作大模型实验RT-2展现四大特点：1性能与泛化性优异已见任务性能与RT-1相当；未见物体、未见背景、未见环境三类场景平均成功率比次优基线高约2倍，比其他基线高约6倍。成功将网络预训练的视觉语言知识迁移到机器人控制。2涌现能力三类涌现能力测试平均成功率是RT-1的3倍以上：符号理解（理解数字和图标的语义信息）、视觉推理（进行视觉推理和数学运算）、人物识别（识别人物特征、理解多语言指令）。这些能力未在机器人数据中明确训练，而是从视觉语言预训练中涌现。3模型规模和训练策略的影响模型规模：55B参数版本表现优于5B版本。训练策略：协同微调>仅机器人数据>从头训练。更大模型规模和保持原始预训练数据都很重要。8.3.3.1RT-2的思路链推理能力思路链推理（Chain-of-ThoughtReasoning）：通过额外训练"计划"步骤，RT-2先用自然语言描述行动目的，再生成具体动作。指令计划（Plan）动作（Action）Bringmeadrinkpick7upcan1143129123145114115127Moveallobjectstogethermovegreencanneargreenricechipbag1128126127135123119127Pickthedifferentobjectpickrxbarchocolate1128129125131125128127Movegreenobjectstogethermovegreencanneargreenricechipbag1130129121131127128127Whatcouldhammeranail?Rocks1129138122132135106127意义：表明RT-2具备初步推理规划能力，为未来整合LLM规划能力提供可能性。💡

思考：思路链推理如何提高机器人的可信度和可解释性？8.3.4总结与讨论VLA的创新贡献将机器人动作编码为大模型特征，使预训练VLM直接用于机器人控制协同微调策略：同时在机器人轨迹数据和网络规模视觉语言数据上训练实现优异泛化性能和涌现能力应用前景人机交互：自然语言理解能力使机器人更好地与人类交互多样化应用：适应工业生产、家庭服务、医疗护理等领域通用机器人系统：为发展通用机器人系统提供新的可能性VLA的局限性物理技能限制：仅限于训练数据中见过的动作精细操作：抓取特定部位、使用工具等精细操作仍有提升空间复杂推理：对需要多层间接推理的复杂任务存在困难计算资源：大规模模型实时推理需要较多计算资源未来研究方向数据收集：探索新的数据收集方式扩展机器人技能范围推理能力：加强多步推理能力和精细操作能力计算效率：通过量化和蒸馏提升计算效率，实现更高频实时控制开源发展：推动更多开源VLM发展，使技术更易获取🔑

重点：VLA整合了LLM的推理能力与视觉语言模型的语义理解，代表机器人学习的重要发展方向。8.4细粒度语言控制动作生成前面章节完成了从语言到动作的端到端映射。本节进一步改进，引入中间的"语言动作"层，实现细粒度的语言控制。RT-H（RobotTransformerwithactionHierarchies）将复杂任务分解成简单的语言指令，再转化为机器人行动。例如，给定"盖上开心果罐的盖子"，RT-H预测语言动作如"向前移动手臂"和"向右旋转手臂"，然后根据这些预测具体动作。8.4.1语言与动作关联语言作为推理引擎语言使我们能将复杂概念分解为简单组成部分，纠正误解，在新环境中推广概念。机器人也开始利用高效、组合式的结构进行类似操作。现有范式的局限高层任务→语言描述→低层动作的映射需要大规模多任务数据集。随着任务多样化，描述语言也变多样，难以学习不同任务间的共享结构。"语言动作"中间层的优势将任务分解为更细节的步骤——语言动作（如"手臂向前伸"、"抓紧罐子"、"手臂上举"），作为高层任务描述与低层动作的中间层。四大好处数据共享增强：不同任务在语言动作层面能更好地共享数据。例如"倒水"和"拿可乐罐"虽语义不同，但"捡起物体"前的语言动作完全一致。上下文依赖性：语言动作非固定原语，而是根据任务和场景通过指令和视觉学习。"手臂向前伸"的速度和方向取决于具体任务。人类修正能力：允许人对语言动作修正。例如若机器人提前关闭夹爪，可指导"保持手臂前伸更久"。学习效率：机器人能从人类修正中学习，场景微调易于人类指导和机器人学习。8.4.2细粒度语言控制动作模型方法RT-H的两阶段框架第一阶段从任务描述和视觉观察预测语言运动第二阶段对预测的语言运动、任务和观察进行条件设置，推断精确的动作模型基础与联合训练使用VLM主干实例化RT-H，遵循RT-2的训练过程从预训练检查点开始（与RT-2相同）使用PaLI-X模型训练混合ViT编码器被冻结用语言运动和动作查询替换RT-2中的动作预测单个模型学习语言动作和动作查询同时从广泛先验知识中受益8.4.2.1语言动作的自动标注自动标注方案依赖机器人本体感觉(Proprioception)信息，廉价地提取可靠语言动作z优势语言动作直接来源于动作，对动作预测具有很高的预测能力。从一组简单已知运动中提取2500多个语言运动。标注流程维度映射：将末端执行器姿势变化的每个维度连接到空间维度（例如：位置z轴变化映射为"上"和"下"）全维度处理：对所有9个动作维度进行此操作（delta位置3维、delta旋转3维、基座移动2维、夹具1维）确定主要运动：识别当前主要空间运动（如"向上和向右移动臂"）过滤和组合：过滤出低于"小动作"阈值的维度，按动作幅度顺序组合产生的动作。例如：主要向前移动手臂，同时开始闭合夹持器→"向前移动手臂并闭合夹持器"规模化：从一组简单已知运动中提取2500多个语言运动8.4.2.2RT-H的推理模式推理流程首先运行语言动作查询推断技能在动作查询中使用推断的技能计算动作问题：两个查询必须按顺序运行，推断时间翻倍用户交互显示当前预测的语言运动以提高透明度用户可以输入新的语言动作校正、继续运行或退出固定频率下用户有时间更新校正或让模型接管解决方案：两种语言运动推断模式1.异步查询（选中的方案）仅在RT-H中训练语言运动查询，预测未来的技能测试时：用上一时间步的推断结果，同时预测下一时间步的语言运动优势：对查询进行批处理，实现与RT-2几乎相同的查询滞后适用：技能需要在精确时间步改变，可能与固定频率不一致2.固定频率每H步评估一次技能查询减少分期滞后8.4.3细粒度语言控制动作模型实验核心实验问题Q1：语言行动层级是否提高多任务数据集的策略性能？Q2：RT-H学得的语言动作是否与任务和场景情境相关？Q3：语言动作修正比远程遥操更好吗？Q4：行动层级是否提高分布外设置的鲁棒性？数据集合并两个数据集，共10万个演示样本：Kitchen：RT-1和RT-2使用的数据集，70K样本，6个语义任务类别Diverse：新数据集，30K样本，超过24个语义任务类别组合数据集：Diverse+Kitchen(D+K)，使用自动化程序标记语言动作评估任务（8项复杂任务）这些任务需要复杂的动作序列和高精度：将碗直立放在柜台上打开开心果罐关闭开心果罐将碗移离谷物分配器将碗放在谷物分配器下方将燕麦片放入碗中从篮子里拿勺子从分配器中拉出餐巾8.4.3.1RT-H的性能指标离线动作预测的MSE对比（表8-7）：RT-H训练数据评估数据RT-2RT-H-JointRT-H(GT)KitchenKitchen30.228.2224.917.9D+KDiverse27.725.4423.617.8RT-H性能MSE比RT-2低约20%（Kitchen数据）RT-H-Joint性能MSE比RT-2低5%～10%GT性能差距RT-H(GT)与端到端MSE差距为40%，说明还有优化空间解释：行动层级有助于改进大型多任务数据集中的离线动作预测；正确标记的语言动作对动作预测具有很高的信息价值。RT-H在各任务上整体表现优于RT-2。8.4.3.2RT-H的泛化能力泛化实验发现看似不同的任务之间具备共享结构。例如：这些任务中的每一个都需要通过拾取行为开始。学习跨任务的语言动作共享结构，RT-H可以完成拾取阶段而无须修正。修正的泛化性当RT-H不再能泛化语言动作预测时，语言动作修正通常仍可泛化只需进行一些修正就可以成功完成新任务意义：语言动作在扩大新任务数据收集方面具有潜力具体任务示例（见图8-17）展示RT-H在复杂多步骤任务中的泛化能力：Pickpapercupandpourintobowl（拿纸杯倒入碗）Wipetablewithsponge（用海绵擦桌子）Unstackthecups（分离杯子）Pickappleandplaceinpistachiojar（拿苹果放入开心果罐）🔑重点：语言动作作为中间表示，显著改善跨任务的知识共享和泛化能力。8.4.3.3RT-H的总体评估RT-H的核心创新利用"语言动作"中间层作为高级任务和低级动作之间的细粒度预测，提高了多任务学习的效率。方法特点训练将语言中描述的任务映射为语言运动使用推断的语言运动预测动作两步骤都以视觉输入和任务为条件自动程序标记语言动作，无需人工标签成本可扩展到各种各样的任务性能优势在不同多任务数据上优于RT-2等方法显著改进离线动作预测精度提升跨任务的泛化能力人机协作潜力支持用户对语言动作的实时修正提高系统的可解释性和可控性为人机联合学习提供新的机制💡

思考：语言动作层如何帮助机器人更好地理解和执行复杂任务？第8章总结语言-动作对齐（SayCan）通过LLM和可操作函数联合决策多模态动作控制（RT-1）基于Transformer的大规模多任务学习端到端VLA（RT-2）直接整合视觉语言模型进行低层控制细粒度控制（RT-H）引入语言动作中间层提升泛化关键技术突破可操作函数将LLM与物理世界连接TokenLearner实现高效推理VLM微调实现低层动作预测语言动作层提升任务间知识共享共同主题如何将大模型的语义理解能力适配机器人的低层控制需求多模态信息的有效融合数据多样性对泛化能力的重要性人类指导和修正的集成技术演进特点从高层规划到端到端控制的进展从离散技能到连续动作的过渡从模型层次化到直接映射的发展逐步集成人类反馈和修正机制实际应用启示机器人需要多模态理解能力泛化能力和鲁棒性是关键人机协作是发展方向数据质量和多样性至关重要🔑重点：具身多模态大模型通过整合视觉、语言和动作信息，使机器人能够更好地理解指令、进行推理决策和执行复杂任务。第9章具身交互学习本章概述：具身交互学习旨在借助具身智能机器人的传感器（以视觉传感器为主）和自然语言等模型对周围环境进行多模态感知与语义信息理解，最终引导机器人执行指令的过程。学习目标掌握跨平台具身知识学习、具身世界模型、视觉感知引导动作优化和关键点引导细粒度动作规划四个核心方向。核心概念预览HPT（异构预训练）V-JEPA（世界模型）VoxPoser（视觉语言引导）ReKep（关键点约束）9.1跨平台具身知识学习本节介绍如何训练适应多种任务和环境的通用机器人模型。传统方法需为每个机器人、任务和环境收集专门数据，易导致过拟合，难以泛化。机器人学习的核心挑战在于数据异构性问题——包括不同的硬件、环境和任务。传统方法的困境需为每个机器人、任务和环境收集专门数据，所学策略局限于特定设置，难以在其他环境泛化。HPT的解决方案HPT（HeterogeneousPre-trainedTransformers）方法通过异构预训练对齐不同本体的本体感觉和视觉信息，创建共享的"策略语言"，使新机器人只需少量数据即可适应。9.1.1跨平台学习现状主要挑战需为不同机器人、任务、环境分别收集专门数据所学策略局限于特定设置，难以在其他环境泛化数据的异质性问题突出数据异构性类型硬件异质性：机器人本体感知能力、自由度、末端执行器和运动控制器各不相同视觉异质性：摄像头传感器位置不同，导致视觉输入差异显著解决方向通过在大规模、多样化、高质量数据上预训练构建通用基础模型，仅需少量微调即可适应新任务。🔑重点：预训练模型在多种任务中能取得较高成功率，对异常数据表现出鲁棒性，适应新任务时灵活性强。9.1.2跨平台异构预训练方案HPT通过异构预训练将不同实体的本体感知信息和视觉信息对齐到共享的"策略语言"。HPT核心架构组成Stem（特定实体标记器）将不同来源的传感器数据映射到共享潜在空间。本体感受标记器映射为N_p=16个维度为d的标记；视觉标记器映射为N_v=16个维度为d的标记。Trunk（共享主干）采用Transformer结构在潜在空间中参数化，在所有异构数据集上联合训练，学习与任务无关的通用特征。Head（策略头）接收trunk输出，映射到每个数据集的动作空间，输出归一化的动作轨迹。本体感受标记器设计对于实体k，本体感受信息维度为d_p^k（如末端执行器姿态维度为7）。HPT首先使用MLP将本体感受输入映射到维度d的特征空间，应用正弦位置编码，再通过注意力机制将其映射为16个维度为d的标记。视觉标记器设计视觉标记器将任意序列摄像头图像（维度为H\timesW\times3）映射为16个维度为d的标记。首先使用预训练冻结特征网络（如ResNet特征），再通过注意力机制完成映射。训练目标函数给定K个从不同分布采样的异构形态数据集\mathcal{D}_1,\dots,\mathcal{D}_K，目标是最小化：其中\mathcal{L}为行为克隆损失，通过标准化后的动作标签与网络预测间的Huber损失计算。网络参数包括每个数据集的stem和head参数，以及在所有形态中共享的trunk参数。9.1.3跨平台异构预训练实验1.数据扩展实验在27个数据集上，逐步增加样本量（从270到170000个轨迹），观察到验证损失随着数据量增加逐渐减小，表明数据规模对模型泛化性能的提升效果显著。使用更多数据集进行预训练时，微调后效果也能够提升。2.模型扩展实验在27个数据集的固定样本量上，逐步扩大模型规模，从100万个参数到10亿个参数。实验表明，较大的模型规模在计算资源充足的情况下可以进一步降低验证损失。3.多模态数据集联合预训练验证HPT在不同数据类型（真实机器人、模拟、人类视频数据）中的泛化能力。结果表明，加入人类视频和模拟数据能有效补充训练集异构性，提高模型在真实机器人任务上的性能。9.1.3续迁移学习实验模拟环境迁移学习选择Meta-world、RoboMimic和Fleet-Tools等机器人操控模拟基准。比较从零训练、冻结预训练Trunk和微调Trunk等方法，在50次任务执行中评估性能。结果显示，冻结预训练模型的成功率显著高于从零训练模型，尤其在使用HPT-XL的情况下表现优异。真实世界迁移学习选择不同硬件结构的机器人，测试宠物护理和装配任务，包括"清理残渣""装水""舀取宠物粮"和"插入开关"等操控任务。在100个样本训练数据下，记录15次任务执行中的成功率。冻结预训练模型在不同任务上的成功率均高于基线模型，且HPT模型展示了更好的稳定性和适应性。实验结论🔑

重点：HPT在52个数据集上的预训练显著提升了模型在模拟器和真实任务中的性能，准确率较基线方法提升超过20\%验证了HPT在数据和模型规模扩展下的高效性与稳健性在异构数据上具有出色的扩展性，在多任务迁移学习中具有广阔应用潜力9.2具身世界模型当前大部分具身模型只根据当前时刻的输入进行处理并输出，因缺少对物理世界的认知而难以预测下一时刻的环境变化。世界模型能够根据少量观测样本获得普适的规律，并应用这些规律对短期未来进行预测。Meta公司发布的V-JEPA（视频联合嵌入预测架构）模型目标是构建可以像人类一样学习的先进机器智能，形成关于周围世界的内部模型，以便学习、适应和高效地制订计划。9.2.1世界模型概念简述人类对客观世界的学习能力极为强大。人类能基于有限样本总结具有普适性的物理规律，对物体运动进行预测，但当前具身智能模型难以做到这一点。V-JEPA的设计理念超越传统视频理解与传统视频理解模型不同，传统方法关注细节层面分析（逐帧处理每个像素）。V-JEPA强调从更高抽象层次理解视频。抽象表示空间学习通过预测被掩蔽或缺失的视频区域，在抽象表示空间内学习，能够捕捉视频中对象之间的动态交互，而不被琐碎细节所困扰。💡思考：为什么从抽象表示学习而不是像素级学习能更好地理解视频？9.2.2具身世界模型设计方案V-JEPA的核心思路是使用联合嵌入预测架构对具身场景下的视频进行特征预测。模型被训练成从输入x的表示中预测输入y的表示。附加变量\mathcal{Z}为预测器提供了关于从x开始计算y的变换的信息。V-JEPA的关键特点非生成模型：通过预测视频在抽象表示空间中的缺失部分进行学习（不是比较像素本身）样本效率：与生成方法相比，训练样本效率提高了1.5\sim6倍自监督学习：完全使用无标签数据进行预训练，仅在预训练后用标签进行任务调整效率优势：在所需标记示例数量和无标签数据总量上，V-JEPA比先前模型更有效网络架构组成01输入表示将T帧视频划分为空间连续的时空块，每个时空块包含连续两帧的16\times16像素块，称为token02x-编码器采用VisionTransformer将输入的token序列映射为深层特征表示。在预训练阶段对输入token进行遮挡，仅保留部分token输入03预测器Transformer网络，以x-编码器的输出和可学习的masktoken作为输入，输出每个被遮挡区域的预测表示04y-编码器VisionTransformer，负责对完整无遮挡的视频剪辑进行编码，得到目标表示05训练目标与参数更新最小化预测器输出和y-编码器输出的L1距离；x-编码器和预测器参数通过反向传播更新；y-编码器参数通过指数移动平均从x-编码器进行更新9.2.2续掩码方法与高效预测掩码策略设计V-JEPA不是为了理解特定类型的行动而训练，而是学习关于世界如何运作的知识。掩码策略：整体上屏蔽视频的大部分区域，通过提高学习难度增强模型泛化能力。时序一致性：同时在空间和时间上掩码视频部分内容，迫使模型学习理解场景。两种遮挡方法短范围遮挡：使用多个小目标块长范围遮挡：使用少数几个大面积块这使预测任务更具挑战性高效预测方法冻结评估：V-JEPA是第一个对视频进行"冻结评估"的模型。预训练后直接冻结编码器和预测器，微调时仅需训练小型轻量级的输出头。与完全微调的对比传统方法：需更新所有参数，模型仅适应单个任务V-JEPA：模型可重复用于多个不同任务（行动分类、对象交互识别、活动定位等）9.2.3具身世界模型实验V-JEPA主要实验结果分析动作理解性能在需要理解的Something-Something-v2(SSv2)任务中，V-JEPA准确率达到72.2\%，优于其他方法6个百分点外观理解性能在需要外观理解的Kinetics400(K400)任务中，V-JEPA准确率81.9\%，与当前最佳图像模型DINOv2相当（83.4\%）相对优势与像素重建方法相比，V-JEPA在冻结评估下表现更优，在Kinetics400和Something-Something-v2任务中准确率分别达到80.8\%和69.5\%标签效率具有更高的标签效率，当标注数据减少为1/10时，V-JEPA准确率仅下降12\%，而像素重建方法下降幅度更大下游任务与定性分析在AVA、ImageNet等其他下游图像和视频任务中，V-JEPA也表现优异。V-JEPA预测具象且具有空间和时间一致性，预训练过程中处理更少样本，却取得更佳性能。🔑重点：V-JEPA不仅提升了视频理解的效率和灵活性，其自监督学习和适应性学习特性预示着AI在理解复杂视觉数据方面的进一步突破应用前景视频分类、动作识别和时空动作检测等计算机视觉任务上下文理解为开发智能助手提供基础增强现实(AR)体验中应用，为用户提供实时信息叠加未来扩展：音频处理和长期预测，推动自主AI发展9.3视觉感知引导动作优化方法在具身智能中，一切对环境的感知均需要服务于最终的具身机器人行动。在感知的基础上需要构建基于感知引导的动作优化方法。VoxPoser方法在不依赖预先定义的动作库的前提下，借助语言模型与视觉感知，指导机器人规划路径并执行动作，完成从感知到动作的迁移。该方法的创新在于：不依赖预定义运动原语库，而是根据自然语言指令和视觉信息实时生成三维值图来指导动作规划。9.3.1语言模型引导动作的缺陷当前方法的局限性LLM展示了理解复杂自然语言指令并推理出相关操作步骤的潜力，但许多方法仍然依赖预先定义的运动原语（基础动作库，如抓取、推拉等），这些方法在处理现实世界多样化任务时缺乏灵活性。核心问题如何将开放的自然语言指令映射到机器人可执行的操作轨迹中，应对复杂和多样化的日常任务，且不依赖预先定义的动作库？VoxPoser的解决方案利用LLM的推理能力和视觉语言模型(VLM)的视觉感知能力，通过生成三维值图(3DValueMaps)，指导机器人规划路径并执行动作。系统工作流程01LLM根据指令推断需要执行的任务02通过生成代码与VLM互动，识别环境中的对象03生成三维值图，描述"可操作区域"和"需避开的区域"04运动规划器使用三维值图生成轨迹05示例任务：拔出面包机里的面包、按下护肤品泵等9.3.2视觉语言模型引导的动作学习方案自然语言指令解析机器人接收用户的自然语言指令（如"打开上面的抽屉，并避开花瓶"）。LLM通过推理识别任务中的关键动作和对象。通过生成代码，LLM调用VLM，解析环境中的物体，确定哪些物体是可操作的，哪些需要避开。可操作性推断与三维体素值图生成LLMs生成Python代码，通过与VLM的协同作用，构建三维值图。这些值图定义了任务的空间分布，标明哪些位置需要操作，哪些位置需要避开。例如，"打开抽屉并避开花瓶"任务中，抽屉把手是高价值区域，花瓶周围则是低价值区域。轨迹规划使用生成的三维值图输入运动规划器，规划机器人的操作轨迹。高值区域代表需要到达的目标位置，低值区域表示障碍物或需要避开的区域。在线学习与动态调整虽然VoxPoser本质上是零样本学习系统，无须事先训练数据，但它能通过在线学习动态适应复杂场景。机器人在执行任务时可根据反馈信息更新轨迹，尤其在涉及接触任务（如拉门或推拉抽屉）的场景中。展示3DValueMapComposition和MotionPlanning过程。VoxPoser轨迹规划优化问题其中：\tau^{\mathrm{r}}为机器人在每个任务阶段的轨迹；\mathcal{F}_{\mathrm{task}}为任务完成度函数，代表轨迹是否完成指定任务；\mathcal{F}_{\mathrm{control}}为控制代价函数，确保轨迹平滑和最优。9.3.3视觉语言模型引导的动作学习实验1.虚拟环境实验在模拟环境中设计了13个高度随机化的任务场景，包括2766条独特指令。任务场景模拟真实世界复杂多变的环境，要求机器人完成推拉操作、避让障碍物、在不同区域间移动及处理复杂组合任务。例如"清理垃圾"任务中，高值区域标明垃圾桶位置，低值区域标记障碍物，机器人通过路径规划成功将垃圾扫入垃圾桶。2.真实环境实验设计4个具有代表性的任务：设置餐桌：根据指令将餐具放在特定位置扫垃圾：识别垃圾和垃圾桶位置，规划路径将垃圾扫入桶内打开瓶盖：精确抓取瓶盖并旋转打开按下电器按钮：在复杂环境中找到按钮并精确按下3.实验结果与分析任务成功率：虚拟环境中，VoxPoser任务成功率90\%以上，远超传统基于运动原语的方法。真实场景中，VoxPoser能应对外界扰动，通过实时路径调整在复杂环境中高效执行任务。适应性与鲁棒性：VoxPoser显著优势在于广泛适应性和鲁棒性。传统方法依赖预定义运动原语库，难以处理复杂或动态变化的环境。VoxPoser通过实时生成值图，轻松处理复杂任务。在处理动态障碍物场景中，能通过实时调整路径保证任务成功。对比分析：与基于预定义动作原语的传统方法相比，VoxPoser能执行更加复杂和多样化的任务，在应对外界干扰和动态环境时表现出更高的鲁棒性。例如在"清扫垃圾"任务中，能规划路径避开障碍物，还能应对障碍物移动，自适应调整操作策略。9.3.3续VoxPoser实验结果详细分析静态/动态场景下指令成功率对比任务LLM+Prim.(Static)LLM+Prim.(Dist.)VoxPoser(Static)VoxPoser(Dist.)Move&Avoid0/100/109/108/10SetUpTable7/100/109/107/10ClosePrinter0/100/1010/107/10OpenBottle5/100/107/105/10SweepTrash0/100/109/108/10总成功率24.0%0.0%88.0%70.0%多种类型任务成功率（泛化能力评估）任务分为"物体交互"和"空间组合"两类，进一步分为：SI/SA：已知指令/已知属性SI/UA：已知指令/未知属性UI/UA：未知指令/未知属性VoxPoser不仅能处理已知任务，还能有效应对新的任务和场景，在泛化能力上超越传统方法。接触任务类型成功率分析VoxPoser在带有接触任务(开门、开窗、开冰箱等)时的在线学习表现：零样本学习(Zero-shot)：初始效果有限无先验的随机探索(NoPrior)：探索时间较长使用先验的动态调整(w/Prior)：成功率和时间均显著改善通过结合在线学习和先验调整，系统能快速适应复杂接触任务，大幅提升成功率并减少训练时间。误差来源分析VoxPoser中最主要误差来源是感知和动力学模型。提升视觉模型精度和接触任务中的动力学建模将进一步提高表现。LLMs在分解复杂任务和生成操作步骤方面具有很强优势，是VoxPoser高成功率的关键原因。🔑

重点：VoxPoser在日常任务的灵活性、泛化能力和鲁棒性上表现优异通过对系统组件的进一步优化，尤其是视觉感知和动力学建模方面，VoxPoser有望在更复杂的任务场景中展现更强表现VoxPoser也存在限制：依赖外部感知模块、仍需通用动态模型、运动规划器只考虑末端执行器轨迹9.4关键点引导细粒度动作规划具身智能机器人对环境的感知交互还可进一步引导细粒度的动作规划。机器人操作涉及与环境中物体的复杂交互，如何有效地表示这些交互中的约束是关键问题。ReKep（RelationalKeypointConstraints）方法将机器人操作任务表示为约束，通过关键点映射的方式实现。ReKep可分解任务为多阶段约束，能自动从RGB-D观测和语言指令中获取关键点和约束信息，在轮式单臂和固定式双臂平台上都能有效应用。9.4.1机器人动作约束的挑战约束表示的复杂性机器人操作涉及与环境对象的复杂交互，通常表示为空间和时间域中的约束。以倒茶任务为例：机器人必须在手柄上抓取移动杯子时保持直立将壶口与目标容器对齐以正确角度倾斜倾倒约束不仅编码中间子目标（如对齐壶口），还编码过渡行为（如保持杯子直立），共同决定了机器人动作相对于环境的空间、时间和其他组合要求。约束表示面临的挑战传统方法的局限性使用相对姿态表示约束（刚体变换）：无法描述几何细节，需要先验地获取对象模型，不能处理可变形对象。数据驱动方法的困难直接在视觉空间中学习约束虽然灵活，但随着约束数量在对象和任务方面的组合增长，如何有效地收集训练数据成为难题。⚠️易错：简单地使用刚体变换无法处理灵活变形的物体，而完全数据驱动方法又面临数据采集困难核心问题如何表示机器人操作中的约束，使其能广泛应用于各种任务、具有可扩展性、能通过现成求解器进行实时优化，以适应复杂的操作行为？9.4.2关键点引导的机器人动作约束表示ReKep方法概述ReKep将约束表示为Python函数，将一组关键点映射到数值成本函数上。每个关键点是场景中对应特定任务和语义且有意义的三维点。每个函数由关键点上的（可能是非线性的）运算组成，编码它们之间所需的"关系"。关键点属性：由世界坐标系中的三维笛卡儿坐标组成刚性约束：多个关键点可共同指定线、表面和三维旋转应用场景：顺序操作问题，每个任务涉及多个具有时空依赖性的阶段（抓取、对齐、倾倒等）自动化优势虽然约束通常手动定义，但ReKep可通过预训练的LVM(DINOv2)和VLM(GPT-4o)直接获得，能根据RGB-D观测和自由形式的语言指令进行规范化。系统利用LVM提出细粒度和语义有意义的关键点，利用VLM将约束写为Python函数。相关关键点约束(ReKep)的形式化定义定义ReKep的单个实例。假设已指定K个关键点，每个关键点k_i\in\mathbb{R}^3表示笛卡儿坐标下的3D点。ReKep的单个实例是函数：将关键点数组映射到无界代价(UnboundedCost)。函数f实现为无状态的Python函数，包含NumPy操作，可能是非线性和非凸的。多阶段任务的约束表示操作任务通常涉及多个空间关系和多个时间相关的阶段，每个阶段需要不同空间关系。将任务分解为N个阶段，为每个阶段i指定两种约束：（1）子目标约束：C_{\mathrm{sub-goal}}^{(i)}=\{f_{\mathrm{sub-goal},1}^{(i)}(k),\dots,f_{\mathrm{sub-goal},n}^{(i)}(k)\}（2）路径约束：C_{\mathrm{path}}^{(i)}=\{f_{\mathrm{path},1}^{(i)}(k),\dots,f_{\mathrm{path},m}^{(i)}(k)\}倾倒任务示例（抓取、对齐、倾倒三阶段）阶段1子目标约束：将末端执行器拉到茶壶手柄上阶段2子目标约束：茶壶壶口需要在杯子顶部阶段2路径约束：茶壶保持直立以避免移动时溢出阶段3子目标约束：指定所需的倾倒角9.4.2续ReKep的约束优化与求解约束优化问题的制定使用ReKep作为表示约束的通用工具。末端执行器姿态表示为e\in\mathrm{SE}(3)。为执行操作任务，目标是通过制定控制问题获得整体离散时间轨迹：子目标问题路径问题为实时求解上述方程，需对整个问题进行分解，只针对下一个子目标和到达子目标的相应路径进行优化。所有优化问题使用SciPy实现和解决。关键点提议流程给定RGB图像，从DINOv2中提取特征，进行双线性插值上采样到原始图像大小。使用SegmentAnythingModel(SAM)提取所有掩码。对每个掩码使用k-means算法对特征进行聚类，聚类质心作为关键点候选，使用校准的RGB-D相机投影到世界坐标。ReKep生成流程在获得关键点候选后，将其叠加在原始RGB图像上并带有数值标记。结合任务的语言指令，使用视觉提示输入GPT-4o，生成每个阶段所需的阶段数和相应约束。函数利用VLM强度将空间关系指定为算术运算（如关键点间的L2距离或点积），只有在使用专门3D跟踪器跟踪的实际关键点位置调用时才能实例化。9.4.3关键点引导的机器人动作约束实验1.实验任务设计选择一组任务：倒茶、放书到书架、回收瓶子、用胶带粘盒子、折叠服装、装鞋到盒子和协助折叠。通过在执行过程中改变任务对象的姿态进一步评估外部干扰下的三个任务（表示为"Dist."）。2.实验结果对比任务VoxPoserReKep(Auto)ReKep(Annot.)MobileArm—PourTea0/103/108/10RecycleCan3/106/108/10StowBook0/103/106/10TapeBox4/107/108/10Dual-Arm—FoldGarment0/105/106/10PackShoes0/103/105/10Collab.Folding0/104/107/10总成功率(%)10.0%44.3%68.6%3.实验分析与结论🔑重点：系统在制定正确约束并在非结构化环境中执行方面表现出较强能力，即使在没有提供特定数据或环境模型的情况下也能出色完成任务有效应对的核心难点多阶段任务中的依赖性（在倾倒之前，壶口需要与杯子对齐）常识知识的应用（可乐罐应放进可回收垃圾桶）人机协同合作（通过将四个角与人类对齐来折叠大型毯子）受限空间中的运动学挑战（如书籍整理任务）系统优势高频率关键点跟踪，能对外部干扰做出反应支持在阶段内和跨阶段重新规划无须任务特定数据、额外训练或环境模型局限性基于预训练模型，生成的约束并不总是完全正确依赖刚性假设的前向模型需要高精度的点跟踪总体评价ReKep是一种用于机器人操作任务的结构化任务表示方法。通过关系关键点约束指定机器人手臂、物体部分和其他代理之间的期望关系。结合点跟踪器，ReKep约束可在分层优化框架中反复且高效地求解，以实时频率作为闭环策略执行。实验结果表明，ReKep在多阶段、复杂、双手和反应性行为方面表现出色。尽管存在一些局限性，ReKep仍展示了在机器人操作中的巨大潜力。第9章总结核心内容回顾9.1跨平台具身知识学习HPT通过异构预训练对齐不同机器人的本体感觉和视觉信息Stem-Trunk-Head架构有效处理数据异构性在52个数据集预训练后，性能提升超过20\%9.2具身世界模型V-JEPA使用联合嵌入预测架构学习世界规律非生成模型，样本效率提高1.5\sim6倍冻结评估方式支持多任务迁移9.3视觉感知引导动作优化VoxPoser利用LLM和VLM生成三维值图指导动作规划不依赖预定义运动原语库真实场景成功率达70\%以上，动态环境表现优异9.4关键点引导细粒度动作规划ReKep将约束表示为Python函数，建立关键点间的空间关系支持多阶段任务分解和实时优化求解在无须特定数据或环境模型的情况下展现优异性能💡思考：具身交互学习如何实现从感知到动作的端到端优化？🔑重点：这四个方向分别从数据规模（HPT）、环保认知（V-JEPA）、感知引导（VoxPoser）和细粒度控制（ReKep）提升机器人的具身智能能力⚠️易错：不要混淆四个方法的侧重点——它们是递进式深入的，从基础模型预训练→世界模型建立→动作优化→精细控制展望：具身交互学习的发展方向多模态数据融合更高效的多模态数据融合方法强大世界模型更强大的世界模型支撑长期规划语言指令理解更灵活的语言指令理解机制实时约束优化更鲁棒的实时约束优化算法第10章自主导航与决策自主导航与决策是智能机器人实现真正智能化的核心能力。本章将系统介绍机器人如何在未知或动态环境中自主感知、定位、规划和决策，探索从传感器技术到高级决策建模的完整技术体系。学习目标掌握环境感知与传感器融合技术理解SLAM定位与地图构建原理学习路径规划与实时调整方法应用强化学习进行决策优化核心概念预览传感器数据融合SLAM路径规划马尔可夫决策过程深度强化学习自主导航应用10.1引言自主导航与决策是机器人"知行合一"的能力体现。本节从定义、意义和关联三个方面介绍导航与决策的基础概念。10.1.1自主导航的定义与意义自主导航定义机器人在无外部干预下，依靠自身传感器和算法，实现感知环境、构建地图、规划路径、执行运动控制的全过程能力。应用价值在搜索救援、工业自动化、服务业等多个领域具有不可替代的优势。🔑提升任务完成能力机器人独立应对复杂、动态、未知环境增强适应性与鲁棒性应对障碍物和动态目标降低外部依赖与成本减少对地标、GPS等基础设施的依赖推动智能系统发展深度学习使机器人不断优化行为策略10.1.2导航与决策的关联导航是感知与行动的执行框架，决策是导航的策略优化驱动力；两者构成循环反馈关系。①环境感知与信息处理传感器数据（激光雷达、摄像头、IMU）为决策提供准确的环境感知基础②路径规划与行为选择决策系统在动态环境中实时调整速度、安全性和能耗平衡③控制与实时调整动态窗口法（DWA）等方法在毫秒级完成速度、方向决策💡思考：自动驾驶中，导航规划基础路线，决策系统判断超车、避让行人、响应信号；无人机根据天气、飞行禁区实时调整航线；服务机器人在动态人群中规划路线并调整任务优先级。10.2环境感知与传感器技术环境感知是自主导航的基础。本节介绍多种传感器的工作原理、特点及数据融合方法。10.2.1传感器的作用与分类激光雷达（LiDAR）基本原理：发射激光脉冲，测量反射回来的到达时间，根据飞行时间（ToF）原理计算距离主要组成：激光发射系统、激光接收系统、扫描系统、信息处理系统分类（按运动部件）：机械式（旋转变发头）|全固态（无运动部件）|半固态（如Livox）关键特点：高精度（厘米级）|长距离测量|三维点云|对光线变化鲁棒|恶劣天气性能下降主要应用：SLAM建图与定位|自动驾驶感知|无人机避障|工业机器人导航深度相机核心功能：获取物体到相机的距离，计算三维坐标三种技术方案：双目深度相机（视差原理）|结构光深度相机（主动红外光）|ToF深度相机（光往返时间）关键特点：实时三维成像|成本低|短距离精准（<10m）|对光线敏感主要应用：物体识别与抓取|室内导航|手势识别|AR/VR惯性测量单元（IMU）组成：加速度计（测线性加速度）|陀螺仪（测角速度）|磁力计（测磁场方向）工作原理：加速度计基于牛顿第二定律F=ma；陀螺仪通过科里奥利力检测角速度；磁力计基于霍尔效应关键特点：高动态响应|独立性强|长期漂移误差|紧凑低功耗主要应用：导航与姿态估计|无人机飞控|自动驾驶|机器人平衡超声波传感器基本原理：发射超声波脉冲，根据回波时间差计算距离工作流程：发射阶段→传播阶段→接收阶段→数据分析；空气中传播速度约340\text{m/s}（温度依赖）关键特点：低成本|短距离测量（几十厘米到几米）|精度较低|温度湿度敏感主要应用：障碍物检测|室内导航（扫地机器人）|水下导航|距离监测10.2.2传感器数据融合扩展卡尔曼滤波（EKF）基础EKF是处理非线性系统多传感器数据融合的经典方法，通过泰勒展开对非线性系统进行一阶线性化。状态方程与观测方程状态方程：\boldsymbol{x}_k=\boldsymbol{f}(\boldsymbol{x}_{k-1},\boldsymbol{v}_k,\boldsymbol{w}_k)观测方程：\mathbf{y}_k=\mathbf{g}(\mathbf{x}_k,\mathbf{n}_k)其中x_k为状态变量，f(\cdot)为状态转移函数（非线性），v_k为控制输入，w_k为过程噪声；y_k为观测变量，g(\cdot)为观测函数（非线性），n_k为观测噪声。高斯假设过程噪声：\boldsymbol{w}_k\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{Q}_k)观测噪声：\boldsymbol{n}_k\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{R}_k)两阶段工作流程预测阶段：更新阶段：多传感器融合💡

思考：不同传感器具有不同的测量模型和噪声特性。EKF根据每个传感器的测量噪声协方差动态调整卡尔曼增益，测量精度高的传感器获得更大权重。例：自动驾驶中融合IMU（运动状态）、GPS（位置）、激光雷达（环境）数据。优点适用非线性系统实时性强支持多种数据融合⚠️局限（易错）存在线性化误差噪声假设可能不成立计算复杂度随维度增加而增加10.2.3环境建模与特征提取环境建模方法环境建模将非结构化传感器数据转化为机器可理解的结构化表示，为导航和决策提供基础。几何建模栅格地图：将环境划分为规则网格，记录占据状态点云建模：激光雷达获取三维点云，形成详细的环境几何描述拓扑地图：用节点和边描述关键位置及其连接关系语义建模为环境元素赋予语义标签（道路、行人、车辆等）采用语义分割网络（MaskR-CNN、DeepLab）提取语义信息结合激光雷达和相机数据增强识别精度动态建模动态障碍物建模：跟踪动态物体位置、速度、轨迹场景变化建模：增量式建模方法（增量SLAM）实时更新环境模型特征提取特征提取从大量传感器数据中提炼关键信息，加速处理并增强机器人对动态环境的适应性。几何特征障碍物边界、地面平面、斜坡；提取方法：边缘检测、点云分割、RANSAC算法基于曲率的边缘检测：输入点云\mathcal{P}=\{p_1,p_2,\dots,p_n\}，计算协方差矩阵\mathbf{V}=\frac{1}{k}\sum_{p_i\in\mathcal{N}(p_j)}(p_i-\bar{p})(p_i-\bar{p})^{\mathrm{T}}，曲率c(p_j)=\frac{\lambda_1}{\lambda_1+\lambda_2+\lambda_3}，当c(p_j)>\varepsilon时为边缘点。RANSAC平面特征提取：随机采样3点→平面拟合（法向量\boldsymbol{n}=(\boldsymbol{p}_2-\boldsymbol{p}_1)\times(\boldsymbol{p}_3-\boldsymbol{p}_1)）→内点计数→记录最优模型→迭代k次。语义特征（PointNet点云语义分割）🔑

重点：端到端深度学习处理原始点云，无须预处理。核心思想：①点特征提取（MLP）②对称函数处理无序性（最大池化）③全局和局部特征表示图像特征与动力学特征图像特征提取SuperPoint自监督特征提取：共享编码器+兴趣点解码器+描述子解码器；轻量级CNN提取深层特征，生成密集关键点响应图。UNet轮廓检测：编码器（卷积+池化）+跳跃连接+解码器（上采样）；跳跃连接保留位置信息和细节。LaneNet车道线检测：分割分支（二分类）+嵌入分支（聚类）+Mean-Shift聚类；将车道检测转化为实例分割。DeepLSD直线段检测：①生成真值数据（LSD+图像扭曲）②预测吸引力场③线段提取④线段细化动力学特征物体速度、加速度、运动方向；提取方法：多帧数据融合、目标跟踪10.3定位与地图构建机器人需要在未知环境中实现自身定位和环境地图构建。SLAM技术是解决这一循环依赖问题的关键。10.3.1SLAM基础SLAM概念SLAM（SimultaneousLocalizationandMapping）是指机器人在未知环境中同时进行定位和建图的技术。🔑重要性使机器人无需GPS或其他外部信号在未知环境中自主导航，尤其重要于室内、地下、深海等GPS不可达地方。核心挑战精确建图需要准确的定位信息准确定位又需要已知的地图SLAM算法主要部分1感知利用摄像头、激光雷达、IMU等传感器捕捉环境数据2特征提取与匹配提取特征点（角点、边缘等），在连续帧中匹配3运动估计利用光流法、滤波器或优化技术估计机器人运动4地图构建根据运动估计和观测数据逐步构建环境地图5回环检测识别机器人重新进入已探索区域时的"回环"，校正误差6优化使用图优化或贝叶斯滤波器提高地图和轨迹精度经典视觉SLAM框架（ORB-SLAM3）功能：同时处理单目、双目、RGB-D和IMU数据，利用ORB特征的高效性和鲁棒性。10.3.2主流SLAM方法：FAST-LIO2FAST-LIO2是当前主流的激光雷达惯性SLAM方法，采用紧耦合的直接配准方式。直接点云配准不提取特征点，直接将原始点云配准到地图自适应激光雷达类型自然适应多线旋转激光雷达、固态激光雷达等高效数据结构增量kd树（ikd树）支持点的插入、删除和动态重新平衡高频率输出室外环境可达100\text{Hz}的里程计和建图频率惯性测量数据处理加速度测量：\boldsymbol{a}_{\mathrm{m}}=(\boldsymbol{R}_{\mathrm{b}}^{\mathrm{w}})^{\mathrm{T}}(\boldsymbol{a}_{\mathrm{b}}^{\mathrm{w}}-\boldsymbol{g}^{\mathrm{w}})+\boldsymbol{b}_{\mathrm{a}}+\boldsymbol{n}_{\mathrm{a}}；角速度测量：\omega_{\mathrm{m}}=\omega+b_{\omega}+n_{\omega}误差状态卡尔曼滤波定义三种状态：真实状态\boldsymbol{x}=[\boldsymbol{R},\boldsymbol{p},\boldsymbol{v},\boldsymbol{b}_{\omega},\boldsymbol{b}_{\mathrm{a}},\boldsymbol{g}]^{\mathrm{T}}，名义状态\hat{\boldsymbol{x}}，误差状态\tilde{\boldsymbol{x}}；三者关系：\boldsymbol{x}=\hat{\boldsymbol{x}}\oplus\tilde{\boldsymbol{x}}，\tilde{\boldsymbol{x}}=\boldsymbol{x}\ominus\hat{\boldsymbol{x}}名义状态使用中值积分法协方差传播点到面匹配与状态更新卡尔曼增益：\boldsymbol{K}=(\check{\boldsymbol{P}}_k^{-1}+