人工智能行业机器人智能化三部曲（二）：Meta及微软篇

核心观点：随着各项人工智能技术的不断发展，具备与物理世界交互潜力的智能机器人成为学界和业界的重要研究赛道。近年来Meta、微软均持续完善其机器人模型领域的布局。2023年8月，Meta推出在少量训练数据情况下便能取得优异表现的MT-ACT模型。2023年2月微软推出基于ChatGPT的机器人控制框架，将ChatGPT的“知识储备”落实到现实场景中。机器人模型发展百家争鸣，值得进一步关注。从R3M到MT-ACT，Meta持续探索如何使用有限的数据集实现更优秀的机器人控制。在2022年3月推出的R3M模型中，Meta首次引入人类视频数据作为机器人控制模型的知识来源，提升机器人模型训练效率。在2022年12月推出的CACTI模型中，使用数据增强技术实现了训练数据规模高效扩充。2023年8月推出的MT-ACT模型将数据增强技术（基于SAM视觉模型）和动作序列生成技术结合，在7500个原始训练数据的情况下，在不同难度的测试中分别实现了81.67%、65.17%、31.33%的成功率，小规模数据表现优于其他可比模型。将强化学习与MoE技术融合，

Meta推出机器人控制模型新方案ASC。在2023年4月推出的ASC模型中，先通过强化学习分别对单一任务进行训练，再通过MoE技术实现不同技能模块之间的有机协同，在模拟场景和两个现实场景中分别实现了94.9%和96.7%/100%的成功率，并且具备较强的抗干扰能力，能够在环境变化的情况下自动调整完成相关任务的方式。通过将更强的OWL-ViT视觉模型与ASC模型结合，模型可以根据文本描述来识别更为复杂的物体，有望在更广泛的场景中处理更为复杂的任务。Meta：机器人模型与谷歌有所差异。谷歌的技术路线在本系列第一篇中有详细描述，而Meta目前工作中尚未将大模型与机器人控制所结合，且相较谷歌尝试利用大规模的数据集提升机器人模型的表现，Meta的相关工作更加关注如何基于小规模的数据，结合数据增强、人类视频数据预训练等方式实现通用机器人控制模型的构建，即数据效率方面的提升。微软：结合自然语言能力，微软提出面向机器人控制领域的新框架。2022年8月推出的机器人轨迹控制模型LATTE，可以识别用户的自然语言输入调整机器人的运行轨迹。2023年2月发表文章“ChatGPT

for

Robotics”，其核心在于通过大语言模型（ChatGPT）来处理用户指令，进而调用相应的机器人控制API来完成具体的任务。在演示中，经过进一步学习的ChatGPT模型在仅有自然语言输入的情况下，可以控制机器人利用不同颜色的方块拼接出微软Logo。核心观点1.1

科技巨头加速布局智能机器人，Meta持续推进机器人模型发展资料来源：Meta官网

，谷歌学术，中信建投近年来，Meta一直是AI领域不可忽视的力量，前沿研究如CV领域的SAM模型，NLP领域的LLaMa均是相关领域的最前沿技术之一。在机器人模型领域，Meta也已经展开了较为完善的布局，提出了一些卓有成效的改进策略如数据增强、动作序列生成等，相关模型如R3M、CACTI、ASC、MT-ACT等，其他领域的核心突破如SAM模型也应用到了其中。本文将回顾Meta近年来在机器人模型领域的核心进展，梳理其中的发展脉络。图：Meta机器人模型相关进展时间轴202220232022.3R3M：引入人类视频数据作为机器人控制模型的知识来源2022.12CACTI：使用数据增强扩充了训练数据规模，并提升了模型的性能表现2023.4ASC：将强化学习与MoE技术融合以处理复杂的多任务场景2023.8MT-ACT：基于小规模的数据集，结合数据增强和动作序列生成实现较高质量的机器人控制2023.4ACT：机器人动作序列生成的Transformer沿用视觉处理部分架构作为预训练基础模型沿用数据增强思路沿用动作序列生成部分SegmentAnything（SAM）作为数据增强的工具1.2.1

R3M：基于人类视频数据的预训练机器人模型资料来源：

《R3M:

A

Universal

Visual

Representation

for

RobotManipulation》，中信建投Meta及斯坦福大学的研究人员在2022年3月推出了基于人类第一视角数据训练的机器人预训练模型R3M。核心突破：研究了一种在人类视频数据上进行机器人控制模型预训练的方法，提升了机器人控制模型的性能、效率和可用训练数据范围。通过时间对比学习、视频-语言对齐等方法来充分学习视频中的视觉信息，构建出预训练模型作为后续任务的基础。训练数据集：使用了Ego4D的人类第一视角视频数据集，包含共3500多小时的数据。数据集中的视频来自全球70多个地方，具体任务包括有烹饪、社交、组装物品等。每个视频片段由参与者一次佩戴头戴式摄像头长达

10

小时，并拍摄无脚本日常活动收集而来，其中还包含视频中人物行为的自然语言注释。图：Ego4D数据集 图：R3M模型架构对比学习帧之间的变化学习语言指令和视频操作构建出预训练模型，可以用于后续训练1.2.2

R3M：基于人类视频数据的预训练机器人模型资料来源：

《R3M:

A

Universal

Visual

Representationfor

Robot

Manipulation》，中信建投在模拟场景中，经过进一步演示的R3M模型能够整体以62%的成功率完成12项不同的操作任务，相较于其他预训练方法实现了10%的提升（如下左图绿色/黄色/蓝色柱形所示），相较于不预训练的方法提升20%，如下图（如下左图粉色柱形所示）。在现实场景中，在每个任务经过20次演示的条件下，R3M方法的成功率相较于CLIP方法的成功率实现明显提升，整体成功率为56%，高出32%，同时在关抽屉、推杯子等较为简单的任务中具有成功率较高。我们认为，相较于性能提升，R3M将人类视频数据带入机器人模型训练领域更为重要，可能成为机器人模型数据缺乏的解决方案之一。图：模拟场景中R3M模型的性能表现情况 图：现实场景中R3M的示例及性能表现情况其他预训练方法不预训练10次尝试中的成功率1.3.1

CACTI：可扩展的多任务多场景视觉模仿学习框架Meta、哥伦比亚大学及卡耐基梅隆大学的研究人员在2022年12月推出了可扩展的多任务多场景视觉模仿学习框架CACTI。阶段1——数据收集:

现实场景，通过人类演示收集了10个任务共1000个片段；模拟场景，通过强化学习智能体收集了18个任务共900个策略。阶段2——数据扩充:

通过不同的策略对专家示范数据进行增强，进而实现数据集的扩充，例如针对模拟的900个策略共生成了45000个片段。阶段3——数据压缩:

将扩充后的数据集中的“视觉”数据压缩成向量。阶段4——训练:

利用上述环节得到的不同任务数据训练出统一的控制策略。图：CACTI模仿学习框架数据收集阶段：在现实场景/模拟场景中收集相关任务的专家示范数据数据增强阶段：通过不同的策略对专家示范数据进行增强，实现数据集的扩充数据压缩阶段：将扩充后的数据集中的“视觉”数据压缩成向量。训练阶段：利用前置环节得到的任务数据训练出统一的多任务控制策略资料来源：

《

CACTI:

AFramework

for

Scalable

Multi-Task

Multi-Scene

Visual

Imitation

Learning

》，中信建投1.3.2

CACTI：可扩展的多任务多场景视觉模仿学习框架数据扩充环节旨在增强原始专家数据的多样性，主要分为视觉增强和语义增强两种方式。在现实场景中使用了开源的Stable

Diffusion模型对视觉信息进行增强和扩充，而在虚拟场景中则通过调整渲染过程的场景属性来实现。视觉增强：改变场景的视觉属性，如物体纹理、照明条件等。语义增强：包括改变场景中物体的布局（位置、方向），乃至添加新的人造物体等。图：CACTI数据扩充环节图示语义增强资料来源：

《

CACTI:

AFramework

for

Scalable

Multi-Task

Multi-Scene

Visual

Imitation

Learning

》，中信建投视觉增强1.3.3

CACTI：可扩展的多任务多场景视觉模仿学习框架训练和推理过程中，CACTI模型结合当前时刻视觉（摄像机输入）、文本（指令输入）、机械臂状态来生成下一时刻的机械臂状态。其中视觉和文本信息均沿用了R3M模型的架构来实现embedding的转换。图：CACTI训练和推理架构示意图资料来源：

《

CACTI:

AFramework

for

Scalable

Multi-Task

Multi-Scene

Visual

Imitation

Learning

》，中信建投1.3.4

CACTI：可扩展的多任务多场景视觉模仿学习框架模型性能表现：在真实机器人上部署时，总体成功率约为30%；在仿真中，在所有

18

个任务中的成功率约为

62%，且随着训练数据的逐渐丰富，模型在训练集内/训练集外的任务上性能均有所提升。实验结果证明，使用大量的互联网图像数据和人类日常行为数据来对机器人控制模型进行预训练具备较大潜力。如左图绿色柱形所示，在大部分场景中均展现出了相当甚至更优秀的效果，对于模拟环境中使用额外互联网数据效果较差的实验结果，研究人员认为这可能是模拟环境中的图像信息与现实场景图像信息差距较大导致的；同时，数据增强方法也对模型表现有着较大贡献，如下左图深蓝色柱形与橙色柱形/黄色柱形于浅蓝色柱形的对比所示，在没有经过数据增强的情况下模型能力有较为明显的下降。图：现实环境结果资料来源：

《

CACTI:

AFramework

for

Scalable

Multi-Task

Multi-Scene

Visual

Imitation

Learning

》，中信建投图：仿真环境结果随着训练数据的增加，模型在处理过的任务上的性能先降后升，在未处理过的任务上的性能持续提升在模拟场景中使用额外的互联网数据效果较差，研究人员认为这可能是模拟环境中的图像信息与现实场景图像信息差距较大导致的1.4.1

ASC：具备自适应技能协调能力的机器人模型Meta及Georgia

Institute

of

Technology的研究人员在2023年4月推出了具备自适应技能协调能力的机器人模型ASC。训练环境：导航任务环境——HM3D，包含1000个真实室内环境的高质量3D扫描，使用了其中800个作为本次的训练数据；拾取/放置任务环境——ReplicaCAD，包含104中不同布局的公寓，机器人需要将YCB数据集中的13件物品拾取、放置或重新排列到

4

件家具（容器）上。模型原理：通过强化学习在模拟环境中训练三种基于视觉的技能（导航、拾取、放置），进一步训练一种技能协调策略（如下右图黄框所示）以及一种纠正策略（如下右图绿框所示），来根据三种不同任务的输入对三种进行进行协调和控制，进而完成较为复杂的下游任务。技能协调策略&纠正策略：技能协调策略实质是混合专家模型中的门控网络，在ASC中，技能协调策略利用Dagger算法进行预训练，在这一过程中，定义好的“教师”策略会逐步指导和技能协调策略的行为，而后技能协调策略和纠正策略均通过深度强化学习进行微调。图：ASC训练的模拟环境数据集 图：ASC模型架构导航技能资料来源：

《ASC:Adaptive

Skill

Coordination

for

Robotic

Mobile

Manipulation》，中信建投拾取技能放置技能1.4.2

ASC：具备自适应技能协调能力的机器人模型模型性能：在公寓和实验室两个现实环境中，ASC模型在30次实验过程中分别实现了96.7%和100.0%的成功率，在模拟环境中，ASC模型在79中不同布局的虚拟公寓中进行了1500次的实验，实现了94.9%的成功率。实验结果表明，协调策略对模型性能影响较为显著，如下表中第2、3行所示，在模型中添加协调策略后，模型性能平均提升了12.6%，而纠正策略的增加则如1、2行所示，带来了平均6.4%的性能提升，这是由于三种基础技能都是在较为简单、孤立的场景中训练出来的，纠正策略的引入可以减少复杂的移动拾放过程中表现不佳的情况。同时，微调的方法无法代替纠正策略的作用，，如下表2、5列所示，在缺少纠正策略的情况下通过微调并不能带来性能的提升，反而性能还会有较为显著的下降。图：ASC模型在现实环境和模拟环境中的评估结果资料来源：

《ASC:Adaptive

Skill

Coordination

for

Robotic

Mobile

Manipulation》，中信建投1.4.3

ASC：具备自适应技能协调能力的机器人模型ASC模型具备较强的抗干扰能力：ASC模型针对视觉的反馈进行下一步的行动，而不是依赖于地图，因此当环境布局或动态障碍物发生变化是，ASC模型会将机器人重新安排到一条新的无碰撞路径上，如下图所示，当机器人的前进路线被障碍物或人挡住时，机器人会选择新的路线来接近目标；同时，ASC模型对目标物体的变化也具有较强的抗干扰能力，如下图所示，若机器人在搜索过程中目标发生移动机器人会继续搜索目标。图：ASC模型控制的机器人可以在面临干扰的情况下较好的完成任务在被障碍物多次阻挡后机器人仍能找到正确的路径资料来源：

《ASC:Adaptive

Skill

Coordination

for

Robotic

Mobile

Manipulation》，中信建投在被人多次阻挡后机器人仍能找到正确的路径在目标物体状态反复变化的情况下，机器人仍能持续搜索并完成任务1.4.4

ASC：具备自适应技能协调能力的机器人模型通过将更强的Owl-ViT视觉模型应用在ASC模型中，模型可以根据文本描述来识别更为复杂的物体，进而完成相应的拾取和放置任务。图：增强后的ASC模型应用在额外的复杂场景中资料来源：

《ASC:Adaptive

Skill

Coordination

for

Robotic

Mobile

Manipulation》，中信建投1.5

ACT：具备动作序列生成能力的Transformer架构Meta、Standford

University、UC

Berkeley的研究人员推出了可以进行动作序列生成的模型ACT。核心原理：针对某一时刻的输入生成接下来的若干时刻的动作预测而不是只生成下一时刻动作预测。如下左图所示，来自四个相机的输入经过encoder处理后，通过decoder得到接下来若干个时刻的动作序列。若不采用时序组合的方法（如右上图所示），模型在3、4之间需要重新进行推理得到新的4个动作，且需要为3的动作可能存在一定误差，导致模型的机器人控制出现卡顿和精确度缺乏的情况，而通过时序组合的方式则可以这些来自不同时刻的预测汇总在一起，每一个时刻的输出都是若干个时刻预测的综合，并且考虑了环境的最新变化，进而实现了更为精确而流畅的机器人控制。图：ACT模型架构 图：动作分块与时序组合的原理示意图资料来源：

《Learning

Fine-Grained

Bimanual

Manipulation

with

Low-Cost

Hardware》，中信建投每个时刻的输出是多次预测的加权组合1.6.1

RoboAgent：通过语义增强和动作序列生成提升机器人操控的通用性和效率Meta及Carnegie

Mellon

University的研究人员在2023年8月推出了高效的通用机器人模型框架MC-ACT。模型框架：训练过程中，在语义增强阶段利用内绘增强技术使训练数据多样化，在策略学习阶段使用多任务动作分块转化器训练语言条件策略，将多模式多任务数据纳入单一的多任务机器人控制模型中。推理过程中结合用户的文本输入和摄像头的图像输入对机械臂进行控制。图：MC-ACT模型框架资料来源：

《RoboAgent:

Generalization

andEfficiency

in

Robot

Manipulation

via

Semantic

Augmentations

and

Action

Chunking》，中信建投1.6.2

RoboAgent：通过语义增强和动作分块提升机器人操控的通用性和效率训练数据：包含通过人类远程操作收集的7500个片段，具体任务包括有拾取、放置、开启、关闭等，其中拾取和放置动作的数据量较大，均超过了1000条。相较于此前的机器人数据集如RT1，RoboAgent数据集的规模更小但覆盖的任务范围更广。图：MT-ACT可以执行十二种不同的任务 图：RoboAgent数据集任务种类分布（上）及和其他数据集对比（下）数据量对比资料来源：

《RoboAgent:

Generalization

andEfficiency

in

Robot

Manipulation

via

Semantic

Augmentations

and

Action

Chunking》，中信建投训练任务种类对比不同种类任务训练数据分布1.6.3

RoboAgent：通过语义增强和动作分块提升机器人操控的通用性和效率语义增强：使用了SegmentAnything模型，基于其从海量互联网数据中提炼出的视觉知识，可以自动的检测并分割出视频中的相关物体，再进一步在相关区域中引入由文本提示提供的物体，对背景（如下左图（b）所示）

和被操作物体（如下左图（b）所示）进行增强。语义增强为模型性能带来了明显的提升，尤其在更为困难的任务中提升更大。如右下图所示，对着对单一图像输入的语义增强数量从1提升到7，L1-L3三种任务的成功率均有提升，其中L3的提升最为明显，成功率从不足10%提升到了50%以上。图：MT-ACT借助SegmentAnything对背景和被操作物体进行语义增强图：语义增强为模型性能带来了明显提升对背景的增强对被操作物体的增强资料来源：

《RoboAgent:

Generalization

andEfficiency

in

Robot

Manipulation

via

Semantic

Augmentations

and

Action

Chunking》，中信建投1.6.4

RoboAgent：通过语义增强和动作分块提升机器人操控的通用性和效率模型性能：相较于此前的模型（调整了其他可比模型的训练数据规模），MT-ACT在所有难度的任务中展现出了更强的性能表现，在L1、L2、L3难度的任务中分别实现了81.67%、65.17%、31.33%的成功率。在其他方法都无法成功的L4难度中，MT-ACT实现了将近25%的成功率。我们认为，MT-ACT为有限训练数据情况下的机器人控制模型训练提供了成功案例，有望成为后续机器人模型发展的重要技术路线之一。图：MT-ACT性能情况L4:Newkitchenneverseen

beforeL1—改变被操作物体的形态及场景灯光L2—增加新的干扰物体L3—增加新的任务和被操作物体L4—新的环境资料来源：

《RoboAgent:

Generalization

andEfficiency

in

Robot

Manipulation

via

Semantic

Augmentations

and

Action

Chunking》，中信建投L1场景成功率L1/L2/L3场景成功率L4场景成功率1.7

Meta机器人模型进展总结资料来源：Meta官网，谷歌学术，中信建投基本信息模型名字R3MCACTIASCRoboAgent/MT-ACT发布时间2022.32022.122023.42023.8研究机构Meta、Stanford

UniversityMeta、Columbia

University、CMUMeta

FAIR、Georgia

Institute

ofTechnologyMeta

FAIR、CMU数据整体数据集内容人类第一视角视频数据集（Ego4D）RL+人类演示模拟环境中强化学习导航模块：HM3D模块操作（拾取、放置）：ReplicaCAD机器人数据集大小3500小时人类演示：10个任务，每个5次演示（重复20次）RL：45000个机器人操作片段7500个片段（数据增强前）12种技能数据集收集方式参与者一次佩戴头戴式摄像头长达

10

小时，并拍摄无脚本日常活动的第一人称视频。并通过自然语言进行注释人类演示：收集后使用stablediffusion进行增强RL：针对单一任务通过RL得到专家策略，增加相应的视觉信息和噪音进行增强人类控制硬件机器人频率（单位：Hz）12.52（control）/12（sensor）5机器人FrankaEmikaPanda

robotFrankaEmikaPanda

robot（8action

dimension）BostonDynamicsSpot

robotFrankaEmikaPandaarm（8

actiondimension）模型视觉处理R3MR3M（使用互联网数据和本次模型数据预训练）MoCo（仅使用本次的模型数据）Mask

R-CNNOwl-ViTFiLM/CNN语言处理DistilBERTDistilBERT（设置与R3M一致）综合处理模型/MLP协作模块（本质为MoE的门控网络）Transformer/ACT算力训练芯片NvidiaTitanXp,or

similar2080Ti（训练时长：48hours）推理芯片RTX

3070Meta的机器人模型与谷歌有所差异，目前的工作中尚未尝试将大语言模型与机器人控制所结合。同时相较于谷歌尝试利用大规模的数据集提升机器人模型的表现，Meta的相关工作更加关注如何使用小规模的数据实现通用机器人控制模型的构建，也即数据效率方面的提升。Meta在ASC模型中采用的强化学习与MoE的结合也是值得关注的方向，为强化学习在复杂多任务场景中的进一步发展提供可能。图：Meta机器人模型梳理2.1.1

LATTE：结合预训练模型的机器人轨迹控制模型Microsoft及Technische

Universität

München

的研究人员在2022年8月推出了基于自然语言的机器人轨迹控制框架LATTE模型框架：使用Bert模型处理用户文本指令，使用CLIP模型处理图像输入，并且与用户的文本输入相匹配，进而识别出用户指令中的目标对象。上述信息与经过Encoder处理的物体姿态信息和航迹信息相结合，通过Decoder生成全新的航迹。图：LATTE模型架构对象图像资料来源：

《LATTE:

Language

Trajectory

Transformer》，中信建投文本指令使用BERT模型和CLIP模型对文本指令和图像输入进行处理对象状态初始轨迹2.1.2

LATTE：使用预训练模型的机器人轨迹控制模型训练数据：每个数据样本都包含基础轨迹和修改后的轨迹（如下左图红色为基础轨迹，蓝色为生成的轨迹）、自然语言输入（包括绝对方向的变化、速度的变化、相对方向的变化三个方面）、对象姿态和对象图像（来自Bing的图片查询）。运行结果：航迹可以根据用户指令的要求，实现轨迹、速度方面的变化，如下中图所示，用户要求无人机离“演员”远一些，最终生成的蓝色轨迹相较于初始的红色轨迹离环境左下角中的“演员”更远，在做出速度方面的要求后，生成的新轨迹也有明显的速度下降。模型性能：研究人员收集了来自10名参与者的300个数据点，大多数用户都认为数据集中的轨迹及模型中的轨迹正确的反应了语言命令要求的更改，同时缺少语言模型的输入或2D的轨迹修正都会导致模型效果非常糟糕，反向佐证了这一思路的效果。同时，模型继承了大语言模型一定的泛化性能，能够在76%的情况下以相当或更好的效果处理未见过的指令输入。图：自动生成的训练数据 图：模拟/现实场景的运行结果示例 图：模型性能分析模型在处理训练集内的指令和训练集外的指令的对比资料来源：

《LATTE:

Language

Trajectory

Transformer》，中信建投大多数