版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
VLA实战项目ACT算法与Diffusion
policy实践课时13:ACT算法实践课时14:DiffusionPolicy实战</>
算法原理与代码实现实战部署与评估模块七课时13:ACT算法实践-概述ACT(ActionLearning)算法是一种基于Transformer的动作分块算法,能将复杂动作序列分解为简单动作单元,提高机器人
执行效率与准确性。通过将动作分解为更小的单元,机器人可以更高效地学习和执行复杂
任务,减少高频收集的长轨迹的有效视界,从而减少模仿学习的复合
错误。 算法核心特点 基于Transformer架构,能够处理序列数据并生成一系列动作预测 采用动作分块策略,将复杂动作分解为简单单元 结合时间集合机制,提高动作执行的平滑性与连续性
将动作建模为条件变分自编码器(CVAE),提高动作生成的准确性复杂任务分块动作序列动作2动作3动作4动作5动作6动作分块示例提高执行效率减少复合错误增强动作准确性动作1动作分块(Action
Chunking)机制动作分块是神经科学中的一个概念:独立的动作会被组合到一起并作为一个单元被执行,这样会使得动作被存储和执行的效率更
高。动作分块示意图
动作分块的优势>
使动作更有效地被存储和执行>
减少高频收集的长轨迹的有效视界
>
减少模仿学习的复合错误>
帮助模拟人类演示中的非马尔可夫行为
实际应用考量纯粹的动作分块每k步会突然合并一个新的环境观察,可能导致机器人运动
不稳定。
将块大小固定为k,每k步接收一个观察,生成下k个动作,并按顺序执行这些动作为提高平滑性并避免在执行和观察之间的离散切换,需要引入时间集合机制。 每k步接收一个观察,生成下k个动作,并按顺序执行A1A2A3A4由生成k个动作(k=4)观察
t=0时间集合机制时间集合机制通过在每个时间步预测未来k个动作,并使用指数加权平均多个预测结果,有效提高动作执行的平滑性与连
续性。这种方法避免了在执行和观察之间的离散切换,使机器人运动更加
稳定流畅。
核心优势 增强动作执行的平滑性与连贯性 减少机器人动作中的突变与抖动 通过多时间步预测提高系统鲁棒性 与动作分块机制协同工作,优化整体性能t=3时刻动作生成权重低权重较低权重较高权重最高指数加权平均最终t=3时刻执行动作t=
0
t=0
t
=
1
t=1
t=
2
t=2
t=
3
t=3
t=0预测t=1预测t=2预测t=3预测时间集合机制工作原理t=1t=2t=3t=4t=2t=3t=4t=5t=3t=4t=5t=6CVAE编码器-解码器架构ACT算法采用条件变分自编码器(CVAE)来建模动作数据,将复杂的动作生成问题转化为可学习的概率模型。CVAE编码器>输入:
动作序列+
观测数据
压缩信息为潜在表示>仅在训练阶段使用>推理时被丢弃CVAE解码器》
输入:
风格变量z+当前观测》生成动作序列预测》
训练和推理阶段均使用
》
基于Transformer架构CVAE优势支持条件生成,提高动作预测准确性通过风格变量z捕捉动作多样性在推理时可以生成连贯动作序列
观测数据组成
4张RGB图像(460×640分辨率) 机器人关节位置(14维向量)风格变量z32维高斯分布编码动作多样性<CVAE编码器结构与工作原理CVAE编码器将动作序列和观测压缩成风格变量z,在
训练过程中用于指导解码器生成动作序列。
编码器输入组成[CLS]token随机初始化的学习权值嵌入关节位置(embedded
joints)14维关节位置通过线性层投影到512维嵌入动作序列(embedded
action
sequence)
k×14维动作序列投影到k×512维 编码器处理流程 将三种输入组合成(k+2)×512的序列 通过Transformer编码器处理序列
取第一个输出(对应[CLS]标记) 使用线性网络预测分布的均值和方差 通过重参数化获得风格变量z样本均值(Mean)风格变量z的期望值方差(Variance)风格变量z的不确定性 风格变量z被参数化为对角高斯分布,用于捕捉动作风格的多样性编码器输出
关键技术点解码器中的transformer解码器使用"query"作为第一层固定的正弦位置嵌入(k×512维)
,
而"keys"和"values"来自transformer编码器的输出。这种设计使模型能够在给定编码器输
出的情况下有效地预测动作序列。
技术优势CVAE解码器通过整合多模态信息(视觉、关节状态、风格变量),能够生成更准确、更
平滑的动作序列。其设计允许模型捕捉动作的时间依赖性和空间关系,提高机器人执行
任务的效率和准确性。CVAE解码器概述CVAE解码器是ACT算法的核心组件,负责将视觉观察、关节位
置和潜在风格变量z转换为预测的动作序列。通过transformer架
构,实现从多模态输入到动作预测的映射。
输入处理
4张RGB图像(460×640)
机器人关节位置(14DoF)
风格变量z(32维)
特征提取四ResNet16处理图像(15×20×726)
添加2D正弦位置编码
线性投影至统一维度(512) Transformer处理
编码器处理1202×512维特征
解码器使用固定正弦位置编码
交叉注意力连接编解码器
输出生成晶
预测k×14维动作序列
时间集成优化动作平滑性
输出机器人关节位置控制CVAE解码器结构与工作原理
解码器在推理阶段使用,而编码器仅用于训练阶段。这种设计
使模型能够在测试时仅依赖当前观察生成动作。解码器工作流程
创建虚拟环境并激活condacreate-nalohapython=3.8.10condaactivatealohaMobileALOHA项目环境配置 环境依赖安装
安装相关的依赖包pipinstalltorchvisiontorchpyquaternionpyyamlrospkgpexpectmujoco==2.3.7dm_control==1.0.14opencv-pythonmatplotlibeinopspackagingh5pyipython
cd到项目文件夹并安装detrcdact-plus-pluscddetr&&pipinstall-v-e.
安装robomimic,注意为robocasa分支/ARISE-Initiative/robomimic/tree/robocasagitclone/ARISE-Initiative/robomimic.gitcondaactivatealohacdrobomimic&&pipinstall-v-e.
安装wandbpipinstallwandbwandblogin进行相关配置模型训练流程(imitate_episodes.py) 训练流程图config={'num_steps':num_steps,'eval_every':eval_every,......}初始化配置main函数train_dataloader,val_dataloader=load_data(
.
.
.)数据加载load_data函数best_ckpt_info=train_bc(train_dataloader,val_dataloader,config)训练循环train_bc函数torch.save(best_state_dict,os.path.join(ckpt_dir,f'policy_best.ckpt'))模型保存train_bc函数1
.加载训练模型从检查点目录中加载训练好的模型和配置文件,准备进行评估。2.创建评估环境初始化模拟或真实环境,设置相关参数如onscreen_render以支
持实时渲染。3.执行策略运行运行策略对象的__call__方法,传入观察数据,生成动作预测,
控制机器人执行任务。4.计算评估指标收集任务完成情况,计算成功率,评估模型性能。完成多次实验后生成平均指标。python3imitate_episodes.py
--eval\--task_name
sim_transfer_cube_scripted\--ckpt_dir
trainings
--policy_class
ACT\--kl_weight10
--chunk_size
100
\--hidden_dim512
--batch_size
6\--dim_feedforward3200
--lr
1e-5\--seed0
--num_steps20
--onscreen_render评估结果示例:
Success:True模型评估与验证流程
成功率:
100%模型文件结构评估命令示例真实环境部署与实践ACT算法在真实环境中的部署需要完成硬件配置、环境准备、数据采集、模型训练到最终推理部署的完整流程。5.
模型训练
<运行train.py
,指定数据集、策略、环境和输出目录,训练ACT模
型1.
硬件配置配置机械臂两台(主控臂和随从
臂)、外置摄像头两个,需要至少
4GB显存算力资源>Q2.
端口与索引查询运行find_motors_bus_port.py查询
通信端口号,运行opencv.py查询
摄像头索引值4.
数据采集使用control_robot.py脚本进行数
据采集,设置适当的FPS、采集时
间和集数3.
机械臂标定运行calibration.py
,将随从臂和主
控臂移动到零位、旋转位和重置位
进行标定6.
推理部署使用control_robot.py脚本进行推
理,通过-p参数指定训练好的模型
检查点路径确保端口权限设置正确:
sudochmod666
/dev/ttyACMx
部署要点单目标任务采集约100组数据,多目标任务需进行多个
数据集混合训练 部署流程机械臂标定过程示例推理时通过tags参数添加eval标签以表明这是推理过程DiffusionPolicy将机器人动作生成建模为条件去噪扩散过程,通过学习动作评分函数梯度生成高质量动作序
列。不同于传统策略学习方法,
Diffusion
Policy不直接输出动作,而是通过随机朗之万动力学步骤优化梯度场,从而生成
更平滑、更精确的动作序列。 算法核心优势 能够生成高质量、多模态的连续动作序列 通过闭环动作序列预测提高长期规划的时间一致性 有效处理视觉观察条件化,提高动作生成准确性 适应性强,可用于多种机器人控制任务
实现方式>
基于CNN的扩散策略>
基于Transformer的扩散策略
前向扩散过程通过逐步添加高斯噪声,将真实数据分布转
换为高斯分布
反向去噪过程通过神经网络学习从噪声中恢复原始数据的
能力
视觉观察条件化基于观察预测动作,无需推断未来状态
梯度优化通过随机朗之万动力学步骤优化梯度场生成
动作去噪步骤动作序列课时14:Diffusion
Policy实战
-概述高斯噪声条件去噪扩散过程扩散模型基础:前向扩散过程
前向扩散原理前向扩散过程定义为一个马尔可夫链,通过逐步添加高斯噪声将真实
数据x₀转化为纯噪声x_T
,实现数据分布向高斯分布的平滑过渡。
数学表达其中\bar{\alpha}_k=\prod_{i=1}^k(1-\beta_i)
,通过递归推导得到 关键特点 逐步添加噪声,使数据分布平滑过渡到高斯分布
每一步只依赖上一步的状态(马尔可夫性质) 噪声方差β_k随步骤增加而增大,确保最终接近标准高斯分布x₀原始数据
β1x1轻微噪声x2中等噪声x_T纯噪声...
β2
β3
...
β_Tq(x_k|x_{k-1})=\mathcal{N}(x_k;\sqrt{1-\beta_k}x_{k-1},\beta_k\mathbf{I})q(x_k|x_0)=\mathcal{N}(x_k;\sqrt{\bar{\alpha}_k}x_0,(1
-\bar{\alpha}_k)\mathbf{I})其中β_k是第k步的噪声方差,通常采用线性调度策略β1<β2<...<β_T 噪声方差逐步增大:
β1<
β2<...<β_T前向扩散过程示意扩散模型基础:反向去噪过程反向去噪过程是一个参数化的马尔可夫链,通过神经网络ε_
θ
预测每一步的噪声并逐步恢复数据。该过程通过迭代去噪实现从噪声到数据的逆向生成,是扩散模型生成能力的核心。
数学表达pθ(xk-1|x
k)=
N(xk-1;
μθ(xk,k),
σk2I)公式(6-3):参数化马尔可夫链μθ(xk,k)=(1/√αk)(xk
-
(βk/√(1-ᾱk))εθ(xk,k))公式(6-4):均值计算 关键要点 神经网络ε
θ预测每一步的噪声,是去噪过程的核心
σk2通常取固定值或根据βk动态调整 反向过程是一系列随机朗之万动力学步骤的优化
通过逐步迭代,将纯高斯噪声转化为有意义的数据分布</算法2:采样流程1
.
xT
~
N(0,
I)2.对于t
=T,
T-1,
...,
1
:3.z
~
N(0,
I)如果t>
1,否则z
=
04.
计算xt-1通过去噪公式5.返回x0纯噪声
xT去噪过程
原始数据
x0 反向去噪过程可视化迭代过程逐步去噪神经网络预测噪声数据恢复生成结果
噪声估计网络设计>通过神经网络ε
θ预测噪声并逐步恢复动作数据>
采用两种主要架构:基于CNN和基于Transformer的网络 DP策略创新点>
将条件扩散模型应用于机器人动作生成领域>
使用观测条件化(视觉输入)指导动作生成>
优化了噪声估计网络以适应动作序列的时序特性
闭环动作序列预测>以最新的To步观察数据为输入,预测Ta步动作>在不重新规划情况下执行Tp步动作,兼顾长期规划与即时响应DDPM的核心是通过神经网络估计噪声,DiffusionPolicy创新性地将其应用于机器人动作生成,实现闭环动作序列预测。DDPM的噪声估计网络噪声估计网络工作流程观测输入动作生成噪声估计基于CNN的扩散策略采用1D时间卷积网络(TCN)处理动作序列,通过
FiLM调节每个卷积层通道,生成平滑连续的时间依赖动作。
网络架构设计
输入维度:[Batch,时间步长,动作维度]晶
配置:3个卷积块,每个块包含1D卷积层、层归一化和ReLU激活函数 条件化机制:FiLM模块在每个卷积层后插入,通过观测嵌入生成 关键特点与优势
具有"局部感受野",对相邻时间步的动作做卷积,学习平滑的、连续的时间依赖 训练稳定,对超参数要求相对宽松 仅预测动作轨迹,采用滚动预测窗口机制 限制:当期望的动作序列随时间快速变化时表现较差,可能因时间卷积的归
纳偏差倾向低频信号CNN-based
Diffusion
Policy实现图:CNN骨干网络架构示意图,展示了1D时间卷积网络处理动作序列的流程为减少CNN模型中的过度平滑效应,基于Transformer架构的扩散策略借鉴了minGPT思想,特别适用于动作
序列随时间快速变化的场景。 核心架构组件
交叉注意力机制:连接观测特征与动作序列,融合多模态
信息
因果注意力掩码:确保模型仅关注过去和当前时间步,维
持时序依赖
动作嵌入
:通过线性映射和位置编码处理动作序列
扩散步骤嵌入
:使用正弦位置编码表示去噪过程中的时间
步
观测嵌入
:通过共享
MLP处理视觉和状态信息
相对CNN方案的优势>
更适合处理时间上快速变化的动作序列>
减少过度平滑效应,保留动作的细节变化>
通过注意力机制捕获长距离依赖关系TransformerEncoder特征嵌入多头注意力前馈网络TransformerDecoder因果注意力掩码交叉注意力层前馈网络预测的动作序列(PredictedActionSequence)Transformer-based
Diffusion
Policy实现白观测输入(Observation)状态编码(State
Encoding)扩散时间步(Diffusion
Step)
交叉注意力连接
因果注意力掩码Transformer-basedDiffusionPolicy架构交叉注意力
conditional_sample.pydef
conditional_sample(self
,
batch_size
:int
,
global_cond
:
Tensor|None=None
,generator
:
torch.Generator
|
None=None)
->
Tensor
:"""条件采样推理,生成动作序列"""device
=
get_device_from_parameters(self)dtype
=
get_dtype_from_parameters(self)#采样初始噪声sample=
torch.randn(size=(batch_size
,
self.config.horizon
,
self.config.output_shapes["
action
"]
[0])
,dtype=dtype
,device=device
,generator=generator
,)#
设置去噪步骤self.noise_scheduler.set_timesteps(self.num_inference_steps)条件去噪过程与代码实现Jr
条件去噪过程条件扩散模型通过迭代去噪过程,基于观察条件生成
高质量的动作序列。每一步迭代都会减少噪声并增强动作的精确性。巴初始噪声采样生成随机高斯噪声作为初始动作序列迭代去噪更新逐步去除噪声,提炼出清晰的动作序列由条件特征融合将全局条件信息融入噪声预测过程生成最终动作返回完成去噪过程的动作序列样本条件去噪公式Ak-
1
t
=α(Akt
-γεθ
(Ot,Akt,k)+N(0,σ²
I)) Ak-1
t表示去噪后的动作序列
e
α是去噪步长的缩放系数 γ是学习率,控制每次更新的幅度
εθ
是噪声预测网络的输出
代码实现去噪过程可视化关键实现步骤初始噪声中间状态最终动作代码实现def
compute_loss(self,batch:dict[str,
Tensor])
->
Tensor:#规范化输入数据batch=self.normalize_inputs(batch)#提取和拼接全局条件特征global_cond=self._prepare_global_conditioning(batch)#扩散过程(前向扩散)trajectory=
batch["action"]eps=torch
.randn(trajectory
.shape,device=trajectory.device)#随机选择时间步并添加对应的噪声timesteps=
torch.randint(low=0,high=self.noise_scheduler.config.num_train_timesteps,size=(trajectory
.shape[0],),device=trajectory.device,)
.long()noisy_trajectory=self.noise_scheduler.add_noise(trajectory,eps,timestep#调用模型进行预测(即网络
ϵ_θ)预测类型可配置为噪声(epsilon)或原始动作(sample)
掩码处理确保填充动作不影响损失计算
ϵk表示真实噪声
ϵθ(Ot,A0t
+
ϵk,
k)表示网络预测的噪声
MSE是均方误差损失函数
实现关键步骤1
规范化输入数据2
准备全局条件特征3
执
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年Q1起重机指挥模拟考试题库50题及答案
- 2026年反三违安全教育考模拟试卷及答案
- 事业单位财会岗面试易错题题库及答案
- 2026年北京航空航天大学校医院医生岗位招聘备考题库(含答案)
- 2026年测绘工程考试题库带答案
- 2026年麾托车科目一题库及参考答案
- 2026年八纲辨证试题库及参考答案
- (公基)2026年事业单位考试题库及参考答案
- 2026年病理学神经系统疾病题库及参考答案
- 2026年ECMO考试题库带答案
- 应急维修动力照明火灾自动报警施工方案
- 2025宁波银行总行金融科技部校园招聘笔试历年典型考题及考点剖析附带答案详解
- TCCAATB 0080-2025民用机场旅客随身携带行李的卡控服务
- 反恐防范宣传课件
- 脑卒中神经内科诊疗与防治要点
- 肿瘤药物给药顺序及解毒剂
- 上海奉贤区区属国有企业招聘笔试题库2025
- 建筑挡烟垂壁设计图集
- 设计素描分割重构方法
- 教育部人文社会科学重大项目标书3
- 风光储储能项目PCS舱、电池舱吊装方案
评论
0/150
提交评论