CN119407795A 一种基于双环策略的杂乱堆叠场景长序列物体抓放决策的方法 （浙江大学）

一种基于双环策略的杂乱堆叠场景长序列本发明公开了一种基于双环策略的杂乱堆2步骤2：通过预训练的开集物体检测算法获取当前和目标场景中所有的物体包围框并步骤4：根据当前场景的RGB_D图像，通过预训练的抓取步骤5：根据获得的当前和目标场景所有物体的视觉特征和抓取动作特征，利用步骤10：根据步骤7得到的所抓取的物体和步骤8得到的步骤14：重复步骤1_13直到所有物体都重排到其目标状态则2.根据权利要求1所述的基于双环策略的杂乱堆叠场景长序列物体抓放决策的方法，RGB图像得到各个物体包围框的图像表征，将当前和目标场景中的物体图像表征分别记为和。3.根据权利要求2所述的基于双环策略的杂乱堆叠场景长序列物体抓放决策的方法，4.根据权利要求1或2或3所述的基于双环策略的杂乱堆叠场景长序列物体抓放决策的35.根据权利要求4所述的基于双环策略的杂乱堆叠场景长序列物体抓放决策的方法，,依次计算中心像素点的3D位置坐标，再通过位置编码网络编码为当前和目标场景中的物;场景的视觉交叉注意力特征作为key和value，计算得到视觉和动作模态的交6.根据权利要求5所述的基于双环策略的杂乱堆叠场景长序列物体抓放决策的方法，7.根据权利要求5或6所述的基于双环策略的杂乱堆叠场景长序列物体抓放决策的方48.根据权利要求7所述的基于双环策略的杂乱堆叠场景长序列物体抓放决策的方法，9.根据权利要求1或2或3或5或6或8所述的基于双环策略的杂乱堆叠场景长序列物体10.根据权利要求9所述的基于双环策略的杂乱堆叠场景长序列物体抓放决策的方法，配算法SuperGlue提取抓取物体与其匹配的目标物体之间的特征对应点，然后通过点云配5[0002]目前，杂乱堆叠场景下长序列物体抓放是机器人操作领6[0014]步骤2：通过预训练的开集物体检测算法获取当前和目标场景中所有的物体包围[0017]步骤5：根据获得的当前和目标场景所有物体的视觉特征和抓取动作特征，利用7baseline，步骤4具体为：输入当前场景RGB一D图像，输出该场景下的抓取动作集合[0031]步骤51：根据步骤2得到的当前和目标场景中所有的物体包围框[o-w和和步骤51得到的当前和目标场景中的物体位置特征相K)v；目标场景的视觉交叉注意力特征作为key和value，计算得到视觉和动作模态[0037]作为进一步地改进，本发明所述的步骤6中，根据步骤5获得的交叉注意力特征8法RAFT预测光流，到的物体光流为，到目标图像lg的全局光流为。置空闲，则先通过图像匹配算法SuperGlue提取抓取物体与其匹配的目标物体之间的特征9[0055]步骤2：通过预训练的开集物体检测算法获取当前和目标场景中所有的物体包围[0060]步骤7：根据抓取动作的概率值选取抓取动作，机器人执行概率值最高的抓取动的实时RGB_D图像以及目标场景的RGB_D图像，采用开集物体检测算法检测出物体包围框，采用视觉基础模型生成所有包围框的视觉特征，采用抓取算法生成场景中的抓取动作集[0071]在本发明的一项具体实施中，在步骤2中，所述的开集物体检测算法输入场景的和。过Open3D的create_point_cloud_from_rgbd_image接口从场景的RGB_D图像生成场景点[0075]步骤51：根据步骤2得到的当前和目标场景中所有的物体包围框[o-w和和步骤51得到的当前和目标场景中的物体位置特征,相K)v；将目标场景物体的视觉_位置特征作为key和value，计算得到当前和目标场景[0083]在本发明的一项具体实施中，步骤9判断匹配分数是否大于所有目标物体平均匹的填充图像为，所抓取的物体匹配的目标物体的填充图像为，采用预训练光流算法像大小一致，每一个像素点表示两张图像之间的变化矢量；记到的物体光流为先通过图像匹配算法SuperGlue提取抓取物体与其匹配的目标物体之间的特征对应点，然后通过点云配准算法RANSAC进行配准以预