CN115213896B 基于机械臂的物体抓取方法、系统、设备及存储介质 （浙江西图盟数字科技有限公司）

本申请公开一种基于机械臂的物体抓取方收采集设备发送的目标区域的目标图像和目标域坐标包括目标物体的各个像素点中每个像素定目标物体的目标位姿；向机械臂发送目标位2接收采集设备发送的目标区域的目标图像和目标点云数据，所述根据所述目标图像、所述目标物体对应的目标标识信息和预存的其中，所述物体点云数据为所述目标物体在目标坐标系下获取所述目标标识信息对应的点云模板数据，所述点云模根据所述物体点云数据、所述点云模板数据、预设的点特征直方获取所述采集设备与所述机械臂的基座之间的目标坐标根据所述优化位姿和所述目标坐标转换关系确定所述目标位姿所述根据所述目标图像、所述目标物体对应的目标标识信息和预存的目标分割模型，确定每个样本图像的样本像素区域，并确定每个样本图像将所述目标图像输入至所述目标分割模型中得到所述目标图像的多个像素区域中各像素区域对应的标签信息，所述标签信息中包括所述像素区域对应的标识信息和区域坐将所述目标像素区域对应的区域坐标确定为所述获取所述目标图像包括的每个像素点的坐标与每个所述目标点云数据的坐标之间的根据所述映射关系确定所述区域坐标对应的所述物3根据每个样本图像对应的目标轮廓，对每个样本图像进行区域划分其中，所述目标轮廓内的像素点形成所述第一样本像素区域，轮廓对应的标识信息作为所述第一样本像素区域对根据像素区域中每个像素点的坐标确定所述像素区域对获取物体在各不同位姿下的第一坐标转换关系和对应的第二坐标换关系为所述基座与所述抓手之间的坐标转根据每个第一坐标转换关系和对应的第二坐标转换关系，得到所述目标坐标转换关根据每个第一坐标转换关系和对应的第二坐标转换关系，得到每个第一在所述目标物体的点云数据上选取至少两个点云数据建立所述所述采集设备，用于采集目标区域的目标图像和目标点云数据，所述所述电子设备，用于接收所述采集设备发送的目标图像和目标点云数所述电子设备，还用于根据所述目标图像、所述目标物体对应的目标4所述电子设备，还用于根据所述目标点云数据和所述目标区域坐标，所述电子设备，还用于根据所述物体点云数据确定所述目标物体的目其中，所述物体点云数据为所述目标物体在目标坐标系下获取所述目标标识信息对应的点云模板数据，所述点云模获取多个物体的样本图像；确定每个样本图像的样本像素所述计算机程序被所述处理器执行时实现权利要求1至8任一项所述的基于机械臂的物体被处理器执行时实现权利要求1至8任一项所述的基于机械臂的5[0012]将目标图像输入至目标分割模型中得到目标图像的多个像素区域中各像素区域[0016]获取目标图像包括的每个像素点的坐标与每个目标点云数据的坐标之间的映射6本图像的第一样本像素区域和第二样本像素[0041]根据每个第一坐标转换关系和对应的第二坐标转换关系，得到目标坐标转换关789散的点云数据连续性更好，因此相较于现有技术中直接利用点云数据得到目标物体的点输入至目标分割模型中得到目标图像的多个像素区域中各像素区域对应的标签信息之前，练方法可以减少因新增物体类别而重复训练的[0097]对每个样本图像进行边缘分割处理，得到每个样本图像包括到目标区域坐标中的像素点对应的目标物体的标转换关系对应的第三坐标转换关系；将多个第三坐标转换关系进行最小二乘拟合计算，将采集到的数据送入深度语义分割模型，经本申请的点云定位分割模块得到目标零件点目标零件的抓取位姿，并将该抓取位姿经过位姿转换模型得到机械臂基座下的抓取位姿，最后将该实际抓取位姿经过网络传送到远端机械臂执行系统，完成最终的机械臂抓取操匹配及两点建系的方法准确估计零件空间6自由度位姿。该点云特征匹配方法可以准确地估计无规则零件的抓取点位及空间三维x,y,z轴的角度。对于任意放置的零件均能准确计考虑，本申请方法获得的零件位姿较由平面位姿加景深图融合而得到的立体位姿更加准[0132]获取目标图像包括的每个像素点的坐标与每个目标点云数据的坐标之间的映射本图像的第一样本像素区域和第二样本像素的点特征直方图及预设的基于采样匹配一致性的特征匹配算法得到所述目标物体的初始[0153]根据每个第一坐标转换关系和对应的第二坐标转换关系，得到目标坐标转换关[0161]关于基于机械臂的物体抓取系统的具体限定可以参见上文中对于基于机械臂的计算机程序被处