CN114417616B 一种装配机器人遥操作环境的数字孪生建模方法及系统 （青岛理工大学）

一种装配机器人遥操作环境的数字孪生建本发明涉及一种装配机器人遥操作环境的器人坐标系与图像采集设备坐标系的坐标转换器人在图像采集设备坐标系中的位姿信息确定配体和机器人的相对位置关系建立遥操作环境2识别图像中当前正在装配的零部件；查询装配体装配顺序，根据已装配零部件列表生成当前装配体的三维模型，并计算当前根据坐标转换关系对图像中的机器人进行方位标定，确定机器人根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关基于当前装配体的三维模型、机器人三维模型以及当前装配体和机利用图像采集设备的内参和成像模型将当前装将装配体点云输入至点云特征提取网络提取装配将装配体的点云特征输入至预训练的位姿估计网络，输出装配体确定初始信息；提取并记录初始视角下装配体三维模型点点云转换；提取装配体三维模型在一与初始视角不同的另一视角下的装配体深度图；计算每一点的位姿预测信息与标签姿态信息的欧式距离，根据欧式距离生成置信度；2.根据权利要求1所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在将深度图像中装配体不同零部件的区域使用不同颜色标签进行标识33.根据权利要求2所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在按照预定义的装配体各零部件间的约束关系确定列表中各零部件在装配体根据列表中各零部件在装配体上的位置调整各零部件的三维模型4.根据权利要求2所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在控制机器人做点位间歇运动，在每个间歇运动点，通过机器人控根据定位标识物的特征点在RGB图像中的像素坐标Zi(ui,vi)以及RGB-D相机的成像模获取四个以上间歇运动点的定位标识物在机器人坐标系下的坐标Pi(xwi5.根据权利要求4所述的一种装配机器人遥操作环境的数字孪生建模方法，其特征在装配体数字化模块，预加载有装配体中各零部件的三维模，各零装配体重建模块，用于识别图像中当前正在装配的零部件以及查询装配体装配顺序，机器人定位模块，用于确定机器人坐标系与图像采集设备坐标系的坐标数字孪生模型重建模块，用于根据当前装配体在图像采集及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置关系；4利用图像采集设备的内参和成像模型将当前装将装配体点云输入至点云特征提取网络提取装配将装配体的点云特征输入至预训练的位姿估计网络，输出装配体确定初始信息；提取并记录初始视角下装配体三维模型点点云转换；提取装配体三维模型在一与初始视角不同的另一视角下的装配体深度图；计算每一点的位姿预测信息与标签姿态信息的欧式距离，根据欧式距离生成置信度；7.根据权利要求6所述的一种装配机器人遥操作环境的数字孪生建模系统，其特征在8.一种电子设备，包括存储器、处理器及存储5[0002]在装配机器人遥操作中，本地端的操作者需要操控远程端的机器人完成装配任[0011]加载机器人三维模型，确定机器人坐标系与图像采集设备坐标系的坐标转换关[0013]根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器6[0020]按照预定义的装配体各零部件间的约束关系确定列表中各零部件在装配体上的[0024]利用图像采集设备的内参和成像模型将当前装配体的深度图像转换为装配体点所述确定机器人坐标系与图像采集设备坐标系的坐标转换关系的步骤7[0036]根据定位标识物的特征点在RGB图像中的像素坐标Zi(ui,vi)以及RGB-D相机的成[0045]机器人定位模块，用于确定机器人坐标系与图像采集设备坐标系的坐标转换关息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器人的相对位置8[0057]术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组[0063]加载机器人三维模型，确定机器人坐标系与图像采集设备坐标系的坐标转换关[0065]根据当前装配体在图像采集设备坐标系中的位姿信息以及机器人在图像采集设备坐标系中的位姿信息确定当前装配体和机器机器人在图像采集设备坐标系中的位姿信息，从而获取机器人与装配体的相对位置关系，基于此关系建立精确的遥操作环境的数字孪9[0073]按照预定义的装配体各零部件间的约束关系确定列表中各零部件在装配体上的[0077]利用图像采集设备的内参和成像模型将当前装配体的深度图像转换为深度图像[0080]本实施例将装配体三维模型与深度图像匹配，利用PointNet++网络提取点云特图像还包括RGB图像；所述确定机器人坐标系与图像采集设备坐标系的坐标转换关系的步[0090]根据定位标识物的特征点在RGB图像中的像素坐标Zi(ui,vi)以及RGB-D相机的成[0103]机器人定位模块，用于确定机器人坐标系