CN110509281A 基于双目视觉的位姿识别与抓取的装置与方法 （中国计量大学）

基于双目视觉的位姿识别与抓取的装置与本发明公开了一种基于双目视觉的位姿识双目视觉相机支架下方安装的接近传感器接受装置中的机械手对工件进行抓取并摆放至指定2机架上安装有接近传感器(8)；于传送带两侧的带式传送机(9)机架上固定有相机支架(3)，相机支架(3)两侧之间安装有机(2)用于拍摄经过接近传感器(8)的目标工件(10)，两个工业相机(2)分别为左相机和右2.采用权利要求1所述装置的一种基于双目视觉的位姿识别与抓取的方法，其特征在步骤二：根据张正友标定法对左右相机进行双目标定步骤三：对四轴机械手(1)和工业相机(2)选择手到眼(Eye-To-Hand)的手眼标定模式其中，相机坐标系由工业相机的左相机为原点建立得传感器(8)接收到目标工件(10)的信号时，带式传送机电机驱动装置(4)停止带式传送机步骤六：利用步骤一获取的校正映射图对左右相体视觉的金字塔模型寻找匹配点，将所有匹配点坐标集合后形成的点云图像构成深度图，对深度图进行平均深度计算从而得到目标工件(10)在目标工件(12)的三维坐标进行轨迹规划，四轴机械手(1)末端执行器根据规划的轨迹从初步骤十：四轴机械手(1)末端执行器离目标工件(10)缓冲距离为d时调整四轴机械手3步骤十一：四轴机械手(1)抓取到目标工件(10)时，四轴机械手(1)先抓取目标工件(10)沿机械手坐标系的Z轴向上移动设定距离H，之后四轴机械手(1)控制末端执行器移动至初始位置，然后对姿态信息Q和末端执行器在初始状态的姿态信息进行逆运动求解后将步骤十二：四轴机械手(1)继续抓取目标工件(10)至导入至Halcon中并读取，利用Halcon中的create_model_3d()算子生成3D形状匹配模板，利用算子find_shape_model_3d()对步骤五得到的预处理图像与3D形状匹配模板进行匹位姿转换关系将目标工件(10)在相机坐标系下的三维坐标转换为目标工件(10)在机械手参数n与q根据目标工件的姿态信息Q进行计算，目标工即n=θyq=θz轴机械手(1)末端执行器抓取到目标工件(10)时的姿态信息与步骤八目标工件(10)的姿态述目标工件的姿态信息Q基于TCP/IP协议SOCKET通讯的方式传输至四轴机械手(1)的控制45[0015]双目相机夹具沿相机支架两侧的竖直杆上下移动从而实现工[0016]步骤二：根据张正友标定法对左右相机进行双目标定获得相[0017]步骤三：对四轴机械手和工业相机选择手到眼(Eye-To-Hand)的手眼标定模式进[0021]步骤六：利用步骤一获取的校正映射图对左右相机采集的目标工件图像进行校[0024]步骤九：已知四轴机械手末端执行器的初始位置和初始姿态(即已知末端执行器控制模式根据目标工件相对于末端执行器的方位角和目标工件的三维坐标进行轨迹规划，[0025]步骤十：四轴机械手末端执行器离目标工件缓冲距离为d时调整四轴机械手末端对姿态信息Q和末端执行器在初始状态的姿态信息进行逆运动求解后将机械手末端执行器6的目标工件位姿是理想位姿；将工件的3D图像导入至Halcon中并读取，利用Halcon中的create_model_3d()算子生成3D形状匹配模板，利用算子find_shape_model_3d()对步骤骤二的位姿转换关系将目标工件在相机坐标系下的三维坐标转换为目标工件在机械手坐[0036]q=θz[0038]四轴机械手1末端执行器抓取到目标工件10时的姿态信息与步骤八目标工件10的[0039]所述目标工件的姿态信息Q基于TCP/IP协议SOCKET通讯的方式传输至四轴机械手7装有用于传送目标工件10的传送带，位于传送带一侧的带式传送机9机架上安装有接近传带两侧的带式传送机9机架上固定有相机支架3，相机支架3两侧之间安装有高度可调的双[0056]如图5所示灰色的坐标系(X,Y,Z)为相机坐标系，黑色的两个二维坐标系分别为机的像素坐标系坐落为相机坐标系的(Tx,0,0)处。图中的(X,Y,Z)为相机坐标系中的一个[0060]双目相机夹具11沿相机支架3两侧的竖直杆上下移动从而实现工业相机2高度的调节，两个工业相机2沿双目相机夹具11导轨移动从而实现两个工业相机2之间的距离调8[0061]步骤二：根据张正友标定法对左右相机进行双目标定获得相[0062]步骤三：对四轴机械手1和工业相机2选择手到眼(Eye-To-Hand)的手眼标定模式[0066]步骤六：利用步骤一获取的校正映射图对左右相机采集的目标工件图像进行校理想位姿；将工件的3D图像导入至Halcon中并读取，利用Halcon算子生成3D形状匹配模板，利用算子find_shape_model_3d()对步骤五得到1末端执行器根据规划的轨迹从初始位置移动至目标工件10附近，且移动过程中使末端执[0072]笛卡尔位置控制模式根据目标工件12相对于末端执行器的方位角和目标工件12下的三维坐标计算目标工件10相对于末端执行器的方态为Q。目标工件的姿态信息Q基于TCP/IP协议SOCKET通讯的方式传输至四轴机械手1的控9[0080]q=θz八目标工件10的姿态信息Q相同。四轴机械手1先抓取目标工件10沿机械手坐标系的Z轴向末端执行器在初始状态的姿态信息进行逆运动求解后将机械手末端执行器调整回末端执