CN114986519B 一种基于深度强化学习的混杂场景机械臂精细抓取方法 （东南大学）

号一种基于深度强化学习的混杂场景机械臂本发明提出一种基于深度强化学习的混杂跖度和判定是否抓取成功构成深度强化学习的信息并按照相机外参矩阵将采集到的彩色图像Ic和深度信息Id转换为彩色俯视图Ihc和深度俯Ihd输入步骤S1得到的精细抓取网络，输出多通G由运算服务器发送给机器人控制器，机械臂规划轨迹执行最优抓取动作G。本发明能够在混杂2步骤S1：基于深度强化学习使机械臂不断地在步骤1-2：捕获抓取工作场景中的图像信息并按照相机外参矩阵将采集的图像信息I=步骤1-3：将深度俯视图Ihc和彩色俯视图Ihd输入精细抓取网络输出多通道的抓取示力步骤1-5：机器人根据最优抓取动作G执行重复抓取采轨迹放回物体至T处；捕获动作后的工作空间图像信息将彩色图像和深度信息并分别转换为深度俯视图和彩色俯视图若此次抓取成功则再次执行抓取动步骤1-6：计算I和I+之间的图像差异得到图像差异度P,包括但不限于采用公式(1)计3步骤S2：利用相机采集工作场景中的图像信息并按照相步骤S3:将深度俯视图Ihc和彩色俯视图Ihd输入步骤S1得到的精细抓取网络，输出多通maxQ(6)步骤3-2：根据c,和抓取空间的深度图通过图像与机械臂坐标变换矩阵得到抓取空步骤S4:将最优抓取动作G由服务器发送给机器人控制器，2.根据权利要求1所述的一种基于深度强化学习的混杂场景机械臂精细抓取方法，其3.根据权利要求1所述的一种基于深度强化学习的混杂场景机械臂精细抓取方法，其步骤4-2，依据当前机械臂位姿和最优抓取动作G4[0006]针对现有机器人抓取无法兼具泛化能力和可靠性，难以适应各种各样的抓取场5色图像Ic和深度信息Id转换为彩色俯视尺寸的代表最高抓取成功率的热力图组成，不同热力图指示手爪绕Z-轴的不同旋转角度，[0015]步骤1-2：捕获抓取工作场景中的图像信息并按照相机外参矩阵将采集的图像信[0017]步骤1-4：在Q中选取像素值最大点所对应的抓取动作作为最优抓取动作G＝(T,度信息并分别转换为深度俯视图和彩色俯视图若此次抓取成功则再次执行抓取[0019]步骤1-6：计算I和I+之间的图像差异得到图像差异度P,包括但不限于采用公式6[0028]6-B+aA[0031]其中γ是折扣因子，ye[0,1]SR,Q-是Qθ的目标网络，和Qθ具[0033]进一步地，步骤S2中所述将采集到的彩色图像Ic和深度信息Id[0037]进一步地，步骤S3所述根据生成的多通道的抓取示力图选择最优抓取动作G包括(6)[0043]然后综合抓取空间中的三维坐标T和绕Z-轴的转角φ得到最优抓取动作G＝(T,7数据集的情况下，利用深度强化学习方法训练机器人实现在场景中生成可靠的对跖抓取。[0054]步骤S3:将深度俯视图Ihc和彩色俯视图Ihd输入步骤S1得到的精细抓取网络输出捕获抓取工作场景中的图像信息并按照相机外参矩阵将采集的图像信息I＝(Ic,Id),其中[0059]步骤1-4：在Q中选取像素值最大点所对应的抓取动作作为最优抓取动作G＝(T,8深度信息并分别转换为深度俯视图和彩色俯视图若此次抓取成功则再次执行抓取[0061]步骤1-6：计算I和I+之间的图像差异得到图像差异度P,包括但不限于采用公式(4)9由初始位置移动到之后手爪执行轨迹(2)以直线轨迹移动到Ti。手爪闭合尝试抓取目标[0078]本实例中的图像二值化操作B可采用OTSU二值化方法，该方法根据图像的灰度特e＝0.5。[0087]本实施例中步骤S2中所述将采集到的彩色图像Ic和深度信息Id[0092]本实施例的步骤S3所述根据生成的多通道的抓取示力图选择最优抓取动作G包括[0098]本实例中手爪的z坐标是通过读取平面内最优抓取位置的深度信息得到。本实例[0102]本实例中采用系统为Ubuntu18.04，配备了IntelXe