CN115359119B 一种面向无序分拣场景的工件位姿估计方法及装置 （华南理工大学）

一种面向无序分拣场景的工件位姿估计方本发明公开了一种面向无序分拣场景的工2根据RGB_点云融合特征获取相机坐标系下的关键点坐标对获得的关键点坐标与关键点坐标的真值进行约束，对中心点坐标根据矩形框信息对RGB_D图像中的RGB图像、深度图像进行裁剪，并将裁剪后的RGB图采用blenderproc的渲染数据制作工具箱获取渲染数据集；所述渲染数据集的组成包将相机固定于机械臂末端，通过眼在手上的手眼标定程序，获得相机total指的物体在某个视角全部像素可见情况下的所有像素总和，pshow指的是实3位姿估计模型回归得到基于目标参考点的关键对特定的某个关键点来说，即获得了该关键点的一个预测集合，通其中，所述组合损失函数包括目标分割损失函数，基于目Loss＝w1Lkp_v+w2Lcenter_v+w3Lseg+w4Lkp+w5Lcenter+w6Lcen为损失函数的权重；4i*为中心点的真实偏置；jk*为关键点集合与中心点之间的真实偏置，cofj为实际关键点集合与中心点位姿估计模型预测出相机坐标系下关键点坐标和中心点坐标，同时与模型上的关键pp根据得到的齐次变换矩阵，将模型点云通过所述齐次变换矩阵进通过位姿估计模型预测分割得到目标的场景点云，计算相机坐标系567[0024]采用blenderproc的渲染数据制作工具箱获取渲染数据集；所述渲染数据集的组8[0045]Loss＝w1Lkp_v+w2Lcente为损失函数的权重；i为真实的类别标签；9pn[0070]其中，X是相机坐标系下的关键点集，P是物体坐标系下与X点集中对应的关键点pp[0081]图1是本发明实施例中一种面向无序分拣场景的工件位姿估计方法的步骤流程施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适指示的技术特征的数量或者隐含指明所指示的技术特属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体[0103]通过blenderproc的渲染数据制作工具箱得到渲染数据。渲染数据集的组成包含[0106]其中是物体j在第i帧下物体相对于相机的姿态，cam,e是第0帧物体j在相机是由于三维空间中的对象从不同角度投影至二维空间，所得到的深度图和图像是相同的。块的定义即物体对象组成的最小单位，通过对奇异块进行旋转平移镜像可以组成原对象。[0113]本发明的算法阶段包括两个阶段，第一阶段为得到目标的在图像上的矩形框坐点的置信度。为通过投票得到的相机坐标系下[0122]位姿估计网络预测出相机坐标系下关键点和中心点坐标，同时与模型上的关键pn数据集方案中采用在视点相机任意自旋和相机以固定角度拍摄ADDS指标计算的ROC曲线面[0140]Loss＝w1Lkp_v+w2Lcente为损失函数的权重。[0149]Lseg＝_α(1_qi)γlog(qi)qi＝ci.li[0161]利用得到的关键点坐标和中心点坐标，利用增加的几何约束包括关键点损失函[0168](2)本实施例方法提出真实数据标注方法，有效解决了位姿估计真实数据难以获[0175]在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提改变以及其中被描述为较大操作的一部分的子操作被说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块算机软件产品存储在一个存储介质中，包括若干者特点可以在任何的一个或多个实施方式或示例中以合适