CN113971756B 自动注射机器人视觉数据处理方法、系统和注射机器人 （浙江华牧科技有限公司）

本发明提出一种自动注射机器人视觉数据步骤，基于标注侧身位置和尾巴位置的生猪图可注射区域数据集端到端地训练待注射区域检注射位置区域为一个平面，计算该平面的法向2模型训练模块，用于以该侧身检测数据集端到端地训练侧身检测模3.一种包括如权利要求1或2所述的自动注射机器3[0007]目前现有技术已经公开了包括注射的机械臂的生猪疫苗注射机器人(专利申请[0008]本发明的目的在于公开一种自动注射机器人视觉数据处理系统及方法，高效率、4[0013]步骤2，训练检测生猪侧身和臀部的俯视图和后视图中可注射区域的深度卷积神[0016]所述的自动注射机器人视觉数据处理方法，其中所述步骤1还包括通过RFID身份[0017]所述的自动注射机器人视觉数据处理方法，其中所述步骤2中的所述深度卷积神经网络模型可采用CenterNet框架算[0019]所述的自动注射机器人视觉数据处理方法，其中所述相机为Brown_Conrady畸变[0025]根据图像中注射点处的像素坐标及对应深度值计算得到该点在相机坐标系下的[0026]所述的自动注射机器人视觉数据处理方法，其中所述步骤3还包括采用奇异值分[0029]训练检测生猪侧身和臀部的俯视图和后视图中可注射区域的深度卷积神经网络5[0041]本发明的工作环境如图1所示示意图，猪舍11设计为距离相同间隔的两排(多排)侧视角度相结合。机器人15上的图像采集设备通过俯视+测试视角采集生猪侧身图像进行6[0043]对猪后背及侧身图像进行人工标注，使用矩形框24标出[0044]2、训练构建检测生猪侧身和臀部的俯视图和后视图中可注射区域的深度卷积神框的宽度w与高度h偏差值，中心点偏移量offset分支用来弥补将池化后的低heatmap上的[w_1,h_1]指的是包含恰好w列和h行的图像中右下角像素的中心(w和h分别表示图像的宽7[0057]由于相机和注射器末端的位置是相对固定的，相机坐标系可以通过旋转变换R和平移变换T与注射器末端坐标系重合，即相机坐标系和注射器末端坐标系存在一一对应关移动到生猪臀部后方指定位置后，机器人15机械臂末端的RGB_D深度相机采集臀部图像和机内部参数计算得到相机坐标系下的空间坐标p2，将p2转换到注射器末端坐标系得到注射位置P2[0065]本发明中目标检测网络的实施例使用改进的CenterNet网络(如图4)来实现生猪侧身及可注射区域的检测。图中S41为输入图像，S42_S46分别为Resnet50中的Conv1、网络使用Resnet50进行特征提取，Resnet50表示Resnet网络有50个操作层的网络结构，Resnet提出了18、34、50、101、152层的网络结构，分别表示为Resnet18、Resnet34、Resnet50、Resnet101、Resnet152。Resnet50的网络结构如表1所示,主要包括5个模块Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x分别对应S42_S46，每个模块后使用一个8为128×128×2(侧身和尾巴两个类别)。可注射区域检测模型的尺寸为128×128×1(只有位置也就越准确。CenterNet网络的损失函数可表示为Ldet＝Lk+λsizeLsize+λoffLoff(λsize=[0067]CenterNet网络中由于输入图像和网络输出特征尺寸的不一致，导致需要预测目9[0076]在图像中检测到注射位置p2后，以注射点为中心的一小块区域(边长为20像素的区域内所有点的深度信息得到该区域内所有像素点的空间坐标P(xk,yk,zk)，其中0≤k<[0090]