CN114332689B 一种柑橘识别定位方法、装置、设备及存储介质 （中国科学院合肥物质科学研究院）

ChengjieXu.CitrusPositiImaging—MultidimensionalS本发明公开了一种柑橘识别定位方法、装2步骤一：将采集的图像输入YOLOV4网络，利用YOLOV4网yx求解标定板在激光雷达坐标系和相机坐标系下的中心点坐步骤四：结合所求内参与外参将点云与图像融合，利用融合后的模型不仅保留了原始的RGB图像信息，同时也包含了激光雷达点云的位置和深度由激光雷达测得，点P对应的像素坐标(u，v)即为YOLOV4网络检测输出柑橘的预测框中心的置信真值相乘，结果为预测框与真值之间的重合度以及对象属于某个类的概率；在3k23内参标定采用棋盘格标定方式，利用OpenCV中的findchessboardCorners函数提取标像素坐标识别模块，用于将采集的图像输入YOLOV4网络，利用Y外参标定模块，用于相机与激光雷达的外参标定；由相机捕4yx求解标定板在激光雷达坐标系和相机坐标系下的中心点坐投影模块，用于结合所求内参与外参将点云与图像融合，利用坐标相机坐标系下一点P(Xc,Yc,Zc)为柑橘中心点三维空间坐标，其在像素坐标系中的对应坐令在被处理器调用和执行时实现权利要求1_4任一项所5[0001]本发明涉及计算机视觉/多传感器数据融合技术领域，更具体涉及一种柑橘识别[0004]本发明所要解决的技术问题在于现有技术柑橘识别定位方法对复杂场景下遮挡6[0011]本发明将采集的图像输入YOLOV4网络获取柑橘中心在像素坐标中的位置信息，7[0027]考虑相机的非线性畸变，假设归一化平面上的任意一点p，坐标为[x，y]T，k3[0034]内参标定采用棋盘格标定方式，利用OpenCV中的findchessboardCorners函数提8[0066]考虑相机的非线性畸变，假设归一化平面上的任意一点p，坐标为[x，y]T，9k3[0073]内参标定采用棋盘格标定方式，利用OpenCV中的findchessboardCorners函数提[0087](1)本发明将采集的图像输入YOLOV4网络获取柑橘中心在像素坐标中的位置信[0088](2)本发明为了使相机标定结果更加准确，在进行相机标定时应该将相机的非线[0092]图4为本发明实施例所公开的一种柑橘识别定位方法中相机与激光雷达联合标定[0102]YOLO算法核心思想是将整张图片作为网络的输入，将一幅[0104]其中Pr(Classi|Object)表示目标属于某一类的概率，pr(object)*lou⃞表示到每个boundingbox的置信度得分后，设置阈值去除得分较低的部分，对剩余部分的[0105]在YOLOV4网络的最终输出中，每个boundingbox中包含对象的位置信息，即T就可以表示为：p12尺寸的前提下建立三维空间点和像素点之间的对应关系完成上述式子中的参数求解,内参[0130]相机与激光雷达联合标定的基本原理模型如图4所示。由相机捕获的图像数据用lineWithLineIntersection函数获得标定板点云平面的四个角点，进而计算中心点坐标。[0139]由式(5)可得，假设在相机坐标系下一点P(Xc,Yc,Zc)为柑橘中心点三维空间坐v)即为YOLOV4网络检测输出柑橘的boundingbox中心点，综合以上信息Xc,Yc表达式求解其能在保证识别精度的前提下提高柑橘检测的速度，更适用于现实场景中的柑橘目标检[0165]考虑相机的非线性畸变，假设归一化平面上的任意一点p，坐标为[x，y]T，k3[0172]内参标定采用棋盘格标定方式，利用OpenCV中的fin