CN115984558B 一种遮挡环境下的目标分割补全及识别方法 （南京师范大学）

一种遮挡环境下的目标分割补全及识别方法本发明公开了一种遮挡环境下的目标分割连续视频序列图像，将图像从RGB空间转换到2S1：通过摄像头采集遮挡环境下的两张连续视频序S2：将两张遮挡环境下的归一化图像进行均值聚类分割S3：对两张遮挡环境下的分割图像进行边缘提取采摘目标的轮廓重建，再根据两张遮挡环境下轮廓重建的分割图像计算生成拟合矩形框，S4：对两张遮挡环境下含有拟合矩形框的遮挡修复图像两张遮挡环境下的归一化图像中的聚类中心集合；U1,U2分别为两张遮挡环境下的归一化3A1：通过摄像头采集遮挡环境下的实时视频，对于所获得的遮挡环境A3：对两张遮挡环境下的亮度信号图像进行归一化处理，获得两张遮挡述步骤A2中将图像从RGB空间转换到YCbCr颜色空间以及提取Y分量B2：通过改进插值算法实现采摘目标的轮廓重建，根C1：根据二维高斯滤波公式对两张遮挡环境下的分割图像波的像素点位于两张遮挡环境下的分割图像的第ub列像素点；σa为两张遮挡环境下的分割4割图像边缘检测的灰度值；G为两张遮挡环境下滤波处理后的分割图像每一个像素的横向C3：对两张遮挡环境下非极大值抑制操作后其中：th1和th2分别为设定的两个阈值；maxVal为判断是否与值C4：对两张遮挡环境下的边缘提取分割图像进行八邻域边i)＝yin)5其中，U为两张遮挡环境下边缘提取与边缘跟踪的分割图像的挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点坐标；xi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点横坐标；yi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点纵坐标；hi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点对应的步长；S(x)为两张遮挡环境下边缘提取与边缘跟踪的缘像素点坐标函数在第n边缘像素点横坐标处的一阶导数值；mn为两张遮挡环境下轮廓重建的分割图像边缘像素点坐标函数第n一阶导数值；hn为两张遮挡环境下轮廓重建的分割D2：根据两张遮挡环境下轮廓重建的分割图像计算生成拟w＝min{max(x)min(x),max(y境下轮廓重建的分割图像的边缘像素点坐标个数；l为拟合矩形框的长w为拟合矩形框的E1：对两张遮挡环境下含有拟合矩形框的遮挡修复图像进行相个数；TF为两张遮挡环境下含有拟合矩形框的遮挡修复图像拟合矩形框交集的像素点个数；FF为两张遮挡环境下含有拟合矩形框的遮挡修复图像拟合矩形框非交集的像素点个E2：若相对准确率大于95使用训练好的多特征卷积神经网络模型对两张含有拟合6根据以下两个公式对数据进行卷积特征提取，作用是获取第个数据单元的卷积特征由上述公式计算得到第一个卷积层的输出数据大小是n1*6*16；使用线性整流函数将z-1由上述公式得到池化层输出尺寸为50*3*32，以同样的方式得到下一个卷积层和下一E3：使用训练好的多特征卷积神经网络模型对两张含有拟合矩全及识别。7[0003]当前遮挡环境下的目标分割补全及识别方法大多数针对单一的特定的采摘目标[0010]S4：对两张遮挡环境下含有拟合矩形框的遮挡修复图像8[0015]进一步地，所述步骤A2中将图像从RGB空间转换到YCbCr颜色空间以及提取Y分量分量；B为两张连续视频序列图像的为蓝色分量；Cb为两张遮挡环境下的蓝色偏移分量图挡环境下的亮度信号图像所有像素点的最小像素值；Xoutput(λ,遮挡环境下的归一化图像中第1个数据对象的像素值；D2为两张遮挡环境下的归一化图像中第2个数据对象的像素值；DN为两张遮挡环境下的归一化图像中第N个数据对象的像素9待滤波的像素点位于两张遮挡环境下的分割图像的第ub列像素点；σa为两张遮挡环境下的[0036]C2：Canny边缘检测首先对两张遮挡环境下滤波处理后的分割图像进行图像梯度的分割图像边缘检测的灰度值；G为两张遮挡环境下滤波处理后的分割图像每一个像素的[0041]C3：对两张遮挡环境下非极大值抑制操作后的分割图像进行双阈值检测连接边y)})张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点坐标；xi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点横坐标；yi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点纵坐标；hi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点对应的步长；S(x)为两张遮挡环境下边缘提取与边缘跟像边缘像素点坐标函数在第n边缘像素点横坐标处的一阶导数值；mn为两张遮挡环境下轮廓重建的分割图像边缘像素点坐标函数第n一阶导数值；hn为两张遮挡环境下轮廓重建的y)}[0062]E1：对两张遮挡环境下含有拟合矩形框的遮挡修复图像[0065]E2：若相对准确率大于95使用训练好的多特征卷积神经网络模型对两张含有[0069]由上述公式计算得到第一个卷积层的输出数据大小是n1*6*16；使用线性整流函[0072]由上述公式得到池化层输出尺寸为50*3*32，以同样的方式得到下一个卷积层和[0076](1)所采用的聚类分割可实现动态聚类，在光线强弱不同的情况下仍旧能实现对[0078](3)在采摘目标的识别过程中，所采用的多特征卷积神经网络模型利用相邻时刻标的识别。[0084]图6是本发明实施例提供的技术在苹果和橙子果园中获得的边缘提取边缘跟踪图[0086]图8是本发明实施例提供的技术在苹果和橙子果园中获得的分割补全及识别图种等价形式的修改均落于本申请所附权利要求所限定[0092]S4：对两张遮挡环境下含有拟合矩形框的遮挡修复图像[0098]S4：对两张遮挡环境下含有拟合矩形框的遮挡修复图像分量；B为两张连续视频序列图像的为蓝色分量；Cb为两张遮挡环境下的蓝色偏移分量图挡环境下的亮度信号图像所有像素点的最小像素值；Xoutput(λ,遮挡环境下的归一化图像中第1个数据对象的像素值；D2为两张遮挡环境下的归一化图像中第2个数据对象的像素值；DN为两张遮挡环境下的归一化图像中第N个数据对象的像素待滤波的像素点位于两张遮挡环境下的分割图像的第ub列像素点；σa为两张遮挡环境下的[0124]C2：Canny边缘检测首先对两张遮挡环境下滤波处理后的分割图像进行图像梯度的分割图像边缘检测的灰度值；G为两张遮挡环境下滤波处理后的分割图像每一个像素的[0129]C3：对两张遮挡环境下非极大值抑制操作后的分割图像进行双阈值检测连接边y)})张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点坐标；xi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点横坐标；yi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点纵坐标；hi为两张遮挡环境下边缘提取与边缘跟踪的分割图像的第i边缘像素点对应的步长；S(x)为两张遮挡环境下边缘提取与边缘跟像边缘像素点坐标函数在第n边缘像素点横坐标处的一阶导数值；mn为两张遮挡环境下轮廓重建的分割图像边缘像素点坐标函数第n一阶导数值；hn为两张遮挡环境下轮廓重建的y)}[0150]E1：对两张遮挡环境下含有拟合矩形框的遮挡修复图像[0153]E2：若相对准确率大于95使用训练好的多特征卷积神经网络模型对两张含有[0154]根据以下两个公式对数据进行[0157]由上述公式计算得到第一个卷积层的输出数