CN119200651B 一种基于单目视觉的无人机编队协同目标跟踪方法、装置、设备及介质 （南京航空航天大学）

一种基于单目视觉的无人机编队协同目标本发明公开了一种基于单目视觉的无人机位置解算算法解算出各跟随无人机下一时刻的实现无人机编队在保持预定队形或改变队形的控制方法与基于单目视觉的目标识别跟踪方法2所述领导智能体通过单目相机获取图像信息，将所述图像信息输入第所述领导智能体将目标位置信息输入至第三环节，根据第三环节的输解算各跟随智能体之间以及与领导智能体的相对位置，将所述所述领导智能体通过单目相机获取图像信息，将所述图像信息输入第执行第二环节模板匹配算法，将输入的目标模板图像生成的多尺度多角度的模板图多尺度多角度的模板图像，与提取到的包含目标边缘线的二值图像进行匹配判断相似度，所述第三环节包括，执行改进的核相关滤波算法，将第二环节中输出执行边缘检测算法，对可能包含目标的原始图像进行滤波处理以及梯度幅值和方向计算，模板进行卷积运算得到所述四个方向对应的3根据图像的灰度信息划分灰度级，将图像分为第一部分图像和第二所述执行第二环节模板匹配算法，将输入的目标模板图像生成的多尺度多角度的模板图对于输入系统的目标模板图像，通过高斯卷积核对模板图像奇数行将第一环节输出的包含目标边缘线的二值图像与大小相同的模板图像进行归一化互将第二环节中输出的目标边界框作为核相关滤波算法的初始跟踪区通过最大响应值和平均峰值相关能量，设置阈值判断目标是否丢失，实4决策模块，用于所述领导智能体将目标位置信息输入至第三解算模块，用于解算各跟随智能体之间以及与领导智能体的相对位置，所述领导智能体通过单目相机获取图像信息，将所述图像信息输入第执行第二环节模板匹配算法，将输入的目标模板图像生成的多尺度多角度的模板图多尺度多角度的模板图像，与提取到的包含目标边缘线的二值图像进行匹配判断相似度，所述第三环节包括，执行改进的核相关滤波算法，将第二环节中输出处理器，用于执行所述计算机程序，以实现如权利要求1至5任一序被处理器执行时实现如权利要求1至5任一项所述的基于单目视觉的无人机编队协同目5[0005]本发明的目的在于提供一种基于单目视觉的无人机编队协同目标跟踪方法、装6为与领导智能体的期望角度与距离，通过位置解算算法计算出自身在编队中的期望位置，[0019]针对完成滤波处理后的图像，使用Sobel算子计算图像中每个像素点的梯度和强的梯度模板进行卷积运算得到所述四个方向对应7[0024]将第一环节输出的包含目标边缘线的二值图像与大小相同的模板图像进行归一所述计算机程序被处理器执行时实现前述公开的基于单目视觉的无人机编队协同目标跟[0038]由上述可知，本发明公开了一种基于单目视觉的无人机编队协同目标跟踪方法、8[0044]图5为本发明实施例提供的基于单目视觉的无人机编队协同目标跟踪装置示意进的自适应Canny边缘检测算法和自适应模板匹配算法完成目标识别并标记目标位置，领9中保存领航智能体的IPv4地址，在Zigbee网络中保存各智能体的MAC地址并作为编队初始先实施改进的自适应Canny边缘检测算法，对可能包含目标的原始图像进行滤波处理以及各跟随智能体根据领导智能体的信息和位置结算算法，解算出自身下一时刻的期望位置，算法进行改进，提高对目标的边缘检测效率和准确性。改进后的自适应Canny边缘检测算[0065]针对完成滤波处理后的图像，使用Sobel算子计算图像中每个像素点的梯度和强的梯度模板进行卷积运算得到梯度幅值定义为G,和GW。图像整体的梯度幅值的图像分为(0,1,2,.,L-I}的灰度级，设n,为灰度中c由灰度值在[0,k]内的所有像素组成，而c:由灰度值在[k+1,L-1]范围内的所有像素c和c:中的像素平均灰度值m(k)和为[0079]由上述操作即可得到目标的边缘特征信息，一定程度上[0082]针对大小尺寸分别为MXN和M'XN'的目标图像和模板图像T，进行归一化互y')和(T(x+x,y+')分别是目标图像和模板图像中的像素值，7和F分别是目标图像和模板图像的均值，NCC(x,y)表示图像中以坐标(x,y)为起始位置的匹配对核相关滤波器进行训练，即训练分类器f(t)=o'x（o为分类器权重系数，x为基础样本使训练样本和回归标签的平均误差最小：为α的傅里叶形式；ie为核函数k第一行的傅里叶形式。当训练分类器步表示当前帧的最大和最小响应；mean()表示算术平均运算；Fa[0104]如图4所述，多智能体编队在执行任务过程中，当领导智能体进入跟踪目标状态自适应Canny边缘检测算法和自适应模板匹配算法，采用自适应阈值的方法提取视野中目[0114]本发明还提出了一种基于单目视觉的无人机编队协同目标跟踪装置，如附图5所前述任一实施例公开的由电子设备执行的基于单目视觉的无人机编队协同目标跟踪方法取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，等。处理器21可以采用DSP(DigitalSignalProcessing，数字信号处理)、FPGA(Field-理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing[0123]其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序够用于完成其他特定工作的计算机程序。数据223除了可以包括电子设备接收到的由外部[0129]以上对本发明所提供的一种基于单目视觉的无人机编队协同