CN114417908B 一种基于多模态融合的无人机探测系统和方法 （长安大学）

一种基于多模态融合的无人机探测系统和本发明公开了一种基于多模态融合的无人频信号处理模块用于获得射频信号的分类识别信号的分类识别和定位结果与音频信号的分类单一模态无人机探测的局限性问题以及多模态2所述射频天线阵列(1)用于获得探测区域内无人机目标的射所述麦克风传感器阵列(2)用于获得探测区域内无人机目标的音所述融合模块(5)用于对所述射频信号的分类识别和定位结果与所述音频信号的分类所述通信模块(6)用于将所述融合结果发送至所号处理模块(3)包括射频信号转换单元(31)、射频指纹提取单元(32)、射频分类识别单元所述射频信号转换单元(31)用于将所述射频天线阵列接收的模拟射频信号转换为数所述射频指纹提取单元(32)用于根据所述数字射频信号获得无人机所述射频分类识别单元(33)用于基于多层卷积神经网络模型对所述无人机射频指纹所述射频定位单元(34)用于根据所述数字射频信号获得所述无人机目将所述数字射频信号在二维矢量图中进行绘制，得到星座轨迹图；所述音频信号转换单元(41)用于将所述麦克风接收的模拟音频信号转换为数字音频所述声纹提取单元(42)用于根据所述数字音频信号获得无所述音频分类识别单元(43)用于基于CNN和GRU复合神经网络模型对所述无人机声纹所述音频定位单元(44)用于根据所述数字音频信号获得所述无人机目3计算单元，用于使用Hamming距离分别计算射频指纹特征识别结果与特征模版的相似度HDa以及声纹特征识别结果与特征模版的相似度b＝1。S5：对所述射频信号的分类识别和定位结果与所9.根据权利要求7所述的基于多模态融合的无人机探测方法，其特征在于，所述S4包b＝1。4对无人机位置进行3D重建，从而获得无人机的运动轨迹，无人机的有效探测距离在1km以[0008]所述射频信号处理模块用于对所述射频信号进行射频指纹提取、分类识别和定[0010]所述融合模块用于对所述射频信号的分类识别和定位结果与所述音频信号的分5[0014]所述射频信号转换单元用于将所述射频天线阵列接收的模拟射频信号转换为数[0016]所述射频分类识别单元用于基于多层卷积神经网络模型对所述无人机射频指纹Haar-like特征矢量图作为所述无人机[0021]所述音频信号转换单元用于将所述麦克风接收的模拟音频信号转换为数字音频[0023]所述音频分类识别单元用于基于CNN和GRU复合神经网络模型对所述无人机声纹[0026]计算单元，用于使用Hamming距离分别计算射频指纹特征识别结果与特征模版的相似度HDa以及声纹特征识别结果与特征模版的相[0027]加权融合单元，用于在分数层基于加权加法原则对射频数据和音频数据进行融6[0047]S51：使用Hamming距离分别计算射频指纹特征识别结果与特征模版的相似度HDa[0052]1、本发明基于多模态融合的无人机探测系统解决单一模态无人机探测的局限性7[0068]请参见图1和图2，图1是本发明实施例提供的一种基于多模态融合的无人机探测获得探测区域内无人机目标的音频信号；射频信号处理模块3用于对射频信号进行射频指块5用于对射频信号的分类识别和定位结果与音频信号的分类识别和定位结果进行多模态构示意图。本实施例的射频天线阵列1和麦克风传感器阵列2均采用平面五元十字阵列设8频信号进行差分运算，获得差分星座轨迹图(DifferentialConstellationTrace噪声的影响，而采用Haar-like特征描述图像则可以基本上解决背景噪声对识别结果影响卷积神经网络模型的结构示意图。该多层卷积神经网络模型包括3层卷积层和2层全连接DCTF中提取的Haar-like特征矢量图输入该训练好的神经网络模型中，即可获得无人机目[0079]进一步地，射频定位单元34用于根据数字射频信号，采用基于到达时间差定位t0τ409[0089]具体地，本实施例的声纹提取单元42基于梅尔频率倒谱系数(MelFrequency[0097]进一步地，音频定位单元44用于根据数字音频信号获得无人机目标的位置信音频信号获得无人机目标的位置信息的具体过程与上述根据所述数字射频信号获得所述[0098]射频探测和声学探测两种模态相对分别独立，本实施例的融合模块5采用分数层及声纹特征识别结果与特征模版的相似度HDb。这里所述的特征模版是指现有的无人机类型模版。通过Hamming距离即可计算出射频指纹特征识别结果以及声纹特征识别结果与各[0102]需要说明的是，本实施例的融合模块5既可以对通过射频和音频获得的分类结果[0103]本实施例基于多模态融合的无人机探测系统解决单一模态无人机探测的局限性[0105]在上述实施例的基础上，本实施例提供了一种基于多模态融合的无人机探测方别率不断提高，当识别率达到要求时，获得训练好的神经网络模型。将从DCTF中提取的[0125]由于所述射频天线阵列和所述麦克风传感器阵列均采用[0128]S51：使用Hamming距离分别计算射频指纹特征识别结果与特征模版