CN115409870B 基于脉冲编码可学习snn的目标跟踪方法及电子设备 （西安电子科技大学）

基于脉冲编码可学习SNN的目标跟踪方法及本发明公开了一种基于脉冲编码可学习SNN式为将SiamFC++网络中的backbone替换为一前模块用于从脉冲特征中去除时间维度t。本发明2将待进行目标跟踪的视频分解为多帧图像，并将其中的第一帧图像变换到第一尺度，基于预先训练完成的脉冲神经网络模型对所述视频帧序列进其中，所述脉冲神经网络模型是对SiamFC++网络进行改造得到的，改造方式为将述两个分支分别用于对不同尺度的图像进行所述前端网络的每个分支均包括脉冲编码模块、脉冲特征提取模块以及求点火率模2.根据权利要求1所述的基于脉冲编码可学习所述时间域扩展子模块，用于将所述四维编码向量在时间域上进行扩3.根据权利要求2所述的基于脉冲编码可学4.根据权利要求1所述的基于脉冲编码可学习SNN的目5.根据权利要求1所述的基于脉冲编码可学获取视频数据集；所述视频数据集包括多个视频样从所述视频数据集中选取一对属于同一视频样本的图像分别作为模版帧和将所述模版帧和所述搜索帧分别输入至所述两个分支，以使所述脉根据所述回归矩阵、所述分类矩阵以及所述质量矩阵评估当前的脉冲若未收敛，调整当前的脉冲神经网络模型的网络权重参数，从6.根据权利要求5所述的基于脉冲编码可学习SN3所述梯度下降法中使用第一梯度计算公式实7.根据权利要求5所述的基于脉冲编码可学所述梯度下降法中使用第二梯度计算公式实8.根据权利要求5所述的基于脉冲编码可学习SNN的将所述视频帧序列中的第1帧图像作为模版帧、并将所述视频帧序列中的第i＝[2,3,根据第i个分类得分矩阵，从第i次输出的回归矩阵中选取所对应分类得分最高的元9.根据权利要求5所述的基于脉冲编码可学习SN所述处理器，用于执行所述存储器上所存放的计算机程序时，实现权利要项所述的基于脉冲编码可学习SNN的目标跟踪方4[0001]本发明属于脉冲神经网络领域，具体涉及基于脉冲编码可学习SNN(Spiking络的SAR(合成孔径雷达)图像舰船目标识别方法；该方法中采用了基于视觉注意力机制的脉冲编码，得到离散的脉冲时间序列；利用卷积神经网络和LIF(LeakyIntegrate_and_Fire)脉冲神经元构建了脉冲神经网络模型，然后基于得到的脉冲时间序列对该脉冲神经网络模型进行训练，从而利用训练好的脉冲神经网络模型实现了准确识别SAR图像中的舰述两个分支分别用于对不同尺度的图像进行5[0020]从所述视频数据集中选取一对属于同一视频样本的图像分别作为模版帧和搜索[0032]可选地，基于预先训练完成的脉冲神经网络模型对所述视频帧序列进行目标跟6[0033]将所述视频帧序列中的第1帧图像作为模版帧、并将所述视频帧序列中的第i=[0040]本发明提供的基于脉冲编码可学习SNN的目标跟踪方法中，将可实现目标跟踪的(backbone)替换为一前端网络，得到了一种能够进行实时目标跟踪的脉冲神经网络模型；[0043]图1是本发明实施例提供的一种基于脉冲编码可学习SNN的目标跟踪方法的流程[0048]图6是利用本发明实施例提供的一种基于脉冲编码可学习SNN的目标跟踪方法进7[0058]现有技术中，除SiamFC++外，同样是基于孪生网络的跟踪算法还有SiamFC以及SiamRPN++。其中，SiamFC可以在拥有较快跟踪速度的同时，保持着较高的跟踪精度；像高度维度，w表示图像宽度维度；脉冲特征提取模块用于从五维编码向量中提取脉冲特[0065]值得注意的是，该时间域扩展子模块并没有增加脉冲神经网络的权重参数的数8[0067]图4示例性的示出了脉冲编码过程的示意图，其中输入图像的每一个像素点均被网络包括分类子任务专用的卷积层ps以及回归子任务专用的卷积层前端网络输出9[0079](2)从视频数据集中选取一对属于同一视频样本的图像分别作为模版帧和搜索[0080](3)将模版帧和搜索帧分别输入至前端网络的两个分支，以使脉冲神经网络模型[0081](4)根据回归矩阵、分类矩阵以及质量矩阵评估当前的脉冲神经网络模型是否收具有映射关系的像素点是否位于搜索帧的目标位置框中的标记值，其中表示位于，x,yx,yx,yx,yx,y元素，表示由t表征的目标跟踪预测框与搜索帧的目标位置框两者的交并比；该交并x,y和(x1[0098]与成熟的人工神经网络(ANN)训练算法相比，脉冲神经网络研究中的最困难问题[0108](1)将步骤S10中得到的视频帧序列中的第1帧图像作为模版帧、并将该视频帧序[0112](3)根据第i个分类得分矩阵，从第i次输出的回归矩阵中选取所对应分类得分最别得到256×6×6以及256×28×28的脉冲特征。对于经过求点火率后得到的两个脉冲特情况进行选择。另外，本次仿真实验的软件环境使用Python语言实现，深度学习框架为矩阵和回归矩阵计算损失值并相应地进行网络权重参数的调整和优化，直至损失值收敛，[0120]本发明实施例提供的基于脉冲编码可学习SNN的目标跟踪方法中，将可实现目标[0124]本发明实施例为将SNN移植到人工智能芯片或者神经形态硬件等边缘设备上提供Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustryStandard算机上运行时，使得计算机执行上述任一种基于脉冲编码可学习SNN的目标跟踪方法所述流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0142]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置