CN119477976A 一种融合事件和rgb图像的snn目标跟踪方法及系统 （中国人民解放军国防科技大学）

一种融合事件和RGB图像的SNN目标跟踪方本发明公开了一种融合事件和RGB图像的SNN目标跟踪方法及系统，本发明方法包括通过基于时间堆叠的表示方法将来自事件相机的事件帧图像le和RGB帧图像利用脉冲神经网络SNN进行目标检测，所述脉冲神经网络SNN包括特征经网络SNN提取的锚框与融合特征图Frus来学习现融合事件和RGB图像的融合以确保多目标跟踪2S1，通过基于时间堆叠的表示方法将来自事件相机的来自RGB相机的RGB帧图像在时间和空间通过特征融合模块将特征提取得到的事件帧特征图Fe和RGB帧特征图Fi融合得到融合特征定的起始时间tsrart和结束时间tenu之间的选定事件流E=fe,兴，其中第i个事件ei包含像素坐标(x,y)、以微秒ti为单位的时间戳以及指示亮度变化的极性p;e{-1,1}，N戳并将最近事件的归一化时间戳分配给每个仓中的像素值：,,上式中，S(x,y,t)为三维张量形式的事件帧图像s中坐标(x,y,t)的像素值，x,y,t分别表,中与来自RGB相机的RGB帧图像在时间和空间上分别对齐包括：通过使用RGB帧图像的触发时间戳以及采集频率，使得事件帧图像的开始累积时间和对应的RGB帧图像的触发时间相等，并且以RGB帧的采集频率的时间步长为3化模块SCB的路径聚合的特征金字塔网络PAFPN，所述特征金字塔网络PAFPN针对主过一个多头注意力Head得到特征提取网络提取的事件帧特征图Fe或者RGB帧特征图Fi；所一个分支为一个脉冲卷积批归一化模块SCB后连接有2个级联的脉冲卷积批归一化模块,,,示将特征x限幅到范围[min,max]内，round为取整函数，为时间步长t的膜电位张冲张量，s'[t]为第l层时间步长t的整数值脉冲张量，d为将整数值脉冲张量分割为二进制4化模块SCB得到对应的输出特征；所述组合模块SPP包括一个脉冲卷积批归一化模块SCB的输出共同通过一个连接模块连接后再经过一个脉冲卷积批归一化模块SCB得到对应的输出特征；所述残差模块Res包括依次级联的两个脉冲卷积批归一化模块SCB和一个残差,,,,,示将特征x限幅到范围[min,max]内，round为取整函数，为时间步长t的膜电位张5冲张量，s'[t]为第l层时间步长t的整数值脉冲张量，d为将整数值脉冲张量分割为二进制,,为关键帧的融合特征图Frus，FFUS为参考帧,样本和负样本的关键帧的嵌入特征向量；所述带有LIF量化神经元的卷积网络,,,示将特征x限幅到范围[min,max]内，round为取整函数，为时间步长t的膜电位张冲张量，s'[t]为第l层时间步长t的整数值脉冲张量，d为将整数值脉冲张量分割为二进制8.一种融合事件和RGB图像的SNN目标跟踪系统，包括相互连接的微处理器和存储器，6被编程或配置以通过处理器执行权利要求1～7中任意一项所述融合事件和RGB图像的SNN7[0001]本发明涉及计算机视觉领域的目标跟踪技术领域，具体涉及一种融合事件和RGB[0003]与传统的RGB相机相比，事件相机卓越的时间分辨率使其能够捕捉帧之间的丰富S1，通过基于时间堆叠的表示方法将来自事件相机的事件流转化为事件帧图像，8并与来自RGB相机的RGB帧图像在时间取，通过特征融合模块将特征提取得到的事件帧特征图Fe和RGB帧特征图Fi融合得到融合下式计算最近事件的归一化时间戳并将最近事件的归一化时间戳分配给每个仓中的像素值：,上式中，S(x,y,t)为三维张量形式的事件帧图像s中坐标(x,y,t)的像素值，x,y,t,过使用RGB帧图像的触发时间戳以及采集频率，使得事件帧图像的开始累积时间和对应的RGB帧图像的触发时间相等，并且以RGB帧络为带有脉冲卷积批归一化模块SCB的路径聚合的特征金字塔网络PAFPN，所述特征金字塔网络PAFPN针对主干网络输出的三种不同尺度的特征图的处理包括：将第一种尺度9的特征经过第三个脉冲卷积批归一化模块SCB处理，再与第二个脉冲卷积批归一化模块一化模块SCB处理特到的特征连接后再经过一个组合模块CSP2_1处理得到第三个尺度的卷积批归一化模块SCB，另一个分支为一个脉冲卷积批归一化模块SCB后连接有2个级联批归一化模块SCB得到对应的输出特征；所述脉冲卷积批归一化模块SCB的函数表达式为：,的卷积层针对输入特征X得到的特征，且带有LIF量化神经元的卷积层推理的函数表达式,,表示将特征x限幅到范围[min,max]内，round为取整函数，u[t]为时间步长t的膜电位脉冲张量，s'[t]为第l层时间步长t的整数值脉冲张量，d为将整数值脉冲张量分割为二进个脉冲卷积批归一化模块SCB、第二个组合模块CSP1_3、第四个脉冲卷积批归一化模块出的第一个特征图，第二个组合模块CSP1_3的输出作为主干网络输出的第二个特征图，CSP2_1的输出作为主干网络输出的第三个特征图；所述聚焦模块有多个并行的切片模块、后再经过一个脉冲卷积批归一化模块SCB得到对应的输出特征；所述组合模块SPP包括一该脉冲卷积批归一化模块SCB的输出共同通过一个连接模块连接后再经过一个脉冲卷积批归一化模块SCB得到对应的输出特征；所述残差模块Res包括依次级联的两个脉冲卷积,,元的卷积网络由四个脉冲卷积批归一化模块SCB串联构成，所述脉冲卷积批归一化模块,的卷积层针对输入特征X得到的特征，且带有LIF量化神经元的卷积层推理的函数表达式,,表示将特征x限幅到范围[min,max]内，round为取整函数，u[t]为时间步长t的膜电位脉冲张量，s'[t]为第l层时间步长t的整数值脉冲张量，d为将整数值脉冲张量分割为二进先训练好的ReID网络分别根据下式计算关键帧和参考帧,,,中的正样本和负样本的关键帧的嵌入特征向量；所述带有LIF量化神经元个脉冲卷积批归一化模块SCB串联构成，所述脉冲卷积批归一化模块SCB的函数表达式,的卷积层针对输入特征X得到的特征，且带有LIF量化神经元的卷积层推理的函数表达式,,表示将特征x限幅到范围[min,max]内，round为取整函数，u[t]为时间步长t的膜电位脉冲张量，s'[t]为第l层时间步长t的整数值脉冲张量，d为将整数值脉冲张量分割为二进或指令被编程或配置以通过处理器执行所述融合事件和RGB图态对样本的时间和空间信息提取不充分，使用该融合方式在空间上保留RGB相机的清晰图[0025]图8为本发明实施例中组合模块CSP1_1和组合模块CSP1_3的通用网络结构示意S1，通过基于时间堆叠的表示方法将来自事件相机的事件流转化为事件帧图像，并与来自RGB相机的RGB帧图像在时间述脉冲神经网络进行目标检测包括：通过特征提取网络分别将对齐后的事件帧图像le和特征图Fi融合得到融合特征图Frus；通过检测头对融合特征图Frus进行目标检测生成锚步骤S1中通过基于时间堆叠的表示方法将来自事件相机的事件流转化为事件帧图像包括：针对指定的起始时间tsrart和结束时间tenu之间的选定事件流E=fe,兴，其中第i个事件ei包含像素坐标(x,y)、以微秒ti为单位的时间戳以及指示亮度变化的极性事件的归一化时间戳并将最近事件的归一化时间戳分配给每个仓中的像素值：,上式中，S(x,y,t)为三维张量形式的事件帧图像s中坐标(x,y,t)的像素值，x,y,t,自RGB相机的RGB帧图像在时间和空间上分别对齐包括：通过使用RGB帧图像的触发时间戳以RGB帧的采集频率的时间步长为tsrarr-tena（本实施例中具体为50ms）使得事件相机以及采集频率20hz，使得事件帧图像的开始累积时间和对应的RGB帧图像的触发时间相等，并且以RGB帧的采集频率20hz来取时间步长tstarr-tona=50ms，使得事件相机和RGB帧相机在时间上同步对齐，并通过棋盘格和张氏标定方法得到事件相机和RGB帧相机的内提取网络包括主干网络和多尺度模块，所述主干网络用于将对齐后的事件帧图像le和RGB帧图像Ii分别提取三种不同尺度的特征图；所述多尺度网络为带有脉SCB的路径聚合的特征金字塔网络PAFPN，如图3所示，特征金字塔网络PAFPN针对主三个尺度的特征通过一个多头注意力Head得到特征提取网络提取的事件帧特征图Fe或者RGB帧特征图Fi。一化模块SCB，另一个分支为一个脉冲卷积批归一化模块SCB后连接有2个级联的脉冲卷,化模块SCB的输入特征其中R表示维度，T代表脉冲神经网络的时间为带有LIF量化神经元的卷积层针对输入特征X得到的特征，且带有LIF量化神经元的卷,,表示将特征x限幅到范围[min,max]内，round为取整函数，u[t]为时间步长t的膜电位脉冲张量，s'[t]为第l层时间步长t的整数值脉冲张量，d为将整数值脉冲张量分割为二进制脉冲张量的索引，将T时间步长扩展到TXD，并将整数值转换为脉冲序列过利用量化LIF作为脉冲神经网络的神经元，在训练时使用整数值有利于减少量[0037]如图6所示，主干网络包括依次相连的聚焦模块、第一个脉冲卷积批归一化模块个脉冲卷积批归一化模块SCB、第二个组合模块CSP1_3、第四个脉冲卷积批归一化模块出的第一个特征图，第二个组合模块CSP1_3的输出作为主干网络输出的第二个特征图，CSP2_1的输出作为主干网络输出的第三个特征图。一化模块SCB依次相连组成。[0039]图8为本发明实施例中组合模块CSP1_1和组合模块CSP1_3的通用网络结构示意再经过一个脉冲卷积批归一化模块SCB得到对应的输出特征；×9和13×13的最大池化方式进行多尺[0040]如图10所示，残差模块Res包括依次级联的两个脉冲卷积批归一化模块SCB和一利用脉冲神经网络和特征提取的优势，在静态和高运动场景中保持高质量的特征提取能,,图；所述带有LIF量化神经元的卷积网络由四个脉冲卷积批归一化模块SCB串联构成，在通过使用spike-yolox框架脉冲神经网络检测头以高检测准确率和低功耗为后续多目,,,中的正样本和负样本的关键帧的嵌入特征向量；所述带有LIF量化神经元的卷k=3的约束。利用关键帧和参考帧的锚框与帧的融合特征图以及真实目标bbox和类别构建经网络检测头以高检测准确率和低功耗为后续多目标跟踪过程提供高质量候选跟踪目标，同时利用一系列通道数相同的融合特征图以及一系列候选锚框在获得对应的特征嵌入后，对目标进行对比学习来获得高质量的关联网络进行跟DSEC数据集来训练和测试脉冲神经网络SNN，图14为本实施例中脉冲估指标采用mIDF1和mMOTA两个公知的指多目标跟踪中身份保持一致性的重要指标。它综合了真正例（IDTP，即正确匹配的身份数考虑了误检（falsepositives）、漏检（falsenegatives）和身份交换（identity本实施例方法的多模态事件帧和RGB帧跟踪评估指标为mIDF1=48.9%,mMOTA=37.5%。对比可知，采用本实施例方法的多模态事件帧和RGB帧跟踪评估比采用单一图像模态RGB帧跟踪的重更大。故综合来看，本实施例融合事件和RGB图像的SNN目标跟踪方法通过特征融合利用事件相机和RGB帧相机两种模式的优势能够保持稳健的跟踪性能。脉冲神经网络对事件帧图像和RGB帧图像进行特征提取；为了提高场景理解