CN119395661B 一种轻量脉冲神经网络单光子雷达后端信号处理方法 （中国人民解放军火箭军工程大学）

(12)发明专利号李琪郭小男务所(普通合伙)61230G01S7/486GO6N3/049(2023.GO6N3/084(2023.GO6F18/24G06F审查员张靓G01S7/48(2006.01)权利要求书4页说明书8页附图6页一种轻量脉冲神经网络单光子雷达后端信本发明提供了一种轻量脉冲神经网络单光训练构建好的脉冲神经网络得到训练好的脉冲发明通过量化脉冲神经网络的网络参数能够最对训练好的脉冲神经网络的网络参数进行量化处理得到轻量化的脉冲神经网络2S200,利用所述光子触发概率以及预先获取的灰度图数据集生成服从泊松分布的脉冲S400,对所述训练好的脉冲神经网络的网络参数进行量化处理得到轻量化的脉冲神经S500,将所述轻量化的脉冲神经网络部署在单光子雷达信号处理模块上，对SPAD传感S110,模拟激光信号从发射到SPAD传感器接收的过程，计算目标反射光照射到SPAD传S120,利用所述能量密度以及SPAD传感器捕获光子转换成电信号的过程，计算SPAD传S111,采用基于主动成像的匀光照明方式，计算单光子雷达的发射激光通过矩形或圆S114,利用所述视场平面的能量密度以及所述反射率，计算目标反射光照射到SPAD传2.根据权利要求1所述的轻量脉冲神经网络单光子雷达后端信号处理方法，其特征在S114中的目标反射光照射到SPAD传感器的能量3镜的直径，Pfie1a是发射激光通过圆形或矩形匀光产生的视场平面的能量密度，0和⑨均是积分变量。3.根据权利要求2所述的轻量脉冲神经网络单光子雷达后端信号处理方法，其特征在S121,模拟SPAD传感器的接收过程，确定SPAD传感器接收到的回波的光子数以及背景光的光子数；S122,利用所述回波的光子数以及背景光的光子数，对应计算基于主动成像和被动成像的单位时间步长平均光子触发个数；S123,利用所述反射率、基于主动成像和被动成像的单位时间步长平均光子触发个数，计算SPAD传感器对每个像素点的光子触发概率；所述光子触发概率包括基于主动成像的光子触发概率和基于被动成像的光子触发概率。4.根据权利要求3所述的轻量脉冲神经网络单光子雷达后端信号处理方法，其特征在S121中的回波的光子数用公式表示为：像素个数；S121中的背景光的光子数用公式表示为：S122中的基于主动成像的单位时间步长平均光子触发个数用公式表示为：S122中的基于被动成像的单位时间步长平均光子触发个数用公式表示为：S123中的光子触发概率用公式表示为：45.根据权利要求1所述的轻量脉冲神经网络单光子雷达后端信号处理方法，其特征在S210,针对每个像素点，将该像素点的光子触发概率输入泊松编码器中，以使所述泊松编码器生成0-1之间的随机数，并根据所述随机数是否小于该像素点对应的光子触发概率，从而输出1或0的脉冲；其中，若所述随机数小于像素点对应的光子触发概率，则输出1,否则输出0;S220,将输出1或0的脉冲按照时间序列组成脉冲序列数据，并作为训练数据集。6.根据权利要求1所述的轻量脉冲神经网络单光子雷达后端信号处理方法，其特征在层、脉冲神经元层组成，输出层由一个全连接层和脉冲神经元层组成；所述输入层用于输入脉冲数据，所述卷积层用于利用卷积核进行特征提取，所述池化层用于数据池化，所述脉冲神经元层用于非线性映射，所述全连接层用于整合并输出预测结果；所述脉冲神经元层中的脉冲神经元分为充电、放电和重置状态。7.根据权利要求6所述的轻量脉冲神经网络单光子雷达后端信号处理方法，其特征在S410,在训练数据集中选择部分训练样本作为输入数据，并将所有输入数据输入至训练好的脉冲神经网络中，得到卷积层和全连接层的输出数据；S420,将卷积层和全连接层中权重、偏置和输出数据作为网络参数，并统计网络参数的最大值和最小值；S430,设置量化位数，并基于该量化位数计算量化区间；S440,利用所述量化区间，判断所述网络参数所在的数值区间是否包含真实零点，若不包含，则补充数值区间使其包含真实零点，得到网络参数所在的最终数值区间；S450,利用所述最终数值区间以及量化公式，计算网络参数的量化规模和量化零点；S460,利用所述网络参数的量化规模和量化零点，对所述网络参数进行量化得到量化后的网络参数；S470,利用网络参数的量化规模，计算脉冲神经元的量化阈值；S480,将量化后的网络参数整合，并将整合后的网络参数和量化阈值更新至训练好的脉冲神经网络中，得到轻量化的脉冲神经网络。8.根据权利要求7所述的轻量脉冲神经网络单光子雷达后端信号处理方法，其特征在S450中的量化公式表示为：5S460中的量化阈值表示为：6技术领域[0001]本发明属于激光雷达信号处理技术领域，具体涉及一种轻量脉冲神经网络单光子雷达后端信号处理方法。背景技术[0002]单光子雷达采用工作在盖革模式下的雪崩二极管(SinglePhotonAvalanche动驾驶等领域广泛使用。单光子雷达对光子的灵敏响应使其在弱光条件下具有出色的表现。[0003]近年来，脉冲神经网络(SpikingNeuralNetwork,SNN)作为第三代神经网络，在人工智能和神经科学领域取得了广泛关注。与传统的人工神经网络(ArtificialNeuralNetwork,ANN)相比，SNN更加注重模拟生物神经系统中的离散脉冲信号，不仅能够精确高效的处理时间序列数据，而且更符合生物学真实特性。SNN网络结构是目前最能准确模拟人类大脑信号传递机制的网络，而且具有更高效的计算特性，尤其适用于时序相关的低功耗嵌入式系统，已经成为嵌入式设备部署神经网络计算的主要方案，近些年广泛流行于激光雷达传感器的应用。随着人工智能以及硬件工艺的快速发展，无疑加速了嵌入式设备与神经网络协同的发展，由此基于SNN的脉冲信号处理方法作为一个分支应运而生，在嵌入式设备上处理时间序列数据有着比其他ANN更出色的表现。[0004]单光子雷达信号处理作为激光雷达信号分析的典型问题，在商业、工业、军事等领域应用广泛，传统的激光雷达测距和成像算法需要设计复杂的电路，占用大量的存储资源。基于神经网络的信号处理，只需要进行乘加运算，可以高效地提取雷达数据特征，动态范围于神经网络的雷达数据处理具有很大的应用潜力，但基于单光子雷达的神经网络硬件化实现仍面临一些挑战。首先，当下缺乏基于时间序列的单光子雷达信号数据集，现有的方法是直接利用灰度图训练CNN(ConvolutionalNeuralNetworks,卷积神经网络)网络，然后通过调整激活函数转化成脉冲神经网络(SNN),另一种方法是将灰度图在时间维度T上进行复制，从而具有时序信息，直接利用SNN网络进行训练，虽然这两种方法能够训练出精确度较好的SNN网络，但是数据类型与单光子雷达的直接输出数据不能耦合，需要进一步处理。其次，训练完成的神经网络权重和偏置等参数是32位的浮点数，对于集成化硬件的部署来说是无法接受的，而且浮点运算会占用更多的资源，功耗更大，远远不能满足芯片集成化、低功耗需求。发明内容[0005]为了解决现有技术中存在的上述问题，本发明提供了一种轻量脉冲神经网络单光子雷达后端信号处理方法。本发明要解决的技术问题通过以下技术方案实现：[0006]一种轻量脉冲神经网络单光子雷达后端信号处理方法包括：7[0007]S100,模拟SPAD传感器采集图像的光学和电学过程，计算SPAD传感器的光子触发[0008]S200,利用所述光子触发概率以及预先获取的灰度图数据集生成服从泊松分布的脉冲序列数据，并作为训练数据集；[0009]S300,利用所述训练数据集训练构建好的脉冲神经网络，得到训练好的脉冲神经[0010]S400,对所述训练好的脉冲神经网络的网络参数进行量化处理得到轻量化的脉冲神经网络；[0011]S500,将所述轻量化的脉冲神经网络部署在单光子雷达信号处理模块上，对SPAD传感器采集得到的脉冲数据做预测得到分类或成像结果。[0013]本发明提供了一种轻量脉冲神经网络单光子雷达后端信号处理方法，包括：[0014]模拟SPAD传感器采集图像的光学和电学过程，计算SPAD传感器的光子触发概率；利用所述光子触发概率以及预先获取的灰度图数据集生成服从泊松分布的脉冲序列数据，并作为训练数据集；利用所述训练数据集训练构建好的脉冲神经网络，得到训练好的脉冲神经网络；对所述训练好的脉冲神经网络的网络参数进行量化处理得到轻量化的脉冲神经网络；将所述轻量化的脉冲神经网络部署在嵌入式设备上，以对SPAD传感器采集的脉冲数据做预测，得到分类或成像结果。本发明通过量化脉冲神经网络的网络参数能够最大程度减少量化的精度损失，同时将网络参数转化成整数，对硬件的存储和计算都很友好，因此能减少计算和硬件资源的开销，实现对片上脉冲信号高准确度、高效率、高动态范围的处理。[0015]以下将结合附图及实施例对本发明做进一步详细说明。附图说明[0016]图1是本发明提供的一种轻量脉冲神经网络单光子雷达后端信号处理方法的流程示意图；[0017]图2是本发明提供的轻量脉冲神经网络单光子雷达后端信号处理方法的过程示意[0018]图3是本发明提供的两种匀光方式的示意图；[0019]图4是本发明提供的生成训练数据集的过程示意图；[0020]图5是本发明提供的脉冲神经网络的示意图；[0021]图6是本发明提供的轻量化的脉冲神经网络中脉冲神经元不同状态的流程图。具体实施方式[0022]下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于[0023]如图1所示，本发明提供了一种轻量脉冲神经网络单光子雷达后端信号处理方法[0024]S100,模拟SPAD传感器采集图像的光学和电学过程，计算SPAD传感器的光子触发8[0027]S110,模拟激光信号从发射到SPAD传感器接收的过程，计算目标反射光照射到光的强度和飞行时间进行成像，而被动成像方案可以直接根[0030]S111,采用基于主动成像的匀光照明方式，脉冲的包络符合高斯分布；S是匀光片到视场平面的距离；θ1和分别是矩形匀光在垂直光产生的视场平面的能量密度用公式表示为：[0039]S114,利用所述视场平面的能量密度以及所述反射率，计算目标反射光照射到9[0043]S120,利用所述能量密度以及SPAD传感器捕获光子转换成电信号的过程，计算[0052]S122,利用所述回波的光子数以及背景光的光子数，对应计算基于主动成像和被[0058]S123,利用所述反射率、基于主动成像和被动成像的单位时间步长平均光子触发[0059]考虑到SPAD传感器的光子触发个数服从泊松分布，可以得出光子触发概率用公式表示为：[0061]式中，Pacti是基于主动成像的光子触发概率，Ppassi是基于被动成像的光子触发概率。[0062]S200,利用所述光子触发概率以及预先获取的灰度图数据集生成服从泊松分布的脉冲序列数据，并作为训练数据集；[0063]参考图2,在本发明一种具体的实施方式中，S200包括：[0064]S210,针对每个像素点，将该像素点的光子触发概率输入泊松编码器中，以使所述泊松编码器生成0-1之间的随机数，并根据所述随机数是否小于该像素点对应的光子触发[0065]其中，若所述随机数小于像素点对应的光子触发概率，则输出1,否则输出0;[0066]S220,将输出1或0的脉冲按照时间序列组成脉冲序列数据，并作为训练数据集。[0067]参考图4,本步骤根据光子触发概率，利用泊松编码生成服从泊松分布的脉冲序列[0068]S300,利用所述训练数据集训练构建好的脉冲神经网络，得到训练好的脉冲神经[0069]参考图5,所述脉冲神经网络包括依次连接的输入层、隐藏层、输出层。隐藏层由多个卷积层、池化层、脉冲神经元层组成，输出层由一个全连接层和脉冲神经元层组成；所述输入层用于输入脉冲数据，所述卷积层用于利用卷积核进行特征提取，所述池化层用于数据池化，所述脉冲神经元层用于非线性映射，所述全连接层用于整合并输出预测结果；所述脉冲神经元层中的脉冲神经元分为充电、放电和重置状态。[0070]当脉冲到来时，脉冲神经元进入充电状态：0071V₁=[0072]其中，V,是当前时刻的电压，V₁₋1是上一时刻的电压，X,是当前时刻的脉冲数据。[0073]当电压超过阈值Vhres时，进入重置状态，重置方式有两种，分别是软重置和硬重置。软重置和硬重置后的电压表示为：[0076]当没有脉冲触发时，脉冲神经元会随着时间漏电，可以按比例泄露，也可以是固定值泄露：[0079]本发明的卷积层利用3*3的卷积核进行特征提取，步长为1,同时进行填充，防止选取5*5的池化层迅速减少数据量，小规模像素采用3*3的池化层进行池化。最后利用全[0081]S400,对所述训练好的脉冲神经网络的网络参数进行量化处理得到轻量化的脉冲数据以及池化层的输入和输出数据是32位的浮点数，高的位宽不仅会占用大量的存储资[0087]S430,设置量化位数，并基于该量化位数计算量化区间；量化区间表示为[0090]S450,利用所述最终数值区间以及量化公式，计算网络参数的量化规模和量化零[0093]本步骤利用量化公式可以计算得到权重、偏置和输出数据的量化规模Soupu、S、[0094]S460,利用所述网络参数的量化规模和量化零[0097]本步骤利用输出数据的量化规模计算对应脉冲神经元的量化阈值，量化阈值表示[0100]S480,将量化后的网络参数整合，并将整合后的网络参数和量化阈值更新至训练