CN119416835A 基于多突触连接的脉冲神经元的网络模型训练方法和系统 （中国人民解放军国防科技大学）

基于多突触连接的脉冲神经元的网络模型本申请公开了一种基于多突触连接的脉冲同时编码输入信号的强度信息和时间信息的多构建多突触连接的脉冲神经元的目标梯度替代过反向传播的方式训练基于多突触连接的脉冲2获取训练数据集，所述训练数据包括图像数据、音频数据和脑电构建用于同时编码输入信号的强度信息和时间信基于所述目标梯度替代函数和所述训练数据集，通过反向传播的2.根据权利要求1所述的基于多突触连接的脉冲神经元的网络模型训练方法，其特征在于，所述构建用于同时编码输入信号的强度信息和时间信息的多突触连接的脉冲神经;3.根据权利要求1所述的基于多突触连接的脉冲神经元的网络模型训练方法，其特征基于所述多突触连接的脉冲神经元、不同卷积核的卷积层和连接所述编码模块、所述特征提取模块和所述输出模块，得到基4.根据权利要求3所述的基于多突触连接的脉冲神经元的网络模型训练方法，其特征构建包含所述第二卷积核的脉冲卷积层、所述多尺度35.根据权利要求1所述的基于多突触连接的脉冲神经元的网络模型训练方法，其特征在接收期阶段，通过所述多突触连接的脉冲神经元中的至在积累期阶段，使所述神经元根据前一时刻的膜电位和接收到的输入信6.根据权利要求1所述的基于多突触连接的脉冲神经元的网络模型训练方法，其特征;7.根据权利要求6所述的基于多突触连接的脉冲神经元的网络模型训练方法，其特征在确定最大突触数量和所述最优阈值间隔后，计算不同尺度因子的膜电位的震荡幅8.一种基于多突触连接的脉冲神经元的网络模第一构建单元，用于构建用于同时编码输入信号的强度信息模型训练单元，用于基于所述目标梯度替代函数和所述训练数据方式训练所述基于所述多突触连接的脉冲神9.一种电子设备，其特征在于，包括至少一个控制处处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，4要求1至7任一项所述的基于多突触连接的脉冲神经元5[0004]本申请旨在提出一种基于多突触连接的脉冲神经元的网构建用于同时编码输入信号的强度信息和时间信息的多突触连接的脉冲神经元，本方法通过构建用于同时编码输入信号的强度信息和时间信息的多突触连接的6经元能够在保证低功耗的前提下大幅提升网络模型的性能，并提高网络模型的分类精确;其中，xt.n表示第t时刻第n层的输入脉冲或输入信号，wn表示第n层的权重，o7;根据所述目标梯度替代函数，将所述预设梯度替代函数转化为第一梯度替代函播的方式训练所述基于所述多突触连接的脉冲神经元处理器能够执行如上所述的一种基于多突触连接的脉冲神经元的网络模8[0017]本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得图1是本申请提供的基于多突触连接的脉冲神经元的网络模型训练方法的实施例图2是本申请提供的基于多突触连接的脉冲神经元的网络模型训练方法的最佳实图3是本申请提供的基于多突触连接的脉冲神经元的网络模型训练方法的最佳实施例中的不同尺度因子的梯度替代函数的实验结图4是本申请提供的基于多突触连接的脉冲神经元的网络模型训练方法的最佳实施例中的最大突触数量D=100，尺度参数时的Sigmoid型梯度替代函数的实验结果图5是本申请提供的基于多突触连接的脉冲神经元的网络模型训练方法的最佳实施例中的最大突触数量D=100，尺度参数时的Sigmoid型梯度替代函数的实验结果图6是本申请提供的基于多突触连接的脉冲神经元的网络模型训练方法的最佳实图7是本申请提供的基于多突触连接的脉冲神经元的网络模型训练方法的最佳实施例中的基于多突触连接的脉冲神经元的网络模型的结图8是本申请提供的基于多突触连接的脉冲神经元的网络模型训练系统的实施例不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明9[0024]为解决上述存在的目前的脉冲神经元无法同时编码刺激[0025]参照图1，本申请实施例提供了一种基于多突触连接的脉冲神经元的网络模型训输入信号的强度信息和时间信息的多突触连接的脉冲神经元运用到大尺度深层脉冲神经网络模型中，大尺度深层脉冲神经网络模型可以为现有技术中存在的脉冲神经网络模型，;其中，xt.n表示第t时刻第n层的输入脉冲或输入信号，wn表示第n层的权重，o过多个阈值决策触发多个脉冲，然后通过多突触结构同时传递到突触后神经元。每个时间步的脉冲发放数量可用于衡量当前时刻的瞬时输入信号的大小，即编码了输入信号的强度。不同时刻的输入信号编码在不同时刻的脉冲输出中，当前时刻的输出还受到历史时刻[0033]上述第一卷积核的脉冲卷积层和第二卷积核的脉冲卷积层为两个卷积核大小不在接收期阶段，通过多突触连接的脉冲神经元中的至少一个突触接收输入信号，;[0039]在一些实施方式中，在构建多突触连接的脉冲神经元的在确定最大突触数量和最优阈值间隔后，计算不同尺度因子的膜电位的震荡幅了如图2所示的多突触连接的脉冲神经元模型（即多突触连接的脉冲神经元设计了多突;其中，xt.n表示第t时刻第n层的输入脉冲或输入信号，wn表示第n层的权重，stn-1表示第t时刻第n-1层的输出脉冲，D表示最大突触数量，可根据具体任务进行设冲发放。神经元设置多个阈值（其中d=1,2,…,D表示突触数量每个阈值对应不同的[0052]多突触连接的脉冲神经元模型对刺激强度编码和刺激时间分别进行编码的方法[0053]②不同时刻的输入刺激编码在不同时刻的脉冲输出中，当前时刻的输出还受到[0055]通常描述神经元放电过程会使用Heaviside阶跃函数o(x)，其导数为冲激函数，;等。由于冲激函数在实数轴上的积分等于1;本实施例中，设冲激函数的梯度替代函数为o(x;a)，其中是尺度因子，能控制[0056]图3展示了Rectangular型(a=0.5)，Sigmoid型(a=4)以及Arctangent型(a=2)梯度替代函数的图像。;;;;[0059]为更直观展示上述理论结果，以Sigmoid型梯度替代函数为例，首先需要将Sigmoid型梯度替代函数转化为多突触脉冲神经元的替代梯度函数的形式，然后再进行实;;参照图6中（a为Rectangular型梯度替代函数实验结果示意图，首先需要将Rectangular型梯度替代函数转化为多突触脉冲神经元的替代梯度函数的形式，然后再进[0061]参照图6中（b为Arctangent型梯度替代函数实验结果示意图，首先需要是相较于a=1和a=4的更优参数选择。a=4的更优参数选择。图，从图中可以看出，Rectangular型梯度替代函数在a=0.5时取得最高的分类a=2时取得最高的分类准确率。的基于多突触连接的脉冲神经元的网络模型。编码模块为一层卷积核为3x3的脉冲卷积层积层一个多尺度特征提取模块和一个注意力子模块组成。其中多尺度特征提取模块由多个卷积核为3x3的脉冲卷积层堆叠构成。注意力子模块采用了串联的通道注意力和空间注[0068]基于多突触连接的脉冲神经元的网络模型训练过程采用时序反向传播算法实施例对时序反向传播算法的具体形式不做限定。人体动作识别HARDVS数据集上进行了实验，特征提取模块的具体网络模型结构采用[0073]表1展示了不同模型在CIFAR_10数据集上的表现。本实施例所提出的基于多突触训练方法不再赘述。以下产品均引用了前述的任意一种或多种神经网络模型及其训练方延迟响应的特点。现有的拟神态芯片包括Intel的Loihi、IBM的TrueNorth和Synsense的的配置参数部署至神经网络加速器。借助于专用的部署软件，该部署阶段将训练阶段生成类型的网络）传输至神经网络加速器（如人工智能芯片或混合信号类脑芯片）的存储单元元模型和训练方法以外，完全可以通过逻辑编程来使得本发明提供的神经元模型以逻辑[0085]参照图8，本申请实施例还提供了一种基于多突触连接的脉冲神经元的网络模型第一构建单元200，用于构建用于同时编码输入信号的强度信息和时间信息的多训练系统与上述的一种基于多突触连接的脉冲神经元的网络模型训练方法基于相同的发[0088]该电子设备可以为包括手机、平板电脑、个人数字助理（PersonalDigital可以根据实际的需要选择其中的部分或者全部模块来实现本