CN119494377A 基于脉冲神经网络的神经形态计算系统及计算方法 （暨南大学）

基于脉冲神经网络的神经形态计算系统及本发明涉及一种基于脉冲神经网络的神经于存储中央处理器运行所需的程序指令以及中2神经形态处理器，用于采用若干个物理神经元构基于RISC_V指令架构实现的中央处理器，与所述神经形态处理器通所述神经形态处理器，还用于在所述控制指令的控制下对所述脉存储器，用于存储所述中央处理器运行所需的程序指令，所所述程序译码器，用于将控制所述脉冲神经网络运行的计算机程序转换为所述取指单元，用于访问所述存储器，读取与当前时钟周期的程序计所述指令缓冲单元，用于对所述取指单元读取的RISC_V指令进行缓冲，将所述其中，V(t)为物理神经元在当前时间步的膜电位，V(t_1)为物3每个所述脉冲神经计算核和所述脉冲神经决策核中均内置所述脉冲编码器，用于基于卷积神经网络对输入图像进行脉冲编码所述多个并行计算的脉冲神经计算核，用于组建所述脉冲神经网所述脉冲神经决策核，用于组建所述脉冲神经网络的输出层，并将所所述一级路由器，用于构建所述脉冲编码器与所述脉冲神经计算核之间的通信路由，所述遗忘失活器，用于基于随机遗忘学习法对隐藏层所涉及的物理参数更新器，用于对所述随机学习器训练后的物理神经元的突若物理神经元的当前时间步的膜电位与当前时间步的激活阈值的差值大于预设的伪4示下一时间步的神经元激活阈值，vun(t-1)表示当前时间步的神经元激活阈值，At表示前所述PE近似计算阵列由多个PE单元采用并行流水计算架构组成，用于将所述脉冲每个PE单元包括累加控制逻辑和至少一个每个所述PE单元，用于在所述累加控制逻辑的控制下，利用所所述近似加法树由多个第二近似加法器采用二叉树结构分级构成，用所述脉冲发放决策单元，用于将所述的完整膜电位与当前物理神经号并根据所述充电模型对当前物理神经元的膜电位进行充电；若当前物理神经元被激活，所述脉冲密度判别器，用于根据所述脉冲序列的脉冲密度，将所述脉所述PE近似计算阵列，还用于当所述脉冲序列为稠密脉冲序列时所述多个卷积滤波器依次连接，用于通过可训练的卷积核对输入图像进所述时空编码器，用于对降维后的图像特征图划分为多个局部空间值量化为以频率发放的脉冲序列。5一近似加法器和所述第二近似加法器均为带纠错机制所述推测进位加法器包括m个k位的子加法器，用于对应接入m段k位每个所述子加法器包括一个推测进位生成器；所述推测进位生成器器生成的第k_1位的进位标识信号，代表第i_1个子加法器生成的第k_1位的进位标识各个所述子加法器之间还设有多路选择器，将所述计算机程序输入至如权利要求1至9任一项所述的基于脉冲神经网络的神经形6足或者自身优化不够是现有SNN处理器普遍存在的问题。考虑到计算复杂性和成本因素，[0004]现有技术中的神经形态计算系统设计通常缺乏足够的灵活性。对于部署有SNN处7在线学习，对所述脉冲神经网络的每个物理神经元所关联的突触权重和激活阈值进行更8所述指令缓冲单元，用于对所述取指单元读取的RISC_V指令进行缓冲，将所述本发明提出了一种结构优化的基于脉冲神经网络的神经形态计算系统和图像目9图2为本发明实施例的基于RISC_V指令架构实现的中央处理器的一种结构示意图4为本发明实施例的神经形态处理器隐藏层的脉冲神经计算核的一种结构示意图5为本发明实施例的神经形态处理器输出层的脉冲神经决策核的一种结构示意图6为本发明实施例的神经形态处理器隐藏层的脉冲神经计算核的一种优选结构神经网络的硬件化实现是基于CMOS数字储所述中央处理器200与所述神经形态处理器100之间传输[0017]为了使脉冲神经网络模型能够适配于数字电路硬件的实现，本发明实施例对LIF膜电位衰减因子；vzst为物理神经元的重置基准电位；V(t+)为杂结构的图像，使用本实施例提供的改进的LIF神经元模型能够仿真生物神经元的动态特制在神经形态处理器100中构建脉冲神经网络，以实现将输入图像输送至神经形态处理器[0026]所述程序译码器211，用于将控制所述脉冲神经网络运行的计算机程序转换为作为访问所述存储器300的读地址；阶段需要通过动态分支预测器213对每一个需要执行的指令所对应的PC值进行分支预测，并在译码阶段或执行阶段可以获知该PC值是否预测成功；若成功，则可以快速进入下一个在指令跳转之前的状态。本发明实施例提供的RISC_V处理器具备快速分支预测和分支预测失败恢复的功能。234和退休单元235组成的五级流水线架构，用于读取所述指令缓冲单元220的RISC_V指令RISC_V处理器200与所述神经形态处理器100[0029]在本实施例中，所述神经形态处理器100为基于脉冲神经网络实现的可在线学习提供的神经形态处理器的一种优选结构示意图。具体地，图3示意性地画出了基于四个脉冲神经计算核和一个脉冲神经决策核实现的神经形态处理器100的一种优选实现方案。其实现脉冲神经网络输出层功能。输入图像经过脉冲编码器130后基于预设的脉冲编码方法计算核110中进行并行计算；四个脉冲神经计算核110的并行计算结果通过一级路由器140[0030]如图4和图5所示，图4是本发明实施例提供的脉冲神经计算核的一种具体结构示[0035]所述一级路由器140，用于构建所述脉冲编码器130与所述脉冲神经计算核110之间的通信路由，将所述脉冲序列分配至所述隐藏层的多个脉冲神经计算核110进行并行计算；还用于构建所述多个脉冲神经计算核110与所述脉冲神经决策核120之间的通信路由，中进行计算。在本实施例中，脉冲编码器130会将输入图像按照预先设定的时间步（Time[0041]以图6所示的脉冲神经计算核来介绍各个脉冲神经计算核以及脉冲神经决策核的核心工作原理。突触计算模块111中的突触权重数据存储器中预存储了通过预训练获得的[0043]在神经形态处理器100利用脉冲神经网络模型的推理过程中，通过脉冲神经计算核和脉冲神经决策核根据预存的或在线学习后更新的突触权重和激活阈值对多个时间步[0044]在神经形态处理器100利用脉冲神经网络模型的在线学习过程中，可以将多张图权重和神经元激活阈值进行更新。不同的在线学习机制或架构将决定神经形态处理器100[0045]现有技术中被广泛应用于实现脉冲神经网络模型训练的学习方法是脉冲时序依其的近似实现需要占用庞大的硬件计算资源和能源消耗。例如，需要大量存储空间来保存每个神经元在每个时间步下的脉冲信息，这无疑对于资源和成本受限的边缘设备而言是一中神经元之间的突触连接行为非常相似，网络模型发生了灾难性遗忘的技术问题。进一步地，本发明在大量研究中发现，神经元突触的连接强度（权重）会受到其连接的前神经元[0051]其中，w(t)表示下一时间步的突触权重，W(t-1)表示当前时间步的突触权重，用基于历史权重的随机可塑性方法来实现隐藏层的每个物理神经元所连接的突触权重和突触连接法可以使用随机关断突触权重的读使能端进行实现，无需太多额外的电路逻辑，训练。由于输出层不再有对下一层网络层的突触连接，所以上述的遗忘学习不再适用于针对输出层的物理神经元的在线学习。为了克服输出层物理神经元的灾难性遗忘，本发明采用参数冻结的学习方法。对于在旧任务中已经训练好的脉冲神经网络，在新任务到来时冻结输出层的部分物理神经元的所有参数，或者，冻结输出层的所有物理神经元的部分参数法限制了新任务对原始任务的突触权重的干扰，从而减少灾难性遗忘。参数冻结的神经元之间的突触权重和激活阈值不会发生任何更新，只微调与该任务相关的神经元突触连接。这种非全局更新的办法，可以避免因已经训练良好的神经网络，因为大规模调整权重而导储的开销。[0057]具有在线学习能力的神经形态处理器100，可以实现更有应用场景针对性的目标[0058]神经元计算模块112中的神经元仲裁器1122，用于将最活跃的物理神经元的相关环的伪随机序列。随机学习器1163比较前面提到的神经元的相对差值Wcs和伪随机数P，若分别对在历史时间步最活跃的物理神经元所连接的突触权重和激活阈值进行更新。其中，窗口内已经参与过累计的历史突触权重和历史输入脉冲送入在线学习单元116中参与学习且历史权重选择为距离W(t)一个时间步的突触权重值W(t-1)。相比较于常规的STDP在线实施例可以通过合理地设置a和b的数值来反映不同历史权重对于突触权重调整幅度的影在每一时间步的历史物理神经元发放脉冲的情况来对激活阈值进行动态调节。具体来说，个脉冲分别选择出对应的突触权重后，将突触权重发放至近似加法树中进行求和并暂存。中。突触计算模块111通过突触权重存储器1111存储每个物理神经元所连接突触的突触权[0072]在脉冲神经计算核和脉冲神经决策核中，加法器是实现物理神经元中的PE累加、子加法器生成的第k_1位的进位标识信号，代表第i_1个子加法器生成的第k_1位的进神经网络对于近似计算的鲁棒性很强，这种误差几乎不会对神经元的脉冲分经网络因近似计算而失效，确保了神经形态处理器100的可靠性。在整个神经形态处理器如图7所示，一帧输入图像的完整的脉冲序列可被分解为非复用部分序列和可复用部分序藏层的物理神经元进行稀疏激活的好处是可以进一步减少在推理过程中重复部分多余的用在不同层次的数据通信，其处理的数据及数据传递的方向不同。图8展示了一级路由器于将外部各个方向接入的数据包分配至其内部的多个通道的缓存器中，然后根据数据包所携带的封装信息将提取特定的信息段（filts）发放到相应的通道或路径上。由于信息段阶段主要用于实现信息段的数据交互和外部传输。[0085]神经形态处理器上的各个脉冲神经计算核与脉冲神经决策核内部路由接口113与[0087]进一步地，基于与上述基于脉冲神经网络的神经形态计算系统的相同的发明构创新点与所述神经