【《脉冲神经网络典型监督学习算法综述》3900字】

脉冲神经网络典型监督学习算法综述人工神经网络的监督学习是利用已知类别的样本去进行模型训练的学习方式。学习过程中先把训练样本输入到模型中进行运算，求出计算结果和目标结果间的差异作为误差信号，然后以误差信号作为神经元突触间连接权值的调整依据，以求反复学习调整后建立的神经网络模型的能达到输出信号与设定的目标信号间差异最小化。监督学习是一种带有目标的学习过程，相较于无监督学习而言收敛速度会更快。脉冲神经网络监督学习算法以高效准确地实现复杂脉冲时序模式学习为目标。正如上文国内外研究现状中提到的，由于当前仍未探明生物神经元中监督学习机制的细则，加上脉冲神经网络模型自身的复杂性和脉冲序列的离散性导致现有的传统人工神经网络监督学习方法不能直接迁移到脉冲神经网络的训练中，脉冲神经网络监督学习领域的研究仍然处于初始进程中，目前的各种学习模型都还存在着很大的改进空间。根据神经元间连接权重调整规则的不同，现有的脉冲神经网络监督学习算法又可以主要分为基于梯度下降的学习机制、基于突触可塑性的学习机制和脉冲序列卷积算法三种类型。本章主要介绍几种现存的脉冲神经网络典型监督学习算法，对其各自的算法理论基础、运行机制、适用场景进行了简要阐述。SpikeProp学习算法梯度下降算法是1986年由Rumelhart和McClelland等人提出的一种神经网络模型误差反向回传算法[39]，其训练过程包含两个阶段：(1)通过刺激信号的正向传播，在输出层得到实际输出结果和期望输出间的误差，计算损失；(2)将误差进行反向传播，根据回传的误差来作为修正各单元权值的依据去间接调整隐层的权值。梯度下降算法是现阶段的神经网络训练中被广泛使用的一种参数学习算法，但是BP算法采用的链式求导法则，其要求信号必须是连续的。Bothe等人根据BP算法思想首次提出了一种适用于多层前馈型网络的误差反传算法，并将其命名为SpikeProp。SpikeProp算法以SRM模型作为研究神经元，为了解决脉冲神经元用膜电压到达阈值的时间去表达脉冲信息，这种时刻点表达方式会具有不连续特性，SpikeProp算法限制神经网络中所有层的神经元都只可以激发一个脉冲，从而基于线性假设可以对算法学习规则进行求导。具体的误差函数可根据公式(2-11)进行计算。 (2-11)其中代表的是神经元实际脉冲发送时间，表示的是给定的输出层神经元期望脉冲发送时间。SpikeProp算法虽然求损失的过程中采用的是与脉冲时间相关的函数，但在误差回传阶段会转换成膜电压形式。实验表明，SpikeProp算法能够很好的拟合S形曲线，完成非线性问题的求解任务，是将传统机器学习算法运用于脉冲神经网络的成功范例，为将更多传统神经网络学习算法迁移到脉冲神经网络上奠定了基础。但是SpikeProp中神经元只能发放一个脉冲，这显然是不符合生物神经元真实情况的，而且运算能力非常有限。而且如果脉冲神经网络中中间隐层神经元全为静默状态的话，是不存在输出信息的，继而不能利用BP算法完成误差函数的逆向传播，所以SpikeProp算法性能受算法初始化参数影响巨大。在后续的研究中，学者们从不同的方面进一步去改进SpikeProp算法，提出了很多SpikeProp扩展算法。Xin等人[40]在SpikeProp算法上引入了一个动量项，提出了动量方向传播算法，使得算法效率得到显著提升；还有研究人员利用引入延时编码机制或加入常量以及脉冲阈值等方法去尝试提升SpikeProp算法性能；方慧娟等提出了一种利用可变学习率完成模型训练的算法；Boqij和Nguyen等[41]给出了一种输入层和隐层神经元都可以激发任意数量的脉冲信号的扩展SpikeProp算法，可以实现复杂刺激与脉冲序列间的转换；Ghosh-Dastidar和Adeli同样提出一种对神经元脉冲发放数量不做限制的多脉冲算法Multi-SpikeProp，通过链式求导法得到了输出层与中间层神经元权重下降方法，再次提升了模型在XOR问题上的分类准确度；近期，徐彦等人又提出了一种改进的多脉冲SpikeProp算法，任意层的所有神经元都可以发送任意数量的脉冲信号。TheTempotron学习算法SpikeProp算法收敛速度较慢且仅适用于SRM神经元模型，Gutig和Sompolinsky将SpikeProp算法与感知机思想结合，提出了一种可用于LIF神经元模型的监督突触学习算法TheTempotron。Tempotron同样是基于梯度下降思想来调整权重和延迟等参数，以求实现实际输出与期望输出误差的最小化。Temptron方法中神经元膜电势等于全部的来自前突触神经元的刺激信号导致的PSP变化的加权，具体公式为(2-12)。 (2-12)表示第i个前突触神经元脉冲输入的时刻，值得注意的是在某时间窗口中输入神经元可能点火多次，也会出现一直未能达到阈值的情况。核函数用于求全体前神经元的脉冲输入引起的膜电势的和，该加权和加上静息电压后即为t时刻对应膜电势，并根据膜电压与阈值之间的大小关系判断该输出神经元是否需要进行点火操作。Tempotron中权重调整规则为公式(2-13)。 (2-13)通过公式(2-13)可以发现，Tempotron的学习过程需要调整的参数很少，所以是一种简洁高效的监督学习算法。其中的漏电积分点火神经元指的是单脉冲的神经元，可以将单脉冲的时间序列准确分类。但神经元只有点火与否两种状态，无法直接处理多类别的分类问题，当需要完成多分类任务时，要采用多为多个输出神经元进行二进制编码的方式去输出不同类别。比如当需要进行分类的样本一共有9种类别时，在二进制编码情况下，需要使用二的四次方去表示，因此spiking模型需要有至少4个输出神经元。同样因为Tempotron只能激发一个脉冲的缺点，导致无法直接将其作为输入序列传递到下一层神经元中，仅适用于单个神经元或单层的网络结构中，无法应用到多层网络结构，而且只能进行离线学习。ReSuMe算法经过近年来的探索，相关学者又提出了一些仿生性更强的spiking神经网络学习算法，以应对更为复杂的时空序列学习任务，最典型的就是可以发射多脉冲的远程监督学习机制(，)。Hebb及相关研究者于上世纪九十年代提出了Hebbian学习机制，是第一个非监督学习机制[42]。Hebbian学习机制中提出了STDP的理念：前神经元持续反复对后神经元传递刺激的情况下，会导致二者间的突触连接权值加大；反之，突触间连接权重就会逐渐减弱。STDP本来一种无监督的生物学习方式，STDP根据前后神经元发射脉冲信号的时间关系自适应的去调节突触权重来完成学习目标。STDP机制的实质是Hebbian机制的双向对称的学习形式，同样是以前后神经元发射的脉冲信号间的关系作为调节权值的依据的，即对兴奋性突触而言突触前后神经元的协同活动会提高神经元间的突触权重，但是对抑制性神经元来说却恰恰相反，相关性活动会降低突触间刺激的传递效率。将前后两神经元的脉冲时间差构建为一个学习时间窗口函数，权重的调整量根据学习窗函数而来，其学习窗口如图2-4所示。图2-4STDP学习窗口[43]常用的学习窗函数为公式[44](2-14): (2-14)其中，s为两神经元激发脉冲的时间差值，为权重增强的时间常数，对应权重减小的时间常数，和分别表示权重增强与减弱的增益。这种基于窗口学习的思想比误差反向传播策略具有更高的学习效率，对参数的依赖也更小，所以常常将其用于监督学习算法中。ReSuMe就是基于STDP规则的远程监督学习算法，它在权值调整过程会根据输入脉冲序列和目标输出序列进行训练的正向的STDP处理过程去增强突触，还会根据输入脉冲序列和模型运算得出的实际输出进行一个减小突触权值的anti-STDP操作。权重调整量采样公式(2-15)进行计算。 (2-15)其中，为神经网络模型的期望脉冲，为神经元模型实际输出脉冲，是第i个输入脉冲，参数s根据突触类型取值，兴奋型时S>0，抑制型时则S<0。ReSuMe的学习过程如图2-5所示。图2-5ReSuMe学习过程ReSuMe算法适用于多种神经元模型或突出类型，它构建的神经网络的输入可以是脉冲序列，输出也可以是多脉冲的脉冲序列，而且具有在线学习能力。ReSuMe算法自身没有包含误差反传功能，仅达到了训练输出层突触权值的目的，而中间层的权值为初始化时设置的定值。ReSuMe算法的改进策略是由科学家Sporea等人基于SpikeProp算法完成拓展的，其通过对神经元模型加以限定之后，输出脉冲序列可表示为多个输入脉冲序列的加权运算，衍生出的Multi-ReSuMe算法可以用于多层前馈spiking神经网络中，但却无法解决非线性神经元模型中的问题。SPAN学习算法脉冲神经网络中信息是以神经元发送脉冲的离散的时间点表示的，为了简化计算流程，可以通过选择合适的核函数进行卷积计算的方式，将分散的时序序列转化为对应的连续函数，如公式(2-16)所示。 (2-16)通过卷积计算将脉冲序列转换成连续函数，可以用其描述一些特定的神经生理信号，如可以用来表示细胞膜上的电势差，或用于表示脉冲点火的频率，并将任意两个脉冲序列间的内积表示成公式(2-17)形式。 (2-17)通过对两脉冲序列进行内积计算，可以对脉冲序列的对应关系给出定量描述，利用输入输出序列和期望序列间的内积差异，就可以构建出在对应脉冲神经元网络中的卷积学习机制。Carnell[45]等人提出了一种基于卷积学习机制的监督学习方法。他们通过将脉冲序列表示成加权的时间序列后，将序列间的差别信号引入到了单层的网络结构中，但该算法只能用于离线学习。这种利用核函数进行卷积学习的思想可以高效完成脉冲序列时空模式的学习，Mohemmed和Schliebs等人根据这种学习思想提出了脉冲联想神经元SPAN算法SpikePtternAssociatonNeuron。该算法利用卷积将离散的脉冲信号转换为连续信号后，根据Widrow-Hoff规则调节连接权重，具体计算方式为公式(2-18)。 (2-18)SPAN算法中使用的核函数为公式(2-19)。 (2-19)上式中，H(t)为步长函数Heaviside，卷积转换后的权重更新公式可以改写为(2-20)。 (2-20)其中，、、分别为输入序列、期望输出序列和实际输出脉冲序列中对应的脉冲发放时间。SPAN算法模型较为复杂，导致计算效率不高。而且它只能用于单中层的脉冲神经网络结构，无法推广应用到多层前馈神经网络中。在实际训练中，通常会将SPAN算法用于液体状态机输出层的训练任务。Yu等人以SPAN算法为基础衍生出了PS