神经网络概述及HOPFIELD神经网络ppt课件

1、 H-H模型 Integrate-and-Fire模型基于放电率编码的生物神经网络 Hopfield 网络BP网络PID神经网络人工神经网络生物神经网络神经科学神经网络技术(1) H-H方程神经元模型)()()()(tItItIdttduCsynkextk)()()(43LLKKNakNakVugVungVuhmgImumummm)()1)(nununnn)()1)(huhuhhh)()1)()(tIsyn：突触电流)(tIext：外部电流(2) 突触模型)()(synsynsynEtusgtIssuFdtdspre)1)()2exp(1/1)(synprepreuuF)t (Isyn) t

2、(RIext) t (udtduiiidtduCR) t (u) t (Isyn) t (Iextiiir)f (i0u)t (ulimfire) t (ui膜电位经过积分上升，到达阈值 后，放电发出一个电脉冲，然后膜电位回复到复位电位(1) 神经元模型ru) t (u| t nf1 ;t i)f (ii itocpresynaptij | ji:ui神经元 的放电的时辰集：神经元的形状膜电压 threshold:神经元 的突触前神经元集合：ii来自于突触的输入：更普通的情况：ijfjjtfjijittctIsyn)()()()(ijfjjtfjijittctIsyn)()()()()()()

3、(2axssaxsHesssax:ijc突触强度: )(s2 突触模型1神经编码基于神经脉冲放电时辰的神经编码 神经元放电序列： 基于神经元放电率的神经编码niittt1)()(:)(tv神经元放电率神经元在 时辰的放电的概率密度t(2) 基于放电率编码的神经元模型 )(tIfvdtdvsynm:v神经元放电率(3) 基于放电率编码的突触模型 :m神经元膜时间常数)(tIfvsyn简化uwIdtdIsynsynsynuwIsyn简化input uweights woutput v:synI突触电流:syn突触时间常数(4) 基于放电率编码的前向神经网络input uweights Woutpu

4、t v)()(uWfvtIfvdtdvsynm可用于解释运动前区皮层神经元的呼应特性:只需头的位置不变，神经元呼应不变(5) 基于放电率编码的反响神经网络input uweights Woutput v)()(vMuWfvtIfvdtdvsynm可用于解释神经系统中的选择性放大、输入积分等特性M(5) 基于放电率编码的反响神经网络选择性放大:假设vMuWvMuWF)(线性反响神经网络vMhvvMuWvdtdvmeeM 特征值,特征向量e,vNetctv1)()(hetcedtdcvvNNm11)()1 (vvee两边同乘:vehetcdtdcvvvvm)()1 ()1 (exp()0()1 (

5、exp(1 (1)(mvvmvvvvtcthetc(5) 基于放电率编码的反响神经网络选择性放大:, 10v假设vNvvvehevv11)(, 11假设1111)(ehev而其它特征值远小于1，那么：即投射到 轴上的输入向量将得到放大1e输入积分:)()(101thedtetvtm眼睛的程度定位(5) 基于放电率编码的生物神经网络的学习Hebb学习规那么1949：假设神经元A对神经元B的放电有奉献，那么从神经元A到神经元B的突触衔接应加强非监视式学习unsupervised learning：监视式学习supervised learning： 第 个输入输出样本对， 样本对个数强化式学习rei

6、nforcement learning：间于非监视式学习和监视式学习之间vudtdww)(vwvvudtdwvvvdtd2input uweights woutput vsNmmmswuvNdtdw11wuvNdtdwsNmmmsw11:,mmvum:sNuwv 1982年，Hoopfield用能量函数的思想构成一种具有对称衔接的递归网络所执行的计算的新方法。这类具有反响的特殊神经网络在80年代引起了大量的关注 ， 产 生 了 著 名 的H o p f i e l d 网 络 。 虽 然Hopfield网络不能够是真正的神经生物系统模型，他们包涵的原理，即在动态的稳定网络中存储信息原理的，是极

7、深化的。 Nijijtw1jiix)o) t (ndt) t (dn（)()(otnftii: ) t (ni神经元的形状输入: )(o ti神经元的输出(放电率)Njijtw1j: )o（:xi其它神经元的输出构成的输入外部输入Nijijitwtn1jx)o) 1(（) 1() 1(oiiitnft) 1( tni:净输入 ) 1(oti:输出 f:sigmoid function 5 . 011, 05 . 011, 1) 1(/ )1(/ )1(iiiitntnieetO:N神经元的个数假设Hopfield网络的联接权矩阵是对角线为0的对称矩阵，那么它是稳定的。著名的Lyapunov函数

8、作为Hopfield网络的能量函数。0 ,w,ww,0,ww,w0,3,23,12,32,11,31,2例如三个神经元的神经网络的权矩阵：NjjjNjjjNiNjjiijOOxOOwE1111211,33,13,22,32,11,2wwwwww313121ijjiijoowE5 . 011, 05 . 011, 1) 1(/ )1(/ )1(iiiitntnieetO0形状更新顺序同步：初始形状A=1,B=1,C=0A=0,B=0,C=1A=1,B=1,C=1A=1,B=1,C=1形状更新顺序异步：初始形状A=1,B=1,C=0A=0B=1C=1注: 异步更新一定能演化到固定点21213 .

9、02 . 0mmmmy)min(y求11 , 22, 1 ww0, 3 . 0, 2 . 02121xx在优化问题中的运用2121212121jjjjjjijjiijOOxOOwE02, 21 , 1 ww21213 . 02 . 0OOOOE形状演化12注：3从任一初始形状演化如图A=1，B=1，网络将稳定在A=1，B=0，这就是m1，m1的解。异步更新在联想记忆问题中的运用），初始模式：（0001演化），存储模式：（0011），初始模式：（1000演化），存储模式：（110005 . 011, 05 . 011, 1) 1(/ )1(/ )1(iiiitntnieetO），：存储模式0011 (1s），：存储模式1100(2s)5 . 0)(5 . 0()(2121jppipjppipijssrsrsw5 . 0, 5 . 04, 32, 1ww5 . 0, 5 . 04, 23 , 1ww5 . 0, 5 . 03 , 24, 1ww留意：两个存储方式为两个留意：两个存储方式为两个部分能量最低点部分能量最低点Hebb 学习规那么假设存储方式: ),(4321ssssS )5 . 0)(5 . 0()(4141jppipjppipijssrsrsw在联想记忆问题中的运用自相关记