人工神经网络

1、2021/4/261主要内容 生物神经元生物神经元 人工神经元人工神经元 人工神经网络的网络结构人工神经网络的网络结构 人工神经网络的训练人工神经网络的训练2021/4/262什么是人工神经网络什么是人工神经网络 人工神经网络（人工神经网络（Artificial Neural Networks，简记作简记作ANN），是对人类大脑系统的一阶），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个特性的一种描述。简单地讲，它是一个数数学模型学模型，可以用，可以用电子线路电子线路来实现，也可以来实现，也可以用用计算机程序计算机程序来模拟，是人工智能研究的来模拟，是人工智能研究的一种方法。一种方法

2、。2021/4/263人工神经网络的概念人工神经网络的概念 1） 一组处理单元一组处理单元（PE或或AN）；）； 2） 处理单元的处理单元的激活状态激活状态（ai）；）； 3） 每个处理单元的每个处理单元的输出函数输出函数（fi）；）； 4） 处理单元之间的处理单元之间的联接模式联接模式； 5） 传递规则传递规则（wijoi）；）； 6） 把处理单元的输入及当前状态结合起来产生把处理单元的输入及当前状态结合起来产生激活值的激活值的激活规则激活规则（Fi）；）； 7） 通过经验修改联接强度的通过经验修改联接强度的学习规则学习规则； 8） 系统运行的环境（系统运行的环境（样本样本集合）。集合）。

3、2021/4/264人工神经网络的概念人工神经网络的概念 Simpson（1987年）年） 人工神经网络是一个非线性的有向图，图人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输加权边，并且可以从不完整的或未知的输入找到模式。入找到模式。 2021/4/265生物神经元模型2021/4/266神经元的生物学解剖2021/4/267神经元模型1 细胞体 细胞体是由很多分子形成的综合体，内部含有一个细胞核、核糖体、原生质网状结构等，它是神经网络活动的能量供应地，并进行新陈代谢等各种生化过程。2 树突 细胞

4、体的伸延部分产生的分支称为树突，树突是接受从其他神经元传入信息的入口。2021/4/268神经元模型3 轴突 细胞体突起的最长的外伸管状纤维称为轴突，最长可达1m以上。轴突是将神经元兴奋的信息传到其他神经元的出口。4 突触 一个神经元与另一个神经元之间相联系并进行信息传送的结构称为突触。神经元是构成神经网络的最基本单元（构神经元是构成神经网络的最基本单元（构件）。件）。2021/4/269生物神经网生物神经网 六个基本特征：六个基本特征： 1）神经元及其联接）神经元及其联接； 2）神经元之间的联接强度决定信号传递的强弱；）神经元之间的联接强度决定信号传递的强弱； 3）神经元之间的联接强度是可以

5、随训练改变的；）神经元之间的联接强度是可以随训练改变的； 4）信号可以是起刺激作用的，也可以是起抑制作）信号可以是起刺激作用的，也可以是起抑制作用的；用的； 5）一个神经元接受的信号的累积效果决定该神经）一个神经元接受的信号的累积效果决定该神经元的状态；元的状态； 6) 每个神经元可以有一个每个神经元可以有一个“阈值阈值”。2021/4/2610人工神经元9、 人的价值，在招收诱惑的一瞬间被决定。2022-3-62022-3-6Sunday, March 06, 202210、低头要有勇气，抬头要有低气。2022-3-62022-3-62022-3-63/6/2022 8:07:54 PM11

6、、人总是珍惜为得到。2022-3-62022-3-62022-3-6Mar-226-Mar-2212、人乱于心，不宽余请。2022-3-62022-3-62022-3-6Sunday, March 06, 202213、生气是拿别人做错的事来惩罚自己。2022-3-62022-3-62022-3-62022-3-63/6/202214、抱最大的希望，作最大的努力。2022年3月6日星期日2022-3-62022-3-62022-3-615、一个人炫耀什么，说明他内心缺少什么。2022年3月2022-3-62022-3-62022-3-63/6/202216、业余生活要有意义，不要越轨。2022

7、-3-62022-3-6March 6, 202217、一个人即使已登上顶峰，也仍要自强不息。2022-3-62022-3-62022-3-62022-3-62021/4/2612人工神经元人工神经元 人工神经元模型应该具有生物神经元的六人工神经元模型应该具有生物神经元的六个基本特性。个基本特性。xn wnx1 w1x2 w2net=XW2021/4/2613人工神经元的基本构成人工神经元的基本构成 人工神经元模拟生物神经元的人工神经元模拟生物神经元的一阶特性一阶特性。输入：输入：X=（x1，x2，xn）联接权：联接权：W=（w1，w2，wn）T网络输入：网络输入： net=xiwi向量形式：

8、向量形式： net=XWxn wnx1 w1x2 w2net=XW2021/4/2614激活函数激活函数(Activation Function) 激活函数激活函数执行对该神经元所获得的网执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活络输入的变换，也可以称为激励函数、活化函数：化函数： o=f（net） 1、线性函数（、线性函数（Liner Function） f（net）=k*net+c netooc2021/4/26152、非线性斜面函数、非线性斜面函数(Ramp Function) if netf（net）= k*netif |net|0为一常数，被称为饱和值，为该神经元为

9、一常数，被称为饱和值，为该神经元的最大输出。的最大输出。 2021/4/26162、非线性斜面函数（、非线性斜面函数（Ramp Function） - - net o 2021/4/26173、阈值函数（、阈值函数（Threshold Function）阶跃函数）阶跃函数if netf（net）=-if net 、均为非负实数，均为非负实数，为阈值为阈值二值形式：二值形式：1if netf（net）=0if net 双极形式：双极形式：1if netf（net）=-1if net 2021/4/26183、阈值函数（、阈值函数（Threshold Function）阶跃函数）阶跃函数 -one

10、t02021/4/26194、S形函数形函数 压缩函数（压缩函数（Squashing Function）和逻辑斯特）和逻辑斯特函数（函数（Logistic Function）。）。f（net）=a+b/(1+exp(-d*net)a，b，d为常数。它的饱和值为为常数。它的饱和值为a和和a+b。最简单形式为：最简单形式为：f（net）= 1/(1+exp(-d*net) 函数的饱和值为函数的饱和值为0和和1。 S形函数有较好的增益控制形函数有较好的增益控制 2021/4/26204、S形函数形函数 a+b o(0,c)netac=a+b/22021/4/2621联接模式2021/4/2622联接

11、模式 层次层次（又称为（又称为“级级”）的划分，导致了神）的划分，导致了神经元之间的三种不同的经元之间的三种不同的互连模式互连模式： 1、 层（级）内联接层（级）内联接层内联接又叫做区域内（层内联接又叫做区域内（Intra-field）联）联接或侧联接（接或侧联接（Lateral）。）。用来加强和完成层内神经元之间的竞争用来加强和完成层内神经元之间的竞争 2 2、 循环联接循环联接反馈信号。反馈信号。 2021/4/2623联接模式联接模式 3、层（级）间联接、层（级）间联接 层间（层间（Inter-field）联接指不同层中的神）联接指不同层中的神经元之间的联接。这种联接用来实现层经元之间的

12、联接。这种联接用来实现层间的信号传递间的信号传递2021/4/2624ANN的网络结构2021/4/2625网络的分层结构网络的分层结构 简单单级网简单单级网 x1x2xno1o2omwnmw11w1mw2mwn1输出层输出层输入层输入层2021/4/2626简单单级网简单单级网 W=（wij）输出层的第输出层的第j个神经元的网络输入记为个神经元的网络输入记为netj： netj=x1w1j+x2w2j+xnwnj其中其中, 1 j m。取。取 NET=（net1，net2，netm） NET=XW O=F（NET）2021/4/2627单级横向反馈网单级横向反馈网输出层输出层x1o1w11w

13、1mx2o2w2mxnomwn1输入层输入层V2021/4/2628单级横向反馈网单级横向反馈网 V=（vij） NET=XW+OV O=F（NET） 时间参数时间参数神经元的状态在主时钟的控制下同神经元的状态在主时钟的控制下同步变化步变化 考虑考虑X总加在网上的情况总加在网上的情况 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1) O（0）=0 考虑仅在考虑仅在t=0时加时加X的情况。的情况。 稳定性判定稳定性判定2021/4/2629多级网多级网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn2021/4/2630 层次划分层次划分 信号只被允许从较

14、低层流向较高层。信号只被允许从较低层流向较高层。层号确定层的高低：层号较小者，层次层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。较低，层号较大者，层次较高。 输入层输入层：被记作第：被记作第0层。该层负责接收来层。该层负责接收来自网络外部的信息自网络外部的信息输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn2021/4/2631 第第j层层：第：第j-1层的直接后继层（层的直接后继层（j0），它直接），它直接接受第接受第j-1层的输出。层的输出。 输出层输出层：它是网络的最后一层，具有该网络的：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。最大层

15、号，负责输出网络的计算结果。 隐藏层隐藏层：除输入层和输出层以外的其它各层叫：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号直接向外界发送信号输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xn2021/4/2632 约定约定 :输出层的层号为该网络的层数：输出层的层号为该网络的层数：n层网络，或层网络，或n级级网络。网络。第第j-1层到第层到第j层的联接矩阵为第层的联接矩阵为第j层联接矩阵，输层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一

16、般我们用要的时候，一般我们用W（j）表示第表示第j层矩阵层矩阵。输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)2021/4/2633多级网多级网h层网络层网络输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)2021/4/2634循环网循环网x1o1输出层输出层隐藏层隐藏层输入层输入层x2o2omxn2021/4/2635循环网循环网 如果将输出信号反馈到输入端如果将输出信号反馈到输入端,就可构成一个多层就可构成一个多层的循环网络。的循环网络。 输入的原始信号被逐步地输入的原始信号被逐步地“加强加强”、被、

17、被“修复修复”。 大脑的大脑的短期记忆特征短期记忆特征看到的东西不是一下子看到的东西不是一下子就从脑海里消失的。就从脑海里消失的。 稳定稳定：反馈信号会引起网络输出的不断变化。我：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。种变化不能消失，则称该网络是不稳定的。 2021/4/2636人工神经网络的训练人工神经网络的训练2021/4/2637人工神经网络的训练人工神经网络的训练 人工神经网络最具有吸

18、引力的特点是它的人工神经网络最具有吸引力的特点是它的学习能力。学习能力。 1962年，年，Rosenblatt给出了人工神经网络著给出了人工神经网络著名的学习定理：人工神经网络可以学会它名的学习定理：人工神经网络可以学会它可以表达的任何东西。可以表达的任何东西。 人工神经网络的表达能力大大地限制了它人工神经网络的表达能力大大地限制了它的学习能力。的学习能力。 人工神经网络的学习过程就是对它的训练人工神经网络的学习过程就是对它的训练过程过程2021/4/2638无导师学习无导师学习 无导师学习无导师学习(Unsupervised Learning)与无导与无导师训练师训练(Unsupervise

19、d Training)相对应相对应 无导师训练方法不需要目标，其训练集中无导师训练方法不需要目标，其训练集中只含一些输入向量，训练算法致力于修改只含一些输入向量，训练算法致力于修改权矩阵，以使网络对一个输入能够给出相权矩阵，以使网络对一个输入能够给出相容的输出，即相似的输入向量可以得到相容的输出，即相似的输入向量可以得到相似的输出向量。似的输出向量。 抽取样本集合中蕴含的统计特性抽取样本集合中蕴含的统计特性，并以神，并以神经元之间的联接权的形式存于网络中。经元之间的联接权的形式存于网络中。2021/4/2639无导师学习无导师学习 Hebb学习律、竞争与协同（学习律、竞争与协同（Competi

20、tive and Cooperative）学习、随机联接系统）学习、随机联接系统（Randomly Connected Learning）等。）等。 Hebb算法算法D. O. Hebb在在1961年年的核心：的核心：当两个神经元同时处于激发状态时被加当两个神经元同时处于激发状态时被加强，否则被减弱。强，否则被减弱。数学表达式表示：数学表达式表示： Wij（t+1）=Wij（t）+oi（t）oj（t）2021/4/2640有导师学习有导师学习 有导师学习有导师学习(Supervised Learning)与有导师训练与有导师训练(Supervised Training)相对应。相对应。 输入向

21、量与其对应的输出向量构成一个输入向量与其对应的输出向量构成一个“训练训练对对”。 有导师学习的训练算法的主要步骤包括：有导师学习的训练算法的主要步骤包括：1） 从样本集合中取一个样本（从样本集合中取一个样本（Ai，Bi）；）；2） 计算出网络的实际输出计算出网络的实际输出O； 3） 求求D=Bi-O；4） 根据根据D调整权矩阵调整权矩阵W； 5 5） 对每个样本重复上述过程，直到对整个样本集来对每个样本重复上述过程，直到对整个样本集来说，误差不超过规定范围。说，误差不超过规定范围。 2021/4/2641Delta规则规则 Widrow和和Hoff的写法的写法：Wij( (t+1) )=Wij

22、( (t) )+( (yj- aj( (t)oi( (t) )也可以写成：也可以写成：Wij( (t+1) )=Wij( (t) )+ Wij( (t) ) Wij(t)(t)=joi(t)(t)j=yj- aj(t)(t)Grossberg的写法为：的写法为： Wij(t)=a(t)=ai i(t)(o(t)(oj j(t)-W(t)-Wijij(t)(t)更一般的更一般的Delta规则为：规则为： Wij( (t) )=g( (ai(t)，yj，oj( (t) )，Wij( (t)2021/4/2642相关参数 上述式子中，上述式子中， Wij( (t+1) )、Wij( (t) )分别表

23、示神分别表示神经元经元ANANi i到到ANANj j的联结在时刻的联结在时刻t+1t+1和时刻和时刻t t的强的强度，度， oi( (t) ) 、 oj( (t) )为这两个神经元在时刻为这两个神经元在时刻t t的输出，的输出，yj为神经元为神经元ANANj j 的理想输出，的理想输出，aj( (t) )、aj( (t) )分别为神经元分别为神经元ANANi i 和和ANANj j 的激活状态，的激活状态，为给定的学习率。为给定的学习率。9、 人的价值，在招收诱惑的一瞬间被决定。22.3.622.3.6Sunday, March 06, 202210、低头要有勇气，抬头要有低气。*3/6/2022 8:07:55 PM11、人总是珍惜为得到。