机器学习-第04讲-2-1-4-ANN课件

1、1机器学习神经网络智能工程研究室计算机科学与技术学院2Training a Classifier classifier classifier classifier classifier classifier classifier Classifier Marks Note: The test image does not appear in the training data. Learning = Memorization4Classifier In Feature Space, After Trainingrepresentationconcept(truth)= training dat

2、a= Marks= not Marks= test data (Marks)5神经网络7InputsOutputsInputsOutputsNN8神经网络节点的形式化描述 神经元结构模型10神经网络的拓扑结构 典型应用或者特征：模式分类、函数回归 (b) 神经认知机，用来存储某种模式序列，系统辨识(c) 神经元可以分组进行激励相应 (d) 网络最终进入一种动态平衡状态，可能是周期振荡或者混沌状态11感知器:单层前馈神经网络输入层输出层12感知器:多层前馈神经网络隐层3-4-2 Network输入层输出层14感知器学习过程随机在区间(0, 1内选取权值W将样本数据中的输入值输入到感知器的输入节点

3、得到网络的输出值 O，根据学习公式,由O与T的差，即误差信号来调整网络权值W如果误差小于给定阈值或运行次数达到限定次数，则停止；否则转2，再次运行15一个简单例子样本: x=0, y=0, T=0 x=0, y=1, T=0 x=1, y=0, T=1x=1, y=1, T=100110.10.1= -1xyvO初值: w1=0.1, w2=0.1, w0=-1取步长= 0.1, 则w= *Ij*(T-O)17一个简单例子x=0, y=1代入: v=0*0.1+1*0.1-1=-0.9; O=0; Err=T-O=0W1=W1+ * I1*Err=0.1; W2=W2+ * I2*Err=0.

4、1;W0=W0+ * 1*Err=-1;0.10.1= -10011xy-0.900118一个简单例子x=1, y=0代入: v=1*0.1+0*0.1-1=-0.9; O=0; Err=T-O=1W1=W1+ * I1*Err=0.1+0.1*1*1=0.2; W2=W2+ * I2*Err=0.1+0.1*1*0=0.1;W0=W0+ * 1*Err=-1+0.1*1*1=-0.9;0.10.10011xy100.2= -0.9-0.9=-1019一个简单例子x=1, y=1代入: v=1*0.2+1*0.1-0.9=-0.6; O=0; Err=T-O=1W1=W1+ * I1*Err=

5、0.2+0.1*1*1=0.3; W2=W2+ * I2*Err=0.1+0.1*1*1=0.2;W0=W0+ * 1*Err=-0.9+0.1*1*1=-0.8;0.2= -0.90011xy110.3= -0.8-0.600.20.120一个简单例子x=0, y=0代入: v=0*0.3+0*0.2-0.8=-0.8; O=0; Err=T-O=0W1=W1+ * I1*Err=0.3+0.1*0*0=0.3; W2=W2+ * I2*Err=0.2+0.1*0*0=0.2;W0=W0+ * 1*Err=-0.8+0.1*1*0=-0.8;0.30.2= -0.80011xy-0.8000

6、21一个简单例子x=0, y=1代入: v=0*0.3+1*0.2-0.8=-0.6; O=0; Err=T-O=0W1=W1+ * I1*Err=0.3+0.1*0*0=0.3; W2=W2+ * I2*Err=0.2+0.1*1*0=0.2;W0=W0+ * 1*Err=-0.8+0.1*1*0=-0.8;0.30.2= -0.80011xy-0.600122一个简单例子x=1, y=0代入: v=1*0.3+0*0.1-0.8=-0.5; O=0; Err=T-O=1W1=W1+ * I1*Err=0.3+0.1*1*1=0.4; W2=W2+ * I2*Err=0.2+0.1*1*0=

7、0.2;W0=W0+ * 1*Err=-0.8+0.1*1*1=-0.7;0.30.2= -0.80011xy100.4= -0.7-0.5024一个简单例子x=0, y=0代入: v=0*0.5+0*0.3-0.6=-0.6; O=0; Err=T-O=0W1=W1+ * I1*Err=0.5; W2=W2+ * I2*Err=0.3;W0=W0+ * 1*Err=-0.6;0.50.3= -0.60011xy-0.600025一个简单例子x=0, y=1代入: v=0*0.5+1*0.3-0.6=-0.3; O=0; Err=T-O=0W1=W1+ * I1*Err=0.5; W2=W2+

8、 * I2*Err=0.3;W0=W0+ * 1*Err=-0.6;0.50.3= -0.60011xy-0.300127一个简单例子x=1, y=1代入: v=1*0.6+1*0.3-0.5=0.4; O=1; Err=T-O=0W1=W1+ * I1*Err=0.6; W2=W2+ * I2*Err=0.3;W0=W0+ * 1*Err=-0.5;0.60.3= -0.50011xy11-0.3028一个简单例子x=0, y=0代入: v=0*0.6+0*0.3-0.5=-0.5; O=0; Err=T-O=0W1=W1+ * I1*Err=0.6; W2=W2+ * I2*Err=0.3

9、;W0=W0+ * 1*Err=-0.5;0.60.3= -0.50011xy-0.500029一个简单例子x=0, y=1代入: v=0*0.6+1*0.3-0.5=-0.2; O=0; Err=T-O=0W1=W1+ * I1*Err=0.6; W2=W2+ * I2*Err=0.3;W0=W0+ * 1*Err=-0.5;0.60.3= -0.50011xy-0.300130一个简单例子x=1, y=0代入: v=1*0.6+0*0.3-0.5=0.1; O=1; Err=T-O=0W1=W1+ * I1*Err=0.6; W2=W2+ * I2*Err=0.3;W0=W0+ * 1*E

10、rr=-0.5;0.60.3= -0.50011xy10-0.1031一个简单例子V=0.6*x+0.3*y-0.5O=sign(v)=sign(0.6*x+0.3*y-0.5)0.60.3= -0.50011xy11-0.305/35/632线性不可分情况?0011xy33感知器的学习规则(2)定义误差函数为:输入层输出层则权值更新公式为:34当取f ( )为线性连续函数时感知器的学习规则(2)误差函数为:输入层输出层35则感知器的学习规则(2)则权值更新公式为:36当取f ( )为sigmoid函数时感知器的学习规则(3)输入层输出层37则感知器的学习规则(3)则权值更新公式为:38int

11、erconnect:weights = wjk(l)neurons:states = sj(l )hiddenlayer: loutput: l = Linput: l = 0BP的学习算法多层前馈网络定义误差函数为:定理：假定(多层感知器)隐层的节点可以根据需要自由设置，那么用三层的阈值网络可以实现任意的二值逻辑函数。39误差反传过程dEdwjk(l ) _ = _ _ _Problem: 对于任意权值, wjk(l) , 更新 wjk(l ) wjk(l ) - _A Solution: 误差反传 偏微分链式法则 dd d sj(l ) dsumj(l ) dwm j d sj(l ) d

12、sumj(l ) dwm j 40偏导数的计算(完美的数学!) _ = _ _ _ = s (l -1)m = n(l +1) sn(l +1) 1 - s n (l +1) wnj (l ) n dsj(l ) d 1 dsumj(l ) dsumj(l ) 1 + exp - sumj(l ) = sj(l ) 1 - sj(l ) dsumj(l ) dwm jdE dsj(l ) 41权值更新dEdwjk(l ) _ = _ _ _wjk(l ) wjk(l ) - _ d d dsj(l ) dsumj(l ) dwm j d sj(l ) dsumj(l ) dwm j = j(l

13、 ) sj(l +1) 1 - s j (l +1) sk (l -1) 42步骤1: 数据输入与前向传播 s1(2) = o1 s2(2) = o2 s1(1) s2(1) s3(1) i1 i2 = s2(0)所有神经元的状态由其前一层神经元和连接权值确定。43步骤2: 计算输出误差，反向确定各神经元修正量 o1 , t1 o2 , t21(2) 2(2) s1(1) s2(1) s3(1) 1(1) 2(1) 3(1) i1 i2 = s2(0)1(0) 2(0)各权值修正量由反向传播的输出误差确定。44步骤3: 更新权值 o1 , t1 o2 , t21(2) 2(2) s1(1) s

14、2(1) s3(1) 1(1) 2(1) 3(1) i1 i2 = s2(0)1(0) 2(0)w32(1) w32(1) -3(1) s3(1) 1 - s3(1) s2 (0)45动量项Steepest descent wjk(l) wjk(l ) +wjk(l )With Momentum, wjk (l ) = wjk(l ) +wjk (l ) + wjk(l ) New step effected by previous step m is the iteration number Convergence is improvedmmm+1m+146批处理BP算法 在每次更新权值之前

15、，计算所有样本的误差 真正的最速梯度下降方法 每代更新一次 每计算一个样本点的误差就更新权值一次 需将数据每个循环随机打乱47学习记忆:训练误差都为0goodgeneralization(learning)concept(truth)badgeneralization(memorization)= training data= test data48conceptlearningmemorization(over fitting)学习记忆（续）49 好的学习: 能够识别出训练集之外的数据，如测试集训练好的神经网络必须能成功地对未见到过的数据进行分类. 如何保证我们的训练结果? 交叉验证 适当地

16、选择网络结构 剪枝 遗传算法训练网络结构学习记忆（续）50交叉验证iterations (m)testerrortrainingerrorminimum51自组织神经网络输入层竞争层无导师学习方式自动寻找样本中的内在规律和本质属性,自组织、自适应地改变网络参数与结构竞争学习策略52自组织神经网络竞争学习策略侧抑制与竞争：在生物的神经细胞中存在一种侧抑制现象，即当一个神经细胞兴奋后，会对其周围的神经细胞产生抑制作用，从而产生竞争。开始时可能多个细胞同时兴奋，但一个兴奋程度最强的神经细胞对周围神经细胞的抑制作用也越强，其结果使周围细胞兴奋度减弱。这种抑制作用一般满足某种分布关系。最简单是“胜者为王

17、”。53自组织神经网络“胜者为王”学习规则1）向量归一化：2）寻找获胜神经元： 等价于求最大点积问题（正是竞争层神经元的净输入）3）网络输出与权值调整54自组织神经网络自组织映射神经网络(Self-Organizing Feature Map, SOFM ) Kohonen教授(芬兰, Helsink大学, 1981), 又称Kohonen网络输入层输出层xn x2 x1 权值调整域: 由近及远, 由兴奋转为抑制墨西哥帽型大礼帽型厨师帽型正态分布型55自组织神经网络自组织映射神经网络(SOFM )的学习算法:1)初始化:2)接受输入:从训练集中随机选取一个输入模式并归一化:3)寻找获胜神经元:

18、4)定义优胜邻域 : 一般初始时较大,以后逐渐收缩,可正方形,六角形等5)调整权值: 如:6)结束检查: 是否衰减到足够小(不存在输出误差概念)56自组织神经网络自组织映射神经网络(SOFM )用于聚类:57径向基(RBF)神经网络属于局部逼近网络插值问题描述:考虑一N维空间到一维空间的映射.设N维空间有P个输入向量Xp, p=1,2,P. 它们在输入空间相应的目标值为dp, p=1,2,P. 插值的目的是寻找一个非线性映射函数F(X),使得满足下述插值条件 F(Xp) = dp, p=1,2,P58径向基(RBF)神经网络径向基函数解决插值问题:选择P个基函数,对应每个训练数据:基函数的自变

19、量为X与中心Xp的距离,由于距离是径向同性的,因此称径向基函数.基于径向基函数的插值函数定义为基函数的线性组合:代入插值条件 得到关于wp的P阶线性方程组.令59径向基(RBF)神经网络写成向量形式为: 称为插值矩阵,若其可逆,则可由上式解出W:Micchelli定理给出了 的可逆性条件:对于一大类函数,如果X1, X2 , XP自各不相同,则其可逆. 大量径向基函数满足Micchelli定理,如1) Gaussian(高斯函数)2)Reflected Sigmoidal(反演S型)函数3)Inverse multiquadrics (逆多二次)函数60径向基(RBF)神经网络完全内插存在的问

20、题(正则化RBF网络):1)经过所有训练数据点,当存在噪声时,泛化能力差 2)径向基函数数目与训练样本数相同,当训练样本数远远大于系统的固有自由度时,问题是超定的,插值矩阵求逆容易不稳定x1x2xNy1y2ylG(x, x1)G(x, x2)G(x, xP)61径向基(RBF)神经网络模式可分性:设F为P个输入模式Xp, (p=1,2,P)的集合.每个模式必属于F1和F2的某一类.若存在一个输入空间的超曲面,使得分别属于F1和F2的点分成两部分,就称这些点的二元划分关于该曲面是可分的.若该曲面为线性方程确定的超平面,则称这些点的二元划分关于该平面是线性可分的.62径向基(RBF)神经网络模式可

21、分性:设由一组函数构成的向量将原来N维空间的P个模式点映射到新的M维空间(MN)的相应点上.若在该M维空间上存在M维向量W则由线性方程 确定了M维 空间中的一个分界超平面.该超平面使得映射到M维 空间的P个点线性可分.而在N维X空间, 描述的是X空间的一个超曲面,它将原空间的P个模式点分成两类.63径向基(RBF)神经网络RBF网络将输入空间的模式点非线性映射到一个高维空间的做法是:设置一隐层,令 为隐节点的激活函数,并令隐节点数M大于输入节点数N.若M足够大,则在隐空间是线性可分的.从隐层到是输出层可采用与感知器类似的解决线性可分问题的算法. 如:(0,0)(0,1)(1,0)(1,1)(1

22、,1)(0,0)(0,1)(1,0)64径向基(RBF)神经网络广义RBF网络:1)径向基函数数目M与训练样本数N不同,且一般MN2)径向基函数的中心不再限制在数据点上,由训练确定3)各径向基函数的扩展常数不再统一，由训练确定4)输出函数的线性表达式中包含阈值参数，用于补偿函数在样本集上的平均值与目标之平均值之间的差别12MW1W2Wlx1x2xNy1y2yl0T65径向基(RBF)神经网络广义RBF网络的学习算法:结构设计(多凭经验)和参数设计(3类参数:各基函数的中心，扩展常数以及输出节点的权值)输出节点的权值一般由有监督的学习算法确定各基函数的中心及扩展常数可由下列三种方法确定:1)数据

23、中心从样本中选取：样本密集的地方中心多些,稀疏的地方少些。若数据均匀分布，中心也可均匀分布。总之，选出的数据中心应有代表性。扩展常数由分布确定，如 , dmax是数据中心的最大距离，M是中心数目。 2)数据中心的自组织选择(k-means聚类算法)3)数据中心的监督学习算法66径向基(RBF)神经网络广义RBF网络的k-means聚类学习算法:首先估计中心的数目M,设C(k)表示第k次迭代时的中心.1)初始化中心:c1(0), c2(0), cM(0)2)计算各样本点与聚类中心的欧氏距离:3)相似匹配: 当 时 被归为第j*类.4)更新各类聚类中心. (i) 均值方法 (ii) 竞争学习算法6

24、7径向基(RBF)神经网络广义RBF网络的k-means聚类学习算法:5) k+,若不满足终止条件(C(k)的改变两小于阈值)转2扩展常数的确定:设 则扩展常数可取为 输出层权值的确定: (i) 最小均方算法(类似感知器算法) (ii) 伪逆法:令则隐层输出矩阵为 ,令则68径向基(RBF)神经网络广义RBF网络的数据中心的监督学习算法:类似BP算法的梯度下降方法(假定单输出):69径向基(RBF)神经网络广义RBF网络的数据中心的监督学习算法:类似BP算法的梯度下降方法(每个数据修正一次):70径向基(RBF)神经网络RBF网络与多层感知器(MLP)的比较:RBF: 1个隐层MLP: 至少一

25、个隐层RBF: 隐层是非线性的，输出是隐层的线性加权MLP: 对于分类问题，隐层和输出层都是非线性的；对于回归问题，输出层是线性的RBF: 容易得到解析解MLP: 很难得到解析解RBF: 具有局部快速近似学习的能力作业-1写出遗传算法的基本步骤和两种以上（至少两种）遗传操作的实现细节（并举例说明）。7172作业-2:什么是交叉验证,为什么要进行交叉验证?试比较RBF网络与多层前馈网络的异同.73作业-3:考虑Hermit多项式的逼近问题 F(x)=1.1*(1-x+2*x*x)exp(-x*x/2)训练样本由以下方法产生:样本数P=100,其中输入样本xi服从区间-4,4内的均匀分布,样本输出

26、为F(xi)+ei, ei为添加的噪声,服从均值为0,标准差为0.1的正态分布.1)试用聚类方法求数据中心和扩展常数,输出权值和阈值用伪逆法求解.隐节点重叠系数为=1,初始聚类中心取前10个训练样本.2)试用梯度算法训练RBF网络,设=0.001, M=10,初始权值为-0.1,0.1内的随机数,初始数据中心为-4,4内的随机数,初始扩展常数取0.1,0.3内的随机数,目标误差为0.9,最大训练次数为5000.(作业1、2可选做一个)74局部递归神经网络Elman网络 Elman网络（Elman,1990）结构如图所示，它除了输入层、隐层、输出层之外，还有一个特殊的结构单元。结构单元是用来记忆

27、隐层单元以前时刻的输出值，可认为是一时延算子。因此这里前馈连接部分可以进行连接权修正，而递归部分则是固定的即不能进行学习修正。Elman网络结构示意图75数学模型：局部递归神经网络Elman网络学习算法：设网络的结构为qnm（输入层，隐层（结构单元），输出层），定义误差函数为： 通过E对连接权W求偏导，由最速梯度下降法得出学习算法. 只能刻画一阶线性动态系统,因为标准BP仅有一阶梯度76局部递归神经网络Elman网络于是可以得到动态反向传播算法如下: 77局部递归神经网络Elman网络78Elman networkElman网络结构Elman J.L., Finding Structure i

28、n Time, Cognitive Science, 14:179-211, 1990.局部递归神经网络Elman网络79(Modified) Elman networkElman网络结构Pham, D. T., and X. Liu. 1992. Dynamic system modeling using partially recurrent neural networks. J. of Systems Engineering, 2: 90-97 局部递归神经网络Elman网络80激活函数分别取为 和Elman网络数学模型局部递归神经网络Elman网络81这里定义误差函数为将E 对W求偏导

29、,按梯度下降算法,可得Elman网络的学习算法:Elman网络学习算法局部递归神经网络Elman网络82OIF Elman network具有输出-输入反馈机制的Elman网络(OIF Elman)局部递归神经网络Elman网络83OIF Elman网络数学模型局部递归神经网络Elman网络84这里与Elman网络的学习算法推导过程类似,可以得到W 4的学习公式:OIF Elman网络学习算法局部递归神经网络Elman网络85OHF Elman network具有输出-隐层反馈机制的Elman网络(OHF Elman) 具有输出-隐层反馈机制的Elman网络(1)局部递归神经网络Elman网络

30、86OHF Elman网络数学模型具有输出-隐层反馈机制的Elman网络(2)局部递归神经网络Elman网络87与Elman网络的学习算法推导过程类似,可以得到W 5的学习公式:OHF Elman网络学习算法具有输出-隐层反馈机制的Elman网络(3)局部递归神经网络Elman网络时小虎, 梁艳春, 徐旭. 改进的Elman模型与递归反传控制神经网络. 软件学报, 2003年Vol. 14, No. 6, p. 1110-1119.Shi XH, Liang YC, Lee HP, Lin WZ, Xu X, Lim SP. Improved Elman networks and applic

31、ations for controlling ultrasonic motors. Applied Artificial Intelligence, 2004, 18 (7): 603-629.88什么是人工神经网络?所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）。人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结

32、构已有所了解。89粗略地讲，大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。什么是人工神经网络?90按美国神经网络学者Nielsen的定义人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联接的无向讯号通道互连而成。这些处理单元具有局部内存，

33、可以完成局部操作，即它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。每个处理单元有一个单一的输出联接，输出信号可以是任何需要的数学模型。什么是人工神经网络?91人工神经网络与一般计算机的区别在一般的计算机中，处理器可取一条指令和该指令所需的数据，并执行该指令，最后将计算结果存入指定的存储单元中。任何动作都按照确定的操作程序，以串行方式执行。在人工神经网络中，操作既不是串行的，也不是预先确定的，它根本没有确定的存储器，而是由许多互连的简单处理单元组成。每个处理单元的处理功能只是求其所有输入信号的加权和，当该和值超过某一阈值时，输出呈现兴奋状态（高电平

34、），否则低于阈值时呈现抑制状态（低电平）。人工神经网络当它达到某种平衡状态后，网络的整个状态就是所求的结果。92人工神经网络的两种操作过程训练学习训练时，把要教给神经网络的信息（外部输入）作为网络的输入和要求的输出，使网络按某种规则（称为训练算法）调节各处理单元间的连接权值，直至加上给定输入，网络就能产生给定输出为止。这时，各连接权已调接好，网络的训练就完成了。正常操作（回忆操作）对训练好的网络输入一个信号，它就可以正确回忆出相应输出，得到识别结果。93人工神经网络的发展初始（萌发）期人工神经网络的兴起1943年，美国神经生理学家Warren Mcculloch和数学家Walter Pitts

35、合写了一篇关于神经元如何工作的开拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Acitivity”。该文指出，脑细胞的活动像断/通开关，这些细胞可以按各种方式相互结合，进行各种逻辑运算。1949年，心理学家Donala Hebb写了一本书：“The Organization of Behavior”。在该书中，他强调了心理学和生理学间的联系和沟通，指出脑细胞间的思路每当通过参与某种活动时将被加强，这就是后来的Hebb学习规则。94到了二十世纪50年代，随着计算机的发展和软硬件的进步，有些神经系统功能的理论开始在计算机上进行模拟，拓宽

36、了研究的路子。IBM的研究室在Hebb工作的基础上，对神经网络的模型进行了软件模拟，虽然开始时失败了，但在使得模型像人那样适应环境的实验上取得了一定程度的成功。1956年，一个人工智能研究项目（Dartmouth Summer）给人工智能领域，同时也给神经计算领域以巨大推动。人工神经网络的发展人们提出两条研究思路采用高级人工智能方法，试图建立描述智能机功能的计算机程序；根据低水平的大脑处理方式构成结构模型，以实现智能化。这宣告了人工神经网络的诞生。95人工神经网络的发展96第一次高潮期 感知器模型和人工神经网络1957年，计算机专家Frank Rosenblatt开始从事感知器的研究，并制成硬

37、件，通常被认为是最早的神经网络模型。1959年，两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元（ADALINE）的网络模型，并在他们的论文“Adaptive Switching Circuits”中描述了该模型和它的学习算法（ Widrow- Haff算法）。该网络通过训练，可以成功用于抵消通信中的回波和噪声，也可用于天气预报，成为第一个用于实际问题的神经网络。人工神经网络的发展971962年，Rosenblatt出版了一本书“The Principles of Neurodynamics”，详述了他的感知器模型。该感知器具有输入层、输出层和中

38、间层，通过实验可以模仿人的某些特性，并断言它可以学会任何它可以表示的功能。1967年，Stephen Grossberg通过对生理学的研究，开发了一种称作雪崩网的神经网络模型，可以控制机器人手臂的运动。在这一时期，由于感知器的某些进展和对神经网络的宣传，人们乐观地认为几乎已经找到了实现智能的关键。人们夸大了神经网络的潜力（有人甚至担心制造机器人的人类会很快受到机器人的攻击）。人工神经网络的发展98反思期 神经网络的低潮1969年，Marvin Minsky和Seymour Papert合著了一本书“Perception”，分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异

39、或”问题，为Rosenblatt的感知器判了“死刑”。此时，批评的声音高涨，导致了停止对人工神经网络研究所需的大量投资。不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。人工神经网络的发展99第二次高潮期 Hopfield网络模型的出现和人工神经网络的复苏1982年，John Hopfield向美国科学院递交了有关神经网络的报告，主要内容就是建议收集和重视以前对神经网络的工作，其中特别强调了每种模型的实用性。Hopfield揭示了以往的网络是如何工作的，可以做些什么，并提出了他自己的模型，能从失真的或不完善的数据图像中获得完整的数据图像，引起了美国军方的兴趣。当时，人工智能

40、对自动制导车的研究失败，而利用神经网络有可能解决这个问题，从而使人们的注意力重新投向人工神经网络，导致了人工神经网络的第二次高潮。人工神经网络的发展1001984年，Hopfield设计研制了后来被人们称为Hopfield网的电路，较好地解决了TSP问题，找到了最佳解的近似解，引起了较大轰动。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield网络中引入随机机制，提出了所谓的Bolziman机。1986年， Rumelhart等研究者重新独立地提出多层网络的学习算法BP算法，较好地解决了多层网络的学习问题。1990年12月，国内首届神经网络大会在北京举行。人工神经网络的发展101再认识与应用研究期二十世纪90年代后，研究趋于平缓，主要问题：应用面还不够宽结果不够精确存在可信度的问题主要研究内容开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。充分发挥每种技术各自的优势，寻找更有效的