第四章神经网络的基本理论

1、1第四章第四章 神经网络的基本理论神经网络的基本理论2 模糊控制模糊控制从从人的经验出发，解决了智能控制中人类人的经验出发，解决了智能控制中人类语言的描述和推理问题，语言的描述和推理问题，尤其是一些不确定性语言的尤其是一些不确定性语言的描述和推理问题，从而在机器模拟人脑的感知、推理描述和推理问题，从而在机器模拟人脑的感知、推理等智能行为方面迈出了重大的一步。等智能行为方面迈出了重大的一步。 模糊控制在处理数值数据、自学习能力等方面还模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度远没有达到人脑的境界。人工神经网络从另一个角度出发，即出发，即从人脑的生理学

2、和心理学着手从人脑的生理学和心理学着手，通过人工模，通过人工模拟人脑的工作机理来实现机器的部分智能行为。拟人脑的工作机理来实现机器的部分智能行为。引言引言3 人工神经网络（简称神经网络，人工神经网络（简称神经网络，neural network）是是模拟人脑思维方式的数学模型。模拟人脑思维方式的数学模型。 神经网络是在现代生物学研究人脑组织成果的基础上提出神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来的，用来模拟人类大脑神经网络的结构和行为模拟人类大脑神经网络的结构和行为。神经网络反映。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式了人脑功能的基本特征，如并行信息

3、处理、学习、联想、模式分类、记忆等。分类、记忆等。 20世纪世纪80年代以来，人工神经网络（年代以来，人工神经网络（ann，artificial neural network）研究取得了突破性进展。）研究取得了突破性进展。神经网络控制是将神经网络控制是将神经网络与控制理论相结合而发展起来的智能控制方法。神经网络与控制理论相结合而发展起来的智能控制方法。它已它已成为智能控制的一个新的分支，为解决复杂的非线性、不确定成为智能控制的一个新的分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。、未知系统的控制问题开辟了新途径。引言引言4 神经生理学和神经解剖学的研究表明，人脑极其神经生理

4、学和神经解剖学的研究表明，人脑极其复杂，由一千多亿个神经元交织在一起的网状结构复杂，由一千多亿个神经元交织在一起的网状结构构成，其中大脑皮层约构成，其中大脑皮层约140亿个神经元，小脑皮层约亿个神经元，小脑皮层约1000亿个神经元。亿个神经元。 人脑能完成智能、思维等高级活动，为了能利用人脑能完成智能、思维等高级活动，为了能利用数学模型来模拟人脑的活动，导致了神经网络的研数学模型来模拟人脑的活动，导致了神经网络的研究。究。 神经系统的基本构造是神经元神经系统的基本构造是神经元(神经细胞神经细胞)，它是处，它是处理人体内各部分之间相互信息传递的基本单元。理人体内各部分之间相互信息传递的基本单元。

5、生物神经元生物神经元5生物神经元生物神经元每个神经元都由一个细胞体，一个连接其他神经元每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支的轴突和一些向外伸出的其它较短分支树突组成。树突组成。6 轴突功能是将本神经元的输出信号轴突功能是将本神经元的输出信号(兴奋兴奋)传递给别传递给别的神经元，其末端的许多神经末梢使得兴奋可以同时的神经元，其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。传送给多个神经元。生物神经元生物神经元 树突的功能是接受来自其它神经元的兴奋。树突的功能是接受来自其它神经元的兴奋。 神经元细胞体将接收到的所有信号进行简单地处理后神经元细胞体将接

6、收到的所有信号进行简单地处理后，由轴突输出。，由轴突输出。 神经元的轴突与另外神经元神经末梢相连的部分称为神经元的轴突与另外神经元神经末梢相连的部分称为突触。突触。7 神经元的构成：神经元的构成： （1）细胞体（主体部分）：包括细胞质、细胞膜和细）细胞体（主体部分）：包括细胞质、细胞膜和细胞核；胞核； （2）树突：用于为细胞体传入信息；）树突：用于为细胞体传入信息； （3）轴突：为细胞体传出信息，其末端是轴突末梢，）轴突：为细胞体传出信息，其末端是轴突末梢，含传递信息的化学物质；含传递信息的化学物质； （4）突触：是神经元之间的接口（）突触：是神经元之间的接口（104105个个/每个神经每个神

7、经元）。元）。 通过树突和轴突，神经元之间实现了信息的传递。通过树突和轴突，神经元之间实现了信息的传递。生物神经元生物神经元8 神经元之间的联系主要依赖其突触的联接作用神经元之间的联系主要依赖其突触的联接作用。这种。这种突触的联接是可塑的突触的联接是可塑的，也就是说突触特性的变化是受到外，也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。生理学的研究归纳界信息的影响或自身生长过程的影响。生理学的研究归纳有以下几个方面的变化：有以下几个方面的变化： (1)突触传递效率的变化。首先是突触的膨胀以及由此产突触传递效率的变化。首先是突触的膨胀以及由此产生的突触后膜表面积扩大，从而突触所释

8、放出的传递物质生的突触后膜表面积扩大，从而突触所释放出的传递物质增多，使得突触的传递效率提高。其次是突触传递物质质增多，使得突触的传递效率提高。其次是突触传递物质质量的变化，包括比例成分的变化所引起传递效率的变化。量的变化，包括比例成分的变化所引起传递效率的变化。 (2)突触接触间隙的变化。在突触表面有许多形状各异的突触接触间隙的变化。在突触表面有许多形状各异的小凸芽，调节其形状变化可以改变接触间隙，并影响传递小凸芽，调节其形状变化可以改变接触间隙，并影响传递效率。效率。生物神经元生物神经元9 (3)突触的发芽。当某些神经纤维被破坏后，可能又突触的发芽。当某些神经纤维被破坏后，可能又会长出新芽

9、，并重新产生附着于神经元上的突触形会长出新芽，并重新产生附着于神经元上的突触形成新的回路。由于新的回路的形成，使得结合模式发成新的回路。由于新的回路的形成，使得结合模式发生生变化，也会引起传递效率的变化。变化，也会引起传递效率的变化。 (4)突触数目的增减。由于种种复杂环境条件的刺激突触数目的增减。由于种种复杂环境条件的刺激等原因，或者由于动物本身的生长或衰老，神经系统等原因，或者由于动物本身的生长或衰老，神经系统的突触数目会发生变化，并影响神经元之间的传递效的突触数目会发生变化，并影响神经元之间的传递效率。率。 生物神经元生物神经元10 神经元对信息的接受和传递都是通过突触来进行的。神经元对

10、信息的接受和传递都是通过突触来进行的。 单个神经元可以从别的细胞接受多个输入。单个神经元可以从别的细胞接受多个输入。由于输入分布于不由于输入分布于不同的部位，对神经元影响的比例同的部位，对神经元影响的比例(权重权重)是不相同的。另外，各突触是不相同的。另外，各突触输入抵达神经元的先后时间也不一祥。因此，输入抵达神经元的先后时间也不一祥。因此，一个神经元接受的一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和强度。元对它们进行积累和整合加工，从而决定其输出的时机和强度。

11、正是神经元这种整合作用，才使得亿万个神经元在神经系统中有正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种信息处理功能。系统的各种信息处理功能。 多多个神经元以突触联接形成了一个神经网络个神经元以突触联接形成了一个神经网络。研究表明，生物。研究表明，生物神经网络的功能决不是单个神经元生理和信息处理功能的简单叠神经网络的功能决不是单个神经元生理和信息处理功能的简单叠加，而是一个有层次的、多单元的动态信息处理系统。加，而是一个有层次的、多单元的动态信息处理系统。 它们有其

12、它们有其独特的运行方式和控制机制，以接受生物内外环境的独特的运行方式和控制机制，以接受生物内外环境的输入信息，加以综合分折处理，然后调节控制机体对环境作出适输入信息，加以综合分折处理，然后调节控制机体对环境作出适当的反应。当的反应。 生物神经元生物神经元11突触的信息处理突触的信息处理v生物神经元传递信息的过程为多输入生物神经元传递信息的过程为多输入、单输出单输出v神经元各组成部分的功能来看，信息的处理与传神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近递主要发生在突触附近v当神经元细胞体通过轴突传到突触前膜的脉冲幅当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过

13、其阈值电位后，突触前度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质膜将向突触间隙释放神经传递的化学物质v突触有两种类型，兴奋性突触和抑制性突触。前突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位者产生正突触后电位，后者产生负突触后电位生物神经元生物神经元12 神经元具有如下功能：神经元具有如下功能：v(1) 兴奋与抑制：兴奋与抑制：如果传入神经元的冲动经整合后使细如果传入神经元的冲动经整合后使细胞膜电位升高，胞膜电位升高，超过动作电位的阈值时超过动作电位的阈值时即为兴奋状态，即为兴奋状态，产生神经冲动产生神经冲动，由轴突经神经末

14、梢传出。如果传入神，由轴突经神经末梢传出。如果传入神经元的冲动经整合后使细胞膜电位降低，经元的冲动经整合后使细胞膜电位降低，低于动作电低于动作电位的阈值时位的阈值时即为抑制状态，即为抑制状态，不产生神经冲动不产生神经冲动。v(2) 学习与遗忘：学习与遗忘：由于神经元结构的可塑性，突触的传由于神经元结构的可塑性，突触的传递作用可增强和减弱，因此神经元具有学习与遗忘的递作用可增强和减弱，因此神经元具有学习与遗忘的功能。功能。生物神经元生物神经元13 以上是从宏观上分析了人脑信息处理特点。从信息系统研究的观点以上是从宏观上分析了人脑信息处理特点。从信息系统研究的观点出发，对于出发，对于人脑人脑这个智

15、能信息处理系统，有如下一些固有特征：这个智能信息处理系统，有如下一些固有特征： (1)并行分布处理的工作模式。并行分布处理的工作模式。 实际上大脑中单个神经元的信息处理速度是很慢的，每次约实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒毫秒(ms)，比通常的电子门电路要慢几个数量级。每个神经元比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。的处理功能也很有限，估计不会比计算机的一条指令更复杂。 但是人脑对某一复杂过程的处理和反应却很快，一般只需几但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。例如要判定人眼看到的两个图形是

16、否一样，实际上约需百毫秒。例如要判定人眼看到的两个图形是否一样，实际上约需400 ms，而在这个处理过程中，与脑神经系统的一些主要功能，而在这个处理过程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果如视觉、记亿、推理等有关。按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。例如在一张照片寻找一个熟人的面超高密度的并行处理系统。例

17、如在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。由此可见，大脑信息处有的技术，是不可能在短时间内完成的。由此可见，大脑信息处理的并行速度已达到了极高的程度。理的并行速度已达到了极高的程度。 生物神经元生物神经元14v (2)神经系统的可塑性和自组织性。神经系统的可塑性和自组织性。v 神经系统的可塑性和自组织性与人脑的生长发育过神经系统的可塑性和自组织性与人脑的生长发育过程有关。例如，人的幼年时期约在程有关。例如，人的幼年时期约在9岁左右，学习语言的能岁左右，学习语言的

18、能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接良好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例状态的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下接受该信息的神经细胞之如在某一外界信息反复刺激下接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得有先天的制约因素，也有可能通过后天的训练和学习而得到

19、加强。到加强。神经网络的学习机制就是基于这种可塑性现象，神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。并通过修正突触的结合强度来实现的。生物神经元生物神经元15v (3)信息处理与信息存贮合二为一。信息处理与信息存贮合二为一。v 大脑中的信息处理与信息存贮是有机结合在一起的，大脑中的信息处理与信息存贮是有机结合在一起的，而不像现行计算机那样存贮地址和存贮内容是彼此分开而不像现行计算机那样存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回亿时，不但不存在先找存贮地址而后再调出所存内容行

20、回亿时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。的问题，而且还可以由一部分内容恢复全部内容。v (4)信息处理的系统性信息处理的系统性v 大脑是一个复杂的大规模信息处理系统，单个的元大脑是一个复杂的大规模信息处理系统，单个的元件件“神经元神经元”不能体现全体宏观系统的功能不能体现全体宏观系统的功能。实际上，可实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。例如，视觉系统

21、和运动系统就存节另一些子系统的行为。例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。在很强的系统联系，可以相互协调各种信息处理功能。生物神经元生物神经元16v (5)能接受和处理模糊的、模拟的、随机的信息。能接受和处理模糊的、模拟的、随机的信息。v (6)求满意解而不是精确解。求满意解而不是精确解。人类处理日常行为时，往往都不是一定要按最优人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了。则，即求得满意解就行了。v (7)系统的恰当退化和冗余备份系统的恰当退化和冗余备

22、份(鲁棒性和容错鲁棒性和容错性性)。 生物神经元生物神经元17决定神经网络模型性能三大要素为：决定神经网络模型性能三大要素为：v (1) 神经元（信息处理单元）的特性；神经元（信息处理单元）的特性；v (2) 神经元之间相互连接的形式神经元之间相互连接的形式拓扑结构；拓扑结构；v (3) 为适应环境而改善性能的学习规则。为适应环境而改善性能的学习规则。生物神经元生物神经元184.1 人工神经网络模型人工神经网络模型 人工神经网络是在结构和功能上对生物神经网络的某人工神经网络是在结构和功能上对生物神经网络的某种程度的模拟和逼近。种程度的模拟和逼近。v 直观理解直观理解 神经网络是一个并行和分布式

23、的信息处理网络结神经网络是一个并行和分布式的信息处理网络结构构 它一般由大量神经元组成它一般由大量神经元组成 每个神经元只有一个输出，可以连接到很多其每个神经元只有一个输出，可以连接到很多其他的神经元他的神经元 每个神经元输入有多个连接通道，每个连接通每个神经元输入有多个连接通道，每个连接通道对应于一个连接权系数道对应于一个连接权系数 19一、一、mp模型模型 mp模型属于一种阈值元件模型，它是由美国模型属于一种阈值元件模型，它是由美国mc culloch和和pitts提出的最早神经元模型之一。提出的最早神经元模型之一。mp模型模型是大多数神经网络模型的基础。是大多数神经网络模型的基础。 人工

24、神经网络基本模型人工神经网络基本模型4.1 人工神经网络模型人工神经网络模型 20niiiiitxwfufv1)()()(fyx1x2x nw1w2w n )(f标准标准mp模型模型4.1 人工神经网络模型人工神经网络模型 21 wij 代表神经元代表神经元i与神经元与神经元j之间的连接强度之间的连接强度(模拟生物神模拟生物神经元之间突触连接强度经元之间突触连接强度)，称之为称之为连接权连接权； ui代表神经元代表神经元i的活跃值，即的活跃值，即神经元状态神经元状态； xj代表神经元代表神经元j的输出，即是神经元的输出，即是神经元i的一个的一个输入输入； i代表神经元代表神经元i的的阈值阈值。

25、 函数函数f表达了神经元的输入输出特性。在表达了神经元的输入输出特性。在mp模型中，模型中，f定定义为阶跃函数义为阶跃函数/激发函数：激发函数： 0,00,1iiiuuv4.1 人工神经网络模型人工神经网络模型 22 如果把阈值如果把阈值i看作为一个特殊的权值，则可改写为看作为一个特殊的权值，则可改写为: 其中，其中，w0i-i，v01 为用连续型的函数表达神经元的非线性变换能力，常为用连续型的函数表达神经元的非线性变换能力，常采用采用s型函数型函数: 该函数的图像如下图所示该函数的图像如下图所示 )(0jnjjiivwfviuieuf11)(4.1 人工神经网络模型人工神经网络模型 234.

26、1 人工神经网络模型人工神经网络模型 24 mp模型在发表时并没有给出一个学习算法来调整模型在发表时并没有给出一个学习算法来调整神经元之间的连接权。但是，我们可以神经元之间的连接权。但是，我们可以根据需要，采根据需要，采用一些常见的算法来调整神经元连接权，以达到学习用一些常见的算法来调整神经元连接权，以达到学习目的。下面介绍的目的。下面介绍的hebb学习规则就是一个常见学习算学习规则就是一个常见学习算法。法。 hebb学习规则学习规则 神经网络具有学习功能。对于人工神神经网络具有学习功能。对于人工神经网络而言，这种学习归结为神经元连接权的变化。经网络而言，这种学习归结为神经元连接权的变化。调整

27、调整wij的原则为：若第的原则为：若第i和第和第j个神经元同时处于兴奋个神经元同时处于兴奋状态，则它们之间的连接应当加强，即：状态，则它们之间的连接应当加强，即： wijuivj 这一规则与这一规则与“条件反射条件反射”学说一致，并已得到神经细学说一致，并已得到神经细胞学说的证实。胞学说的证实。 是表示学习速率的比例常数。是表示学习速率的比例常数。 4.1 人工神经网络模型人工神经网络模型 254.2 神经网络的定义和特点神经网络的定义和特点 神经网络是在现代生物学研究人脑组织成果的基础上提神经网络是在现代生物学研究人脑组织成果的基础上提出的，用来出的，用来模拟人类大脑神经网络的结构和行为模拟

28、人类大脑神经网络的结构和行为，它从，它从微观结构和功能上对人脑进行抽象和简化，是模拟人类微观结构和功能上对人脑进行抽象和简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。如并行信息处理、学习、联想、模式分类、记忆等。n 定义定义神经网络系统是由大量的神经元，通过广泛地互相连接神经网络系统是由大量的神经元，通过广泛地互相连接而形成的复杂网络系统。而形成的复杂网络系统。26n 特点特点（1）非线性映射逼近能力。非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经任意的连续非线性函

29、数映射关系可由多层神经网络以任意精度加以逼近。网络以任意精度加以逼近。（2）自适应性和自组织性自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。信息处理的要求。（3） 并行处理性。并行处理性。网络的各单元可以同时进行类似的处理过程，整个网络网络的各单元可以同时进行类似的处理过程，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。的信息处理方式是大规模并行的，可以大大加快对信息处理的

30、速度。（4）分布存储和容错性。分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。络具有容错性和联想记忆功能。（5）便于集成实现和计算模拟。便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模神经网络在结构上是相同神经元的大规模组合，特别适合于用大规

31、模集成电路实现。组合，特别适合于用大规模集成电路实现。 4.2 神经网络的定义和特点神经网络的定义和特点 274.3 感知器模型感知器模型感知器是一种早期的神经网络模型，由美国学者感知器是一种早期的神经网络模型，由美国学者f.rosenblatt于于1957年提出年提出.感知器中第一次引入了感知器中第一次引入了学习的概念，使人脑所具备的学习功能在基于符号处学习的概念，使人脑所具备的学习功能在基于符号处理的数学到了一定程度的模拟，所以引起了广泛的关理的数学到了一定程度的模拟，所以引起了广泛的关注。注。1.简单感知器简单感知器 简单感知器模型实际上仍然是简单感知器模型实际上仍然是mp模型模型的结构

32、，的结构，但是它通过采用监督学习来逐步增强模式划分的能但是它通过采用监督学习来逐步增强模式划分的能力，达到所谓学习的目的。力，达到所谓学习的目的。28其结构如下图所其结构如下图所示示 感知器处理单元对感知器处理单元对n个输入进行加权和操作个输入进行加权和操作v即：即：其中，其中，wi为第为第i个输入到处理单元的连接权值个输入到处理单元的连接权值为为阈值。阈值。 f取阶跃函数取阶跃函数.)(0iniiixwfv)(fyx1x2x nw1w2w n )(f4.3 感知器模型感知器模型29 感知器在形式上与感知器在形式上与mp模型差不多，它们之间的区别模型差不多，它们之间的区别在于神经元间连接权的变

33、化。感知器的连接权定义为可在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。变的，这样感知器就被赋予了学习的特性。 利用简单利用简单感知器可以实现逻辑代数中的一些运算。感知器可以实现逻辑代数中的一些运算。 y=f(w1x1+w2x2-)(1)“与与”运算。运算。当取当取w1w21，1.5时，上式完成逻时，上式完成逻辑辑“与与”的运算。的运算。 4.3 感知器模型感知器模型30(2)“或或”运算，运算， 当取当取wlw21， 0.5时，上式完成逻辑时，上式完成逻辑“或或”的的运运算。算。(3)“非非”运算，运算，当取当取wl=-1，w20， -1时完成逻辑时完

34、成逻辑“非非”的运算。的运算。 4.3 感知器模型感知器模型31 简单感简单感知器引入的学习算法称之为误差学习算法。知器引入的学习算法称之为误差学习算法。该算法是神经网络学习中的一个重要算法，并已被广该算法是神经网络学习中的一个重要算法，并已被广泛应用。现介绍如下：泛应用。现介绍如下： 误差型学习规则：误差型学习规则： (1)选择一组初始权值选择一组初始权值wi(0)。 (2)计算某一输入模式对应的实际输出与期望输出的计算某一输入模式对应的实际输出与期望输出的误差误差。4.3 感知器模型感知器模型32(3)如果如果小于给定值，结束，否则继续。小于给定值，结束，否则继续。 (4)更新权值更新权值

35、(阈值可视为输入恒为阈值可视为输入恒为1的一个权值的一个权值)： wi（t+1） wi（t+1）- wi（t）dy(t)xi。 式中式中为在区间为在区间(0，1)上的一个常数，称为学习步长，它的上的一个常数，称为学习步长，它的取值与训练速度和取值与训练速度和w收敛的稳定性有关；收敛的稳定性有关； 通常通常不能太大，因为太大会影响不能太大，因为太大会影响wi（t）的稳定，）的稳定， 也不也不能太小，因为太小会使能太小，因为太小会使wi（t）的收敛速度太慢；）的收敛速度太慢； d、y为神经元的期望输出和实际输出；为神经元的期望输出和实际输出；xi为神经元的第为神经元的第i个个输入输入。 (5)返回

36、返回(2)，重复，直到对所有训练样本模式，网络输出，重复，直到对所有训练样本模式，网络输出均能满足要求。均能满足要求。 4.3 感知器模型感知器模型33 2. 2. 多层感知器多层感知器 如果在输入和输出层间加上一层或多层的神经元如果在输入和输出层间加上一层或多层的神经元( (隐层隐层神经元神经元) )，就可构成多层前向网络，这里称为多层感知器。，就可构成多层前向网络，这里称为多层感知器。4.3 感知器模型感知器模型344.4 神经网络的分类神经网络的分类 目前神经网络模型的种类相当丰富，已有数十目前神经网络模型的种类相当丰富，已有数十种神经网络模型。种神经网络模型。 典型的神经网络有多层前向

37、传播网络典型的神经网络有多层前向传播网络 （bp网网络络）、）、hopfield网络、网络、cmac小脑模型小脑模型、art网网络、络、bam双向联想记忆网络、双向联想记忆网络、som自组织网络、自组织网络、blotzman机网络和机网络和madaline网络等网络等354.4 神经网络的分类神经网络的分类（1）根据神经网络的连接方式，神经网络可分为前向网络、反馈网）根据神经网络的连接方式，神经网络可分为前向网络、反馈网络、自组织网络络、自组织网络 前向网络：前向网络：364.4 神经网络的分类神经网络的分类 反馈网络：反馈网络：374.4 神经网络的分类神经网络的分类 自组织网络：自组织网络

38、： 当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具当神经网络在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，有不同的响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映从而形成一种拓扑意义上的特征图，该图实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，所以也称为自组织特征图。射是通过无监督的自适应过程完成的，所以也称为自组织特征图。输出节点输入0 x1x2x384.4 神经网络的分类神经网络的分类（2 2）从网络的学习方式

39、上划分，神经网络可分为有导师学习网络和无导师）从网络的学习方式上划分，神经网络可分为有导师学习网络和无导师学习网络。学习网络。有导师学习神经网络，又称监督学习有导师学习神经网络，又称监督学习(supervised learning)网络的输出和期望的输出网络的输出和期望的输出(即导师信号）进行比较，然后根据两者之间即导师信号）进行比较，然后根据两者之间的差异调整网络的权值，最终使差异变小。的差异调整网络的权值，最终使差异变小。394.4 神经网络的分类神经网络的分类无导师学习神经网络，又称无监督学习（无导师学习神经网络，又称无监督学习（unsupervised learning）或自组织学习（

40、或自组织学习（self-organized learning）输入模式进入网络后，网络按照一种预先设定的规则（如竞争规则）自输入模式进入网络后，网络按照一种预先设定的规则（如竞争规则）自动调整权值，使网络最终具有模式分类等功能。动调整权值，使网络最终具有模式分类等功能。 404.4 神经网络的分类神经网络的分类神经网络分类标准不同，方法多样神经网络分类标准不同，方法多样414.5 多层前向多层前向bp神经网络神经网络 n 多层前向神经网络的结构多层前向神经网络的结构 一个输入层，一个输出层，多个隐层，信号沿输入，信号沿输入输出的方向逐层传递。输出的方向逐层传递。 jpp1xp1x pnt pk

41、t pmop1o pnop2隐层wj1wjn输入层输入层隐层隐层输出层输出层信息流hjpshpjopm42v 激活函数激活函数 必须处处可导必须处处可导 一般都使用一般都使用s型函数型函数 v 使用使用s型激活函数时型激活函数时bp网络输入与输出关系网络输入与输出关系 输入输入 输出输出4.5 多层前向多层前向bp神经网络神经网络 43 输出的导数 根据根据s型激活函数的图形可知型激活函数的图形可知,对神经网络进行训练，应该将对神经网络进行训练，应该将net的值的值尽量控制在收敛比较快的范围内尽量控制在收敛比较快的范围内 4.5 多层前向多层前向bp神经网络神经网络 44v学习的过程：学习的过

42、程： 神经网络在外界输入样本的刺激下不断改变网络的连神经网络在外界输入样本的刺激下不断改变网络的连接权值接权值,以使网络的输出不断地接近期望的输出。以使网络的输出不断地接近期望的输出。v学习的本质：学习的本质： 对各连接权值的动态调整对各连接权值的动态调整v学习规则：学习规则： 权值调整规则，即在学习过程中网络中各神经元的连权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。接权变化所依据的一定的调整规则。4.5 多层前向多层前向bp神经网络神经网络 45bp网络的标准学习算法网络的标准学习算法-算法思想算法思想v学习的类型：有导师学习学习的类型：有导师学习v核心思想

43、：核心思想： 将输出误差将输出误差以某种形式以某种形式通过隐层向输入层逐层反传通过隐层向输入层逐层反传v学习的过程：学习的过程： 信号的正向传播信号的正向传播 误差的反向传播误差的反向传播将误差分摊给各层的所有将误差分摊给各层的所有单元各层单元的误单元各层单元的误差信号差信号修正各单元权修正各单元权值值46bp网络的标准学习算法网络的标准学习算法-学习过程学习过程v正向传播：正向传播： 输入样本输入层各隐层输出层输入样本输入层各隐层输出层v判断是否转入反向传播阶段：判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不若输出层的实际输出与期望的输出（教师信号）不符符v误差反传

44、误差反传 误差以某种形式在各层表示修正各层单元误差以某种形式在各层表示修正各层单元的权值的权值v网络输出的误差减少到可接受的程度网络输出的误差减少到可接受的程度进行到预先设定的学习次数为止进行到预先设定的学习次数为止47bp网络的标准学习算法网络的标准学习算法 v网络结构网络结构 输入层有输入层有n个神经元，隐含层有个神经元，隐含层有p个神经元个神经元, 输出层有输出层有q个神经元个神经元v变量定义变量定义 输入向量输入向量; 隐含层输入向量；隐含层输入向量； 隐含层输出向量隐含层输出向量; 输出层输入向量输出层输入向量; 输出层输出向量输出层输出向量; 期望输出向量期望输出向量; 48bp网

45、络的标准学习算法网络的标准学习算法 输入层与中间层的连接权值: 隐含层与输出层的连接权值: 隐含层各神经元的阈值: 输出层各神经元的阈值: 样本数据个数: 激活函数: 误差函数：49bp网络的标准学习算法网络的标准学习算法v第一步，网络初始化第一步，网络初始化 给各连接权值分别赋一个区间（给各连接权值分别赋一个区间（-1，1）内的随机）内的随机数，设定误差函数数，设定误差函数e，给定计算精度值，给定计算精度值 和最大学习和最大学习次数次数m。v第二步第二步,随机选取第随机选取第 k个输入样本及对应期望输个输入样本及对应期望输出出 50bp网络的标准学习算法网络的标准学习算法v 第三步，计算隐含

46、层各神经元的输入和输出第三步，计算隐含层各神经元的输入和输出51bp网络的标准学习算法网络的标准学习算法v第四步，利用网络期望输出和实际输出，计算第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数误差函数对输出层的各神经元的偏导数 。 52bp网络的标准学习算法网络的标准学习算法v第五步，利用隐含层到输出层的连接权值、输第五步，利用隐含层到输出层的连接权值、输出层的出层的 和隐含层的输出计算误差函数对和隐含层的输出计算误差函数对隐含层各神经元的偏导数隐含层各神经元的偏导数 。 53bp网络的标准学习算法网络的标准学习算法54bp网络的标准学习算法网络的标准学习算法v第六

47、步，利用输出层各神经元的第六步，利用输出层各神经元的 和隐含层各和隐含层各神经元的输出来修正连接权值神经元的输出来修正连接权值 。 55bp网络的标准学习算法网络的标准学习算法v第七步，利用隐含层各神经元的第七步，利用隐含层各神经元的 和输入层各和输入层各神经元的输入修正连接权。神经元的输入修正连接权。 56bp网络的标准学习算法网络的标准学习算法v第八步，计算全局误差第八步，计算全局误差v第九步，判断网络误差是否满足要求。当误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对则

48、结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学应的期望输出，返回到第三步，进入下一轮学习。习。 57bp网络的标准学习算法网络的标准学习算法vbp算法直观解释算法直观解释 当误差对权值的偏当误差对权值的偏导数大于零时，权值导数大于零时，权值调整量为负，实际输调整量为负，实际输出大于期望输出，权出大于期望输出，权值向减少方向调整，值向减少方向调整，使得实际输出与期望使得实际输出与期望输出的差减少。输出的差减少。whohoewe，此时，此时who0who59bp神经网络学习算法的神经网络学习算法的matlab实现实现 v matlab中bp神经网络的重要函数和基本功

49、能 函 数 名功 能newff()生成一个前馈bp网络tansig()双曲正切s型(tan-sigmoid)传输函数logsig()对数s型(log-sigmoid)传输函数traingd()梯度下降bp训练函数60bp神经网络学习算法的神经网络学习算法的matlab实现实现v matlab中中bp神经网络的重要函数和基本功能神经网络的重要函数和基本功能 newff() 功能功能 建立一个前向建立一个前向bp网络网络 格式格式 net = newff(pr，s1 s2.sn1，tf1 tf2.tfn1，btf，blf，pf) 说明说明 net为创建的新为创建的新bp神经网络；神经网络；pr为网

50、络输为网络输入取向量取值范围的矩阵；入取向量取值范围的矩阵；s1 s2snl表示网表示网络隐含层和输出层神经元的个数；络隐含层和输出层神经元的个数；tfl tf2tfn1表示网络隐含层和输出层的传输函数，表示网络隐含层和输出层的传输函数，默认为默认为tansig；btf表示网络的训练函数，默表示网络的训练函数，默认为认为trainlm；blf表示网络的权值学习函数，表示网络的权值学习函数，默认为默认为learngdm；pf表示性能数，默认为表示性能数，默认为mse。 61bp神经网络学习算法的神经网络学习算法的matlab实现实现v matlab中bp神经网络的重要函数和基本功能 tansig

51、() 功能 正切sigmoid激活函数 格式 a = tansig(n) 说明 双曲正切sigmoid函数把神经元的输入范围从(-，+)映射到(-1，1)。它是可导函数，适用于bp训练的神经元。 logsig() 功能 对数sigmoid激活函数 格式 a = logsig(n) 说明对数sigmoid函数把神经元的输入范围从(-，+)映射到(0，1)。它是可导函数，适用于bp训练的神经元。62bp神经网络学习算法的神经网络学习算法的matlab实现实现v 例2-3，下表为某药品的销售情况，现构建一个如下的三层bp神经网络对药品的销售进行预测：输入层有三个结点，隐含层结点数为5，隐含层的激活函

52、数为tansig；输出层结点数为1个，输出层的激活函数为logsig，并利用此网络对药品的销售量进行预测，预测方法采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。 月份123456销量205623952600229816341600月份789101112销量18731478190015002046155663bp神经网络学习算法的神经网络学习算法的matlab实现实现 %以每三个月的销售量经归一化处理后作为输入v p=0.51520.81731.

53、0000 ; 0.81731.00000.7308; 1.00000.73080.1390; 0.73080.13900.1087; 0.13900.10870.3520; 0.10870.35200.0000; %以第四个月的销售量归一化处理后作为目标向量v t=0.7308 0.1390 0.1087 0.3520 0.0000 0.3761; %创建一个bp神经网络，每一个输入向量的取值范围为0 ,1，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即2.3.2节中所描述的标准学习算法v net=newf

54、f(0 1;0 1;0 1,5,1,tansig,logsig,traingd);v net.trainparam.epochs=15000;v net.trainparam.goal=0.01; %设置学习速率为0.1v lp.lr=0.1;v net=train(net,p,t); 64bp神经网络学习算法的神经网络学习算法的matlab实现实现vbp网络应用于药品预测对比图v 由对比图可以看出预测效果与实际存在一定误差，此误差可以通过增加运行步数和提高预设误差精度业进一步缩小65bp神经网络的特点神经网络的特点v 非线性映射能力非线性映射能力 能学习和存贮大量输入能学习和存贮大量输入-输

55、出模式映射关系，而无需事输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成够多的样本模式对供网络进行学习训练，它便能完成由由n维输入空间到维输入空间到m维输出空间的非线性映射。维输出空间的非线性映射。v 泛化能力泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。力称为泛化能力。v 容错能力容错能力 输入样本中带有较大的误差甚

56、至个别错误对网络的输输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小入输出规律影响很小.66bpbp算法的基本流程算法的基本流程 初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值pjopjhjihkjkpjopkokjokjxtwtwotwtw)()1()()1( 改变训练样板训练样终止？迭代终止？nonoyy4.6 多层前向多层前向bp神经网络神经网络 674.6 多层前向多层前向bp神经网络神经网络n前向网络进一步需研究的问题前向网络进一步需研究的问题 目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值；学习算法收敛速度慢

57、，学习算法收敛速度慢，sigmaid函数本身存在无穷函数本身存在无穷多闪导数，而多闪导数，而bp算法只用了一次导数，致使收敛算法只用了一次导数，致使收敛速度慢。速度慢。网络隐层节点个数和初始权值的选取，尚无理论指网络隐层节点个数和初始权值的选取，尚无理论指导。导。684.7 霍普菲尔德网络是单层对称全反馈网络，根据其激活根据其激活函数的选取不同函数的选取不同，可分为离散型的霍普菲尔德网络(discrete hopfield neural network，简称dhnn)和连续型的霍普菲尔德网络(continuous hopfield neural network，简称chnn)。dhnn的激活函

58、数为二值型激活函数为二值型的，其输入、输出为0，1的反馈网络，主要用于联想记忆。chnn的激活函数的输入与输出之间的关系为连续可连续可微的单调上升函数微的单调上升函数,可以取0到1之间的任一实数值,主要用于优化计算。 69在反馈网络中如果其激活函数在反馈网络中如果其激活函数f()是一个二值型的硬函数，如图是一个二值型的硬函数，如图1所所示，即示，即aisgn(ni)，il, 2, r，则称此网络为离散型反馈网络；则称此网络为离散型反馈网络；如果如果ai=f(ni)中的中的f()为一个连续单调上升的有界函数，这类网络被为一个连续单调上升的有界函数，这类网络被称为连续型反馈网络称为连续型反馈网络。

59、图图2中所示为一个具有饱和线性激活函数，中所示为一个具有饱和线性激活函数，它满足连续单调上升的有界函数的条件，常作为连续型的激活函数。它满足连续单调上升的有界函数的条件，常作为连续型的激活函数。图1 dhnn中的激活函数 图2 chnn中的激活函数 4.7 70基本的基本的hopfield神经网络是一个由非线性元件构成的全神经网络是一个由非线性元件构成的全连接型单层反馈系统，连接型单层反馈系统，hopfield网络中的每一个神经元都网络中的每一个神经元都将自己的输出通过连接权传送给所有其它神经元将自己的输出通过连接权传送给所有其它神经元，同时又，同时又都接收所有其它神经元传递过来的信息。都接收

60、所有其它神经元传递过来的信息。hopfield神经网络是一个反馈型神经网络，网络中的神神经网络是一个反馈型神经网络，网络中的神经元在经元在t t时刻的输出状态实际上间接地与自己时刻的输出状态实际上间接地与自己t-1t-1时刻的输时刻的输出状态有关。出状态有关。4.7 71 反馈型网络的一个重要特点就是它具有稳定状态，反馈型网络的一个重要特点就是它具有稳定状态，当网络达到稳定状态的时候，也就是它的能量函数达到当网络达到稳定状态的时候，也就是它的能量函数达到最小的时候。最小的时候。 hopfieldhopfield神经网络的能量函数表征网络状态的变化神经网络的能量函数表征网络状态的变化趋势，并可以