第八章人工神经网络

1、 模糊控制在处理数值数据、自学习模糊控制在处理数值数据、自学习能力等方面还远没有达到人脑的境界。能力等方面还远没有达到人脑的境界。人工神经网络从另一个角度出发，即从人工神经网络从另一个角度出发，即从人脑的生理学和心理学着手，通过人工人脑的生理学和心理学着手，通过人工模拟人脑的工作机理来实现机器的部分模拟人脑的工作机理来实现机器的部分智能行为。智能行为。 一、一、 iuijxnj, 1ijwisjx1 iw2iwinw)(iiugy jiijijisxwnet)(iinetfu iiuug)()(iinetfy 0001)(iiinetnetnetfiliiliiiiiinetnetfnetne

2、tnetknetnetnetnetfmax000)(irnetienetf11)( 神经网络由一些具有自适应能力的简单单元及神经网络由一些具有自适应能力的简单单元及其层次组织的大规模并行联结构造而成，它模仿生其层次组织的大规模并行联结构造而成，它模仿生物神经系统进行信息处理，是对人脑神经网络的简物神经系统进行信息处理，是对人脑神经网络的简化模拟。神经网络中的基本单元是神经元。所谓神化模拟。神经网络中的基本单元是神经元。所谓神经元，就是多输入、单输出的信息处理单元。经元，就是多输入、单输出的信息处理单元。 四、神经网络的结构四、神经网络的结构1x2xnx1kw2kwknwknikkikkxwfy

3、1第第 k 神经元的神经元的 n 个输入个输入神经元的权值，第神经元的权值，第1个神个神经元与第经元与第 k 个个 神经元的神经元的 连接强度，正为激活，负连接强度，正为激活，负为抑制。为抑制。神经单元的阈值（门限神经单元的阈值（门限值）值）神经元的输出神经元的输出神经元的输入总和神经元的输入总和神经网络结构神经网络结构 神经网络结构是指神经网络的联结方式。神经网络结构是指神经网络的联结方式。 根据神经元之间连接的拓扑结构上的区别，神根据神经元之间连接的拓扑结构上的区别，神经网络结构可分分层网络和相互连接型网络两大类。经网络结构可分分层网络和相互连接型网络两大类。 分层网络的神经网络由若干层组

4、成，每层中有分层网络的神经网络由若干层组成，每层中有一定数量的神经元，相邻层间的神经元单向连接，一定数量的神经元，相邻层间的神经元单向连接，同一层内的神经元之间不连接；而相互连接型神经同一层内的神经元之间不连接；而相互连接型神经网络的任何两个神经元之间都可能双向连接。网络的任何两个神经元之间都可能双向连接。1x2xnx1y2y分层神经网络分层神经网络 相互连接型神经网络中任意两个单元之间都可相互连接型神经网络中任意两个单元之间都可能存在连接路径，可以认为是一种非线性动力学系能存在连接路径，可以认为是一种非线性动力学系统，因为对于给定的某一输入模式，由某一初始网统，因为对于给定的某一输入模式，由

5、某一初始网络参数出发，在一段时间内，网络处于不断改变输络参数出发，在一段时间内，网络处于不断改变输出模式的动态变化中，最终，网络有可能进入周期出模式的动态变化中，最终，网络有可能进入周期性振荡模式，也有可能得到一个稳定的输出模式。性振荡模式，也有可能得到一个稳定的输出模式。 nx2x1y2y1x 五、神经网络的学习与记忆五、神经网络的学习与记忆 5.1 神经网络的学习方式神经网络的学习方式 神经网络能够通过训练，获取环境知识，改变神经网络能够通过训练，获取环境知识，改变自身性能，使输入自身性能，使输入-输出变换朝更好的方向发展。学输出变换朝更好的方向发展。学习功能是神经网络最显著的特征。神经网

6、络的学习习功能是神经网络最显著的特征。神经网络的学习是通过调整连接权重实现的。是通过调整连接权重实现的。 按学习方式分，神经网络的学习可分为有导师按学习方式分，神经网络的学习可分为有导师学习和无导师学习两大类。学习和无导师学习两大类。 （1）有导师学习）有导师学习 有导师学习方式需要外界有导师学习方式需要外界“导师导师”，导师对神，导师对神经网络的训练过程进行示教，对每一组给定的输入经网络的训练过程进行示教，对每一组给定的输入提供应有的输出结果，即提供训练数据，组织一批提供应有的输出结果，即提供训练数据，组织一批正确的输入正确的输入输出数据对，把网络的实际响应输出输出数据对，把网络的实际响应输

7、出与应有响应输出相比较，得到已知输出与实际输出与应有响应输出相比较，得到已知输出与实际输出之间的差值，并据此来调节系统的参数（修改各连之间的差值，并据此来调节系统的参数（修改各连接权），使神经网络朝着能正常响应的方向不断变接权），使神经网络朝着能正常响应的方向不断变化，直到实际响应的输出与应有响应输出的误差在化，直到实际响应的输出与应有响应输出的误差在允许范围内，网络能够解决实际应用中遇到的问题。允许范围内，网络能够解决实际应用中遇到的问题。 这种学习方式也称误差修正方式，训练过程中，这种学习方式也称误差修正方式，训练过程中，导师还应进行监督。导师还应进行监督。 有导师学习方式比较简单，但要求

8、导师对环境有导师学习方式比较简单，但要求导师对环境和网络的结构要相当熟悉，并有丰富的经验知识。和网络的结构要相当熟悉，并有丰富的经验知识。事实上，如果环境变化较多，而系统又比较复杂时，事实上，如果环境变化较多，而系统又比较复杂时，环境变化要求不断调整加权值，有导师学习就不太环境变化要求不断调整加权值，有导师学习就不太适宜了。适宜了。 应有应有响应响应环境环境 教教 师师 学习系统学习系统 误差信号误差信号 环境状态信号环境状态信号 实际响应实际响应 （2）无导师学习 无导师学习不存在外部导师，学习系统完全按无导师学习不存在外部导师，学习系统完全按照环境所提供的数据的某些统计规律调节自身结构照环

9、境所提供的数据的某些统计规律调节自身结构与参数。与参数。 无导师学习的训练数据集只有输入，没有输出，无导师学习的训练数据集只有输入，没有输出，训练过程中神经网络自动地将各输入数据的特征提训练过程中神经网络自动地将各输入数据的特征提取出来，再分成若干类。训练后的网络能够识别训取出来，再分成若干类。训练后的网络能够识别训练数据集以外的新的输入类别，并获得相应的输出。练数据集以外的新的输入类别，并获得相应的输出。这种具有自组织、自学习功能的神经网络具有广阔这种具有自组织、自学习功能的神经网络具有广阔的应用前景。的应用前景。 5.2 神经网络的学习算法神经网络的学习算法 学习算法也称学习规则。常用的神

10、经网络学习学习算法也称学习规则。常用的神经网络学习算法主要有算法主要有hebb学习法、误差纠正学习法和竞争学习法、误差纠正学习法和竞争学习法等。学习法等。 （1）hebb学习法学习法 这种由心理学家基于对生理学和心理学的研究这种由心理学家基于对生理学和心理学的研究提出的学习行为的突触联系和神经群理论，经后来提出的学习行为的突触联系和神经群理论，经后来的学者引用、发展，成为一种经典使用的学习算法：的学者引用、发展，成为一种经典使用的学习算法： 当某一突触（连接）两端的神经元同为激活或当某一突触（连接）两端的神经元同为激活或同为抑制（称为激活同步）时，该连接的强度应增同为抑制（称为激活同步）时，该

11、连接的强度应增加；反之，则应减弱。这一理论的数学描述为加；反之，则应减弱。这一理论的数学描述为最常用的是最常用的是 nynyfnwjiij, nynynwjiij权权重重的的变变化化量量 两端两端神经元的状态神经元的状态 nwij学习率常数，也称为步学习率常数，也称为步长，长， 0 （2）误差纠正学习法）误差纠正学习法 nyndnekkk误差信号误差信号神经元神经元 k 在在 n 时刻的实际输出时刻的实际输出 神经元神经元 k 在在 n 时刻的应时刻的应有输出有输出 误差纠正学习法的目的是使某一基于误差纠正学习法的目的是使某一基于 ek(n) 的目的目标函数达到最小，从而使网络中的每一输出单元

12、的标函数达到最小，从而使网络中的每一输出单元的实际输出在一定的统计意义上逼近于应有响应，即实际输出在一定的统计意义上逼近于应有响应，即应有输出。应有输出。 误差纠正学习在选定目标函数形式后，就成为误差纠正学习在选定目标函数形式后，就成为一个典型的最优化问题。而最常用的目标函数是均一个典型的最优化问题。而最常用的目标函数是均方根误差判据：方根误差判据： 即求期望算子运算。其前提是学习的过程必须是宽即求期望算子运算。其前提是学习的过程必须是宽平稳的，具体方法可用平稳的，具体方法可用 最陡梯度下降法。但直接用最陡梯度下降法。但直接用j 作为目标函数需要知道整个过程的统计特性，这作为目标函数需要知道整

13、个过程的统计特性，这样较为困难，通常的解决方法是用样较为困难，通常的解决方法是用 j 在时刻在时刻 n 的瞬的瞬时值时值 (n) 代替：代替： kkneej221 kknen221 利用最陡梯度下降法，可以求出利用最陡梯度下降法，可以求出 (n) 对权值对权值 w 的极小值的极小值 nxnenwjkkj学习步长学习步长 （3）竞争学习法）竞争学习法 在学习过程中，网络各输出单元相互竞争，最在学习过程中，网络各输出单元相互竞争，最后达到只有一个最强者激活。后达到只有一个最强者激活。 最常见的一种情况是输出神经单元之间有侧向最常见的一种情况是输出神经单元之间有侧向抑制性连接，其中多输出单元中如果有

14、某一单元较抑制性连接，其中多输出单元中如果有某一单元较强，它将获得最终胜利，并处于激活状态，而其他强，它将获得最终胜利，并处于激活状态，而其他单元将被抑制。单元将被抑制。 1x2x3x4x输入层输入层 输出层输出层 最常用的学习规则为最常用的学习规则为 失败获胜jjwxnwijiij05.3 神经网络的联想记忆神经网络的联想记忆 神经网络的记忆包括信息的存储与回忆。神经神经网络的记忆包括信息的存储与回忆。神经网络可以通过学习将获取的知识信息以分布式方式网络可以通过学习将获取的知识信息以分布式方式相对稳定地存储在连接权的变化上，这种记忆称为相对稳定地存储在连接权的变化上，这种记忆称为长期记忆。而

15、学习期间的记忆则属于短期记忆。长期记忆。而学习期间的记忆则属于短期记忆。 联想记忆是指实现模式完善、恢复相关模式的联想记忆是指实现模式完善、恢复相关模式的相互回忆。在人工神经网络运行时，如对模式进行相互回忆。在人工神经网络运行时，如对模式进行识别，是在已存贮的识别，是在已存贮的“知识知识”中寻找与该输入匹配中寻找与该输入匹配最好的存贮最好的存贮“知识知识”作为其解，是一种回忆过程。作为其解，是一种回忆过程。联想记忆是人脑记忆的一种重要形式，可分为自联联想记忆是人脑记忆的一种重要形式，可分为自联想和异联想。想和异联想。 （1）按内容存取记忆，即信息的存取由信息本）按内容存取记忆，即信息的存取由信

16、息本身的内容来实现。而传统的计算机信息存取是通过身的内容来实现。而传统的计算机信息存取是通过寻找存储器的地址实现的。寻找存储器的地址实现的。 （2）分布式存储，即模仿人脑将记忆单元与处）分布式存储，即模仿人脑将记忆单元与处理单元合一。而传统的计算机信息存储是集中地存理单元合一。而传统的计算机信息存储是集中地存储在某些单元中的。储在某些单元中的。 按照作用方式的不同，联想可分为线性联想和按照作用方式的不同，联想可分为线性联想和非线性联想。线性联想可表示为非线性联想。线性联想可表示为axy 输出向量输出向量 存储矩阵存储矩阵 输入向量输入向量 联想记忆有两个最突出的特点：联想记忆有两个最突出的特点

17、： 非线性联想可表示为非线性函数非线性联想可表示为非线性函数 axfy 最简单的静态联想存储可以用前馈网络实现。最简单的静态联想存储可以用前馈网络实现。5.4 前馈型神经网络前馈型神经网络 从结构上来区分，神经网络大多属于前馈型神从结构上来区分，神经网络大多属于前馈型神经网络（简称前馈网络，也称前向网络）。经网络（简称前馈网络，也称前向网络）。 前馈网络是分层结构，信息只能从输入层单元前馈网络是分层结构，信息只能从输入层单元到其上一层单元，即第一层的单元与第二层的所有到其上一层单元，即第一层的单元与第二层的所有单元连接单元连接。感知器网络、。感知器网络、bp网络和竞争学习网网络和竞争学习网络是

18、三种典型的前馈网络。络是三种典型的前馈网络。 感知器网络感知器网络 （1）单层感知器网络）单层感知器网络 单层感知器网络是一种最基本的两层网络，两单层感知器网络是一种最基本的两层网络，两层即输入层和输出层，每层由多个处理单元构成。层即输入层和输出层，每层由多个处理单元构成。1x2xnx1y2ymyw11w12 nmw 单层感知器网络的学习是典型的有导师学习，单层感知器网络的学习是典型的有导师学习，其训练要素包括训练样本和训练规则。给定一个训其训练要素包括训练样本和训练规则。给定一个训练模式，输出单元就会有一个相应的输出向量，可练模式，输出单元就会有一个相应的输出向量，可以用期望输出与实际输出的

19、误差来修正网络的权值。以用期望输出与实际输出的误差来修正网络的权值。修正算法如下：修正算法如下： kxkydkwkwijjjiji1 nijijijxkwfky1取值区间为取值区间为( 0,1 权值取决于输入状态、输出误差以及学习因子。权值取决于输入状态、输出误差以及学习因子。由于输入状态为由于输入状态为 10或kxi期望输出与实际输出之差为期望输出与实际输出之差为 0, 1101, 01jjjjjjjjjdkydkydkykyde 则仅当输出单元则仅当输出单元 j 有输出误差，且相连输入状有输出误差，且相连输入状态为态为 1 时，修正权值应增加或减少一个量，修正量时，修正权值应增加或减少一个

20、量，修正量由学习因子由学习因子 控制，控制， 的取值应恰当，的取值应恰当， 过大，影过大，影响学习的收敛性；响学习的收敛性； 过小，延长训练时间，影响权过小，延长训练时间，影响权值的收敛速度。值的收敛速度。 单层感知器网络是一个前馈（正向传输）网络，单层感知器网络是一个前馈（正向传输）网络，所有节点都是线性的。单层感知器网络可以用来求所有节点都是线性的。单层感知器网络可以用来求解线性决策函数，解决一阶谓词逻辑（如逻辑与、解线性决策函数，解决一阶谓词逻辑（如逻辑与、逻辑或等）问题。逻辑或等）问题。 （2）多层感知器网络）多层感知器网络 两层感知器网络两层感知器网络 1x2x3x1y2yh1h2h

21、3bp网络网络（1）bp网络模型网络模型 bp（back-propagation）网络即误差向后传播）网络即误差向后传播神经网络，是神经网络模型中使用最广泛的一种模神经网络，是神经网络模型中使用最广泛的一种模型。型。bp网络与感知器网络的区别在于网络节点具有网络与感知器网络的区别在于网络节点具有非线性单元，采用了广义非线性单元，采用了广义 学习规则。学习规则。 bp网络属典型的多层网络，包括一个输入层、网络属典型的多层网络，包括一个输入层、一个或多个隐层和一个输出层，每层都有多个节点。一个或多个隐层和一个输出层，每层都有多个节点。bp网络是正向网络，层与层之间多采用全连接方式，网络是正向网络，

22、层与层之间多采用全连接方式，但同一层的单元之间不存在相互连接。但同一层的单元之间不存在相互连接。 1y2ymy1x2xnx输入层输入层 隐隐 层层 输出层输出层 对于输入信号，要经过输入层，向前传递到隐对于输入信号，要经过输入层，向前传递到隐层节点，经过转移函数作用后，从隐层节点输出到层节点，经过转移函数作用后，从隐层节点输出到输出层节点输出最终结果。输出层节点输出最终结果。 如果输出响应与期望值有误差，且不满足要求，如果输出响应与期望值有误差，且不满足要求，就转入误差后向传播，将误差值沿连接通路逐层向就转入误差后向传播，将误差值沿连接通路逐层向后传送，同时修正连接权值。后传送，同时修正连接权

23、值。 bp网络的输入、输出可连续变化，隐层、输出网络的输入、输出可连续变化，隐层、输出层的基本处理单元一般采用层的基本处理单元一般采用 s 型作用函数为输入型作用函数为输入输出的非线性关系，即输出的非线性关系，即 rxekxf1iiijjxwxjxjxjjexfx11)()1 (jjjjxxxx则输出层神经元的输出：输出层神经元的输出：jjjllxwx 。0lxlllxxe0nllpee1221l（2）jlwjljllljlpjlxewxewewjljljlwkwkw)() 1(其中 ijwnlijllijpijwxewew1ijjjlijjjlijjjjjlijlxxxwxxxwwxxxxx

24、wx)1 (ijijijwkwkw)() 1( 11kwkwwkwkwjljljljljl)1()()() 1(kwkwwkwkwijijijijij其中其中 为学习速率，为学习速率， 为动量因子。为动量因子。 1 , 01 , 05.5 反馈型神经网络反馈型神经网络 前馈型神经网络是单向连接的没有反馈的静态前馈型神经网络是单向连接的没有反馈的静态网络，缺乏动态性能。网络，缺乏动态性能。1982年，美国物理学家年，美国物理学家hopfield提出了一种由非线性元件构成的单层反馈提出了一种由非线性元件构成的单层反馈神经网络系统，后人称为神经网络系统，后人称为hopfield网络。这种反馈网络。这

25、种反馈型神经网络是一个反馈动力学系统，通过神经元的型神经网络是一个反馈动力学系统，通过神经元的状态变迁，系统最终可稳定在某一状态。状态变迁，系统最终可稳定在某一状态。 hopfield网络是最常用的反馈式人工神经网络。网络是最常用的反馈式人工神经网络。 反馈神经网络反馈神经网络的的输出输出信号信号反馈到其输入端反馈到其输入端，因，因此此，在输入的激励下，会产生不断的状态变化。当，在输入的激励下，会产生不断的状态变化。当有输入之后，可以求取有输入之后，可以求取hopfield的输出，这个输出的输出，这个输出反馈到输入从而产生新的输出，反馈到输入从而产生新的输出，如此往复如此往复。 如果如果hop

26、field网络是能收敛的稳定网络，这个网络是能收敛的稳定网络，这个反馈与迭代的计算过程所产生的变化反馈与迭代的计算过程所产生的变化将将越来越小，越来越小，hopfield网络会输出一个稳定的恒值。对于网络会输出一个稳定的恒值。对于hopfield网络，关键网络，关键在于在于稳定条件下的权系数。稳定条件下的权系数。 反馈网络有稳定的，也有不稳定的。对于反馈网络有稳定的，也有不稳定的。对于hopfield网络来说，如何判别它是稳定网络网络来说，如何判别它是稳定网络？判别判别的的依据是什么依据是什么？ 反馈型神经网络的所有节点之间都可互相连接，反馈型神经网络的所有节点之间都可互相连接，一个节点在接受

27、其它节点的输入的同时，也向其它一个节点在接受其它节点的输入的同时，也向其它节点输出。节点输出。 hopfield网络是一种网状网络，可分为离散型网络是一种网状网络，可分为离散型与连续型两种，两种网络的结构相同。与连续型两种，两种网络的结构相同。离散型离散型hopfield网络网络 hopfield最早提出的网络是二值神经网络，神最早提出的网络是二值神经网络，神经元的输出只取经元的输出只取1和和0这两个值，也称离散这两个值，也称离散hopfield神经网络。在离散神经网络。在离散hopfield网络中，采用的神经元网络中，采用的神经元是二值神经元是二值神经元，1和和0分别表示神经元处于激活和抑分

28、别表示神经元处于激活和抑制状态。制状态。 由三个神经元组成的离散由三个神经元组成的离散hopfield神经网络，神经网络，其结构如图所示。其结构如图所示。第第0层层第第1层层第第0层仅仅是作为网络的输入，它层仅仅是作为网络的输入，它不是实际神经元，所以无计算功能不是实际神经元，所以无计算功能第一层是实际神经元，执行对输入第一层是实际神经元，执行对输入信息和权系数乘积求累加和，并由信息和权系数乘积求累加和，并由非线性函数非线性函数f处理后产生输出信息处理后产生输出信息 f 是一个简单的阀值函效，如果神经元的输出是一个简单的阀值函效，如果神经元的输出信息大于阀值信息大于阀值，那么，神经元的输出就取

29、值为，那么，神经元的输出就取值为1；小于阀值小于阀值，则神经元的输出就取值为，则神经元的输出就取值为0。 对于二值神经元，它的计算公式如下：对于二值神经元，它的计算公式如下： 其中：其中： 为外部输入。并且有：为外部输入。并且有： yi=1,当当uii时时 yi=0,当当ui0，经过有限时刻，经过有限时刻 t，有：，有：y(t+t)=y(t)则称网络是稳定的。则称网络是稳定的。 三个神经元的离散三个神经元的离散hopfield网络的输出层就是三网络的输出层就是三位二进制数；每一个三位二进制数就是一种网络状位二进制数；每一个三位二进制数就是一种网络状态，从而共有态，从而共有8个网络状态。这些网络

30、状态如图所个网络状态。这些网络状态如图所示。在图中，立方体的每一个顶角表示一种网络状示。在图中，立方体的每一个顶角表示一种网络状态。态。 同理，对于同理，对于n个神经元的输出层，它有个神经元的输出层，它有2n个网络个网络状态，也和一个状态，也和一个n维超立方体的顶角相对应。维超立方体的顶角相对应。 如果如果hopfield网络是一个稳定网络，那么在网络网络是一个稳定网络，那么在网络的输入端加入一个输入向量，则网络的状态会产生的输入端加入一个输入向量，则网络的状态会产生变化，也就是从超立方体的一个顶角转移向另一个变化，也就是从超立方体的一个顶角转移向另一个顶角，并且最终稳定于一个特定的顶角。顶角

31、，并且最终稳定于一个特定的顶角。 对于一个由对于一个由n个神经元组成的离散个神经元组成的离散hopfield网络，网络，则有则有 n * n 权系数矩阵权系数矩阵 w ：w=wij i=1,2,.,n j=1,2,.,n同时，有同时，有n维阀值向量维阀值向量：=1,2,.nt 一船一船而言，而言，w和和可以确定一个唯一的离散可以确定一个唯一的离散hopfield网络。网络。 考虑离散考虑离散hopfield网络的一般节点状态，用网络的一般节点状态，用yj(t)表示第表示第j个神经元，即节点个神经元，即节点j在时刻在时刻t的状态，则节点的状态，则节点的下一个时刻的下一个时刻(t+1)的状态可以求

32、出如下：的状态可以求出如下： 通过状态不断变化，最后状态会稳定下来最通过状态不断变化，最后状态会稳定下来最终的状态是和给定向量终的状态是和给定向量x最接近的样本向量。所以，最接近的样本向量。所以，hopfield网络的最终输出也就是给定向量联想检索网络的最终输出也就是给定向量联想检索结果。这个过程说明，即使给定向量并不完全或部结果。这个过程说明，即使给定向量并不完全或部分不正确，也能找到正确的分不正确，也能找到正确的结果。结果。 在本质上，它也有滤波功能。在本质上，它也有滤波功能。 连续连续hopfield网络网络 连续连续hopfield网络的拓扑结构和离散网络的拓扑结构和离散hopfield网网络相同。连续络相同。连续hopfield网络和离散网络和离散hopfield网络一网络一样，其稳定条件为样，其稳定条件为wij=wji。不同之处在于函数。不同之处在于函数g不不是阶跃函数