人工神经网络2课件

1、1第7 章 v 人工神经网络人工神经网络v 遗传算法遗传算法v 蚂蚁算法蚂蚁算法v 专家系统专家系统27.1 7.1 人工神经网络人工神经网络( (ann) ) 人工神经网络人工神经网络（artificial neural netwroks），），就是基于就是基于模仿生物大脑的结构和功能，经过一定的抽象、简化与模拟的模仿生物大脑的结构和功能，经过一定的抽象、简化与模拟的人工信息处理模型。人工信息处理模型。 人工神经网络在机器学习、模式识别、组合优化和决策判人工神经网络在机器学习、模式识别、组合优化和决策判断等方面取得断等方面取得广泛应用广泛应用，是传统计算机所难以达到的效果。，是传统计算机所难

2、以达到的效果。 本节简介本节简介人工神经网络的基本模型、算法流程及其应用。人工神经网络的基本模型、算法流程及其应用。通过学习通过学习，会用人工神经网络求解优化问题（如，会用人工神经网络求解优化问题（如tsp）、模式）、模式识别（如手写汉字）。识别（如手写汉字）。3本节主要内容本节主要内容v 人工神经网络的生物学基础人工神经网络的生物学基础v 人工神经元人工神经元v 人工神经网络基本模型人工神经网络基本模型v 人工神经网络求解人工神经网络求解tsptsp4 人工神经网络系统源于人脑神经网络。了解人脑神经网络人工神经网络系统源于人脑神经网络。了解人脑神经网络的组成和原理，有助于对人工神经网络的理解

3、。的组成和原理，有助于对人工神经网络的理解。(1)(1)人脑神经结构人脑神经结构 1 1）101011-1211-12个神经元个神经元/ /人脑人脑 2 2）10104 4个连接个连接/ /神经元神经元 3 3）神经元间传递信号）神经元间传递信号7.1.1 7.1.1 人工神经网络的生物学基础人工神经网络的生物学基础51 1）神经元构成：）神经元构成：细胞体：直径在细胞体：直径在5至至100微米，含细胞核，细胞质和细胞膜；微米，含细胞核，细胞质和细胞膜；轴轴 突：是细胞体伸出的最长一条分支突：是细胞体伸出的最长一条分支(细胞的输出细胞的输出)；树树 突：是细胞体伸出的较短的树状分支突：是细胞体

4、伸出的较短的树状分支(细胞的输入细胞的输入)；突突 触：是神经元之间连接的接口。触：是神经元之间连接的接口。（2）生物神经元）生物神经元62 2）神经元的工作机制）神经元的工作机制 神经元与神经纤维构成的神经组织具有两种基本特性，即神经元与神经纤维构成的神经组织具有两种基本特性，即兴奋与传导兴奋与传导。当神经元的某一部分。当神经元的某一部分受到某种刺激受到某种刺激时，在受刺激时，在受刺激的部位就的部位就产生兴奋产生兴奋。当这种兴奋达。当这种兴奋达到一定程度（阈值）到一定程度（阈值）就会沿就会沿着神经元着神经元扩散开来扩散开来，并在一定的条件下通过突触传达到相连的，并在一定的条件下通过突触传达到

5、相连的神经细胞。神经细胞。细胞体突触轴突树突图 12.2 生物神经元功能模型输入输出信息处理电脉冲形成传输7（3）人脑的工作机制）人脑的工作机制1）记忆生理机制记忆生理机制 研究结果表明，在脑细胞经受多次某个对象的刺激而保持连研究结果表明，在脑细胞经受多次某个对象的刺激而保持连续兴奋状态时，只有当这种续兴奋状态时，只有当这种刺激达到一定强度刺激达到一定强度( (阀值阀值) )之后，脑细之后，脑细胞里胞里才会留下痕迹才会留下痕迹。而且当这个对象刺激的频率提高，记忆更加。而且当这个对象刺激的频率提高，记忆更加牢固。牢固。2 2）信息传递）信息传递 突触是神经细胞间传递信息突触是神经细胞间传递信息的

6、结构，的结构，突触由三部分构成突触由三部分构成，即突触前，突触间隙和突触后。即突触前，突触间隙和突触后。8 突触前的活动不直接引起突触后成分的活动，突触的信息传递突触前的活动不直接引起突触后成分的活动，突触的信息传递只能由只能由突触前到突触后突触前到突触后，不存在反向活动不存在反向活动的机制。因此突触传递是的机制。因此突触传递是单方向单方向的。根据突触后电位的反应，将突触分为两种：兴奋性突触的。根据突触后电位的反应，将突触分为两种：兴奋性突触和抑制性突触。和抑制性突触。3 3）脑神经信息活动的特征脑神经信息活动的特征v 巨量并行性。巨量并行性。v 信息处理和存储单元结合在一起。信息处理和存储单

7、元结合在一起。v 自组织自学习功能。自组织自学习功能。97.1.2 人工神经元人工神经元(1)模型（模型（mp模型）模型） mp模型属于一种阈值元件模型，它是由美国模型属于一种阈值元件模型，它是由美国mc culloch和和pitts提出的最早神经元模型之一。提出的最早神经元模型之一。mp模型是大多数神经网模型是大多数神经网络模型的基础。络模型的基础。 10w wij ij 代表神经元代表神经元i i与神经元与神经元j j之间的连接强度（连接权）；之间的连接强度（连接权）；u ui i 代表神经元代表神经元i i的活跃值，即神经元状态；的活跃值，即神经元状态；v vj j 代表神经元代表神经元

8、j j的输出，即是神经元的输出，即是神经元i i的一个输入；的一个输入；i i 代表神经元代表神经元i i的阈值。的阈值。 如果把阈值如果把阈值i i看作为一个特殊的权值，则可改写：看作为一个特殊的权值，则可改写： 其中，其中，w w0i0i-i i，v v0 01 1 中函数中函数f f表达神经元的输入输出特性，称激发函数。表达神经元的输入输出特性，称激发函数。 11（2）常用激发函数）常用激发函数阶跃型阶跃型 线性型激发函数线性型激发函数 f(ui)=k*uis s型激发函数型激发函数 0,00,1iiiuuviuieuf11)(12（3）学习规则）学习规则 mpmp模型并没有给出一个学习

9、算法来调整神经元之间的连接模型并没有给出一个学习算法来调整神经元之间的连接权。根据需要，调整神经元连接权，才能达到学习目的。权。根据需要，调整神经元连接权，才能达到学习目的。hebbhebb学习规则就是一个常见学习算法。学习规则就是一个常见学习算法。 hebbhebb学习规则学习规则:调整神经元连接权的变化调整神经元连接权的变化w wijij的原则为：若第的原则为：若第i i和第和第j j个神经元同时处于兴奋状态，则它们之间的连接应当加强，个神经元同时处于兴奋状态，则它们之间的连接应当加强，即：即： wwijijuui iv vj j 这一规则与这一规则与“条件反射条件反射”学说一致，并已得到

10、神经细胞学学说一致，并已得到神经细胞学说的证实。说的证实。 是表示学习速率的比例常数。是表示学习速率的比例常数。13 图图 神经网络结构模型神经网络结构模型 分层前向网络分层前向网络反馈前向网络互连前向网络广泛互连网络广泛互连网络7.1.3 人工神经网络基本模型人工神经网络基本模型(1)人工神经网络结构人工神经网络结构14（2）hopfield网络模型网络模型 1）模型模型 hopfieldhopfield模型是霍普菲尔德于模型是霍普菲尔德于19821982年（离散型）及年（离散型）及19841984年年（连续型）提出的两个神经网络模型。它们都是反馈网络结构。（连续型）提出的两个神经网络模型。

11、它们都是反馈网络结构。 i ij jwijwji152 2）特点）特点循环网络循环网络w wijij=w=wji ji w wiiii=0=0激发函数激发函数f:f: 离散型离散型hopfieldhopfield模型模型-阶跃型激发函数阶跃型激发函数连续型连续型hopfieldhopfield模型模型-s-s型激发函数型激发函数163)稳定性 由于在反馈网络中，网络的输出要反复地作为输入再送入由于在反馈网络中，网络的输出要反复地作为输入再送入网络中，这就使得网络具有了网络中，这就使得网络具有了动态性动态性，网络的状态在不断的改，网络的状态在不断的改变之中，因而就提出了网络的稳定性问题。变之中，

12、因而就提出了网络的稳定性问题。所谓一个网络是稳所谓一个网络是稳定定的是指从某一时刻开始，网络的状态不再改变。的是指从某一时刻开始，网络的状态不再改变。 设用设用x(t)表示网络在时刻表示网络在时刻t的状态，如果从的状态，如果从t=的任一初态的任一初态x(0)开始，存在一个有限的时刻开始，存在一个有限的时刻t，使得从此时刻开始神经网络，使得从此时刻开始神经网络的状态不再发生变化，即的状态不再发生变化，即 就称此网络是稳定的。就称此网络是稳定的。 174）权矩阵）权矩阵 离散网络模型是一个离散时间系统，每个神经元只有两个状离散网络模型是一个离散时间系统，每个神经元只有两个状态，可以用态，可以用1

13、1和和0 0来表示。由连接权值来表示。由连接权值ijij所构成的矩阵，是一个所构成的矩阵，是一个对角线为对角线为0 0的对称矩阵。的对称矩阵。即：即：如：如： 已证明：上述连接权值构成的矩阵的网络，就具有稳定性。已证明：上述连接权值构成的矩阵的网络，就具有稳定性。185 5）神经元的状态表示）神经元的状态表示 如果用如果用x(t)x(t)表示整个网络在表示整个网络在时刻的状态时刻的状态，则，则x x是一个向量，是一个向量，它包含每个神经元的状态。所以，状态向量它包含每个神经元的状态。所以，状态向量x x中的分量个数就是中的分量个数就是网络中人工神经元的个数。向量网络中人工神经元的个数。向量x

14、x的构成如下：的构成如下： x xi i(t)(t)表示表示节点节点i i（第个（第个i i神经元）在时刻神经元）在时刻t t的状态的状态，该节点，该节点在时刻在时刻t+1t+1的状态的状态由下式决定：由下式决定：196 6）状态变化模式）状态变化模式 离散型有两种工作模式：离散型有两种工作模式：（1 1）串行方式）串行方式，是指在任一时刻，是指在任一时刻t t，只有一个神经元，只有一个神经元i i发生状发生状态变化，而其余的神经元保持状态不变。态变化，而其余的神经元保持状态不变。（2 2）并行方式）并行方式，是指在任一时刻，是指在任一时刻t t，都有部分或全体神经元，都有部分或全体神经元同时

15、改变状态。同时改变状态。 连续型有一种工作模式连续型有一种工作模式： 并行方式：是指在任一时刻并行方式：是指在任一时刻t t，都有部分或全体神经元，都有部分或全体神经元同时改变状态。同时改变状态。 207）学习算法）学习算法 设置互连权值设置互连权值。 其中，其中， 是是s s样例的第样例的第i i个分量，它可以为个分量，它可以为1 1或或0 0，样例类，样例类别数为别数为m m，节点数为，节点数为n n。 ji0jixxw1m0ssjsiijsix未知类别样本初始化未知类别样本初始化。 用用y yi i(t)(t)为节点为节点i i在在t t时刻的输出。当时刻的输出。当t=0t=0时，时，y

16、 yi i(0)(0)就是节就是节点点i i的初始值，的初始值，x xi i为输入样本的第为输入样本的第i i个分量。个分量。1nix)0(yii21迭代直到收敛迭代直到收敛。 式中式中f f为阈值型激发函数。该过程一直迭代到不再改变节点为阈值型激发函数。该过程一直迭代到不再改变节点的输出为止。这时各节点的输出与输入样例达到最佳匹配。否则的输出为止。这时各节点的输出与输入样例达到最佳匹配。否则转转继续。继续。10)() 1(10njtywftyniiijj228)8)能量函数能量函数里阿普诺夫函数）里阿普诺夫函数）lyapunovlyapunov函数函数, ,研究它的正定性及其对时间的全导数的负研究它的正定性及其对时间的全导数的负定或半负定定或半负定, ,来得到稳定性的结论来得到稳定性的结论. . 23（3）bp网络网络 bp bp网络是网络是反向