人工神经网络之反馈型网络

人工神经网络之反馈神经网络从生物神经网络到人工神经网络反馈神经网络概述离散Hopfield网络连续Hopfield网络Hopfield网络TSP问题中的应用

从生物神经网络到

人工神经网络FromBiologicalNeuralNetworkToArtificialNeuralNetworkWhat’sthis?大脑

Brain重量:约1200－1500g体积:约600Cm3神经元数:约1011个大脑的组织结构和功能是人体器官中最为复杂的，它接受外界信号、产生感觉、形成意识、进行逻辑思维、发出指令产生行为，掌管着人们的语言、思维、感觉、情绪、运动等高级活动。feelinghearingseeingtastesmell虽然人们还并不完全清楚生物神经网络是如何进行工作的，但幻想构造一些“人工神经元”，进而将它们以某种方式连接起来，以模拟“人脑”的某些功能。早在1943年，心理学家W.McCulloch和数学家W.Pitts合作，从数理逻辑的角度，提出了神经元和神经网络最早的数学模型（MP模型），标志着神经网络研究的开端。半个多世纪以来，神经网络经历了萌芽期、第一次高潮期、反思低潮期、第二次高潮期、再认识与应用研究期五个阶段。目前，神经网络已成为涉及计算机科学、人工智能、脑神经科学、信息科学和智能控制等多种学科和领域的一门新兴的前沿交叉学科。

生物神经元树突：从细胞体延伸出象树枝一样向四处分散开来的的许多突起，称之为树突，其作用是感受其它神经元的传递信号，相当于信息的输入通道。轴突：神经元从细胞体伸出一根粗细均匀、表面光滑的突起，长度从几个

m到1m左右，称为轴突，它的功能是传出从细胞体来的神经信息，相当于信息的输出通道。神经末梢与突触：轴突末端有许多细的分枝，称之为神经末梢，每一条神经末梢可以与其它神经元连接，其连接的末端称之为突触。其功能是将轴突传出来的信息传给其它神经细胞，相当于信息的输入/输出接口。神经细胞单元的信息：宽度和幅度都相同的脉冲串。兴奋与抑制：轴突输出的脉冲串的频率高与低，决定神经细胞是兴奋还是抑制。兴奋性的突触可能引起下一个神经细胞兴奋，抑制性的突触使下一个神经细胞抑制。生物神经元的信息传递与处理膜电位：神经细胞的细胞膜将细胞体内外分开，从而使细胞体内外有不同的电位，一般内部电位比外部低，其内外电位差称之为膜电位。膜电位加权：突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，该神经细胞膜电位是它所有突触产生的电位加权，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。突触延迟：突触传递信息需要一定的延迟，对温血动物，延迟时间为0.3~1.0ms。生物神经元的信息传递与处理示意图甲：这样便宜就有水用了？！乙：想得美，交了钱别人才放水的！

生物神经元的基本特征神经元具有感知外界信息或其它神经元信息的输入端神经元具有向外界或其它神经元输出信息的输出端神经元之间的连接强度（连接权）决定信号传递的强弱，而且联接强度是可以随训练改变的信号可以是起刺激作用的，也可以是起抑制作用的，即连接权的值（权值）可正、可负每个神经元有一个阈值神经元可以对接受的信号进行累积（加权）神经元的兴奋程度（输出值的大小），取决于其传输函数及其输入（输入信号的加权与阈值之和）

人工神经元的一般模型甲：讲了半天，人工神经元就是一个公式！太简单了吧？乙：还是听听再说……What’sthis？It’saplane.Wait………..Idon’tknow!Don’taskme

神经网络的特点

信息的分布式存储及其与信息处理的合二为一

信息的并行协同处理

具有学习能力以及自组织、自学习性，善于联想、综合和推广

问题：

即便是Pentium-II微处理器，其时钟频率也高于200MHz。相反地，一个神经元的脉冲发放率典型值仅仅在100Hz的范围内。计算机要快上百万倍！但为何大脑能够瞬间完成对飞机图像的识别，计算机反而对此的反应却如此迟钝呢？为什么100天的小孩没有成人一样的识别能力呢？

人工神经网络的一般结构

简单公式中的复杂问题人工神经网络的分布式存储是如何实现的？信息分布存储在众多神经元的权值和阈值中。

神经元的权值和阈值是如何确定的？

人工神经网络的学习与训练。

神经元的传输函数代表什么含义？它对神经元和神经网络有什么影响？

传输函数表示了神经元对输入信号加权的响应。不同的传输函数，代表不同的神经元模型，进而影响神经网络的结构。

人工神经网络（ANN—ArtificialNeuralNetworks）是采用可物理实现的系统来模仿人脑神经细胞结构和功能的系统。未来的脑科学将加强与行为科学、认知科学和信息科学的联系。脑科学与信息科学及技术的结合将引起以脑为中心的科技革命

智能革命!

ANN定义从生物神经网络到人工神经网络的探索，虽然经历了半个多世纪的里程，但探究大脑—思维—计算之间的关系还刚刚开始，关于脑的计算原理及其复杂性；关于学习、联想和记忆过程的机理及其模拟等方面的研究道路还十分漫长。反馈神经网络知识结构概述离散Hopfield网络连续Hopfield网络连续Hopfield网络的应用——优化计算概述联想特性是ANN的一个重要特性。前面介绍的网络模型属于前向NN，从学习的角度看，具有较强的学习能力，结构简单，易于编程。从系统角度看，属于静态的非线性映射，通过简单的非线性处理单元的复合映射可获得复杂的非线性处理能力。但他们因此缺乏反馈,所以并不是强有力的动力学系统。联想特性是ANN的一个重要特性，主要包括联想映射和联想记忆。前馈网络具有诱人的联想映射能力，而不具备联想记忆能力。在反馈NN中，我们将着重介绍NN的联想记忆和优化计算的能力。概述联想记忆是指当网络输入某个矢量后，网络经过反馈演化，从网络输出端得到另一个矢量，这样输出矢量就称作网络从初始输入矢量联想得到的一个稳定记忆，即网络的一个平衡点。优化计算是指当某一问题存在多种解法时，可以设计一个目标函数，然后寻求满足这一目标函数的最优解法。例如，在很多情况下可以把能量函数作为目标函数，得到的最优解法需要使能量函数达到极小点，即能量函数的稳定平衡点。总之，反馈网络的设计思想就是在初始输入下，使网络经过反馈计算最后到达稳定状态，这时的输出即是用户需要的平衡点。1982年,美国加州工学院J.Hopfield提出了可用作联想存储器和优化计算的反馈网络,这个网络称为Hopfield神经网络(HNN)模型,也称Hopfield模型.HNN是一种循环NN,从输出到输入有反馈连接.HNN有离散型和连续型两种.概述反馈网络(RecurrentNetwork),又称自联想记忆网络,如下图所示:概述反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。

概述由于HNN为动力学系统,且其平衡态关系到信息的存储与联想记忆,其平衡态与稳定性是非常关键的问题。反馈网络根据信号的时间域的性质的分类为如果激活函数f(·)是一个二值型的阶跃函数,则称此网络为离散型反馈网络,主要用于联想记忆;如果f(·)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络,主要用于优化计算。概述反馈NN由于其输出端有反馈到其输入端,所以,HNN在输入的激励下,会产生不断的状态变化.当有输入之后,可以求取出HNN的输出,这个输出反馈到输入从而产生新的输出,这个反馈过程一直进行下去.如果HNN是一个能稳定的网络,则这个反馈与迭代的计算过程所产生的变化越来越小,一旦到达了稳定平衡状态,那么HNN就会输出一个稳定的恒值.对于HNN来说,关键是在于确定它在稳定条件下的权系数.应该指出,反馈网络有稳定的,也有不稳定的.对于HNN来说,还存在如何判别它是稳定网络,亦或是不稳定的问题.而判别依据是什么,也是需要确定的.概述对于如HNN类似的反馈网络,研究的重点为:如何通过网络神经元状态的变迁而最终稳定于平衡状态,得到联想存储或优化计算的结果网络的稳定性问题怎样设计和利用稳定的反馈网络网络系统能够达到稳定收敛网络的稳定点吸引域的设计下面开始介绍HNN,分别介绍两种主要的HNN:离散Hopfield网络连续Hopfield网络概述离散Hopfield网络Hopfield最早提出的网络是神经元的输出为0-1二值的NN,所以,也称离散的HNN(简称为DHNN).下面分别讨论DHNN的结构动力学稳定性(网络收敛性)联想存储中的应用记忆容量问题在DHNN网络中,神经元所输出的离散值1和0分别表示神经元处于兴奋和抑制状态.各神经元通过赋有权重的连接来互联.下面,首先考虑由三个神经元组成的DHNN,其结构如图3.1所示.离散Hopfield网络的结构离散Hopfield网络的结构在图中,第0层仅仅是作为网络的输入,它不是实际神经元,所以无计算功能;而第一层是实际神经元,故而执行对输入信息和权系数乘积求累加和,并由非线性函数f处理后产生输出信息.f是一个简单的阈值函效,如果神经元的输入信息的综合大于阈值

,那么,神经元的输出就取值为1;小于阈值

,则神经元的输出就取值为0.对于二值神经元,它的计算公式如下离散Hopfield网络的结构其中xj为外部输入,并且有yj=1,当uj

j时yj=0,当uj<

j时对于DHNN,其网络状态是输出神经元信息的集合.对于一个输出层是n个神经元的网络,则其t时刻的状态为一个n维向量:y(t)=[y1(t),y2(t),...,yn(t)]

因为yi(t)可以取值为1或0,故n维向量y(t),即网络状态,有2n种状态.离散Hopfield网络的结构对于3个神经元的DHNN,它的输出层就是3位二进制数.每一个3位二进制数就是一种网络状态,从而共有8个网络状态,如图2中所示.在图中,立方体的每一个顶角表示一种网络状态.同理,对于n个神经元的输出层,它有2n个网络状态,也和一个n维超立方体的顶角相对应.如果HNN是一个稳定网络,那么在网络的输入端加入一个输入向量,则网络的状态会产生变化,也就是从超立方体的一个顶角转移向另一个顶角,并且最终稳定于某顶角.离散Hopfield网络的结构对于一个由n个神经元组成的DHNN,则有n

n权系数矩阵w={wij|i=1,2,...,n;j=1,2,...,n},同时,有n维阈值向量

=[

1,

2,...,

n]

.一般而言,w和

可以确定一个唯一的DHNN.对于图3.1所示的三神经元组成的HNN,也可以用图3.3所示的图形表示,这两个图形的意义是一样的.离散Hopfield网络的结构考虑DHNN的节点状态,用yj(t)表示第j个神经元,即节点j在时刻t的状态,则节点的下一个时刻t+1的状态可以求出如下:离散Hopfield网络的结构对图3所示的DHNN网络当wi,j在i=j时等于0,则说明一个神经元的输出并不会反馈到它自己的输入.这时,DHNN称为无自反馈网络.当wi,j在i=j时不等于0,则说明—个神经元的输出会反馈到它自己的输入.这时,DHNN称为有自反馈的网络.DHNN有二种不同的工作方式:串行(异步)方式和并行(同步)方式.下面分别加以介绍.离散Hopfield网络的结构离散Hopfield网络的结构(1)串行(异步)方式在时刻t时,只有某一个神经元j的状态产生变化,而其它n-1个神经元的状态不变这时称串行工作方式.并且有在不考虑外部输入时,则有离散Hopfield网络的结构(2)并行(同步)方式在任一时刻t,所有的神经元的状态都产生了变化,则称并行工作方式.并且有在不考虑外部输入时,则有从DHNN可以看出:它是一种多输入,含有阈值的二值非线性动力系统.在动力系统中,平衡稳定状态可以理解为系统的某种形式的能量函数在系统运动过程中,其能量值不断减小,最后处于最小值.因此,对HNN可引入一个Lyapunov函数,即所谓能量函数:DHNN的动力学稳定性即有DHNN的动力学稳定性对HNN的能量函数有