神经网络三种模型综述(反馈,模糊和小脑).ppt

1、主要内容,反馈神经网络,模糊神经网络,小脑模型神经网络,反馈神经网络,根据神经网络运行过程中的信息流向，可分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权矩阵决定，而与网络先前的输出状态无关，与前馈网络不同，反馈网络考虑了输出与输入间的延迟因素。,反馈神经网络,Hopfield网络 双向联想记忆神经网络 随机神经网络 Boltzmann机,Hopfield网络,美国加州理工学院物理学家J.J.Hopfield教授于1982年提出一种单层反馈神经网络，后来人们将这种反馈网络称作Hopfield 网。 JJHopfield教授在反馈神经网络中引入了“能量函数”的概念，这一概念的提出对

2、神经网络的研究具有重大意义，它使神经网络运行稳定性的判断有了可靠依据。 Hopfield网络分为离散型和连续型两种网络模型， 分别记作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfield Neural Network)。,反馈神经网络 Hopfield网络,离散型Hopfield神经网络,在离散Hopfield网络中，所采用的神经元是二值神经元，故而，所输出的离散值1和0分别表示神经元处于激活和抑制状态。,这是一种单层全反馈网络，共有n个神经元。其特点是任一神经元的输出xi均通过连接权wij反馈至所有神经元xj作为输

3、入。反馈回来的信息目的是为了让任一神经元的输出都能受所有神经元输出的控制，相互制约。每个神经元均设有一个阈值Tj，以反映对输入噪声的控制。DHNN网可简记为N = (W , T)。,反馈神经网络 Hopfield网络,网络的状态,DHNN网中的每个神经元都有相同的功能，其输出称为状态，用 xj 表示。,所有神经元状态的集合就构成反馈网络的状态X=x1,x2,xnT,反馈网络的输入就是网络的状态初始值，表示为 X(0)=x1(0), x2(0),xn(0)T,基本概念：,反馈神经网络 Hopfield网络,式中，f（）为转移函数，DHNN网的转移函数常采用 符号函数：,式中净输入为,反馈网络在外

4、界输入激发下，从初始状态进入动态演变过程，变化规律为,j=1,2,n,对于DHNN网，一般有wii=0 ，wij=wji,反馈网络稳定时每个神经元的状态都不再改变，此时的稳定状态就是网络的输出,表示为：,反馈神经网络 Hopfield网络,网络的工作方式,网络的异步工作方式 网络运行时每次只有一个神经元i进行状态的调整计算，其它神经元的状态均保持不变，即 网络的同步工作方式,j=1,2,n,网络的同步工作方式是一种并行方式，所有神经元同时调整状态，即,反馈神经网络 Hopfield网络,网络的稳定性,DHNN网实质上是一个离散的非线性动力学系统。网络从初态X(0)开始，若能经有限次递归后，其状

5、态不再发生变化，即X(t+1)X(t)，则称该网络是稳定的。如果网络是稳定的，它可以从任一初态收敛到一个稳态： 如图a)所示,若网络是不稳定的，由于DHNN网每个节点的状态只有1和-1两种情况，网络不可能出现无限发散的情况，而只可能出现限幅的自持振荡，这种网络称为有限环网络，如图b)所示,如果网络状态的轨迹在某个确定的范围内变迁，但既不重复也不停止，状态变化为无穷多个，轨迹也不发散到无穷远，这种现象称为混沌，如图c)所示，对于DHNN网，由于网络的状,反馈神经网络 Hopfield网络,吸引子与能量函数,网络达到稳定时的状态X，称为网络的吸引子，其中X=f(WX-T)。 定义网络的能量函数为：

6、,网络的稳定性与能量函数密切相关，利用网络的能量函数可实现优化求解功能。网络的能量函数在网络状态按一定规则变化时，能自动趋向能量的极小点。如果把一个待求解问题的目标函数以网络能量函数的形式表达出来，当能量函数趋于最小时，对应的网络状态就是问题的最优解。,反馈神经网络 Hopfield网络,连续型Hopfield神经网络,1984年Hopfield把DHNN进一步发展成连续型Hopfield网络，缩写为CHNN网，CHNN的基本结构与DHNN相似，但CHNN中所有神经元都同步工作，各输入输出均是随时间连续变化的模拟量，这使得CHNN比DHNN在信息处理的并行性、实时性等方面更接近于实际生物神经网

7、络的工作机理。,反馈神经网络 Hopfield网络,Hopfield网络应用,Hopfield网络在图像、语音和信号处理、模式分类与识别、知识处理、自动控制、容错计算和数据查询等领域已经有许多成功的应用。Hopfield网络的应用主要有联想记忆和优化计算两类，DHNN网主要用于联想记忆。 CHNN网主要用于优化计算，为解决TSP难题开辟了一条崭新的途径。其基本思想是把TSP问题映射到CHNN网络中去，并设法用网络能量代表路径总长。这样，当网络的能量随着模拟电子线路状态的变迁，最终收敛于极小值时，问题的最佳解便随之求得。其外，由于模拟电子线路中的全部元件都是并行工作的，所以求解时间与城市数的多少

8、无关，仅是运算放大器工作所需的微秒级时间，显著地提高了求解速度，充分展示了神经网络的巨大优越性。,反馈神经网络 Hopfield网络,贡献,J.J.Hopfield的别具匠心的贡献在于，他把能量函数的概念引入了神经网络，从而把网络的拓扑结构与所要解决的问题联系起来，把待优化的目标函数与网络的能量函数联系起来，通过网络运行时能量函数自动最小化而得到问题的最优解，从而开辟了求解优化问题的新途径。,反馈神经网络 Hopfield网络,双向联想记忆神经网络,B.Kosko于1988年提出双向联想记忆(bidirectional associative memory,缩写为BAM)。 与Hopfield

9、网可实现自联想不同，BAM网可实现双向异联想，是一种双层的反馈网络。BAM网有离散型、连续型和自适应型等多种形式。,反馈神经网络双向联想记忆神经网络,BAM网结构,BAM网的拓扑结构如图所示，是一种双层双向网络，当其中一层加入输入信号时，另一层可得到输出。由于初始模式可以作用于网络的任一层，信息可以双向传播，所以没有明确的输入层或输出层，可将其中的任一层称为X层，另一层为Y层。,对网络一段的输入信号，可在另一端得到输出，该输出有反馈回来，如此反复，直到网络稳定为止。,反馈神经网络双向联想记忆神经网络,BAM网的应用,功率谱密度函数分类 汽车牌照识别,反馈神经网络双向联想记忆神经网络,由于图像采

10、集质量受天气阴晴、拍摄角度与距离及车速等诸多因素的影响，分割出来的牌照往往带有很大的噪声，用传统方法进行识别效果较差。采用BAM网络将汽车牌照涉及的汉字、英文字母及数字作为记忆模式存入24*24的权值矩阵，对严重噪声的汽车牌照进行识别，取得了较好的效果。,随机神经网络,Hopfield网络通过动态演变过程使网络的能量函数沿着梯度单调下降，容易导致网络陷入局部极小点而达不到全局最小点。 导致这种原因是，网络的能量函数是具有多个极小点的非线性空间，而所用的算法却一味追求能量函数的单调下降，也就是只会“下山”而不会“爬山”。为了有效克服上述缺陷，提出随机神经网络。,反馈神经网络随机神经网络,主要区别

11、,在学习阶段，随机网络不像Hopfield那样基于某种确定性算法调整权值，而是按某种概率分布进行修改。 在运行阶段，随机网络不是按某种确定性的网络方程进行状态演变，而是按某种概率分布决定其状态的转移。,反馈神经网络随机神经网络,模拟退火原理,模拟退火算法是随机网络中解决能量局部极小问题的一个有效方法，其基本思想是模拟金属退火过程。 金属退火过程大致是，先将物体加热至高温，使其原子处于高速运动状态，此时物体具有较高的内能；然后，缓慢降温，随着温度的下降，原子运动速度减慢，内能下降；最后，整个物体达到内能最低的状态。模拟退火过程相当于沿水平方向晃动托盘，温度高则意味着晃动的幅度大，小球肯定会从任何

12、低谷中跳出，而落入另一个低谷。,如图所示，模拟退火算法赋予小球既能“下坡”，也能“爬山”的本领，有效地克服局部最优缺陷。,反馈神经网络随机神经网络,Boltzmann机,G.E.Hinton等于19831986年提出一种称为Boltzmann机的随机神经网络。它是建立在模拟退火和使用随机神经元基础上，并满足平行约束的网络。Boltzmann机能够学习集合所示的一组模式的潜在约束特性。Boltzmann机网络也有同步和异步运行方式。,反馈神经网络随机神经网络,Boltzmann机网络结构和工作方式,Boltzmann机网络是一个相互连接的神经网络模型，具有对称的连接权系数，及wijwji且wii

13、=0。网络由可见单元（Visible Unit）和隐单元（Hidden Unit）构成。可见单元由输入、输出部分组成。每个单元节点只取1或0两种状态。1代表接通或接受，0表示断开或拒绝。当神经元的输入加权和发生变化时，神经元的状态随之更新。各单元之间状态的更新是异步的。,反馈神经网络随机神经网络,主要内容,反馈神经网络,模糊神经网络,小脑模型神经网络,模糊神经网络,历史 为了解决大系统、复杂系统中难以精确化的问题，美国控制论学者查德（Z.A.Zadeh）在1965年提出了模糊集。 1966年马利诺斯发表了模糊逻辑的内部研究报告。接着查德提出了模糊语言变量这一重要概念。 1974年，S.C.Le

14、e和E.T.Lee在 Cybernetics 杂志上发表了 Fuzzy sets and neural networks一文，首次把模糊集和神经网络联系在一起。接着，在1975年，他们又在Math.Biosci杂志上发表了Fuzzy neural networks一文，明确地对模糊神经网络进行了研究。 在这以后，由于神经网络的研究仍处于低潮，所以在这方面的研究没有什么进展。,模糊神经网络,模糊神经网络模型,Kosko (1992) 出版了该领域的第一本专著Neural Network and Fuzzy Systems，并在这本专著中提出了模糊联想记忆、模糊认知图等重要概念,促进了模糊神经网络

15、的研究向着多元化深入发展。 1993年，Jane提出了基于网络结构的模糊推理的概念，并设计了网络结构模型，这种网络结构便是模糊神经网络的雏形。自此以后，研究人员设计了各种各样的模糊神经网络结构和学习算法。 模糊理论和神经网络是两个不同的领域，它们的基础理论相差较远，但是它们都是智能信息处理的方法将模糊逻辑和神经网络这两种软计算方法相结合，取长补短，形成一种协作体模糊神经网络。,模糊神经网络,模糊神经网络模型,第一层为输入层， 缓存输入信号。它的作用是将输入值直接传递到第二层。 第二层为模糊化层，也称为隶属度函数层，实现输入变量的模糊化。 第三层为模糊规则层。,第四层为模糊决策层， 主要针对满足

16、一定条件的量进行分类并将模糊量去模糊化。 第五层为输出层，输出运算结果。,模糊神经网络,上图只是典型的FNN结构，事实上由于不同的需要， 要求建立的模糊神经网络模型也不同，有的主要要求精度高， 而有的主要要求模型尽可能简单。 典型的模糊神经网络有BP模糊神经网络、自适应神经模糊推理系统(ANFIS) 、B样条模糊神经网络、RBF模糊神经网络、模糊小脑模型神经网络( FCMAC ) 、随机模糊神经网络( SFNN) 、小波模糊神经网络。下表列出了几种模糊神经网络的特点。,模糊神经网络,模糊神经网络模型,模糊神经网络,模糊神经网络的学习算法,神经模糊网络结构的多样性导致其学习算法也具有多样性的特点

17、。模糊神经网络的学习主要包括结构学习和参数学习。,模糊神经网络,模糊神经网络的应用,模糊神经网络结合了模糊逻辑与神经网络的优点，避免了二者的缺点，既可以具有模糊逻辑的不确定信息处理能力，又可以有神经网络的自学习能力，因此在控制领域有很广泛的应用前景。 模糊神经网络在银行内部信用评级中的应用 模糊神经网络用于复杂系统辨识,模糊神经网络,信用等级评估是通过对企业或个人的某些单一财务指标进行加权平均确定的。该方法的最大缺陷在于指标和加权值的确定带有很大的主观性，使得评估结果和实际状况有很大的出入。 模糊理论和人工神经网络具有逻辑推理和数值计算的功能和较强的非线性函数近似能力，而且它们都不需要建立精确

18、的数学模型，可以处理不精确甚至不准确的信息实现平滑推理，模糊神经网络就是汇集二者的优点，集训练、联想、自适应及模糊信息处理于一体的一种特殊的人工神经网络。,模糊神经网络在银行内部信用评级中的应用,模糊神经网络 应用,模糊神经网络(Fuzzy Neural Network)由于吸取了模糊逻辑和神经网络的优点，部分避免了两者的缺点，己经成为当今智能控制研究的热点之一。将模糊化概念和模糊推理引入神经元的模糊神经网络，提高了原有网络的可解释性和灵活性，将“领域知识”用模糊集合表示，提高了网络的透明度和解释能力。,模糊神经网络 应用,模糊神经网络在银行内部信用评级中的应用,在考虑到神经网络用于商业银行信

19、用风险评估的进步性和局限性的基础上，提出了用模糊神经网络来评估商业银行信用风险。 首先，模糊神经网络可以对模糊向量进行分析预测，如很多经济指标可能为如下形式“:贷款企业管理者经营管理能力高、中、低”;“贷款企业规模大、中、小”等，运用模糊神经网络就可以在一定程度上克服神经网络的片面性; 其次模糊神经网络的运算不完全是黑箱操作，信用分析人员可以根据实际经验，调整模糊运算规则，这样可以在一定程度上解决神经网络的盲目性问题，故将模糊神经网络用于商业银行信用风险问题的评估，具有一定的进步性，是一种有益的尝试，同其他方法相比，此评价方法具有科学、简洁、可操作性强等特点，而且应用前景广阔,模糊神经网络在银

20、行内部信用评级中的应用,模糊神经网络 应用,模糊神经网络用于复杂系统辨识,模糊神经网络 应用,系统的数学模型在系统的性能分析中，发挥着不可或缺的作 用。一般意义上的建模是以对系统的物理、机械特性深入了解为 前提条件的。然而，对于复杂系统而言，要建立系统准确的数学 模型非常困难。过去常用的方法有两种: 一是利用线性模型来近似描述复杂系统 (对于有严重非线性的系统误差较大) 根据研究对象己知的信息，选择与之相近的非线性数学模型(有很大的局限性) 因此，对于复杂系统，我们需要采取其他非传统的方法建模。,模糊神经网络是一种本质非线性模型，易于表达 非线性系统的动态特性，而且从理论上已经证明了模糊 神经

21、网络可以作为万能逼近器，可以以任意精度逼近非 线性系统。 这使得它在系统控制和辨识上都得到了广泛应用 因此模糊神经网络被认为是解决复杂系统建模的一种可 行的方法。 迄今为止，主要有基于如下模糊模型的模糊神经网 络。,模糊神经网络 应用,模糊神经网络用于复杂系统辨识,基于Mamdani模糊模型的模糊神经网络 如模糊基函数网络模型，其主要目的是构造一个模糊基函数网络来近似理想的系统行为。这种网络结构可以看作是从输入空间到输出空间的一个模糊映射。 基于T-S模糊模型的模糊神经网络 其主要思想是用网络模型中的前件网络来处理系统的模糊知识，用后件网络构造一系列的线性方程来表示每个子系统，然后通过前件网络

22、的输出将这些子系统模糊连接为一个全局模型。,模糊神经网络用于复杂系统辨识,模糊神经网络 应用,模糊神经网络理论和应用存在的问题,虽然模糊神经网络在复杂系统控制和建模等应用中已经取得了很大的成功，但是作为一门新技术，它在理论和应用中仍然存在一些问题: 有关网络中包含的模糊知识的获取方祛。从众多纷繁复杂规则中选取若干能有效反映对象特性的模糊规则仍然没有一个通用、有效的方法; 模糊神经网络模型结构的确定。网络中模糊化层和模糊推理层节点个数的选取、模糊合成和推理算法的选取以及反模糊化问题的计算方法等至今在理论界还存在争议; 与神经网络类似，模糊神经网络也存在模型复杂性与模型泛化能力之间的矛盾，即模糊神

23、经网络的结构优化问题还远没有解决; 如何将模糊神经网络与传统的控制策略有效的结合是目前函待解决的问题。,模糊神经网络 应用问题,主要内容,反馈神经网络,模糊神经网络,小脑模型神经网络,小脑神经网络,1975年，J.S.Albus提出一种模拟小脑功能 的神经网络模型，称为 Cerebellar Model Articulation Controller，简称CMAC。CMAC 网络是仿照小脑控制肢体运动的原理而建立的神 经网络模型。小脑指挥运动时具有不假思索地作 出条件反射式迅速响应的特点，这种条件反射式 响应是一种迅速联想。,小脑神经网络,CMAC网络具有三个特点,作为一种具有联想功能的神经网

24、络，它的联想具有局部推广能力，相似的输入将产生相似的输出，远离的输入将产生独立的输出。 对于网络的每一输出，只有很少的神经元所对应的权值对其有影响，哪些神经元对输出有影响则由输入决定。 CMAC的每个神经元的输入输出是一种线性关系，但其总体上可看作一种表达非线性映射的表格系统。,小脑神经网络,CMAC网络的结构,简单的CMAC结构如图所示，图中X表示n维输入状态空间，A为具有m个单元的存储区,CMAC网络用 Xp=( ) T 表示，对应的输出向量用Yp=F( ) 表示，图中p = 1,2,3。输入空间的一个点Xp 将同时激活A中的C个元素，使其同时为1，而其他大多数元素为0，网络的输出Yp 即为A中4个被激活单元对应的权值累加和。C值与泛化能力有关，称为泛化参数。,小脑神经网络,CMAC网络的特点,由于CMAC网络的学习只在线性映射部分，因此可采用简单的算法，其收敛速度比BP算法快得多，且不存在局部极小问题。