人工神经网络之反馈型网络ppt课件

人工神经网络之反馈神经网络,从生物神经网络到人工神经网络 反馈神经网络 概述 离散Hopfield网络 连续Hopfield网络 Hopfield网络TSP问题中的应用,从生物神经网络到 人工神经网络,From Biological Neural Network To Artificial Neural Network,Whats this?,大脑 Brain,重量: 约12001500g 体积: 约600Cm3 神经元数: 约1011个,大脑的组织结构和功能是人体器官中最为复杂的，它接受外界信号、产生感觉、形成意识、进行逻辑思维、发出指令产生行为，掌管着人们的语言、思维、感觉、情绪、运动等高级活动。,虽然人们还并不完全清楚生物神经网络是如何进行工作的，但幻想构造一些“人工神经元”，进而将它们以某种方式连接起来，以模拟“人脑”的某些功能。,早在1943年，心理学家W. McCulloch和数学家W. Pitts合作，从数理逻辑的角度，提出了神经元和神经网络最早的数学模型（MP模型），标志着神经网络研究的开端。,半个多世纪以来，神经网络经历了萌芽期、第一次高潮期、反思低潮期、第二次高潮期、再认识与应用研究期五个阶段。目前，神经网络已成为涉及计算机科学、人工智能、脑神经科学、信息科学和智能控制等多种学科和领域的一门新兴的前沿交叉学科。,膜电位加权：突触使神经细胞的膜电位发生变化，且电位的变化是可以累加的，该神经细胞膜电位是它所有突触产生的电位加权，当该神经细胞的膜电位升高到超过一个阈值时，就会产生一个脉冲，从而总和的膜电位直接影响该神经细胞兴奋发放的脉冲数。,突触延迟：突触传递信息需要一定的延迟，对温血动物，延迟时间为0.31.0ms。,生物神经元的信息传递与处理示意图,甲：这样便宜就有水用了？！,乙：想得美，交了钱别人才放水的！,生物神经元的基本特征,神经元具有感知外界信息或其它神经元信息的输入端,神经元具有向外界或其它神经元输出信息的输出端,神经元之间的连接强度（连接权）决定信号传递的强弱，而且联接强度是可以随训练改变的,信号可以是起刺激作用的，也可以是起抑制作用的，即连接权的值（权值）可正、可负,每个神经元有一个阈值,神经元可以对接受的信号进行累积（加权）,神经元的兴奋程度（输出值的大小），取决于其传输函数及其输入（输入信号的加权与阈值之和）,人工神经元的一般模型,甲：讲了半天，人工神经元就是一个公式！太简单了吧？,乙：还是听听再说,Whats this？,Its a plane.,Wait I dont know!,Dont ask me,神经网络的特点,信息的分布式存储及其与信息处理的合二为一,信息的并行协同处理,具有学习能力以及自组织、自学习性，善于联想、综合和推广,问题：,即便是Pentium-II微处理器，其时钟频率也高于200MHz。相反地，一个神经元的脉冲发放率典型值仅仅在100Hz的范围内。计算机要快上百万倍！但为何大脑能够瞬间完成对飞机图像的识别，计算机反而对此的反应却如此迟钝呢？,为什么100天的小孩没有成人一样的识别能力呢？,人工神经网络的一般结构,简单公式中的复杂问题,人工神经网络的分布式存储是如何实现的？,信息分布存储在众多神经元的权值和阈值中。,神经元的权值和阈值是如何确定的？,人工神经网络的学习与训练。,神经元的传输函数代表什么含义？它对神经元和神经网络有什么影响？,传输函数表示了神经元对输入信号加权的响应。不同的传输函数，代表不同的神经元模型，进而影响神经网络的结构。,人工神经网络（ANN Artificial Neural Networks）是采用可物理实现的系统来模仿人脑神经细胞结构和功能的系统。,未来的脑科学将加强与行为科学、认知科学和信息科学的联系。脑科学与信息科学及技术的结合将引起以脑为中心的科技革命 智能革命!,ANN定义,从生物神经网络到人工神经网络的探索，虽然经历了半个多世纪的里程，但探究大脑思维计算之间的关系还刚刚开始，关于脑的计算原理及其复杂性；关于学习、联想和记忆过程的机理及其模拟等方面的研究道路还十分漫长。,反馈神经网络,知识结构,概述 离散Hopfield网络 连续Hopfield网络 连续Hopfield网络的应用优化计算,概述,联想特性是ANN的一个重要特性。前面介绍的网络模型属于前向NN，从学习的角度看，具有较强的学习能力，结构简单，易于编程。从系统角度看，属于静态的非线性映射，通过简单的非线性处理单元的复合映射可获得复杂的非线性处理能力。但他们因此缺乏反馈,所以并不是强有力的动力学系统。联想特性是ANN的一个重要特性，主要包括联想映射和联想记忆。前馈网络具有诱人的联想映射能力，而不具备联想记忆能力。在反馈NN中，我们将着重介绍NN的联想记忆和优化计算的能力。,概述,联想记忆是指当网络输入某个矢量后，网络经过反馈演化，从网络输出端得到另一个矢量，这样输出矢量就称作网络从初始输入矢量联想得到的一个稳定记忆，即网络的一个平衡点。优化计算是指当某一问题存在多种解法时，可以设计一个目标函数，然后寻求满足这一目标函数的最优解法。例如，在很多情况下可以把能量函数作为目标函数，得到的最优解法需要使能量函数达到极小点，即能量函数的稳定平衡点。总之，反馈网络的设计思想就是在初始输入下，使网络经过反馈计算最后到达稳定状态，这时的输出即是用户需要的平衡点。,1982年,美国加州工学院J.Hopfield提出了可用作联想存储器和优化计算的反馈网络,这个网络称为Hopfield神经网络(HNN)模型,也称Hopfield模型.,HNN是一种循环NN,从输出到输入有反馈连接. HNN有 离散型和 连续型 两种.,概述,反馈网络(Recurrent Network),又称自联 想记忆网络,如下图所示:,概述,反馈网络的目的是为了设计一个网络，储存一 组平衡点，使得当给网络一组初始值时，网络通过 自行运行而最终收敛到这个设计的平衡点上。 反馈网络能够表现出非线性动力学系统的动态 特性。它所具有的主要特性为以下两点： 第一、网络系统具有若干个稳定状态。当网络从某 一初始状态开始运动，网络系统总可以收敛到某一 个稳定的平衡状态； 第二、系统稳定的平衡状态可以通过设计网络的权 值而被存储到网络中。,概述,由于HNN为动力学系统,且其平衡态关系到信息的存储与联想记忆,其平衡态与稳定性是非常关键的问题。 反馈网络根据信号的时间域的性质的分类为 如果激活函数f()是一个二值型的阶跃函数,则称此网络为离散型反馈网络,主要用于联想记忆; 如果f()为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络,主要用于优化计算。,概述,反馈NN由于其输出端有反馈到其输入端,所以,HNN在输入的激励下,会产生不断的状态变化. 当有输入之后,可以求取出HNN的输出,这个输出反馈到输入从而产生新的输出,这个反馈过程一直进行下去. 如果HNN是一个能稳定的网络,则这个反馈与迭代的计算过程所产生的变化越来越小,一旦到达了稳定平衡状态,那么HNN就会输出一个稳定的恒值. 对于HNN来说,关键是在于确定它在稳定条件下的权系数. 应该指出,反馈网络有稳定的,也有不稳定的. 对于HNN来说,还存在如何判别它是稳定网络,亦或是不稳定的问题.而判别依据是什么,也是需要确定的.,概述,对于如HNN类似的反馈网络,研究的重点为: 如何通过网络神经元状态的变迁而最终稳定于平衡状态,得到联想存储或优化计算的结果 网络的稳定性问题 怎样设计和利用稳定的反馈网络 网络系统能够达到稳定收敛 网络的稳定点 吸引域的设计