神经网络基本原理.ppt

1，神经网络，2，人工神经网络(ANN，ArtificialNeuralNetwork)是由多个简单处理单元通过广泛的并行互连形成的网络系统，也称为神经网络(NN)。作为人类大脑系统的简化、抽象和模拟，它具有人类大脑功能的许多基本特征。目前人工神经网络已成为许多高新技术领域的话题。在人工智能领域，它实际上应用于决策支持、模式识别、专家系统、机器学习等多个方面。3.神经网络是多学科交叉的产物，因此各相关领域对神经网络都有自己的看法，对神经网络的定义在科学界有多种看法。现在更广泛使用的是T.Koholen(芬兰赫尔辛基技术大学)的定义。也就是说，“神经网络是由适应能力强的简单单元组成的广泛、并行、互连的网络，该组织可以模拟生物神经系统对真实物体的相互反应。”，4，人脑的基本组成是脑神经细胞，大量的脑神经细胞相互连接，形成人的脑神经网络，完成各种脑功能。人工神经网络是大量人工神经细胞(神经元)广泛相互连接而形成的人工网络，用于模拟人类神经系统的结构和功能。理解人脑神经网络的组成和原理有助于理解人工神经网络。5、人工神经网络开馆，人体神经结构和特征各有不同的神经细胞形态，但由小细胞体和树突两部分组成，突起分为树突和轴突。6，轴石是从细胞体延伸到外延的所有纤维中最长的分支，用于向外传递神经元生成的输出信号。每个神经元只导出一个轴突，短则发送几微米，最大长度可能超过1米。7、突触、轴突末端形成了很多称为神经末梢的细树枝。每个神经末梢可以与其他神经元形成功能接触，这种接触称为突触。每个神经元大约有103到105个突触。换句话说，每个神经元与大约103到105个不同的神经元连接，因为这些突触在整个大脑神经元上形成了复杂的网络结构。被称为功能接触的突触的信息传递特性发生变化，因此细胞间连接的强度发生变化，这是一种灵活的连接，也称为神经元结构的可塑性，这就是神经元间信息传递的奥秘之一。8，树突是指除由细胞体向外延伸的轴突以外的所有其他分支。每个神经元的树突数量不同，长度短，但数量多的是神经元的输入端，以接受来自其他神经元突触的信号。胞体是神经元的主体，胞体和树突表面是接受的其他神经元信号的主要部分。9，神经元的细胞载体就像一个基本处理器，它将其他每个神经元的信号聚合成一个整体，产生一个神经输出信号。细胞膜分离胞体内外，因此胞体内外电位不同，通常内部电位低于外部电位。细胞膜内外电位的差异称为膜电位。无信号输入的膜电位称为停止膜电位。所有输入对一个神经元的总效果达到一定的阈值电位后，该细胞就成为活动细胞(激活)，其膜电位自发地急剧上升，产生一个电脉冲。这种电脉冲沿着细胞体中的轴突到达神经末梢，通过与其他神经元连接的突触传递给相应的神经元。10，生物神经元的功能和特征神经生理学研究表明，生物神经元具有以下重要的功能和特征：(1)时空整合功能神经元对不同时间通过相同突触进入的神经冲动具有时间整合功能。同时，对于通过其他突触进入的神经冲动，有空间整合功能。两种功能相结合，使生物神经元对突触传入的神经冲动具有时空整合功能。(2)兴奋和抑制状态神经元有两种日常操作状态：兴奋和抑制。进入冲动的时空整合结果，细胞膜电位上升，超过动作电位的阈值，细胞进入兴奋状态，产生神经冲动。相反，当细胞膜电位下降到动作电位阈值以下时，细胞进入抑制状态，没有神经冲动输出。11、(3)脉冲和电位转换突触接口具有脉冲/电位信号转换功能。沿神经纤维传递的信号是离散的电脉冲信号，细胞膜电位变成连续的电位信号。在突触界面上进行的这种“数/模式”转换是通过神经介质进行量子化学的以下过程。电脉冲神经化学物质膜电位(4)沿神经纤维传导速度神经纤维传递的神经冲动的速度在1m/s到150m/s之间。其速度差异与纤维的厚度、myelin(包裹在神经元轴突外部的物质，绝缘作用)有关。一般来说，传导速度超过100m/s，没有myelin的纤维myelin的传导速度可以降低到每秒数米。12，人脑神经系统的结构和特性(1)记忆和存储功能人类大脑神经系统的记忆和处理功能是有机结合的。具有存储功能和处理功能的神经元在恢复记忆时，不仅不必先找到存储地址，检索存储的内容，还可以从部分内容恢复全部内容。特别是在某些神经元受损的情况下(例如脑损伤等)，只有受损最严重的部分才会丢失信息，所有存储的信息都不会丢失。13，人脑神经系统的结构和特性(2)高度并行的人脑可以与大约1011 1012个神经元和每个103 105个突触，即每个神经元与其他103 105个神经元连接，提供了很大的存储容量和并行性。例如，您可以非常快速地识别非常复杂的图像。14，(3)分散功能的人通过对脑损伤患者的神经心理学研究，没有发现大脑的哪个部分能决定其余所有部分的活动，或者驱动和管理整个智能处理过程的中央控制部分在大脑中存在。人类大脑的各个部分共同作用，相互影响，没有一部分神经元能对智能活动的整个过程负有特别重要的责任。在大脑中，可以看到知识的存储不仅分散，而且其控制和决策也分散。所以大脑是一个分散的系统。15，(4)容错是指根不完整、有错误的信息仍然正确、完整的结论的能力。大脑的容错性很强。例如，我们往往只通过一对人的眼睛、背影、动作或句子的音调就能识别出那个人是谁。16，(5)联想功能人脑不仅具有容错能力，而且具有联想功能。结合不同领域的知识灵活应用，善于概括、类比、推理。例如，人很快就能认出多年不见，外貌大变的老朋友。(6)作为自我组织和自我学习功能的人脑，通过内部自我组织、自我学习能力持续适应外部环境，可以有效地处理各种模拟、模糊或随机的问题。17、人工神经和人工神经网络、人工神经细胞的结构与生物学上的基本神经元相同，人工神经网络也有基本神经元。人工神经元是生物神经元的抽象和模拟。抽象是从数学的角度，模拟是从结构和功能的角度进行的。如果观察人脑神经元的特性和功能，神经元是多输入单输出信息处理设备(18，人工神经元和人工神经网络，19，人工神经元和人工神经网络，M-P模型M-P模型M-P模型是美国心理学家McCulloch和数学家Pitts提出的最古老(1943)神经元模型之一的关键因素，如下图所示M-P模型是大多数神经网络模型的基础。，20，图中所示模型中的x1，x2，xn表示对神经元的n个输入；i表示第I个输入的连接强度，称为连接权重。是神经元的阈值。y是神经元的输出。人工神经元是具有多个输入、单个输出的非线性设备。神经元模型的输入是I * Xi(I=1，2，n)输出为y=f()=f(I * Xi)。其中f被称为神经元函数(函数、传递函数、传递函数、激活函数)。注意：通过设置x0=-1，w0=，可以将阈值看作权重。21，公共人工神经元模型功能函数f是表示神经元输入和输出之间关系的函数，可以根据功能函数获得不同的神经元模型。常用的神经模型包括：(1)阈值模型中的神经元没有内部状态，函数f是表示活动值和相应输出f()之间关系的步骤函数，如图5-3所示。22，极限神经元是最简单的人工神经元之一。输出状态为1或0的这个二值化神经元分别表示神经元的兴奋和抑制状态。在任何时刻，神经元的状态都由功能函数f决定。如果激活值0，则当神经元输入的权重总和超过指定的阈值时，神经元激活并兴奋，状态f()为1。否则，当 0时，即神经元输入的权重总和不超过指定阈值时，相应的神经元不激活，其状态f()为0。23，(2)此模型称为分段线性饱和，在一定范围内满足，直到输入/输出之间的线性关系输出为最大值1。但是，达到最大值后，输出不再变大。如图5-4所示。24，(3)S型(Sigmoid)是连续神经元模型，输出函数是具有最大输出值的非线性函数，其输出值在一定范围内连续给出，输入和输出特性通常由S型函数表示。它反映了神经元的饱和特性，如图5-5所示。1，0，25，(4)子临界累积(SubthresholdSummation)此类型的作用函数也是在生成的激活值超过t值时引起反应性的非线性函数。在线状态下，系统的反应是线性的，如图5-6所示。26、从生理角度来看，阶段函数(阈值类型)与人脑神经元的特性最相符，实际上，人脑神经元通过潜力的高低反映了该神经元的兴奋和抑制。但是，步长函数很小，因此实际上使用了更多类似的Sigmoid函数。27、人工神经网络人工神经网络是人类神经系统的模拟。人类的神经系统有巨大而复杂的结构和神奇的功能，但最基本的处理装置只有神经元。人工神经系统的功能实际上是通过大量神经元的广泛互连进行规模庞大的并行运算。基于对人类生物系统的这种理解，人们还想通过对人工神经元的广泛互连来模拟生物神经系统的结构和功能。28，通过人工神经网络人工神经元之间的互连形成的网络称为人工神经网络。在人工神经网络中，神经元之间的互连方式称为连接模式或连接模型。不仅决定了神经元网络的互连结构，还决定了神经网络的信号处理方式。29，人工神经网络的分类目前，现有的人工神经网络模型至少有几十种，其分类方法也有多种。(例如，1)根据网络拓扑，分层结构和互连结构2)可以将信息流方向分为前馈网络和反馈网络。3)网络特定的学习方法可以分为有教师的学习网络和没有教师的学习网络。4)网络特定性能可以分为连续网络和离散网络或确定性网络和随机网络。30，神经元的模型确定后，一个神经网络的特性和能力主要是网络拓扑和学习方法，31，人工神经网络的互连结构和学习机制，人工神经网络的拓扑结构构建人工神经网络的重要步骤是构建人工神经网络的拓扑结构。即决定人工神经元之间的互连结构。根据神经元之间连接的拓扑结构，神经网络的互连结构可以分为两大类：分层网络和互连网络。层次结构可以根据层次数分为单个、两个和多个层次网络结构。32，人工神经网络的互连结构和学习机制，简单单层网络，33，单层网络结构有时称为双层网络结构单层或双层神经网络结构，这是最简单的层次结构，也称为初始神经网络模型的互连模式。1)不允许同一层之间的神经元互连。(2)允许同一层之间的神经元互连。这称为侧抑制连接(或侧反馈)。此外，在某些双层神经网络中，不同层之间允许反馈连接。34，多层网络结构一般将三层和三层以上的神经网络结构称为多层神经网络结构。所有神经元都按功能分为几层。通常有输入图层、隐藏图层(中间层)和输出图层。35，多层网络结构1)输入层节点的神经元接受外部环境的输入模式，并传递给连接的隐藏层的各个神经元。(2)隐藏层是神经网络的内部处理层，在网络内部构成中间层，因为不直接处理外部输入和输出。利用人工神经网络的模式转换能力主要表现在银层的神经元上。3)输出层用于生成神经网络的输出模式。典型的多层网络模型包括正向网络模型、多层横向抑制神经网络模型、具有反馈的多层神经网络模型等。36，多层前向神经网络多层前向神经网络模型如图5-8所示。输入模式：从输入层进入网络，按中间层的顺序转换，然后从输出层生成输出模式，完成网络更新。前向网络的连接模式没有侧抑制和反馈连接方式。图5-8多层前向神经网络模型，37，多层侧抑制神经网络允许网络中同一层的神经元之间的互连，如图5-9所示。这种连接使同一层的神经元相互之间形成牵张作用，从而实现同一层的神经元之间的水平抑制或兴奋机制。这样可以限制同一层中可以同时激活的神经元数量，或者将每个层中的神经元分组，使它们移动一个组。38，具有反馈的多层神经网络这是输出层-隐藏层、隐藏层之间、隐藏层-输入层之间具有反馈连接的方式，反馈的结果构成了闭合环。39、具有反馈的多层神经网络与全方位多层神经网络不同。多层前向神经网络属于非循环连接模式，每个神经元的输入不包含该神经元以前的输出，因此可以说没有“短期记忆”。但是，具有反馈的多层神经网络是不同的，因此每个神经元的输入可能包括该神经元以前的输出反馈。因此，其输出由当前的输入和以前的输出两者决定，有点类似于人类短期记忆的性质。40，人工神经网络的运行一般分为学习和工作两个阶段。41、人工神经网络学习人工神经网络最吸引人的特征是学习能力。人工神经网络学习和记忆的心理学基础学习和记忆是人类智能的重要特征。有人认为，人的学习过程实际上是训练个人在行为上变化更久的过程。根据这种观点，学习离不开训练。42、人工神经网络学习学习和记忆也必须是人工神经网络的重要特征。人工神经网络的学习过程是训练过程。人工神经网络的功能特性由连接拓扑和突触连接强度(即连接权重)决定。神经网络训练的本质是通过对样本集的输入/输出模式反复作用于网络，网络根据特定的学习算法自动调节神经元之间的连接强度(阈值)或拓扑结构，如果网络的实际输出倾向于满足或稳定预期要求，则认为是圆