神经网络与MATLAB神经网络工具箱-liu.ppt

神经网络和MATLAB神经网络工具箱，1。神经网络的背景、发展和现状2。神经网络和BP神经网络的结构。神经网络的应用和例子1。神经网络的背景、发展和现状1.1对神经网络的理解1.2人工神经网络的产生1.3神经网络的发展和现状1.4神经网络的研究范畴1.5当前问题1.1对神经网络的理解，大脑由大量的神经细胞或神经元组成。每个神经元可以被看作一个小的处理单元。这些神经元以某种方式连接在一起，在大脑内部形成一个生理神经元网络。该神经元网络中每个神经元的连接强度根据外部激励信号自适应变化，每个神经元根据接收到的多个接收信号的综合大小呈现一种激励或抑制状态。以便生物体能够对外部刺激做出适当的反应。人工神经网络是一种基于模拟生物大脑结构和功能的信息处理系统。1.1对神经网络的理解，因此，我们给出了人工神经网络的定义：人工神经网络(NN)是由大而简单的处理单元(称为神经元)广泛互联而形成的复杂网络系统。它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动态系统。1.2人工神经网络的产生，各种更精确的分析和科学实验表明，任何实际的物理系统都是非线性的。所谓线性只是非线性的一种简化或近似，或者是非线性的一种特殊情况。线性系统理论在理想化和逼近现实方面存在不可避免的缺陷。此外，随着生产和生活的日益复杂，人们对自动控制和人工智能的要求越来越高。这给处理问题的传统方式带来了新的挑战，迫切需要一种能够对复杂事物做出快速、敏感和准确反应的工作模式。生物神经系统总能正确而快速地识别复杂的环境并做出适当的判断。这种高智能无疑为人类模拟生物神经系统有效解决问题提供了参考。1.2人工神经网络的产生因此，由自适应简单单元组成的广泛并行互连网络和能够模拟生物神经系统对现实世界对象的交互响应的人工神经网络应运而生。它克服了传统人工智能方法在直觉上的缺陷，如模式、语音识别和非结构化信息处理。它特别适用于处理需要同时考虑多种因素和条件的不准确和模糊的信息处理问题。1.3、神经网络的发展和现状。神经网络起源于20世纪40年代，至今已经发展了半个多世纪。它们大致分为三个阶段。1)20世纪50-60年代：第一次研究高潮始于1943年的M-P模型，结束于20世纪60年代，可称为神经网络系统理论发展的初始阶段。这一时期的主要特点是各种网络模型的生成和学习算法的确定。(2)20世纪60-70年代：从低潮期到60年代，人们发现感知器存在一些缺陷，如不能解决异或问题，因此研究工作趋于低潮。然而，许多学者继续研究神经网络。格罗斯伯格提出了自适应共振理论。Kohenen提出了自组织映射。福岛提出了神经认知网络理论。1.3神经网络的发展和现状，安德森提出了BSB模型；Webos提出了BP理论等。这些都是在20世纪70年代和80年代初进行的。3)80-90年代：第二次研究高潮进入80年代，神经网络研究进入高潮。这一时期最具代表性的人物是来自加州理工学院的物理学家约翰霍普菲尔德。他于1982年和1984年在美国科学院学报上发表了两篇文章，提出了一种模拟人脑的神经网络模型，即最著名的霍普菲尔德模型。Hopfield网络是一个互联的非线性动态网络。它对问题的解决是一个重复操作的动态过程，这是符号逻辑处理所不具备的特性。从20世纪80年代末到90年代初，神经网络系统理论成为发展的热点。各种模型、算法和应用已经被提出，研究经费又变得充足，使得研究人员完成了许多有意义的工作。1.3、神经网络的发展和现状。自20世纪90年代以来，神经网络因其应用范围广、结果不准确和存在可信度问题而进入认知和应用的研究阶段。1)开发现有模型的应用，并根据应用中的实际操作对模型和算法进行改造，以提高网络的训练速度和运算精度。2)充分发挥两种技术各自的优势是一种有效的方法。3)希望在理论上找到新的突破，建立新的特殊/一般模型和算法。4)进一步研究生物神经系统，不断丰富对人脑的认识。1.4、神经网络的研究范畴，神经网络的研究内容相当广泛，体现了多学科、跨技术领域的特点。目前，主要研究工作集中在以下四个方面6: (1)生物原型研究：从生理学、心理学、解剖学、脑科学、病理学和生物科学来研究神经细胞、神经网络和神经系统的生物原型结构和功能机制。(2)理论模型的建立：根据生物界的研究，建立了神经元和神经网络的理论模型，包括概念模型、知识模型、物理化学模型、数学模型等。1.4、神经网络的研究范畴，(3)网络模型和算法研究：在理论模型研究的基础上，形成特定的神经网络模型来实现计算机仿真或准备硬件，包括网络学习算法的研究。这项工作也被称为技术模型研究。(4)神经网络应用系统：在研究网络模型和算法的基础上，利用神经网络形成实际应用系统，如完成一定的信号处理或模式识别功能，形成专家系统，制造机器人等。1.5人工神经网络的发展对于当前的问题具有强大的生命力。当前的问题是智能水平不高，许多应用需求不能很好地得到满足。网络分析与综合的一些理论问题尚未得到很好的解决。例如，梯度下降法使训练变得非常繁忙，因为训练中的稳定性需要较小的学习速率。动量法通常比简单的梯度下降法提高学习速度更快，但在实际应用中仍然很慢7。针对不断变化的应用对象和各种复杂的求解问题，编写了一些具体的程序和软件来解决，耗费了大量的人力和物力。然而，这些软件往往只对某些问题有效，在人机界面、用户友好性等方面存在一定的缺陷。今天，随着微型计算机的迅速发展，许多已经不能满足发展的需要。二、神经网络结构和BP神经网络、 2.1生物神经元和神经网络2.2人工神经元和人工神经网络2.2.1人工神经网络的结构2.2.2人工神经元2.2.3人工神经网络的原理2.2.4人工神经网络的学习规则2.2.5人工神经网络的模型2.2.6人工神经网络的特征2.3人工神经网络2 . 3 . 1人工神经网络定义2 . 3 . 2人工神经网络原理2 . 3 . 3人工神经网络特征2 . 3 . 4人工神经网络的主要功能2 . 4 . 5 和神经网络2.1.1生物神经元人脑由大约1012个神经元组成，这些神经元相互连接形成一个神经网络。 神经元是大脑信息处理的基本单位。它以细胞体为主体，由许多延伸到周围的不规则树突状纤维组成。它的形状很像枯树的树枝。它主要由细胞体、树突、轴突和突触(突触，也称为神经键)组成。从神经元各组成部分的功能来看，信息处理和传递主要发生在突触附近。当通过轴突从神经元细胞体传递到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位时，突触前膜将释放2.1.1生物神经元，基本工作机制：神经元有两种状态正常情况下处于抑制状态的兴奋和抑制神经元。当通过突触接收来自其他神经元的电击信号时，多个输入以代数和的形式叠加在神经元中。进入突触的信号是加权的，有正兴奋信号和负抑制信号。如果叠加的总量超过某个阈值，神经元将被激发到兴奋状态，发出输出脉冲，这些脉冲将通过轴突突触传递给其他神经元。2.1.1生物神经元，信息输入，信息传播和加工，信息整合，加工结果：兴奋或抑制，结果输出，2.1生物神经元和神经网络，2.1.2生物神经网络神经元可以有复杂的联系，彼此可以有输入输出关系，输入输出之间的转换关系一般是非线性的。神经网络是由大量处理单元(神经元)相互连接而成的网络。神经网络的信息处理是通过神经元之间的相互作用实现的，即信息输入、神经单元处理、神经元之间的信号传递和合成、信息输出和生物反应。2.2人工神经元和神经网络人工神经网络是模拟生物神经网络功能的经验模型。它有几个简单的(通常是自适应的)元素及其层次结构。它是由大规模并行连接构成的网络，以类似于生物神经网络的方式处理输入信息。人工神经网络模仿生物神经网络，对输入信号具有强大的响应和处理能力。然而，它只是抽象、简化和模拟生物神经网络。神经网络的信息处理是通过神经元的相互作用来实现的。知识和信息的存储显示了网络元素之间的物理连接。神经网络的学习和识别依赖于各种神经元连接权系数的动态演化过程。2.2人工神经元和神经网络，其中一个可以接受多个输入信号，并按照一定的规则将它们转换成输出信号。由于神经元之间的复杂连接关系和神经网络中每个神经元传输信号的非线性方式，可以在输入和输出信号之间构建各种关系。因此，它可以作为一个黑箱模型来表达机制模型不能准确描述的规律，但在输入和输出之间存在客观的、确定的或模糊的规律。因此，人工神经网络作为一种经验模型，在化工生产、研究和开发中得到了越来越多的应用。2.2人工神经元和神经网络，简单层次结构，2.2.1人工神经网络的结构分类：神经网络根据网络连接的层次结构将神经元分为若干层，如输入层、中间层、隐藏层和输出层。每层按顺序连接。2.2人工神经元和神经网络。根据连接形式，神经网络分为以下基本形式：前向网络中的神经元分层排列，每个神经元只与前一层的神经元相连。神经元分层排列，分别形成输入层、中间层(也称为隐含层，可由几层组成)和输出层。每一层的神经元只接受来自前一层神经元的输入，而下一层没有到前一层的信号反馈。输入模式按顺序在所有级别传播，最终在输出级别获得输出。感知器网络和BP网络都属于前向网络。2.2人工神经元和神经网络，前向网络结构：2.2人工神经元和神经网络，具有从输出到输入的反馈的前向网络的输出层具有到输入层的信息反馈，这种网络可用于存储某些模式序列，如神经认知机和回归BP网络，都属于这种类型。层内互联前向网络通过层内神经元的相互结合，实现同一层神经元之间的横向抑制或激发机制。这可以限制每一层中可以同时起作用的神经元件，或者将每一层中的神经元分成几组，以便每一组可以作为一个整体来操作。例如，横向抑制机制可以用来选择某一层中输出最大的神经元，从而抑制其他神经元，使它们处于无输出状态。2.2人工神经元和神经网络，相互组合网络的网络结构如图2.7所示。这个网络可以连接在任何两个神经元之间。霍普菲尔德网络和玻尔兹曼机器属于这种类型。在没有反馈的前向网络中，一旦信号通过一个神经元，该神经元的处理就结束了。然而，在互联网络中，信号在神经元之间反复传输，网络处于不断变化的动态状态。信号从某个初始状态开始，经过几次变化后达到某个平衡状态。根据网络的结构和神经元的特性，网络的运行可能进入周期性振荡或混沌等其他平衡状态。2.2人工神经元和神经网络，2.2.2人工神经元模型生物神经元是一个多输入、单输出的单元。为了模拟生物神经元，常用的人工神经元模型如下：输入与输出的关系可表示为：2.2.2人工神经元模型，神经元的传递函数f(X)为激励函数；它可以是线性函数或非线性函数。例如，如果将激励函数作为符号函数，2.2.2人工神经元模型，神经元传递函数，2.2人工神经元与神经网络，2.2.3人工神经网络的基本原理生物神经元信号的传递是一个通过突触等的复杂电化学过程。在人工神经网络中，它被简化并模拟成一组数字信号，这些数字信号通过一定的学习规则不断更新，这组数字存储在神经元之间的连接权值中。网络的输入层模拟神经系统中的感觉神经元，并接收输入样本信号。输入信号通过输入层输入，并通过隐藏层的复杂计算由输出层输出。输出信号与预期输出进行比较。如果存在误差，误差信号由输出层通过隐藏层反向处理，然后传播到输入层。在此过程中，通过梯度下降算法将误差分布到每层的所有单元，从而获得每个单元的误差信号。基于误差信号，校正每个单元的权重值，从而重新分配网络权重值。在该过程完成后，输入层将输入信号再次输入到网络，并重复上述过程。重复执行信号的前向传播和误差的后向传播的每一层的权重调整过程，直到网络输出的误差减小到可接受的水平，或者直到执行预定数量的学习次数。恒重调整的过程就是网络的学习和训练过程。2.2人工神经元和神经网络，信息传输和数据处理示意图如下：2.2人工神经元和神经网络，简化：多层网络的简化模型，2.2人工神经元和神经网络，2.2.4人工神经网络的学习规则：关键在于如何确定每个神经元的权重。常用的学习规则有：Hebb规则、德尔塔规则(最小均方偏差规则)、反向传播学习方法、Kohonen学习规则(无指导训练网络)、Grosberg学习方法、2.2人工神经元和神经网络、2.2.5人工神经网络模型共70多种。具有代表性的有：(1)感知器(2)多层前馈(BP)网络(3)Hopfield网络(优化)(4)Boltzmann机器(向BP添加噪声)(5)双向联想记忆网络(快速存储)，2.2人工神经元和神经网络，2.2.6人工神经网络的特性(1)处理非线性(2)并行结构。对于神经网络中的每个神经元；它的操作是一样的。这种结构最便于计算机并行处理。(3)具有学习和记忆能力。神经网络可以通过训练和学习来区分事物。学习某个规则或规则(4)有很大的数据容量。定量数据和质量数据(如好、中、差、通过、失败等。)可以同时用于神经网络。(5)神经网络可以由大规模集成电路实现。例如，在美国，由256个神经元组成的硬件被用来识别手写的邮政编码。2.3 BP神经网络和2.3.1BP神经网络将BP(反向传播)神经网络定义为神经网络学习算法。它是一个由输入层、中间层和输出层组成的分层神经网络，中间层可以扩展成多个层。相邻层之间的每个神经元是完全连接