第四讲 神经网络基础

1、第六章，基于人类经验的神经网络理论基础模糊控制，解决了智能控制中人类语言的描述和推理问题，特别是不确定语言的描述和推理问题，从而为机器模拟人脑的感知和推理等智能行为迈出了一大步。模糊控制在处理数字数据和自学习能力方面远远达不到人脑的水平。从另一个角度，即从人们烦恼的生理和心理角度，人工神经网络通过人工模拟人脑的工作机制来实现机器的一些智能行为。人工神经网络是模拟人脑思维模式的数学模型。神经网络是在对人脑组织进行现代生物学研究的基础上提出的，用于模拟人脑神经网络的结构和行为。神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想、模式分类、记忆等。自20世纪80年代以来，人工神经网络的研究

2、取得了突破性进展。神经网络控制是将神经网络和控制理论相结合而发展起来的一种智能控制方法。它已成为智能控制的一个新分支，为解决复杂非线性、不确定性和未知系统的控制问题开辟了一条新的途径。神经网络的发展经历了四个阶段。1启蒙时期(1890-1969)1890年，詹姆斯发表了一本关于心理学的专著，论述了大脑的结构和功能。1943年，心理学家麦卡洛克和数学家皮茨提出了一个描述脑神经细胞活动的数学模型，即M-P模型(第一个神经网络模型)。1949年，心理学家赫布实现了对脑细胞间相互作用的数学描述，并提出了赫布的学习规则，从心理学的角度来看，该规则对神经网络理论仍有重要影响。1958年，罗森布拉特提出了一

3、个描述人脑信息存储和记忆的数学模型，即著名的感知器模型。1962年，威卓尔和霍夫提出了自适应线性神经网络，即阿达林网络，并提出了用网络学习新知识的方法，即威卓尔和霍夫学习规则，并设计了硬件电路。2在低潮期(1969-1982)，由于神经网络理论研究水平的限制和冯诺伊曼计算机发展的影响，神经网络的研究处于低潮。在美国、日本等国家，少数学者继续研究神经网络模型和学习算法，并提出了许多有意义的理论和方法。例如，在1969年，格罗伯格和卡彭特提出了最复杂的艺术网络，它可以自组织，自稳定，并执行大规模的并行处理任何复杂的二维模式。1972年，科霍宁提出了自组织映射的自组织映射模型。3复兴时期(1982-

4、1986)1982年，物理学家霍普菲尔德提出了霍普菲尔德神经网络模型，通过引入能量函数实现了问题的优化。1984年，他用这个模型成功地解决了旅行商问题。1986年，鲁梅尔哈特和麦克兰德出版了并行分布式处理一书，提出了一个著名的多层神经网络模型，即BP网络。该网络是迄今为止应用最广泛的神经网络。在新连接机制时期(1986年至今)，神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。神经网络的主要应用领域是：模式识别和图像处理(语音、指纹、故障检测和图像压缩等)。)、控制和优化、预测和管理(市场预测、风险分析)、沟通等。6.2神经网络原理神经生理学和神经解剖学研究表明，人脑极其复杂，由10

5、00多亿个神经元交织而成的网络结构组成，其中大脑皮层约有140亿个神经元，小脑皮层约有1000亿个神经元。人脑可以完成智力和思维等高级活动。为了用数学模型模拟人脑的活动，引入了神经网络的研究。神经系统的基本结构是神经元，它是处理人体不同部位之间相互信息传递的基本单位。每个神经元由一个细胞体、一个连接其他神经元的轴突和一些向外延伸的较短的分支树突组成。轴突的功能是将该神经元的输出信号(兴奋)传递给其他神经元，其末端的许多神经末梢使兴奋同时传递给多个神经元。树突的功能是接收来自其他神经元的兴奋。神经元细胞体简单地处理所有接收到的信号，并通过轴突输出。神经元的轴突与其他神经元的神经末梢相连的部分称为

6、突触。显示了单个神经元的解剖结构。神经元由三部分组成：(1)细胞体(主要部分):包括细胞质、细胞膜和细胞核；(2)树突：用于将信息引入细胞体；(3)轴突：它向细胞体传递信息，其末端是轴突末梢，轴突末梢含有传递信息的化学物质；(4)突触是神经元之间的界面(每个神经元104，105个)。通过树突和轴突，信息在神经元之间传递。神经元具有以下功能：(1)兴奋和抑制：如果引入神经元的冲动被调节，细胞的膜电位将升高，当超过动作电位阈值时，它们将被兴奋并产生神经冲动，神经冲动将从轴突通过神经末梢传递。如果调节引入神经元的脉冲，降低细胞膜电位，当低于动作电位阈值时，将被抑制，不会产生神经脉冲。(2)学习和遗忘

7、：由于神经元结构的可塑性，突触传递可以加强和减弱，因此神经元具有学习和遗忘的功能。决定神经网络模型性能的三个主要因素是：(1)神经元(信息处理单元)的特性；(2)神经元间互连的形式拓扑结构；(3)学习提高绩效以适应环境的规则。6.3神经网络的分类目前，神经网络模型的种类很多，有近40种神经网络模型。典型的神经网络包括多层前向传播网络(BOP网络)、霍普菲尔德网络、CMAC小脑模型、ART网络、BAM双向联想记忆网络、SOM自组织网络、Blotzman机器网络和Madaline网络。根据神经网络的连接方式，神经网络可以分为两种形式：(1)如图所示，神经元分层排列，构成输入层、隐藏层和输出层。每一

8、层的神经元只接收前一层神经元的输入。输入模式由每一层依次转换，然后由输出层输出。神经元之间没有反馈。感知器和误差反向传播网络采用前向网络的形式。(2)反馈网络这种网络结构具有从输出层到输入层的反馈，也就是说，每个输入节点可以接收来自外部的输入和来自输出神经元的反馈。这种神经网络是一个反馈动态系统，需要工作一段时间才能达到稳定。Hopfield神经网络是反馈网络中最简单、应用最广泛的模型，具有联想记忆功能。如果将李雅普诺夫函数定义为优化函数，霍普菲尔德神经网络也可以解决优化问题。图反馈神经网络，(3)自组织网络的网络结构如图所示。Kohonen网络是最典型的自组织网络。Kohonen认为，当神经

9、网络接收到外部输入时，网络将被划分为不同的区域，不同的区域具有不同的响应特性，即不同的神经元以最佳的方式响应不同的信号激励，从而形成拓扑特征图，这实际上是一种非线性映射。这种映射是通过无监督的自适应过程完成的，因此也称为自组织特征映射。Kohonen网络通过无监督学习来学习权值，稳定的网络输出为输入模式生成自然的特征映射，从而达到自动聚类的目的。自组织神经网络，6.4神经网络学习算法神经网络学习算法是神经网络智能特性的重要标志，神经网络通过学习算法实现自适应、自组织和自学习的能力。目前，神经网络的学习算法有很多，根据有无导师的不同，可以分为监督学习、无监督学习和强化学习。在有教师的学习风格中，

10、将网络的输出与预期输出(即教师信号)进行比较，然后根据两者之间的差异调整网络的权重，最终使差异变小。在无教师学习模式下，输入模式进入网络后，网络会根据预设规则(如竞争规则)自动调整权重，使网络最终具备模式分类功能。强化学习是上述两者之间的一种学习方式。最基本的神经网络学习算法是：1 Hebb学习规则Hebb学习规则是一种联想学习算法。基于生物学和心理学的研究，生物学家D.O.Hebbian认为，当两个神经元同时兴奋时，它们之间的联系强度就会增强。这种讨论的数学描述被称为Hebb学习规则，即它是神经元之间连接的当前权重和神经元的激活水平。Hebb学习规则是一种无教师的学习方法，它只根据神经元连接

11、之间的激活水平改变权重。因此，这种方法也称为相关学习或并行学习。2()学习规则假设误差标准函数为：其中它表示预期输出(教师信号)；是网络的实际输出；是由网络所有权值组成的向量：是输入模式：其中训练样本的数量是。神经网络学习的目的是通过调整权值W来最小化误差准则函数，权值的调整是通过梯度下降法实现的，其基本思想是沿着E的负梯度方向不断修正W的值，直到E达到最小值。数学表达式是：其中，让，那么，w的修正规则是，上述公式称为学习规则和误差修正规则。6.5神经网络特性神经网络具有以下特性：(1)它能逼近任何非线性函数；(2)信息的并行分布式处理和存储；(3)多输入多输出；(4)易于用VISI或光学集成

12、电路系统实现，或用现有的计算机技术实现；(5)能够学会适应环境的变化。6.6神经网络控制研究领域1、基于神经网络的系统辨识将神经网络作为被辨识系统的模型，在已知常规模型结构的情况下，可以对模型参数进行估计。利用神经网络的线性和非线性特性，可以建立线性和非线性系统的静态、动态、逆动态和预测模型，实现非线性系统的建模和辨识。(2)神经网络控制器作为实时控制系统的控制器，神经网络可以有效地控制不确定性和不确定性系统及扰动，使控制系统达到所要求的动静态特性。(3)将神经网络与其他算法相结合，将神经网络与专家系统、模糊逻辑和遗传算法相结合，可以设计出一种新的智能控制系统。(4)优化计算在常规控制系统中，

13、经常会遇到约束优化问题，而神经网络为解决这类问题提供了一种有效的方法。目前，神经网络控制已经应用于许多控制结构中，如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、预测控制、模糊控制等。第7章典型神经网络，7.1神经元模型图7-1显示了神经元的内部状态，即阈值、输入信号和连接权重系数，即外部输入信号。单神经元模型可以描述如下：通常，取图7-1中的单神经元模型，有四种常用的神经元非线性特征：(1)阈值型图7-2阈值型函数，(2)分段线性型，图7-3分段线性型函数，(3)Sigmoid型函数，图7-4 Sigmoid型函数，7.2 BP神经网络1988。鲁梅尔哈特等人提出了误差反向传播神经

14、网络(简称BP网络)，它是一种单向传播的多层前向网络。误差反向传播的BP算法简称BP算法，其基本思想是梯度下降法。它采用梯度搜索技术，以使网络的实际输出值和预期输出值之间的均方误差最小。7.2.1 BP网络的特点(1)它是一个多层网络，包括输入层、隐藏层和输出层；(2)各层互连，同一层的神经元不相连；(3)通过学习算法调整权重；(4)神经元兴奋函数为S函数；(5)学习算法由前向传播和后向传播组成；(6)层间连接是单向的，信息传输是双向的。7.2.2 BP网络结构。带隐层的BP网络结构如图7-5所示。输入层神经元、隐藏层神经元和输出层神经元如图所示。图7-5 BP神经网络结构、7.2.3 BP网

15、络逼近和BP网络逼近结构如图7-6所示，其中k为网络的迭代步数，u(k)和y(k)为逼近器的输入。BP是网络逼近器，y(k)是被控对象的实际输出，yn(k)是BP的输出。系统输出y(k)和输入u(k)的值作为逼近器BP的输入，系统输出和网络输出之间的误差作为逼近器的调整信号。图7-6神经网络逼近，用于逼近的神经网络如图7-7所示。图用于逼近神经网络。BP算法的学习过程包括前向传播和后向传播。在正向传播过程中，输入信息从输入层到输出层进行处理，每层神经元(节点)的状态只影响下一层神经元的状态。如果在输出层无法获得期望的输出，则根据连接路径反算误差信号(理想输出与实际输出之差)，并通过梯度下降法调

16、整各层神经元的权重以减小误差信号。(1)前向传播：计算网络的输出。隐层神经元的输入是所有输入的加权和；隐藏层神经元的输出由S函数激发；然后，(1)前向传播：计算网络的输出。隐层神经元的输入是所有输入的加权和；隐藏层神经元的输出由S函数激发；然后，输出层神经元输出：网络输出与理想输出之间的误差为：误差性能指标函数为：(2)反向传播：利用学习算法调整各层的权重。根据梯度下降法，权值学习算法如下：输出层与隐层连接的权值学习算法为：在k 1，隐层与输入层连接的权值学习算法为：在k 1，如果考虑最后一个权值对这个权值变化的影响，则需要加入动量因子，其中权重为学习率和动量因子。矩阵算法(即对象输出对控制输入的灵敏度信息)如下：BP网络的优点和缺点是：(1)只要有足够的隐层和隐层节点，BP网络就可以逼近任何非线性映射关系；(2)BP网络的学习算法属于全局逼近算法，具有很强的泛化能力。(3)BP网络输入输出之间的相关信息以分布式方式存储在网络的连接权中，单个神经元的损伤对输入输出关系