智能控制chap6.ppt

1、第六章神经网络理论的基础，模糊控制从人的经验出发，解决了智能控制中人类语言的描述和推理问题，特别是一些不确定性语言的描述和推理问题，在机器模拟人脑的知觉、推理等智能行为上迈出了重要的一步。 模糊控制在处理数值数据、自我学习能力等方面还没有达到人脑的领域。 人工神经网络从另一个角度，即人生气的生理学和心理学着手，通过人工模拟人脑机制来实现机器智能行为的一部分。 人工神经网络(神经网络，简称Neural Network )是模拟人脑思维的数学模型。 神经网络是现代生物学在研究人脑组织成果的基础上提出的，用于模拟人脑神经网络的结构和行为。 神经网络反映了人脑功能的基本特征，如并行信息处理、学习、联想

2、、模式分类、记忆等。 20世纪80年代以来，人工神经网络(ANN，Artificial Neural Network )研究所取得了划时代的进展。 神经网络控制是神经网络和控制理论结合发展的智能控制方法。 这成为智能控制的新分支，为解决复杂的非线性、不确定、未知系统的控制问题开辟了新途径。 神经网络的发展过程经历了四个阶段。 1启蒙期(1890-1969年) 1890年，W.James发表了专业心理学，探讨了脑的结构和功能。 1943年，心理学家W.S.McCulloch和数学家W.Pitts提出了记述脑神经细胞活动的数学模型，即M-P模型(最初的神经网络模型)。 6.1神经网络的发展历史，1

3、949年，心理学家Hebb实现了对脑细胞间相互影响的数学描写，从心理学的角度提出了至今仍对神经网络理论产生重要影响的Hebb学习规律。 1958年，E.Rosenblatt提出了在人脑中保存和记忆信息的数学模型，即萩名的感知器模型(Perceptron )。 1962年，Widrow和Hoff提出了自适应线性神经网络，即Adaline网络，提出了网络学习新知识的方法，即Widrow和Hoff学习规则(即学习规则)，电路进行了硬件设置修正。 2低潮期(1969-1982 )受当时神经网络理论研究水平的限制和冯诺伊曼式修正机发展的冲击等因素的影响，神经网络的研究陷入低谷。 美、日等国有少数学者继续

4、研究神经网络模型和学习算法，提出了许多有意义的理论和方法。 例如，在1969年，S.Groisberg和A.Carpentet提出了迄今为止最复杂的ART网络，该网络可以对任何复杂的二维模型进行自组织、自稳定和大规模并行处理。 1972年，Kohonen提出了自组织映射的SOM模型。 3复兴期(1982-1986 )，1982年，物理学家Hoppield提出了Hoppield神经网络模型，该模型通过引入能量函数实现了问题优化解决，1984年他使用该模型实现了旅行者路径优化问题(TSP ) 1986年，Rumelhart、McCelland等出版了一本名为并行分布式处理的书，提出了一种有名的多层

5、神经网络模型，即BP网络。 这个网络是至今为止最普遍使用的神经网络。 4新连接机制时期(1986-现在)的神经网络从理论走向应用领域，出现了神经网络芯片和神经计算机。 神经网络的主要应用领域包括模式识别和图像处理(语音、指纹、故障检测和图像压缩等)、控制和优化、预测和管理(市场预测、风险分析)、通信等。 6 .2神经网络原理根据神经生理学和神经解剖学的研究，人脑极为复杂，由一千多亿个神经元交织的网状结构构成，其中大脑皮质约140亿个神经元，小脑皮质约1000亿个神经元。 人脑能够完成智能、思维等高级活动，而为了利用数学模型模拟人脑活动，引起了对神经网络的研究。 神经系统的基本结构是神经元(神经

6、细胞)，是处理人体内各部分之间相互信息传递的基本单元。各神经元由细胞、连接其他神经元的轴索和向外侧突出的其他短分支树突构成。 轴索功能将本神经元的输出信号(兴奋)传递给别的神经元，其末端的许多神经末端将兴奋同时传递给多个神经元。 树突的功能是接受来自其他神经元的兴奋。 神经元细胞在简单处理完所有接收到的信号后，从轴索输出。 神经元的轴突与其他神经元的神经末梢相连的部分叫突触。 图单一神经元的解剖图，神经元由3个部分组成： (1)细胞(主体部分):包括细胞质、细胞膜、细胞核；(2)树突：用于向细胞传递信息；(3)轴突：来自细胞的信息，其末端是轴突末端，包括传递信息的化学物质一个神经元通过其轴突的

7、神经末端，通过突触与另一个神经元的树突相连，实现信息的传递。 由于突触的信息传递特性是可变的，随着神经冲激传递方式的变化，传递作用的强弱不同，形成神经元之间连接的灵活性，被称为结构的可塑性。 树突和轴突实现了神经元之间的信息传递。 神经元具有以下兴奋和抑制功能： (1)一旦被传递到神经元的冲动调整而使细胞膜电位上升，超过动作电位的阈值就会成为兴奋状态，产生神经脉冲，从轴索经由神经末端被传递。 当传递到神经元的脉冲调整而降低细胞膜电位时，其低于动作电位阈值就成为抑制状态，不产生神经脉冲。 (2)学习和遗忘：由于神经元结构的可塑性，突触的传递作用增强和减弱，神经元具有学习和遗忘的功能。 6.3神经

8、网络的分类目前神经网络模型种类相当丰富，已有近40种神经网络模型。 典型的神经网络是多层前向传播网络(BOP网络)、Hopfield网络、CMAC小脑模型、ART网络、BAM双向联想记忆网络、SOM自组织网络、Blotzman功能网络和madan 神经网络的连接方式可以将神经网络分为两种形式： (1)如前向网络图所示，神经元分层排列构成输入层、隐含层和输出层。 各层的神经元只接受前一层的神经元的输入。 输入模式经过各层的依次转换后从输出层输出。 各神经元之间不存在反馈。 传感器和误差反向传播网络采用正向网络形式。 地图前馈型神经网络，(2)反馈网络该网络结构从输出层到输入层有反馈，即每个输入节

9、点可能接受来自外部的输入和来自输出神经元的反馈。 该神经网络是一种反馈动力学系统，稳定需要时间。 Hopfield神经网络是反馈网络中最简单、应用最广泛的模型，有联想记忆的功能，如果将Lyapunov函数定义为优秀的函数，Hopfield神经网络也可以解决优秀的问题图中显示了反馈型神经网络，(3)自组织网络的网络结构。 Kohonen网络是最典型的自组织网络。 Kohonen认为，当神经网络接收到来自外部的输入时，网络被分为不同的区域，具有不同的响应特性，即不同的神经元对不同性质的信号激励作出最佳响应，从而形成拓扑特征图这种映射由没有被监视的自适应过程进行，因此也被称为自组织特征图。 Koho

10、nen网络以无教师的学习方式进行权重学习，稳定的网络输出对输入模式生成自然的特征映射，达到自动聚类的目的。 图自组织神经网络，6.4神经网络学习算法神经网络学习算法是神经网络智能特性的重要标志，神经网络通过学习算法实现了自适应、自组织和自学习能力。目前，神经网络的学习算法有很多种，根据教师的有无进行分类，分为有教师学习、无教师学习和再激励学习网络的输出和期望的输出(即教师信号)进行比较，根据两者的差调整网络的权重，最终减小差。 在没有教师的学习方式中，输入模式一进入网络，网络就按照预先设定的规则(比如竞争规则)自动调整权重，使网络最终具有模式分类等功能。 再激励学习是介于这两者之间的学习方式。

11、 图中有指导者指导的神经网络学习，图中没有指导者指导的神经网络学习，最基本的神经网络学习算法：6.4.1 Hebb学习规则Hebb学习规则是联想性学习算法。 生物学家D.O.Hebbian基于生物学和心理学的研究，认为当两个神经元同时处于激发状态时，它们之间的连接强度会增强，因此所论述的数学描述是Hebb学习规则，即连接神经元到神经元的当前权重值和神经元的Hebb学习规则是一种没有教师的学习方法，只是根据神经元链接间的活性化水平改变权重，因此这种方法也称为相关学习或并行学习。 6.4.2 delta ()学习规则误差标准函数，其中向量由网络所有权值组成，表示网络的实际输出(教师信号)，其中：是

12、输入模式： 其中，训练样本数为。 神经网络学习的目的是通过调整权重w使误差基准函数最小化。 权重的调整采用梯度下降法实现，其基本思想是沿着e的负梯度方向不断校正w值，直到e变为最小。 公式如下： 在此，如果命令，w的修正规则将上式称为学习规则，也称为误差修正规则。 神经网络特征和要素1 .神经网络特征神经网络可以是(1)近似于任何非线性函数(2)信息的并行分散处理和存储，(3)可以多输入、多输出，(4)在超大规模集成电路(VISI )和光集成电路系统中的实现，或2神经网络元件确定神经网络模型的性能的三个元件是： (1)神经元(信息处理单元)的特性；(2)改善性能以适应神经元之间互连的形式的拓扑(3)环境的学习规则。 6.6神经网络控制的研究领域，把基于1神经网络的系统识别神经网络作为被识别系统的模型，在已知通常的模型构造的情况下可以估计模型的残奥仪表。 利用神经网络的线性、非线性特性，可以构建线性、非线性系统的静态、动态、逆动态及预测模型，实现非线性系统的建模与识别。 (2)神经网络控制器神经网络作为实时控制系统的控制器，对不确