2.2 神经网络-课件

智能控制概论中国石油大学（华东）2023.9目录CONTENTS一神经网络理论基础神经网络的结构和特点神经网络学习二三231.神经网络理论基础

人工神经网络（ArtificialNeuralNetworks，ANNs），简称为神经网络（NNs）或称作连接模型（ConnectionistModel），以对大脑的生理角度的研究成果为基础，对动物或自然神经网络若干基本特性进行抽象和模拟。通俗地讲，神经网络是对生物神经系统功能的模拟而非结构的模拟。国际著名的神经网络研究专家Hecht—Nielsen给人工神经网络下的定义是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，通过对连续或断续的输入作状态响应而进行信息处理。”41.神经网络理论基础

生物神经元结构-人脑作为人类意识和思维的特殊器官，具有着复杂的高度完善的结构。现代科学证明，人的脑主要由两类细胞组成：神经细胞和神经胶质细胞。

-神经细胞，又称神经元，是脑神经组织的结构和功能单位。神经元由胞体和突起构成。神经胶质细胞分布在神经元之间，没有传导冲动的功能，对神经元起着保护、营养、支持等作用。

51.神经网络理论基础

生物神经元结构-人脑大约包含了1000亿个神经元，每个神经元分别与1000个其它神经元相互连接，形成精细复杂又灵活多变的神经网络，人类复杂的生理活动、语言、记忆、情感等等都要由这些神经元一一掌控。

-人脑具有四个固有特性：（1）并行多层分布处理的工作模式；（2）神经系统的可塑性和自组织性；（3）神经系统的系统性；（4）信息分布式记忆。

61.神经网络理论基础

生物神经元结构-神经元是神经系统结构和功能基本单位，典型的神经元结构如图所示。

基本结构包括细胞体（Soma）树突（Dendrites）轴突（Axon）三部分。71.神经网络理论基础视网膜的信息处理机制

光感受器细胞将光波所携带的自然图像信息转变成神经元电信息双极细胞对自然图像信息进行空间和时间上的整合神经节细胞以动作电位方式，将信息通过细胞轴突所形成的视神经纤维向外侧膝状体传递。改变突触释放的递质量，信息向双极细胞和水平细胞传递突触囊泡受体K+Na+K+81.神经网络理论基础

人工神经元结构-神经元作为神经网络信息处理的基本单位，模拟生物神经元传递信息所具有的多输入、单输出非线性特性。-1943年McCulloch和Pitts提出了MP神经元模型。MP神经元模型模拟了生物神经元的基本结构和信息处理机制。

MP神经元模型生物神经元结构91.神经网络理论基础

人工神经元结构MP神经元模型生物神经元结构输入输出关系：从其它神经元传来的输入信号；从其它神经元到该神经元的连接权值；为该神经元激活阈值；为神经元输出；为输出变换函数，一般为非线性函数，也可以称为激励函数、响应函数等。101.神经网络理论基础

人工神经元结构MP神经元模型的激发函数MP神经元模型将每一个神经元看作二进制阈值元件，其输出为“0”或“1”，分别表示“抑制”或“兴奋”两种状态，输出为(b)激励函数111.神经网络理论基础

人工神经元结构

-MP神经元模型真实的模拟了生物神经元吗？（1）每个神经元都是一个多输入单输出的信息处理单元（模拟）（2）神经元输入分兴奋性输入和抑制性输入两种类型（模拟）（3）神经元具有空间整合特性和阈值特性（模拟）（4）时间整合作用（未模拟）（5）突触传递的不应期（未模拟）121.神经网络理论基础

人工神经元结构2017年3月9日，UCLA的JasonMoore在Science的文章表明：神经元中树突产生的响应是胞体产生响应的近10倍；

执行的是模拟和数字的混合计算；这为构建新的神经元模型提供了生物学启发。-MP神经元模型真实的模拟了生物神经元吗？131.神经网络理论基础

人工神经元结构Dropout神经元模型

允许神经元具有

p的概率与下一层神经元相连。是否存在其他神经元模型模拟生物神经元？MP神经元模型带Dropout的神经元模型141.神经网络理论基础

人工神经元结构

-常用的激励函数：

常用的几种激励函数（1）（2）（1）饱和型函数（2）Sigmoid函数151.神经网络理论基础

人工神经元结构

-常用的激励函数：

（3）（4）（3）双曲正切函数（4）高斯函数161.神经网络理论基础

人工神经元结构

-常用的激励函数还包括？ReLU函数:深度神经网络采用的激励函数

（1）计算简单，不涉及指数运算

;

（2）无梯度损失;

（3）输入小于0的所有神经元的输出为0，促进了网络的稀疏性，使得网络更加的简单。

171.神经网络理论基础

人工神经元结构

-常用的激励函数还包括？ReLU函数:深度神经网络采用的激励函数

（1）计算简单，不涉及指数运算

;

（2）无梯度损失;

（3）输入小于0的所有神经元的输出为0，促进了网络的稀疏性，使得网络更加的简单。

181.神经网络理论基础

人工神经元结构

-如果不用激励函数会怎样？如果不用激励函数，输出是输入的线性函数。191.神经网络理论基础

神经网络

-加拿大McMaster大学的SimonHaykin教授认为“神经网络是由简单的信息处理单元组成的巨量并行处理、平行计算和分布式存储的处理器，具有存储经验知识并利用有用知识处理问题的功能，可以把神经网络看成是一个自适应系统。”

这个定义包含了几层含义：（1）神经网络是对大脑的一种描述，可以看成一个数学模型或一种数值算法，可以用电子线路或计算机程序来模拟实现；201.神经网络理论基础

神经网络

-含义：（1）神经网络是对大脑的一种描述，可以看成一个数学模型或一种数值算法，可以用电子线路或计算机程序来模拟实现；（2）神经网络的每个基本组成单元—神经元的特性非常简单，神经元之间高度互连实现并行处理而表现出的群体特性是非常复杂，甚至是混沌的；（3）利用神经网络通过学习过程可以从周围环境获取知识，中间神经元的连接强度（权值）用来表示存贮的知识。212.神经网络的结构和特点

神经网络的结构按照神经元连接方式可分成前馈网络和反馈网络。（1）前馈网络（Feed-forwardNetworks）单层前馈网络多层前馈网络222.神经网络的结构和特点（1）前馈网络多层前馈网络多层前馈网络一般分为输入层、隐含层（或称中间层，可以有若干层）和输出层。网络从输入层到输出层通过单向连接流通，前后相邻两层之间神经元是相互全连接，从上一层接收信号输送给下一层神经元，同层的神经元之间没有连接，各神经元之间也没有反馈。前馈网络是一种静态的非线性映射，大部分前馈网络都是学习网络，比较适用于模式识别、分类和预测评价问题。232.神经网络的结构和特点（1）前馈网络典型的多层前馈网络有:多层感知器（MLP）误差反向传播网络（BP）径向基函数神经网络（RBF）学习向量量化网络（LVQ）

卷积神经网络（CNN）242.神经网络的结构和特点（2）反馈（递归）网络（RecurrentNetworks）反馈网络和前馈网络的区别主要在于神经元输出至少有一条反馈回路，信号可以正向或反向流通。反馈网络由于有反馈回路的存在，对神经网络的学习能力和决策都产生很大影响，需要一定的时间才能达到稳定。252.神经网络的结构和特点人工神经网络具有以下突出的优点：（1）神经网络可以充分逼近任意复杂的非线性函数。（2）神经网络具有分布式信息存贮特点，有很强的鲁棒性和容错性。（3）神经网络具有巨量信息并行处理和大规模平行计算能力。（4）神经网络具有自组织、自学习功能，是自适应组织系统。262.神经网络的结构和特点神经网络的研究主要包括：

-神经网络基本理论研究

-神经网络模型的研究

-神经网络应用研究

-神经网络及其融合应用技术273.神经网络学习1．学习方式“学习”是指在外界环境激励作用下，神经网络的连接权值不断调整适应的过程。神经网络最显著的特点是具有从周围环境中学习，并通过学习改进其行为的能力。这种行为改进方式是和学习算法密切相关。

学习算法是指一系列事先定义好的解决学习问题的规则，它决定了如何调整神经网络连接权值的方式。在神经网络设计中学习算法是和网络模型选择相对应的，学习算法不是唯一的，其数量难以统计，它们有各自的适应范围和优缺点。

283.神经网络学习1．学习方式

神经网络的学习方式按照有无导师指导可以分成有教师学习和无教师学习。（1）有教师学习（Learningwithateacher）设计训练过程由教师指导，提供一系列的期望输入－输出作为训练样本。通过期望输出与实际输出之间的误差不断地调整网络连接强度，直到达到满意的输入－输出关系为止。293.神经网络学习1．学习方式（2）无教师学习（Learningwithoutateacher）

-与有教师学习过程中由教师提供期望或目标输出信号相对应，无教师学习没有目标输出。

-无教师学习可以分成无监督学习(UnsupervisedLearning)和增强学习(ReinforcementLearning)方式。

-无监督学习方式在训练过程中没有期望输出信息和评价机制，神经网络根据所提供输入数据集，自动地调整适应连接权值，按照输入数据统计规律把相似特征输入模式自动分类。

303.神经网络学习1．学习方式（2）无教师学习（Learningwithoutateacher）

-无监督学习方式通常采用竞争式学习规则，常用的无监督学习算法包括自适应谐振理论(ART)和Kohonen算法等。313.神经网络学习1．学习方式（3）增强学习（ReinforcementLearning）

-增强学习方式采用一个评价函数实现给定输入对应神经网络输出趋向评价，获得策略的改进，它是一种以环境的反馈为输入的适应环境的机器学习方法，其在线学习和自适应学习的特点使其成为解决策略寻优问题有力的工具。增强学习算法主要有遗传算法、免疫算法和DNA软计算等。323.神经网络学习2．学习算法

-学习算法涉及最优化理论、计算方法和信号处理等领域，-除了一些基本的算法之外，还可以结合具体问题对经典算法作些改进或者从其它领域借鉴，例如遗传算法、模拟退火算法、扰动算法和粒子群算法(ParticleSwarmOptimization)等。

-神经网络的学习算法在神经网络研究占着非常重要的地位，直接关乎神经网络的学习、自适应和非线性拟合等能力。-下面介绍几种神经网络中常用的学习规则。333.神经网络学习2．学习算法（1）误差修正规则（Error-CorrectionLearning）误差修正规则也称为Delta学习规则，是有教师学习。Delta学习规则示意图

343.神经网络学习2．学习算法（1）误差修正规则（Error-CorrectionLearning）目标函数常用均方误差表示，定义为误差修正学习的目的是如何调整权值使目标函数达到最小，将输出神经元的实际输出在统计意义上最逼近于期望输出。353.神经网络学习2．学习算法（2）Hebb学习规则（HebbianLearning）

-1949年心理学家D.O.Hebb在《行为组织》一书中提出该算