人工智能通识基础与应用课件

第3章神经网络人工智能通识基础与应用目录3.4前馈神经网络63认知计算3.2神经网络信息处理的基本原则3.1神经网络概述3.3感知机63认知算3.1

神经网络概述3.1神经网络概述3.1.1神经网络简介

神经网络(NeuralNetwork,NN)也称人工神经网络，

是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。神经网络一般可以分为四种类型：前馈型、反馈型、随机型和自组织竞争型。

神经网络的起源可以追溯到20世纪40年代，由心理学家沃伦·麦卡洛克（W.S.McCulloch）和数学家沃伦·皮茨（W.Pitts）提出的McCulloch-Pitts神经元模型。石灰窑炉的神经网络系统辨识3.1神经网络概述3.1.2神经网络的发展历史第一个阶段———初始发展期(20世纪40年代至60年代)1943年,美国神经生理学家麦克洛奇和数理逻辑学家皮兹建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了神经网络研究的时代。1944年，心理学家赫布(D.O.Hebb)提出了改变神经元间连接强度的Hebb定律，该定律至今仍在各种神经网络模型中起着重要的作用。20世纪60年代，神经网络得到了进一步发展，更完善的神经网络模型被提出,其中包括感知机和自适应线性元件等。3.1神经网络概述3.1.2神经网络的发展历史第二个阶段———低谷期(20世纪60年代末至70年代末)

明斯基（Minsky）等人仔细分析了以感知机为代表的神经网络系统的功能及局限后，于1969年出版了Perceptron一书，指出感知机不能解决高阶谓词问题。他们的论点极大地影响了神经网络的研究,加之当时串行计算机和人工智能所取得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使神经网络的研究处于低潮。在此期间,一些神经网络的研究者仍然致力于这一研究，提出了适应谐振理论、自组织映射、感知机网络，同时进行了神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。第三个阶段———兴盛期(20世纪80年代至今1982年,美国物理学家霍普菲尔德(J.J.Hopfield)提出了Hopfield神经网格模型，引入了“计算能量”的概念，给出了网络稳定性判断。1984年，他又提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作。1985年，有学者提出了玻耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点。1986年，鲁梅哈特等发展了误差反向传播算法，也称BP算法。2006年，深度学习的概念被提出，卷积神经网络（CNN）和循环神经网络（RNN）等更复杂的神经网络结构被开发出来，极大地推动了神经网络在图像识别、自然语言处理等领域的应用。2012年，AlexNet在ImageNet竞赛中取得突破性成果，标志着深度学习时代的到来。3.2神经信息处理的基本原理3.2神经信息处理的基本原理神经网络是由大量处理单元组成的非线性大规模自适应动力系统。它试图通过模拟大脑神经网络处理、记忆信息的方式设计出一种新的机器，使之具有人脑那样的信息处理能力。大脑神经信息处理是由一组相当简单的单元通过相互作用完成的。每个单元向其他单元发送兴奋性信号或抑制性信号。单元表示可能存在的假设，单元之间的相互连接则表示单元之间存在的约束。这些单元的稳定的激活模式就是问题的解。1986年，鲁梅哈特、麦克莱兰(J.J.McClelland)共同提出了并行分布处理(ParallelDistributedProcessing，PDP)模型的八个方面。（1）一组处理单元。（2）单元集合的激活状态。（3）各个单元的输出函数。(4)单元之间的连接方式。（5）通过连接网络传送激活模式的传递规则。（6）把单元的输入和它的当前状态结合起来，以产生新激活值的激活规则。（7）通过经验修改连接模式的学习规则。（8）系统运行的环境。3.2神经信息处理的基本原理任何一种并行激活模型都是从一组处理单元着手建立起来的。指定一组处理单元，并指定单元所表达的内容，是建立一个PDP模型应采取的第一个步骤。一个单元的工作，仅仅是接收来自相邻单元的输入，并作为这些输入的一个函数，计算它传送给相邻单元的输出。系统本质上是并行的，因为许多单元同时进行着计算。另外在任何一个要建立模型的系统中，把单元分成输入单元、输出单元和隐单元三类。处理单元激活状态除确定一组处理单元外，还必须把系统在时刻t的状态表达清楚。系统的状态由一个N维时间向量a(t)指定，它表示处理单元集上的激活模式。每一个分量则表示对应单元在时刻t的激活值。单元ui在时刻t的激活值为ai(t)。正是单元集上的激活模式刻画了系统在时刻t所表示的对象。不同的模型对其单元激活值的取值范围不尽相同。激活值可以是连续的，也可以是离散的。3.2神经信息处理的基本原理单元之间存在着相互作用，这是由相邻单元之间的信号传送造成的。信号的强度即它们对相邻单元影响的大小，取决于单元激活值的大小。每一个单元都有一个输出函数

，它将单元的当前激活值映射成一个输出信号。在向量表示法中,用

表示当前输出值的集合。单元输出连接模式在许多情况下可以假定每个单元都向它连接的单元提供一个可加性输入，因此一个单元的总输入就是从各单元发出的各独立输入的加权和，即该单元的总输入等于和它相连的各个单元的输入乘以相应的权值之和。只要确定了系统中各个连接的权值，就能表示出整个连接模式。3.2神经信息处理的基本原理传递规则激活规则把输出向量

(它表示若干个单元的输出值)和连接矩阵结合起来，使各类输入进入单元以产生净输入的规则，称为传递规则。单元

的第

类净输入记为

。传递规则通常是直截了当的。例如，假定有两类连接，即兴奋性连接和抑制性连接，那么净抑制性输入由

给出。对于更复杂的连接模式，一般需要使用更复杂的传递规则。激活规则把某一特定单元的各类净输入互相结合起来，再和该单元的当前状态结合起来，以产生一个新的激活状态的规则，称为激活规则。规则用F表示。全部是同一类连接时的且是恒等激活规则可写为：

F是阈值函数时：3.2神经信息处理的基本原理学习规则激活规则工作环境PDP模型的所有学习规则都是赫布学习规则的某种派生形成的。赫布学习规则的基本思想是,如果一个单元

接收从另一个单元

来的输入，那么当这两个单元都激烈活动时，从

到

的权值

就应当增大。赫布学习规则的一般形式为：任何一种PDP模型，至关重要的一点是对它所处的工作环境要有一个清晰的模型。在PDP模型中,一般是用输入模式空间上的一个时变随机函数来表达环境的。也就是说，在任一时刻，任何一个可能的输入模式都会以某个概率进入输入单元。典型的情况是，对可能的输入模式集合使用一个和系统以往输入及响应无关的、稳定的概率分布，来刻画环境特性。3.3

感知机3.3感知机3.3.1基本神经元感知机也称人工神经元，是神经网络的基本处理单元。右图是一个基本的神经元结构，从外部环境或其他神经元的输出构成输入向量

，其中为其他神经元的输出或兴奋水平。连接两个神经元的可调值称为权值或长期记忆。所有和神经元相连接的权值构成向量

，其中

代表处理单元

和

之间的连接权值。

此时时神经单元的计算过程可以表示为：或者用数学符号写成：3.3感知机3.3.2感知机模型感知机模型由输入层和输出层两层构成，不失一般性，可以假设输出层仅有一个神经元。感知机模型如下图所示。外界信号经过加权后输入最后一个单元，若不小于偏置，则输出为１，否则输出为－１。设网络输入模式向量

，对应的期望输出为

，由输入自输出的权值向量为

，网络按照以下策略进行学习。给定一个数据集：

如果存在某个超平面

，能够将数据集的正实例和负实例完全正确地划分到超平面的两侧，则称数据集为线性可分数据集(LinearSeparableDataset)；否则，称数据集线性不可分。3.3感知机3.3.2感知机模型感知机学习算法是误分类驱动的，具体采用随机梯度下降算法。由于采用不同的初始值或选取不同的误分类点(因为在选取误分类点的时候是随机选取的)，因此最终解可以不同。

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。除了确定感知机模型的参数

之外，还需要确定一个学习策略。3.4

前馈神经网络3.4前馈神经网络3.4.1前馈神经网络模型前馈神经网络简称前馈网络，是人工神经网络的一种。前馈神经网络采用一种单向多层结构，其中每一层包含若干个神经元。在此种神经网络中，各神经元可以接收前一层神经元的信号，并产生输出到下一层。第0层称为输入层，最后一层称为输出层，其他中间层称为隐层或隐藏层、隐含层。隐层可以是一层，也可以是多层。整个网络中无反馈，信号从输入层向输出层单向传播，可用一个有向无环图表示。3.4前馈神经网络3.4.2误差反向传播算法基本思想：对一定数量的样本对(输入和期望输出)进行学习，学习过程由信号的正向传播与误差的反向传播两个过程组成，即将样本的输入送至网络输入层的各个神经元，经隐层和输出层的计算后，输出层各个神经元输出对应的预测值。若预测值和期望值之间的误差不满足精度要求，则从输出层反向传播该误差，从而进行权值和阈值的调整，使得网络的输出和期望输出间的误差逐渐减小，直至满足精度要求。优点：理论依据坚实、推导过程严谨、物理概念清楚、通用性强等。缺点：收敛速度缓慢、易陷入局部极小等。误差反向传播算法也称BP算法。直到今天，BP算法仍然算得上是自动控制上最重要、应用最多的有效算法。它还是用于多层前馈神经网络训练的著名算法。3.4前馈神经网络3.4.2误差反向传播算法BP算法包括以下两个过程输入样本输入层各隐层（处理）输入层输出误差隐层（逐层）输入层

正向传播过程

误差反向传播过程3.4前馈神经网络3.4.2误差反向传播算法初始化输入训练样本对，计算各层输出计算网络输出误差计算各层误差信号调整各层权值训练结束检查网络误差精度NYBP算法有以下四点不足：易形成局部极小而得不到全局最优。训练次数多使得学习效率低下,收敛速度慢(需做大量运算)。隐节点的选取缺乏理论支持。训练时学习新样本有遗忘旧样本的趋势。3.4前馈神经网络3.4.2误差反向传播算法关于BP算法，有以下几点需要注意：在更新权值时，之所以需要取反，是因为要更新误差函数极小值的方向而不是极大值的方向。结果可能会收敛到极值，如果有且只有一个极小值，梯度下降的“爬山”策略一定可以起作用。然而，误差曲面往往有许多局部最小值和最大值。如果梯度下降的起始点恰好介于局部最大值和局部最小值之间，则沿着梯度下降最大的方向会到达局部最小值。通过反向传播来获得收敛，速度很慢。反向传播学习不需要输入向量的标准化，但标准化可提高性能。隐层神经元个数对BP神经网络的性能影响较大。若隐层神经元的个数较少，则网络不能充分描述输出和输入变量之间的关系；相反，若隐层神经元的个数较多，则会导致网络的学习时间变长，甚至会出现过拟合的问题。一般地，确定隐层神经元个数的方法是在经验公式的基础上，对比隐层不同神经元个数对模型性能的影响，从而进行选择。3.4前馈神经网络3.4.3误差反向传播算法的若干改进上述的BP算法存在以下缺点