Python数据挖掘与机器学习第2版 课件 第 9 章 神经网络与深度学习

Python数据挖掘与机器学习第9章神经网络与深度学习第8章聚类本章内容神经网络基础BP神经网络深度学习10十一月20242第

9章神经网络与深度学习3神经网络基础神经网络（NeuralNetwork）最早由心理学家和神经学家开创，旨在寻求开发和检验神经的计算模拟。它是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能模拟生物神经系统对真实世界物体所作出的交互反应。今天的“神经网络”已是一个相当大的、多学科交叉的学科领域。神经网络可以用于分类（预测给定元组的类标号）和数值预测（预测连续值输出）等。人工神经元（简称神经元）是神经网络的基本组成单元，它是对生物神经元的模拟、抽象和简化。现代神经生物学的研究表明，生物神经元是由细胞体、树突和轴突组成的。通常一个神经元包含一个细胞体和一条轴突，但有一个至多个树突。

7.1.1神经元4生物神经元第9章神经网络与深度学习5

1神经元模型神经网络中最基本的成分是神经元（Neuron）模型。生物神经网络中的每个神经元彼此互连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位。如果某神经元的电位超过一个阈值，它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。1943年，美国心理学家麦卡洛克(McCulloch)和数学家皮特斯（Pitts）按照生物神经元的结构和工作原理建立了M-P模型。第9章神经网络与深度学习61神经元模型在M-P模型中，为了使得建模更加简单，以便于进行形式化表达，忽略时间整合作用、不应期等复杂因素，并把神经元的突触时延和强度当成常数。

第9章神经网络与深度学习7第9章神经网络与深度学习8由于累加性，对全部输入信号进行累加整合，相当于生物神经元中的膜电位，其值为：第9章神经网络与深度学习9第9章神经网络与深度学习2感知机与多层网络感知器(Perceptron)由两层神经元组成，如图9-3所示。这个结构非常简单，它其实就是输入输出两层神经元之间的简单连接。10十一月202410第9章神经网络与深度学习10十一月202411感知机（Perceptron）1957年由Rosenblatt提出，是神经网络与支持向量机的基础；输入为特征向量，输出为实例的类别，取+1和-1；感知机对应于输入空间中将实例划分为正负两类的超平面，属于判别模型；导入基于误分类的损失函数；利用梯度下降法对损失函数进行极小化；感知机学习算法具有简单而易于实现的优点，分为原始形式和对偶形式。

7.1.1神经元12第9章神经网络与深度学习

7.1.1神经元13步数操作123重复第2步，直到没有误分类点第9章神经网络与深度学习用神经网络来模拟逻辑代数中的异或运算7.1.2神经网络14第9章神经网络与深度学习用神经网络来模拟逻辑代数中的异或运算代表异或运算的点是线性不可分的，因此无法用感知机模拟，此时可以将三个分布模拟与非、或和与运算的感知机连接在一起，共同完成异或运算。7.1.2神经网络15第9章神经网络与深度学习神经元模型在神经网络中的画法单个神经元只能划分线性可分的二分类点。如果将神经元连接成神经网络，则处理能力会大为增强，这也是神经网络得到广泛应用的原因。7.1.2神经网络16第9章神经网络与深度学习第9章神经网络与深度学习要解决非线性可分问题需要使用多层感知器（多层网络）来解决。多层感知机（MultilayerPerceptron，MLP）除了输入输出层，中间可以有多个隐层。最简单的MLP只含一个隐层，即三层的结构。更一般的，常见的神经网络是形如图9.4所示的机构这样的网络结构通常称为多层前馈神经网络（Multi-layerFeedforwardNeuralNetworks）。10十一月202417第9章神经网络与深度学习2BP神经网络多层网络的学习能力比单层感知机强很多，要训练多层网络，简单的感知机学习规则显然不够，需要更强大的学习算法。误差逆传播（ErrorBackPropagation）算法就是学习算法中的杰出代表。现实任务中使用神经网络时，大多是使用BP算法进行训练。需要注意的是，BP算法不仅可以用于多层前馈神经网络，还可以用于其他类型的神经网络。通常说BP网络时，常指利用BP算法训练的多层前馈神经网络。神经网络可以用于分类（预测给定元组的类标号）和数值预测（预测连续值输出）等。10十一月202418第9章神经网络与深度学习多层前馈神经网络由一个输入层、一个或多个隐层和一个输出层组成，如图9-5所示。它利用后向传播算法迭代地学习用于元组类标号预测的一组权重。10十一月202419第9章神经网络与深度学习后向传播算法后向传播通过迭代地处理训练元组数据集，把每个元组的网络预测与实际已知的目标值相比较进行学习。对于每个训练样本，修改权重使得网络预测和实际目标值之间的均方误差最小。这种修改“后向”进行，即由输出层，经由每个隐层到第一个隐藏层。BP算法的主要思想是把训练过程分为两个阶段：1.第一阶段（正向传播过程）10十一月202420第9章神经网络与深度学习2.第二阶段（反向传播过程）若在输出层不能得到期望的输出值，那么逐层递归地计算实际输出与期望输出的差值，以便根据差值调节权值。BP算法基于梯度下降（GradientDescent）策略，以目标的负梯度方向对参数进行调整。10十一月202421第9章神经网络与深度学习10十一月202422第9章神经网络与深度学习10十一月202423第9章神经网络与深度学习10十一月202424第9章神经网络与深度学习10十一月202425第9章神经网络与深度学习【例9-1】利用后向传播算法学习的样本计算。图9.6给出了一个多层前馈神经网络，令学习率为0.9，第一个训练元组为X={1,0,1}，类标号Y=1。计算每个单元的净输入和输出。10十一月202426第9章神经网络与深度学习（1）随机初始化参数值如表9.1中的数值。（2）根据BP算法中的前馈过程，计算净输入和输出的值，结果如表9.2所示。（3）计算每个结点的误差，结果见表9.3。（4）更新权重和偏倚，结果见表9.4。10十一月202427第9章神经网络与深度学习10十一月202428BP神经网络具有简单易行、计算量小和并行性强的有点，但也存在学习效率低、收敛速度慢等问题。BP神经网络具体有点和缺点如表9-2所示。表9-2BP神经网络的优缺点优点缺点（1）BP算法根据预设参数的更新规则不断调整网络中的参数，能够自适应自主学习；（2）BP神经网络具有很强的非线性映射能力；（3）误差的反向传播所采用的链式法则具有严谨的推导过程；（4）BP算法具有很强的泛化能力。（1）BP神经网络参数众多，每次迭代要更新众多数量的参数，故收敛速度较慢；（2）网络中隐层节点数目设定没有明确的准则，只能通过实验根据网络误差确定最终隐含层节点个数；（3）BP算法是一种快速的梯度下降算法，但对初始参数敏感且容易陷入局部极小值。3深度学习理论上来说，参数越多的模型复杂度越高、容量越大，这意味着它能完成更复杂的学习任务。但一般情形下，复杂模型的训练效率低，易陷入过拟合。随着云计算、大数据时代的到来，计算能力的大幅提高可以缓解训练的低效性，训练数据的大幅增加可以降低过拟合风险。因此，以深度学习（DeepLearning，DL）为代表的复杂模型受到了关注。10十一月2024293深度学习深度学习是机器学习领域中一个新的研究方向。它使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：（1）基于卷积运算的神经网络系统，即卷积神经网络（ConvolutionalNeuralNetwork，CNN）。（2）基于多层神经元的自编码神经网络，包括自编码（AutoEncoder）以及近年来受到广泛关注的稀疏编码两类（SparseCoding）。（3）以多层自编码神经网络的方式进行预训练，进而结合鉴别信息进一步优化神经网络权值的深度置信网络（DBN）。10十一月2024303深度学习常用的深度学习算法常见的深度学习算法主要包括卷积神经网络、循环神经网络和生成对抗神经网络（GenerativeAdversarialNetwork，GAN）等。这些算法是深度学习的基础算法，在各种深度学习相关系统中均有不同程度的应用。10十一月2024313深度学习1.卷积神经网络卷积神经网络（ConvolutionalNeuralNetwork，CNN）是第一个被成功训练的多层神经网络结构，具有较强的容错、自学习及并行处理能力。CNN最初是为识别二维图像形状而设计的多层感知器，局部联结和权值共享网络结构类似于生物神经网络，降低神经网络模型的复杂度，减少权值数量，使网络对于输入具备一定的不变性。经典的LeNet-5卷积神经网络结构图如图9-7所示。10十一月2024323深度学习经典的LeNet-5卷积神经网络包括了输入层、卷积层、池化层、全连接层和输出层。（1）输入层（2）卷积层（3）池化层（4）全连接层（5）输出层10十一月2024333深度学习循环神经网络循环神经网络（RecurrentNeuralNetwork,RNN）是一类以序列数据为输入，在序列的演进方向进行递归且所有结点（循环单元）按链式连接的递归神经网络（RecursiveNeuralNetwork）。之所以是“循环”，是因为其中隐含层结点的输出不仅取决于当前输入值，还与上一次的输入相关，即结点的输出可以指向自身，进行循环递归运算，在处理时间序列相关的场景时效果明显，在分析语音、视频、天气预报、股票走势预测等方面具有突出优势。10十一月2024343深度学习生成对抗网络生成式对抗网络（GenerativeAdversarialNetworks，GAN）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。它解决的问题是从现有样本中学习并创建出新的样本，按照人类对事物的学习过程，逐渐总结规律，而并非使用大量数据训练，所以在新的任务处理中，只需要少量的标记样本就可以训练出高效的分类器。GAN网络模型通过生成模型（GenerativeModel）和判别模型（DiscriminativeModel）的互相博弈学习产生相当好的输出。10十一月202435本章小结神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能模拟生物神经系统会真实世界物体所作出的交互反应

。在机器学习中谈论神经网络时一般指的是“神经网络学习”。感知机感知器的概念类似于大脑基本处理单元神经元的工作原理。感知器具有许多输入（通常称为特征），这些输入被馈送到产生一个二元输出的线性单元中。因此，感知器可用于解决二元分类问题，其中样本将被识别为属于预定义的两个类之一。BP算法基于梯度下降策略，以目标的负梯度方向对网络参数进行调整。现实任务中使用神经网络时，大多是使用BP算法进行训练。BP算法不仅可以用于多层前馈神经网络，还可以用于其他类型的神经网络。通常所说的BP网络指利用BP算法训练的多层前馈神经网络。10十一月202436深度学习的概念源于人工神经网络的研究，含多个隐藏层的