商务智能原理与方法（第三版） 课件 ch12 神经元网络

神经元网络普通高等教育“十一五”国家级规划教材商务智能原理与方法（第三版）第十二章01神经元网络简介神经元网络(NeuralNetwork),又称人工神经元网络(ArtificialNeuralNetwork),是深度学习(DeepLearning)的主要模型。神经元网络最初的灵感来自人脑中处理信号的神经元，生物学研究揭示了人脑由一个个带有突触的神经元连接组成，神经元受到一定的外部刺激而产生信号。商务智能简介从机器学习的角度来看，神经元网络一般可以看作一个非线性模型，其基本组成单元为具有非线性激活函数的神经元，通过大量神经元之间的连接，使得神经元网络成为一种高度非线性的模型。神经元之间的连接权重就是需要学习的参数，可以在机器学习的框架下通过梯度下降方法来进行学习。商务智能简介(1)第一阶段是20世纪40～60年代的控制论，期间提出了许多基本的神经元模型和学习规则。第一阶段(2)第二个阶段大致是1980—1995年，Werbos的反向传播算法的提出重燃了人们对于神经元网络的探索。第二阶段(3)第三个阶段大概是从2006年至今，研究者逐渐掌握了训练深层神经元网络的方法。第三阶段三个阶段商务智能简介02前馈神经元网络神经元(Neuron)是神经元网络的基本单位，与生物神经元的结构类似，接收输入信号进行处理后产生输出。一个复杂的神经元网络正是由多个这样的基础神经元组合而成。典型的神经元结构如图所示。前馈神经元网络神经元2.Tanh函数4.LeakyReLU函数1.Sigmoid函数3.ReLU函数前馈神经元网络激活函数前馈神经元网络(FeedforwardNeuralNetwork,FNN),又叫多层感知机(MultilayerPerceptron,MLP),是一类基础且重要的神经元网络形式。由一个输入层(第一层)、一个或多个隐藏层(中间层)和一个输出层(最后一层)构成，每层由多个神经元构成。前馈神经元网络前馈神经元网络神经元网络中权重参数的学习是通过梯度下降算法，根据任务目标设定相对应的损失函数。在训练数据集上，梯度下降算法通过计算损失函数对权重参数的偏导数，确定学习率α并对权重参数进行不断迭代更新，直至损失函数值收敛达到最优为止。前馈神经元网络进而，可根据先验知识确定好网络结构，设定适当网络层数、节点个数、学习率、激活函数类型等超参数。对于这样的二分类问题，网络的输出层可选择Sigmoid函数作为激活函数，其良好的性质适用于解决此类分类问题。03卷积神经元网络卷积神经元网络(ConvolutionalNeuralNetwork,CNN)是一种专门处理具有类似网格结构数据的神经元网络，其核心是使用了卷积的这一特殊的线性运算方式，常用于处理图像数据(一般将图像转化为二维的像素矩阵)和时序数据等。卷积神经元网络卷积神经元网络最早用于图像处理领域，计算机处理图像数据时，一般将图像转换成由像素点表示的二维矩阵，对于灰度图像用一个二维矩阵表示，若是彩色图像，则表示为分别对应RGB三个颜色通道的三个二维矩阵。卷积层卷积(Convolution)是数学分析中一种重要运算，在信号处理或图像处理中，常使用一维或二维卷积。一维卷积经常用在信号处理领域，用于计算信号的延迟累积。汇聚层

汇聚层(PoolingLayer),早期也翻译为池化层，目前多被称为“汇聚”。汇聚层的作用是进行特征选择，从而降低特征数量和参数数量。卷积神经元网络(2)平均汇聚(MeanPooling):取区域内所有神经元活性值的平均值作为区域代表值。(1)最大汇聚(MaxPooling):选择这个区域内所有神经元的最大活性值作为这个区域的表征。前馈神经元网络常用的汇聚函数有下述两种典型的卷积神经元网络由卷积层、汇聚层、全连接层交叉堆叠而成。如图12-9所示，一个卷积块有连续M个卷积层和N个汇聚层，M通常设置为2～5,N通常为0或1。一个卷积网络中可以堆叠Q个连续的卷积块，然后在后面接着K个全连接层，Q的取值区间比较大，如1～100或者更大，K一般为0～2。前馈神经元网络卷积神经元网络结构早在20世纪90年代，基于LeNet-5的手写数字识别系统就被美国多家银行用以识别支票上的手写数字。AlexNet²80是第一个现代深度卷积神经元网络模型，首次使用了很多现代深度卷积神经元网络的技术方法，如使用GPU进行并行训练，采用ReLU作为非线性激活函数，使用Dropout防止过拟合等。在AlexNet后还出现了很多优秀的卷积神经元网络，如VGG网络287,Inceptionv1、v2、v4网络288,289,290和残差网络(ResidualNetwork)²911等。前馈神经元网络典型卷积神经元网络04循环神经元网络循环神经元网络(RecurrentNeuralNetwork,RNN)是一种具有短期记忆能力，用于处理序列数据的代表性神经元网络模型。在一般的前馈神经元网络中，信息是从输入层到隐藏层到输出层的单向传播，层与层之间有全连接，一层中的节点是无连接的。循环神经元网络典型卷积神经元网络在循环神经元网络中，隐藏层的输出不仅与上一层的输入相关，更重要的是还与上一时刻当前层的输出相关，这样的操作保留了之前的序列信息，实现了网络对之前信息的记忆功能。理论上，循环神经元网络可以对任意长度的序列进行处理。在实际应用中，循环神经元网络非常适合处理语句序列，在自然语言处理的相关任务上表现出优越的性能。循环神经元网络的参数学习方法依旧采用梯度下降方法，由于存在一个被递归调用的函数，参数学习过程与前馈神经元网络略有不同，常采用随时间反向传播算法和实时循环学习的梯度下降算法。循环神经元网络的最基本假设便是当前的状态与当前的输入与上一时刻的状态都有关。简单循环神经元网络基本结构如图所示。循环神经元网络循环神经元网络基础结构图为LSTM的循环单元结构，其计算过程为：首先，利用上一时刻的外部输出值S,;和当前时刻的输入值x₁,计算出三种门a,、b和c,及候选状态五；其次，结合遗忘门a₁和输入门b,来更新当前的记忆单元h;最后，根据输出门c₁,将内部的状态信息传递给外部输出值s。长/短期记忆网络(LongShort-TermMemoryNetwork,LSTM)是循环神经元网络的一个变体，可以有效地解决简单循环神经元网络的长期依赖问题。相比于简单循环神经元网络，其变化主要体现在引入门控机制对隐藏层状态的计算方式进行改进。循环神经元网络长/短期记忆网络门控循环单元(GatedRecurrentUnit,GRU)网络是一种比LSTM更简单的门控循环神经元网络，其参数更少，训练收敛速度更快。GRU网络利用门控机制来控制信息的传递方式，与LSTM不同的是，GRU网络不引入额外的记忆单元，采用更新门的方法来控制当前状态需要从历史状态中保留多少信息，以及需要从候选状态中接收多少信息。循环神经元网络门控循环单元网络05注意力机制神经元网络所能处理的信息量大小一般与其网络复杂度、节点个数和参数数量等成正相关关系，但是计算资源往往是有限的，一味增大模型规模并不现实。为了减少计算复杂度，借鉴生物神经元网络的一些机制，可以引入局部连接、权重共享及汇聚操作来简化神经元网络结构。虽然这些机制可以有效缓解模型的复杂度和表达能力之间的矛盾，但是实际应用过程依然希望在不“过度”增加模型复杂度的情况下来提高模型的表达能力。注意力机制01020304(1)加性模型(3)缩放点积模型(2)点积模型

(4)双线性模型注意力机制s(x,q)表示注意力分布计算函数，一般可采用以下方式进行计算。多头注意力模型在多头注意力模型中，一般用键值对的形式来表示输入信息，其中键用来计算注意力分布，值用以计算最终的聚