第11章人工神经网络

Part1第11章人工神经网络目录11.1神经网络概述11.2神经元的数学模型11.3感知器11.4多层感知器11.5BP神经网络11.7循环神经网络（RNN)11.8Transformer11.6卷积神经网络（CNN)第11章人工神经网络11.1神经网络的基本概念和结构神经网络可以定义为基于人脑的推理模型。大脑由密集的相互连接的神经细胞或基本信息处理单元(也叫神经元)组成。人脑大约有100亿个神经元，之间连接形成的突触有60万亿个(ShepherdandKoch,1990)。通过同时使用多个神经元，大脑执行任务的速度远远超过现在最快的计算机。神经网络通常由输入层、隐藏层和输出层组成。信号在神经元之间的传递是通过复杂的电化学反应实现的。从突触中释放出的化学物质导致细胞体电压发生变化。当电压达到阈值，就会通过轴突向下传送一个电脉冲(动作电位)。脉冲传播并最终到达突触、使突触的电压增加或减少。但是，最有意思的发现是神经网络表现出一定的可塑性。为了和刺激的模式相适应，神经元在连接处的强度有长期的变化。神经元也可以上其他神经元形成新的连接。甚至整个神经元的集合都可以从一个地方搬到另一个地方。这些机制就是大脑学习的基础。学习是生物神经网络的基础和本质特征。这种简单、自然的方式使得在计算机中模拟生物神经网络的尝试成为可能。人工神经网络（ArtificialNeuralNetwork，简称ANN）是一种模仿生物神经网络的计算系统，由大量简单且高度互连的神经元所组成。其基本原理是模拟人脑中神经元之间的相互连接和信息传递，通过调整连接权重和神经元的激活函数来实现对输入数据的处理和学习，以达到对目标任务的逼近或优化。第11章人工神经网络11.1.1神经网络的基本结构神经网络通常由输入层、隐藏层和输出层组成。如右图所示。输入层：接收输入特征，每个神经元对应一个特征。输入层的神经元数量取决于输入数据的特征数量。例如，在一个图像识别任务中，如果图像被表示为一个100×100的像素矩阵（将其展平为一个10000维的向量），那么输入层就有10000个神经元，用来接收这些像素值作为输入。隐藏层：隐藏层位于输入层和输出层之间。每个隐藏层中的神经元接收上一层神经元的输出作为输入，并通过激活函数进行计算。激活函数可以引入非线性因素。输出层：输出层的神经元数量取决于任务的输出类别数量或输出值的维度。例如，在一个二分类任务（如判断邮件是否为垃圾邮件）中，输出层有1个神经元，输出值可以表示为属于某一类别的概率（通过Sigmoid函数将输出映射到0-1之间）；在一个多分类任务（如手写数字识别，有10个类别从0-9）中，输出层有10个神经元，通过Softmax函数可以将输出转换为每个类别对应的概率分布。典型的人工神经网络结构11.1.2神经网络的训练算法损失函数是用于衡量神经网络的输出结果与真实标签之间的差异，是训练神经网络的优化目标。通过最小化损失函数的值，可以使网络的输出结果尽可能接近真实标签。常见损失函数有均方误差损失（MeanSquaredError，MSE）：常用于回归问题，计算公式为交叉熵损失（Cross-EntropyLoss）：常用于分类问题，对于二分类问题，交叉熵损失函数为对于多分类问题，交叉熵损失函数为损失函数的优化算法主要有：梯度下降法，随机梯度下降法，批量梯度下降法，小批量梯度下降法，动量优化算法，自适应学习率优化算法等。第11章人工神经网络。11.2神经元的数学模型神经元接收来自输入链接的一些信号，计算新的激活水平，并将其作为输出信号通过输出链接进行传送。输入信号可以是原始数据或其他神经元的输出。输出信号可以是问题的最终解决方案，也可以是其他神经元的输入信号。神经元计算带权重的输人信号之和，并将此结果和阈值Θ比较。如果网络的净输入比阈值低，神经元输出-1，如果网络净输入大于或等于阈值，则神经元激活并输出+1。在已经测试的激活函数中，仅有几个在实际中得到了应用。4个常用的激活函数（阶跃函数，符号函数、S形函数和线性函数）如下图所示。

神经元的激活函数第11章人工神经网络。11.3感知器感知器是人工智能和机器学习领域的基础模型之一，由弗兰克·罗森布拉特(FrankRosenblatt)于1958年提出。它是最早的神经网络模型，主要用于解决二分类问题。感知器的提出为后来的深度学习和神经网络的发展奠定了基础。感知器通过细微地调节权重来减少感知器的期望输出和实际输出之间的差别，可以完成这一任务。初始权重可以随意赋值，通常在范围[-0.5，0.5]内，然后通过训练实例进行调整。感知器只有输出层神经元进行激活函数处理，即只拥有一层功能神经元，其学习能力十分有限。有些逻辑运算(与、或、非问题)可以看成线性可分任务。若两类模式是线性可分的，即存在一个线性超平面能将它们分开，则感知器的学习过程一定会收敛而求得适当的权向量w;否则感知机学习过程会发生振荡，w难以稳定下来，不能求得合适的解。因此可以为感知器找到一组权值和值，实现逻辑操作。感知器的基本结构第11章人工神经网络。11.4多层感知器多层感知器（MultilayerPerceptron，MLP）是一种前馈人工神经网络，它包含多个神经元（感知器）的层。除了输入层和输出层之外，它还具有一个或多个隐藏层，这使得它能够学习非线性的复杂函数关系，是深度学习的基础模型之一，广泛应用于分类、回归、图像识别、自然语言处理等领域。多层感知器的工作原理可分为前向传播和反向传播两种模式。在前向传播过程中数据从输入层进入网络，通过各层之间的权重和激活函数的计算，逐步向前传递，最终在输出层得到输出结果。反向传播是一种用于训练多层感知器的算法。它的基本思想是根据输出层的误差，反向计算每一层的误差，并更新各层的权重和偏置。具有两个隐藏层的多层感知器第11章人工神经网络。11.5BPANNBPANN即反向传播人工神经网络（Back-PropagationArtificialNeuralNetwork）。它是一种广泛应用的神经网络模型。本质上，BPANN是一种有监督的机器学习模型，通过学习输入数据和对应的输出标签之间的关系来构建模型。它由多个神经元组成，这些神经元按照层次结构排列，包括输入层、一个或多个隐藏层和输出层。BPNN的结构如下图所示。BPANN的基本网络结构BPANN（反向传播人工神经网络）是一种前馈神经网络，通过反向传播算法进行训练。它由输入层、一个或多个隐藏层和输出层组成，各层之间的神经元是全连接的。BPANN的核心在于通过反向传播算法调整网络的权重，以最小化网络输出与真实标签之间的误差。BPANN的工作过程可分为前向传播、损失计算、反向传播以及迭代训练四个主要过程，其原理简要介绍如下。1、前向传播是将输入数据传递通过网络以生成输出的过程。首先初始化网络权重和偏置，每个连接权重和偏置初始化为一个小的随机数；其次，将原始特征数据传递到输入层；然后，通过加权求和和激活函数处理计算每个隐藏层神经元的输出；最终通过类似的方式计算得到输出层的输出。2、损失函数用于评估模型输出与真实目标之间的差异，其常见损失函数见人工神经网络中所介绍，为均方误差损失函数和交叉熵损失函数两种。3、反向传播可通过计算梯度来更新网络权重。将损失函数计算的输出层误差从输出层向隐藏层和输入层逐层反向传播，计算每个连接的权重梯度。4、迭代训练：①多次迭代：通过多次遍历训练集，逐步调整权重，直到损失函数收敛至可接受的水平。②批量训练：将数据集分成小批量，每次用一小部分数据进行前向传播和反向传播，以提高训练效率和稳定性。

第11章人工神经网络。11.6CNN卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种专门为处理具有网格结构数据（如图像、音频）而设计的深度学习模型。CNN的设计灵感来自于对生物视觉系统的研究，它通过卷积层、池化层和全连接层等组件，自动提取数据的特征，在图像识别、目标检测、语义分割等众多领域取得了巨大的成功。CNN的基本结构包括输入层、多个隐藏层和输出层。隐藏层通常由卷积层、激活层、池化层和全连接层组成。如下图所示。CNN网络的基本结构卷积神经网络（CNN）是一种深度学习模型，其工作原理基于以下几个关键层：（1）卷积层（ConvolutionalLayer）：卷积层是CNN的核心，用于提取图像的局部特征。卷积操作通过一个称为卷积核（或滤波器）的矩阵在输入数据上滑动，并计算卷积核与输入数据的点积。（2）池化层（PoolingLayer）：池化层的主要目的是对卷积层输出的特征图进行下采样，减少数据的维度，同时保留重要的特征信息。最大池化是在一个小的区域（如2×2的窗口）内选取最大值作为输出。平均池化则是计算这个小区域内的平均值作为输出。（3）全连接层（FullyConnectedLayer）：全连接层将卷积层和池化层提取的特征展平为一维向量，并通过多层神经网络进行分类或回归。1362534026578348561237079010101010

输入卷积核132011221615281418卷积结构（步长为1）2220281817.7515.52015.75最大池化平均池化第11章人工神经网络。11.7RNN（LSTM）循环神经网络（RecurrentNeuralNetwork，RNN）是一类用于处理序列数据的神经网络。与传统的前馈神经网络不同，RNN具有循环连接，使得它能够在处理序列中的每个元素时，利用之前处理过的元素的信息。例如，在处理自然语言句子时，它可以根据前面的单词来理解后面单词的含义。一个RNN单元主要包括输入层、隐藏层和输出层。如下图所示。当处理一个长度为T的序列时，RNN可以在时间维度上展开。在这种展开的视图中，可以更清楚地看到RNN如何在每个时间步处理输入并更新隐藏状态。例如，对于一个句子中的单词序列，RNN会逐个单词地处理，并且在处理每个单词时，都考虑之前单词的信息积累在隐藏状态中。循环神经网络结构

11.7.1RNN的训练过程

设输入序列为

，其中T是序列长度，对于每个时间步t，输入是一个向量

，维度为d。隐藏状态序列为

，初始隐藏状态

通常被初始化为零向量或者随机向量。隐藏状态

的维度为n。输出序列为

，输出

的维度为m。则RNN单元内部计算过程如下：在每个时间步t，输入与上一个时间步的隐藏状态通过线性变换和激活函数来更新隐藏状态。具体公式为：对于时间步t=1，

，

，y1经过softmax函数后可以得到单词在词汇表中的概率分布，用于预测下一个单词。对于时间步t=2，

，其中

h1是上一个时间步得到的隐藏状态，以此类推，直到处理完整个序列。

11.7.2RNN的变体升级——LSTM

长短期记忆网络（LongShort-TermMemory，LSTM）是循环神经网络（RNN）的一种变体，它在处理序列数据方面表现出色。

LSTM的结构：细胞状态（CellState）：LSTM的核心是细胞状态，它就像一个传送带，贯穿整个LSTM单元的顶部。细胞状态可以在序列的不同时间步之间传递信息，它能够选择性地保存和更新信息，从而实现对长期依赖关系的建模。如下所示为长短时记忆网络结构。门控机制遗忘门（ForgetGate）：遗忘门决定了要从细胞状态中丢弃哪些信息。输入门（InputGate）：输入门负责决定要将哪些新信息添加到细胞状态中。输出门（OutputGate）：输出门决定了当前时间步的隐藏状态应该输出什么信息。长短期记忆网络结构第11章人工神经网络11.8Transformer11.8.1Transformer的架构组成

Transformer是一种深度学习架构，它在自然语言处理（NLP）等领域取得了巨大的成功。Transformer的核心思想是使用自注意力机制（Self-Attention）来学习文本中的长期依赖关系，而无需像传统的循环神经网络（RNN）或卷积神经网络（CNN）那样顺序处理或局部处理数据。它能够并行计算，大大提高了训练速度，并且能够更好地捕捉文本中的全局信息。Transformer的架构主要由编码器和解码器组成，每个部分又包含多个子模块。如右图所示为Transformer结构。编码器：编码器由多个堆叠的编码器层组成，每个编码器层包含以下部分：多头注意力机制（Multi-HeadAttention），可以并行地计算不同子空间的注意力，捕捉输入序列中更丰富的语义信息和长距离依赖关系。前馈神经网络，增加模型的非线性表达能力，进一步提取特征。

层归一化，加速模型收敛，减少梯度消失或爆炸问题，提高模型稳定性和泛化能力。残差连接，解决深层网络的梯度消失和退化问题，使模型训练更容易，能学习到更复杂的函数。解码器：解码器同样由多个堆叠的解码器层组成，每个解码器层包含以下部分：掩码多头注意力机制；编码器-解码器注意力机制；与编码器类似的FFN、层归一化和残差连接

Transformer结构

11.8.2Transformer的训练与优化

Transformer的训练与优化是一个复杂但关键的过程，涉及训练目标的设定、优化算法的选择、超参数调整以及一些技巧的运用等多个方面。Transformer的训练通常基于监督学习框架，其训练目标是最小化模型预测结果与真实标签之间的差异，常用的损失