2第二章神经网络基础-1

神经网络基础主讲：时间：目录CONTENTS01神经网络基本原理02神经网络组件03神经网络优化方法04实践案例神经网络基本原理AI生物神经元

生物神经元是生物神经网络的基本结构单元。人类人脑大约包含有860亿个神经元，每个神经元与人脑中约103-104

个其他神经元相连接。胞体

——整合信息树突

——

接收信息轴突

——

传递信息电信号+化学递质突触

——

信息传递点生物神经网络是由神经元、轴突、树突及突触构成的复杂网络系统，承担生物体的感知、运动控制和认知功能。神经元通过树突接收信号，经细胞体处理后由轴突输出，突触结构赋予其高速信息处理与分布式存储能力

。人工神经元

一个神经元有两种状态-兴奋和抑制。平时处于抑制状态的神经元，其树突和胞体接受其它神经元经由突触传来的兴奋电位，多个输入在神经元中以代数和的方式叠加；

如输入兴奋总量超过阈值，神经元被激发进入兴奋状态，发出输出脉冲，由轴突的突触传递给其它神经元。人工神经元树突细胞体突触轴突生物神经元人工神经元类比关系输入加权和阈值函数输出人工神经元f(·)x1xnyw1wn-1θ∑Vi……输入加权求和变形输出

可调整参数通用人工神经元的数学模型可以表示为：人工神经元是人工神经网络的基础，它通过输入、调整权重、加权求和、比较阈值等步骤来决定是否激活。它阐明了神经网络进行信息处理的核心原理。这一模型启发了后续的深度学习算法，并成为现代神经网络复杂运算的基础。感知机

感知机由弗兰克·罗森布拉特在1958年提出，其设计目标不仅是模仿生物神经元的行为，更希望实现基于数据进行学习。感知机被设计为能够通过算法来自动调整权重的模型，以便对新数据进行分类。它的出现标志着机器学习的开端，感知机比M-P神经元更关注模型的训练和分类性能。学习算法输入层：接收外部数据隐藏层：实现特征提取输出层：实现与任务的映射不同的隐藏层结构设计可以实现不同的特征提取效果。MLP神经网络组件AI卷积层

卷积神经网络由多个组件构成，各组件相互协作，共同完成从特征提取到最终分类的全过程。其主要组件包括：卷积层、池化层、归一化层、全连接层、激活函数，以及支撑整个模型运行的前向传播与网络初始化。简单卷积神经网络

卷积层：卷积层（ConvolutionLayer）是卷积神经网络的核心，用于从输入数据中提取特征。输入数据通常以四维张量的形式表示，包含批量（Batch）、通道（Channel）和空间维度（Height和Width）。卷积后得到的特征图通常经过非线性激活函数进行映射。常用的激活函数是ReLU，它将负值置为0，保留正值。这种非线性映射使得模型可以处理更复杂的非线性输入数据，从而提升表达能力。卷积层

池化层：池化层（PoolingLayer）的主要作用是下采样特征图，主要目的是降低数据维度，同时保持数据原有的特征。这能够有效地减少神经网络的计算量，防止参数过多导致过拟合。池化层通常连接在卷积层之后，卷积操作会得到维度很大的特征图，而池化操作通常会将特征图切分成几个区域，取其最大值或平均值，得到新的、维度较小的特征图。输出特征图大小池化操作的作用如下。（1）降维：通过缩小特征图的宽度和高度，减少数据量，减轻计算负担。（2）提高特征稳健性：提取更抽象的特征，减少对细微噪声和位移的敏感性。（3）防止过拟合：降低网络的参数量，减少过拟合的风险。卷积层最大池化最大池化在每个池化窗口中选择最大值作为输出。它将局部区域中最显著的特征保留下来，忽略较小的值。最大池化强调显著特征（如边缘、亮点），能增加特征的稳健性，降低对噪声的敏感性。最大池化首先定义一个固定大小的窗口，再利用这个窗口对输入特征图进行划分。然后在每个窗口内找到最大值，作为该区域的输出值。图为最大池化的示例。假设使用大小为2×2的池化窗口，每次移动的步幅为2，不加以填充，对池化窗口覆盖区域内的像素取最大值，得到相应的输出特征图。在卷积神经网络中用得比较多的是窗口大小2×2、步幅为2的最大池化。卷积层平均池化平均池化计算池化窗口内所有值的平均值。它保留了局部区域的整体信息，而不强调最大值。平均池化会得到更平滑的特征表示，不会过度强调局部区域的极端值。在平均池化中，输入特征图被划分为固定大小的窗口。在每个窗口内，计算所有值的平均值，作为该区域的输出值。图为平均池化的示例。假设使用大小为2×2的池化窗口，每次移动的步幅为2，不加以填充，对池化窗口覆盖区域内的像素取平均值，得到相应的输出特征图。卷积层全局池化全局池化是特定形式的池化，作用于整个特征图，将其缩减为一个值。全局池化具有两种常见形式：全局最大池化和全局平均池化。在全局最大池化中，取整个特征图的最大值作为输出。在全局平均池化中，取整个特征图中所有值的平均值作为输出。全局池化可替代全连接层，以减少参数量。两种形式的示例如图所示，对于给出的输入特征图，全局最大池化的结果为16，全局平均池化的结果为8.5。卷积层随机池化随机池化的示例如图所示。首先对池化窗口中的元素进行归一化，得到概率矩阵。再按多项分布在该概率矩阵中随机选择一个元素（假设选择0.11）对应的原始元素（15）作为池化输出结果。随机池化可以增加随机性，提高模型的正则化效果，避免过度依赖最大值或平均值。k-max池化k-max池化旨在选择输入特征图中前k个最大的值，并保留这些值的原始顺序。与最大池化不同，k-max池化不仅选择最大值，还保留前k个显著值，能捕捉更多的局部和全局信息。通过调整k，k-max池化可以灵活控制输出的数量和保留信息的丰富程度。此外，它还可以保留位置信息。选择的k个最大值会按照它们在输入特征图中的顺序排列，而不是简单地取局部窗口的最大值。因此，k-max池化常用于变长输入（如句子）的特征提取，在深度学习中广泛应用于自然语言处理任务。归一化层在深度学习中，归一化层（NormalizationLayer）是一种常用的层，用于调整网络中数据的分布，缓解梯度消失或爆炸问题，并加速训练过程。（1）训练不稳定：数据分布变化会影响每一层参数的更新，使训练过程变得困难。（2）梯度消失或爆炸：数据分布不当可能导致激活函数（如Sigmoid）进入饱和区，导致梯度变得极小或极大。内部协变量偏移归一化可以加速收敛，将数据标准化为更合适的分布，使训练更高效；减轻超参数调节难度；使神经网络对学习率等超参数的选择不再过于敏感；防止过拟合，即某些归一化方法（如批归一化）具有轻微正则化效果。常见归一化方法的对比归一化层批归一化批归一化（BatchNormalization，BN）是最常用的归一化方法之一，作用于每个批次的数据。其核心思想为对每个mini-batch的激活值按通道计算均值和标准差，将其标准化。层归一化层归一化（LayerNormalization，LN）作用于当前样本x的所有特征，而不是整个batch。批归一化实例归一化（InstanceNormalization，IN）是对单个样本的每个通道分别计算均值和方差。归一化层群归一化群归一化（GroupNormalization，GN）将通道分为若干组，在每组内计算均值和方差。局部响应归一化局部响应归一化（LocalResponseNormalization，LRN）在局部邻域内归一化，用于早期的卷积神经网络（如AlexNet）。全连接层全连接层（FullyConnectedLayer）位于卷积神经网络的末端，负责将卷积层提取的高维特征压缩为固定格式的输出，例如分类任务中的类别概率分布。输入全连接层的特征通常是经过展平（Flatten）操作的特征图。通过全连接层，模型可对特征进行加权组合，最终输出各类别的概率。该层常用的激活函数是Softmax，用于计算每个类别的归一化概率。全连接层是一种线性变换层，其本质是将输入特征与神经元完全连接，即每个输入节点与每个输出节点都有一个连接权重，从而完成特征的重新组合。全连接层的计算公式：每个输出特征可以表示为：全连接层通过矩阵乘法将输入向量映射到新的特征空间，进而为下一层提供更高层次的表示。激活函数Sigmoid激活函数激活函数是一种添加到人工神经网络中的函数，用于为人工神经网络引入非线性操作，这样人工神经网络就可以应用在非线性问题中了。因为卷积对输入图像进行的操作是线性的，但输入图像中的信息不都是线性可分的，所以需要通过激活函数来进行非线性操作，以更好地映射特征，去除数据中的冗余信息，同时增强卷积神经网络的表达能力，帮助网络学习数据中的复杂模式。卷积神经网络中常用的激活函数有：Sigmoid激活函数、tanh激活函数、ReLU激活函数等。激活函数是神经网络中的关键组件，它决定了每个神经元的输出形态，将输入数据转换为神经元的输出信号。不同的激活函数适用于不同类型的任务和模型。Sigmoid激活函数将输入值压缩到0和1之间。函数表达：激活函数tanh激活函数tanh激活函数将输入值映射到−1和1之间，其形状与Sigmoid激活函数相似，但对称于原点。tanh激活函数的表达式如下：ReLU激活函数ReLU激活函数是较常用的激活函数之一，当输入大于0时，输出为输入值本身；当输入小于等于0时，输出为0。激活函数LeakyReLU激活函数LeakyReLU激活函数是ReLU激活函数的改进版本。当输入小于等于0时，它不是一直输出0，而是输出一个非常小的负数，通常是输入乘一个很小的比例（如0.01倍）对应的负值。ELU激活函数ELU激活函数在输入大于0时与ReLU激活函数类似，但在输入小于等于0时，输出是呈指数衰减的负值，这样可以加快学习速度。激活函数SELU激活函数SELU激活函数是ELU激活函数的扩展版本，其表达式如下。其中α通常设置为1.67326，缩放因子λ通常设置为1.0507，适用于自动对网络进行标准化，让输出保持适当的尺度。Softmax激活函数Softmax激活函数常用于神经网络的最后一层Softmax激活函数非常适合分类任务，能够明确表示每个类别的概率，但它通常适用于单一输出层，计算稍复杂。Softmax激活函数像一个评分系统，根据输入的相对大小分配概率，将输出归一化成0到1之间的数值，并确保概率总和为1。激活函数Swish激活函数Swish激活函数是ReLU激活函数的平滑变体，由谷歌提出。它的输出是输入值乘Sigmoid激活函数的结果，其表达式如下：GELU激活函数GELU激活函数是2016年提出的激活函数，结合了ReLU激活函数和Sigmoid激活函数的优点，基于正态分布来平滑处理输入，其表达式如下：激活函数Softplus激活函数Softplus激活函数是一种平滑且连续的非线性函数，常用作神经网络中的激活函数。它是ReLU激活函数的平滑版本，旨在解决ReLU激活函数可能导致的神经元死亡问题。Softplus激活函数输出的范围是(0,∞)，即对所有输入，输出都大于0。这与ReLU激活函数类似，但相较于ReLU激活函数，Softplus激活函数不会使得输入为负时的输出恒为0，而是通过一种平滑的方式接近0。其表达式如下：前向传播与网络初始化前向传播前向传播（ForwardPropagation）是神经网络中完成信息传递与预测输出的关键过程。它指的是输入数据依次通过网络的各层结构，经历线性变换、非线性激活（如ReLU、Sigmoid）、卷积操作等一系列运算，最终生成模型的输出结果。（1）第一层全连接层计算：加权求和（线性变换）。（2）对

应用ReLU激活函数。（3）将a1输入第二层全连接层进行加权求和（线性变换）。（4）使用Softmax激活函数将第二层全连接层的输出转换为概率分布前向传播与网络初始化网络初始化网络初始化是训练神经网络时的关键步骤，合适的初始化方法可以加速收敛并提高模型性能，而不当的初始化方法可能导致训练不稳定甚至失败。对神经网络来说，权重W和偏置b是需要学习的参数。网络初始化就是在训练开始之前，为这些参数赋予初始值。网络初始化重要的原因如下。（1）避免梯度消失或爆炸：如果初始值过大或过小，梯度可能在传播中逐渐变成0（梯度消失）或无限大（梯度爆炸），导致训练失败。（2）促进收敛：良好的初始值可以使模型更快地找到损失函数的最小值。（3）破除对称性：如果所有参数的初始值相同（例如全为0），神经元将学习相同的特征，无法学习复杂的模式。常见的权重W初始化方法（1）随机初始化：通过随机分布（例如均匀分布、正态分布）初始化参数，使每个权重不同，避免对称性问题。（2）Xavier初始化：Xavier初始化由格扎维埃·格洛特提出，适用于使用Sigmoid或tanh激活函数的神经网络。（3）Kaiming初始化：Kaiming初始化由何恺明等人提出，适用于使用ReLU及其变体激活函数的网络。Kaiming初始化的核心思想是考虑ReLU激活函数的非对称性，权重的方差应与输入神经元数相关。（4）正交初始化：核心思想为将权重矩阵初始化为正交矩阵，以保持输入信号的方向性。前向传播与网络初始化网络初始化偏置b的初始化方法由于偏置不参与对称性破除，因此可以设为0或小值，通常包括以下两种方法。（1）常数初始化：b=0。（2）小值初始化：b~Uniform(0,0.01)。损失函数与代价函数在深度学习中，损失函数（LossFunction）和代价函数（CostFunction