2第二章神经网络基础-2

AIYOUR

LOGO

神经网络优化方法反向传播算法反向传播算法是深度学习中最重要的训练算法之一，它被用于训练多层神经网络，帮助模型通过不断调整权重来最小化预测误差。（1）计算输出层的误差；（2）反向传播误差。逐层向前推导梯度反向传播算法

优化算法SGD算法SGD算法是机器学习和深度学习中最常用的优化算法之一。它通过逐步调整模型的参数（如神经网络中的权重），使得损失函数的值逐渐变小，最终找到一个近似的最优解。梯度下降基本思想:先设定一个学习率η，参数沿梯度的反方向移动。假设需要更新的参数为w，梯度为g，则其更新策略可表示为:理解梯度下降法：学习率调整

梯度选择优化算法梯度下降算法：学习率调整学习率过大时，更新步幅会过长，可能出现以下情况。（1）跳过最优解：参数的更新幅度太大，导致错过最优解（损失函数最小值）。（2）不稳定或发散：参数的更新幅度过大可能会使损失函数值在优化过程中不断振荡，甚至发散。学习率过小时，更新步幅会过短，可能出现以下情况。（1）训练速度过慢：参数每次更新的幅度很小，导致收敛过程变得非常缓慢。（2）陷入局部最优解：因为参数每次更新的幅度很小，在实际优化过程中，可能导致参数陷入局部最优解而难以逃离。因此，合适的学习率才能够使参数稳定而快速地收敛到最优解。优化算法相较于普通的梯度下降，SGD具有以下特点。（1）计算效率高：不需要对整个数据集进行计算。（2）适用于大规模数据集：尤其是在深度学习中，数据集往往非常庞大。（3）易于跳出局部最优解：由于具有随机性，可以避免陷入次优解。由于在SGD中梯度是基于随机样本计算的，因此可能会出现波动（未沿着最陡的方向下降）。在实际应用中，目标函数L(

)

通常衡量的是整个数据集的平均损失（称为经验风险）：参数更新公式为小批量随机梯度下降优化算法动量梯度下降算法为SGD引入“动量”概念，让参数更新不仅依赖当前的梯度，还考虑之前更新的方向，从而减少振荡并加速收敛。更新公式为AdaGradAdam①计算梯度平方的累积。②调整学习率。①一阶动量为梯度的指数加权移动平均（类似于梯度的均值）：②二阶动量为梯度平方的指数加权移动平均（类似于梯度的方差）在初始时动量较小，因此需要对mt和vt进行偏差修正：然后使用校正后的动量更新参数：AdamW将权重衰减独立出来，直接在参数更新时进行显式衰减：优化算法牛顿法牛顿法（NewtonMethod）和拟牛顿法（Quasi-NewtonMethod）是重要的优化算法，广泛用于求解非线性优化问题。它们被应用于深度学习、机器学习和科学计算中，用于最小化损失函数或优化其他目标函数。牛顿法牛顿法的目标是找到函数的最小值或最大值，具体来说是找到目标函数f(x)的驻点（梯度为零的点）。它通过利用函数的二阶导数（黑塞矩阵），沿着函数曲率的最陡方向快速收敛。拟牛顿法

拟牛顿法是对牛顿法的一种改进，目标是避免直接计算黑塞矩阵（因为计算代价过高），而是通过构造一个近似的黑塞矩阵替代原矩阵，从而保留牛顿法的优点，同时降低计算代价。

优化算法启发式优化算法启发式优化算法是一类受自然界启发而设计的全局优化算法，适合求解复杂的、非凸的、高维的、多目标优化问题。这些算法通过模拟自然界中的某些现象（如进化、觅食）或物理过程，提供一种在未知搜索空间中寻找最优解的方法。这些算法主要可以分为基于进化、基于生物行为、基于社会文化以及基于科学4类。其中，遗传算法是启发式优化算法中经典的算法。遗传算法是一类基于达尔文进化论的启发式优化算法，由约翰·霍兰（JohnHolland）在1975年首次提出，它通过模拟生物进化中的“自然选择”和“遗传”过程，寻找问题的最优解。遗传算法广泛应用于复杂优化问题，包括函数优化、特征选择、路径规划等。遗传算法的设计思想源于生物进化过程。主要包括以下3个基本机制。（1）自然选择：适应环境程度较高（适应度较高）的个体更容易被保留并繁殖后代。（2）交叉（重组）：父代个体的遗传信息通过交叉操作重新组合，生成新的后代个体。（3）变异：在复制过程中基因可能发生随机变化，从而引入新的遗传特性。优化算法（1）编码和解码遗传算法需要将优化问题的变量（如x）转换为计算机能够处理的编码形式（通常是二进制串或实数向量）。编码和解码确保遗传算法可以在离散的二进制空间中运行，同时可以对连续变量求解。（2）初始化种群随机生成初始种群，每个个体（解）通常用一个染色体（编码的字符串或数组）表示。染色体可以是二进制串、实数向量或其他形式，取决于具体问题。优化算法（3）适应度评估使用适应度函数评价每个个体的适应度（优劣）。适应度函数根据目标问题定义，适应度越高的个体越接近最优解。（4）选择根据适应度选择“优秀个体”作为父母，传递基因给下一代。选择策略通常包括以下几种。·轮盘赌选择（RouletteWheelSelection）：概率与适应度成正比，适应度更高的个体更可能被选择。·锦标赛选择（TournamentSelection）：随机选择几个个体，再从中选出最优者。·随机选择（RandomSelection）：适当保留一些低适应度的个体以增加多样性。优化算法（5）交叉交叉是指随机组合父母的基因，产生新的个体（后代）。交叉方法通常包括以下几种。·单点交叉：随机选择一个交叉点，将父母的部分基因交换。·多点交叉：选择多个交叉点，交换父母的基因。·均匀交叉：随机选择每个基因的来源（父母中的一方）。（6）变异对新生成的个体的基因进行随机修改，模拟生物的基因突变。变异方法通常包括以下两种。·随机翻转二进制串中的某个位（如将0变成1）。·对实数向量添加一个小的随机值。优化算法（7）生成新种群通过选择、交叉和变异产生下一代个体，替换旧的种群。优化算法遗传算法的主要步骤与生物学原理的对应遗传算法具有以下优点。（1）全局搜索能力强：遗传算法通过种群搜索和随机变异，能跳出局部最优解，寻找全局最优解。（2）适用性强：无须目标函数的梯度信息，适用于非线性、非凸、离散等复杂问题。（3）稳健性高：在解决噪声、非连续空间等问题上表现较好。（4）并行性强：种群的个体可以被并行评估，计算效率高。遗传算法具有以下缺点。（1）计算成本高：种群规模大时，评估每代个体的适应度需要进行较多的计算。（2）收敛速度慢：遗传算法可能需要很多代才能逼近最优解。（3）参数敏感性：选择、交叉、变异的参数（如交叉率、变异率）需要仔细调试。正则化技术Dropout的丢弃概率为0.5时的示意Dropout是一种在训练神经网络时防止过拟合的正则化技术。在训练阶段，对于每个神经元，Dropout以概率p将其丢弃，未被丢弃的神经元，其输出会除以1-p，以保持整体输出的期望不变。在推理阶段，不再丢弃神经元，而是使用完整的网络（即不使用Dropout）。同时，不需要对输出进行缩放。（1）训练阶段：

输出（2）推理阶段：不使用Dropout，输出：Dropout具有以下优势。①防止过拟合：Dropout随机丢弃神经元，迫使网络学习更稳健的特征，减少了神经元之间的协同依赖，减少了过拟合的可能性。②提高泛化能力：Dropout能实现在训练阶段训练多个子网络（由不同的神经元组成）。在推理时，这些子网络的效果被“平均”，提升了模型的泛化能力。③实现简单：Dropout仅需对网络应用随机丢弃的操作即可。Dropout适用于以下场景。①全连接层。Dropout通常应用于全连接层，尤其是靠近输出层的全连接层，因为这些层的参数较多，更容易过拟合。②稀疏数据和小数据集。Dropout对于稀疏数据和小数据集上的任务尤为有效，因为它能增加模型的稳健性，防止过拟合。实践案例AIPARTFOUR人工智能语言模型YOUR

LOGO

DEEPSEEK实践案例1．网络设计实践案例2．网络初始化下面为使用Kaiming初始化、Xavier初始化以及常数初始化的网络初始化示例代码。实践案例3．准备数据本例使用torchvision.datasets.MNIST()加载MNIST数据集（假设该数据集已经下载并存储在“./data”目录下）。MNIST数据集中包含手写数字图片。4．选择损失函数和优化器本例使用nn.CrossEntropyLoss()计算分类任务的损失。然后选择使用Adam优化器进行后续优化，其中学习率lr=0.001，权重衰减weight_decay=1e-4。实践案例5．训练和测试训练时首先需要确定训练迭代（epoch）次数，本例设置训练迭代次数为5（num_epochs=5）。在每个训练循环中，前向传播计算损失（loss），然后反向传播（loss.backward()）计算梯度，再更新模型参数（optimizer.step()）。在对模型进行训练之后，采用评估模式（model.eval()），不进行梯度计算（使用torch.no_grad()），通过比较预测类别和真实类别计算准确率。THANKS感谢您的欣赏再见2024年1月5日，发布DeepSeekLLM（深度求索的第一个大模型）

。