自然语言处理（微课版）课件 第二章 深度神经网络

深度神经网络线性神经网络/神经网络训练/前馈神经网络/卷积神经网络/循环神经网络2026/6/11第二章：深度神经网络线性神经网络线性回归/逻辑回归/多类逻辑回归神经网络训练损失函数/优化算法前馈神经网络多层感知机/前向传播/反向传播卷积神经网络（CNN）卷积层/池化层循环神经网络（RNN）2026/6/12概述通过多层的神经元结构处理数据，模仿人类大脑的处理方式通过多个隐藏层连接输入和输出层，每层都包含多个神经元常见的深度神经网络如MLP、CNN、RNN2026/6/132.1线性神经网络

2026/6/142.1线性神经网络

2026/6/152.1线性神经网络线性回归线性：两个变量之间的关系是一次函数关系的——图象是直线非线性：两个变量之间的关系不是一次函数关系的——图象不是直线2026/6/162.1线性神经网络线性回归使用线性回归需遵循的假设：是一个回归问题要预测的变量y与自变量x的关系是线性的各项误差服从正太分布，均值为0，与x同方差变量x的分布要有变异性多元线性回归中不同特征之间应该相互独立，避免线性相关2026/6/172.1线性神经网络线性回归最小二乘法：利用最小化误差的平方和以找到数据的最优函数匹配2026/6/182.1线性神经网络逻辑回归逻辑回归：一个二分类线性模型，又称对数几率回归，模型需要根据输入变量预测类型“0”或“1”，一般描述为y∈{0,1}。2026/6/19逻辑回归训练后的模型是一条直线（p=2),或是平面（p=3)，超平面（p>3)2.1线性神经网络

2026/6/1102.1线性神经网络

2026/6/1112.1线性神经网络

2026/6/1122.1线性神经网络

2026/6/1132.1线性神经网络

2026/6/1142.1线性神经网络多类逻辑回归Softmax回归首先利用仿射变换给出样本属于每个类别的得分，再利用Softmax激活函数（又称归一化指数函数），将线性模型的值域从R映射到(0,1)，表示输入样本属于某一项的概率2026/6/1152.1线性神经网络

2026/6/1162.1线性神经网络

2026/6/1172.2神经网络训练深度神经网络的两个常见任务分类任务：将输入映射到离散的类别空间如：手写数字识别2026/6/1182.2神经网络训练深度神经网络的两个常见任务回归任务：将输入映射到连续空间如：预测天气温度2026/6/1192.2神经网络训练损失函数损失函数：用来衡量模型输出与真值之间相似度差距的函数2026/6/1202.2神经网络训练

2026/6/1212.2神经网络训练

2026/6/1222.2神经网络训练回归任务损失函数平均绝对误差损失：梯度基本恒定，不会随着预测误差的变化而变化，但避免了梯度爆炸问题2026/6/1232.2神经网络训练

2026/6/1242.2神经网络训练回归任务损失函数平方差损失：梯度随误差的变化而变化，但更容易受到数据中噪音的影响并可能发生梯度爆炸的问题2026/6/1252.2神经网络训练优化算法梯度下降：通过求目标函数的导数来寻找目标函数最小化的方法直观理解：2026/6/1262.2神经网络训练优化算法学习率：学习率决定了在每步参数更新中，模型参数有多大程度（或多快、多大步长）的调整2026/6/1272.2神经网络训练

2026/6/1282.2神经网络训练优化算法批量梯度下降：2026/6/1292.2神经网络训练优化算法随机梯度下降：每次只计算训练集中一个样本的梯度进行参数更新，通过不断的从训练集中随机选择样本迭代得到最优参数优点：加快迭代速度，减小训练时间缺点：与整体数据集的损失值存在偏差，不保证能够优化到最小值2026/6/1302.2神经网络训练优化算法随机梯度下降：2026/6/1312.2神经网络训练优化算法小批量梯度下降：每次参数更新时，从训练集中随机选取N个训练样本进行损失值与梯度的计算2026/6/1322.2神经网络训练优化算法小批量梯度下降：2026/6/1332.3前馈神经网络前馈神经网络每一层的神经元可以接收前一层神经元的信号，并产生信号输出到下一层信号从输入层向输出层单向传播，可用一个有向无环图表示2026/6/1342.3前馈神经网络

2026/6/1352.3前馈神经网络

2026/6/1362.3前馈神经网络

2026/6/1372.3前馈神经网络多层感知机：前向传播2026/6/1382.3前馈神经网络多层感知机：前向传播2026/6/1392.3前馈神经网络多层感知机：前向传播2026/6/1402.3前馈神经网络多层感知机反向传播：从损失函数中反向传递信息，通过神经网络向后传递，以计算每个层次的梯度两个环节：反向传播权重更新2026/6/1412.3前馈神经网络多层感知机：反向传播2026/6/1422.3前馈神经网络多层感知机：反向传播2026/6/1432.3前馈神经网络多层感知机：反向传播2026/6/1442.3前馈神经网络多层感知机：更新参数2026/6/1452.3前馈神经网络多层感知机：更新参数2026/6/1462.3前馈神经网络多层感知机：更新参数2026/6/1472.4卷积神经网络卷积神经网络基本结构：输入层、卷积层、池化层、全连接层及输出层卷积层：通过多个不同的卷积核对其进行卷积特征提取2026/6/1482.4卷积神经网络卷积神经网络池化层：通过多个不同的卷积核对其进行卷积特征提取常见的池化函数：最大值池化，均值池化，随机池化，中值池化，组合池化等2026/6/1492.4卷积神经网络经典卷积神经网络LeNet-5：早期模型，卷积层和池化层交替，应用于手写数字识别2026/6/1502.4卷积神经网络经典卷积神经网络AlexNet：多层卷积和池化，并引入了ReLU激活函数和Dropout2026/6/1512.4卷积神经网络经典卷积神经网络VGG：重复堆叠的小卷积核和池化层，构建了16或19层的深度网络结构2026/6/1522.4卷积神经网络经典卷积神经网络ResNet：引入跳跃连接和残差学习的思想解决了深层网络训练过程中的梯度消失和网络退化问题，简单而有效2026/6/1532.5循环神经网络

2026/6/1542.5循环神经网络循环神经网络特点：对具有序列特性的数据非常有效序列特性：如自然语言、音频、时间序列