自然语言处理（第2章）教案 深度神经网络

深度神经网络参考学时4学时。教学目标（能力要求）学生能理解线性回归与逻辑回归的原理，掌握Softmax回归用于多分类的方法。学生能了解神经网络训练中分类与回归任务的区别，掌握常用损失函数与梯度下降系列优化算法；学生能掌握前馈神经网络中多层感知机的前向传播与反向传播机制，理解参数更新的过程；学生能熟悉卷积神经网络的基本结构与核心组件（卷积层、池化层），了解LeNet、AlexNet、VGG、ResNet等经典模型；让学生理解RNN处理序列数据的原理及其在NLP等领域的应用。教学重点和难点教学重点：掌握前馈神经网络的前向与反向传播机制，理解CNN与RNN的结构特点及其适用场景；教学难点：理解反向传播中的梯度计算与参数更新过程；区分CNN在空间特征提取与RNN在序列建模上的不同原理。教学主要内容线性神经网络（30分钟）线性回归逻辑回归多类逻辑回归神经网络训练（30分钟）常见任务损失函数优化算法前馈神经网络（50分钟）多层感知机卷积神经网络（35分钟）基本结构经典卷积神经网络循环神经网络（35分钟）循环神经网络教学过程与方法线性神经网络（30分钟）线性回归强调“多层神经元结构”与“模仿人脑层次化处理”的基本理念；借助图示说明网络由“输入层-隐藏层-输出层”构成，信号单向流动，层层抽象；点出MLP、CNN、RNN等常见类型，并结合旁边的“头像”和“医学影像”图片，说明深度网络在图像、医疗等实际领域的强大应用能力，引出后续课程将逐一详解。介绍线性回归的定义和各变量的具体含义。强调线性和非线性的区别。强调使用线性回归的具体场景，介绍线性回归的损失函数。逻辑回归逻辑回归是处理二分类问题的线性模型，输出为离散标签（0或1），核心是预测样本属于某一类的概率；强调其虽名为“回归”，实为分类方法，也称为“对数几率回归”；通过图示说明逻辑回归在高维空间中的决策边界是直线（2维）、平面（3维）或超平面（>3维），体现其线性本质，为后续引入非线性分类器做铺垫。介绍逻辑回归中的激活函数，包括Sigmoid函数、tanh函数、ReLU函数。多类逻辑回归说明Softmax回归是逻辑回归从二分类到多分类的自然推广，适用于样本仅属于单个类别的情况；强调使用one-hot向量（如[1,0,0,...,0]）作为类别标签的编码方式，向量中“1”的位置对应样本所属类别。指出这种表示方式便于模型输出各类别的概率分布，为后续引入Softmax函数公式奠定基础。详细介绍Softmax函数公式。神经网络训练（30分钟）常见任务介绍分类任务和回归任务的概念损失函数介绍分类任务和回归任务对应的损失函数，并强调不同的损失函数各自的使用场景，优点及缺点。优化算法强调梯度下降是通过计算目标函数（损失函数）对参数的导数，并沿负梯度方向迭代更新参数，以逐步逼近最小值的方法；借助图中的“初始点”到“最小值”的路径，说明梯度下降如同“下山”过程，每一步都朝向当前最陡的下降方向移动；指出坐标轴中的

θ0,θ1代表模型参数，I(θ0,θ1)代表损失函数，可视化展示了参数如何调整使损失最小化，为后续讲解学习率与具体变种做铺垫。强调学习率是控制参数更新步长的超参数，决定了每次迭代中模型参数沿梯度方向调整的幅度；结合图例指出学习率过大（步长太大）可能导致在最小值附近震荡或发散；学习率过小（步长太小）则会导致收敛缓慢，需要引导学生理解选择合适学习率的重要性；说明学习率是梯度下降算法的关键组成部分，与上一页的“梯度方向”共同构成完整的参数更新过程。介绍梯度下降算法的各种变种。前馈神经网络（50分钟）多层感知机强调前馈神经网络中信号的单向流动（输入层→隐藏层→输出层），且网络是一个有向无环图，这是其与后续循环网络（RNN）的本质区别；借助右侧的层级图示（x₁,x₂...）说明每一层神经元接收上一层输出并产生下一层输入的过程，体现信息的逐层传递与抽象；指出前馈网络（如MLP）是深度学习中最基础、最重要的网络结构，为后续讲解卷积网络（CNN）和循环网络（RNN）等特殊前馈结构奠定基础。强调隐藏层输出由公式决定，这是前馈网络中信号传递的核心计算步骤；说明

W1是权重矩阵，b1是偏置向量，两者为可学习参数；f为激活函数，用于引入非线性；指出激活函数（如sigmoid、tanh）的作用是使网络能够拟合复杂模式，若无非线性激活，多层网络将退化为线性模型，为后续讲解网络表达能力奠定基础。反向传播是神经网络训练的关键算法，通过链式法则将损失函数的梯度从输出层向输入层逐层反向传递，以计算每个参数的梯度；明确反向传播分为梯度计算（如图中公式所示，逐层传递误差信号）与权重更新（后续步骤，利用梯度调整参数）两个阶段；公式展示了梯度如何沿网络反向流动，体现了误差信号的反向传播路径，为理解参数优化奠定基础。卷积神经网络(35分钟)基本结构介绍卷积神经网络的基本结构，包括输入层、卷积层、池化层、全连接层及输出层。介绍每一层的具体操作及其意义。CNN由输入层、卷积层、池化层、全连接层和输出层依次堆叠而成，这种层次化结构是CNN处理图像等网格数据的基础框架；强调卷积层使用卷积核进行局部特征提取，池化层对特征进行降维与压缩，二者交替使用逐步抽象语义信息；指出CNN通过“卷积-池化”的重复组合实现平移不变性与层次化特征学习，使其特别适合图像、语音等具有局部相关性的数据，与全连接的前馈网络形成对比。经典卷积神经网络LeNet-5是CNN的早期奠基性模型，由YannLeCun等人于1998年提出，首次成功将卷积-池化结构用于手写数字识别（如MNIST数据集）；其结构清晰体现了“卷积层（C）→池化层（S）→全连接层（F）”的经典交替堆叠模式，如图中从32×32输入逐步提取特征至5×5，再经全连接层输出10个类别，展示了层次化特征提取的完整流程；LeNet-5的成功验证了CNN在图像识别任务上的有效性，奠定了现代深度学习模型的基础设计范式，直接启发了后续AlexNet、VGG等更复杂网络的发展。AlexNet是2012年ImageNet竞赛冠军模型，开启了深度学习在计算机视觉领域的爆发，其成功证明了深层卷积网络的巨大潜力；该模型不仅加深了网络（如图中多层堆叠所示），更重要的是首次成功应用了ReLU激活函数缓解梯度消失，并使用Dropout技术减轻过拟合，这两项技术成为后续深度学习模型的标准配置；其“卷积-池化-全连接”的总体架构延续了LeNet的设计思想，但通过更大规模、更多层数以及分组卷积等技巧，显著提升了特征表达能力，直接推动了VGG等更深度网络的发展。VGG的核心思想是通过重复堆叠多个3×3小卷积核来构建深层网络（如VGG-16/19），在增加网络深度的同时保持了参数效率，并增强了非线性表达能力；图示中从224×224×64到14×14×512的特征图尺寸变化，清晰展示了网络如何通过连续的卷积与池化层逐步减小空间尺寸、增加通道数，实现从低级到高级特征的层次化抽象；VGG以其结构简洁、设计统一的特点成为经典基准模型，证明了深度对网络性能的重要性，但其较大的计算开销也催生了后续更高效的网络（如ResNet）的发展。ResNet的核心思想是通过跳跃连接（ShortcutConnection）实现残差学习，使网络能够学习输入与输出之间的残差映射，而非直接拟合目标函数，如图中“+”所示的关键加法操作；每个残差块（图示左右结构）通常包含两个或多个卷积层，通过跳跃连接将输入直接传递到输出端，实现恒等映射，这极大地缓解了深层网络的梯度消失与网络退化问题；ResNet使训练数百甚至上千层的网络成为可能，是深度学习模型在深度上的一次重大突破，其残差结构已成为构建深层网络的标准组件之一，对后续模型设计产生了深远影响。循环神经网络(35分钟)循环神经网络强调RNN的核心特征是循环连接（图示中单元A的输出h_t会作为下一个时间步的输入之一），这使得网络具有“记忆”能力，能处理序列数据；解释左侧紧凑的循环图示（一个单元A循环接收输入x_t和自身状态）与右侧按时间展开的图示（同一单元A在不同时间步重复使用）是等价的，展开后更易于理解前向传播和梯度计算；指出RNN是处理自然语言、语音等序列数据的基础模型，其状态h_t包含了到当前时刻为止的历史信息，为后续讲解在机器翻译、文本生成等NLP任务中的应用奠定基础。强调RNN专门用于处理具有序列特性的数据，如自然语言、音频和时间序列，这是因为序列中元素的顺序和前后依赖关系包含关键信息；解释RNN通过引入内部状态（记忆），使当前时刻的输出不仅取决于当前输入，还依赖于之前所有时刻的输入序列，从而能够捕捉长距离依赖；说明RNN在训练时会将前一次的输出（或隐藏状态）作为下一次输入的