2025年大学《数学与应用数学》专业题库- 卷积神经网络中的梯度下降

2025年大学《数学与应用数学》专业题库——卷积神经网络中的梯度下降考试时间：______分钟总分：______分姓名：______一、选择题1.在批量梯度下降（BatchGradientDescent,BGD）中，每次参数更新所使用的梯度是基于整个训练数据集计算的，以下说法正确的是（）。A.BGD每次迭代计算量最小，但可能陷入局部最优。B.BGD每次迭代计算量最大，但能保证找到全局最优解。C.BGD收敛速度通常比随机梯度下降（SGD）快。D.BGD对内存需求较大，适合处理大规模数据集。2.在神经网络的反向传播过程中，链式法则主要用于（）。A.计算损失函数相对于网络输入的梯度。B.计算损失函数相对于网络输出的梯度。C.计算损失函数相对于网络所有可训练参数（权重和偏置）的梯度。D.计算激活函数的导数。3.对于一个包含卷积层、ReLU激活层和全连接层的简单CNN结构，在反向传播计算卷积层权重梯度时，需要用到输入数据的（）。A.原始像素值。B.经过卷积层后的特征图。C.经过ReLU激活层后的特征图。D.经过全连接层后的输出向量。4.梯度爆炸（ExplodingGradients）问题通常发生在神经网络的（）。A.前向传播阶段。B.反向传播初期，靠近输入层。C.反向传播后期，靠近输出层。D.参数初始化阶段。5.批量归一化（BatchNormalization,BN）技术通常应用于神经网络中的（）。A.卷积层之后，激活函数之前。B.激活函数之后，卷积层之前。C.全连接层之后，输出层之前。D.输出层之后。二、填空题6.梯度下降算法通过计算损失函数关于每个参数的________来确定参数更新的方向。7.在反向传播中，链式法则允许我们通过逐层计算导数并将它们________来得到损失函数相对于输入参数的总导数。8.对于一个卷积层，其参数通常包括一组滤波器（权重）和每个滤波器对应的________。9.梯度消失（VanishingGradients）问题是指在前向传播过程中，梯度在反向传播时逐渐变小，导致网络________层的参数难以更新。10.假设某层神经网络的输出为z，使用的激活函数是ReLU（f(x)=max(0,x)），则该层输出相对于输入z的梯度为________。三、计算题11.考虑一个简单的全连接神经网络层，输入向量x=[x₁,x₂]ᵀ，输出向量y=[y₁,y₂]ᵀ，权重矩阵W=[[w₁₁,w₁₂],[w₂₁,w₂₂]]，偏置向量b=[b₁,b₂]ᵀ，损失函数关于该层输出的梯度为∇_yL=[[∂L/∂y₁],[∂L/∂y₂]]ᵀ。请使用链式法则，推导损失函数L关于权重矩阵W的梯度∇_WL的计算表达式。12.假设CNN中的一个卷积层使用大小为3x3的滤波器，步长为1，输入特征图的高度和宽度均为H，深度（通道数）为C。请推导出该卷积层输出特征图的高度和宽度公式。13.给定参数θ和梯度g，标准梯度下降（SGD）的参数更新规则为θ←θ-ηg，其中η是学习率。现假设使用Adam优化算法，其更新规则包含动量项m和缓存项v，初始化为m⁰=0,v⁰=0，动量系数β₁=0.9，缓存系数β₂=0.999，学习率η=0.01。在第一迭代步，计算得到梯度g=1。请计算更新后的参数θ，动量项m₁和缓存项v₁。四、分析题14.简述什么是梯度消失问题？除了使用ReLU激活函数外，还可以列举至少两种缓解梯度消失问题的方法，并简要说明其原理。15.比较批量梯度下降（BGD）、随机梯度下降（SGD）和小批量梯度下降（Mini-batchGD）在训练速度、收敛稳定性、内存需求和对噪声的敏感性方面的主要区别。试卷答案一、选择题1.D2.C3.B4.C5.A二、填空题6.偏导数(或梯度)7.连乘(或相乘)8.偏置(或偏置项)9.较深(或深层)10.{1ifz>0else0}(或θ(z)*(1-θ(z))，其中θ(z)为ReLU函数的导数)三、计算题11.解析：根据链式法则，∇_WL=(∇_yL)ᵀ*(∇_yz)ᵀ，其中∇_yz=Wᵀ。因为y=Wx+b，所以∇_yz=Wᵀ。因此，∇_WL=(∇_yL)ᵀ*Wᵀ=(∇_yL*W)ᵀ。具体计算：设∇_yL=[a₁,a₂]ᵀ，W=[[w₁₁,w₁₂],[w₂₁,w₂₂]]，则Wᵀ=[[w₁₁,w₂₁],[w₁₂,w₂₂]]。∇_yz=Wᵀ=[[w₁₁,w₂₁],[w₁₂,w₂₂]]。∇_WL=[[a₁*w₁₁+a₂*w₁₂],[a₁*w₂₁+a₂*w₂₂]]ᵀ=[[a₁,a₂]ᵀ*[w₁₁,w₁₂]]ᵀ=[[a₁,a₂]ᵀ*W]ᵀ=(∇_yL*W)ᵀ。最终表达式为∇_WL=(∇_yL*W)ᵀ。答案：∇_WL=(∇_yL*W)ᵀ12.解析：设输入特征图高度为H，宽度为W，通道数为C。卷积层输出特征图的高度H'和宽度W'计算公式如下：H'=floor((H-filter_height+2*pad)/stride)+1W'=floor((W-filter_width+2*pad)/stride)+1题目中滤波器大小为3x3(filter_height=3,filter_width=3)，步长为1(stride=1)，假设无填充(pad=0)。代入公式：H'=floor((H-3+2*0)/1)+1=H-2+1=H-1W'=floor((W-3+2*0)/1)+1=W-2+1=W-1答案：输出特征图高度H'=H-2+1=H-1；输出特征图宽度W'=W-2+1=W-1。13.解析：根据Adam优化算法的更新规则：m_t=β₁*m_(t-1)+(1-β₁)*gv_t=β₂*v_(t-1)+(1-β₂)*g²θ_(t+1)=θ_t-η*m_t/(sqrt(v_t)+ε)其中t=1，m⁰=0,v⁰=0,β₁=0.9,β₂=0.999,η=0.01,g=1,ε通常取一个很小的常数（如1e-8），此处可忽略。计算：m₁=0.9*0+(1-0.9)*1=0*0+0.1*1=0.1v₁=0.999*0+(1-0.999)*1²=0*0+0.001*1=0.001θ_(t+1)=θ-0.01*(0.1)/(sqrt(0.001)+1e-8)=θ-0.01*0.1/(0.0316227766+1e-8)≈θ-0.01*0.1/0.0316227766≈θ-0.01*3.16227766≈θ-0.0316227766答案：θ_(t+1)≈θ-0.0316；m₁=0.1；v₁=0.001。四、分析题14.解析：梯度消失是指在深度神经网络的反向传播过程中，梯度在从输出层向输入层传递时，随着层叠次数的增加而变得非常小，导致靠近输入层的参数更新极其缓慢甚至停滞，使得网络难以学习到深层特征。缓解方法1：使用ReLU（RectifiedLinearUnit）或其变种（如LeakyReLU,PReLU）激活函数。ReLU函数在正区间导数为1，不会像Sigmoid或Tanh函数那样在正负区间都存在导数衰减，能有效缓解梯度消失。缓解方法2：引入残差连接（ResidualConnections/ResNets）。残差网络通过引入跨层连接，使得梯度可以直接从较深层的激活值传递到较浅层的参数，即使深层梯度很小，也能保证信息传递，缓解梯度消失。答案：梯度消失是指反向传播时梯度变得非常小。缓解方法：使用ReLU激活函数（因其导数在正区间为1）；引入残差连接（使其梯度可直接传递）。15.解析：BGD、SGD和Mini-batchGD的主要区别如下：训练速度：BGD计算每次迭代所需梯度，需要遍历所有数据，计算最慢，但每次更新信息最全。SGD每次迭代只使用一个样本计算梯度，速度最快，但每次更新信息最少。Mini-batchGD使用一小批样本（如32,64个）计算梯度，速度介于BGD和SGD之间，是目前实践中最常用的方法。收敛稳定性：BGD由于每次更新基于全局梯度，收敛路径最稳定，但容易陷入局部最优或鞍点。SGD由于梯度基于单一样本，更新具有随机性，更容易跳出局部最优，但收敛路径不稳定，容易震荡。Mini-batchGD结合了BGD和SGD的优点，通过平均一批样本的梯度，使更新比SGD更稳定，收敛路径介于BGD和SGD之间。内存需求：BGD需要存储整个数据集，内存需求最大。SGD每次只需要存储一个样本，内存需求最小。Mini-batchGD需要存储一批样本，内存需求介于BGD和SGD之