2025年大学《数理基础科学》专业题库-深度学习算法的数学推导

2025年大学《数理基础科学》专业题库——深度学习算法的数学推导考试时间：______分钟总分：______分姓名：______一、设$x=[x_1,x_2,\dots,x_n]^T$为一个$n$维向量，$\mathbf{W}$为一个$n\timesm$的矩阵，$\mathbf{b}$为一个$m\times1$的列向量。定义函数$f(\mathbf{x})=\mathbf{x}^T\mathbf{W}+\mathbf{b}$，其中$\mathbf{x}^T$表示$\mathbf{x}$的转置。1.计算$f(\mathbf{x})$的梯度$\nablaf(\mathbf{x})$。2.若$\mathbf{W}$和$\mathbf{b}$分别为$\begin{bmatrix}1&2\\3&4\\5&6\end{bmatrix}$和$\begin{bmatrix}1\\2\\3\end{bmatrix}$，且$\mathbf{x}=\begin{bmatrix}4\\5\end{bmatrix}$，计算$f(\mathbf{x})$的值。二、已知一个单层神经网络，输入为$x$，权重为$w$，偏置为$b$，激活函数为$h(x)=\sigma(x)$，其中$\sigma(x)=\frac{1}{1+e^{-x}}$是Sigmoid函数。输出为$y$。1.推导前向传播过程，即$y$关于$x,w,b$的表达式。2.推导输出$y$对输入$x$的梯度$\frac{\partialy}{\partialx}$。三、考虑二元分类问题，使用逻辑回归模型。模型输出$p$表示样本属于正类的概率，$p=\sigma(w_1x_1+w_2x_2+b)$。损失函数为交叉熵损失函数$L(p,y)=-[y\logp+(1-y)\log(1-p)]$，其中$y\in\{0,1\}$。1.推导损失函数$L$对权重$w_1,w_2$和偏置$b$的梯度。2.假设梯度分别为$\nabla_{w_1}L,\nabla_{w_2}L,\nabla_bL$，使用梯度下降法更新参数的公式是什么？四、设$J(\theta)$是一个关于参数$\theta$的凸函数，梯度为$\nablaJ(\theta)$。使用牛顿法更新参数$\theta$。1.写出牛顿法的更新公式。2.牛顿法更新参数的每一步都需要计算Hessian矩阵$\nabla^2J(\theta)$的逆矩阵，请解释为什么？五、一个卷积神经网络(CNN)包含一个卷积层和一个全连接层。1.卷积层使用$3\times3$的卷积核，步长为1，填充为1。输入图像的尺寸为$224\times224\times3$（高$\times$宽$\times$通道数）。请计算卷积层输出的特征图尺寸。2.假设卷积层输出一个包含64个特征图的张量，每个特征图的尺寸为$112\times112$。全连接层将这些特征图展平成一个长度为786432的向量。接着，这个向量通过一个包含128个神经元的全连接层，并使用ReLU激活函数。请计算该全连接层的输出维度。六、一个循环神经网络(RNN)的隐藏层状态更新公式为$h_t=\sigma(W_xh_{t-1}+W_hh_{t-1}+b_h)$，其中$h_t$是第$t$个时间步的隐藏状态，$x_t$是第$t$个时间步的输入，$W_x,W_h,b_h$分别是权重矩阵和偏置项。假设RNN的隐藏层维度为$d$。1.推导隐藏状态$h_t$对上一时刻隐藏状态$h_{t-1}$的梯度$\frac{\partialh_t}{\partialh_{t-1}}$。2.解释为什么RNN的梯度计算会出现梯度消失或梯度爆炸的问题。七、比较并解释以下三个优化算法的优缺点：梯度下降法(GD)、随机梯度下降法(SGD)和Adam算法。八、设计一个简单的卷积神经网络用于手写数字识别(MNIST数据集)，需要包含至少一个卷积层、一个池化层和一个全连接层。请描述每一层的结构（例如，卷积层的卷积核大小、数量、激活函数等），并简要说明设计理由。试卷答案一、1.$\nablaf(\mathbf{x})=\mathbf{W}$2.$f(\mathbf{x})=\begin{bmatrix}4\\5\end{bmatrix}^T\begin{bmatrix}1&2\\3&4\\5&6\end{bmatrix}+\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}4+10+15\\5+10+18\end{bmatrix}+\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}30\\35\end{bmatrix}+\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}31\\37\\38\end{bmatrix}$解析：1.根据线性代数知识，向量与矩阵相乘的结果是一个向量，其第$i$个元素等于矩阵的第$i$行与向量的点积。因此，$f(\mathbf{x})$的梯度$\nablaf(\mathbf{x})$就是矩阵$\mathbf{W}$。2.直接将$\mathbf{x},\mathbf{W},\mathbf{b}$的具体数值代入$f(\mathbf{x})=\mathbf{x}^T\mathbf{W}+\mathbf{b}$的公式进行矩阵乘法和向量加法运算即可得到结果。二、1.$y=\sigma(w_1x+w_2x_2+b)$2.$\frac{\partialy}{\partialx}=\frac{\partial\sigma(w_1x+w_2x_2+b)}{\partialx}=\sigma'(w_1x+w_2x_2+b)\cdot(w_1+w_2)$，其中$\sigma'(z)=\sigma(z)(1-\sigma(z))$解析：1.前向传播过程就是将输入$x$通过权重$w$、偏置$b$和激活函数$\sigma$计算得到输出$y$。根据链式法则，$y$关于$x,w,b$的表达式即为$y=\sigma(w_1x+w_2x_2+b)$。2.根据链式法则，$\frac{\partialy}{\partialx}$等于$\sigma'(w_1x+w_2x_2+b)$乘以$w_1x+w_2x_2+b$对$x$的偏导数。由于$w_1x+w_2x_2+b$对$x$的偏导数为$w_1+w_2$，因此最终结果为$\sigma'(w_1x+w_2x_2+b)\cdot(w_1+w_2)$。三、1.$\nabla_{w_1}L=p-y,\nabla_{w_2}L=p-y,\nabla_bL=p-y$2.$\theta_{new}=\theta_{old}-\alpha\nablaJ(\theta)$，其中$\alpha$是学习率解析：1.根据链式法则，$\nabla_{w_1}L=\frac{\partialL}{\partialp}\frac{\partialp}{\partialw_1}$。由于$L=-[y\logp+(1-y)\log(1-p)]$，$\frac{\partialL}{\partialp}=-\frac{y}{p}+\frac{1-y}{1-p}$。又因为$p=\sigma(w_1x_1+w_2x_2+b)$，$\frac{\partialp}{\partialw_1}=p(1-p)x_1$。将两式相乘得到$\nabla_{w_1}L=p(1-p)x_1\left(-\frac{y}{p}+\frac{1-y}{1-p}\right)=(p-y)x_1$。同理可推导出$\nabla_{w_2}L=(p-y)x_2$，$\nabla_bL=p-y$。2.梯度下降法的更新公式为$\theta_{new}=\theta_{old}-\alpha\nablaJ(\theta)$，其中$\theta$表示模型参数，$\alpha$是学习率，$\nablaJ(\theta)$是损失函数$J(\theta)$对参数$\theta$的梯度。题目中已给出梯度$\nabla_{w_1}L,\nabla_{w_2}L,\nabla_bL$，因此可以使用梯度下降法更新参数$w_1,w_2,b$。四、1.$\theta_{new}=\theta_{old}-\frac{\nablaJ(\theta)}{\nabla^2J(\theta)}$2.牛顿法利用二阶泰勒展开近似目标函数，通过同时考虑一阶导数和二阶导数来更快地找到最优解。二阶导数（Hessian矩阵）提供了目标函数曲率的信息，可以帮助选择更合适的搜索方向，从而可能加快收敛速度。解析：1.牛顿法的更新公式来源于二阶泰勒展开。将目标函数$J(\theta)$在$\theta_{old}$处进行二阶泰勒展开，并令一阶导数为零，可以得到一个关于$\theta$的二次函数。该二次函数的最优解可以用$\theta_{new}=\theta_{old}-\nabla^2J(\theta)^{-1}\nablaJ(\theta)$表示。这就是牛顿法的更新公式。2.牛顿法之所以需要计算Hessian矩阵的逆矩阵，是因为它利用了二阶导数信息。与梯度下降法只考虑一阶导数不同，牛顿法通过Hessian矩阵来近似目标函数的曲率，从而能够更准确地估计最优解的方向，并可能以更快的速度收敛。五、1.输出特征图尺寸为$112\times112\times64$2.全连接层的输出维度为128解析：1.根据卷积操作的公式，输出特征图的高度$H_{out}=\frac{H_{in}-F+2P}{S}+1$，宽度$W_{out}=\frac{W_{in}-F+2P}{S}+1$，其中$H_{in},W_{in}$分别是输入特征图的高度和宽度，$F$是卷积核大小，$P$是填充，$S$是步长。代入数据得到$H_{out}=\frac{224-3+2\times1}{1}+1=223$，$W_{out}=\frac{224-3+2\times1}{1}+1=223$。由于输出特征图的个数等于卷积核的数量，因此输出特征图尺寸为$223\times223\times64$。但是，由于填充为1，输入图像尺寸为224，经过卷积操作后，输出特征图尺寸会变为$112\times112\times64$。2.卷积层输出一个包含64个特征图的张量，每个特征图的尺寸为$112\times112$。将这些特征图展平成一个向量，其长度为$112\times112\times64=802816$。接着，这个向量通过一个包含128个神经元的全连接层，因此该全连接层的输出维度为128。六、1.$\frac{\partialh_t}{\partialh_{t-1}}=\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$2.RNN的梯度计算过程中，梯度会沿着时间步反向传播，并在时间步之间累积。如果Hessian矩阵的某些特征值的绝对值大于1，则梯度在反向传播过程中会逐渐变大，导致梯度爆炸；如果Hessian矩阵的某些特征值的绝对值小于1，则梯度在反向传播过程中会逐渐变小，导致梯度消失。解析：1.根据链式法则，$\frac{\partialh_t}{\partialh_{t-1}}=\frac{\partial\sigma(W_xh_{t-1}+W_hh_{t-1}+b_h)}{\partial(W_xh_{t-1}+W_hh_{t-1}+b_h)}\cdot\frac{\partial(W_xh_{t-1}+W_hh_{t-1}+b_h)}{\partialh_{t-1}}$。其中，$\frac{\partial\sigma(W_xh_{t-1}+W_hh_{t-1}+b_h)}{\partial(W_xh_{t-1}+W_hh_{t-1}+b_h)}=\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)$，$\frac{\partial(W_xh_{t-1}+W_hh_{t-1}+b_h)}{\partialh_{t-1}}=W_x+W_h$。因此，$\frac{\partialh_t}{\partialh_{t-1}}=\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$。2.RNN的梯度计算会出现梯度消失或梯度爆炸的问题，这是因为RNN的梯度在时间步之间会传递和累积。具体来说，假设$g_t$是第$t$个时间步的梯度，那么$g_{t-1}=\frac{\partialL}{\partialh_{t-1}}=\frac{\partialL}{\partialg_t}\frac{\partialg_t}{\partialh_{t-1}}=\nablaJ(h_t)\odot\frac{\partialh_t}{\partialh_{t-1}}$，其中$\nablaJ(h_t)$是损失函数对第$t$个时间步隐藏状态的梯度，$\odot$表示元素级别的乘法。可以看到，梯度在时间步之间通过$\frac{\partialh_t}{\partialh_{t-1}}=\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$进行传递。如果$\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$的绝对值小于1，则梯度在反向传播过程中会逐渐变小，导致梯度消失；如果$\sigma'(W_xh_{t-1}+W_hh_{t-1}+b_h)\cdot(W_x+W_h)$的绝对值大于1，则梯度在反向传播过程中会逐渐变大，导致梯度爆炸。七、梯度下降法(GD)是一种最基本的优化算法，它通过计算损失函数对参数的梯度，并沿着梯度的负方向更新参数，从而逐渐减小损失函数的值。GD的优点是简单易实现，缺点是收敛速度可能较慢，尤其是在目标函数的非平稳点附近。随机梯度下降法(SGD)是GD的改进版本，它在每次迭代中只使用一个样本或一小批样本计算梯度，并更新参数。SGD的优点是能够跳出局部最优解，缺点是收敛过程比较嘈杂，需要仔细调整学习率。Adam算法是一种自适应学习率优化算法，它结合了Momentum和RMSprop的优点，能够自动调整每个参数的学习率，并能够适应不同的目标函数。Adam算法的优点是收敛速度快，对超参数不敏感，缺点是可能会陷入局部最优解。解析：该题要求比较并解释GD、SGD和Adam算法的优缺点。GD的优点是简单易实现，计算效率高（当使用向量化操作时），但收敛速度可能较慢，尤其是在目标函数的非平稳点附近，且容易陷入局部最优解。SGD通过使用随机梯度来更新参数，能够有效地跳出局部最优解，并且对于噪声数据和稀疏数据具有较好的鲁棒性，但收敛过程比较嘈杂，需要仔细调整学习率，且每次迭代只使用一个样本，计算效率较低。Adam算法是一种自适应学习率优化算法，它结合了Momentum和RMSprop的优点，能够自动调整每个参数的学习率，并能够适应不同的目标函数，因此收敛速度快，对超参数不敏感，但可能会陷入局部最优解，且对于某些问题可能会出现过拟合。八、设计一个简单的卷积神经网络用于手写数字识别(MNIST数据集)：1.输入层：输入图像尺寸为28x28x1。2.第一个卷积层：使用32个3x3的卷积核，步长为1，填充为0，激活函数为ReLU。输出特征图尺寸为28x28x32。3.第一个池化层：使用2x2的最大池化，步长为2。输出特征图尺寸为14x14x