2025年大学《数理基础科学》专业题库-深度学习中的数学原理解析

2025年大学《数理基础科学》专业题库——深度学习中的数学原理解析考试时间：______分钟总分：______分姓名：______一、1.设$\mathbf{A}$是一个$n\timesn$的实对称正定矩阵，$\mathbf{x},\mathbf{y}$是$\mathbb{R}^n$中的向量。证明：对于任意实数$a$和$b$，不等式$a(\mathbf{x}^\top\mathbf{A}\mathbf{y})+b\|\mathbf{x}\|^2\geq0$成立的充要条件是$a\geq0$且$b\geq0$。2.设$\mathbf{W}\in\mathbb{R}^{d\timesn}$是一个权重矩阵，$\mathbf{X}\in\mathbb{R}^{n\timesm}$是一个数据矩阵。解释$\mathbf{W}^\top\mathbf{W}$的几何意义和代数意义，并说明其在线性回归模型中的作用。3.已知随机变量$X$服从参数为$\lambda$的泊松分布，$Y|X=x$服从参数为$x$的二项分布$B(x,p)$。求随机变量$Y$的边缘分布。二、1.设$f(x)=\frac{1}{1+x^2}$，计算$f'(x)$和$f''(x)$。2.考虑二元函数$z=x^2y+y^3e^x$。求$\frac{\partial^2z}{\partialx\partialy}$和$\frac{\partial^2z}{\partialy^2}$在点$(1,1)$处的值。3.证明函数$f(x)=x^3-3x+1$在区间$[-2,2]$上至少有一个零点。三、1.设$\mathbf{J}_\text{GD}(\theta)$表示使用梯度下降法更新参数$\theta$时目标函数的下降量。解释$\mathbf{J}_\text{GD}(\theta)$的意义，并讨论影响其大小的主要因素。2.定义损失函数$L(\theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(\mathbf{x}^{(i)})-y^{(i)})^2$，其中$h_\theta(\mathbf{x}^{(i)})=\sigma(\theta^\top\mathbf{x}^{(i)})$是逻辑回归的预测函数，$\sigma(z)=\frac{1}{1+e^{-z}}$。计算损失函数$L(\theta)$关于参数$\theta_j$的梯度$\frac{\partialL}{\partial\theta_j}$。3.描述牛顿法（Newton'sMethod）的基本思想，并与其基本梯度下降法进行比较，指出牛顿法的优势。四、1.解释过拟合（Overfitting）现象，并简要说明常见的防止过拟合的技巧。2.设目标函数$J(\theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(\mathbf{x}^{(i)})-y^{(i)})^2$。证明函数$J(\theta)$是一个凸函数。3.说明为何在深度学习模型中，通常会使用正则化（例如L2正则化）项来改进模型的泛化能力。试卷答案一、1.证明：*思路：利用实对称正定矩阵的性质和柯西-施瓦茨不等式。*证明：充分性。若$a\geq0$且$b\geq0$，则显然$a(\mathbf{x}^\top\mathbf{A}\mathbf{y})+b\|\mathbf{x}\|^2\geq0$。*必要性。设不等式对任意$\mathbf{x},\mathbf{y}$恒成立。取$\mathbf{y}=\mathbf{x}$，则$a\mathbf{x}^\top\mathbf{A}\mathbf{x}+b\|\mathbf{x}\|^2=a\mathbf{x}^\top\mathbf{A}\mathbf{x}+b\mathbf{x}^\top\mathbf{I}\mathbf{x}$。由$a(\mathbf{x}^\top\mathbf{A}\mathbf{y})+b\|\mathbf{x}\|^2\geq0$，得$a\mathbf{x}^\top\mathbf{A}\mathbf{x}+b\mathbf{x}^\top\mathbf{x}\geq0$。*由于$\mathbf{A}$是对称正定矩阵，$\mathbf{x}^\top\mathbf{A}\mathbf{x}>0$对$\mathbf{x}\neq\mathbf{0}$成立，且$\mathbf{x}^\top\mathbf{x}>0$对$\mathbf{x}\neq\mathbf{0}$成立。考虑$\mathbf{x}\neq\mathbf{0}$，令$\mathbf{z}=\frac{\mathbf{x}}{\|\mathbf{x}\|}$，则$\mathbf{z}^\top\mathbf{z}=1$，且$\mathbf{z}^\top\mathbf{A}\mathbf{z}>0$。原式变为$a\|\mathbf{x}\|^2\mathbf{z}^\top\mathbf{A}\mathbf{z}+b\|\mathbf{x}\|^2\geq0$，即$a(\mathbf{z}^\top\mathbf{A}\mathbf{z})+b\geq0$。由于$\mathbf{z}^\top\mathbf{A}\mathbf{z}>0$，必有$a\geq0$且$b\geq0$。当$\mathbf{x}=\mathbf{0}$时，原式显然成立。2.思路：利用向量和矩阵运算定义，结合数据降维和特征提取的视角。*解释：$\mathbf{W}^\top\mathbf{W}$是一个$d\timesd$的矩阵。其$(i,j)$元素为$\sum_{k=1}^nw_{ik}w_{jk}$，即第$i$个输出特征与第$j$个输入特征之间的加权内积。几何上，如果$\mathbf{W}$的列向量是正交归一的，则$\mathbf{W}^\top\mathbf{W}=\mathbf{I}_d$，表示$\mathbf{W}$的列向量张成的$d$维子空间中的基向量是单位正交的。代数上，$\mathbf{W}^\top\mathbf{W}$是$\mathbf{W}$的协方差矩阵（如果列向量归一化）或其相关性的度量。在线性回归（例如岭回归）中，$\mathbf{W}^\top\mathbf{W}$出现在正则化项中（如$\lambda\mathbf{W}^\top\mathbf{W}$），它控制了权重$\mathbf{W}$的范数大小，有助于防止过拟合，并使解更加稳定。3.思路：利用全概率公式计算边缘分布。*解答：$P(Y=y)=\sum_{x=0}^{\infty}P(Y=y|X=x)P(X=x)$。已知$P(X=x)=\frac{\lambda^xe^{-\lambda}}{x!}$，$P(Y=y|X=x)=\binom{x}{y}p^y(1-p)^{x-y}$。则$P(Y=y)=\sum_{x=y}^{\infty}\binom{x}{y}p^y(1-p)^{x-y}\frac{\lambda^xe^{-\lambda}}{x!}$$=p^ye^{-\lambda}\sum_{x=y}^{\infty}\frac{x!}{y!(x-y)!}(1-p)^{x-y}\frac{\lambda^x}{x!}$$=p^ye^{-\lambda}\sum_{x=y}^{\infty}\frac{\lambda^y\lambda^{x-y}}{y!(x-y)!}(1-p)^{x-y}$$=p^ye^{-\lambda}\frac{\lambda^y}{y!}\sum_{k=0}^{\infty}\frac{\lambda^k(1-p)^k}{k!}$$=p^ye^{-\lambda}\frac{\lambda^y}{y!}e^{\lambda(1-p)}$（利用$e^z=\sum_{k=0}^{\infty}\frac{z^k}{k!}$）$=\frac{(\lambdap)^ye^{-\lambdap}}{y!}$。*因此，$Y$服从参数为$\lambdap$的泊松分布。二、1.思路：使用求导法则。*解答：$f'(x)=\frac{d}{dx}\left(\frac{1}{1+x^2}\right)=-\frac{1}{(1+x^2)^2}\cdot2x=-\frac{2x}{(1+x^2)^2}$。*$f''(x)=\frac{d}{dx}\left(-\frac{2x}{(1+x^2)^2}\right)=-2\cdot\frac{(1+x^2)^2\cdot1-x\cdot2(1+x^2)\cdot2x}{(1+x^2)^4}$$=-2\cdot\frac{(1+x^2)^2-4x^2(1+x^2)}{(1+x^2)^4}$$=-2\cdot\frac{1+2x^2+x^4-4x^2-4x^4}{(1+x^2)^4}$$=-2\cdot\frac{1-2x^2-3x^4}{(1+x^2)^4}=\frac{2(2x^2+3x^4-1)}{(1+x^2)^4}$。2.思路：使用多元函数求偏导法则。*解答：$\frac{\partialz}{\partialx}=2xy+y^3e^x$。*$\frac{\partial^2z}{\partialx\partialy}=\frac{\partial}{\partialy}\left(2xy+y^3e^x\right)=2x+3y^2e^x$。在$(1,1)$处，$\frac{\partial^2z}{\partialx\partialy}|_{(1,1)}=2(1)+3(1)^2e^1=2+3e$。*$\frac{\partialz}{\partialy}=x^2+3y^2e^x$。*$\frac{\partial^2z}{\partialy^2}=\frac{\partial}{\partialy}\left(x^2+3y^2e^x\right)=6ye^x$。在$(1,1)$处，$\frac{\partial^2z}{\partialy^2}|_{(1,1)}=6(1)e^1=6e$。3.思路：使用介值定理。*证明：$f(x)$在区间$[-2,2]$上连续（多项式函数处处连续）。$f(-2)=(-2)^3-3(-2)+1=-8+6+1=-1$。$f(2)=(2)^3-3(2)+1=8-6+1=3$。由于$f(-2)=-1<0$且$f(2)=3>0$，根据介值定理，在$(-2,2)$内至少存在一点$c$，使得$f(c)=0$。因此，$f(x)$在区间$[-2,2]$上至少有一个零点。三、1.思路：定义并解释梯度下降迭代过程中损失函数的变化。*解释：$\mathbf{J}_\text{GD}(\theta)=J(\theta^{(t+1)})-J(\theta^{(t)})$，其中$\theta^{(t+1)}=\theta^{(t)}-\alpha\nablaJ(\theta^{(t)})$是第$t+1$次迭代后的参数值，$\alpha$是学习率。$\mathbf{J}_\text{GD}(\theta)$表示在一次梯度下降迭代中，损失函数值减少的量。其大小受以下因素影响：1)当前参数$\theta^{(t)}$处的损失函数梯度$\nablaJ(\theta^{(t)})$的大小，梯度越大，下降量通常越大；2)学习率$\alpha$的大小，$\alpha$越大，单次迭代下降量可能越大，但可能导致不收敛；3)目标函数$J(\theta)$在$\theta^{(t)}$附近的形状（例如曲率），在平坦区域下降量较小；4)参数更新方向与负梯度方向的夹角。2.思路：使用链式法则求导。*解答：$\frac{\partialL}{\partial\theta_j}=\frac{1}{2m}\sum_{i=1}^m\frac{\partial}{\partial\theta_j}\left((h_\theta(\mathbf{x}^{(i)})-y^{(i)})^2\right)$$=\frac{1}{2m}\sum_{i=1}^m2(h_\theta(\mathbf{x}^{(i)})-y^{(i)})\frac{\partial}{\partial\theta_j}h_\theta(\mathbf{x}^{(i)})$$=\frac{1}{m}\sum_{i=1}^m(h_\theta(\mathbf{x}^{(i)})-y^{(i)})\frac{\partial}{\partial\theta_j}\sigma(\theta^\top\mathbf{x}^{(i)})$$=\frac{1}{m}\sum_{i=1}^m(h_\theta(\mathbf{x}^{(i)})-y^{(i)})\sigma'(\theta^\top\mathbf{x}^{(i)})\mathbf{x}^{(i)j}$其中$\sigma'(z)=\sigma(z)(1-\sigma(z))$。3.思路：描述牛顿法思想和与梯度下降法的区别。*描述：牛顿法的基本思想是利用目标函数的二阶导数（Hessian矩阵）来加速收敛。在梯度下降法中，更新方向是负梯度方向，步长由学习率决定。牛顿法通过求解二次方程$(\nablaJ(\theta))^\top\mathbf{H}^{-1}\nablaJ(\theta)=0$来确定搜索方向（其中$\mathbf{H}$是Hessian矩阵），其搜索方向是二次近似函数的负梯度方向，理论上更指向函数的最小值。牛顿法的更新步长由$-\mathbf{H}^{-1}\nablaJ(\theta)$与$\nablaJ(\theta)$的比例决定，通常比梯度下降法的固定步长更优。优势在于：1)理论上收敛速度更快（二次收敛）；2)当Hessian矩阵可逆且接近正定时，能更快地找到精确或近似精确解。四、1.思路：定义并解释过拟合现象及常见解决方法。*解释：过拟合是指机器学习模型在训练数据上表现很好，但在未见过的测试数据上表现很差的现象。模型过于复杂，学习到了训练数据中的噪声和细节，而非潜在的普遍规律。防止过拟合的技巧包括：1)减少模型复杂度（例如减少层数、神经元数量）；2)获取更多训练数据；3)使用正则化（如L1、L2正则化，Dropout）；4)早停法（EarlyStopping），即在验证集性能不再提升时停止训练；5)数据增强（DataAugmentation）。2.思路：利用凸函数的定义证明。*证明：函数$J(\theta)$关于$\theta$是可微的。$J(\theta)$是凸函数的充要条件是其Hessian矩阵$\nabla^2J(\theta)$在整个$\theta$空间内是正半定矩阵。计算Hessian矩阵：$\frac{\partial^2J}{\partial\theta_j\partial\theta_k}=\frac{\partial}{\partial\theta_k}\left(\frac{1}{m}\sum_{i=1}^m2(h_\theta(\mathbf{x}^{(i)})-y^{(i)})\frac{\partialh_\theta(\mathbf{x}^{(i)})}{\partial\theta_j}\right)$$=\frac{2}{m}\sum_{i=1}^m\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)\frac{\partial^2h_\theta(\mathbf{x}^{(i)})}{\partial\theta_j\partial\theta_k}$$=\frac{2}{m}\sum_{i=1}^m\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)x_{ik}\sigma'(\theta^\top\mathbf{x}^{(i)})$$=\frac{2}{m}\sum_{i=1}^m\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)x_{ik}\sigma(\theta^\top\mathbf{x}^{(i)})(1-\sigma(\theta^\top\mathbf{x}^{(i)}))$$=\frac{2}{m}\sum_{i=1}^m\left[\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)\sigma(\theta^\top\mathbf{x}^{(i)})-\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)^2\sigma(\theta^\top\mathbf{x}^{(i)})\right]x_{ik}$$=\frac{2}{m}\sum_{i=1}^m\left[\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)\sigma(\theta^\top\mathbf{x}^{(i)})x_{ik}-\left(h_\theta(\mathbf{x}^{(i)})-y^{(i)}\right)^2\sigma(\theta^\top\mathbf{x}^{(i)})x_{ik}\right]$记$\mathbf{g}=\nablaJ(\theta)$，$\mathbf{h}=\mathbf{x}^\top\sigma(\theta^\top\mathbf{x})$。则$\frac{\partial^2J}{\partial\theta_j\partial\theta_k}=\frac{2}{m}\sum_{i=1}^m\left[g_ih_{ik}-g_i^2h_{ik}\right]=\frac{2}{m}\sum_{i=1}^mg_ih_{ik}(1-g_i)$。这是一个对称矩阵。考虑任意向量$\mathbf{v}$，计算$\mathbf{v}^\top\nabla^2J(\theta)\mathbf{v}$：$\mathbf{v}^\top\nabla^2J(\thet