2025年大学《数理基础科学》专业题库- 数值优化算法与应用

2025年大学《数理基础科学》专业题库——数值优化算法与应用考试时间：______分钟总分：______分姓名：______一、填空题1.对于无约束优化问题minf(x)，如果x*是局部最优解，且在x*处梯度∇f(x*)=0，则f(x)在x*处可能是极小值点、极大值点或鞍点。2.拟牛顿法通过构造一个近似Hessian矩阵的逆来加速梯度法的收敛，其中BFGS公式是一种常用的更新公式，它旨在保持近似Hessian矩阵的对称正定性。3.在约束优化问题中，Lagrange乘子法通过引入Lagrange函数L(x,λ)=f(x)+λg(x)(对于等式约束g(x)=0)，将约束优化问题转化为无约束优化问题，其中λ称为Lagrange乘子。4.函数f(x)=x₁²+2x₂²在点x=(1,-1)处的梯度为∇f(x)=[2x₁,4x₂]ᵀ，Hessian矩阵为H=[[2,0],[0,4]]。5.共轭梯度法是一种适用于求解大型稀疏正定线性方程组的方法，它也可以用于无约束优化，特别是当Hessian矩阵近似为病态或不可逆时。二、选择题1.下列哪种方法属于无约束优化中的梯度类方法？()A.牛顿法B.共轭梯度法C.粒子群优化算法D.内点法2.对于凸优化问题，任意两个局部最优解都一定是全局最优解，这一性质称为？()A.强凸性B.凸组合性质C.局部最优性定理D.凸性定理3.在序列二次规划（SQP）方法中，每一迭代步求解一个二次规划子问题，其目标函数通常取为原问题目标函数在当前点的近似，可行性约束通常通过？()A.拉格朗日乘子引入B.罚函数引入C.可行方向保证D.牛顿方向保证4.如果无约束优化问题的目标函数在定义域内具有唯一的全局最小值，那么梯度下降法（学习率合适时）一定能收敛到该全局最小值。()A.正确B.错误5.KKT条件是约束优化问题中，最优解必须满足的一组必要条件（在某些条件下也是充分条件），它涉及目标函数梯度、约束梯度以及Lagrange乘子。()A.正确B.错误三、简答题1.简述梯度下降法的基本思想及其可能存在的缺点。2.写出牛顿法用于无约束优化问题的一步迭代公式，并简述其收敛速度可能优于梯度下降法的原因。3.什么是约束优化问题的可行方向？请简述可行方向法的思想。4.与梯度下降法相比，BFGS算法在更新近似Hessian矩阵时有哪些优势？四、计算题1.考虑无约束优化问题minf(x)=x₁²+2x₁x₂+3x₂²，其中x∈ℝ²。(1)计算函数f(x)在点x=(1,0)处的梯度∇f(x)。(2)如果使用梯度下降法，设初始点为x^(0)=(1,0)，学习率α=0.1，求x^(1)=x^(0)-α∇f(x^(0))。2.考虑约束优化问题minf(x)=x₁²+x₂²subjecttog(x)=x₁+x₂-1=0，其中x=(x₁,x₂)∈ℝ²。(1)写出该问题的Lagrange函数L(x,λ)。(2)利用Lagrange乘子法，推导出最优解x*和对应的Lagrange乘子λ*所需满足的必要条件（KKT条件的一部分）。3.设某无约束优化问题的Hessian矩阵近似为B=[[2,1],[1,2]]，初始点为x^(0)=(1,1)^(T)，目标函数在某点的梯度为∇f(x)=(1,-1)^(T)。(1)假设使用BFGS更新公式（简化形式），计算H^(1)=B^(0)-ρ₁v^(0)v^(0)ᵀ+ρ₂H^(0)u^(0)u^(0)ᵀ，其中B^(0)=B，H^(0)=B^(0)=I（单位矩阵），ρ₁=1/(v^(0)ᵀH^(0)v^(0))=1/3，ρ₂=1/(u^(0)ᵀH^(0)u^(0))=1/2，v^(0)=∇f(x^(0))ᵀH^(0)x^(0)=(1,-1)ᵀ(1,1)ᵀ=0，u^(0)=x^(0)-x^(0)=(0,0)ᵀ。（*提示：此题的ρ₁ρ₂v^0v^0ᵀ项为0，但请按公式结构进行计算*）(2)根据计算得到的H^(1)和梯度∇f(x)=(1,-1)^(T)，计算牛顿方向d^(1)=-H^(1)∇f(x)。五、应用与分析题1.在机器学习中，逻辑回归模型的参数估计问题可以通过最小化逻辑损失函数（如交叉熵损失）来实现。设损失函数为L(θ)=-1/m*Σ[log(1+exp(-z(xᵢ)))+yᵢz(xᵢ)]，其中z(xᵢ)=xᵢᵀθ，xᵢ,yᵢ为数据点，θ为参数向量。请分析该损失函数L(θ)的性质（例如，是否为凸函数？为什么？），并说明通常使用哪种梯度优化算法来求解θ的最小值，简述其理由。2.考虑一个简单的工程优化问题：在单位圆盘x₁²+x₂²≤1内，寻找使函数f(x)=-x₁最大化点的位置。请分析该问题的最优解，并简要说明如果将其转化为标准约束优化问题，应该如何设定目标函数和约束条件。不需要求解，只需分析和说明。试卷答案一、填空题1.极大值点2.近似Hessian矩阵的逆；对称正定性3.拉格朗日函数；等式约束g(x)=04.[2,-4]ᵀ；[[2,0],[0,4]]5.求解大型稀疏正定线性方程组；无约束优化二、选择题1.B2.D3.A4.B5.A三、简答题1.思想：沿着目标函数梯度的反方向（或负梯度方向）进行搜索，因为梯度指向函数值增长最快的方向，其反方向指向函数值下降最快的方向，从而逐步接近极小值点。缺点：收敛速度通常较慢，尤其是在接近最优解时，步长难以自动调整；对于非凸函数，可能陷入局部最优解；需要计算梯度，计算量可能较大。2.迭代公式：x^(k+1)=x^(k)-H^(k)∇f(x^(k))，其中H^(k)是在x^(k)处目标函数f(x)的Hessian矩阵的近似。收敛原因：牛顿法利用了二阶导数（Hessian矩阵）信息，能够确定一个指向最优解的“牛顿方向”，这个方向通常比梯度方向更接近最优解，因此在每一步能够实现二次收敛（收敛速度更快），尤其是在接近最优解时。相比之下，梯度下降法仅利用一阶导数信息，其收敛速度通常是线性的。3.可行方向：对于约束优化问题minf(x)subjecttoc(x)≤0，若x是可行点，则一个方向d称为可行方向，如果对于足够小的步长α>0，x+αd仍然是可行点，即满足c(x+αd)≤0。思想：可行方向法在每一步寻找一个既保证搜索方向指向目标函数值下降，又保证搜索后点仍然在可行域内的方向d。具体步骤通常是从一个可行点出发，计算目标函数的梯度（指向离开最优解的方向）和约束的梯度（指向违反约束的方向），然后构造搜索方向，使其一部分指向下降方向，一部分指向满足可行性要求的方向，通过投影或其它方法确保新点仍在可行域内。4.优势：*保持正定性：BFGS公式能够保证近似Hessian矩阵在迭代过程中始终保持对称正定性，这保证了梯度下降方向总是指向局部极小值。*利用历史信息：它利用了梯度信息（通过BFGS公式中的v和u向量）来更新近似Hessian矩阵，有效地结合了当前梯度信息和之前迭代的信息，避免了直接计算和更新真实的Hessian矩阵，计算量相对较小。*收敛性：在许多实际应用中，BFGS算法比梯度下降法收敛得更快，尤其是在处理中等规模的问题时表现出色。四、计算题1.(1)∇f(x)=[∂f/∂x₁,∂f/∂x₂]ᵀ=[2x₁+2x₂,2x₁+6x₂]ᵀ。将x=(1,0)代入，得到∇f(1,0)=[2*1+2*0,2*1+6*0]ᵀ=[2,2]ᵀ。(2)x^(1)=x^(0)-α∇f(x^(0))=(1,0)-0.1*[2,2]ᵀ=(1,0)-(0.2,0.2)=(0.8,-0.2)。2.(1)L(x,λ)=f(x)+λg(x)=x₁²+2x₁x₂+3x₂²+λ(x₁+x₂-1)。(2)必要条件（KKT条件的一部分）包括：*梯度条件：∇_xL(x,λ)=∇f(x)+λ∇g(x)=0，即[2x₁+2x₂,2x₁+6x₂]ᵀ+λ[1,1]ᵀ=[0,0]ᵀ。这给出两个方程：2x₁+2x₂+λ=0和2x₁+6x₂+λ=0。*约束条件：g(x)=x₁+x₂-1=0。3.(1)H^(0)=I=[[1,0],[0,1]]。v^(0)=∇f(x^(0))ᵀH^(0)x^(0)=[1,-1]ᵀ*[[1,0],[0,1]]*[1,1]ᵀ=[1,-1]ᵀ*[1,1]=[1-1,1+1]ᵀ=[0,2]ᵀ。u^(0)=x^(0)-x^(0)=[1,1]ᵀ-[1,1]ᵀ=[0,0]ᵀ。BFGS更新公式H^(k+1)=H^(k)-ρ₁v^(k)v^(k)ᵀ+ρ₂u^(k)u^(k)ᵀ。H^(1)=H^(0)-ρ₁v^(0)v^(0)ᵀ+ρ₂u^(0)u^(0)ᵀ=[[1,0],[0,1]]-1/3*[[0,0],[0,0]]+1/2*[[0,0],[0,0]]=[[1,0],[0,1]]-[[0,0],[0,0]]+[[0,0],[0,0]]=[[1,0],[0,1]]。（注意：此题计算中v^(0)ᵀH^(0)v^(0)=[0,2]*[[1,0],[0,1]]*[0,2]ᵀ=[0,2]*[0,2]ᵀ=[0,4]=4。但ρ₁v^(0)v^(0)ᵀ=(1/3)*[0,0]=[0,0]。同时u^(0)=[0,0]ᵀ，所以ρ₂u^(0)u^(0)ᵀ=0。因此H^(1)=[[1,0],[0,1]]-[0,0]+[0,0]=[[1,0],[0,1]]。此题按公式结构计算结果为单位矩阵，但提示中指出的ρ₁ρ₂v^0v^0ᵀ项为0是对的，因为v^0=0。）(2)d^(1)=-H^(1)∇f(x)=-[[1,0],[0,1]]*[1,-1]ᵀ=-[1,-1]ᵀ=[-1,1]ᵀ。五、应用与分析题1.性质分析：L(θ)通常不是严格的凸函数。虽然对于每个固定的yᵢ，h(θ)=log(1+exp(-z(xᵢ)))+yᵢz(xᵢ)是关于θ的凸函数，但由于求和是在所有数据点i上进行的，L(θ)是这些h(θ)的加权（1/m）和，因此L(θ)是关于θ的凹函数。交叉熵损失函数的凹性是逻辑回归模型能够保证有唯一全局最优解的理论基础。优化算法：通常使用梯度下降法（包括其变种如SGD、Adam等）来求解θ的最小值。理由：因为L(θ)是凹函数，所以其全局最小值存在且唯一。梯度下降法是一种通用的迭代优化算法，能够有效地在凹函数上收敛到全局最小值。此外，梯度下降法计算简单（梯度容易计算），并且可以方便地应用于大规模机器学习问题。2.最优解分析：在单位圆盘x₁²+x₂²≤1内，函数f(x)=-x₁的最大值发生在x₁最小的地方。由于x₁的取值范围受到圆盘约束x₁²+x₂²≤1的限制，x₁的最小值为-√(1-x₂²)。要使x₁最小，需要x₂²最大，即x₂=±1。当x₂=1时，x₁=-√(1-1²)=0；当x₂=-1时，x₁=-√(1-(-1)²)=0。因此，在单位圆盘内，f(x)的最大值为-0=0，最优解位于圆盘边界上，即x=(0,