最优化方法习题一

习题一一、 考虑二次函数f(x)=1) 写出它的矩阵向量形式: f(x)=2) 矩阵Q是不是奇异的?3) 证明: f(x)是正定的4) f(x)是凸的吗?5) 写出f(x)在点=处的支撑超平面(即切平面)方程解:1) f(x)= =+其中 x= ,Q= , b= 2) 因为Q= ,所以 |Q|=80 即可知Q是非奇异的 3) 因为|2|0, =80 ,所以Q是正定的,故f(x)是正定的 4) 因为=,所以|=80,故推出是正定的,即 是凸的 5) 因为 =,所以=(5,11) 所以 f(x)在点处的切线方程为5()+11()=0二、 求下列函数的梯度问题和Hesse矩阵 1) f(x)=2+ 2) f(x)=ln(+) 解: 1) = ( , ) = 2) =( , ) =三、 设f(x)=,取点.验证=(1,0,-1)是f(x)在点处的一个下降方向,并计算f(+t) 证明: = d=(1,0,-1)= -30所以f(+t)=3*0.25-3*0.5+4=3.25四、 设 ，b ，（j=1,2,.,n）考虑问题Min f(x)=s.t. (j=1,2,.,n)1) 写出其Kuhn Tuker 条件2) 证明问题最优值是 解：1）因 为目标函数的分母故所以（j=1,n）都为0 所以Kuhn Tuker 条件为 即 +=0 2）将代入 h(x)=0 只有一点 得 故有 所以最优解是五、使用Kuhn Tuker 条件，求问题min f(x)=s.t. 的Kuhn Tuker 点，并验证此点为问题的最优解 解：x=(1/2,3/2) 故，=0 则 即 而 故 即其为最优解六、在习题五的条件下证明L()其中 L（x,）=f(x)+ 证明：L()=f()+ = f() = f()+2)= = f() = )习题二一、 设f(x)为定义在区间a,b上的实值函数，是问题minf(x)|a的最优解。证明：f(x)是a,b上的单谷函数的充要条件是对任意满足f()maxf(),f(), 证明：不妨设,则f() 则= 且f()f() = 且 f()f()满足单谷函数的定义 二、设,1)证明:满足条件 的二次函数是（严格）凸函数2）证明：由二次插值所得f(x)的近似极小值点（即的驻点）是 或者 证明：1）设= （） 则 由 得 或 故1）得证 2）的驻点为 或三、设f(x)=试证：共轭梯度法的线性搜索中，有，其中 证明：由已知 ，得 令为t的凸二次函数。要使是的极小点即为驻点，故满足 而 = = = 故有 得 四、用共轭梯度法求解： min f(x)= , x 取初始点解：易知 第一次迭代： 线性搜索得步长 从而 =第二次迭代： 线性搜索得步长： 所以 最优解为五、 用拟Newton法求解：min 取初始点 解：1）DFC法 取初始对称矩阵 第一次迭代： 计算得，经一维线性搜索得：=0.25 置 第二次迭代 经一维线性搜索得：=6.25 故最优解为：2）BFGS法取定初始对称矩阵第一次迭代：计算得，经一维线性搜索得：=0.25 同DFP法，初始修正矩阵 第二次迭代： 经一维线性搜索得： 故最优解为：习题三1、 给定问题 min s.t. 取初始点，用简约梯度法求其最优解 解：约束条件为 则， = = 得 得 故为问题的K-T点2、 用梯度投影法求解问题 min s.t. 取初始点解： 迭代（1） 投影矩阵 故 故 投影矩阵 令故 为其K-T点3、用可行方向法求解问题 min s.t. 取初始点 解： 迭代一： 有效约束 确定下降方向 min -4 s.t. i=1,2 解得 且其最优值为-6，即处的搜索方向 线性搜索 而 迭代2： 有效约束 确定下降方向 min - s.t. i=1,2 得且其最优值为-2 线性搜索 而 迭代3： 有效约束 确定下降方向 m