最优化方法习题一

习题一考虑二次函数f(x)=写出它的矩阵—向量形式:f(x)=矩阵Q是不是奇异的?证明:f(x)是正定的f(x)是凸的吗?写出f(x)在点=处的支撑超平面(即切平面)方程解:1)f(x)==+其中 x=,Q=,b=2)因为Q=,所以|Q|==8>0即可知Q是非奇异的3)因为|2|>0,=8>0,所以Q是正定的,故f(x)是正定的4)因为=,所以||=8>0,故推出是正定的,即是凸的5)因为=,所以=(5,11)所以f(x)在点处的切线方程为5()+11()=0二、求以下函数的梯度问题和Hesse矩阵1)f(x)=2++2)f(x)=ln(+)解:1)=(,)=2)=(,)=设f(x)=,取点.验证=(1,0,-1)是f(x)在点处的一个下降方向,并计算f(+t)证明:=d=(1,0,-1)=-3<0所以是f(x)在处的一个下降方向f(+t)=f((1+t,1,1-t))=f(+t)=6t-3=0所以t=0.5>0所以f(+t)=3*0.25-3*0.5+4=3.25设，b，〔j=1,2,….,n〕考虑问题Minf(x)=s.t.(j=1,2,….,n)写出其KuhnTuker条件证明问题最优值是解：1〕因为目标函数的分母故所以〔j=1,…,n〕都为0所以KuhnTuker条件为即+=02〕将代入h(x)=0只有一点得故有所以最优解是五、使用KuhnTuker条件，求问题minf(x)=s.t.的KuhnTuker点，并验证此点为问题的最优解解：x=(1/2,3/2)故，=0那么即而故即其为最优解六、在习题五的条件下证明L()其中L〔x,〕=f(x)+证明：L()=f()+=f()=f()++2)==f()=)习题二设f(x)为定义在区间[a,b]上的实值函数，是问题min{f(x)|a}的最优解。证明：f(x)是[a,b]上的单谷函数的充要条件是对任意满足f()<max{f(),f()},证明：不妨设<,那么<“必要性”假设那么由单谷函数定义知故有“充分性”由，的任意性取=时，f()>f()那么>>=且f()<f()假设取=时,f()>f()=<<且f()<f()满足单谷函数的定义二、设<,1)证明:满足条件的二次函数是〔严格〕凸函数2〕证明：由二次插值所得f(x)的近似极小值点〔即的驻点〕是或者证明：1〕设=〔〕那么由得或故1〕得证2〕的驻点为或三、设f(x)=试证：共轭梯度法的线性搜索中，有，其中证明：由，得令为t的凸二次函数。要使是的极小点即为驻点，故满足而===故有得四、用共轭梯度法求解：minf(x)=,x取初始点解：易知第一次迭代：线性搜索得步长从而=第二次迭代：线性搜索得步长：所以最优解为用拟Newton法求解：min取初始点解：1〕DFC法取初始对称矩阵第一次迭代：计算得，经一维线性搜索得：=0.25置第二次迭代经一维线性搜索得：=6.25故最优解为：2〕BFGS法取定初始对称矩阵第一次迭代：计算得，经一维线性搜索得：=0.25同DFP法，初始修正矩阵第二次迭代：经一维线性搜索得：故最优解为：习题三给定问题mins.t.取初始点，用简约梯度法求其最优解解：约束条件为那么，==得得故为问题的K-T点用梯度投影法求解问题mins.t.取初始点解：迭代〔1〕投影矩阵故故投影矩阵令故为其 K-T 点3、用可行方向法求解问题mins.t.取初始点解：迭代一：有效约束确定下降方向min-4s.t.i=1,2解得且其最优值为-6，即处的搜索方向线性搜索而迭代2：有效约束确定下降方向min-s.t.i=1,2得且其最优值为-2线性搜索而迭代3：有效约束确定下降方向min-s.t.i=1,2得，其最优值为-