计算机视觉中数学方法-5迭代算法续

3.3

3．迭代算约束优化问⎪minf⎪subjecttog(x)≤0,i=1,2,...,

h(x)=0,i= 的可行域Ω={x∈Rn|gi(x)≤0,hj(x)=0,i=1,2,...,p;j=假定约束优化问题中1[惩罚法

3．迭代算惩罚法，又称为序列无约束极小化方法。该方法是通过引入罚外惩罚法(罚函数法)内惩罚法 函数法)外惩罚法基本思想：首先选择一个充分大的数C，构造一个罚⎪0,b(x)=C,x∉

23．迭代算其中C称为惩罚因子，表示对不可行点的惩罚。然后将原问题归为无约束优化问p(x)=f(x)+b(x)=f(x),x∈

⎩⎪C,x∉⎩称为(3.4.1)的增广代价最优然而罚函数(3.31)在可行域Ω的边界具有非常大的跳跃，3优化方法求解问题

3．迭代算为了使增广代价函数p(x)在可行域边界具有原代价函数的须使p(x)在可行域的边 bc(x)=C∑[max(gi(x),0)]2 ∑(hi i= 2i=使得增广代价函数pc(x)= f(x)+bc(x)在可行域边界就具有连续性。因此，只要C充分大，原问题就可以归结为无约束问题： (x) f(x)+ 惩罚因子C究竟选择多才合改进：选择单调严格递增趋于正无穷的惩罚因子序列：43．迭代算{Ck|k=1,2,...}此时随着k的增 c(x)对不可行点的惩罚Ck也求解原约束优化问题归结为求解一系列无约束优化问题 (x),k=k其中

pc(x)=f(x)+

p(x),bc(x)=Ck∑[max(gi(x),0)]2

i

2i对于(3.35)的最优解{xk}，我们期望它能趋 问题的最优解。（。5外惩罚法的计

选取初始x0，给定终止控制常数ε>0和惩罚因子序{Ck|k=1,2,...}；k:=1 以初始点xk−1，用无约束优化方法求 (x)，得到它的k优解xk。若xk已满足终止条件，则输出最优解xk；否则k:=k+1，转步2)

=σC(C>0,σ≥2)。终止条件：S(x) 1p(x)Ck+ CkS(x)≤ε；gk=max{gi(xk)},hk=max{hj(xk)}，max{gk,hk}≤6内惩罚法基本

3．迭代算边界设置一道 ”的是所谓 函数，然 为了陈述方便起⎪minf⎨subjecttog(x)≤0,i=1,2,...,

可行域的内Ωo={x∈Rn|gi(x)<0,i=1,2,...,73．迭代算∈Ω值趋近于零，因此下 gb(x)= ，或b(x)=−∑log(−gigi= i=这个函数被称 函数。构造增广代价函数如下p(x)=f(x)+， 函数b(x)的作，由于最终要寻求原约边界上，所以在迭代过程中要逐渐减小b(x)的惩罚程度。为此，与83．迭代算惩罚法类似，首先选取一个单调减趋于零的正惩罚因子序列{Dk|k=1,2,...}，并对每一个k，构 函数 bDk(x)=−Dk∑g(x)，或bDk(x)=−Dk∑log(−gi i= i=然后构造定义在Ωo上增广代价函pD(x)=f(x)+bD D由 (x)构造可知，当一个点从可行域内部趋向可行域边界时DkD (x)将无限增DkD Dk的最优解总是在可行域内部。如果(3.39)93．迭代算 D(x)的影响逐渐k将近D (x),k= Dk内惩罚>正惩罚因子序列{Dk|k=1,2；k:=1；构造惩罚函数bD(x)和增广代价函数pD D以初始点xk−1，用无约束优化方法求 (x)，得到它的Dk3．迭代算优解xk。若xk已满足终止条件，则输出最优解xk；否则，k:=k+1，转步2)在内惩罚法中，初始{Dk|k=1,2,...}可按下述递推方式产Dk+1=σ−1Dk(C1>0,σ≥终止条件bD(xk≤ε，或gk=max{|gi(xk)|}≤k惩罚法的优点是方法结构较简单，但存在下述缺点

3．迭代算收敛速度计算量方法自身造成了数值计算上 因为在求解过程中要求惩因子无限增大或无限数的矩阵的严 ，直接影响了惩罚法的效率，甚至算法失败[乘子法

3．迭代算Hestenes1969年，针对等式约束优化问题提出了著名的乘子法，它借用了惩罚法中构造增广代价函数的思想，并利用Lagrange乘子法克服了惩罚法所固有的数值。后来，Buys，Bertsekas，RockafellarHestenes乘子法到一般约束优化问题。先介绍Hestenes乘子法。乘考虑等式约束优化问⎪minf⎨subjecttoh(x)=0,i=

3．迭代算假定所涉及的函数都pc(x)=f(x)pck

2

∑(hi(x))i=令 (x),k=1,2,...的最优解为xk，则必kqck∇ (xk)=∇f(xk)+Ck∑hi(xk)∇hi(xk)=cki=qi1∇f(xk)=−∑hi i=

(xk

(xk假定xk→x*k→∞，其中x*为最优解于是在上式3．迭代算 limk→∞ ∇f(xk)=−∑hi(x*)∇hi(x*)= i=对于约束优化问题，一般有∇f(x*)≠0，所以Ck→∞。由此可见， 惩罚法的惩罚因子无限增大的本质是f(x*)≠0。如果我们存在aane乘子*3.41的araneqL(x,μ)=f(x)+∑i=

3．迭代算∇L(x*,μ*)

∇xL(x*,⎟=⎠∇μL(x*,μ*)⎟⎠(x*,μ*)不是函数L(x,μ)的极小点或极点即L(x*,μ)≤L(x*,μ*)≤L(x,综上所述，问题(3.41)⎪minL(,⎨subjecttoh(x)=0,i=

3．迭代算 再将惩罚法应用于上述问题，原问题(3.41)就转化为求解增广 pc(x,μ*)=L(x,μ*) ∑[hj 2j=的无约束极小问难点：在数值上如何确定μ*和C，特别是确定μ*。对此，Hestenes出了如下方C选取一个无限增大的正数序列{Ck3．迭代算使之随迭代次数增加而增大；对乘子μ*，先给定一个初始值，然后在迭代过程中不断更新它。下面给出Hestenes的乘子μ*更新公假定已有μk，并令xk=argminpC(xμk)，则kk∇xk

(xk,μk)=∇xL(xk,μk)+Ck∑hj(xk)∇hj(xkj= =∇f(xk)

∑μk∇h(xk)+ j

∑hj(xk)∇hj(xkj==∇f(xk)

∑

+Ch(xk))∇h(xk)=

k j= 3．迭代算∇xL(x*,μ*)=∇f(x*)

∑μ*∇h j=≈∇f(xk)

∑μk+1∇h(xk

j=μk+1=μk+Ch(xk),j= k

>增趋于无穷大的正惩罚因子序列{Ck|k=1,2；k:=13．迭代算以初始点xk−1，用无约束优化方法求 k C (x,μk)=f(x)Ck

∑μkh(x)jj=j

k∑[hj2j=若xk已满足终止条件，则输出最优解xk；否则，转步骤更新乘子：μk1=μk+Ch(xk),j=1,2,...,q，令k:=k+1 k转步2)**Ck+1=σCk(C1∈[0.1,1],σ≥初始乘子常取零。终止条件：hk=max{|hj(xk)|}≤ε，或||xk1−xk||≤ε且||μk1−μk||≤ε，或|f(xk1−f(xk)|≤

3．迭代算Rockafellar将Hestenes乘子 到不等式约束优化问题⎪minf ⎨subjecttog(x)≤0,i=1,2,...,

Rockafellar乘子法首先引入松驰变量y=(y1,y2,...,yp)T将不等式约束优化(3.46)转化为变量(x,y)的等式约束优化：⎪minfi⎪subjecttogi(x)+y2=0,i=1,2,...,i

根据Hestenes乘子法，(3.47)的增广Lagrange代价函数C (x,y,λ)=f(x)Ck

qi∑λi(gi(x)+y2)ii=

2

i∑(gi(x)+yii=

3．迭代算其中λ=(λ1,λ2,...,λp)T是乘子，{Ck}是一个单调增趋于无穷的正惩罚因子序列。近最优解的迭代点列{(xkyk)}与乘子的迭代点列(xk,yk)=argminpC(x,y,λkkλk1=λk+Cg(xk+(yk)2),j=1,2p k 数pC(xy,λ关于变y极小kL(x,λ)=minypC(x,y,λ)k从下述方y1(λ1+Ck(g1(x)+y2))

3．迭代算 ⎜y2(λ2+Ck(g2(x)+y2))k∇yk

(x,y,λ)⎜⎜

⎟= ⎟2p得

+Ck(gp(x)+yp⎪−1(λ+C(g

+C(g(x))<iky2=⎟ ik⎪

,i=1,2,...,pi+Ck(gi(x))≥kλ(g(x)+y2)+Ck(g(x)+y2

3．迭代算⎪−i，(λi+Ck(gi(x))<=

C⎪λigi(x)+k(gi(x))2，(λi+Ck(gi(x))≥

i[(max(0,λi+Ck(gi(x)))2−λ2],i=1,2,...,i因此L(x,λ)=minypC(x,y,λ)=f(x)k

pi1∑[(max(0,λi+Ckgi(x)))2−λi1ki=3．迭代算λk+1=λk+Cg(xk)+(yk)2)=max(0,λk+Cg(xk)),i=1,2,..., k k>增趋于无穷大的正惩罚因子序列{Ck|k=1,2；k:=1k C (x,λk)=f(x)Ck

[(max(0,λi+Ckgi(x)))−λi]ki=3．迭代算若xk已满足终止条件，则输出最优解xk；否则，转步骤更新乘子λk1=max(0,λk+Cg(xk)),i=1,2p kk:=k+1，转步2)。一般约束优化⎪minf⎪subjecttog(x)≤0,i=1,2,..., ⎩ hj(x)=0,i=⎩的增广代价函数序p1pLC(x,λk,μk)=f(x) ∑[(max(0,λ

3