优化-optimization-dlut1.基本性质

ⓙⓞ

㡑基本性质保凸运算共轭函数拟凸函数对数－凹函数和对数－凸函数广义不等式的凸性质2⃯K函数

f

:

Rn3R

是凸的，如果

/QK

f

是凸集，有)y)

f

(x)

+

(1 )

f

(y),

x,

y

/QK

f,

[0,

1]f

(

x

+

(1如果

x

y,

(0,

1)

成⽴，则是严格凸的。如果

f

是凸的则

f为凹的。仿射函数既是凸的也是凹的。反之，如果函数既是凸的也是凹的则其为仿射函数。为何定义域为凸⃡

椗f

为凸函数的充要条件：㩂f⇗在开集/QK

f

内处处存在，/QK

f

为凸，

x,

y

/QK

f

，下式成⽴f

(y)

f

(x)

+

f

(x)T

(y

x)凸函数的⼀阶

h v

HQ`

展开近似实质上是⼀个原函数的全局下估计。从⼀个凸函数的局部信息，可以得到⼀些全局信息。严格凸函数：

f

(y)

>

f

(x)

+

f

(x)T

(y

x)4Ⅽ

椗㩂⇗f

为凸函数的充要条件：>2bbB

M凸函数的充要条件是2

f

在

/QK

f

内处处存在，

f

是2

f0,

半正定该条件说明函数

f

的导数是⾮减的，因此在⼏何上可以理解为函数图像在点

x

处有正的曲率。注意：

f

为严格凸时2

f0，但是反过来不成⽴，例如f

(x)=x45Ⅽ

椗㩂⇗6⃯

栽⧟'

RKTICRJf:

Rn7R

图像：{(x,

f

(x))|x

/QK

f}

f

:

RnR

上境图：2TBf

=

{(t,

f

(x))|x

/QK

f,

f

(x)

t}⼀个函数是凸函数，当且仅当其上境图是凸。⼀个函数是凹函数，当且仅当其亚图U>vTQ;`

T?V?vTQ

f

=

{(x,

t)|t f

(x)}是凸的。ⓙ䥥⃯ⓞ

㡑栽

⧟如果(y,t)2TBf

，有t f

(y)f

(x)

+f

(x)T(y

x)上式可以描述为(y,

t)

2TBff

(x)1Tyt–xf

(x)0这意味着发向量为

(

f

(x),

1)

的超平⾯在边界点2TBf

。(x,f

(x))⽀撑着89,

G

P

U

G

P

⃯

个

ㇰ

䥥

㕊

⼶如果函数

f

为凸函数x

+

yf

2f

(

x

+

(1

)y)

f

(x)

+

f

(y)

2f

(x)

+

(1)

f

(y),[0,

1]f

xi

ii

N

N

i

N

Ni

f

(xi

),ii

= 1

,

0URVUkVUjVi

N

N此不等式可以扩展为积分。如果

S

/QK

f

上

p(x) 0

且则下式成⽴S

p(x)dx

=

1f

(x)p(x)dxSf

p(x)xdxf

(1x)S1

f

(x)U9VU8V⊾

ⓙ

抱

乸

猿樿

怀

▁

㨤

㼣

❭⾮负

求和：凸函数序列

{

fi|i

= 1,

2,

··

·

,

m}

和⾮负

序列

{wi0|i

=

1,2,··

·

,m}，有mf

=

wi

fii

=

1仍未凸。扩展到积分。例如，固定任意yA，f

(x,y)关于x

是凸函数，且

w(y)

0,

y

A

。10⊾

ⓙ

抱

乸

猿

拱

䎚

㧡

Ⰸ❭拱

䎚

⃯

䭏

䠭

ⓞ

㡑1112⊾

ⓙ

抱

乸

猿

拱

䎚

㧡

Ⰸ❭拱

䎚

⃯

䭏

䠭

ⓞ

㡑建⽴凸函数的好⽅法，表⽰成⼀族仿射函数的逐点上确界。反过来也是成⽴：⼏乎所有的凸函数都可以表⽰成⼀族仿射函数的逐点上确界。例如，f

:Rn

R

是凸函数，其定义域为/QK

f

=Rnf

(x)

=

bmT{g(x)|

g为仿射

g(z)

f

(z)

z}函数f

是它所有的仿射全局下估计的逐点上确界。13⊾

ⓙ

抱

乸

猿

拱

䎚

㧡

Ⰸ❭拱

䎚

⃯

䭏

䠭

ⓞ

㡑建⽴凸函数的好⽅法，表⽰成⼀族仿射函数的逐点上确界。反过来也是成⽴：⼏乎所有的凸函数都可以表⽰成⼀族仿射函数的逐点上确界。例如，f

:Rn

R

是凸函数，其定义域为/QK

f

=Rnf

(x)

=

bmT{g(x)|

g为仿射

g(z)

f

(z)

z}函数f

是它所有的仿射全局下估计的逐点上确界。⃯

扎

ⓞ㡑yT

x

f

(x)14f

(y)

=bmTx

/QK

f共轭函数：设

f

:

RnR，定义函数

f:

Rn

R使上述上确界有限，即差值

yTx

f

(x)

在

/QK

f

有上界的所有

y构成了共轭函数的定义域。Rn⃯

扎

ⓞ㡑15⃯

扎

ⓞ㡑1617⃯

扎

ⓞ

㡑䥥

㌈

怉6M+?2H

不等式：从共轭函数的定义可以得到f

(x)

+

f

(y)

xT

yf

可微时亦称uQM;不等式。共轭的共轭：如果函数是凸的且是闭的，

f

=

f

。可微函数：可微函数的共轭函数亦称为G2;2M/`2

变换。为了区分⼀般情况和可微情况，⼀般函数称为62M+?2H

共轭。设

f

为凸且可微，其定义域为

/QK

f使得

yTx

f

(x)

取最⼤的

x

满⾜

y

=

f

(x)，反之亦成⽴。因此，如果

y

=

f

(x

)，f

(y)

=

f

(x

)T

x所以，对于任意y，可以求解梯度⽅程y

=f

(x

)f

(z)，从⽽得到y

处的共轭函数㗀

ⓙ

ⓞ㡑

3WUKEQPXGZ及所有下⽔平集拟凸函数（单峰函数）：其定义域/QK

fS

=

{x

/QK

f

|f

(x)

},

RR，都是凸集。函数

f

是拟凹函数，如果

f

是拟凸函数，即每个上⽔平集

{x|

f

(x)

}

是凸集。如果某函数既是拟凸也是拟凹，其为拟线性函数。函数是拟线性函数，如果定义域和其⽔平集

UG2p2H

b2iV{x|

f

(x)=

}

都是凸集。凸函数具有凸的下⽔平集，所以也是凸函数。但是拟凸函数不⼀定是凸函数。A

quasilinear

function

isboth

quasiconvex

andquasiconcave.The

probability

density

function

of

the18is

quasiconcavebut

not

concave.㗀

ⓙ

ⓞ

㡑䥥⫛

㨍

㌈

怉拟凸函数的逆

C2bb2M

不等式：函数

f

是拟凸的充要条件：19f

(

x

+

(1

)y)R

上的拟凸连续函数：f

:RK

t{

f

(x),

f

(y)}R

是拟凸的，当且仅当下述条件⾄少有⼀个条件满⾜：RX

f

⾮减；kX

f

⾮增；jX

c

/QK

f

，使得对于

t{

t|tc,

t

/QK

f

}，

f⾮增；使得对于

t

{t|tc,

t/QK

f

}，f

⾮减⊾

㗀

ⓙ抱

乸其中-wi⾮负

最⼤：拟凸函数的⾮负

最⼤定义为f

=K

t{w1

f1,

··

·

,

wm

fm}0，fi

拟凸。此性质可以扩展到⼀半的逐点上确界f

(x)

=

bmT(w(y)g(x,

y))y

C20⊾

㗀

ⓙ抱

乸通过抑制凸函数进⾏表⽰：选择⼀族凸函数t

:

RnR，t

R

表⽰凸函数的，这些函数满⾜f

(x)

tt(x)

0t

的y@下⽔平集。显然，xs(x)

t(x)。即拟凸函数f

的

t@下⽔平集是凸函数函数

t

是

t

的⾮增函数，即

s

t，f

(x)的t@下⽔平集的指⽰函数：Rnt(x)

=0

f

(x)

t其他情况如果

f

(x)

的

t@下⽔平集是闭的，

可以选取t(x)

=

/Bbi(x,

{z|

f

(z)

t})21⻚㡑猿ⓚⓞ㡑❭⻚㡑猿ⓙⓞ㡑通过⼀族凸函数进⾏表⽰：选择⼀族凸函数t

:

RnR，t

R

表⽰凸函数的，这些函数满⾜f

(x)

tt(x)

0t

的y@下⽔平集。显然，xs(x)

t(x)。即拟凸函数f

的

t@下⽔平集是凸函数函数

t

是

t

的⾮增函数，即

s

t，f

(x)的t@下⽔平集的指⽰函数：Rnt(x)

=0

f

(x)

t其他情况如果

f

(x)

的

t@下⽔平集是闭的，

可以选取t(x)

=

/Bbi(x,

{z|

f

(z)

t})2223⻚㡑猿ⓚⓞ㡑❭⻚㡑猿ⓙⓞ㡑对数

@凹（凸）函数：

f

:

Rn凸）函数。R,

x

/QK

f,

f

(x)

>

0，且

HQ;

f

为凹f

:

Rn

R，/QK

f

为凸集，且

x

/QK

f,

f

(x)

>

0，f

(

x

+

(1

)y)

f

(x)

f

(y)1对数函数在两点之间的中点的函数值不⼤于两点函数的⼏何平均值。⻚㡑猿ⓚⓞ㡑❭⻚㡑猿ⓙⓞ㡑24⻚㡑猿ⓚⓞ㡑❭⻚㡑猿ⓙⓞ㡑25⻚㡑猿ⓚⓞ㡑❭⻚㡑猿ⓙⓞ㡑26䧙

⃯

㌈怉⼆次可微的对数

@凸（凹）函数：设函数

f

⼆次可微，其中

.

Q

K

f

是凸集，

有f

(x)✰2

HQ;

f

(x)

=

1

✰2f

(x)f

(x)2

1

✰f

(x)

f

(x)

Tf

(x)是对数@凸函数f

(x)

2

f

(x)f

(x)

f

(x)TURVf

(x)是对数@凹函数f

(x)

2

f

(x)f

(x)

f

(x)TUkVx

/QK

f对数@凸、凹函数对乘积、伸缩是封闭的。对数@凹函数的和⼀般不是对数@凹函数。对数－凸函数的和是对数凸函数。Cy

C,

f

(x,

y)

是对数

@凸函数，则函数

g(x)

=

f

(x,

y)dy

仍然是对数

@凸函数。2728䧙

⃯

㌈怉在⼀些特殊情况下，对数@凹在积分后仍然保留：如果函数f

:RnR

是对数@凹函数，则g(x)

=

f

(x,

y)dyRm是在

Rn

上的对数@凹函数。对数@凹的密度函数的周边分布仍然是凹的。对数@凹的性质对卷积运算是封闭的：f,g

在Rn

上是对数@凹的(

f g)(x)

=

f

(x

y)g(y)dy是对数@凹的。䧙

⃯

㌈怉2930ㅠ

K

⃯

个

ㇰ䥥

ⓙ

㌈⼴义不等式的单调性：K

Rn

是⼀个正常锥，相应的不等式为

K

。称f

:

RnR

为K@⾮减，如果下式成⽴x

K

y

f

(x)R

为K@⾮增，如果下式成⽴f

(y)称

f

:

Rnx

K

y,

x