信息论-2信源熵

信息的直观认识信道上传送的是随

化的值信宿在收到消息之前具有不确定性，并不知道消息的内容；否则消息就没有必要进行发送了消息按一定的概率分布随

化随

化的消息的一个可能取值可以称为发生了一个随机事件事件发生的概率越小，此事件含有的信息量就越大例

事件“中国男足2:0力克巴西男足”含有的信息量大(小概率事件发生了，事件信息量大)例

事件“中国男足0:4惨负于巴西男足”含有的信息量小(大概率事件发生了，事件信息量小2)3信息的直观认识(续)消息

化的随机性越大，其所含的信息量就越大例消息“中国男足与巴西男足的结果”含有的信息量小(随机性小，可预见性大，因此该消息含有的信息量小)例消息“巴西男足与德国男足比赛的结果”含有的信息量大(随机性大，可预见性小，因此该消息含有的信息量大)两个消息的相互依赖性越大，它们相互间的信息量就越大(这里指的是绝对值大)例

W：B：明日气温，H：黄石明日气温，明日气温，N：纽约明日气温，W

与H

相互间的信息量大，W

与B

相互间的信息量小，W

与N

相互间的信息量几乎为04信息的直观认识(续)信息的度量(信息量)和信源所发消息的不确定性的消除的程度有关，消除了多少不确定性，信宿就获得了多少信息量不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小；出现概率小的事件，其不确定性大，反之，不确定性小由此可知：概率小

信息量大，即信息量是概率的单调递减函数此外，信息量还应该具有可加性5信源的分类信源输出以符号形式出现的具体消息，其分类如下：按发送消息的时间和取值空间的分布离散信源连续信源按发出符号之间的关系无有信源信源按发送一条消息所需要的符号数单个符号信源符号序列信源单符号离散信源信源发出的消息是离散的、有限的或无限可列的符号，且一个符号代表一条完整的消息62.1

单符号离散信源单符号离散信源的数学模型自信息和信源熵信源熵的基本性质和定理熵的概念及基本性质平均互信息量各种熵之间的关系7单符号离散信源的数学模型由于信宿在未收到信息以前，对信源发出什么样的消息是不确定的，是随机的，所以可以用随量、随机矢量或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度来描述信源单符号离散信源的数学模型可用一维随

量

X

的概率空间来描述：2ixnX

x1xip(

x

)

x2

p(

x

)

p(

x

)p(

x

)

1n

n

p(

xi

)

1i

1

P(

X

)

其中：

0

p(

xi

)

1自信息量如果信源发出消息

xi

的概率为p(xi)，则它所能提供的自信息量(简称自信息)为：p(

xi

)I

(

xi

)

log2自信息I(xi

)包含两方面的含义当信源确定性当信源X

输出消息xi

以后，xi

提供给信宿的信息量，即消除上述不确定性所需要的信息量8自信息量的单位

lg

2

哈特1

奈特

log2

e比特

lge

哈特1比特

ln

2

奈特

1

哈特

log2

10

比特

ln10

奈特自信息的单位与所用对数的底有关以2

为底：单位为比特(bit)，工程上常用，为书写简洁，常把底数2

略去不写以e为底：单位为奈特(nat)，理论推导时常用以10为底：单位为哈特(hat)或笛特(det)为强调是信源所发出的每个符号的不确定性，有时也将单位写成：bit/符号、nat/符号、det/符号各单位之间的换算关系自信息量的性质I

(xi

)是非负值p(xi

)

1

时，I

(xi

)

0p(xi

)

0

时，I

(xi

)

I

(xi

)是p(xi

)的单调递减函数例

从

26

个英文字母中随机挑选一个字母，则该事件的自信息为I

log1

26

4.7

bit一副

52

张的 牌，现已将其充分洗牌，试问：任意特定排列这副牌所给出的信息是多少随机抽出点数都不同的13

张，可获得多少信1息0p(

xi

)I

(

xi

)I

(

xi

)

log2

p(

xi

)042860.2

0.4

0.6

0.8

1.0联合自信息量联合自信息是自信息的推广，它涉及两个随机事件，其离散信源的数学模型为：i

jXY

xi

y

ji

1,

2, ,

n;

j

1,

2, ,

m

P(

XY

)

p(

x

y

)

联合自信息量消息xi

和y

j

均发生时所能提供的信息量I

(

xi

y

j

)

log

p(

xi

y

j

)X与Y

相互独立时：I

(

xi

y

j

)

log

p(

xi

y

j

)

log

p(

xi

)

p(

y

j)

log

p(

xi

)

log

p(

y

j

)

I

(

xi

)

I

(

y

j)11条件自信息量I

(

xi

|

y

j)

log

p(

xi

|

y

j)在消息y

j

已知的条件下，发生消息xi

所能提供的信息量I

(

y

j

|

xi

)

log

p(

y

j

|

xi

)在消息xi

已知的条件下，发生消息y

j

所能提供的信息量后验概率信道转移概率自信息量、联合自信息及条件自信息的关系：I

(

xi

y

j

)

log

p(

xi

y

j)

log

p(

xi

)

p(

y

j

|

xi

)

I

(

xi

)

I

(

y

j

|

xi

)

log

p(

y

j

)

p(

xi

|

y

j

)

I(

y

j)

I

(

xi

|

y

j

)12互信息量信源发出消息xi，由于信道中噪声的干扰，信宿收到的将是由于干扰作用引起的xi

的某种变型消息y

j，从y

j

中所获取的关于xi

的信息就是信宿所获取的信息；这种信道中流通的有用信息的大小，称为y

j

对xi

的互信息量(简称为互信息)I

(

xi

)I

(

xi

|

y

j

)I

(

xi

)

I

(

xi|

y

j

)信宿收到y

j

前对消息xi

的先验不确定度信宿收到y

j

后对消息xi

的后验不确定度信宿收到y

j

后不确定度被消除的部分它是y

j

所获得的关于xi

的部分信息量互信息

先验不确定度

后验不确定度

1314互信息量(续)后验概率先验概率后验概率先验概率在输出端考查不确定度的变化I

(

xi

;

y

j

)

I

(

xi

)

I

(

xi

|

y

j)

log

p(

xi

)

log

p(

xi

|

y

j

)p(

xi

)在输入端考查不确定度的变化

log

p(

xi

|

y

j

)I

(

y

j

;

xi

)

I

(

y

j)

I

(

y

j

|

xi

)

log

p(

y

j)

log

p(

y

j

|

xi

)p(

y

j

)

log

p(

y

j

|

xi

)互信息量(续)在整个通信系统的立场上考查不确定度的变化通信前，X

与Y

之间没有任何关联关系，两者统计独立i

jI先(xi

y

j

)

log

p(xi

y

j

)

I

(xi

)

I

(y

j

)先验概率先验不确定度通信后，X

与Y

之间由于信道的统计约束，存在关联关系后验概率

p(

xi

y

j

)

p(

xi

)

p(

y

j

|

xi

)

p(

y

j

)

p(

xi

|

y

j

)后验不确定度

I

(

xi

y

j

)

log

p(

xi

y

j

)I

(

xi

;

y

j

)

I

(

xi

)

I

(

y

j

)

I

(

xi

y

j

)p(

xi

y

j

)

log[

p(

xi

)

p(

y

j)]

log

p(

xi

y

j

)

logp(

xi

)15p(

y

j

)16互信息量举例例：已知两事件：x

“下雨”，y

“空中乌云密布”且：p(

x)

0.125

p(

x

|

y)

0.9则事件“下雨”和“不下雨”的自信息分别为：I

(

x)

log

0.125

3

bitI

(

x)

log

0.875

0.193

bit在“空中乌云密布”条件下“下雨”的自信息为：I

(

x

|

y)

log

0.9

0.152

bit在“空中乌云密布”条件下“不下雨”的自信息为：I

(

x

|

y)

log

0.1

3.322

bit17I

(

x)

3

bitI

(

x)

0.193

bitI

(

x

|

y)

0.152

bitI

(

x

|

y)

3.322

bit“下雨”与“空中乌云密布”的互信息为：I

(

x;

y)

3

0.152

2.848

bit“不下雨”与“空中乌云密布”的互信息为：I

(

x;

y)

0.193

3.322

3.129

bit“下雨”本来的不确定性很大(3

bit)，但是如果获悉“空中乌云密布”后，不确定性减小(0.152bit)，这是因为“空中乌云密布”提供了关于“下雨”的信息量(2.848bit)相反，“不下雨”本来不确定性很小(0.193bit)，但是获悉“空中乌云密布”后，不确定性非但没有减小，反而是变大了(3.322

bit)；这是因为“空中乌云密布”提供了关于“不下雨”负的信息量(

3.129

bit)18互信息量的性质对称性i

jip(

x

)I

(

x

;

y

)

log

p(

xi

|

y

j

)三种表达形式等效j

logp(

xi

)

p(j

logp(

xi

)

p(

I

(

y

j

;

xi

)

logp(

xi

)

pp(

y

j

log19互信息量的性质(续)统计独立的变量之间的互信息量为

0互信息量可为正值，也可为负值I

(

xi

;

y

j)

0

I

(

xi

;

y

j

)

0

I

(

xi

;

y

j

)

0后验概率

先验概率：信宿收到有用信息后验概率

先验概率，X

与Y

统计独立后验概率

先验概率：由于信道受到干扰，信宿收到y

j

后不但未使xi

的不确定度减少，反而增大了xi

的不确定度

I

(

y

j

)

I

(

y

j

|

xi

)

I

(

y

j

)两个消息之间的互信息不大于其中任一消息的自信息I

(

xi

;

y

j

)

I

(

xi

)

I

(

xi

|

y

j)

I

(

xi

)20i

kp(

x

|

z

)条件互信息量条件互信息量：在给定zk

的条件下，xi

与y

j

之间的互信息量i

j

k

ik

i

j

kI

(

x

;

y

|

z

)

log

p(

xi

|

y

j

zk

)

I

(

x

|

z

)

I

(

x

|

y

z

)

I

(

xi

zk

)

I

(zk

)

I

(

xi

y

j

zk

)

I

(

y

jzk

)单个消息xi

与消息对y

j

zk

之间的互信息量I

(

xi

;

y

j

zk

)

I

(

xi

)

I(

xi

|

y

j

zk

)

I

(

xi

)

I

(

xi

|

zk

)

I

(

xi

|

zk

)

I

(

xi

|

y

jzk

)

I

(

xi

;zk

)

I

(

xi

;

y

j

|

zk

)信息熵自信息是一个随量自信息是指信源发出的某一消息所含有的信息量。信源发出不同的消息，其所含有的信息量也就不同，因此不能用自信息作为信源的总体信息测度。信息熵(信源熵、香农熵、无条件熵、熵函数、熵)ni

1H

(

X

)

E[I

(

xi

)]

I

(

xi

)

p(

xi

)单位底：2

bit/符号底：e

nat/符号底：10

det/符号从平均意义上表

源总体特性的一个量,对于特定的信源，其熵只有一个nn

[

log

p(

xi

)]

p(

xi

)i

1

p(

xi

)log

p(

xi

)i

1信息熵的物理含义源的平均不确定度源发出的每个消息所能提供的平信源输出前，表信源输出后，表均信息量是一个统计量，反映了随

量

X

的随机性统计热力学中，熵是表示分子

程度的一个物理量，在孤立系统中进行的自发过程总是沿着熵增加的方向进行，它是不可逆的，平衡态相应于熵取最大值的状态，即熵增加原理香农借用热力学中熵来描述信源的平均不确定度，在信息论中，(有用的)信息熵，只会减少，不会增加，所以信息熵也被称为负热熵2223联合熵表示

X和

Y同时发生时的平均不确定度联合熵可以推广至

N

个随

量的情形：联合熵n

m联合熵：联合符号集合XY

上每个元素对xi

y

j

的联合自信息量的数学期望：H

(

XY

)

E[I

(

xi

y

j

)]

p(

xi

y

j

)logp(

xi

y

j

)i

1

j1i1,i2

,

,iNp(

xi

xi1

2xi

)log

p(

xi

xi

xi

)N

1

2

NH

(

X１X

2

XN

)n

24条件熵信源熵H(X

)是在收到Y

以前，关于X

的先验不确定性的度量，是X

所提供的信息量；由于一般信道中有干扰存在，接收到Y

后对信源X

仍有不确定性，条件熵用于度量接收到Y

后关于X

的不确定性条件熵：联合符号集合XY

上条件自信息量的数学期望Y

已知条件下，随量X的条件熵用联合概率m

nH

(

X

|

Y

)

E[I

(

xi

|

y

j)]

p(

xi

y

j

)log

p(

xi

|

y

j

)X

已知条件下，随j1

i

1量Y

的条件熵n

mjiji

jip(

x

y

)logp(

y

|

x

)H

(Y

|

X

)

E[I

(

y|

x

)]

i

1

j1条件熵(续)H

(X

|

Y

)

信道疑义度表示信宿在收到Y

后，对信源X

仍然存在的平均不确定度，它是Y

关于X

的后验不定度，也是在信息道中损失的平均信息量，也称为损失熵、后验熵H

(Y

|

X

)

噪声熵表示信源在发出X

后，对信宿收到Y

仍然存在的平均不确定度。如果信道中不存在噪声干扰，则信源发出

X

后信宿必然完整无误收到能确定对应的Y，但信宿收到的却是不能完成确定对应的Y，这种信息传输后额外多增加出来的平均自信息量完全是由信道噪声引起的25信息熵、联合熵和条件熵举例XY

00

01

10 11

0.4

P(

XY

)

0.1

0.2

0.3

已知X

,Y

{0,1}，XY

构成的联合概率空间为：试计算信息熵H

(X

)、联合熵H

(XY

)及条件熵H

(X

|

Y

)解：先求边缘概率分布：P{

X

0}

pX

(0)

p(00)

p(01)

0.1

0.2

0.3P{

X

1}

pX

(1)

p(10)

p(11)

0.3

0.4

0.7P{Y

0}

pY

(0)

p(00)

p(10)

0.1

0.3

0.4P{Y

1}

pY

(1)

p(01)

p(11)

0.2

0.4

0.62627XY

00X

0Y

01

0.101

10 11

1

0.2

0.3

0.4

0.3

0.7

0.40.6

再求条件概率分布：p(0

|

0)

p(00)

pY

(0)

0.1

0.4

1

4p(1

|

0)

p(10)

pY

(0)

0.3 0.4

3

4p(0

|

1)

p(01)

pY

(1)

0.2 0.6

1

3p(1

|

1)

p(11)

pY

(1)

0.4 0.6

2

3信息熵：H

(

X

)

[

pX

(0)log

pX

(0)

pX(1)log

pX(1)]

[0.3log

0.3

0.7log

0.7]

0.881

bit/符号联合熵：H

(

XY

)

[0.1log

0.1

0.2log

0.2

0.3log

0.3

0.4log

0.4]

1.846

bit/符号28XY

000.10.401

10 11

p(0

|

0)

1

4

p(1

|

0)

3

40.2

0.3

p(0

|

1)

1

3

p(1

|

1)

2

3H

(

X

|

Y

)

[

p(00)log

p(0

|

0)

p(10)log

p(1

|

0)

p(01)log

p(0

|

1)

p(11)log

p(1

|

1)]条件熵：

0.1

log

1

0.3

log

3

4

4

0.2

log

1

0.4

log

2

3

3

0.875

bit/符号292.1.3

信源熵的基本性质和定理其中：

(1

,

2

,

,

n

)

是(1,

2, ,

n)

的任意转换对称性说明：信源熵只与信源的总体统计特性有关。如果若干含有相同的符号数的信源，发送某些个别符号的概率有所不同，但这些信源的总体统计特性相同，则这些信源具有相同的熵因为信源概率

0

p(

xi

)

1非负性对称性,

p(

x

j

),,p(

xi

),,

p(

xn

)],

p(

xn

)],p(

xi

),,

p(

x

j

),,p(

x

)]nH

(

X

)

H[

p(

x1

),

p(

x2

),

H[

p(

x1

),

p(

x2

),

H[

p(

x

),

p(

x

),1

2增加一个概率接近于零的事件，信源熵不变虽然小概率事件的出现给予收信者较多的信息，但从总体来考虑时，因为小概率事件几乎不会出现，所以它们对信源熵的贡献可忽略不计，这正是熵的总体平均性的一种30体现lim

log

0

02.1.3

信源熵的基本性质和定理(续)lim

Hn1[

p(

x1

),

p(

x2

),

0

Hn[

p(

x1

),

p(

x2

),,

p(

xn

)

,

p(

xn1

)

],

p(

xn

)]扩展性确定性

H

(1,0)

H

(1,0,0)

H

(1,0,

,0)

0在信源的概率空间中，只要有一个事件是必然事件，则其它事件一定是不可能事件，此时信源没有不确定性，为一确知信源，其熵必为

0312.1.3

信源熵的基本性质和定理(续)可加性

H

(

XY

)

H

(Y

)

H

(

X

|

Y

)

H

(

X

)

H

(Y

|

X

)n

mi

1

j

1证：H

(XY

)

p(xi

y

j

)log

p(xi

y

j

)

H

(

XY

)

H

(

X

)

H

(Y

)X

与Y

相互独立时：n

m

p(

xi

y

j

)

log[

p(

y

j

)

p(

xi

|

y

j

)]i

1

j

1n

mn

m

p(

xi

|

y

j

)

p(

y

j

)

log

p(

y

j

)i

1

j1

p(

xi

y

j

)

log

p(

xi

|

y

j

)i

1

j1nj

ji

jj

1p(

x

|

y

)

H

(

X

|

Y

)

i

1m

p(

y

)

log

p(

y

)

H(Y

)

H(

X

|

Y

)32可加性的推广X1

,

X2

,H

(

X1

X2量集：反复运用之，可加性可以推广到N

维随H

(

X

H

(

XY

)

H

(

XYZ

)

证：H(XYZ

)

H

H

(

X

)

H33香农不等式i

1

i

1对于两个消息数相同的信源X

和Y，存在：n

nH

(

X

)

p(

xi

)log

p(

xi

)

p(

xi

)log

p(

yi

)i

1

i

1n

n证：左

右

p(xi

)ln

p(xi

)

p(xi

)ln

p(yi

)ln

x12

2

(

x

1)

(

x

1)2

x

1

(0,

)当x

0

时：当且仅当x

1

时取等号n

i

p(

x

)p(

x

)i

1

p(

y

)

1i

i

n

i

iip(

y

)p(

x

)lnp(

x

)i

1n

n

n

[

p(

yi

)

p(

xi

)]

p(

yi

)

p(

xi

)i

1

i

1

i

1

1

1

034条件熵不大于无条件熵H

(

X

|

Y

)

H

(

X

)n

mi

1

j1证：H

(X

|

Y

)

p(y

j

)p(xi

|

y

j

)log

p(xi

|

y

j

)熵的不增原理nji

j

i

ji

1p(

x

|

y

)log

p(

x

|

y

)nji

j

ij1p(

x

|

y

)log

p(

x

)

i

1

m

p(

y

)

j1m

p(

y

)

n

mi

1

j1

p(

y

j

)

p(

xi

|

y

j)

log

p(

xi

)n

p(

xi

)log

p(

xi

)

H

(

X

)i

1增加条件只可能使不确定性减少H

(X

|

YZ

)

H

(X

|

Y

)或H

(X

|

Z

)n

m

l证：H

(X

|

YZ

)

p(y

j

zk

)p(xi

|

y

j

zk

)log

p(xi

|

y

j

zk

)i

1

j

1

k

1H

(

X

|

Y1Y2Y3

)H

(

X

|

Y1

Y2

YN

)

H

(

X

|

Y1

Y2

YN

1

)

H

(

X

|

Y1

Y2

)

H

(

X

|

Y1

)

H

(

X

)反复运用之可得：nj

ki

j

k

i

j

kj

1

k

1p(

x

|

y

z

)

log

p(

x

|

y

z

)p(

y

z

)

i

1m

l

m

lnj

1

k

1

i

1

p(

y

j

zk

)

p(

xi

|

y

j

zk

)

log

p(

xi

|

y

j

)n

ml

i

1

j

1

k

1

p(

y

j

zk

)

p(

xi

|

y

j

zk

)

log

p(

xi

|

y

j

)n

mi

1

j

1

p(

xi

y

j

)

log

p(

xi

|

y

j

)

H(

X

|

Y

)

H[

X

|

(Y

Y

)Y

]1

2

3

H

(

X

|

Y1Y2

)1

H

(

X

|

Y

)

H(

X

)36极值性(最大离散熵定理)信源X，有：对于包含n

个不同离散消息的无H

(

X

)

log

n证：H

(

X

)

是关于

p(

x1

),

p(

x2

), ,p(

xn

)

的上凸函数，它的最大值为满足限定条件n

p(

x

)

1的条件极值。令i

1

inni

1

p(

xi

)ln

p(

xi

)

p(

xi

)

1

0p(

x

)

i

i

1

1ip(

x

)

ln

p(

xi

)

p(

xi

)

0maxn1ni

1由p(xi

)

1

可求得：p(xi

)

C

时，H

(

X

)

ln

nip(x

)

e

1

C

(常数)最大离散熵定理(续)以二进制信源为例，信源的概率空间为：X

1

0

p

P(

X

)1

p

二进制信源的信息熵为：H

(

X

)

[

p

log

p

(1

p)log(1

p)]p10.50H

(1此时信息熵H

(是p

的函数，通常记为

H

(p)，其函数曲线如左图所示。3738熵的概念香农熵并未考虑人的

因素，是对事物运动的状态和状态改变方式的客观描述现实世界中，同概率的事件对不同的人有不同的意义熵通过引入权重系数，将人的

价值体现出来i

i

i

p(

x

)log

p(

x

)i

1熵是消息xi

的权重权平均和：HW

(

X

)

n1

22iX

x

xx

0

n

W

(

X

)

1n权重空间x1xnX

i

对自信息量I

(xi

)的加

x2

p(

x

)

p(

x

)p(

x

)

P(

X

)

1

2n

单符号离散信源2.1.5

平均互信息量互信息只能定量地描述信宿经由信道收到某个具体消息前、后，对信源发出的某个消息不确定性的消除，不能从整体上对信道中信息的流通进度平均互信息量(又称交互熵)可以从整体的角度出发，在平均意义上度量信道每通过一个符号流经信道的平均信息量平均互信息是互信息I

(xi

;yj

)在联合概率空间P

(XY

)中的数学期望(概率统计平均值)，记为I

(X;Y

)后述将表明，熵只是平均不确定性的描述，而不确定性的消除(熵之差)才是信宿所获得的信息量，因此，信息量不能与不确定性混为一谈平均互信息

平均先验不确定度

平均后验不确定度40平均互信息量(续)在输出端考查噪声熵n

m

n

mi

1

j

1信道疑义度

p(xi

y

j

)log

p(xi

)

p(xi

y

j

)log

p(xi

|

y

j

)i

1

j

1

H(

X

)

H(

X

|

Y

)在输入端考查in

m

nI

(

X

;Y

)

p(

xi

y

j

)I

(

xi

;

y

j

)

p(

xi

y

ji

1

j

1

i

1

j

1n

m

n

m

p(

xi

y

j

)

log

p(

y

j

)

p(

xi

y

j

)

log

p(

y

j

|

xi

)i

1

j

1

i

1

j

1

H(Y

)

H(Y

|

X

)jp(

y

j

|

xi

)p(

y

)n

m

n

mI

(Y

;

X

)

p(

xi

y

j

)I

(

y

j

;

xi

)

p(

xi

y

j

)

logi

1

j

1

i

1

j

141平均互信息量(续)在整个通信系统的立场上考查n

mp(

xi

y

j

)I

(

xi

;

y

j

)i

1

j

1I

(

X

;Y

)

通信前，信源随机变量X

与信宿随机变量Y

相互独立；通信后，X

与Y

由于信道的传递统计约束而具有统计关联关系整个通信系统的平均后验不确定度n

mp(

xi

y

j

)

log

p(

y

j

)p(

xi

y

j

)

log

p(

xi

y

j

)i

1

j

1

p(

xi

y

j

)

log

p(

xi

)i

1

j

1n

m

i

1

j

1n

m

H(

X

)

H(Y

)

H(

XY

)n

mi

jp(

xi

y

j

)p(

x

y

)

logp(

xi

)

p(

x

j

)i

1

j

142平均互信息量(续)它们都是由于噪声干扰的存在而产生的；信道中存在噪声干扰，是减低信道传信能力的基本原因H

(

X

)H

(

X

|

Y

)H

(Y

|

X

)H

(Y

|

X

)信道噪平均互信息量的性质对称性非负性I

(

X

;Y

)

I

(Y

;

X

)I

(

X

;Y

)

0p(

xi

)

p(

y

j

)当且仅当

1，即p(

xi

y

j

)X

,Y

相互独立时，等号成立注：尽管I

(xi

;y

j

)可以为负，但I

(X

;Y

)

0说明从整体上看，信道每通过一条消息，均能传递一定的信息量，不会由于信宿收到消息而导致信源的不确定度反而增加ln

x

x

1

ln

x

1

xi

jip(p(I

(

X;Y

)

i

1

j

1i

jp(

xi

)

p(

y

j

)p(

x

y

)i

1

j

1p(

xi

y

j

)

1

n

mnijp(

x

)

m

1

i

1

j

1i

jp(

x

y

)i

1

j

1p(

xi

)

p(

y

j

)

p(

xi

y

j

)

lnn

m

p(

xi

)

p(

y

j

)i

1

j

1p(

xi

y

j

)

n

mn

mi

1

j

1p(

y

)

1

1

044平均互信息量的性质(续)极值性I

(

X

;Y

)

I

(Y

;

X

)

min{H

(

X

),

H

(Y

)}说明：信宿经由信道提取的信息量不会超过信源熵X

,Y

相互独立：I

(

X

;Y

)

0

H

(

X

|

Y

)

H

(

X

)X

,Y

存在一一对应关系时：I

(

X

;Y

)

H

(

X

)

H

(

X

|

Y

)

0I

(

X

;Y

)

H

(

X

)

H

(

X

|

Y

)

0I

(Y

;

X

)

H

(Y

)

H

(Y

|

X

)

0H

(

X

|

Y

)

0H

(Y

|

X

)

0并且条件熵相当于信道关闭相当于信道无障碍完全开放平均互信息量的性质(续)凸函数性i

jp(

y

j

|

xi

)p(

x

y

)

logp(

xi

)

p(

y

j

|

xi

)i

1

j

1i

1nn

mI

(

X

;Y

)

信道转移概率信源概率X

P(

X

)

p

qqqq0110p100.5q45

101

H

(q)

H

(0.5

f

[

p(

xi

),

p(

y

j

|

xi

)]固定信道，平均互信息是信源概率的上凸函数固定信源，平均互信息是信道转移概率的下凸函数I

(

X

;Y

)

I

(

X

;Y

)46数据处理定理P(

Z

|

Y

)ZP(Y

|

X

)XY假定在Y

发生的条件下，X

与Z

相互独立，当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小I

(

X

;

Z

)

I

(

X

;Y

I

(

X

;Y

)

0

0信息不增性

数据处理过程中只会失掉一些信息，绝不会创造出新的信息I

(

X

;YZ

)

I

(

X

;

Z

)

I

(

X

;Y

|

Z

)I

(

X

;

ZY

)

I

(

X

;Y

)

I

(

X

;

Z

|

Y

)I

(

X

;

Z

)

I

(

X

;Y

)

I

(

X

;

Z

|

Y

)

I

(

X

;Y

|Z

)解决方法：多次测量一次测量：I

(X

;Y1

)

H

(X

)

H

(X

|

Y1

)n

m

mH

(

X

|

Y1Y2

)

p(

xi

y

j1

y

j2

)

log

p(

xi

|

y

j1

y

j2

)i

1

j1

1

j2

1I

(

X

;Y1Y2

)

I

(

X

;Y1

)多次测量：H

(

X

|

Y1Y2

Y47

)

0N两次测量：I

(X

;Y1Y2

)

H

(X

)

H

(X

|

Y1Y2

)nj1

j2p(

xi

|

y

j

y

j

)

log

p(

xi

|

y

j

y

j1

2

1

2j1

1

j2

1)p(

y

y

)

i

1m

m

nj1

j2i

j1

j2

i

j1j1

1

j2

1p(

x

|

y

y

)

log

p(

x

|

y

)p(

y

y

)

i

1

m

m

n

m

i

1

j1

1

j2

1

H

(

X

|

Y1

)m

n

mi

1

j11

p(

xi

y

j1

y

j2

)

log

p(

xi

|

y

j1

)

p(

xi

y

j1

)

log

p(

xi

|

y

j1

)2.1.6

各种熵之间的关系H

(X

YH

(X

Y无条件熵I

(

X

;Y

)

I

(Y

;

X

)联合熵X

Y交互4熵8X

YH

(Y

|

X

)条件熵X

Y

X

YH

(H

(

X

|

Y

)492.1.6

各种熵之间的关系(续)H

(

X

)

H

(

X

|

Y

)

I

(

X

;Y

)

H

(

XY

)

H

(Y

|

X

)H

(

X

|

Y

)

H

(

XY

)

H

(Y

)

H

(

X

)

I

(

X

;Y

)H

(

X

)

H

(

X

|

Y

)H

(

X

)

I

(

X

;Y

)H

(

X

)

H

(

XY

)H

(

X

)?

H

(Y

|

X

)502.1.6

各种熵之间的关系(续)H

(

XY

)

H

(

X

)

H

(Y

|

X

)

H

(Y

)

H

(

X

|

Y

)

H

(

X

)

H

(Y

)

I

(

X

;Y

)

H

(

X

|

Y

)

H

(Y

|

X

)

I

(

X

;Y

)

512.1.6

各种熵之间的关系(续)I

(

X

;Y

)

H

(

X

)

H

(

X

|

Y

)

H

(Y

)

H

(Y

|

X

)

H

(

XY

)

H

(

X

|

Y

)

H

(Y

|

X

)

H

(

X

)

H

(Y

)

H

(

XY

)数据处理定理的直观描述XI(

X;

Z

)I(Y

;

Z

)I(X;Y

)或YZI

(

X

;

Z

|

Y

)

0多次测量获取关于信源

的信息52532.2

多符号离散平稳信源序列信息的熵离散平稳信源的数学模型离散平稳信源的信源熵和极限熵马尔可夫信源信源冗余度及信息变差542.2.1

序列信息的熵实际信源发送一条消息，其输出往往是取值空间或时间上的一个符号序列，称为离散多符号信源量序列来离散多符号信源可以用随机矢量或者随描述，即：X

X1

,

X2

,

X3

,一般来说，离散多符号信源在不同时刻的随量的概率分布并不相同，信源的统计特性随着时间的推移而有所变化为了便于研究，常常假定X

中随

的各维联合概率分布不随时间(至少在一定的时间段内)的推移发生变化，这类信源称为多符号离散平稳信源55序列信息的熵(续)单符号离散信源经过N

次扩展，可得到离散平稳无记忆信源，该信源连续输出的符号序列每N

个一组，且单个符号之间统计独立电报系统中，可以认为每2

个二进制数字组成一组。信源输出的是一系列由2

个二进制数字组成的一组组符号，可以将其等效看成一个由四个符号00，01，10，11

组成的新信源，称该信源称为二进制无

信源的二次扩展(记为X

2)发送ASCII

码文本的信源，其输出可以看成是每

8

个二进制数字组成一组，可以将它们等效看成一个新的信源，由256

个符号0X00

～

0XFF

组成该信源称为二进制无

的八次扩展序列信息的熵(续)由单符号离散信源进行N

次扩展得到的多符号离散平稳无记忆信源的数学模型如下：nNa1a

Nnai

p(

x

)p(

x

a2

p(

x

)

p(

x

))

1

2

iX

P(

X

)

1

2

N符号ai

对应于某个长度为N

的符号序列：ai

xi

xi

xi由于是信源是无记忆的，消息序列中各符号统计独立Ni1

,

i2

, ,

iN

{1,

2, ,

n}56p(ai

)

p(

xi

xi

xi

)

p(

xi

)

p(

xi

)

p(

xi

)1

2

N

1

257序列信息的熵(续)N

次扩展得到的多符号离散无信源的熵注意：H(X

)的单位表面上仍是bit/符号，但这里的符号是指一个符号序列nNH

(X

)

H

(

X

N

)

H

(

X

X

X

)1

2

N

p(ai

)log

p(ai

)i

1xi

)log

p(

xi

xi

xi

)N

1

2

N

H

(

XN

)n

n

n

p(

xi1

xi2i1

1

i2

1

iN

1

H

(

X1

)

H

(

X2

)

NH58的，因此三次扩展得到的信源由于扩展信源是无的概率空间为：1

0

p

q已知

X

{0,1}，其概率空间为：

X求该信源经过3次扩展后的熵。

P(X

)

p2q

pq2

p2q101

110

111pq2

pq2

q

3

p23

X

000

P(X

)

p

3

q3log

q3

]3

]log

qH

(X

)

[

p3

log

p3

g

p2q

3

pq2

log

pq2

[3

p3

6

p2q

3

pq2

]log

p

[3

p2q

6

p

3

p(

p

q)2

log

p

3q(

p

3

{[

p

log

q

log

q]}

3H

(X

)

bit/三元符号2.2.2

离散平稳信源的数学模型在一般情况下，信源在t

i

将要发什么样的符号决定于两方面：与信源在

t

i

时 机变量

Xi

取值的概率分布P(

Xi

)

有关，对于一般的信源：P(

Xi

)

P(

X

j

)与

t

i

时刻以前信源发出的符号有关，即与条件概率

P(

Xi

|

Xi

1

Xi

2

)

有关对于离散平稳信源，其输出的随机序列的统计特性与时间的推移无关，即信源发出各符号的概率分布与时间起点无关离散平稳信源产生的随机序列称为平稳序列5960离散平稳信源的数学模型(续)对于离散随量序列X1

X

2

XN，若任意两个不同时刻i

和j(大于1的任意整数)，信源发出消息的各维联合概率分布完全相同，即：P(

Xi

)P(

Xi

Xi

1X

j

N

)P(

Xi

Xi

1

Xi

N

)

P(

X

jX

j1称上述信源为离散(完全)平稳信源61离散平稳信源的数学模型(续)对离散平稳信源，由联合概率与条件概率的关系可得i