《信息论与编码基础》课件 8-平均互信息的性质

§3离散信道§3.1信道模型§3.2平均互信息§3.3信道容量信道疑义度平均互信息平均互信息性质

※比较：I(x;y)可正可负，

1．非负性

I(X;Y)≥0，通信受干扰，通信中断＝＝，正常通信当0);(),()|(0);(),()|(0);(),()|(<<>>yxIxPyxPyxIxPyxPyxIxPyxP三、平均互信息的性质§3.2

平均互信息

※

当I(X;Y)=0全损信道：H(X)=H(X|Y)，说明：

通信的意义——通过消息的传递可获得信息三、平均互信息的性质1.非负性

§3.2

平均互信息信源密钥源信道解密信宿保密通信系统框图XY’Y非法用户加密全损信道

※信息处理的一般规律：通过传输获得的信息量不 大于提供的信息量。

※

I(X;Y)=H(X)无损信道：H(X|Y)=0

2.极值性，P(x|y)=0or1三、平均互信息的性质§3.2

平均互信息

I(X;Y)=I(Y;X)3.交互性（对称性）三、平均互信息的性质§3.2

平均互信息证明：噪声熵特殊信道总结

三、平均互信息的性质无噪信道H(X︱Y)=0I(X；Y)=H(X)P(x︱y)=0or1无损信道H(X︱Y)=H(X)I(X；Y)=0

P(xy)=P(x)P(y)

全损信道信息传输情况

信道特征

信道名称P(y︱x)=0or1H(Y︱X)=0I(X；Y)=H(Y)§3.2

平均互信息

4.凸状性I(X;Y)=f[P(x)，P(y|x)]三、平均互信息的性质§3.2

平均互信息

4.凸状性三、平均互信息的性质定理3.2：对于固定信源分布，平均互信息I(X;Y)是 信道传递概率P(y|x)的∪型凸函数。定理3.1：对于固定信道，平均互信息I(X;Y)是信源 概率分布P(x)的∩型凸函数。capcup§3.2

平均互信息

例1．分析二元信源通过BSC信道的I(X;Y)特性信源：，信道：1－p1－ppp0011则三、平均互信息的性质§3.2

平均互信息其中，

三、平均互信息的性质§3.2

平均互信息，得：三、平均互信息的性质§3.2

平均互信息

I.固定信道（p一定），∴H(p)一定I(X;Y)∝H(ω+p－2ωp)由熵上凸性的该I(X;Y)为ω的上凸函数ω＝1/2时，I(X;Y)极大I(X;Y)＝H(1/2)－H(p)=1－H(p)

三、平均互信息的性质§3.2

平均互信息Ⅱ.

固定信源（ω一定）则I(X;Y)～p，∴I(X;Y)=I(p)∴I(p)为下凹函数可求：p=1/2,I(X;Y)=0,极小p=0,I(X;Y)=H(ω)p=1,I(X;Y)=H(ω)三、平均互信息的性质§3.2

平均互信息三、平均互信息的性质

总结：二元信源通过BSC信道的I(X;Y)特性信源概率分布信道转移概率平均互信息I(X;Y)是信源分布P(x)的上凸函数I(X;Y)是信道转移概率P(y|x)的下凸函数§3.2

平均互信息？思考：§3.2

平均互信息思考：若三个离散随机变量，有如下关系：X+Y=Z，其中，X与Y统计独立。试比较下列函数关系。（1）

H(X)与H(Z)；（2）

H(Y)与H(Z)；（3）

H(XY)与H(Z)；（4）

H(X)与I(X;YZ)；（5）

I(X;Y|Z)与H(X|Z)或H(Y|Z)。§3.2

平均互信息预习：第3.3节。作业：P54页1、5。§3.2

平均互信息习题1：P54页T5§3.2

平均互信息

设有一批电阻，按阻值分70％是2kΩ，30％是5kΩ；按瓦数分64％是1/8W，其余是1/4W，现已知2kΩ阻值的电阻中80％是1/8W，问通过测量阻值可以平均得到的关于瓦数的信息量是多少?

设有一离散无记忆信源，其概率空间为它们通过一干扰信道，信道输出端的接收符号集，信道矩阵为§3.2

平均互信息习题2：P54页T1（接下页）求：（1）信源X中事件X1和X2分别含有的自信息。（2）收到消息的信息量。（