信息论与编码讲义第六讲

1、2022-2-211第二章：第二章：信息量和熵2.1 离散型随机变量的非平均信息量离散型随机变量的非平均信息量（事件的信息量）（事件的信息量）2.2 离散型随机变量的平均自信息量离散型随机变量的平均自信息量（熵）（熵）2.4 离散型随机变量的平均互信息量离散型随机变量的平均互信息量2.5 连续型随机变量的平均互信息量和连续型随机变量的平均互信息量和相对熵相对熵2.6 凸函数与凸函数与(离散型随机变量的离散型随机变量的)平均平均互信息量的凸性互信息量的凸性2022-2-2122.6 凸函数与凸函数与( (离散型随机变离散型随机变量的量的) )平均互信息量的凸性平均互信息量的凸性记离散型随机变量X

2、的事件为1，2，K。记X的概率分布为P(X=k)=qk，k=1K。记离散型随机变量Y的事件为1，2，J。记条件概率P(Y=j|X=k)=p(j|k)。则rkj=P(X, Y)=(k,j)=qkp(j|k)，（概率论中的乘法公式）wj=P(Y=j)=k qkp(j|k)，（概率论中的全概率公式）KkJjKiiakijpqkjpkjpqYXI111)|()|(log)|();(2022-2-2132.6 凸函数与凸函数与( (离散型随机变离散型随机变量的量的) )平均互信息量的凸性平均互信息量的凸性设条件概率p(j|k)，k=1K，j=1J被确定。此时I(X, Y)是概率向量q=(q1, q2,

3、, qK)的函数。我们希望找到这样的概率向量，使得对应的I(X, Y)达到最大。这就是说，记我们希望找到这样的K维概率向量a=(a1, a2, , aK)，使得KkJjKiiakijpqkjpkjpqqf111)|()|(log)|()()(max)(qfafKq维概率向量跑遍所有的2022-2-2142.6 凸函数与凸函数与( (离散型随机变离散型随机变量的量的) )平均互信息量的凸性平均互信息量的凸性定理定理2.6.2的含义的含义 K维概率向量a=(a1, a2, , aK)使得当且仅当：以a为X的概率向量的时候，I(X=k; Y)对所有ak0的k都取一个相同的值C； I(X=k; Y)对

4、所有满足ak=0的k都取值不超过上述的相同值C 。)(max)(qfafKq维概率向量跑遍所有的JjKiiaijpakjpkjpYkXI11)|()|(log)|();(2022-2-2152.6 凸函数与凸函数与( (离散型随机变离散型随机变量的量的) )平均互信息量的凸性平均互信息量的凸性I(X=k; Y)表示什么？表示事件X=k与随机变量Y之间的“半平均互信息量”。CaCYkXIaYXIXaKkkKkk11);();(的概率向量的时候，为以。互信息量的关系：平均互信息量与半平均KkkYkXIqYXI1);();(2022-2-2162.6 凸函数与凸函数与( (离散型随机变离散型随机变量

5、的量的) )平均互信息量的凸性平均互信息量的凸性例例 设X的事件有0、1； Y的事件有0、1； 已知p(0|0)=1-u；p(1|0)=u；p(0|1)=u；p(1|1)=1-u。当X服从等概分布（a0=P(X=0)=1/2；a1=P(X=1)=1/2）时，I(X;Y)达到最大。因为此时uuuuppppipappipappYXIaaaaaiiaiialog)1 (log)1 (2log)0| 1 (2log)0| 1 ()0|0(2(log)0|0()| 1 ()0| 1 (log)0| 1 ()|0()0|0(log)0|0(); 0(10102022-2-2172.6 凸函数与凸函数与( (离散型随机变离散型随机变量的量的) )平均互信息量的凸性平均互信息量的凸性)1 (log)1 (log2log) 1 | 1 (2log) 1 | 1 ()1 |0(2(log) 1 |0()| 1 () 1 | 1 (log) 1 | 1 ()|0() 1