信息论与编码讲义第二讲

1、2022-2-211第二章：第二章：信息量和熵2.1 离散型随机变量的非平均信息量离散型随机变量的非平均信息量（事件的信息量）（事件的信息量）2.2 离散型随机变量的平均自信息量离散型随机变量的平均自信息量（熵）（熵）2.4 离散型随机变量的平均互信息量离散型随机变量的平均互信息量2.5 连续型随机变量的平均互信息量和连续型随机变量的平均互信息量和相对熵相对熵2.6 凸函数与凸函数与(离散型随机变量的离散型随机变量的)平均平均互信息量的凸性互信息量的凸性2022-2-2122.1 离散型随机变量的非平离散型随机变量的非平均信息量（事件的信息量）均信息量（事件的信息量）（本章将给出各种信息量的定

2、义和它们的性质。） 定义定义2.1.1(非平均互信息量) 给定一个二维离散型随机变量(X, Y), (xk, yj), rkj, k=1K; j=1J（因此就给定了两个离散型随机变量X, xk, qk, k=1K和Y, yj, wj, j=1J）。事件xkX与事件yjY的互信息量定义为jkkjajkjkajkjakjkajkwqryYPxXPyxYXPyYPxXyYPxXPyYxXPyxIlog)()(),(),(log)()|(log)()|(log),(2022-2-2132.1 离散型随机变量的非平离散型随机变量的非平均信息量（事件的信息量）均信息量（事件的信息量）其中底数a是大于1的常

3、数。常用a=2或a=e，当a=2时互信息量的单位为“比特”。互信息量的性质：互信息量的性质： （1）I(xk; yj)=loga(rkj/(qkwj)。因此有对称性：。因此有对称性：I(xk; yj)=I(yj; xk)。（2）当）当rkj=qkwj时时I(xk; yj)=0。（当两个事件相互独立时，互。（当两个事件相互独立时，互信息量为信息量为0）。）。（3）当）当rkjqkwj时时I(xk; yj)0，当，当rkjqkwj时时I(xk; yj)0。（当。（当两个事件正相关时，互信息量为正值，当两个事件负相两个事件正相关时，互信息量为正值，当两个事件负相关时，互信息量为负值）。关时，互信息量

4、为负值）。 2022-2-2142.1 离散型随机变量的非平离散型随机变量的非平均信息量（事件的信息量）均信息量（事件的信息量）定义定义2.1.3(非平均自信息量) 给定一个离散型随机变量X, xk, qk, k=1K。事件xkX的自信息量定义为h(xk)=loga(1/qk)，其中底数a是大于1的常数。自信息量的性质：自信息量的性质：（1）h(xk)0。（2）qk越小，越小，h(xk)越大。越大。（3）I(xk; yj)minh(xk)，h(yj)，即互信息量不超过各自的，即互信息量不超过各自的自信息量。自信息量。证明 注意到总有rkjminqk, j。（为什么？什么情况下相等？）。因此根据

5、定义，I(xk; yj)h(xk)，I(xk; yj)h(yj)。得证。 2022-2-2152.1 离散型随机变量的非平离散型随机变量的非平均信息量（事件的信息量）均信息量（事件的信息量）定义定义2.1.4(条件的非平均自信息量) 给定一个二维离散型随机变量(X, Y), (xk, yj), rkj, k=1K; j=1J。在事件yj发生的条件下事件xk的条件自信息量定义为h(xk|yj)=loga(1/P(X=xk|Y=yj)=loga(wj/rkj)。（条件的非平均自信息量实际上是非平均自信息量的简单推广，将概率换成了条件概率）。 条件的非平均自信息量的特殊性质：条件的非平均自信息量的特

6、殊性质：h(xk|yj)=h(xk)-I(xk; yj) 。2022-2-2162.1 离散型随机变量的非平离散型随机变量的非平均信息量（事件的信息量）均信息量（事件的信息量）定义定义2.1.5(联合的非平均自信息量) 给定一个二维离散型随机变量(X, Y), (xk, yj), rkj, k=1K; j=1J。事件(xk, yj)(X, Y)的自信息量定义为h(xk, yj)=loga(1/rkj)。（联合的非平均自信息量实际上是非平均自信息量的简单推广。即可以将(X, Y)直接看成是一维的随机变量）。 联合的非平均自信息量的特殊性质：联合的非平均自信息量的特殊性质：h(xk, yj)=h(yj)+h(xk|yj)=h(xk)+h(yj|xk)。h(xk, yj)=h(xk)+h(yj)-I(xk; yj)。2022-2-2172.1 离散型随机变量的非平离散型随机变量的非平均信息量（事件的信息量）均信息量（事件的信息量）小结小结非平均互信息量I(xk; yj)。非平均自信息量h(xk)，h(yj)。条件的非平均自信息量h(xk|yj)， h(yj|xk)。联合的非平均自信息量h(xk, yj)。相互关系：I(xk; yj)minh(xk