信息论与编码理论-第二章

1、第二章 信息量和熵Information and Entropy西安电子科技大学通信工程学院信息量和熵2.1 离散变量的非平均信息量2.2 离散集的平均自信息量熵2.3 离散集的平均互信息量(mutual information)2.4 连续随机变量的互信息和熵2.5 凸函数和互信息的凸性(convex)西安电子科技大学通信工程学院2.1 离散变量的非平均信息量西安电子科技大学通信工程学院输入，输出空间定义输入空间X=xk,k=1,2,K,概率记为Q(xk)输出空间Y=yj,j=1,2,J,概率记为(yj)联合空间XY=xkyj ;k=1,2,K;j=1,2,J, 概率为p(xkyj) P(x

2、kyj)= P(xk|yj)(yj)= P(yj|xk)Q(xk)联合概率后验概率先验概率P(yj|xk)YX西安电子科技大学通信工程学院非平均互信息量例2.1.1传送消息码字P(xk)看到0P(Xk|0)看到01P(Xk|01)看到011P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/81/81/81/81/81/81/81/41/41/41/40000001/21/2000000010000西安电子科技大学通信工程学院每种可能性都是1/8西安电子科技大学通信工程学院0X1到x4可能性都是1/4X5到x8可能性都是0看到0西安电子科

3、技大学通信工程学院01X3到x4可能性都是1/2其他可能性都是0西安电子科技大学通信工程学院011x4可能性是1其他可能性都是0西安电子科技大学通信工程学院非平均互信息量输入消息码字P(xk)收到0P(Xk|0)收到01P(Xk|01)收到011P(Xk|011)X1X2X3X4X5X6X7x80000010100111001011101111/81/41/81/41/161/161/161/161/61/31/61/30000001/32/3000000010000西安电子科技大学通信工程学院非平均互信息量信息量与后验概率有关，与先验概率有关先验概率越大，得到的信息量越小，反之信息量越大中国

4、足球队3:0战胜巴西足球队巴西足球队3:0战胜中国足球队西安电子科技大学通信工程学院非平均互信息量例2.1.2输入消息码字p(xk)收到0P(Xk|0)收到01P(Xk|01)收到011P(Xk|011)X1X20001111/21/21-pp1/21/21-pp1-p1-p0011ppBSC西安电子科技大学通信工程学院非平均互信息量西安电子科技大学通信工程学院条件互信息和联合事件互信息三个事件集的条件互信息定义为可以推广到任意有限多个空间情况西安电子科技大学通信工程学院互信息的可加性系统u1u2u3系统u1u2u3西安电子科技大学通信工程学院离散变量的非平均自信息量西安电子科技大学通信工程学

5、院非平均自信息的性质非负体现先验不确定性大小西安电子科技大学通信工程学院条件自信息和联合自信息西安电子科技大学通信工程学院自信息、条件自信息和互信息I(xk)I(yj)I(xk ;yj)西安电子科技大学通信工程学院参考习题2.1，2.3，2.4，2.5，2.11西安电子科技大学通信工程学院2.2 离散集的平均自信息量熵西安电子科技大学通信工程学院熵-Entropy表示集X中事件出现的平均不确定性，说明一个事件集合的平均信息量例 二元信源的熵 例 例2.1.1信源的熵例 一个英文字母的熵4.03比特 一个汉字的熵为9.65比特西安电子科技大学通信工程学院条件熵和联合熵 XY独立时有H(X|Y)=

6、H(X)西安电子科技大学通信工程学院熵的性质对称性非负性确定性扩展性可加性极值性是P上凸函数西安电子科技大学通信工程学院熵的性质可加性西安电子科技大学通信工程学院熵的极值性引理1: lnxx-1西安电子科技大学通信工程学院熵的极值性引理2：H(X|Y)H(X)H(U1UN)H(U1)+H(UN)西安电子科技大学通信工程学院熵的凸性H(P)是P的上凸函数西安电子科技大学通信工程学院2.3 离散集的平均互信息量西安电子科技大学通信工程学院平均互信息量非负性对称性 西安电子科技大学通信工程学院平均互信息量4. I(X;Y)H(X) ,I(X;Y)H(Y)H(X)H(Y)I(X;Y)H(Y|X)H(X

7、|Y)西安电子科技大学通信工程学院条件互信息西安电子科技大学通信工程学院信息处理定理Z出现情况下，X和Y独立,构成一个马氏链系统1系统2XYZ西安电子科技大学通信工程学院信息处理定理西安电子科技大学通信工程学院参考习题2.7，2.8，2.9，2.14，2.17，2.18西安电子科技大学通信工程学院2.4 连续随机变量的互信息和 微分熵西安电子科技大学通信工程学院连续随机变量的互信息信息处理定理西安电子科技大学通信工程学院例:求高斯随机变量的互信息西安电子科技大学通信工程学院 西安电子科技大学通信工程学院随机变量的微分熵西安电子科技大学通信工程学院均匀分布的微分熵西安电子科技大学通信工程学院高斯

8、分布的微分熵熵功率西安电子科技大学通信工程学院微分熵的极大化1.峰值功率受限均匀分布微分熵最大2.平均功率受限高斯分布微分熵最大3.平均功率大于等于熵功率西安电子科技大学通信工程学院微分熵的极大化峰值功率受限西安电子科技大学通信工程学院微分熵的极大化平均功率受限西安电子科技大学通信工程学院2.5 凸函数与互信息的凸性西安电子科技大学通信工程学院凸函数凸集 R：a，b属于R，qa+(1-q)b也属于R，其中0q1概率矢量矢量a的所有分量和为1上凸函数西安电子科技大学通信工程学院凸函数的性质f(a)是上凸的，f(a)是下凸的f1(a),fL(a)是R上的上凸函数，c1,cL是正数，c1f1(a)+cLfL(a)也是上凸函数f(a)是上凸函数，Ef(a)fE(a), E为求数学期望西安电子科技大学通信工程学院K-T条件f(a)是定义域R上的上凸函数，a是概率矢量。偏导数 存在且连续， f(a)在R上为极大的 充分必要条件西安电子科技大学通信工程学院互信息的凸性p(y|x)给定，I(X;Y)是q(x)的上凸函数Q(x)给定，I(X;Y)是p(y|x)的下凸函数西安电子科技大学通信工程学院互