信息论与编码理论--第二章

西安电子科技大学通信工程学院,第二章信息量和熵InformationandEntropy,西安电子科技大学通信工程学院,信息量和熵,2.1离散变量的非平均信息量2.2离散集的平均自信息量熵2.3离散集的平均互信息量(mutualinformation)2.4连续随机变量的互信息和熵2.5凸函数和互信息的凸性(convex),西安电子科技大学通信工程学院,2.1离散变量的非平均信息量,西安电子科技大学通信工程学院,输入，输出空间定义,输入空间X=xk,k=1,2,K,概率记为Q(xk)输出空间Y=yj,j=1,2,J,概率记为(yj)联合空间XY=xkyj;k=1,2,K;j=1,2,J,概率为p(xkyj)P(xkyj)=P(xk|yj)(yj)=P(yj|xk)Q(xk),联合概率,后验概率,先验概率,P(yj|xk),Y,X,西安电子科技大学通信工程学院,非平均互信息量,例2.1.1,西安电子科技大学通信工程学院,每种可能性都是1/8,西安电子科技大学通信工程学院,0,X1到x4可能性都是1/4X5到x8可能性都是0,看到0,西安电子科技大学通信工程学院,0,1,X3到x4可能性都是1/2其他可能性都是0,西安电子科技大学通信工程学院,0,1,1,x4可能性是1其他可能性都是0,西安电子科技大学通信工程学院,非平均互信息量,西安电子科技大学通信工程学院,非平均互信息量,信息量与后验概率有关，与先验概率有关先验概率越大，得到的信息量越小，反之信息量越大,中国足球队3:0战胜巴西足球队巴西足球队3:0战胜中国足球队,西安电子科技大学通信工程学院,非平均互信息量,例2.1.2,1-p,1-p,0,0,1,1,p,p,BSC,西安电子科技大学通信工程学院,非平均互信息量,西安电子科技大学通信工程学院,条件互信息和联合事件互信息,三个事件集的条件互信息定义为可以推广到任意有限多个空间情况,西安电子科技大学通信工程学院,互信息的可加性,系统,u1,u2,u3,西安电子科技大学通信工程学院,离散变量的非平均自信息量,西安电子科技大学通信工程学院,非平均自信息的性质,非负体现先验不确定性大小,西安电子科技大学通信工程学院,条件自信息和联合自信息,西安电子科技大学通信工程学院,自信息、条件自信息和互信息,I(xk),I(yj),I(xk;yj),西安电子科技大学通信工程学院,参考习题,2.1，2.3，2.4，2.5，2.11,西安电子科技大学通信工程学院,2.2离散集的平均自信息量熵,西安电子科技大学通信工程学院,熵-Entropy,表示集X中事件出现的平均不确定性，说明一个事件集合的平均信息量例二元信源的熵例例2.1.1信源的熵例一个英文字母的熵4.03比特一个汉字的熵为9.65比特,西安电子科技大学通信工程学院,条件熵和联合熵,XY独立时有H(X|Y)=H(X),西安电子科技大学通信工程学院,熵的性质,对称性非负性确定性扩展性可加性极值性是P上凸函数,西安电子科技大学通信工程学院,熵的性质可加性,西安电子科技大学通信工程学院,熵的极值性,引理1:lnxx-1,西安电子科技大学通信工程学院,熵的极值性,引理2：H(X|Y)H(X)H(U1UN)H(U1)+H(UN),西安电子科技大学通信工程学院,熵的凸性,H(P)是P的上凸函数,西安电子科技大学通信工程学院,2.3离散集的平均互信息量,西安电子科技大学通信工程学院,平均互信息量,非负性对称性,西安电子科技大学通信工程学院,平均互信息量,4.I(X;Y)H(X),I(X;Y)H(Y),H(X),H(Y),I(X;Y),H(Y|X),H(X|Y),西安电子科技大学通信工程学院,条件互信息,西安电子科技大学通信工程学院,信息处理定理,Z出现情况下，X和Y独立,构成一个马氏链,系统1,系统2,X,Y,Z,西安电子科技大学通信工程学院,信息处理定理,西安电子科技大学通信工程学院,参考习题,2.7，2.8，2.9，2.14，2.17，2.18,西安电子科技大学通信工程学院,2.4连续随机变量的互信息和微分熵,西安电子科技大学通信工程学院,连续随机变量的互信息,信息处理定理,西安电子科技大学通信工程学院,例:求高斯随机变量的互信息,西安电子科技大学通信工程学院,西安电子科技大学通信工程学院,随机变量的微分熵,西安电子科技大学通信工程学院,均匀分布的微分熵,西安电子科技大学通信工程学院,高斯分布的微分熵,熵功率,西安电子科技大学通信工程学院,微分熵的极大化,1.峰值功率受限均匀分布微分熵最大2.平均功率受限高斯分布微分熵最大3.平均功率大于等于熵功率,西安电子科技大学通信工程学院,微分熵的极大化,峰值功率受限,西安电子科技大学通信工程学院,微分熵的极大化,平均功率受限,西安电子科技大学通信工程学院,2.5凸函数与互信息的凸性,西安电子科技大学通信工程学院,凸函数,凸集R：a，b属于R，qa+(1-q)b也属于R，其中0q1概率矢量矢量a的所有分量和为1上凸函数,西安电子科技大学通信工程学院,凸函数的性质,f(a)是上凸的，f(a)是下凸的f1(a),fL(a)是R上的上凸函数，c1,cL是正数，c1f1(a)+cLfL(a)也是上凸函数f(a)是上凸函数，Ef(a)fE(a),E为求数学期望,西安电子科技大学通信工程学院,K-T条件,f(a)是定义域R上的上凸函数，a是概率矢量。偏导数存在且连续，f(a)在R上为极大的充分必要条件,西安电子科技大学通信工程学院,互信息的凸性,p(y|x)给定，I(X;Y)是q(x)的上凸函数Q(x)给定，I(X;Y)是p(y|x)的下凸函数,西安电子科技大学通信工程学院,