信息论与编码理论基础 王育民(第二章 )ppt课件VIP

2020/5/25,精选ppt,1,第二章：信息量和熵,2.1离散型随机变量的非平均信息量（事件的信息量）2.2离散型随机变量的平均自信息量（熵）2.4离散型随机变量的平均互信息量2.5连续型随机变量的平均互信息量和微分熵2.6凸函数与(离散型随机变量的)平均互信息量凸性,2020/5/25,精选ppt,2,2.1离散型随机变量的非平均信息量（事件的信息量）,2020/5/25,精选ppt,3,非平均互信息量,例2.1.1,2020/5/25,精选ppt,4,非平均互信息量,2020/5/25,精选ppt,5,直观认识,对观察者来说，同样观察事件011，但输入消息等概情况下“收获”要大些，即得到的“信息”要多些。越是不太可能发生的事件竟然发生了，越是令人震惊。获得的“信息”要多些。,2020/5/25,精选ppt,6,非平均互信息量,例2.1.2,2020/5/25,精选ppt,7,直观认识,在接收010的过程中，消息出现的可能性，即后验概率也在不断变化，但变化趋势不再像例2.1.1那样单调地变化，而是有起伏的，且最后并未达到1或0.观察到010之后不能断定是哪个消息出现了。但是由观察结果计算出来的某个消息出现的后验概率大于1/2或小于1/2,使我们可比未观察前较有把握地推断消息出现的可能性，因而多少得到了一些有关出现的“信息”。若p1/2，也即010是消息x1的输出可能性大。,2020/5/25,精选ppt,8,直观认识,从上述两个系统可以看出，在一个系统中我们所关心的输入是哪个消息的问题，只与事件出现的先验概率和经过观察后事件出现的后验概率有关。信息应当是先验概率和后验概率的函数，即I(xk;yj)=fQ(xk),P(xk|yj),2020/5/25,精选ppt,9,研究表明信息量就表示成为事件的后验概率与事件的先验概率之比的对数函数!,2020/5/25,精选ppt,10,非平均互信息量,（本章将给出各种信息量的定义和它们的性质。）定义2.1.1(非平均互信息量)给定一个二维离散型随机变量因此就给定了两个离散型随机变量事件xkX与事件yjY的互信息量定义为,2020/5/25,精选ppt,11,非平均互信息量直观认识,若信源发某符号xi,由于信道中噪声的随机干扰，收信者收到的是xi的某种变形yj，收信者收到yj后，从yj中获取xi的信息量用I(xi;yj)表示，则有I(xi;yj)=收到yj前，收信者对信源发xi的不确定性-收到yj后，收信者对信源发xi仍然存在的不确定性=收信者收到yj前后，收信者对信源发xi的不确定性的消除,2020/5/25,精选ppt,12,非平均互信息量性质,其中底数a是大于1的常数。常用a=2或a=e，当a=2时互信息量的单位为“比特”。互信息量的性质：（1）I(xk;yj)=loga(rkj/(qkwj)。因此有对称性：I(xk;yj)=I(yj;xk)。（2）当rkj=qkwj时,I(xk;yj)=0。即当(rkj/qk)=wj时，I(xk;yj)=0。又即当(rkj/wj)=qk时，I(xk;yj)=0。换句话说，当“X=xk”与“Y=yj”这两个事件相互独立时，互信息量为0）。,2020/5/25,精选ppt,13,非平均互信息量性质,（3）当rkjqkwj时I(xk;yj)0，当rkjwj时，I(xk;yj)0；当(rkj/qk)H(Y)。）,2020/5/25,精选ppt,59,2.2离散型随机变量的平均自信息量（熵）,6、极值性：H(X)logaK。当q1=q2=qK=1/K时，才有H(X)=logaK。（以下是极值性的证明过程）引理1对任何x0总有lnxx-1。证明令f(x)=lnx-(x-1)，则f(x)=1/x-1。因此当00；当x1时f(x)1时，f(x)的值严格单调减。注意到f(1)=0。所以对任何x0总有f(x)f(1)=0。得证。,2020/5/25,精选ppt,60,2.2离散型随机变量的平均自信息量（熵）,引理2设有两个K维概率向量（什么叫概率向量？每个分量都是非负的，且各分量之和等于1）qk,k=1K和pk,k=1K。则总满足,2020/5/25,精选ppt,61,2.2离散型随机变量的平均自信息量（熵）,证明注意到引理1，,2020/5/25,精选ppt,62,2.2离散型随机变量的平均自信息量（熵）,引理2得证。（注意：此证明过程省略了若干细节，比如当概率向量的某个分量为0时，情况比较复杂）极值性的证明qk,k=1K是一个K维概率向量。令pk=1/K，k=1K。则pk,k=1K也是一个K维概率向量。由引理2，H(X)=kqkloga(1/qk)kqkloga(1/(1/K)=logaK。得证。,2020/5/25,精选ppt,63,2.4离散型随机变量的平均互信息量,2020/5/25,精选ppt,64,2.4离散型随机变量的平均互信息量,2020/5/25,精选ppt,65,2.4离散型随机变量的平均互信息量,定义2.4.1(平均互信息量)给定一个二维离散型随机变量(X,Y),(xk,yj),rkj,k=1K;j=1J（因此就给定了两个离散型随机变量X,xk,qk,k=1K和Y,yj,wj,j=1J）。X与Y的平均互信息量定义为如下的I(X;Y)：,2020/5/25,精选ppt,66,注意：事件对(xk,yj)的“非平均互信息量”值为I(xk;yj)。此外，可以定义“半平均互信息量”I(xk;Y)和I(X;yj)。,I(xk;Y)表示事件“X=xk”与随机变量Y之间的半平均互信息量；I(X;yj)表示事件“Y=yj”与随机变量X之间的半平均互信息量。,2020/5/25,精选ppt,67,2.4离散型随机变量的平均互信息量,平均互信息量的性质1、I(X;Y)0。（虽然每个“非平均互信息量”I(xk;yj)未必非负，但平均互信息量I(X;Y)非负）证明,2020/5/25,精选ppt,68,2.4离散型随机变量的平均互信息量,rkj,k=1K;j=1J是一个概率向量：qkwj,k=1K;j=1J是另一个概率向量：故由引理2知，,2020/5/25,精选ppt,69,2.4离散型随机变量的平均互信息量,2、对称性：I(X;Y)=I(Y;X)。3、平均互信息量的熵表示：I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)。证明,2020/5/25,精选ppt,70,2.4离散型随机变量的平均互信息量,2020/5/25,精选ppt,71,2.4离散型随机变量的平均互信息量,3、若X与Y相互独立，则I(X;Y)=0，H(X|Y)=H(X)，H(Y|X)=H(Y)，H(XY)=H(X)+H(Y)。证明若X与Y相互独立，则rkj=qkwj,k=1K;j=1J。因此此时loga(rkj/(qkwj)=0，k=1K;j=1J。因此I(X;Y)=0。再由性质3，性质3得证。,2020/5/25,精选ppt,72,2.4离散型随机变量的平均互信息量,4、I(X;Y)H(X)，I(X;Y)H(Y)。（性质4有多种简单的证明方法。第一种证明方法：由I(X;Y)的定义，loga(rkj/(qkwj)loga(1/qk)。第二种证明方法：由性质3，I(X;Y)=H(X)-H(X|Y)H(X)。）4、若X是Y的确定的函数X=g(Y)，则I(X;Y)=H(X)H(Y)。若Y是X的确定的函数Y=g(X)，则I(X;Y)=H(Y)H(X)。（证略）,2020/5/25,精选ppt,73,2.4离散型随机变量的平均互信息量,一般印象（平均互信息量I(X;Y)的各种性质与我们对“平均互信息量”这个名词的直观理解非常吻合）。一般情形：总有0I(X;Y)minH(X),H(Y)。一种极端情形：若X与Y相互独立，则I(X;Y)=0。另一种极端情形：若X、Y中有一个完全是另一个的确定的函数，则I(X;Y)=minH(X),H(Y)。,2020/5/25,精选ppt,74,2.4离散型随机变量的平均互信息量,定理2.4.1(信息处理定理)对于以下给定的系统串联有：I(X;Y)I(X;Z)。信息处理定理的含义：串联的系统越多，两端的平均互信息量越小。信息处理定理的证明思想：注意到X、Z、Y构成了马尔可夫链。简单地说，在已知Z的条件下，X与Y条件独立。根据这种马尔可夫链结构，可以证明I(X;Y)I(X;Z)。（证略）,2020/5/25,精选ppt,75,2.12.4诸概念直观理解,两个事件的非平均互信息量：互相肯定的程度。一个事件的非平均自信息量：令人震惊的程度。一个随机变量的平均自信息量（熵）：不可预测的程度。一个随机变量X相对于另一个随机变量Y的条件熵：当Y的值确定时，X剩余的不可预测的程度。二维随机变量(XY)的联合熵：联合不可预测的程度。两个随机变量X与Y的平均互信息量：互相依赖的程度。（当Y的值确定时，X的可预测的程度；当Y的值确定时，所能够给出的X的信息量）（当X的值确定时，Y的可预测的程度；当X的值确定时，所能够给出的Y的信息量）事件X=x与随机变量Y的半平均互信息量：当X=x时，所能够给出的Y的信息量。,2020/5/25,精选ppt,76,2.2和2.4中的若干公式,2020/5/25,精选ppt,77,2.5连续型随机变量的平均互信息量和微分熵,2020/5/25,精选ppt,78,事件互信息量,定义2.5.1给定二维连续型随机变量(X,Y),p(X,Y)(x,y)（因此就给定了两个连续型随机变量X,pX(x)和Y,pY(y)）。事件xX与事件yY的互信息量定义为,2020/5/25,精选ppt,79,平均互信息量,定义2.5.2给定二维连续型随机变量(X,Y),p(X,Y)(x,y)（因此就给定了两个连续型随机变量X,pX(x)和Y,pY(y)）。X与Y的平均互信息量定义为,2020/5/25,精选ppt,80,平均互信息量性质,平均互信息量的性质1、I(X;Y)0。2、对称性：I(X;Y)=I(Y;X),3、信息处理定理：对于如下的系统串联有I(X;Y)I(X;Z)。4、,2020/5/25,精选ppt,81,微分熵、相对熵,（连续型随机变量为什么不能类似地定义平均自信息量熵？这是因为，连续型随机变量的事件有无穷多个，每个事件发生的概率无穷小。如果类似地定义熵，则熵是无穷大。因此只能定义所谓“微分熵”，而“微分熵”的直观合理性大打折扣。比如“微分熵”可以是负的）微分熵的定义给定连续型随机变量X,pX(x)。X的微分熵(又称为相对熵)定义为,2020/5/25,精选ppt,82,联合微分熵,联合的微分熵的定义给定二维连续型随机变量(X,Y),p(X,Y)(x,y)。(X,Y)的联合的微分熵定义为,2020/5/25,精选ppt,83,例题,例2.5.1设(XY)是连续型的二维随机变量，其联合分布密度函数pXY(xy)为二维高斯概率密度函数（二元正态密度函数）：,2020/5/25,精选ppt,84,例题,2020/5/25,精选ppt,85,例题,例2.5.2设XU(a,b)，求X的微分熵（相对熵）（我们将发现，X的相对熵未必非负）。,2020/5/25,精选ppt,86,例题,例2.5.3设XN(m,2)，求X的微分熵（相对熵）（我们将发现，X的相对熵未必非负）。,2020/5/25,精选ppt,87,例题,熵功率,2020/5/25,精选ppt,88,微分熵的极大化,（已知：当离散型随机变量X的事件有K个时，H(X)logaK；只有当X服从等概分布时才有H(X)=logaK）1.峰值功率受限均匀分布相对熵最大定理2.5.1若连续型随机变量X的取值范围在区间(-M,M)之内（即当x不在区间(-M,M)时，fX(x)=0），则Hc(X)loga2M；只有当X服从U(-M,M)分布时才有Hc(X)=loga2M。,2020/5/25,精选ppt,89,微分熵的极大化,2.平均功率受限高斯分布相对熵最大定理2.5.2若连续型随机变量X的方差等于2，则Hc(X)(1/2)loga(2e2)；只有当X服从N(m,2)分布时才有Hc(X)=(1/2)loga(2e2)。3.平均功率大于等于熵功率,2020/5/25,精选ppt,90,2.6凸函数与(离散型随机变量的)平均互信息量的凸性,2020/5/25,精选ppt,91,凸函数,凸集R：a，b属于R，qa+(1-q)b也属于R，其中0q1概率矢量矢量a的所有分量和为1上凸函数,2020/5/25,精选ppt,92,凸函数的性质,f(a)是上凸的，f(a)是下凸的f1(a),fL(a)是R上的上凸函数，c1,cL是正数，c1f1(a)+cLfL(a)也是上凸函数f(a)是上凸函数，Ef(a)fE(a),E为求数学期望,2020/5/25,精选ppt,93,K-T条件,f(a)是定义域R上的上凸函数，a是概率矢量。偏导数存在且连续，f(a)在R上为极大的充分必要条件,2020/5/25,精选ppt,94,互信息的凸性,记离散型随机变量X的事件为1，2，K。记X的概率分布为P(X=k)=qk，k=1K。记离散型随机变量Y的事件为1，2，J。记条件概率P(Y=j|X=k)=p(j|k)。则rkj=P(X,Y)=(k,j)=qkp(j|k)，（概率论中的乘法公式）wj=P(Y=j)=kqkp(j|k)，（概率论中的全概率公式）,2020/5/25,精选ppt,95,互信息的凸性,p(j|k)给定，I(X;Y)是q(x)的上凸函数q=(q1,q2,qK)给定，