信息论第三讲-平均交互信息量的特性

离散信源的数学表示：离散随机变量[X,p(xi)]信源符号的不确定度：Hartly公式H(xi)信源符号的自信息量：I(xi)=H(xi)信源的熵=信源符号的平均信息量：H(X)有噪信道的交互信息量：I(xi,yj)=H(xi)-H(xi/yj)平均交互信息量：I(X,Y)=H(X)-H(X/Y)独立熵：H(X)联合熵（共熵）：

H(X,Y)条件熵：

H(X/Y)，H(Y/X)上一讲的主要内容2/7/20231上一讲的主要内容几个常用关系先验概率：p(xi)先验熵：H(X)（信源熵）后验概率：p(xi/yj)后验熵：H(X/Y)（可疑度）转移概率：p(yj/xi)（描述信道）噪声熵：H(Y/X)2/7/202322.5平均交互信息量的特性2.5.1I(X,Y)的非负性2.5.2平均交互信息量的交互性2.5.3平均交互信息量的极值性2.5.4平均交互信息量的凸函数性2.5.5平均交互信息量的不增性

2/7/202332.5.1I(X,Y)的非负性由，当x为大于0的实数时，底大于1的对数logx是x的严格上凸函数。因此f{∑pixi}≥∑pif(xi)，如f(x)=logx，则有：log{∑pixi}≥∑pilogxiJensen不等式:如果f(x)是严格的上凸函数,则E(f(x))≤f(E(x))。2/7/20234根据这个关系，考虑平均交互信息量，I(X,Y)=∑∑p(xi,yj)log[p(xi,yj)/p(xi)p(yj)]则：-I(X,Y)=∑∑p(xi,yj)log[p(xi)p(yj)/p(xi,yj)]≤log∑∑p(xi,yj)[p(xi)p(yj)/p(xi,yj)]=log{∑p(xi)∑p(yj)}=0所以有：I(X,Y)≥02/7/202352.5.2平均交互信息量的交互性由于p(xi,yj)=p(yj,xi)则：I(X,Y)=I(Y,X)（对于一个信息系统来说）交互性表明在Y中含有关于X的信息，I(X,Y)；在X中含有关于Y的信息，I(Y,X)；而且两者相等。实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式。2/7/20236X和Y相互独立，交互性最小，

I(X,Y)

=0；X和Y完全相关，交互性最大，

I(X,Y)

=H(X)=H(Y)；H(X/Y)=H(Y/X)=0，相当于信道无信息损失。2/7/20237这种信道的特点是：n=m，每行只有一个元素为1，每列只有一个元素为1。其转移概率不为1，就为0。

2/7/20238这时有：所以有：I(X,Y)=I(Y,X)=H(X)=H(Y)2/7/202392.5.3平均交互信息量的极值性平均交互信息量I(X,Y)不可能超过信源熵H(X)，因为H(X/Y)≥0

所以有I(X,Y)=H(X)-H(X/Y)≤H(X)

因为H(Y/X)≥0

所以有I(X,Y)=H(Y)-H(Y/X)≤H(Y)疑义度、噪声熵总是大于等于0，平均交互信息量总是小于信源熵或信宿熵。在信道的输出端Y得到的关于输入端X的信息量不会超过信源X的平均信息量。

2/7/202310扩展性无噪声信道由于其矩阵的每一列元素只有一个非零元素，所以后验概率不等于1，就等于0.即：2/7/202311这时可知疑义度H(X/Y)=0，平均交互信息量达到最大值I(X,Y)=H(X)。从平均意义上讲，这种信道可以把信源的信息全部传递给信宿。这种每列只有一个非0元素的信道也是一种无噪声信道，称为具有扩展性的无噪声信道。

这时：H(Y/X)=H(Y)-H(X)因为：H(Y/X)≥0，所以：H(Y)≥H(X)；得到的结论为：这时的信宿熵将大于信源熵，因此称为扩展信道。

2/7/202312并归性无噪声信道

这类信道的转移概率等于1或者等于0，每一列的元素可有一个或多个1，可知其噪声熵H(Y/X)=0，此时的平均交互信息量达到最大值。I(X,Y)=H(Y)-H(Y/X)=H(Y)这时可以证明：疑义度H(X/Y)=H(X)-H(Y),并且H(X)≥H(Y)，

2/7/202313①通过这两个例题可以进一步理解条件熵的概念，疑义度和噪声熵都是由于信道噪声引起的，当信道转移概率是一一对应的确定关系时，疑义度和噪声熵等于0，无噪声信道。②一个X产生多个Y，称为扩展信道，在扩展信道中若[P]中每列只有一个非0元素，H(X/Y)=0，即疑义度=0，称为扩展性无噪声信道，否则称为扩展噪声信道。③多个X产生一个Y，称为归并信道，在归并信道中若[P]中元素为0或1，H(Y/X)=0，即噪声熵=0，称为归并性无噪声信道，否则称为归并噪声信道。

2/7/202314平均交互信息量是先验概率p(xi)和信道转移概率p(yj/xi)的函数，可以记为：I(X,Y)=I[p(xi),p(yj/xi)]也就是说：信道固定，I(X,Y)是先验概率的函数;信源固定，I(X,Y)是信道转移概率的函数。2.5.4平均交互信息量的凸函数性2/7/202315可以进一步证明：当信道一定时，I(X,Y)是信源先验概率的上凸函数；这就是说，对于一定的信道转移概率分布，总可以找到一个先验概率分布为pm(xi)的信源X，使平均交互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的I。或者说Imax是P(Y/X)的函数。

2/7/202316[例2-11]

设二元对称信道的信源空间为：X={0,1};[P(X)]={ω,1-ω};平均交互信息量为：I(X,Y)=H(Y)-H(Y/X)；信道转移概率如图。2/7/202317H(Y/X)=-∑∑p(xi)p(yj/xi)logp(yj/xi)=∑p(xi){-[plogp+(1-p)log(1-p)]}=H(p)其中：记H(p)=-[plogp+(1-p)log(1-p)]

另外：为了求H(Y)，利用p(yj)=∑p(xi)p(yj/xi)；可得：p(y=0)=ω(1-p)+(1-ω)pp(y=1)=ωp+(1-ω)(1-p)则：H(Y)=H(ω(1-p)+(1-ω)p)2/7/202318可得平均交互信息量为：I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p)可知，当p值一定，I(X,Y)是ω的上凸函数，

2/7/202319当信源一定时，平均交互信息量I(X,Y)是信道转移概率的下凸函数；这就是说，对于一个已知先验概率为P(X)的离散信源，总可以找到一个转移概率分布为Pm(Y/X)的信道，使平均交互信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均交互信息量的最小值是体现了信源本身的特性。2/7/202320[例2-12]：I(X,Y)=H(ω(1-p)+(1-ω)p)-H(p)，当固定信源先验概率分布ω时，I(X,Y)是信道转移概率p的下凸函数，如图所示。2/7/202321串联信道关系(练习)DMC1DMC2XYZ定理:对于所有满足p(x,y,z)>0的(x,y,z)，当且仅当p(z/x,y)=p(z/y)时，等式成立。这个关系就称为平均交互信息量的不增加性。2/7/2023222.6离散信道的信道容量CapacityofDiscreteMemorylessChannel信道容量是表征信道最大传信能力的信道参量。

DiscreteMemorylessChannel-DMC离散无记忆信道；BinarySymmetricChannel-BSC二元对称信道；2/7/2023232.6.1熵速率与信道容量

平均交互信息量I(X,Y)是通信系统{X,P(Y/X),Y}输出一个符号传输的信息量，也就是接收熵，熵就意味着平均。当符号速率为n符号/秒时，其熵速率R为：R=nI(X,Y)R=n[H(X)-H(X/Y)]=n[H(Y)-H(Y/X)]bit/s对于一个无噪声信道来说：R=nI(X,Y)=nH(X)bit/s2/7/202324由于参数n与信道和信源无关，因此一般在分析中可以表示为：n=1；即R=I(X,Y)=[H(X)-H(X/Y)]=[H(Y)-H(Y/X)]熵速率R是先验概率的函数，也是信道转移概率的函数。2/7/202325信道容量是在给定信道条件下（即一定的信道转移概率），对于所有可能的信源先验概率的最大熵速率。它表示为：

2/7/202326信道容量C与信源无关，只是信道转移概率的函数，不同的信道就有不同的信道容量。它反映了信道本身的传信能力。P(Y/X)XYP(X)P(X/Y)H(X)H(X/Y)2/7/2023272.6.2信道容量的计算方法信道容量是在一定的信道条件下，对所有可能的先验概率求平均交互信息量的最大值。作辅助函数求辅助函数对p(xi)的偏导置为0，得下列方程组。2/7/202328由此方程组可以解得使I(X,Y)达到最大值的信源先验概率分布和待定系数λ，然后求出信道容量C。

由这个C值，根据上面关系求p(yj)，再由p(yj)和p(yj/xi)求信源先验概率分布p(xi)。解这个方程组后就可以得到最佳信源先验概率分布。2/7/2023292.6.3离散无噪声信道的信道容量这里讨论三种无噪声信道的信道容量。①具有一一对应关系的无噪声信道其信道转移概率图及矩阵如下：

2/7/202330[P]=0000100010001000100010000因为信道转移矩阵的元素均为0或1，所以其噪声熵H(Y/X)=0。又因为[P]矩阵中每列只有一个非0元素1，所以其疑义度H(X/Y)=0。2/7/202331所以有：I(X,Y)=H(X)=H(Y)根据信道容量的定义，这种信道的特点是：n=m。2/7/202332②具有扩展性的无噪声信道其信道转移概率图及矩阵如下：

2/7/202333[P]=p(y1/x1)p(y2/x1)p(y2/x1)00000p(y4/x2)p(y5/x2)因为[P]矩阵中每列只有一个非0元素，所以其疑义度H(X/Y)=0。有：I(X,Y)=H(X)，则：具有扩展性的无噪声信道的信道容量等于信源的最大熵。2/7/202334③具有归并性的无噪声信道其信道转移概率图及矩阵如下：2/7/202335[P]=1010100101由于信道转移矩阵中的元素均为1和0，所以这个信道的噪声熵H(Y/X)=0。有：I(X,Y)=H(Y)根据信道容量的定义：2/7/202336这表明当随机变量Y为等概分布时，才能达到这个信道容量。由p(yj)与p(xi)和p(yj/xi)的关系可知：p(y1)=p(x1).1+p(x2).1+p(x3).1p(y2)=p(x4).1+p(x5).1这时p(xi)的分布是不唯一的。通过以上三个例子可知；无噪声信道的信道容量只决定于信道的输入符号数n，或输出符号m（它们都是信道本身的特征参数），与信源无关，信道容量C是表征信道本身特性的一个参量。2/7/2023372.6.4强对称离散信道的信道容量如果离散信道的输入/输出符号空间及信道转移矩阵如下：X={x1,x2,……xn}P[X]={p(x1),p(x2),……p(xn)}Y={y1,y2,……yn}P[Y]={p(y1),p(y2),……p(yn)}n=m[P]=1-εε/(n-1)…ε/(n-1)ε/(n-1)1-ε…ε/(n-1)…………ε/(n-1)ε/(n-1)…1-ε这种信道{X,P(X/Y),Y}称为强对称信道。2/7/202338为了求出平均交互信息量I(X,Y)=H(Y)-H(Y/X),先求H(Y/X);H(Y/X)=-∑∑p(xi)p(yj/xi)logp(yj/xi)由于熵函数的对称性，有：（熵与信源状态得顺序无关）H(Y/X)=H(ε)+εlog(n-1)上式说明，强对称信道的噪声熵H(Y/X)就是信道转移矩阵中任一行n个元素组成的熵函数值，它决定于信道的错误概率ε和符号个数n。根据信道容量的定义：

2/7/202339由最大熵定理可知：当p(xi)为何时，才能达到上述信道容量。已知p(yj)=1/n,和信道转移概率，可以得到以下线性方程组。p(yj)=∑p(xi)p(yj/xi)(j=1,2,…n)从这个方程组可得，只有当p(xi)=1/n时，才能使p(yj)=1/n。对于强对称信道，只有当信源等概分布时，才能使其达到信道容量C。对于强对称信道，当信源等概分布时，可以证明H(X)=H(Y)=logn,

对于强对称信道，当信源等概分布时，还可以证明H(Y/X)=H(X/Y)2/7/2023402.6.5