信息论与编码-第3讲-信源及其信息量2-平均互信息

第1页2024/4/14第二章信源及其信息量本章重点：信源的统计特性和数学模型、各类信源的信息测度—熵及其性质。2.1单符号离散信源2.2多符号离散平稳信源2.3连续信源2.4离散无失真信源编码定理2.5小结ElectronicsEngineeringDepartment,XXXXXxxXxxx第2页2024/4/142.1单符号离散信源2.1.1单符号离散信源的数学模型2.1.2信息量和信息熵2.1.3熵的基本性质和定理2.1.4平均互信息量2.1.5

各种熵之间的关系第3页2024/4/142.1.4平均互信息量

将信道的发送和接收端分别看成是两个“信源”，则两者之间的统计依赖关系（信道输入和输出之间）描述了信道的特性。(1)互信息量和条件互信息量(2)平均互信息量的定义(3)平均互信息量的物理含义(4)平均互信息量的性质2.1单符号离散信源第4页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量②互信息的性质③条件互信息量2.1单符号离散信源第5页2024/4/14(1)互信息量和条件互信息量①互信息量互信息量定义：最简单的通信系统模型：

X—信源发出的离散消息集合

Y—信宿收到的离散消息集合信源通过有干扰的信道发出消息传递给信宿；信宿事先不知道某一时刻发出的是哪一个消息，所以每个消息是随机事件的一个结果。2.1.4平均互信息量2.1单符号离散信源第6页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量互信息量定义：信源X、信宿Y的数学模型为：2.1单符号离散信源第7页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量互信息量定义：先验概率：信源发出消息xi的概率p(xi)。后验概率：信宿收到yj后推测信源发出xi的概率：

p(xi/yj)2.1单符号离散信源第8页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量互信息量定义：互信息量：yj对xi的互信息量定义为后验概率与先验概率比值的对数。2.1单符号离散信源第9页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量举例某地二月份天气构成的信源为：

收到消息y1：“今天不是晴天”

收到y1后：p(x1/y1)=0，p(x2/y1)=1/2

p(x3/y1)=1/4，p(x4/y1)=1/42.1单符号离散信源第10页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量举例计算y1与各种天气之间的互信息量对天气x1，不必再考虑对天气x2，对天气x3,

对天气x4，2.1单符号离散信源第11页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量举例

结果表明从y1分别得到了x2，x3，x4各1比特的信息量；或者说y1

使x2，x3，x4的不确定度各减少量1比特。2.1单符号离散信源第12页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量互信息量的三种不同表达式

观察者站在输出端自信息量：对yj一无所知的情况下xi存在的不确定度；条件自信息量：已知yj

的条件下xi

仍然存在的不确定度；互信息量：两个不确定度之差是不确定度被消除的部分，即等于自信息量减去条件自信息量。2.1单符号离散信源第13页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量互信息量的三种不同表达式

观察者站在输入端

观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。2.1单符号离散信源第14页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量互信息量的三种不同表达式

观察者站在通信系统总体立场上通信前：输入随机变量X和输出随机变量Y之间没有任何关联关系，即X，Y统计独立；

p(xiyj)=p(xi)p(yj)

先验不确定度：2.1单符号离散信源第15页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量互信息量的三种不同表达式

观察者站在通信系统总体立场上通信后：输入随机变量X和输出随机变量Y之间由信道的统计特性相联系，其联合概率密度：

p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/

yj)

后验不确定度：2.1单符号离散信源第16页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量①互信息量互信息量的三种不同表达式

观察者站在通信系统总体立场上通信后的互信息量，等于前后不确定度的差：这三种表达式实际上是等效的，在实际应用中可根据具体情况选用一种较为方便的表达式。2.1单符号离散信源第17页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量②互信息的性质Ⅰ.对称性I(xi;yj)=I(yj;xi)

推导过程：2.1单符号离散信源第18页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量②互信息的性质Ⅰ.对称性互信息量的对称性表明：两个随机事件的可能结果xi和yj之间的统计约束程度；从yj得到的关于xi的信息量I(xi;yj)与从xi得到的关于yj的信息量I(yj;xi)是一样的，只是观察的角度不同而已。2.1单符号离散信源第19页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量②互信息的性质Ⅱ.相互独立时的X和Y

这时：p(xiyj)=p(xi)p(yj)

互信息量为：表明xi和yj之间不存在统计约束关系，从yj得不到关于的xi任何信息，反之亦然。2.1单符号离散信源第20页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量②互信息的性质Ⅲ.

互信息量可为正值或负值当后验概率大于先验概率时，互信息量为正。当后验概率小于先验概率时，互信息量为负。当后验概率与先验概率相等时，互信息量为零。这就是两个随机事件相互独立的情况。2.1单符号离散信源第21页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量②互信息的性质Ⅲ.互信息量可为正值或负值举例

bj：“闪电”事件，ai：各种与天气有关的事件

a1：“打雷”事件，I(a1/bj)=0，I(a1;bj)=I(a1)>0

（闪电必打雷）

a2：“下雨”事件，I(a2;bj)>0

，I(a2/bj)<I(a2)（为下雨提供了一些信息量）

a3：“雾天”事件，I(a3;bj)=0，I(a3/bj)=I(a3)（闪电与雾无关）

a4：“飞机正点起飞”事件，I(a4/bj)>I(a4)，I(a4;bj)<02.1单符号离散信源第22页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量②互信息的性质Ⅲ.互信息量可为正值或负值举例

飞机能否正点起飞是一种不确定性，而天气情况常常是这个不确定性的重要因素，闪电的出现增加了这种不确定性。2.1单符号离散信源第23页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量③条件互信息量消息xi与消息对

yjzk

之间的互信息量：条件互信息量定义：在给定zk条件下，xi与yj之间的互信息量。2.1单符号离散信源第24页2024/4/142.1.4平均互信息量(1)互信息量和条件互信息量③条件互信息量

xi与yjzk

的互信息量：上式表明：一个联合事件yjzk发生后所提供的有关xi的信息量

I(xi;yjzk)，等于zk发生后提供的有关xi的信息量I(xi;zk)与给定zk条件下再出现yj后所提供的有关xi的信息量I(xi;yj/zk)之和。2.1单符号离散信源第25页2024/4/142.1.4平均互信息量(2)平均互信息量的定义互信息量I(xi;yj)

是定量研究信息流通问题的重要基础。它是一个随机变量，不能从整体上作为信道中信息流通的测度。2.1单符号离散信源第26页2024/4/142.1.4平均互信息量(2)平均互信息量的定义平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值（简称平均互信息/平均交互信息量/交互熵）。Y对X的平均互信息量：I(X;Y)X对Y的平均互信息：I(Y;X)2.1单符号离散信源第27页2024/4/142.1.4平均互信息量(2)平均互信息量的定义平均互信息的第三种定义平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为一个确定的量。2.1单符号离散信源第28页2024/4/142.1.4平均互信息量(3)平均互信息量的物理含义①观察者站在输出端②观察者站在输入端③观察者站在通信系统总体立场上2.1单符号离散信源第29页2024/4/142.1.4平均互信息量(3)平均互信息量的物理含义①观察者站在输出端H(X/Y)—信道疑义度/损失熵。Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。2.1单符号离散信源第30页2024/4/142.1.4平均互信息量(3)平均互信息量的物理含义①观察者站在输出端H(X)—X的先验不确定度/无条件熵。I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。2.1单符号离散信源第31页2024/4/142.1.4平均互信息量(3)平均互信息量的物理含义①观察者站在输出端2.1单符号离散信源第32页2024/4/142.1.4平均互信息量(3)平均互信息量的物理含义②观察者站在输入端H(Y/X)—噪声熵：表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声所引起的。I(Y;X)—发出X前、后关于Y的先验不确定度减少的量。2.1单符号离散信源第33页2024/4/142.1.4平均互信息量(3)平均互信息量的物理含义①观察者站在输出端2.1单符号离散信源第34页2024/4/142.1.4平均互信息量(3)平均互信息量的物理含义③观察者站在通信系统总体立场上H(XY)—联合熵：表示输入随机变量X，经信道传输到达信宿，输出随机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。2.1单符号离散信源第35页2024/4/142.1.4平均互信息量(3)平均互信息量的物理含义③观察者站在通信系统总体立场上I(X;Y)—通信前、后整个系统不确定度减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合熵H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定度由H(XY)描述。2.1单符号离散信源第36页2024/4/142.1.4平均互信息量(3)平均互信息量的物理含义结论以上三种不同的角度说明：从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。2.1单符号离散信源第37页2024/4/142.1.4平均互信息量(4)平均互信息量的性质①对称性②非负性③极值性④凸函数性⑤数据处理定理2.1单符号离散信源第38页2024/4/142.1.4平均互信息量(4)平均互信息量的性质①对称性I(X;Y)=I(Y;X)[证明]：根据互信息量的对称性I(xi;yj)=I(yj;xi)结论：由Y提取到的关于X的信息量与从X中提取到的关于Y的信息量是一样的。I(X;Y)和I(Y;X)只是观察者的立足点不同。2.1单符号离散信源第39页2024/4/142.1.4平均互信息量(4)平均互信息量的性质②非负性自然对数性质：lnx≤x－1，x>0，当且仅当x=1时取等号。2.1单符号离散信源第40页2024/4/142.1.4平均互信息量(4)平均互信息量的性质②非负性I(X;Y)≥02.1单符号离散信源第41页2024/4/142.1.4平均互信息量(4)平均互信息量的性质②非负性I(X;Y)≥0

当且仅当X和Y相互独立，即：p(xiyj)=p(xi)p(yj)，

I(X;Y)=0

式中：

结论：平均互信息量不是从两个具体消息出发，而是从随机变量X和Y的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。从一个事件提取关于另一个事件的信息，最坏的情况是0，不会由于知道了一个事件，反而使另一个事件的不确定度增加。2.1单符号离散信源第42页2024/4/142.1.4平均互信息量(4)平均互信息量的性质②非负性举例

设闪电是B

系统中发生的一个事件。打雷，下雨，下雾和飞机正点起飞是系统

A中的事件。

闪电的发生给“正点起飞”带来负信息，使其不确定性更大了；对其它事件，比如对“打雷”事件会消除全部不确定性；对“下雨”也通过了正信息，减少了不确定性。总体平均来说，闪电的发生，给系统

A提供了有利于解除不确定性的信息，故I(A;闪电)>0。2.1单符号离散信源第43页2024/4/142.1.4平均互信息量(4)平均互信息量的性质③极值性I(X;Y)≤H(X)I(Y;X)≤H(Y)[证明]：由于：I(X;Y)=H(X)－H(X/Y)≥0，I(Y;X)=H(Y)－H(Y/X)≥0,

H(Y/X)≥0，H(X/Y)≥0,

所以：I(X;Y)≤H(X)，I(Y;X)≤H(Y)从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。2.1单符号离散信源第44页2024/4/142.1.4平均互信息量(4)平均互信息量的性质③极值性I(X;Y)≤H(X)I(Y;X)≤H(Y)[证明]：由于：I(X;Y)=H(X)－H(X/Y)≥0，I(Y;X)=H(Y)－H(Y/X)≥0,

H(Y/X)≥0，H(X/Y)≥0,

所以：I(X;Y)≤H(X)，I(Y;X)≤H(Y)当X和Y是一一对应关系时：I(X;Y)=H(X)，这时H(X/Y)=0。从一个事件可以充分获得关于另一个事件的信息，从平均意义上来说，代表信源的信息量可全部通过信道。2.1单符号离散信源第45页2024/4/142.1.4平均互信息量(4)平均互信息量的性质③极值性I(X;Y)≤H(X)I(Y;X)≤H(Y)[证明]：由于：I(X;Y)=H(X)－H(X/Y)≥0，I(Y;X)=H(Y)－H(Y/X)≥0,

H(Y/X)≥0，H(X/Y)≥0,

所以：I(X;Y)≤H(X)，I(Y;X)≤H(Y)当X和Y相互独立时：H(X/Y)=H(X)，I(Y;X)=0。从一个事件不能得到另一个事件的任何信息，这等效于信道中断的情况。2.1单符号离散信源第46页2024/4/142.1.4平均互信息量(4)平均互信息量的性质④凸函数性平均互信息量的数学特性：平均互信息量是p(xi)和p(yj/xi)的函数，即：

I(X;Y)=f[p(xi),p(yj/xi)]2.1单符号离散信源第47页2024/4/142.1.4平均互信息量(4)平均互信息量的性质④凸函数性平均互信息量的数学特性：若固定信道，调整信源，则平均互信息量I(X;Y)是p(xi)的函数，即I(X;Y)=f[p(xi)]；若固定信源，调整信道，则平均互信息量I(X;Y)是p(yj/xi)的函数，即I(X;Y)=f[p(yj/xi)]。2.1单符号离散信源第48页2024/4/142.1.4平均互信息量(4)平均互信息量的性质④凸函数性平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数。上凸函数：同一信源集合{x1,x2,…,xn}，对应两个不同的概率分布p1(xi)和p2(xi)（i=1,2,…,n），若有小于1的正数0<α<1，使不等式：

f[αp1(xi)+(1－α)p2(xi)]≥αf[p1(xi)]+(1－α)f[p2(xi)]

成立，则称函数f为p(xi)的上凸函数。如果式中仅有大于号成立，则称f为严格的上凸函数。2.1单符号离散信源第49页2024/4/142.1.4平均互信息量(4)平均互信息量的性质④凸函数性平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数。上凸函数：

I[αp1(xi)+(1－α)p2(xi)]≥αI[p1(xi)]+(1－α)I[p2(xi)]2.1单符号离散信源第50页2024/4/142.1.4平均互信息量(4)平均互信息量的性质④凸函数性平均互信息量I(X;Y)是输入转移概率分布p(yj/xi)的下凸函数。

下凸函数：I[αp1(yj/xi)+(1－α)p2(yj/xi)]≤αI[p1(yj/xi)]+(1－α)I[p2(yj/xi)]2.1单符号离散信源第51页2024/4/142.1.4平均互信息量(4)平均互信息量的性质④凸函数性举例2.1单符号离散信源[例2.1.6]：设二进制对称信道的输入概率空间为：转移概率如图2.1.8所示。第52页2024/4/142.1.4平均互信息量(4)平均互信息量的性质④凸函数性举例由信道决定的条件熵：2.1单符号离散信源第53页2024/4/142.1.4平均互信息量(4)平均互信息量的性质④凸函数性结论1当q不变（固定信道特性）时，可得I(X;Y)随输入概率分布p变化的曲线，如图2.1.9所示；二进制对称信道特性固定后，输入呈等概率分布时，平均而言在接收端可获得最大信息量。2.1单符号离散信源第54页2024/4/142.1.4平均互信息量(4)平均互信息量的性质④凸函数性结论2当固定信源特性

p时，I(X;Y)