信息论与编码-第5讲-第2章信源及信息度量2(修改).ppt

请回答： n1、互信息量的三种不同表达式? n2、信息熵H（X）=？ n 3、条件熵H(X/Y)=?, H(Y/X)=? n4、联合熵H(XY)=? 2.1.4 平均互信息量 n 如果将信道的发送和接收端分别看成是两个“信源”，则两者之间 的统计依赖关系，即信道输入和输出之间的统计依赖关系描述了信 道的特性。 n 互信息量I(xi;yj)是定量研究信息流通问题的重要基础。它是一个 随机变量，不能从整体上作为信道中信息流通的测度。 n(1) 平均互信息量的定义 n(2) 平均互信息量的物理含义 n(3) 平均互信息量的性质 (1) 平均互信息量的定义 n平均互信息量定义：互信息量I(xi;yj)在联合概率空间P(XY) 中的统计平均值。 n称I(X;Y)是Y对X的平均互信息量（简称平均互信息/平均交互信 息量/交互熵）。 nX对Y的平均互信息定义为 n平均互信息的第三种定义 n平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性，成为 一个确定的量。 (2) 平均互信息量的物理含义 观察者站在输出端 观察者站在输入端 观察者站在通信系统总体立场上 观察者站在输出端 nH(X/Y) 信道疑义度/损失熵。 Y关 于X的后验不确定度。表示收到变量 Y后，对随机变量X仍然存在的不确 定度。代表了在信道中损失的信息。 nH(X) X的先验不确定度/无条件熵 。 nI(X;Y)收到Y前、后关于X的不确 定度减少的量。从Y获得的关于X的 平均信息量。 观察者站在输入端 nH(Y/X)噪声熵。表示发出随机变量X 后，对随机变量Y仍然存在的平均不确 定度。如果信道中不存在任何噪声，发 送端和接收端必存在确定的对应关系， 发出X后必能确定对应的Y，而现在不 能完全确定对应的Y，这显然是由信道 噪声所引起的。 nI(Y;X) 发出X前、后关于Y的先验不确 定度减少的量。 观察者站在通信系统总体立场上 nH(XY)联合熵。表示输入随机变量X，经信道传输到达信宿，输出随 机变量Y。即收、发双方通信后，整个系统仍然存在的不确定度。 nI(X;Y) 通信前、后整个系统不确定度减少量。在通信前把X和Y看成 两个相互独立的随机变量，整个系统的先验不确定度为X和Y的联合熵 H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递统计特性 联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的 后验不确定度由H(XY)描述。 结 论 n以上三种不同的角度说明：从一个事件获得另一 个事件的平均互信息需要消除不确定度，一旦消 除了不确定度，就获得了信息。 举 例 n例2.1.5 把已知信源 接到图2.1.7所示的信道上 ，求在该信道上传输的平均互信息量I(X;Y)，疑义度 H(X/Y)，噪声熵H(Y/X)，联合熵H(XY)。 解：(1) 求联合概率 p(xi yj)=p(xi)p(yj/xi) p(x1 y1)=p(x1)p(y1/x1)=0.50.98=0.49 p(x1 y2)=p(x1)p(y2/x1)=0.50.02=0.01 p(x2 y1)=p(x2)p(y1/x2)=0.50.20=0.10 p(x2 y2)=p(x2)p(y2/x2)=0.50.98=0.40 (2) 求Y的各消息概率 (3) 求X的各后验概率 (4) 求信源熵和联合熵 (5) 平均互信息 I(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55比特/符号 (6) 疑义度 (7) 噪声熵 (3) 平均互信息量的性质 对称性 非负性 极值性 凸函数性 数据处理定理 对称性 I(X;Y)= I(Y;X) n证明：根据互信息量的对称性I(xi;yj)= I(yj;xi) n结论：由Y提取到的关于X的信息量与从X中提取到的关于 Y的信息量是一样的。I(X;Y)和 I(Y;X)只是观察者的立足点 不同。 自然对数性质：lnxx-1，x0，当且仅当x=1时取等号。 非负性 I(X;Y)0 即 I(X;Y)0 当且仅当X和Y相互独立，即p(xiyj)= p(xi) p(yj) I(X;Y)=0 式中 结论： n 平均互信息量不是从两个具体消息出发，而是从随机变 量X和Y的整体角度出发，并在平均意义上观察问题，所 以平均互信息量不会出现负值。 n 或者说从一个事件提取关于另一个事件的信息，最坏的 情况是0，不会由于知道了一个事件，反而使另一个事件 的不确定度增加。 极值性 I(X;Y)H(X) I(Y;X)H(Y) 证明：由于 I(X;Y)=H(X)- H(X/Y)0， I(Y;X)=H(Y)- H(Y/X)0, H(Y/X)0， H(X/Y)0, 所以 I(X;Y)H(X)，I(Y;X)H(Y) n从一个事件提取关于另一个事件的信息量，至多是另一个事 件的熵那么多，不会超过另一个事件自身所含的信息量。 n当X和Y是一一对应关系时：I(X;Y)=H(X)，这时H(X/Y)=0。 从一个事件可以充分获得关于另一个事件的信息，从平均意 义上来说，代表信源的信息量可全部通过信道。 n当X和Y相互独立时：H(X/Y) =H(X)， I(Y;X)=0。从一个事件 不能得到另一个事件的任何信息，这等效于信道中断的情况 。 凸函数性 n平均互信息量的数学特性 n平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数 n平均互信息量I(X;Y)是输入转移概率分布p(yj /xi)的下凸函数 n 平均互信息量的数学特性 平均互信息量是p(xi)和p(yj /xi)的函数，即I(X;Y)=f p(xi), p(yj /xi)； 若固定信道，调整信源， 则平均互信息量I(X;Y)是p(xi)的函数，即I(X;Y)=f p(xi)； 若固定信源，调整信道， 则平均互信息量I(X;Y)是p(yj /xi)的函数，即I(X;Y)=f p (yj /xi)。 n I(X;Y)是 p(xi)的上凸函数 上凸函数：同一信源集合x1,x2,xn，对应两个不同的 概率分布p1(xi)和p2(xi)(i=1,2, ,n)，若有小于1的正数01 ，使不等式 fp1(xi)+(1-)p2(xi)fp1(xi)+(1-)fp2(xi) 成立，则称函数f为p(xi)的上凸函数。如果式中仅有大于号 成立，则称f为严格的上凸函数。 n I(X;Y)是 p(yj/xi)的下凸函数 下凸函数： Ip1(yj /xi)+(1-)p2(yj /xi)Ip1(yj /xi)+(1-)Ip2(yj /xi) 数据处理定理 n串联信道 n数据处理定理 n 串联信道 在一些实际通信系统中，常常出现串联信道。例如 微波中继接力通信就是一种串联信道。 信宿收到数据后再进行数据处理，数据处理系统可看成一种信道，它 与前面传输数据的信道构成串联信道。 图2.1.11表示两个单符号离散信道串联的情况。 n 数据处理定理 数据处理定理：当消息经过多级处理后，随着处理器数 目的增多，输入消息与输出消息之间的平均互信息量趋于 变小。即 I(X;Z)I(X;Y) I(X;Z)I(Y;Z) 结论： 两级串联信道输入与输出消息之间的平均互信息量既不会 超过第级信道输入与输出消息之间的平均互信息量，也不 会超过第级信道输入与输出消息之间的平均互信息量。 当对信号/数据/消息进行多级处理时，每处理一次，就有可 能损失一部分信息，也就是说数据处理会把信号/数据/消息变 成更有用的形式，但是绝不会创造出新的信息。这就是所谓 的信息不增原理。 当已用某种方式