信息论与编码第2章

1、第2章 信息的统计度量信息的度量通常有两种:一种是对消息符号或消息符号集本身所含信息量多少的度量，比如信源符号包含的信息量；另一种是对消息符号或消息符号集之间相互提供信息量多少的度量，比如信宿收到消息后获得关于信源的信息量。前者用自信息和熵来描述，而后者用互信息和互熵来描述。本章内容2.1 随机变量的统计特性2.2 离散随机变量的自信息和信息熵2.3 离散随机变量的联合自信息和联合熵2.4 离散随机变量的条件自信息和条件熵2.5 离散随机变量的互信息和平均互信息2.6 连续随机变量的信息度量2.1 随机变量的统计特性2.1.1 随机变量的分类及其描述1、离散随机变量的统计特性概率之间的关系2、

2、连续随机变量的统计特性两种重要的连续随机变量两种重要的连续随机变量2.1.2信源的统计特性2.1.3 信道的传输特性单符号离散信道的概率空间2.2 离散随机变量的自信息和信息熵一、自信息量I(xi)和信息熵H(X)2.2.3信息熵的性质2.3 离散随机变量的联合自信息和联合熵联合自信息量I(xi,yj)和联合熵H(X,Y)1、联合自信息量： 元素对 中所含的信息量2、联合熵： 联合符号集合（X，Y）上的平均每个元素对 中所含的信息量物理意义物理意义2.4 离散随机变量的条件自信息和条件熵条件自信息条件熵条件熵条件熵解：（3）已知发出的和收到的符号，求能得到的信息量。 （4）已知收到的符号，求被

3、告知发出的符号得到的信息量。例题：二进制通信系统等概使用符号0和1，由于存在失真，传输时会产生误码，无记忆信道模型如下。试计算（1）已知发出一个0，求收到符号后得到的信息量。（2）已知发出的符号，求收到符号后得到的信息量。01011/23/4x1x2y1y2解：各种熵的关系1) H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X,Y)H(X)+H(Y); X和Y统计独立时，取等号。 H(X/Y) H(X) ; X和Y统计独立时，取等号。条件熵总是小于或等于无条件熵。例题已知两个独立的随机变量x、y的分布律如下，计算假定 Z=XY。计算H（X）、 H（Z）、 H（X/Y）、 H

4、（XY）、 H（YZ）2.5 离散随机变量的互信息和平均互信息互信息的物理含义互信息的性质平均互信息联合互信息和条件互信息信息处理定理2.6 连续随机变量的信息度量一、连续随机变量的熵1）绝对熵：2）连续信源的熵（相对熵、差熵）：连续随机变量的相对熵与绝对熵应该区别对待。连续随机变量的绝对熵为无穷大，其物理意义与离散随机变量的信息熵相同，具有非负性。在取两熵之间的差时，绝对熵中的无穷项可以抵消，故定义的相对熵不影响平均互信息量和信道容量的计算。所以相对熵又称为差熵。非特殊指明，连续随机变量的熵指的是相对熵。虽然它在形式上和离散随机变量的信息熵相似，但在概念上不能把它作为信息熵来理解。相对熵只具有熵的部分含义和性质，而丧失了某些重要的特性。相对熵仍具有可加性、上凸性和极值性，但却不存在非负性。说明：连续随机变量的熵具有的性质连续随机变