信息论与编码课件第二章.ppt

1、第二章 信源和信息熵,离散信源的信息熵,连续信源的信息熵,信源分类和描述,第二章 作业,教材第59页62页2.1，2.2，2.3(1)(2)，2.4，2.8，2.13，2.14，2.16,信源分类和描述,信源分类和描述,=,离散信源,连续信源,=,信源分类和描述,单符号信源 X,符号序列信源 XN （N次扩展信源）,信源分类和描述,无记忆信源,有记忆信源,信息的特性,事件（消息）的信息量大小与其不确定度（概率）有关 事件概率越小，信息量越大 确定性事件的信息量为零，不可能事件的信息量为无穷大 信息量具有可加性,离散信源符号的信息量,信息量定义,信息量单位,对数的底a = 2时，信息量单位为比特

2、( bit） 对数的底a = e时，信息量单位为奈特( nat） 对数的底a = 3时，信息量单位为铁特( Tet） 对数的底a = 10时，信息量单位为哈特( Hart）,-,离散信源符号的信息量,P(x),I(X)=log2(p),离散信源的信息熵(Entropy),信息熵定义(信息量的统计平均或者说数学期望),信息熵单位,对数的底a = 2时，信息熵单位为比特/符号( bit/符号） 对数的底a = e时，信息熵单位为奈特/符号( nat/符号） 对数的底a = 3时，信息熵单位为铁特/符号( Tet/符号） 对数的底a = 10时，信息熵单位为哈特/符号( Hart/符号）,离散二元信

3、源的信息熵,离散信源信息熵的含义,H(X)表示信源的平均不确定度平均信息量 H(X)表示信源的随机性 H(X)表示信源输出每个符号所提供的平均信息量 H(X)表示信宿所能获得的最大信息量,条件自信息量与条件熵,条件自信息量定义,条件熵定义(条件自信息量的统计平均),=,=,联合自信息量与联合熵,联合自信息量定义,联合熵定义(联合自信息量的统计平均),=,自信息量、条件信息量、联合信息量三者之间的关系,当事件x 和事件y 相互独立时有,信息熵、条件熵、联合熵三者之间的关系,当集合X 和集合Y 相互独立时有,例题 有两个二元随机变量X和Y，它们的联合概率为 并定义另一随机变量Z=XY（一般乘积)，

4、试计算： 熵 H(X)、H(Y)、H(Z)、H(X, Z)、 H(Y, Z) 、 H(X, Y, Z) 条件熵 H(X|Y)、H(X|Z)、H(Z|X)、H(Z|Y)、 H(Y|Z)、H(Y|XZ)、H(Z|XY) (3) 互信息 I(X;Y), I(X;Z), I(Y;Z); I(X;Y|Z), I(Y;Z|X)和I(X;Z|Y),解：(1)根据 和 的联合概率分布，分别求得 X 、Y 和 Z 的边沿概率分布如下： 0 1 0 1 0 1 7/8 1/8,和 以及 和 的联合概率分布函数分别为： 0 1 0 1 0 1/2 0 0 1/2 0 1 3/8 1/8 1 3/8 1/8,、 和

5、的联合分布函数为,根据上述概率分布函数，分别求得：,(2)根据(1)得到的联合概率分布和边沿概率分布函数，求得如下条件概率分布 0 1 0 1 0 1/4 3/4 0 4/7 0 1 3/4 1/4 1 3/7 1 0 1 0 1 0 1 3/4 1/4,又因为 因此,所以,(3),熵函数 H(p) 的性质,信息熵 H(X) 的函数表达H(p),(1)对称性,(2)非负性(离散信源),(3)扩展性,熵函数 H(p) 的性质,(4)确定性,(5)可加性,(6)极值性,熵函数 H(p) 的性质,熵函数 H(p) 的性质,(7)上凸性,小结：,信息熵 信息论中的最基础的基本概念 对随机变量不确定性的

6、最好的度量 用来描述信源的信息特性,互信息量的提出与定义,互信息量提出,互信息量定义,互信息量 =（收到消息之前关于某事件的不确定度） -（收到消息之后关于该事件的不确定度） = 消息不确定度的减小量,设某班学生在一次考试中获优（A）、良（B）、中（C）、及格（D）和不及格（E）的人数相等。当教师通知某甲：“你没有不及格”，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？,例,解： 令P(x)表示“得到老师通知前甲的成绩的不确定性（概率）” P(x|y)表示“得到老师通知后甲的成绩的不确定性（概率）”,则 P(x)=1/5， P(x|y)=1/4,总的需要信息,剩余信息,获得信息,条

7、件互信息量与联合互信息量,条件互信息量定义,联合互信息量定义,自信息量与互信息量的区分（表达方式和含义上）,信息量,互信息量,自信息量与互信息量的联系,平均互信息量,平均互信息量定义,平均条件互信息量定义,平均联合互信息量定义,(1)非负性,(2)互易性,(3)极值性,平均互信息量 I(X;Y) 的性质,不具有非负性,(4)I(X;Y)与信息熵的关系,(5)凸函数性,平均互信息量 I(X;Y) 的性质,当 p(y|x) 给定时，I(X;Y) 是 p(x) 的上凸函数。 当 p(x) 给定时，I(X;Y) 是 p(y|x) 的下凸函数。,I(X;Y)与信息熵的关系,I ( X ; Y ) = 0

8、,集合X与集合Y 相互独立的情况,I(X;Y)与信息熵的关系,H ( X|Y ),H (Y|X ),H ( X|Y ) 含糊度或损失熵 H ( Y|X ) 散布度或噪声熵,I(X;Y)与信息熵的关系,集合X与集合Y 完全相关的情况,I(X;Y)与信息熵的关系,H(X|Y),I(X;Y) 的凸函数性,I(X;Y) 的凸函数性,I(X;Y) 的凸函数性,当 p(y|x) 给定时，I(X;Y) = f p(x) 是上凸函数。,当 p(x) 给定时，I(X;Y) = f p(y|x) 是下凸函数。,C 信道容量,R(D) 率失真函数,小结,互信息量 信息论中的另一个基本概念（差值） 对两个随机变量之间

9、统计依存性的信息度量 用来描述信道特性和信源的压缩特性,信息熵 信息论中的最基础的基本概念 对随机变量不确定性的最好的度量 用来描述信源的信息特性,信息不增性原理(定理2.4),当且仅当p(z|xy)= p(z|y)时，等号成立。,穿越凤凰山-游戏：动作传递,信息不增性原理(定理2.5),当且仅当Y和Z是一一对应关系时，等号成立。,平稳离散信源,(1)平稳离散信源的概念,(2)平稳离散信源的熵,(3)信源的冗余度与信息速率,信源的符号序列统计特性与时间的起点无关,平稳离散信源的熵,随机矢量的熵（联合熵）,极限熵（熵率）,平均符号熵,定理2.6 设 证明：极限的存在性 为单调有界序列。,有记忆平

10、稳离散信源的熵,红楼梦葬花吟 陈力,三国演义主题曲,我们有,则 又 得,定理说明： 随机变量之间的依赖性在某种程度上降低了信源的不确定性，即使信源（符号）携带的信息量减少。 当考虑依赖关系无限长时，平均符号熵和条件熵都是非递增地一致趋于平稳信源的极限熵。,无记忆平稳离散信源的熵,无记忆平稳离散信源：信源输出为平稳独立的随机序列,又各分量分布相同,无记忆平稳离散信源的熵,无记忆平稳离散信源的熵,随机矢量的熵（联合熵）,极限熵,平均符号熵,信源的冗余度与信息速率,对于离散平稳信源 理论上：实际的熵为 即信源所能输 出的信息量需要传递 的手段。 实际上：因信源的统计特性了解不全只能算出 作为信源信息

11、量需要传递 的手段。 分析： 造成传递手段上有富余输出效率不高，不经济,效率 冗余度 相对冗余度,例：自然语言信源的冗余度 英文26个字母间隔符号27，则 信源字母携带的最大信息量 log27=4.76 bit/符号 基于字母、间隔出现的概率统计 H14.03 bit/符号 基于两个、三个字母依赖关系概率统计 H23.32 bit/符号 H33.1 bit/符号,的近似值为： = 1.4 bit/符号 效率 相对冗余度 传输英文语言时，71%是多余的！可以压缩71%的信息量。 冗余度存在可以增加抗干扰能力。,信源的冗余度与信息速率,信源的冗余度,信息速率,H 实际信源熵 H0 信源平均符号熵的

12、最大值,H(X) 信源熵 信源符号平均时长,马尔可夫信源,很多信源输出的符号序列中，符号之间的依赖关系是有限的，即任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面发出的符号无关 状态 状态转移概率,马尔可夫信源,定义 2.17 若信源输出的符号序列和信源所处的状态满足下列两个条件： （1）某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号无关。即 当具有时齐性时，即有 及 （2）信源某l时刻所处的状态由当前的输出符号和前一时刻 信源的状态唯一决定，即 （即已知前一时刻信源状态及当前输出符号，则当前信源状态是确定的，或者说取某个状态的概率为1，

13、取其他状态的概率为0） 则此信源称为马尔可夫信源。,马尔可夫信源,定义 2.18 m 阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定： 并满足 则称此信源为m阶马尔科夫信源。当m=1时，即任何时刻信源符号发生的概率只与前面一个符号有关，则称为一阶马尔科夫信源。,马尔可夫信源的熵,对于一个马尔可夫信源，当信源处于某个状态 时，发出一个信源符号所携带的平均信息量，即在状态 下，发一个符号的条件熵为 我们要计算的是马尔可夫信源平均符号熵的极限熵，为简便起见，我们省去了繁琐的证明，假设信源在极限情形处于平稳分布状态（本章如无特别说明，例题均满足此特性），即信源处于某个状态的概率是稳定不

14、变的，这样极限熵应是 剩下的问题是如何求 ？,马尔可夫信源的熵,由于 是极限稳态分布，它应满足 利用上两式，解方程，即可求得 。,马尔可夫信源的熵,例2.8有一个二元二阶马尔可夫信源，其信源符号集为0，1，各状态下输出各符号的概率如图2-6所示，求信源熵。,马尔可夫信源的熵,状态转移概率矩阵为 根据状态转移矩阵，可得极限分布应满足,马尔可夫信源的熵,解方程，得 因此，信源熵为,用 的传统数学方法从离散情况向连续情况作推广,连续信源的信息熵,结论：连续信源的熵值无限,的含义 从数学概念上：连续熵不存在。连续随机变量所包含的信息量为无限大，我们不可能全部获取，我们关心的只是其中足以满足我们所需要的

15、一部分。 从物理层面上： 作为参考点， 是相对值，实际通信中关心的是熵差，所以重点研究它符合信息理论研究的本质上的需求。,连续信源的信息熵,连续信源的信息熵,连续信源的熵,相对熵（微分熵） 对相对熵的说明 Hc(X)不能作为连续信源X的不确定性的量度，连续型随机变量的熵为无穷大。非绝对值，而为相对值。定义与离散情形相统一。 Hc(X)的取值：可能不存在，可能为负值。,连续信源的相对熵,1. Hc(X)不存在的例子。 设连续随机变量 X 有概率密度 p(x) 如下：,连续信源的相对熵,2. Hc(X)取负值 设连续随机变量 X 有概率密度 p(x) 如下：,连续信源的相对熵,例2.9：设连续型随

16、机变量X 在区间 a,b上服从均匀 分布 则,连续信源的熵计算,例2.10：具有正态分布（高斯分布）的连续型随机变量,连续信源的熵计算,则,连续信源的熵计算,连续信源的信息熵,连续信源的条件熵与联合熵,连续信源的互信息,连续信源的互信息,连续信源的互信息,连续信源的平均互信息,连续信源的I(X;Y)：取值有限；为非负值。,例:设有二维高斯概率密度函数, 连续随机变量 X、Y 的均值 连续随机变量 X、Y 的方差 相关系数（归一化协方差）,求 I(X;Y) = ?,连续信源的平均互信息计算,连续信源的平均互信息计算,连续信源的平均互信息计算,连续信源的相对熵、平均互信息的性质,定理2.8（峰值受限） 若随机变量X的取值被限定在区间a,b，则X的相对熵 当且仅当X服从均匀分布时具有最大的相对熵。 （离散情形：等概） 证明：设随机变量X概率密度函数为q(x)，有 又设均匀分布时概率密度函数为p(x),有 且 则需证,连续信源的最大相对熵,定理2.10（平均功率受限） 若给定连续型随机变量X的方差为 ，则X的相对熵 当且仅当X服从服从Gaussian分布时等号成立。,连续信源的最大相对熵,连续信源的最大