《信源与信息熵》PPT课件.ppt

,上节内容回顾,主要内容：,一、单符号互信息,二、平均互信息,三、互信息的物理意义,上节内容回顾,一、单符号互信息,指通信前后不确定度的减小量（差值）称为互信息量。,1、定义,对称性, 干扰很大（相互独立）时：,无干扰时：,2、性质,一、单符号互信息,上节内容回顾,二、平均互信息,1、定义,指单符号互信息I(xi,yj)在X和Y集合上的统计平均值。,上节内容回顾,二、平均互信息,2、性质：,对称性,非负性,极值性,理论证明略（与单符号互信息相同）。,理论证明参考周荫清编的信息理论基础，直观理解,直观理解！,上节内容回顾,二、平均互信息,当p(xi)一定时，互信息是p(yj/xi)的U型函数，存在极小值。,信息率失真函数的理论基础。,当p(yj/xi)一定时，互信息是p(xi)的n型函数，存在极大值。,信道容量的理论基础。,2、性质：,上节内容回顾,二、平均互信息,平均互信息与联合熵之间的关系：,上节内容回顾,上节内容回顾,三、互信息的物理意义,（1）接收端收到yj后所获得的关于发送端xi的信息量。,（2）通信中实际传送的有用信息量。,接收端：,发送端：,发送端,接收端,损失熵（疑义度）,噪声熵,上节内容回顾,三、互信息的物理意义,2 .2 离散信源熵和互信息,四、熵的性质,非负性：,例,2 .2 离散信源熵和互信息,四、熵的性质,2 对称性：,例,2 .2 离散信源熵和互信息,四、熵的性质,3 确定性：,只要信源符集中有一个符号出现的概率为1，即为确定信源，信源熵为0 。,2 .2 离散信源熵和互信息,四、熵的性质,4 香农辅助定理：,对于任意两个n维概率矢量P=（p1，p2，pn）和Q=（q1，q2，qn），如下不等式成立:,任意概率分布pi对其他概率分布qi的自信息量取数学期望时，必大于pi对pi本身的自信息量取数学期望，等号当且仅当P=Q成立。,2 .2 离散信源熵和互信息,四、熵的性质,5 最大熵定理：,离散无记忆信源输出M个不同消息符号，当且仅当各符号出现的概率相等时，信源熵最大。,直观理解：,2 .2 离散信源熵和互信息,四、熵的性质,二元信源的概率空间为：,例,画出二元信源熵曲线H（p）,2 .2 离散信源熵和互信息,四、熵的性质,6 条件熵小于无条件熵,（1）条件熵小于信源熵,（2）两个条件下的条件熵小于一个条件下的条件熵,（3）联合熵小于信源熵之和,2 .2 离散信源熵和互信息,四、熵的性质,7 信源熵、条件熵、联合熵和互信息量之间的关系,2 .2 离散信源熵和互信息,四、熵的性质,7 信源熵、条件熵、联合熵和互信息量之间的关系,2 .2 离散信源熵和互信息,2 .2 离散信源熵和互信息,2 .2 离散信源熵和互信息,五、数据处理中信息的变化,数据处理定理: 当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。,信息不增性: 数据处理过程中只会丢失一些信息，绝对不会创造出新的信息，一旦丢失信息，则用任何处理手段也不可能恢复出丢失的信息。,2 .3 离散序列信源熵,离散信源,发出单个符号信源,发出符号序列的信源,无记忆信源,发出单个符号的信源 一个符号代表一个消息；,有记忆信源,发出符号序列的信源 一组含二个以上符号的符号序列代表一个消息。,2 .3 离散序列信源熵,发出符号序列的信源,发出单个符号的信源,2 .3 离散序列信源熵,自信息量：,发出单个符号的信源的表示方法：,信源熵：,2 .3 离散序列信源熵,设信源输出的随机序列为：,序列中的单符号变量,其中的一个序列为：,序列个数：,2 .3 离散序列信源熵,信源的序列熵：,与单符号信源熵相似！,不同的是：,2 .3 离散序列信源熵,一、无记忆信源序列熵,信源的序列熵,2 .3 离散序列信源熵,一、无记忆信源序列熵,2 .3 离散序列信源熵,若 与序号l无关时，即满足平稳特性,信源的序列熵,平均每个符号(消息)熵为,一、无记忆信源序列熵,2 .3 离散序列信源熵,无记忆信源随机变量X(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵:,如果以两个符号出现(L=2的序列)为一事件，则随机序列X(00,01,10,11)，信源的序列熵,可见：用2比特才能表示该事件。,例,可见：用1比特就可表示该事件。,信源的符号熵,2 .3 离散序列信源熵,例,有一离散平稳无记忆信源,求：信源熵、二次扩展信源序列熵和平均符号熵,2 .3 离散序列信源熵,二、有记忆信源序列熵,必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论:,当前后符号无依存关系时,有下列推论：,2 .3 离散序列信源熵,二、有记忆信源序列熵,若信源输出一个L长序列,则信源的序列熵为,平均每个符号的熵为：,若当信源退化为无记忆时:,若当信源平稳时:,2 .3 离散序列信源熵,离散有记忆信源各符号的概率空间:,信源发出的二重符号，两个符号的概率关联性用条件概率p(aj|ai)表示,如表。,p(aj|ai),求离散信源的序列熵和平均每个符号的熵?,例,2 .3 离散序列信源熵,解：由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表：,序列熵：,平均符号熵：,2 .3 离散序列信源熵,当信源符号之间无记忆时,信源X的信息熵为,有记忆时平均符号熵：,结论：有记忆时平均符号熵小于无记忆时的符号熵。 即不确定度减小。,原因？,2 .3 离散序列信源熵, 条件熵H (XL|XL-1) 随L的增加是非递增的。 条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。,三、离散平稳信源,即：条件越多，条件熵越小 序列越长，条件熵越小,2 .3 离散序列信源熵,三、离散平稳信源, L给定时,平均符号熵条件熵： H L(X)H (XL|XL-1) 证：,即：序列中平均符号熵大于最后一个符号的条件熵,2 .3 离散序列信源熵,三、离散平稳信源, HL(X)是L的单调非增函数 HL(X)HL-1(X) 证：,即：序列越长，平均每个符号的熵越小。,2 .4 连续信源熵和互信息,离散信源的统计特性：用概率分布描述 连续信源的统计特性：用概率密度函数描述,用离散变量逼近连续变量。,2 .4 连续信源熵和互信息,单变量x，设,幅度连续的单个符号信源,是连续变量x的概率密度函数,由中值定理得：,令：,根据离散信源熵的定义：,2 .4 连续信源熵和互信息,幅度连续的单个符号信源,2 .4 连续信源熵和互信息,幅度连续的单个符号信源,对比离散信源熵：,连续信源熵定义为：,2 .4 连续信源熵和互信息,幅度连续的单个符号信源,说明： （1）形式相似。 （2）意义不同：连续信源的不确定度为无穷大 离散信源的不