第二章 信源与信息熵.ppt

1、信息编码理论,2010.09.13,课程内容,绪论 信源的熵和互信息量 信道和信道容量 信息率失真函数 信源编码定理和方法 信道编码定理和方法 密码学,第二章 信源的熵和互信息量,2010.09.13,第二章 信源的熵和互信息量,信源的描述和分类 发出单个符号的信源的熵和信息量 离散序列信源的熵 连续信源的熵和互信息量 冗余度,信源的分类,按连续性分类：离散信源和连续信源 离散信源：时间和幅度上都是离散分布的，如文字、数据等 连续信源：时间或幅度上都是连续分布的，如语音、波的振动等,离散信源：按发出的符号间的关系分类,例2-1 信源分类,在一个布袋内放100个球,其中80个球是红色的,20个球

2、是白色的.,情况1: 随机摸取一个球,看球的颜色. 情况2: 每次随机摸取一个球,查看球的颜色; 看过 球后又放回布袋中再做下次实验. 情况3: 每次取出两个球,先取出一个球,记下颜色 后放回布袋,再取另一个球. 情况4: 每次取出两个球,先取出一个球,记下颜色 后不放回布袋,从布袋中再另外取一个球.,例2-1 信源分类,在一个布袋内放100个球,其中80个球是红色的,20个球是白色的.,情况1: 离散信源 情况2: 发出单个符号的无记忆信源 (先验概率) 情况3: 发出符号序列的无记忆信源 (联合概率) 情况4: 发出符号序列的有记忆信源 (条件概率),信源描述,发出单个符号的无记忆信源 (

3、先验概率) 发出符号序列的无记忆信源 (联合概率),信源描述,发出符号序列的有记忆信源 (条件概率),信源描述,发出符号序列的m阶Markov信源 (记忆长度=m+1) 当m=1时,第二章 信源的熵和互信息量,信源的描述和分类 发出单个符号的信源的熵和信息量 离散序列信源的熵 连续信源的熵和互信息量 冗余度,事件的自信息量和互信息量,1、自信息量：某事件发生的不确定性程度 2、条件信息量：某个条件下事件发生的不确定性,事件的自信息量和互信息量,3、两个符号同时出现时的自信息量（用联合概率来表示）。,事件的自信息量和互信息量,4、互信息量：某条件下，某事件的出现引起另一个 事件信息量的改变。,例

4、2-2 互信息量的计算,例2-2：随机变量X表示人的性别，X=0表示男性，X=1表示女性；随即变量Y表示是否抽烟，Y=0表示抽烟，Y=1表示不抽烟。(X,Y)的联合分布分别如下3种情况时，求抽到的是男性给抽烟这个事件提供多大的信息量。（实际上就是求： ）,例2-2 互信息量的计算,例2-2 互信息量的计算,信源的各种平均信息量,1、信源熵： 事件事件自信息量事件的不确定性 信源平均自信息量（熵）信源的平均不确定性 熵的性质：非负性、对称性、确定性、极值性,例2-3 信源熵的计算,例2-3：二元信源是离散信源的特例，该信源X的输出符号只有“0”和“1”，输出符号发出的概率分别为p和q（p+q=1

5、），求该信源的熵。,例2-3 信源熵的计算,信源的各种平均信息量,2、条件熵（疑义度）： 条件熵的性质： 3、联合熵：,解:,信源的各种平均信息量,4、平均互信息量： 平均互信息量的性质： 非负性 对称性,信源的各种平均信息量,各种熵的关系：,条件熵和平均互信息量的物理意义,条件熵和平均互信息量的物理意义,级联情况下的平均互信息量,数据处理定理：当消息通过多级处理器时，随着处理器数量的增加，输入消息与输出消息之间的平均互信息量趋于减小。也就是说，任何处理过程总是会损失信息，最多保持原来的信息量，一旦失去将无法复原。,级联情况下的平均互信息量,平均互信息量 条件互信息量,级联情况下的平均互信息量

6、,平均互信息量与条件互信息量关系,级联情况下的平均互信息量,相互关系,级联情况下的平均互信息量,第二章 信源的熵和互信息量,信源的描述和分类 发出单个符号的信源的熵和信息量 离散序列信源的熵 连续信源的熵和互信息量 冗余度,离散信源的序列熵,离散无记忆信源序列的熵,离散有记忆信源序列的熵,例2-5 计算序列熵和符号熵,例2-5 计算序列熵和符号熵,序列熵的性质,第二章 信源的熵和互信息量,信源的描述和分类 发出单个符号的信源的熵和信息量 离散序列信源的熵 连续信源的熵和互信息量 冗余度,幅度连续的单个符号信源熵,1、连续信源熵,例2-6 连续熵的含义,例2-6 连续熵的含义,问题：同一个信号被

7、放大后信息量会增加？, 事实上：,联合熵和条件熵,波形信源熵, 时间和幅度都是连续的随机波形x(t)可以 通过时间采样转化为发出符号序列的时间 离散幅度连续的信源 平稳随机过程的熵 = 平稳随机序列的熵,波形信源熵,最大熵定理,小 结,幅度离散信源 发出单符号的离散信源的熵 发出符号序列的离散信源的熵（无记忆和有记忆） 发出单符号的离散信源最大熵定理 幅度连续的信源 发出单符号的幅度连续的信源的熵 波形信源（幅度、时间连续信源） 连续信源的最大熵定理 互信息量和条件熵的物理意义,第二章 信源的熵和互信息量,信源的描述和分类 发出单个符号的信源的熵和信息量 离散序列信源的熵 连续信源的熵和互信息量 冗余度,信源冗余度,给定信源在实际发出消息时所包含的多余信息； 表达信源每个符号所需的信息量比信源每个符号实际的信息量大； 如果一个消息包含的符号比表达这个消息所需要的符号多则该消息就含有冗余度。,信源冗余度来源,信源符号间的相关性 信源符号分布的不均匀性 等概率分布时信源熵最大，实际上多数是不等概率分布