信息论与编码,曹雪虹,课件第2章-3.ppt

信源与信息熵 第二章 2 2 1信源的描述和分类2 2离散信源熵和互信息2 3离散序列信源的熵2 4连续信源的熵和互信2 5冗余度 内容 3 2 2离散信源熵和互信息 4 离散信源熵和互信息 问题 什么叫不确定度 什么叫自信息量 什么叫平均不确定度 什么叫信源熵 什么叫平均自信息量 什么叫条件熵 什么叫联合熵 联合熵 条件熵和熵的关系是什么 5 离散信源熵和互信息 问题 什么叫后验概率 什么叫互信息量 什么叫平均互信息量 什么叫疑义度 什么叫噪声熵 或散布度 数据处理定理是如何描述的 熵的性质有哪些 6 自信息量 设离散信源X 其概率空间为 I xi 含义 当事件xi发生以前 表示事件xi发生的不确定性当事件xi发生以后 表示事件xi所含有的信息量 7 自信息量 自信息量 条件自信息量 联合自信息量 8 离散信源熵 离散信源熵H X 信源熵具有以下三种物理含意 信息熵H X 表示信源输出后 每个离散消息所提供的平均信息量 信息熵H X 表示信源输出前 信源的平均不确定性 信息熵H X 反映了变量X的随机性 9 信源熵 无条件熵 条件熵 联合熵 10 2 2 3互信息 设有两个随机事件X和Y X取值于信源发出的离散消息集合 Y取值于信宿收到的离散符号集合 有扰信道 干扰源 信源X 信宿Y 11 互信息 如果信道是无噪的 当信源发出消息xi后 信宿必能准确无误地收到该消息 彻底消除对xi的不确定度 所获得的信息量就是xi的不确定度I xi 即xi本身含有的全部信息 一般而言 信道中总是存在着噪声和干扰 信源发出消息xi 通过信道后信宿只可能收到由于干扰作用引起的某种变型yj 信宿收到yj后推测信源发出xi的概率p xi yj 称为后验概率 信源发出消息xi的概率p xi 称为先验概率 12 互信息 互信息定义为xi的后验概率与先验概率比值的对数 互信息I xi yj 表示接收到某消息yj后获得的关于事件xi的信息量 13 例某地二月份天气构成的信源为 若得知 今天不是晴天 把这句话作为收到的消息y1当收到y1后 各种天气发生的概率变成后验概率了p x1 y1 0 p x2 y1 1 2 p x3 y1 1 4 p x4 y1 1 4 求得自信息量分别为 14 表明从y1分别得到了x2x3x4各1比特的信息量 消息y1使x2x3x4的不确定度各减少1bit 15 例2 8 一个二进信源X发出符号集 0 1 经过离散无记忆信道传输 信道输出用Y表示 由于信道中存在噪声 接收端除收到0和1的符号外 还有不确定符号 2 已知X的先验概率 p x0 2 3 p x1 1 3 符号转移概率 p y0 x0 3 4 p y2 x0 1 4p y1 x1 1 2 p y2 x1 1 2 X Y 0 1 0 1 2 3 4 1 2 1 2 1 4 信源熵 16 得联合概率 p x0y0 p x0 p y0 x0 2 3 3 4 1 2p x0y1 p x0 p y1 x0 0p x0y2 p x0 p y2 x0 2 3 1 4 1 6p x1y0 p x1 p y0 x1 0p x1y1 p x1 p y1 x1 1 3 1 2 1 6p x1y2 p x1 p y2 x1 1 3 1 2 1 6条件熵 由 17 联合熵H X Y H X H Y X 1 8bit 符号 得p y0 p xiy0 p x0y0 p x1y0 1 2 0 1 2p y1 p xiy1 p x0y1 p x1y1 0 1 6 1 6p y2 p xiy2 p x0y2 p x1y2 1 6 1 6 1 3 由 18 由 得 同理p x0 y1 0 p x1 y1 1p x0 y2 1 2 p x1 y2 1 2 19 H X 表示接收到输出符号Y前关于输入变量X的平均不确定度 H X Y 表示接收到输出符号Y后关于输入变量X的平均不确定度 这个对X尚存在的平均不确定度是由于干扰 噪声 引起的 20 平均互信息 平均互信息定义 信息 先验不确定性 后验不确定性 不确定性减少的量 Y未知 X的不确定度为H X Y已知 X的不确定度变为H X Y 21 平均互信息 有扰信道 干扰源 信源X 信宿Y 通信系统中 若发端的符号为X 收端的符号为Y如果是一一对应信道 接收到Y后 对X的不确定性将完全消除 H X Y 0一般情况 H X Y H X 即了解Y后对X的不确定度的将减少通过信道传输消除了一些不确定性 获得了一定的信息 22 平均互信息 平均互信息的另一种定义方法 23 例假设一条电线上串联了8个灯泡x1 x2 x8如图 这8个灯泡损坏的概率相等p xi 1 8 现假设只有一个灯泡已损坏 致使串联灯泡都不能点亮 未测量前 8个灯泡都有可能损坏 它们损坏的先验概率 p xi 1 8 这时存在的不确定性 24 第1次测量后 可知4个灯泡是好的 另4个灯泡中有一个是坏的 这时后验概率p xi y 1 4尚存在的不确定性 所获得的信息量就是测量前后不确定性减少的量 第1次测量获得的信息量 25 第2次测量后变成猜测哪2个灯泡中一个是损坏的 这时后验概率为 p xi yz 1 2尚存在的不确定性 第2次测量获得的信息量 第3次测量完全消除了不确定性 能获知哪个灯泡是坏了的 尚存在的不确定性等于零 第3次测量获得的信息量 26 要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的 至少要获得3个bit的信息量 27 方法2 逐个检查第1次 x1坏 获得信息量 3bit 可能性较小1 8 x1通 其余7只中1只坏 坏灯泡的不确定性 log27 2 8073bit获得信息量 3 2 8073 0 1927bit 可能性较大7 8第1次所获得的平均信息量 对半开 第1次所获得的平均信息量 28 互信息量 在有3个变量的情况下 符号xi与符号yj zk之间的互信息量定义为 同理 29 条件互信息 我们定义在已知事件zk的条件下 接收到yj后获得关于某事件xi的条件互信息 30 平均互信息与各类熵的关系 熵只是平均不确定性的描述 不确定性的消除 两熵之差 才等于接收端所获得的信息量 获得的信息量不应该和不确定性混为一谈 31 维拉图 H X Y H X H Y H XY H Y X I X Y 32 条件熵 H X Y 信道疑义度 损失熵信源符号通过有噪信道传输后所引起的信息量的损失 信源X的熵等于接收到的信息量加上损失掉的信息量 H Y X 噪声熵 散布熵它反映了信道中噪声源的不确定性 输出端信源Y的熵H Y 等于接收到关于X的信息量I X Y 加上H Y X 这完全是由于信道中噪声引起的 33 收发两端的熵关系 34 若信道是无噪一一对应信道 信道传递概率 计算得 35 若信道输入端X与输出端Y完全统计独立 则 36 2 2 4数据处理中信息的变化 数据处理定理 当消息通过多级处理器时 随着处理器数目增多 输入消息与输出消息间的平均互信息量趋于变小假设Y条件下X和Z相互独立 37 数据处理定理 数据处理定理说明 当对信号 数据或消息进行多级处理时 每处理一次 就有可能损失一部分信息 也就是说数据处理会把信号 数据或消息变成更有用的形式 但是绝不会创造出新的信息 这就是所谓的信息不增原理 38 三维联合集XYZ上的平均互信息量 39 2 2 5熵的性质 1 非负性H X H p1 p2 pn 0式中等号只有在pi 1时成立 2 对称性H p1 p2 pn H p2 p1 pn 例如下列信源的熵都是相等的 40 熵的性质