2.3 二元联合信源的共熵与条件熵.ppt

2 3二元联合信源的共熵与条件熵 一 引言 在现实社会及日常生活中 常常是多个信源同时都在 1 不同的信源之间存在相关性 产生或者发布一些消息 中收到这些消息并获得信息量 若消息之间相互关联 则总的信息量相应地会降低 若消息之间相互独立 则总的信息量是这些消息所含 的信息量之和 人们通过各种渠道从不同的信源 一 引言 1 不同的信源之间存在相关性 另一信源也发布一条消息 下次的信息论课不上了 如果单独收到这两条消息中的任何一条 都可以获得 一定的信息量 如果同时 或依次 收到这两条消息 所获得的信息量 显然要小于两者的信息量之和 它们之间是相互关联的 一 引言 1 不同的信源之间存在相关性 2 单个信源的消息之间存在相关性 之间也存在相关性 除了信源之间存在相关性之外 单个信源的各个消息 一篇万字表 千字文 以及 一篇由26个英文字母组成 的英文文章 等 之间都有很强的关联性 因此它们的实际信息量比想像的 要小得多 比如前面提到过的 一帧电视图像 由于像素之间 汉字之间以及英文字母 一 引言 1 不同的信源之间存在相关性 2 单个信源的消息之间存在相关性 后者将转化为前者来研究 本节讨论 1 多个信源的联合信息量问题 2 单个信源的实际信息量问题 重点讨论 1 两个信源的联合情况 2 单个信源相邻两个消息之间有关联的情况 条件概率空间 二 二元联合信源的共熵与条件熵 由这两个信源构成的联合信源的各种概率空间 考虑两个信源X和Y 1 二元联合信源 其概率空间分别为 2 二元联合信源的共熵 二 二元联合信源的共熵与条件熵 共熵 或者联合熵 反映的是每当两个信源同时发送 一对消息时 所提供的平均信息量 3 二元联合信源的条件熵 二 二元联合信源的共熵与条件熵 2 称下式为Y给定的情况下X的条件熵 3 二元联合信源的条件熵 二 二元联合信源的共熵与条件熵 含义 1 条件熵反映的是在信源X给定的条件下 相应地 称 为无条件熵 信源Y所提供的平均信息量 若X和Y相互独立 则应有 若X和Y相互关联 则应有 2 条件熵反映的是在信源Y给定的条件下 信源X所提供的平均信息量 因此 3 二元联合信源的条件熵 二 二元联合信源的共熵与条件熵 解释 1 在消息已知的条件下 消息发生提供的信息量为 此时 信源Y提供的平均信息量为 即表示在信源X发出消息的前提下 信源Y每发出一个消息所提供的平均信息量 2 在信源X已知的条件下 3 二元联合信源的条件熵 二 二元联合信源的共熵与条件熵 解释 统计平均 即期望 则须对信源X中的所有消息 将再求 得到信源Y的平均信息量 4 共熵 条件熵 无条件熵之间的关系 二 二元联合信源的共熵与条件熵 1 X提供的平均信息量 在X发生的前提下Y提供的平均信息量 共熵 Y的熵 在Y的条件下X的熵 Y提供的平均信息量 在Y发生的前提下X提供的平均信息量 4 共熵 条件熵 无条件熵之间的关系 二 二元联合信源的共熵与条件熵 1 证明 4 共熵 条件熵 无条件熵之间的关系 二 二元联合信源的共熵与条件熵 1 2 证明 只需证 由于 只需证 只需证 由于为严格上凸函数 故 且 4 共熵 条件熵 无条件熵之间的关系 二 二元联合信源的共熵与条件熵 1 2 由 即得 无条件熵 条件熵 联合熵 小结 二 二元联合信源的共熵与条件熵 关系式 小结 当X Y相互独立时 二 二元联合信源的共熵与条件熵 条件熵等一些概念 有两个信源X Y 已经知道的概率分 布如右表所示 求 联合信源的共熵和 条件熵 条件熵 联合熵 存在相关性 从上面的三组数据中可以看出 由于两个信源之间 于最大联合熵的熵值都有所下降 并不多 特别 强 因此条件熵相对于无条件熵 联合熵相对 但同时也发现下降的 表明本题所给的两个信源之间的关联性并不是 三 单个信源的实际熵和剩余度 在本节的引言中已经提到 单个信源的各个消息之间 为简单起见 本小节仅考虑前后两个消息符号之间 有关联的情况 通常存在相关性 消息符号有关 这样 后一个消息所提供的信息已经在前面的消息中 得到了部分的提示或暗示 的真正的 新 的信息量将小于该消息所提供的信息量 此 当消息之间有关联时 信源的实际熵将会降低 即后一个消息符号的出现与前面若干个 换句话说 后一个消息所提供 因 三 单个信源的实际熵和剩余度 1 一阶马氏链信源 定义 称这种有记忆的 信源当前所发出的消息符号只与前面的一个符号消息 有关 而与更前面的消息符号无关 信源为一阶马尔可夫信源 或者一阶马氏链信源 已知条件 1 信源概率 2 条件概率 表示前一个符号出现后 下一个符号出现的概率 三 单个信源的实际熵和剩余度 1 一阶马氏链信源 技术 上的处理 令表示 前一个 消息符号构成的状态空间 表示 后一个 消息符号构成的状态空间 则上述一阶马氏链信源就可以被当作是两个相互关联的 联合信源来进行处理 从而可得到各种概率空间如下 3 条件概率空间 2 联合概率空间 1 信源和的概率空间 三 单个信源的实际熵和剩余度 1 一阶马氏链信源 技术 上的处理 三 单个信源的实际熵和剩余度 2 联合熵 或共熵 联合熵 或者共熵 表示一阶马氏链信源中每一对消息 所提供的平均信息量 三 单个信源的实际熵和剩余度 3 条件熵 条件熵表示一阶马氏链信源中前一个消息输出的条件 下 每输出下一个消息符号所提供的平均信息量 三 单个信源的实际熵和剩余度 4 一阶马氏链信源的实际熵 下面的两个熵都可以作为一阶马氏链信源的实际熵 它们有如下的关系 证明 三 单个信源的实际熵和剩余度 4 一阶马氏链信源的实际熵 下面的两个熵都可以作为一阶马氏链信源的实际熵 上述两个熵都仅仅是实际熵的近似值 实际熵还要小 通常以条件熵作为实际熵 事实上真正的 其中后者比前者更接近实际熵 因此 即 三 单个信源的实际熵和剩余度 5 信源的剩余度 一个状态空间数为N的信源 当其消息等概时 可以 达到最大熵 1 信源的消息不等概 2 信源的消息之间具有相关性 这样 消息之间或者单个消息本身存在冗余 说 实际上可以用更少的消息来达到同样的信息量 部分消息 是多余的 或者剩余的 可见消息的剩余与熵值的减少有关 的降低量来定义信源的剩余度 也叫冗余度或多余度 但下面两个因素将会导致熵值下降 换句话 即有 为此香农用熵值 内熵 相对熵 剩余度 三 单个信源的实际熵和剩余度 5 信源的剩余度 对于无记忆信源 对于一阶马氏链信源 某信源可输出三个消息 其概率分布如表所示 2 若消息之间相互独立 3 信源的最大熵 信源的熵为多少 4 信源的剩余度 1 信源的 实际 熵即为条件熵 2 若消息之间相互独立 信源的熵为无条件熵 3 信源的最大熵即为符号之间相互独立且等概时的熵 4 信源的剩余度 解 实际熵 小结 三 单个信源的实际熵和剩余度 联合熵 或共熵 条件熵 关系式 对于无记忆信源 消息相互独立 对于一阶马氏链信源 消息前后关联 最大熵 消息相互独立 且等概 共熵 条件熵 实际熵以及剩余度等一些概念 内熵 相对熵 剩余度 小结 三 单个信源的实际熵和剩余度 1 英文字母加上空格共有27个 则最大熵为 2 实际上 用英文字母组成英文单词 再由英文单词 组成句子时 英文字母并不是等概率出现的 对在英文书中各符号的概率加以统计 就可以 得出各个英文字母出现的概率分布表 在英语中E出现的概率远远大于Q出现的概率 比如 1 英文字母加上空格共有27个 则最大熵为 2 实际上 用英文字母组成英文单词 再由英文单词 组成句子时 英文字母并不是等概率出现的 对在英文书中各符号的概率加以统计 就可以 得出各个英文字母出现的概率分布表 在英语中E出现的概率远远大于Q出现的概率 比如 英文字母的无记忆信源熵为 由此即得出 3 进一步 英文字母之间是相互依赖的 例如 关于英文字母信源的剩余度 后面出现H R等的可能性较大 的可能性极小 考虑到字母之间的依赖性 应将英语信源作为 马氏链信源来处理 一阶马氏链信源熵 二阶马氏链信源熵 例如字母T 出现J K L等 而根本不会出现Q F X等 从而得