信息论02课件

离散无记忆的扩展信源 有一离散信源 如果输出的每二个符号看作一组 则信源可以写成 离散无记忆的扩展信源 扩展信源 信源输出的消息是按一定概率选取的由多个符号组成的序列离散无记忆信源其N次扩展信源是其中 N次扩展信源的信息熵 计算公式 有一离散无记忆信源其信息熵 比特 符号 二次扩展信源信息熵 比特 符号 例题 离散平稳信源 在任意两个不同时刻发出符号序列的各维联合概率分布都相同的离散信源其中与为两个不同时刻 条件概率 信源在前面已发出N个符号的基础上再发出符号的概率 可表示为N维联合概率 信源输出N个符号的概率 可表示为联合概率与条件概率的关系当符号间没有依赖关系时 二维平稳信源及其信息熵 一维离散平稳信源 二次扩展平稳信源 联合熵 二维平稳信源X的信息熵的近似值 条件熵 已知前面一个符号时 输出下一个符号的平均不确定性输出第二个符号总的平均不确定性 条件熵 联合熵与条件熵的关系 熵的强可加性 条件熵与无条件熵的关系 对于一般的离散平稳有记忆信源信源符号之间的依赖长度为N 则其联合熵为 极限熵 例题 某一离散二维平稳信源且发出的符号只与前一个符号有关 联合概率为求信源符号之间无依赖关系时信源X的信息熵 有依赖关系时二维信源的条件熵与联合熵 条件概率为 信源符号之间无依赖性时 信源X的信息熵为 比特 符号 考虑符号之间有依赖性时 条件熵为 比特 符号 联合熵为 比特 二个符号 比特 符号 熵的近似值 一个平面上刻有6行8列的棋型方格 若有二个质点A和B 分别以等概率落入任一方格内 且它们的坐标分别为 XA YA XB YB 但A B不能落入同一方格内 1 若仅有质点A 求A落入任一格的平均自信息量是多少 5 58 2 若已知A落入 求B落入的平均自信息量 5 55 3 若A B是可辨的 求A B同时落入的平均自信息量 11 14 例题 1 A落入任一格的平均自信息量 比特 2 已知A落入 B再落入的平均自信息量 比特 3 A B同时落入的平均自信息量 比特 马尔科夫信源 例子 有一个信源 输出符号的符号集为 0 1 此信源输出的符号序列遵守下面的规则 当前面两位符号是00时 输出符号0的概率为0 8 输出符号1的概率为0 2 当前面两位符号是01时 输出符号0的概率为0 5 输出符号1的概率为0 5 当前面两位符号是10时 输出符号0的概率为0 5 输出符号1的概率为0 5 当前面两位符号是11时 输出符号0的概率为0 2 输出符号1的概率为0 8 马尔科夫信源 E2 E3 E4 E5 E1 信源符号集 信源状态 1 某一时刻信源符号的输出只与此刻信源所处的状态有关 而与以前的状态及以前的输出符号无关 2 信源某时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一决定 时齐的马尔科夫信源 状态转移概率和已知状态下发出符号的概率均与时间无关的马尔科夫信源 m阶马尔科夫信源 m阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定 并满足 状态 则信源的状态集 马尔科夫信源的信息熵 时齐 遍历的马尔科夫信源的信息熵 其中为状态出现的概率 例题 二元二阶马尔科夫信源的符号集为 0 1 条件概率为 求各状态之间的转移概率与马尔科夫信源的信息熵 信源有qm 22 4种可能状态 E1 00 E2 01 E3 10 E4 11 状态转移图为 00 01 11 10 0 0 8 0 0 5 1 0 2 0 0 5 1 0 5 1 0 5 0 0 2 1 0 8 其他状态转移概率为0 解方程组 可得 信源的熵 比特 符号 信源的剩余度 一个离散信源的符号集为A B C D组成的集合 在信道中传输每个符号所需的时间为5ms 1 不同字母等概率出现时 计算传输的平均信息速率 2 若每个字母出现的概率分别为pA 1 2 pB 1 4 pC 1 8 pD 1 8 试计算传输的平均信息速率 例题 1 不同字母等概率出现时 平均每个字母含有的信息量为 比特 符号 一秒钟可以传输的字母个数为 字母 秒 传输的平均信息速率为 比特 秒 2 概率不同时 平均每个字母含有的信息量为 比特 符号 传输的平均信息速率为 比特 秒 信源的剩余度 熵的相对率 信源实际的信息熵与具有同样符号集的最大熵的比值信源剩余度 1减去熵的相对率 自然语言的熵 英文字母组成的信源的最大熵 比特 符号 实际熵 比特 符号 剩余度汉语的剩余度 小结 自信息 事件发生的不确定性 信息熵 平均不确定性 信息熵的基本性质 对称性 确定性