信息论与编码课后习题答案

文档鉴赏 1 有一个马尔可夫信源 已知有一个马尔可夫信源 已知 p x1 x1 2 3 p x2 x1 1 3 p x1 x2 1 p x2 x2 0 试画出该信 试画出该信 源的香农线图 并求出信源熵 源的香农线图 并求出信源熵 解 该信源的香农线图为 1 3 2 3 x1 1 x2 在计算信源熵之前 先用转移概率求稳定状态下二个状态 x1和 x2 的概率和 1 xp 2 xp 立方程 1111 xpxxpxp 221 xpxxp 213 2 xpxp 1122 xpxxpxp 222 xpxxp 0 213 1 xpxp 1 得 21 xpxp 4 3 1 xp 4 1 2 xp 马尔可夫信源熵 H 得 H 0 689bit 符号 IJ ijiji xxpxxpxp log 2 设有一个无记忆信源发出符号 A 和 B 已知 求 4 3 4 1 BpAp 计算该信源熵 设该信源改为发出二重符号序列消息的信源 采用费诺编码方法 求其平均信息传输速 率 又设该信源改为发三重序列消息的信源 采用霍夫曼编码方法 求其平均信息传输速率 解 0 812 bit 符号 X ii xpxpXH log 发出二重符号序列消息的信源 发出四种消息的概率分别为 16 1 4 1 4 1 AAp 16 3 4 3 4 1 ABp 16 3 4 1 4 3 BAp 16 9 4 3 4 3 BBp 用费诺编码方法 代码组 bi BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 bit 双符号624 1 2 2 XHXH 平均代码组长度 1 687 bit 双符号 2 B 文档鉴赏 0 963 bit 码元时间 B XH R 2 2 三重符号序列消息有 8 个 它们的概率分别为 64 1 AAAp 64 3 AABp 64 3 BAAp 64 3 ABAp 64 9 BBAp 64 9 BABp 64 9 ABBp 64 27 BBBp 用霍夫曼编码方法 代码组 bi BBB 0 0 1 64 27 BBA 0 1 110 3 64 9 64 19 BAB 1 1 101 3 64 9 64 18 64 4 ABB 0 0 100 3 64 9 AAB 1 1 11111 5 64 3 64 6 BAA 0 1 11110 5 64 3 ABA 1 0 11101 5 64 3 64 4 AAA 0 11100 5 64 1 2 436 bit 三重符号序列 3 3 XHXH 2 469 码元 三重符号序列 3 B 0 987 bit 码元时间 3 R B XH 3 3 已知符号集合 为无限离散消息集合 它们的出现概率分别为 321 xxx 2 1 1 xp 求 4 1 2 xp 8 1 3 xp i i xp 2 1 用香农编码方法写出各个符号消息的码字 代码组 计算码字的平均信息传输速率 计算信源编码效率 解 i x i xp ja xP log ja xp i b 代码组 1 x 2 1 0110 2 x 4 1 2 1 2210 3 x 8 1 2 1 4 1 33110 文档鉴赏 i x i 2 1 2 1 4 1 1 2 1 i ii 111 110 1 个 1 i 2 bit 符号 I ii xpxpXH log 2 码元 符号 I iib Pb 码元时间 1 bit b xH R 二进制信道 C 1 bit 码元时间 信源编码的编码效率 100 C R 4 已知一个信源包含八个符号消息 它们的概率分布如下表 求 ABCDEFGH 0 10 180 40 050 060 10 070 04 对这八个符号作二进制码元的霍夫曼编码 写出各个码字 并求出编码效率 解 2552bit 符号 时间熵2 552bit s X xpxpXH log t H 2 552bit s t R t H 霍夫曼编码 符号 代码组 bi i p C 0 4 0 0 1 B 0 18 0 110 3 A 0 1 0 1 0 100 3 0 0 23 1 F 0 1 0 1 1 0 6 1111 4 G 0 07 1 1011 4 1 E 0 06 0 0 13 1 1010 4 D 0 05 1 0 1