《信息论与编码》曹雪虹 张宗橙清华大学出版社部分课后答案.pdf

第二章 信源及信源熵 2 1 4 2 2 2 3 2 4 3 8 Log 8 3 1 4 Log 4 1 4 Log 4 1 8 Log 8 1 906 60 1 906 114 36 2 5 1 2 2 1 共两种 Log 36 2 4 17 1 6 6 1 2 5 5 2 3 4 4 3 共六种 Log 36 6 2 585 2 6 0 14 个 1 13 个 2 12 个 3 6 个 P I 2 7 Log 2 1 Log 4 2 Log 8 3 2 8 用三个脉冲 用一个脉冲 1 I I LogLog 4 2 4 3 0 415 课后答案网 课后答案网 2 H 1 4 Log 4 3 4 Log 4 3 0 811 2 9 2 P 黑 黑 P 白 黑 H Y 黑 3 P 黑 白 P 白 白 H Y 白 4 P 黑 P 白 H Y 2 10 1 H 色 2 P 色数 H 色数 3 H 数 色 H 色数 H 色 2 11 1 H XY 7 24 Log 24 7 1 24 Log 24 0 1 24 Log 24 1 4 Log 4 1 24 Log 24 0 1 24 Log 24 7 24 Log 24 7 2 301 2 P 得到 H Y 3 H X Y H XY H Y 2 12 1 H X 1 H Y 1 2 3 2 13 课后答案网 课后答案网 P i P ij H IJ 2 14 1 P ij P i j 2 方法 1 方法 2 2 15 P j i 2 16 1 课后答案网 课后答案网 白 黑 1 1 2 设最后平稳概率为 W1 W2 得W1 07 W2 0 3 H Y 黑 0 9143 Log 0 9143 0 0857Log 0 0857 0 422 H Y 白 0 2 Log 0 2 0 8Log 0 8 0 722 H Y X W1 H Y 黑 W2 H Y 白 黑 白 2 17 1 2 2 24 1 H X 2 3 2 25 解方程组 课后答案网 课后答案网 PTW W W1W2 1 即 0 25 0 75 0 5 0 5 W1 W2 W1 W2 解得 W1 0 4 W2 0 6 2 26 P j i 解方程组 求得 W 1 2 S1 1 2 1 3 S2 2 3 S3 1 3 2 3 2 27 求平稳概率 符号条件概率 状态转移概率 解方程组 得到 W 2 28 课后答案网 课后答案网 1 求平稳概率 P j i 解方程组 得到 2 信源熵为 2 29 P j i 解方程组 得到 W1 W2 W3 2 30 课后答案网 课后答案网 P i j 解方程组 得W1 W2 W3 信源熵为 2 31 P X1 P j i P X1X2 1 a b 求H X2 X1 有两种方法 方法 1 方法 2 H X2 X1 P x1x2 log x2 x1 c 求H X3 X2 P X2 则 课后答案网 课后答案网 方法 1 P X3 X2 方法 2 P X3 X2 d 最后 2 首先求解稳定情况下的概率 解方程组 得到 W1 W2 W3 3 不做 2 32 1 P j i 求解方程组 得 p 0 p 1 p 2 课后答案网 课后答案网 2 3 H X log 3 1 58 4 P 当 p 时达到最大值 1 58 当p0 时 H X 0 当p1 时 H X 1 2 33 1 解方程组 得 p 0 p 1 p 2 2 3 当 p 0 或 p 1 时 信源熵为 0 课后答案网 课后答案网 第三章 无失真信源编码 3 1 3 2 1 因为 A B C D 四个字母 每个字母用两个码 每个码为 0 5ms 所以每个字母用 10ms 当信源等概率分布时 信源熵为 H X log 4 2 平均信息传递速率为bit ms 200bit s 2 信源熵为 H X 0 198bit ms 198bit s 3 3 与上题相同 3 5 1 1 2 1 4 1 8 1 16 1 32 1 64 1 128 1 128 H U 1 2 Log 2 1 4 Log 4 1 8 Log 8 1 16 Log 16 1 32 Log 32 1 64 Log 64 1 128 Log 128 1 128 Log 128 1 984 2 每个信源使用 3 个二进制符号 出现 0 的次数为 出现 1 的次数为 P 0 课后答案网 课后答案网 P 1 3 4 相应的香农编码 信 源 符 号 xi 符 号 概 率 pi 累 加 概 率 Pi Logp xi 码长 Ki 码字 x1 1 2 0 1 1 0 x2 1 4 0 5 2 2 10 x3 1 8 0 75 3 3 110 x4 1 16 0 875 4 4 1110 x5 1 32 0 938 5 5 11110 x6 1 64 0 969 6 6 111110 x7 1 128 0 984 7 7 1111110 x8 1 128 0 992 7 7 11111110 相应的费诺码 信源 符号xi 符 号 概 率 pi 第一 次分 组 第二 次分 组 第三 次分 组 第四 次分 组 第五 次分 组 第 六 次 分 组 第 七 次 分 组 二元码 x1 1 2 0 0 x2 1 4 0 10 x3 1 8 0 110 x4 1 16 0 1110 x5 1 32 0 11110 x6 1 64 0 111110 x7 1 128 0 1111110 x8 1 128 1 1 1 1 1 1 1 11111110 5 香农码和费诺码相同 平均码长为 编码效率为 3 7 1 pi 累加概率为 Pi 累加概率分别为 课后答案网 课后答案网 符号 x1 x1 x2 x3 x4 x5 x6 x7 概率 1 2 1 4 1 8 1 16 1 32 1 64 1 128 1 256 累加 概率 0 0 5 0 75 0 8750 9380 9690 984 0 992 码长 1 2 3 4 5 6 7 8 二 元码 0 10 110 1110 11110111110111111011111110 2 信源的信息量为 平均码长为 码字的平均信息传输率为 R bit 码 3 编码效率 R 100 3 10 1 H X 2 信源符号 xi 符 号 概 率 pi 编码过程 编码 码 长 x1 0 37 0 37 0 37 0 38 0 621 00 2 x2 0 25 0 25 0 25 0 37 0 38 01 2 x3 0 18 0 18 0 20 0 25 11 2 x4 0 10 0 10 0 18 100 3 x5 0 07 0 10 1010 4 x6 0 03 1011 4 课后答案网 课后答案网 3 11 1 信源熵 2 香农编码 信 源 符 号 xi 符 号 概 率 pi 累 加 概 率 Pi Logp xi 码长 Ki 码字 x1 0 32 0 1 644 2 00 x2 0 22 0 32 2 184 3 010 x3 0 18 0 54 2 474 3 100 x4 0 16 0 72 2 644 3 101 x5 0 08 0 88 3 644 4 1110 x6 0 04 0 96 4 644 5 11110 平均码长 编码效率为 3 费诺编码为 信源符 号 xi 符号概 率 pi 1 2 3 4 编码 码长 x1 0 32 0 00 2 x2 0 22 0 1 01 2 x3 0 18 0 10 2 x4 0 16 0 110 3 x5 0 08 0 1110 4 x6 0 04 1 1 1 1 1111 4 平均码长为 编码效率 4 哈夫曼编码 课后答案网 课后答案网 信源符号 xi 符 号 概 率 pi 编码过程 编码 码 长 x1 0 32 0 32 0 38 0 40 0 601 01 2 x2 0 22 0 22 0 32 0 38 0 40 10 2 x3 0 18 0 18 0 22 0 32 11 2 x4 0 16 0 16 0 18 000 3 x5 0 08 0 12 0010 4 x6 0 04 0011 4 平均码长为 编码效率 3 12 1 信源熵 信息传输速率 2 552bit s 2 信 源 符 号 xi 符 号 概 率 pi 编码过程 编码 码长 x1 0 4 0 4 0 4 0 4 0 4 0 4 0 6 1 1 x2 0 18 0 18 0 18 0 19 0 230 270 4 001 3 x3 0 1 0 1 0 13 0 18 0 190 23 011 3 x4 0 1 0 1 0 1 0 13 0 18 0000 4 x5 0 07 0 09 0 1 0 1 0100 4 x6 0 06 0 07 0 09 0101 4 x7 0 05 0 06 00010 5 x8 0 04 00011 5 3 香农编码 课后答案网 课后答案网 信 源 符 号 xi 符 号 概 率 pi 累 加 概 率 Pi Logp xi 码长 Ki 码字 x1 0 4 0 1 322 2 00 x2 0 18 0 4 2 474 3 011 x3 0 1 0 58 3 322 4 1001 x4 0 1 0 68 3 322 4 1010 x5 0 07 0 78 3 837 4 1100 x6 0 06 0 85 4 059 5 11011 x7 0 05 0 91 4 322 5 11101 x8 0 04 0 96 4 644 5 11110 平均码长 4 费诺编码 信源符 号 xi 符号概 率 pi 码 码长 x1 0 4 0 00 2 x2 0 18 0 1 01 2 x3 0 1 0 100 3 x4 0 1 0 1 101 3 x5 0 07 0 1100 4 x6 0 06 0 1 1101 4 x7 0 05 0 1110 4 x8 0 04 1 1 1 1 1111 4 3 14 课后答案网 课后答案网 信 源 符 号 xi 符 号 概 率 pi 编码过程 编码 码长 x1 1 3 1 3 1 3 1 3 1 3 2 3 00 2 x2 1 3 1 3 1 3 1 3 1 3 1 3 01 2 x3 1 9 1 9 1 9 2 9 1 3 100 3 x4 1 9 1 9 1 9 1 9 101 3 x5 1 27 2 27 1 9 111 3 x6 1 27 1 27 1100 4 x7 1 27 1101 4 课后答案网 课后答案网 第四章 限失真信源编码 4 1 失真矩阵为 4 2 d 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 0 信源熵为 H x Log 4 2 Dmax min 3 4 3 4 3 4 3 4 R Dmax 0 Dmin 0R Dmin R 0 H X log 4 2 p y1 p y2 p y3 p y4 只要满足 p y1 p y2 p y3 p y4 1 在 0 1 区间可以任意取 值 课后答案网 课后答案网 第五章 信道编码 5 1 5 2 1 接收端的不确定度为 2 H Y X 课后答案网 课后答案网 3 0 得到 得 5 3 0919 1000 919bit s 5 5 1 5 6 1 条件概率 联合概率 后验概率 课后答案网 课后答案网 p y0 1 3 p y1 1 2 p y2 1 6 2 H Y X 3 当接收为 y2 发为 x1 时正确 如果发的是 x1 和 x3 为错误 各自的概率为 P x1 y2 1 5 P x2 y2 1 5 P x3 y2 3 5 其中错误概率为 Pe P x1 y2 P x3 y2 1 5 3 5 0 8 4 平均错误概率为 5 仍为 0 733 6 此信道不好 原因是信源等概率分布 从转移信道来看 正确发送的概率 x1 y1 的概率 0 5 有一半失真 x2 y2 的概率 0 3 有失真严重 x3 y3 的概率 0 完全失真 7 H X Y 1 6 Log 2 1 10 Log 5 1 15 Log 5 2 2 15 Log 5 2 1 10 Log 5 1 10 Log 5 3 1 30 Log 10 3 10 Log 5 3 1 301 课后答案网 课后答案网 课外习题 1 设某信道 其信道矩阵为 若信道的输入符号 a1 a2 a3 先验等概 1 若使平均错误译码概率最小 请选择译码函数 2 求出此错误译码概率 Pemin 解 1 因为先验等概 所以选择最大似然译码准则 F b1 a1 F b2 a3 F b3 a2 2 Pemin 2 有二进制对称信道 p 0 01 0 99 1 采用最大似然译码准则确定译码函数 2 求出最小平均错误译码概率 3 对该信道进行扩展 采用简单重复编码 000 111 采用最大似然译码准则确定译码规则 4 求出扩展后的最小平均错误译码概率 5 求出扩展后的信道传输率 解 1 P j i 译码函数为F b1 a1 F b2 a2 2 Pemin 0 01 0 01 2 0 01 3 课后答案网 课后答案网 译码函数 F 1 F 2 F 3 F 4 000 1 F 5 F 6 F 7 F 8 000 2 4 平均错误最小概率为 5 R 3 i j是两个码符号 0 1 组成的符号序列 求 i j 之间的汉明距离 解 D i j 4 W 000 001 010 100 011 110 101 111 的最小汉明距离 解 Dmin 1 5 设有一离散信道 其信道矩阵为 1 当信源X的概率分布为p a1 2 3 p a2 p a3 1 6 时 按最大后验概率准则选择译码 函数 并计算其平均错误译码概率Pemin 2 当信源是等概率是分布时 选择最大似然译码准则选择译码函数 并计算其平均错 误译码概率Pemin 解 解 1 联合概率 后验概率 课后答案网 课后答案网 根据最大后验概率准则 F b1 a1 F b2 a1 F b3 a1 最小错误译码概率为 2 当信源是等概率分布时 采用最大似然译码准则F b1 a1 F b2 a2 F b3 a3 6 设离散无记忆信道的输入符号集 X 0 1 输出符号集 Y 0 1 2 信道矩阵为 P 若某信源输出两个等该消息x1 x2 现在用信道输入符号集对x1 x2进行编码 W1 00 W2 11 代表x1 x2 按最大似然准则写出译码函数 并求出最小平均错误译码概率Pemin 解 1 选择译码函数 F b1 F b2 F b3 F b4 F b7 x1 F b5 F b6 F b8 F b9 x2 3 7 设分组码 n k 中 n 6 n 3 并按下列方程选取字中的码字 课后答案网 课后答案网 求信息序列 a1a2a3 变换成六位的八个码字 并求出编码效率 解 信息序列 码字 a1a2a3 c1c2 c3c4c5c6 000 000000 001 001011 010 010101 100 100110 011 011110 101 101101 110 110011 111 111000 编码效率 课后答案网 课后答案网 第五章 数字信号的基带传输 第五章 数字信号的基带传输 5 1 返回页首 5 2 课后答案网 课后答案网 返回页首 5 3 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 5 4 课后答案网 课后答案网 返回页首 5 5 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 5 6 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 5 7 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 5 8 课后答案网 课后答案网 返回页首 5 9 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 课后答案网 课后答案网 5 10 返回页首 5 11 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 5 12 课后答案网 课后答案网 返回页首 5 13 课后答案网 课后答案网 返回页首 5 14 课后答案网 课后答案网 返回页首 5 15 返回页首 5 16 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 5 17 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 课后答案网 课后答案网 5 18 返回页首 课后答案网 课后答案网 5 19 返回页首 5 20 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 课后答案网 课后答案网 第六章 数字信号的频带传输 第六章 数字信号的频带传输 6 1 课后答案网 课后答案网 返回页首 6 2 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 课后答案网 课后答案网 6 3 课后答案网 课后答案网 返回页首 课后答案网 课后答案网 6 4 课后答案网 课后答案网 返回页首 6 5 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 课后答案网 返回页首 6 6 课后答案网 课后答案网 课后答案网 课后答案网 8 1 解 解 由图可知 txtxty 所以信道的冲击响应为 ttth 传 输特性为 j eH 1 可知该信道为恒参信道 信道的幅频特性 2 cos2 1 222 jjj j eeeeH 当 12 n 时其值为 0 n2 时则达到最大值 Zn 两相邻零值点间 的距离为 2 因此 若信号带宽 1 s f 信号经过信道会有明显失真 频率选择性衰落 若 1 s f 则失真可以忽略 平坦性衰落 8 2 解 解 信道的传输特性为 其他0 2 2 2 2 0 0 Cc tj Cc tj c c e e H 输入信号的傅利叶变换为 2 1 2 1 cc MMS 因而输出为 00 2 1 2 1 tj c tj c cc eMeMHSR tttmettmettmtr c tjtj cc cos 002 1 02 1 对比输入 ttmts c cos 信号整体有失真 但包络无失真 tm 8 3 解 解 信道的传输特性为 RCj Cj R Cj H 1 1 1 1 相频特性 arctan RC 时延特性 arctan RC 群时延特性 2 1 RC RC G 由于时延特性和群时延特性都不是常数 信号通过此信道会发生失真 当 时 二者 都趋于 0 因此该信道对于高频信号失真不大 是一个高通网络 课后答案网 课后答案网 8 4 解 解 一般选择码元宽度 max 5 3 T 如果取宽度为 20ms 则码元速率约为 50B 8 5 解 解 根据香农公式 1log 2 S BC 可知信道容量 当信噪比 降为 10dB时 为了保持相同的信道容量 要求 101 log10 2 2 6 C 101 log10 101 log 2 2 6 2 B 可得 HzB 6 1092 1 8 6 解 解 1 skbitC 638 22 101 log104 3 2 2 3 2 最高符号速率为 BdC234 3128log 2 8 7 解 解 由于抽样速率为 8kHz 若将抽样值量化为 k个二进制码元 则有 k 2个量化电平 码 元速率为 sbitk 108 3 10 路PCM信号与两路 180kbit s的数据时分复用 输出速率为 434 10 368 101802108 kk bit s 进行BPSK调制且功率谱主瓣宽度为 即 因此 MHz 1100 64 10110 368 k 8 k 最大量化电平数 2562 k M 课后答案网 课后答案网 9 1 解 由生成矩阵与检验矩阵的关系 易求 1000111 0101101 0011011 H 由伴随式的公式 得 100 1000111 0101101 0011011 1011011 T T yHs 9 2 解 由H阵求出G阵 1101000 0110100 1110010 1010001 G 首先将m分组 四位码一组 不足的用0补 得 1101 1 m0110 2 m 1010 3 m 则 GmC ii 1001011 1101000 0110100 1110010 1010001 1011 1 C 1000110 22 GmC 1100101 33 GmC 9 3 解 利用G的初等行变换来完成相应的变换 1行 4行 2行 3行 得 1101000 0110100 0011010 0001101 G 2 行 4 行 1 行 3 行 4 行 得 1101000 0110100 1110010 1010001 G 课后答案网 课后答案网 故 G 就是所求的系统码生成阵 9 4 解 由初等行变换得 1011100 1110010 0111001 G 求相应的检验矩阵 1000110 0100011 0010111 0001101 H 由伴随式的定义 得到伴随式表 3210 SSSSS 陪集首 0000 0000000 0001 0000001 0010 0000010 0100 0000100 1000 0001000 1101 0010000 0111 0100000 1110 1000000 0011 0000011 0101 0000101 1001 0001001 1100 0010001 0110 0100001 1111 1000001 1010 0001010 1011 0001011 由定义可知 4 min d 9 5 解 由题可知 该线性码为 7 3 码 4 min d 最多可纠一个错 而 1000101 0100111 0010110 0001011 H 所以 其可纠差错图样及伴随式如下 S v E r 0001 0000001 0010 0000010 课后答案网 课后答案网 0100 0000100 1000 0001000 0111 0010000 1110 0100000 1011 1000000 9 6 解 327 1 1 xxxgxxh 0011101 0111010 1110100 xG 其系统码 1011100 1110010 0111001 xG 而对应的 1000110 0100011 0010111 0001101 H 9 7 解 已知 7 4 汉明码的生成矩阵和校验矩阵如下 0111000 1110100 1010010 1100001 G 1000111 0101101 0011110 H 所以缩短码 6 3 只需要除去原 7 4 码生成矩阵的第一行 及对应校验矩阵的第一 列就可以了 即 0111000 1110100 1010010 G 100011 010110 001111 H 9 8 解 分别列出 32 1 xxxG 432 1 xxxxH 3 1 xxxG 43 1 xxxxH 432 1 xxxxG 32 1 xxxH 课后答案网 课后答案网 43 1 xxxxG 3 1 xxxH 65432 1 xxxxxxxG xxH 1 xxG 1 65432 1 xxxxxxxH 9 9 证明 已知 1 1 1 5310854215 xxxxxxxxxx 即 1 mod0 1 1 1553108542 xxxxxxxxxx 所以 得证 同时 有 53 1 xxxxh 9 10 解 1 1 235781115 xxxxxxxxgxxh 已知系统码的生成矩阵 2 2 1 1 xrx xrx xrx G kn kn n n n n M 所以对于本题 4 4 13 13 14 14 xrx xrx xrx G M 由公式得 1 3 14 xr 1 23 13 xxr1 23 12 xxxr xxxr 23 11 1 2 10 xxrxxr 3 9 1 2 8 xr 1 3 7 xxr 23 6 xxr xxr 2 5 1 4 xr 课后答案网 课后答案网 所以 1100 0110 0011 1101 1010 0101 1110 0111 1111 1011 1001 1111 MIG 缩短为 8 4 后的生成矩阵和监督矩阵分别为 110010000000000 011001000000000 001100100000000 110100010000000 G 44 1001 1101 0110 0011 IHM 可以看出 这是已经不再是循环码了 可采用一般的线性分组码译码器 框图如下 9 11 课后答案网 课后答案网 解 1 1 46715 xxxxgxxh 9 12 解 只要满足即可 所以分别列出 1 mod0 15 xxhxG 1 432 1 xxxxxG 1 1 1 1 2443 xxxxxxxxH 2 43 1 xxxG 1 1 1 1 24432 xxxxxxxxxxH 3 4 1 xxxG 1 1 1 1 243432 xxxxxxxxxxH 4 2 1 xxxG 1 1 1 1 443432 xxxxxxxxxxH 5 xxG 1 1 1 1 1 2443432 xxxxxxxxxxxH 6 1 1 43432 xxxxxxxG 1 1 1 24 xxxxxxH 7 1 1 4432 xxxxxxxG 1 1 1 243 xxxxxxH 8 1 1 2432 xxxxxxxG 1 1 1 443 xxxxxxH 9 1 1 432 xxxxxxG 1 1 1 2443 xxxxxxxH 10 1 1 443 xxxxxG 1 1 1 2432 xxxxxxxxH 11 1 1 243 xxxxxG 1 1 1 4432 xxxxxxxxH 12 1 1 43 xxxxG 1 1 1 24432 xxxxxxxxxH 13 1 1 24 xxxxxG 1 1 1 43432 xxxxxxxxH 14 1 1 4 xxxxG 1 1 1 243432 xxxxxxxxxH 15 1 1 2 xxxxG 1 1 1 443432 xxxxxxxxxH 16 1 1 1 443432 xxxxxxxxxG 1 1 2 xxxxH 17 1 1 1 243432 xxxxxxxxxG 1 1 4 xxxxH 18 1 1 1 43432 xxxxxxxxG 1 1 24 xxxxxH 19 1 1 1 24432 xxxxxxxxxG 1 1 43 xxxxH 20 1 1 1 4432 xxxxxxxxG 1 1 243 xxxxxH 21 1 1 1 2432 xxxxxxxxG 1 1 443 xxxxxH 22 1 1 1 2443 xxxxxxxG 1 1 432 xxxxxxH 23 1 1 1 443 xxxxxxG 1 1 2432 xxxxxxxH 24 1 1 1 243 xxxxxxG 1 1 4432 xxxxxxxH 25 1 1 1 24 xxxxx 1 1 43432 xxxxxxxGxH 26 1 1 1 1 2443432 xxxxxxxxxxxG 1 xxH 课后答案网 课后答案网 27 1 1 1 1 443432 xxxxxxxxxxG 1 2 xxxH 28 1 1 1 1 243432 xxxxxxxxxxG 1 4 xxxH 29 1 1 1 1 24432 xxxxxxxxxxG 1 43 xxxH 30 1 1 1 1 2443 xxxxxxxxG 1 432 xxxxxH 9 13 解 取本原多项式 周期 52 1 xxxp 31125 P 此题中 令 显然31不能整除 5 l912 l 故此Fire码的生成多项式 1411952529 1 1 1 xxxxxxxxxg 其码长 279 31 9 LCMn 其监督位数 14152512 lmknr 其信息位数 26514279 rnk 所以该Fire码是