信息论与编码原理-第4、5章课后习题-20140604-23点-自己整理

1、信息论与编码原理信息论与编码原理四、五章习题四、五章习题12021/8/2信息符号信息符号对应码字对应码字000001011100101111011111s 4.1 对信源概率空间为进行二元编码，编码方案如表4.19所示（1）计算平均码长 。（2）编码后信息传输率 。（3）编码后信源信息率 。（4）编码效率 。1234567(s)0.20.190.180.170.150.100.01SsssssssPLRR2s3s4s5s6s7s 表表4.19 编码方案编码方案（1）平均码长）平均码长1( )3*(0.20.190.180.170.15)4*(0.100.01)3.11qiiiLP s L(

2、)H SRL( )(0.2,0.19,0.18,0.17,0.15,0.10,0.01)2.609H SH码元码元/信源符号信源符号（2）编码后信息传输率）编码后信息传输率 bit/符号符号0.839R bit/码元码元（3）编码后信源信息率）编码后信源信息率 logRLr2log1rrlog3.11RLrbit/信源符号信源符号（4）编码效率）编码效率max( )0.839logH SRLRr进行二元编码，5种不同的编码方案如表4.20所示。表4.20 5种不同的编码方案信源符号信源符号00000010010110100000100111101100010110111111010010101

3、000111111110110011010101111111111010110011s2s3s4s5s6s1C2C3C4C5C（1）这些码中哪些是唯一可译码？（2）这些码中哪些是即时码(异前缀码)？（3）计算即时码的平均码长和编码效率。4.3 某信源概率空间为123456( )0.30.250.20.150.060.04SssssssP s（1）这些码中）这些码中 是唯一可译码。是唯一可译码。123CCC（2）这些码中）这些码中 是即时码。是即时码。13CC161( )3*(0.30.250.20.150.060.04)3ciiiLP s L码元码元/信源符号信源符号（3）( )(0.3,0.

4、25,0.2,0.15,0.06,0.04)2.325H SHbit/符号符号11max( )0.775logccH SLRRr361( )1*0.32*0.253*0.24*0.155*0.066*0.042.54ciiiLP s L码元码元/信源符号信源符号33max( )0.915logccH SLRRr进行 次扩展，采用二元霍夫曼编码。当 时的平均码长和编码效率为多少？1,2,3,N N4.7 设离散无记忆信源的概率空间为 ，对信源12( )0.70.3SssP s（1） 时，将时，将 编成编成0， 编成编成1，则，则1N 1s2s11L 又因为信源熵又因为信源熵( )(0.7, 0.

5、3)0.881H SHbit/符号符号所以编码效率所以编码效率11( )0.881H SL（2）如果对）如果对 长度的信源序列进行霍夫曼编码，编码结果如长度的信源序列进行霍夫曼编码，编码结果如表表4.8所示所示2N 信源序列信源序列霍夫曼码霍夫曼码0.4910.21010.210000.09001表4.8 时的编码结果2N 11 1s s1 2s s2 1s s2 2s s()iP此时，信源序列的平均码长此时，信源序列的平均码长21 0.492 0.21 3 (0.210.09)1.81L 二元码符号二元码符号/信源符号序列信源符号序列则单个符号的平均码长则单个符号的平均码长20.9052LL

6、 二元码符号二元码符号/信源符号信源符号所以对长度为所以对长度为2的信源序列进行变长编码，编码后的编码效率的信源序列进行变长编码，编码后的编码效率2( )0.8810.9730.905H SL用同样的方法进一步将信源序列的长度增加，对用同样的方法进一步将信源序列的长度增加，对 的的序列进行最佳编码，可得平均码长和编码效率为序列进行最佳编码，可得平均码长和编码效率为3N 30.9690.909L 二元码符号二元码符号/信源符号信源符号（4） 时，由香农第一定理可知，必然存在唯一可译码，使时，由香农第一定理可知，必然存在唯一可译码，使N lim( )NrNLHSN而霍夫曼编码为最佳码，即平均码长最

7、短的码，故而霍夫曼编码为最佳码，即平均码长最短的码，故lim1NN4.9 已知离散无记忆信源的概率空间为用香农编码和霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。12345( )0.250.20.20.20.15SsssssP s解：香农编码解：香农编码信息符号信息符号符号概率符号概率累积分布累积分布码字长度码字长度码字码字0.25022000.20.252.3230100.20.452.3230110.20.652.3231010.150.852.743110isP( )isiFlogP( )is1s2s3s4s5s2 0.253 (0.20.20.20.15)2.75L 码源码源/

8、信源符号信源符号(S)(S)logHHLrL( )(0.25,0.2,0.2,0.2,0.15)2.305H SHbit/符号符号0.838霍夫曼编码霍夫曼编码信源符号信源符号码字码字码长码长01210211200030013is1s2s3s4s5s2 0.250.2 20.2 20.2 30.15 32.35L 码元码元/符号符号(S)2.3050.982.35logHLr（1）若信道输入符号 ，求 、 、 和 。（2）求该信道的信道容量及达到信道容量的最佳输入概率分布。（3）如果信道输入符号 时，计算信道剩余度。03/4, (1) 1/4PP（ ）()H X(|)H X Y(|)H Y X

9、(; )I X Y03/4, (1) 1/4PP（ ）0.80.20.20.85.1 设二进制对称信道的传递矩阵为（1）31( )(,)0.811 bit/44H xH符号的联合分布概率为：的联合分布概率为： X Y0101XY35320120153311 ()(,)1.533 bit/520205H XYH符号137 ( )(,)0.934 bit/2020H YH符号(|)()( )0.599 bit/H X YH XYH Y符号( |)()()0.722 bit/H Y XH XYH X符号(; )()( )(, ) ( )(|)()(|)0.212 bit/I X YH XH YH X

10、 YH YH Y XH XH X Y符号（2）由对称信道的信道容量公式得：）由对称信道的信道容量公式得：log() log2(0.8,0.2)0.278 bit/CSH pH的行矢量符号 且当信道输入是等概率分布时才能达到这个最大值且当信道输入是等概率分布时才能达到这个最大值,即即:1(0)(1)2PP（3）信道剩余度为：）信道剩余度为：(; )(; )10.237CI X YI X YCC 信道剩余度5.3 设某对称离散信道的信道矩阵为（1）求其信道容量。（2）写出该信道的二次扩展信道的信道矩阵，并计算信道容量。00.50.50000.50.50.5000.50.50.500P（1）log(

11、) log4(0.5,0.5)1 bit/CSH pH的行矢量符号2 00 01 02 03 10 11 12 13 20 21 22 23 30 31 32 3300000000.25 0.25000.25 0.2500000010020310111213 2021222330313233P000000.25 0.25000.25 0.25000000000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000000000000000.25 0.25000.25 0.25000000000000.25 0.25000.25 0.2500000

12、0000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000.25 0.2500000000000.25 0.250000.25 0.2500000000000.25 0.250.25000.25000000000.25000.250.25 0.2500000000000.25 0.250000.25 0.25000.25 0.25000000000000.25 0.25000.25 0.25000000000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000000000（2）二次扩展信道

13、的信道矩阵为：）二次扩展信道的信道矩阵为： 则信道容量为：则信道容量为：log() log16(0.25,0.25,0.25,0.25) 2 bit/CSH pH的行矢量符号 5.4 设某信道的转移矩阵为求其信道容量。11pqqppqpqP 将将 划分为两个对称的矩阵：划分为两个对称的矩阵：11p qqpPpqp q121 1p qpPpp qqPq 11222,1,1,2 ,2rNq Mq Nq Mq n 1231loglog(,) log2(1)log(1)log(2 ) (1, , ) log2 (1)log(1)(log2log ) (1, , ) (1)log2(1, )(1, , )nkkkCrNMH P P PqqqqHpq p qqqqqHpq p qqHq qHpq p q 图5.14 题5.10中的串联信道5.10 有二个信道的信道