信息论与编码原理-第4、5章课后习题-0604-23点-自己整理教学提纲

1、信息论与编码原理信息论与编码原理四、五章四、五章(w zhn)习题习题第一页，共25页。信息符号对应码字000001011100101111011111s 4.1 对信源概率空间为进行二元编码(bin m)，编码(bin m)方案如表4.19所示（1）计算平均码长 。（2）编码(bin m)后信息传输率 。（3）编码(bin m)后信源信息率 。（4）编码(bin m)效率 。1234567(s)0.20.190.180.170.150.100.01SsssssssPLRR2s3s4s5s6s7s 表表4.19 编码方案编码方案第二页，共25页。（1）平均）平均(pngjn)码长码长1( )3

2、*(0.20.190.180.170.15)4*(0.100.01)3.11qiiiLP s L( )H SRL( )(0.2,0.19,0.18,0.17,0.15,0.10,0.01)2.609H SH码元码元/信源符号信源符号(fho)（2）编码）编码(bin m)后信后信息传输率息传输率 bit/符号符号0.839R bit/码元码元第三页，共25页。（3）编码）编码(bin m)后信源信息率后信源信息率 logRLr2log1rrlog3.11RLrbit/信源符号信源符号(fho)（4）编码）编码(bin m)效率效率max( )0.839logH SRLRr第四页，共25页。进行

3、(jnxng)二元编码，5种不同的编码方案如表4.20所示。表4.20 5种不同的编码方案信源符号00000010010110100000100111101100010110111111010010101000111111110110011010101111111111010110011s2s3s4s5s6s1C2C3C4C5C（1）这些码中哪些是唯一可译码？（2）这些码中哪些是即时码(异前缀(qinzhu)码)？（3）计算即时码的平均码长和编码效率。4.3 某信源概率(gil)空间为123456( )0.30.250.20.150.060.04SssssssP s第五页，共25页。（1）这些

4、）这些(zhxi)码中码中 是唯一可译码。是唯一可译码。123CCC（2）这些）这些(zhxi)码中码中 是即时码。是即时码。13CC161( )3*(0.30.250.20.150.060.04)3ciiiLP s L码元码元/信源符号信源符号(fho)（3）( )(0.3,0.25,0.2,0.15,0.06,0.04)2.325H SHbit/符号符号11max( )0.775logccH SLRRr第六页，共25页。361( )1*0.32*0.253*0.24*0.155*0.066*0.042.54ciiiLP s L码元码元/信源符号信源符号(fho)33max( )0.915l

5、ogccH SLRRr第七页，共25页。进行 次扩展，采用二元霍夫曼编码。当 时的平均(pngjn)码长和编码效率为多少？1,2,3,N N4.7 设离散(lsn)无记忆信源的概率空间为 ，对信源12( )0.70.3SssP s（1） 时，将时，将 编成编成0， 编成编成1，则，则1N 1s2s11L 又因为又因为(yn wi)信信源熵源熵( )(0.7, 0.3)0.881H SHbit/符号符号所以编码效率所以编码效率11( )0.881H SL第八页，共25页。（2）如果对）如果对 长度长度(chngd)的信源序列进行霍夫曼编码，编码结的信源序列进行霍夫曼编码，编码结果如果如表表4.8

6、所示所示2N 信源序列霍夫曼码0.4910.21010.210000.09001表4.8 时的编码(bin m)结果2N 11 1s s1 2s s2 1s s2 2s s()iP此时，信源序列此时，信源序列(xli)的平的平均码长均码长21 0.492 0.21 3 (0.21 0.09)1.81L 二元码符号二元码符号/信源符号序列信源符号序列第九页，共25页。则单个符号则单个符号(fho)的平的平均码长均码长20.9052LL 二元码符号二元码符号(fho)/信源符信源符号号(fho)所以对长度所以对长度(chngd)为为2的信源序列进行变长编码，编码后的编码效的信源序列进行变长编码，编

7、码后的编码效率率2( )0.8810.9730.905H SL用同样的方法进一步将信源序列的长度增加，对用同样的方法进一步将信源序列的长度增加，对 的的序列进行最佳编码，可得平均码长和编码效率为序列进行最佳编码，可得平均码长和编码效率为3N 30.9690.909L 二元码符号二元码符号/信源符号信源符号第十页，共25页。（4） 时，由香农第一定理可知，必然存在时，由香农第一定理可知，必然存在(cnzi)唯一可译码，使唯一可译码，使N lim( )NrNLHSN而霍夫曼编码为最佳而霍夫曼编码为最佳(zu ji)码，即平均码长最短的码，故码，即平均码长最短的码，故lim1NN第十一页，共25页。

8、4.9 已知离散无记忆(jy)信源的概率空间为用香农编码和霍夫曼编码法编成二进制变长码，计算平均码长和编码效率。12345( )0.250.20.20.20.15SsssssP s解：香农编码解：香农编码(bin m)信息符号符号概率累积分布码字长度码字0.25022000.20.252.3230100.20.452.3230110.20.652.3231010.150.852.743110isP( )isiFlogP( )is1s2s3s4s5s第十二页，共25页。2 0.253 (0.20.20.20.15)2.75L 码源码源/信源符号信源符号(fho)(S)(S)logHHLrL( )

9、(0.25,0.2,0.2,0.2,0.15)2.305H SHbit/符号符号(fho)0.838第十三页，共25页。霍夫曼编码霍夫曼编码(bin m)信源符号码字码长01210211200030013is1s2s3s4s5s2 0.250.2 20.2 20.2 30.15 32.35L 码元码元/符号符号(fho)(S)2.3050.982.35logHLr第十四页，共25页。（1）若信道输入符号 ，求 、 、 和 。（2）求该信道的信道容量及达到信道容量的最佳输入概率分布。（3）如果(rgu)信道输入符号 时，计算信道剩余度。03/4, (1) 1/4PP（ ）()H X(|)H X

10、Y(|)H Y X(; )I X Y03/4, (1) 1/4PP（ ）0.80.20.20.85.1 设二进制对称信道(xn do)的传递矩阵为第十五页，共25页。（1）31( )(,)0.811 bit/44H xH符号的联合的联合(linh)分布概率为：分布概率为： X Y0101XY35320120153311 ()(,)1.533 bit/520205H XYH符号137 ( )(,)0.934 bit/2020H YH符号第十六页，共25页。(|)()( )0.599 bit/H X YH XYH Y符号(|)()()0.722 bit/H Y XH XYH X符号(; )()(

11、)(, ) ( )(|)()(|)0.212 bit/I X YH XH YH X YH YH Y XH XH X Y符号（2）由对称信道）由对称信道(xn do)的信道的信道(xn do)容量公式得：容量公式得：log() log2(0.8,0.2)0.278 bit/CSH pH的行矢量符号 且当信道输入且当信道输入(shr)是等概率分布时才能达到这个最大值是等概率分布时才能达到这个最大值,即即:1(0)(1)2PP第十七页，共25页。（3）信道）信道(xn do)剩余度为：剩余度为：(; )(; )10.237CI X YI X YCC 信道剩余度第十八页，共25页。5.3 设某对称离散

12、信道的信道矩阵(j zhn)为（1）求其信道容量。（2）写出该信道的二次扩展信道的信道矩阵(j zhn)，并计算信道容量。00.50.50000.50.50.5000.50.50.500P（1）log() log4(0.5,0.5)1 bit/CSH pH的行矢量符号第十九页，共25页。2 00 01 02 03 10 11 12 13 20 21 22 23 30 31 32 3300000000.25 0.25000.25 0.2500000010020310111213 2021222330313233P000000.25 0.25000.25 0.25000000000.25000.2

13、5 0.25000.25000000000.25 0.25000.25 0.250000000000000000.25 0.25000.25 0.25000000000000.25 0.25000.25 0.25000000000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000.25 0.2500000000000.25 0.250000.25 0.2500000000000.25 0.250.25000.25000000000.25000.250.25 0.2500000000000.25 0.250000.25 0.25000.25

14、0.25000000000000.25 0.25000.25 0.25000000000.25000.25 0.25000.25000000000.25 0.25000.25 0.250000000000（2）二次扩展）二次扩展(kuzhn)信道的信道矩阵为：信道的信道矩阵为：第二十页，共25页。 则信道容量为：则信道容量为：log() log16(0.25,0.25,0.25,0.25) 2 bit/CSH pH的行矢量符号第二十一页，共25页。 5.4 设某信道的转移(zhuny)矩阵为求其信道容量。11pqqppqpqP 将将 划分划分(hu fn)为两个对称为两个对称的矩阵：的矩阵：11p qqpPpqp q 121 1p qpPpp qqPq 第二十二页，共25页。11222,1,1,2 ,2rNq Mq Nq Mq n 1231loglog(,) log2(1)log(1)log(2 ) (1, , ) log2 (1)log(1)(log2log ) (1, , ) (1)log2(1, )(1, , )nkkkCrNMH P P PqqqqHpq p qqqqqHpq p qqHq qHpq p q第二十三页，共25页。 图5.14 题5.10中的串联(chunlin)