《信息论与编码》第四章习题解答.pdf

1 信息论与编码第四章习题解答 4.1 计算如下所示离散无记忆信道的容量： 习题 4.1 图 解 （a）信道概率转移矩阵为 = 1 1 P， 信 道 是 准 对 称 信 道 ， 因 此 在 输 入 为 等 概 分 布 时 达 到 信 道 容 量 ， 即 5 . 0) 1()0(=XPXP时达到信道容量。这时 5 . 05 . 0)0(=YP = ) 1(YP 5 . 05 . 0)2(=YP 相应的信道容量为 ); 1(); 0(YXIYXIC= = = 2 0 )( )0|( log)0|( j jp jp jp 0 0 1 1 1- 1- 0 0 1 2 1- - 1- - 1 0 0 2 2 1 0.5 1 1 0.25 0.25 0.5 0.5 0 0 2 2 1- 1- 1 1 1- 0 0 2 2 3/4 1/4 1 1 1/3 1/3 1/3 1/4 3/4 0 0 2 3 1 1/3 2 1 1/3 1/3 1/3 1/3 1/3 1/3 1/3 1/3 (c) (a)(b) (e)(f) (d) 2 5 . 05 . 0 loglog 5 . 05 . 0 1 log)1 ( + = )5 . 05 . 0log()1 (log)1log()1 (+= （b）信道概率转移矩阵为 = 5 . 05 . 00 25. 025. 05 . 0 001 P 当5 . 0)2()0(=XPXP，0)(=XP时， 5 . 0)0(=YP，25. 0) 1(=YP，25. 0)2(=YP 1 )( )0|( log)0|(); 0( 2 0 = =j jp jp jpYXI bit = = 2 0 )( )2|( log)2|(); 2( j jp jp jpYXI 1 25. 0 5 . 0 log5 . 0 25. 0 5 . 0 log5 . 0=+= bit 10); 1(=YXI； 所以满足定理 4.2.2 条件，由达到信道容量充要条件可知，信道容量 C=1 bit/次 （c）信道转移概率矩阵为 = 10 10 01 P， 信道是对称信道，当输入为均匀分布时，即 3 1 )2() 1()0(=XPXPXP 时，达到信道容量。 )1log()1 (log3log+=C )1 ,(3log=H （d）信道转移概率矩阵为 = 4 3 4 1 0 3 1 3 1 3 1 0 4 1 4 3 P 当5 . 0)2()0(=XpXp，0) 1(=Xp时， 8 3 )2()0(=YPYP， 8 2 ) 1(=YP = = 2 0 )( )0|( log)0|(); 0( j jp jp jpYXI 3 1log 4 1 2log 4 3 += 4 3 = bit 4 3 ); 2(=YXI bit = = 2 0 )( ) 1|( log) 1|(); 1( j jp jp jpYXI 8/3 3/1 log 3 1 8/2 3/1 log 3 1 8/3 3/1 log 3 1 += 6 8 log 3 1 9 8 log 3 2 += 4 3 bit 所以满足定理 4.2.2 所规定的达到信道容量的充要条件，信道容量为 4 3 =C bit/次 （e） = 3 1 3 1 0 3 1 3 1 3 1 3 1 0 3 1 0 3 1 3 1 P 信道是准对称信道，当输入分布为均匀分布时达到信道容量，即 3 1 )2() 1()0(=XpXpXp时达到信道容量。信道容量为 = = 2 0 3 0 )( )|( log)|()( ij jp ijp ijpipC 其中 9 2 )2() 1()0(=YpYpYp 3 1 )3(=Yp 所以 3/1 3/1 log 9 1 3 9/2 3/1 log 9 1 6+=C 2 3 log 3 2 = bit/次 （f）信道转移概率矩阵 = 1 1 P 利用方程求逆方法计算信道容量。设 qXp= )0(，qXp=1) 1(，10ZN ZN X BSC X1 Y1 BSC X2 Y1 BSC XN YN BSC X Y1 BSC Y2 BSC YN 7 = 2 1 1 2 1 0 N N N Z Z Z 由于当 X=0 时， i Y是独立，同分布二元随机变量 pXYp i =)0|1(，pXYp i =1)0|0( pXZE N = 0|， N pp XZN )1( 2 0| = = 利用切比雪夫不等式 1 1|0|0 2 NN P ZXP ZX = =0| 2 1 XppZP N =0| 2 1 | XppZP N 2 2 0| 2 1 = p XZ N 2 ) 2 1 ( )1 ( pN pp = 当 2 1 1 时相应的转移概率图与转移概率矩阵为 aa+110 = 5 . 005 . 00 05 . 005 . 0 P 这时为无损信道，容量为 C=1 bit/次 当 a=1 时，相应转移概率图和转移概率矩阵为 = 5 . 05 . 00 05 . 05 . 0 P 这时为二元除删信道，容量为 5 . 05 . 01=C bit/次 4.14 给定系统带宽为 W，噪声功率谱密度为 0 N，试证明传送一比特信息所需最小能量为 0.693 0 N（瓦） 。如果要求4000 0 WN S ，其中 S 为信号功率，试证明所需的信号能量至 少为此最小值的 482 倍。 证明 由 4.6.1 节可知在频带效率下，每传 1bit 所需能量为 0 12 )(NEb 其中不等式右边是 b b WTW R1 =的增函数。对固定 W，当 b T时，0， 这时达到最小值 0 0 min 693. 0)(limNEE b = 设用 b T时间传送 1bit 信息，由 Shannon 公式 0 log11 b Tb S CT W N W =+= bit 得到 += WN S WTb 0 1log/1 当4000 0 WN S 时，由于 bb TES/=，所以 0.5 0.5 0.5 0.5 0 1 2