彭代渊王玲-信息论与编码理论-第三章习题解答

信息论与编码理论 1 第第 3 章章 信道容量信道容量 3-1 设二进制对称信道的转移概率矩阵为 2/31/3 1/32/3 解: (1) 若 12 ( )3/4, ()1/4P aP a，求(),( ),(|),(|)H XH YH X YH Y X和 (; )I X Y。 ii 2 i=1 3311 H(X)=p(a )log p(a )log( )log( )0.8113(/) 4444 bit 符号 1111212 2121222 2 jj j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )= 434312 31125 p(b )=p(a )p(b |a )+p(a )p(b |a )= 434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212 bit 符号 22 ijjijiji , H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log( )log( )0.9183(/) 3333 i jj bit 符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit符号 H(X|Y)=H(X)I(X;Y)=0.8113 0.06160.7497(/bit符号) (2)求该信道的信道容量及其达到信道容量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C=1-H(P)=1+ log( )+ log( )=0.0817(bit/) 3333 符 BSC 信道达到信道容量时，输入为等概率分布，即：0.5，0.5 注意单位 3-2 求下列三个信道的信道容量及其最佳的输入概率分布。 第第 3 章章 信道信道容量容量 2 1 b 2 b 3 b 3 a 2 a 1 a YX 1 b 2 b 3 a 2 a 1 a YX 1 b 2 b 2 a 1 a YX 3 b 1 1 1 1 1 11 0.7 0.3 第一种：无噪无损信道，其概率转移矩阵为： 1 0 0 P= 0 1 0 0 0 1 信道容量： () max (; ) P X CI X Y bit/符号 ( )( ) ( )( ) max (; )max()(|) (|)0 max (; )max() p xp x p xp x CI X YH XH X Y H X Y CI X YH X 离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量， C=log3=1.5850 bit/符号 输入最佳概率分布如下： 1 1 1 , 3 3 3 第二种：无噪有损信道，其概率转移矩阵为： 1 0 P= 0 1 0 1 ，离散输入信道， ( )( ) ( )( ) max (; )max( )( |) ( |)0 max (; )max( ) p xp x p xp x CI X YH YH Y X H Y X CI X YH Y H(Y)输出为等概率分布时可达到最大值，此值就是信道容量 此时最佳输入概率： 123 p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号 第三种：有噪无损信道，由图可知： ( )( ) ( )( ) max (; )max()(|) (|)0 max (; )max() p xp x p xp x CI X YH XH X Y H X Y CI X YH X 输入为等概率分布时可达到信道容量，此时信道容量 信息论与编码理论 3 p(x) C=maxH(X)=log(2)=1 bit/符号 输入最佳概率分布： 1 1 , 2 2 3-3 设 4 元删除信道的输入量1,2,3,4X ，输出量1,2,3,4, YE，转移 概率为 (|)1 (|) 1- 0 0 0 0 1- 0 0 P= 0 0 1- 0 0 0 0 1- 1- 0 0 0 0 1- 0 0 p1= p2= 0 0 1- 0 0 0 0 1- P Yi Xi P YE Xi 其中1,2,3,4i 1）该信道是对称 DMC 信道吗？ 2）计算该信道的信道容量； 3）比较该信道与两个独立并联的二元删除信道的信道容量。 （1）本通信过程的转移概率分布如下所示： 1- 0 0 0 0 1- 0 0 P= 0 0 1- 0 0 0 0 1- 可以分解为两个矩阵： 1- 0 0 0 0 1- 0 0 p1= p2= 0 0 1- 0 0 0 0 1- 可以看出该信道不是对称 DMC 信道，它是准对称 DMC 信道。 （2）该信道的信道容量为： （直接套用准对称信道计算公式） 2 log(|)log(|)log log (4)(1, )(1)log(1)log(4 ) 2(1)log(1)log( )(1)log(1)log(4 ) 1 2log( )22 (/) 4 jkjkss js Cnp bap baNM H bit 符号 （3）两个独立并联的二元删除信道其转移概率如下： 1- 0 0 1- 可以写成： 1- 0 0 1- 与的形式 第第 3 章章 信道信道容量容量 4 独立并联的二元信道的信道容量为两个信道容量的和。 其信道容量为：1(1-, )(1-)log(1-)log(2)=1-CH bit/符号 两个独立并联和删除信道的信道容量=2C=22 bit/符号 本信道的信道容量与两个并联删除信道信道容量相等。 3-4 设 BSC 信道的转移概率矩阵为 11 22 1 1 Q 1）写出信息熵( )H Y和条件熵( |)H Y X的关于 1 ( )H和 2 ()H表达式，其中 ( )log(1)log(1)H。 2）根据( )H的变化曲线，定性分析信道的容道容量，并说明当 12 的 信道容量。 解： （1）设输入信号的概率颁布是p,1-p 1111212 12 ( )()(|)()(|) (1)(1) p bp ap b ap ap b a pp 2121222 12 ()( )(|)()(|) (1) (1) p bp ap bap ap ba pp 1122 1212 1212 12 ( )( )log( )()log() (1)(1)log(1)(1) (1) (1)log(1) (1) (1)(1) H Yp bp bp bp b pppp pppp H pp 2 ,1 111 2222 12 ( |)( ) (|)log(|) (1)log(1)1log( ) (1)(1)log(1)log() ( )(1)() ijiji i j H Y Xp a p bap ba p p p HpH （2）( )H 的变化曲线，是一个上凸函数，当输入等概率分布时达到信道 容量。 信息论与编码理论 5 ( )( ) 1212 ( ) max (; )max( )( |) max (1)(1)( )(1)() p xp x p x CI X YH YH Y X H pppHpH 由于函数 H（）是一个凸函数，有一个性质： 1212 (1)()(1)()fff 可知：C 假设 12 时此信道是一个二元对称信道，转移概率分布为： 1 1 Q 信道容量： 12 1- log-(1- )log(1- ) 1-( ) C H 3-5 求下列两个信道的容量，并加以比较。 1-p-p-2 p-1-p-2 120 102 pp pp 第一个：可以写成： 1-p- p- p- 1-p- 与 2 2 1 1(1-p-,p-,2)(1 2)log(1 2)2log(4)CH bit/符号 第二个： 120 102 pp pp 1-p- p- p- 1-p- 与 2 0 0 2 两个对称形式 21(1-p-,p-,2,0)(1 2)log(1 2)2log(2)CH bit/符号 1220CC 所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。 3-6 设信道前向转移概率矩阵为 100 01 01 Qpp pp 1）求信道容量和最佳输入概率分布的一般表达式； 2） 当0p 和1/2p 时， 信道容量分别为多少？并针对计算结果做出说明。 （1）此信道为非对称信道，设输入概率分布为： 123123 p ,p , p p +p + p1 输出概率分布为： 123123 q ,q , q q +q + q1 11111212313 1231 22121222323 12323 331 max(; )max( )(|) ( )()(|)()(|)()(|) 100 ()()(|)()(|)()(|) 0(1)(1) ()() CI X YH YH Y X qp bp ap b ap ap b ap ap b a pppp qp bp ap bap ap bap ap ba ppppppppp qp bp a 31232333 12323 (|)()(|)()(|) 0(1)(1) p bap ap bap ap ba ppppppppp 3 ,1 122 33 2323 ( |)( ) (|)log(|) 1 log1(1)log(1)log log(1)log(1) ()(1)log(1)() log ijiji i j H Y Xp x p yxp yx ppppppp pppppp pppppppp 12323 max(; )max( )( |) max( ,)( ,1)( ,1) CI X YH YH Y X H q q qp H ppp H pp 把 C 对 P1，P2，P3 分别求导： 123 CCC =0 =0 =0 ppp ，可得： 232323 233232 log(1)(1)log(1)log(1)( ,1)0 log(1)(1)log(1)log(1)( ,1)0 pppppp ppp pppH pp pppppp ppp pppH pp 可得： P2 = P3 22 log(1 2)log( ,1)0ppH pp 可以解得： 23 ( ,1) 1 22 H PP pp 最佳输入概率分布的表达式为： ( ,1- )( ,1- )( ,1- ) 211 1, 22 22 22 H PPH PPH PP 设 ( ,1) 22 H PP N 则 123 ( ) 21 p =1 p =p = NN max( )(|) 22212 (1)log(1)log( ) p x CH YH Y X H p NNNNN （2）p=0 时， 100 010 001 Q 是一个对称信道，当输入等概率分布时可以达 到信道容量，输入转移概率为 1 1 1 , 3 3 3 N=3，所以 2221 (1)log(1)log1.5850 3333 C bit/符号 （3）p=1/2 时， 100 11 0 22 11 0 22 Q ，可得 N=4， 111111 1 loglog( , )1 222422 2 CH bit/符号 3-7 设 BSC 信道的前向转移概率矩阵为 0.980.02 0.020.98 Q 设该信道以 1500 个二元符号秒的速度传输输入符号， 现在一消息序列共 有 14000 个二元符号，并设在这消息中(0)(1)1/2PP，问从信息传输的 角度来考虑，10 秒钟内能否将这消息序列无失真地传输完。 解：BSC 信道，且输入为等概率，信道容量 1(0.98,0.02)0.8586CH bit/符号 14000 个二元符号的信息量为：14000log2=14000符比特 1500/100.8568/12852符 秒秒比特 符比特14000 比特 所以 10 秒内不能无失真的传输完。 3-8 有m个离散信道，转移概率矩阵分别为 12 , m Q QQ。由这m个离散信 道组成一个新信道，称为和信道，其转移概率矩阵为： 1 2 00 00 00 m Q Q Q Q 设 k C是第k个离散信道的信道容量。试证明：和信道的信道容量为 1 log2 k m C k C 此时第k个信道的使用概率为 () 2 k CC k P 。 解：m=2 时,转移矩阵变为: 1 2 Q 0 Q= 0 Q ，设两个信道的信道容量分别为： 12 ,C C， 信道的利用率分别为： 1212 p ,pp +p1并且， 并行信道， 有 C=C1+C2 ( )( ) ,1 11 1111 ( ) 1, 1 1 11 22 2222 2, 2 1 22 (|) max (; )max() (|)log () (|) max() (|)log () (|) () (|)log () n ji iji p xp x i j j n ji iji p x ij j n ji iji ij j p yx CI X Yp x p yx p y p yx p p xp yx p p y p yx p p xp yx p p y 11 1111 ( ) 1, 1 1 1 22 2222 2, 2 1 2 1122 1212 ( ) 112212 ( ) (|) max() (|)log () (|) () (|)log () loglog max(; )2(; )(,) max(,) n ji iji p x ij j n ji iji ij j p x p x p yx pp xp yx p y p yx pp xp yx p y pppp p I X Yp IX YH p p p Cp CH p p 分别对 C1，C2进行求导可得： 12 11 22 dCdC =0 =0 dpdp 1 Clogp = In2 1 Clogp = In2 - - 可得： 1122 Clogp =Clogp- 令 1122 Clogp =Clogpm-，可得： 12 CmCm 1212 p =2,p =2,pp1 - 121122 1212 12 12 121212 CmCmCmCmCmCm 12 CmCmCmCm 1212 CmCm 12 CC 12 CCCCCCCCC 222log22log2 22(Cm)2(Cm)2 (22)(pp ) p =2,p =2 221222log(22 ) CC CCC CC mmm C - - - - - - 依次类推，可得： kk m C C C k k=1 C=log( 2 ) p2 - 3-9 求N个相同的 BSC 级联信道的信道容量。 解：N 个相同 BSC 级联，设 11001 (1) 10110 i Q 级联后： 111 . 111 Q 1 01 0101 (1) 1010 1010 . (1) 0101 nn n inn n QQCC N 为偶数时： 0 110 1 001 n Q N 为奇数时： 0 101 1 010 n Q 可知本信道等同于 BSC 信道，可得出：( ,1)CH pp bit/符号 3-10 电视图像由 30 万个像素组成，对于适当的对比度，一个像素可取 10 个可辨别的亮度电平，假设各个像素的 10 个亮度电平都以等概率出现，实 时传送电视图像每秒发送 30 帧图像。为了获得满意的图像质量，要求信号 与噪声的平均功率比值为 30dB， 试计算在这些条件下传送电视的视频信号 所需的带宽。 解： i 1 p(x )= 10 ()log103.32/I Xbit像素 1 秒内可以传送的信息量为： 3.3219/bitbit 7 像素 30 10000像素 30=2. 9897 10 10 3 36 log(1),:10log ()30 10 log(1 10 ):2.9995 10 SS CBdB NN S N BBHZ 7 已知 2. 9897 10可得 3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密