信息论与编码理论-第3章信道容量-习题解答-071102

1、第3章信道容量习题解答2/31/33-1设二进制对称信道的转移概率矩阵为1/3 2/3解：若 P 佝)3/4, P(a2)1/4 ,求 H(X),H( Y),H(X| Y), H (Y|X)和 l(X; Y)。1log(1)0.8113(bit /符号)44H(X)=p(ajog p)| log(扌)i=1443 p(b1)=p(a1)p(b1|a1)+p(a2)pQ |a)=-43 p(b2)=p(a1)p( b2|a1)+p(a2)p(b2|a2)=-4231314141323712H(Y)= : p(bjMggp 三如右)152log(152)0.9799(bit/ 符号)2H(Y|X)

2、=P (aj,bj)log p(bj|aji,j2 23叫)2p (bj|ai)log p(bj|ai)j11-log()0.9183(bit/符号)33l(X;Y )=H( Y)H(Y1X)=0.97990.91830.0616(bit/ 符号)H(X| Y)二H(X)I(X;Y)=0.81130.06160.7497(bit / 符号)(2)求该信道的信道容量及其达到信道容量时的输入概率分布。二进制对称信息的信道容量H(P )= -p log( p)-(1- p)log(1- p)11 22C=1-H(P)=1+-log(丄)+2log(-)=0.0817(bit/3333符)BSC信道达

3、到信道容量时，输入为等概率分布，即: 注意单位，3-4设BSC信道的转移概率矩阵为Q 1 1 12121)写出信息熵H(Y)和条件熵H(Y |X)的关于H( 1)和H( 2)表达式，其中H( ) log (1 )log(1 )。2)根据 H ( ) 的变化曲线，定性分析信道的容道容量，并说明当 12的信道容量。 解：(1)设输入信号的概率颁布是 p,1-p p(b1)p(a1) p(b1 |a1)p (11) (1 p) 2p(a2) p(b1 |a2)p(b2)p(a1) p(b2 |a1)(1 p) (1 2)p(a2) p(b2 |a2)H(Y)p p 1Hpp(b1)log p(b1)

4、 (1 (1 (11)p)1)2(1(1(1p(b2)log2 log p2)log p 1 p) 2p)p(b2)(1 1) (1(1 p) (1p) 2 2)H(Y|X)p (1(1 p)(1p H( 1)1) (1 p)2 p H( 1) (1 p) H ( 2)f ( 1 (1 ) 2)f( 1) (1 ) f( 2)p(ai)p(bj | ai )log p(bj |ai)i ,j 11)log(1 1) 1log( 1)2)log(12) 2 log( 2)(1 p) H( 2)2) H ( ) 的变化曲线，是一个上凸函数，当输入等概率分布时达到信道 容量。C maxI(X;Y)

5、max H (Y ) H(Y |X) mp(ax)x H p (1个凸函数，有一个性质：由于函数H( )是可知：C假设12 时此信道是一个二元对称信道，转移概率分布为：信道容量:1 2C 1- log -(1- )log(1-)1-H()3-10电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实 时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号 与噪声的平均功率比值为30dB,试计算在这些条件下传送电视的视频信号 所需的带宽。解：P(x%I (X) log10 3.32bit/像素 1秒内可以传送的

6、信息量为：3.3219bit/ 像素 30 10000像 素 30=2.9897 107bitC Blog(1S 3103N2.9897 107S),已知:10log 10() 30dBNNBlog(1 103)可得：B 2.9995 106HZ3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度No/2 0.5 10 8 W / Hz的加性高斯白噪声的干扰，信息传输速率R 24 kbit/s，信号功率 P 1W。1）若信道带宽无约束，求信道容量； 解：带限的加性高斯白噪声波形信道的信道容量为无带宽约束时:C limCtlim-PsNW旦)wwN。PSNW邑 loge 1.4427

7、108bit/sN。2）若信道的频率范围为0到3KHz求信道容量和系统的频带利用率 R/W （bps/Hz）（注: W为系统带宽）；对同样的频带利用率，保证系统可靠传输所需的最小Eb/No是多少dBW=3KHZ在最大信息速率条件下，每传输1比特信息所需的信号能量记为 EbC W log(1PsNW)Wlog(1SNR)3000 log(11 108 3000)4.5074 104b psRWEb24kbit/s3KHz Ps8bp s/HzN。N0C 1 10 8 4.5074 10433.47dB1100KHz欲保持与2）相同的信道容量，则此时的信噪3）若信道带宽变为比为多少dB信号功率要变

8、化多数dBW 100KHZ4.5074 104b ps Wlog(1旦)105log(1NWPS)NWSNRNoWPs 0.3667 105信号功率的变化为0.3667即:4.3654dB1080.3667 103w10log 10 P 10logPs0.3667 10 310 34.3569dB4-1:(1)1aP(Si)li1(2161616码元/信源符号lBP(Si)li11611611611662.125码元/信源符lCP(Si)li161616162.125码元/信源符161eP(Si)li161616)2码元/信源符号第4章无失真信源编码习题参考答案A、B、C E编码是唯一可译码。

9、A、C E码是及时码。唯一可译码的平均码长如下：34-3：(1)8H(X)=- p(x i)logp(xi=111 11 1=-logloglog22 44 811 1 ,-log -log 6464 128=1 bit / 符 64i)11281 111,1loglog 8 1616 32321 ,-log12816 321128(2)平均码长:_ 6l P(s)lii 11 1816321)3码元/信源符号64128128所以编码效率:H(X)l0.6615(3)仙农编码:信源符号Si符号概率p(Si)加概率码长码字1Si201011S24221013S331108417S41684111

10、0115S53216511110131S361111106432163S12864711111101127S871111111128128费诺码:信源符号Si符号概率p(Si)编码码字码长Si12001g丄40102S31801103S4丄16011104S132110111105S31641101111106S7112811011111107S311281111111174-5:(1)霍夫曼编码：对X的霍夫曼编码如下:信源1符号编码过程码长码9符号S概率P（Si）字Sirrf4010290/1112S30/10003a010013a0r10103S30丿1101104&0111420.19

11、20.18 3 0.17 3 0.15 3 0.1 4 0.01 42.72 码元 /l 0.2信源符号H(X)Pi log Pi2.61码元/符号H(X)r2.612.720.9596Y的二元霍夫曼编码:平均码长:l 0.49 10.14 3 2 0.07 4 2 0.04 4 0.02 5 0.02 6 0.01 62.23H(Y) Pi log Pi 2.31 码元 /符号i 1编码效率:H(Y)2.310.99142.33仙农编码：对X的仙农编码:信源符号S符号概率P（Si）和概率码长码字S103000S23001S30183011St3100S53101S341110S7711111

12、10平均码长:I 0.2 3 0.19 3 0.18 3 0.17 3 0.15 3 0.1 4 0.01 73.14码兀/信源符H(X)l空10.83123.14对丫的仙农编码:信源符号S符号概率P（Si）和概率码长码字S10200S23011S33101S441100S541101S3511101S76111100S86111110S971111110平均编码长度:I 0.49 2 0.14 2 0.07 4 2 0.04 5 0.02 6 2 0.02 6 0.01 72.89码元/信源符费诺编码：对X的费诺编码:信源符号Si符号概率p(Si)编码码字码长Si000029100103S3

13、10113St10102a101103S31011104&111114平均编码长度:编码效率:H(Y)I空10.79932.89I 0.2 2 0.19 3 0.18 3 0.17 2 0.15 3 0.1 4 0.01 42.74码元/信源符号编码效率:H(X)r2610.95262.74I 0.49 10.14 23 0.07 4 2 0.04 4 0.02 5 0.02 6 0.01 62.33对丫进行费诺编码:信源符号Si符号概率p(Si)编码码字码长S1001S21001003S311013S410011004S5111014S61011104S710111105S101111106

14、S9111111116平均码长:码元/信源符号编码效率:H(Y)I霧 0.9914(4)由三种编码的编码效率可知：仙农编码的编码效率为最低，平均码长最长；霍夫曼编码的编码长度最短，编码效率最高，费诺码居中。4-7: 由三元编码方式可知：R= B=FD-1(K 2)+2由本题可知D=3, K=8, R=2,所以，首先合并最后两个信源概率，其中一种编码 方式如下：信源符号Si符号概率p(Si)编码码字码 长S1001S2121S3i*02112S4/彳122S5t/21013S6J11023S70210004Sb1100144-21 :符号概率分布区间00,0.2510.25,1由题目可知信源符号

15、为:1011 0111 1011 0111p(s 1011 0111 1011 01110.0001237/八12/c4/3 12.1,4p(1) p(0)(：)(：)44算术码的码长l log p(s)13由序列S的分布函数F( S)由二元整树图来计算：F(S) 1p(11)p(10111) p (1011011111)p(1011011110111) p (1011011110110111)3 23 4 1381?310 13312 141 (-)2 (-)4(-) (-)8(-)2 (-)10(-)3 (-)12(-)44 444444440.35114030.0101100110011

16、所以算术编码为：0100 0011 0011平均码长及编码效率如下：-13丨一 0.8125码元/符号16HB 0.9985l符号01编码01其编码，该符号集的编码表如下:0 11 01 111 011 0111按照分段规则，分段为：1(2)由于信源符号集中共有2个元素，因此只需要 log 21位二进制数就可以表示短语数为7,可用n log 7段号短语编码1100012000003110011401010151110111601110017011111013位来表示段号;平均编码长度:l每个信源符号编码长度为1，所以短语长度为：3+1=4,具体编码过程如下:编码效率为:7 (3 1)一-1.7

17、5码元/符号 16H(S)r需 0.4636失真矩阵：dDmin 0, R(Dmin )1转移矩阵:pH(X) H(1/2,1/2) Iog2 1bit/符号2Dmax minminC 0j 1,2、2111-2,1 122此时，转移矩阵:P00Pidjminp1d11P2d21,121 0,R(Dmax)0p2d22)1R(D)定义域:0,；第6章信道编码概述习题答案6-2极大似然译码规则译码时，由转移概率矩阵可知：第一列中111，第二列中1，第三221列中丄为转移概率的最大值，所以平均错误概率为:21111111111 （丄丄）丄（丄2）1 （1丄）2 364364丿最小错误概率译码，输入

18、x与输出Pe1 1） 13 6）2y的联合概率分布为:1 1 14.6.121 1 124.8.121 112,241 pE (24 由于耳 241111)()(128 2412121 1112)24可以看出最佳译码为最小错误概率译码，平均错误概率为11246-4求信息传输率；log 41_ 口一 -bit/符号 n 20(1)(2) 求平均错误译码概率。可以分成 4个子集，分别为:根据信道的传输特性，可知可以输出24=16种序列,a1=(0 02-)7(0 0 ya2=(0 1121) 7 (0 1 ya3=(1 0121R 7 (1 0 ya4=(1 111-)7 (1 1 y3333 y

19、 4)4)4)4)3,7 4 (0 1)传输信道如下所示:(0 022)11(0 1-)2211(1 0丄)22(1 11110000 0001140010 0011140100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111译码规则为:f(y1,y 2,y3,y 4)=(y 1,y1 .2,2,2)每个码字引起错误的概率:PeP( 1 i)ri)i=1、2、3、所以 PeP( i)PeC第7章线性分组码习题答案1.已知一个(5, 3)线性码C的生成矩阵为:（1）（2）（3）（4）（5）解:求系统生成矩阵；列出C的信息位与系统码字的

20、映射关系；求其最小Hamming距离，并说明其检错、纠错能力； 求校验矩阵H;列出译码表，求收到 r=11101时的译码步骤与译码结果。线性码c的生成矩阵经如下行变换:将第2、加到第1行将第劝卩到第2行得到线性码C的系统生成矩阵为Gs（2）码字cc生成了的(C0 , C1 , ,Cn 1)的编码函数为f (m) m0 1 0 0 1 1 m1 08个码字如下0m2 0信息元系统码字0000000000100111010010100110110110010011101101001101100111111110101 最小汉明距离d=2，所以可检1个错，但不能纠错。由 G In k,Ak (n k

21、),H Ak (n k)T,ln k，得校验矩阵11110H10 10 1(5)消息序列 m=000,001,010,011,100,101,110,111，由 c=mGs 得码字序列 C0=00000, c1=00111, c2=01010, c3=01101,（01101），所以将它C4=10011, C5=10100, C6=11001, C7=11110000000011101010 11 011011001110100110011111010000101111101011101000110010001001011100100001111000100010111011111001000

22、1101100000100110010110110010010101011100011111当接收到r =（11101）时，查找码表发现它所在的列的子集头为译为 c=01101。则译码表如下：2 .设（7, 3）线性码的生成矩阵如下（1）求系统生成矩阵;（2）求校验矩阵；（3）求最小汉明距离;（4）列出伴随式表。解：（1）生成矩阵G经如下行变换交换第1、行交换第2、3行得到系统生成矩阵:Gs 0由 G Ink,Ak(n k)-HAk（n k）T，I n k，得校验矩阵为11010003列则线性相关，所以最小汉明距离 d=3。(3) 由于校验矩阵 H的任意两列线性无关，(4) (7, 3)线性码

23、的消息序列m=000,001,010,011,100,101,110,111，由 c=mGs 得码字序列：C0=0000000 , C1=0010111 , C2=0101010 , C3=0111101 , (34 = 1001101, C5=1011010 ,6=1100111,7=1110000。又因伴随式有24=16种组合，差错图样为1的有77种1差错图样为2的有721种，而由HrT HeT，则计算陪集首的伴随式，构造伴2随表如下:伴随式陪集首伴随式陪集首00000000000010110010001101100000010011000100101001000001111001100001110010000110000011001000000100011100100100010000001001011010000100100000010001100101000001000000101100000110(6, 3)线性码C的生成矩阵为:3.已知一个(1)(2)(3)解:写出它所对应的监督矩阵 求消息M=(101)的码字; 若收到