答案~信息论与编码练习.

1、1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500 个二元符号 / 秒的速度传输输入符号。现有一消息序列共有 14000 个二元符号，并设在这消息中 P(0)=P(1)=1/2 。 问从信息传输的角度来考虑， 10 秒钟内能否将这消息序列无失真地传送完？0 0.98 00.020.021 0.98 1解答 ：消息是 一个二元序列 ，且为等 概率分布， 即 P(0)=P(1)=1/2 ，故信源 的熵为 H(X)=1(bit/symbol) 。则该消息序列含有的信息量 14000(bit/symbol) 。下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为： 0.98

2、0.02P0.02 0.98信道容量(最大信息传输率)为：C=1-H(P)=1-H(0.98) 0.8586bit/symbol得最大信息传输速率为：Rt1500 符号 /秒× 0.8586 比特/符号1287.9 比特 / 秒1.288 ×103 比特 / 秒此信道 10 秒钟内能无失真传输得最大信息量 10× Rt 1.288 × 104 比特可见， 此信道 10 秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10 秒钟内将这消息无失真的传送完。2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移

3、概率矩阵分别为：P11212P21200000112 0 0 0 0 0 12 12 0 0 0 0 0 12 12试求这两个信道的信道容量，并问这两个信道是否有噪声？解答：(1) 由信道 1 的信道矩阵可知为对称信道 故 C1 log 2 4 H ( 21 12 0 0) 1bit / symbolH ( X ) log 2 4 2bit / symbol C1 有熵损失，有噪声。(2) 为对称信道，输入为等概率分布时达到信道容量C 2 log 2 8 H ( 12 12 0 0 0 0 0 0) 2bit / symbol H ( X ) C 2, 无噪声3 、已知随即变量 X和 Y 的联

4、合分布如下所示：X Y0101/83/813/81/8试计算： H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、I （X；Y）解：(1)(2)H(X) 1 H(Y) 1(3) H(X/Y)= H( XY) - H (Y) =1.811-1=0.811(4) H(Y/X)= H( XY) - H (X) =1.811-1=0.811 (5)4、 有一个可以旋转的圆盘，盘面上被均匀的分成38 份，用 1,2,3 ， 38 数字标示，其中有 2 份涂绿色， 18 份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。（1）若仅对颜色感兴趣，计算平均不确定度；（2）若对颜色和数字都感兴趣，计

5、算平均不确定度；（3）如果颜色已知，计算条件熵。解： （1） H（ 色）=（2） P（ 色数 ）= H（ 色数 ）=（3） H（数/ 色）= H（ 色数）- H（ 色）=5、 在一个二进制信道中，信源消息集X=0,1 ，且 P（0）=P（1）, 信宿的消息集 Y=0,1, 信道传输概率 P（1/2 ）=1/4, P（0/1）=1/8 。求：（1）在接收端收到 y=0 后，所提供的关于传输消息 X 的平均条件互信息量 I（X ；y=0）.（2）该情况所能提供的平均互信息量 I（X;Y）.解：(1)P(ij)=(2) 方法 1: =6 某一无记忆信源的符号集为 0,1 ，已知 p0=1/4, p1

6、=3/4（1）求符号的平均熵（2）由 100个符号构成的序列，求某一特定序列（例如有m个“ 0”和（ 100-m）个“ 1”）的自信息量的表达式。（3）计算（ 2）中的序列的熵。解：(1) H(X)=(2)(3)7、 一阶马氏链信源有三个符号 u1,u2,u3, 转移概率为： P(u1/u2)=1/2, P(u2/u2)=1/2, P(u3/u1)=0, P(u1/u2)=1/3, P(u3/u2)=2/3,P(u1/u3)=1/3, P(u2/u3)=2/3, P(u3/u3)=0, 画出状态图并求出各符号稳定概率。解：P(u2/u2)=0,解方程组P(j/i)=求得 W=8、 设有一信源，

7、 它在开始时以 p(a)=0.6,p(b)=0.3,p(c)=0.1 的概率发出 X1，如果 X1为 a 时则 X2 为 a,b,c 的概率为 1/3; 如果 X1 为 b 时则 X2 为 a,b,c 的概率为 1/3; 如果 X1为 c 时 则X2为a,b 的概率为 1/2 ，而为 c的概率是 0;而且后面发出 Xi的概率只与 Xi-1有关。又p(Xi/ Xi-1 )=p(X2/ X1),i 3。试利用马儿可夫信源的图示法画出状态转移图，并求出状态转移矩 阵和信源熵 HP(j/i)=解方程组得到 W1= , W2= , W3=9 某信 源符 号有 8 个符号 u1, u8, 概率 分别 是

8、1/2 ，1/4 ， 1/8. ， 1/16 ， 1/32,1/64,1/128,1/128 ，编成这样的码： 000,001,010,011,100,101,110,111 。求 (1)信源的符号熵 H(U)(2) 出现一个“ 1 ”或一个“ 0”的概率； (3)这样码的编码效率；(4) 相应的香农码和费诺玛；解：(1)H(U)=1 Log(2)2(5) 该码的编码效率？11 1 1 1 1 1 124 8 16 32 64 128 1281111111Log ( 4)Log(8) Log (16)Log (32)Log( 64)Log (128)Log ( 128) 1.9844 8163

9、264128128(2) 每个信源使用 3 个二进制符号 , 出现 0 的次数为出现 1 的次数为P(0)=P(1)=(3)(4)相应的香农编码信源符号xi符号概率 pi累加概率 Pi-Logp(xi)码长 Ki码字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110相应的费诺码信源 符号 xi符号概率 pi第一 次分 组第二 次分 组第三 次分 组第四 次分 组第五 次分 组第六 次

10、分 组第七 次分 组二元码x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110（5）香农码和费诺码相同平均码长为编码效率为：10 已 知 符 号 集 x1,x2,x3, 为 无 限 离 散 集 合 ， 他 们 出 现 的 概 率 分 别 是i , 。p（x1）=1/2,p（x2）=1/4,p（x3）=1/8,p（xi）=1/2i , 。符号x1x1x2x3x4x5x6x7概率1/21/41/81/161/321/641/1281/256累加 概率00.5

11、0.750.8750.9380.9690.9840.992码长12345678元码010110111011110111110111111011111110累加概率分别为（1）用香农编码方法写出各个符号的码字； （2）计算码字的平均信息传输率。 （ 3）计算信源编码效率。 3 解：（1） p i=累加概率为 Pi=2)信源的信息量为平均码长为：码字的平均信息传输率为3)编码效率bit/ 码R10011 该二进制对称信道的概率转移矩阵为2/3 1/31/3 2/31)若 p(x0)=3/4,p(x1)=1/4,求 H(X),H(X/Y),H(Y/X) 和 I(X;Y)2)求该信道的信道容量及其达到

12、信道容量时的输入概率分布。12、某信源发送端有 2 个符号， xi,i=1,2,p(xi)=a, 每秒发出一个符号。接收端有 yj,j=1,2,3, 转移概率矩阵如下：3 种符号1/2 1/ 2 01/2 1/ 4 1/4(1)计算接收端的平均不确定度；(2)计算由于噪声产生的不确定度H(Y/X);(3) 计算信道容量解：(1)(2)接收端的不确定度为 :H(Y/X)=(3)=0得到得接收端收到 3 种符号( y1,y2,y3 ) ,13 发送端有 3 种等概率符号( x1,x2,x3 ) ,p(xi)=1/3,信道转移概率矩阵如下：1)求接收端收到一个符号后得到的信息量H(Y);(2) 计算

13、噪声熵 H(Y/X);(3) 计算当接收到端收到一个符号 y2 的错误率；4) 计算从接收端看的平均错误率；5) 计算从发送端看的平均错误率；6) 从转移矩阵中你能看出信道的好坏吗：7) 计算发送端的 H(X)和 H(X/Y) 。解：(1)条件概率，联合概率，后验概率1 p(y0)3， p(y1)112 ， p(y2) 62)H(Y/X)=3)P(x1/y2)=1，P(x2/y2)=5当接收为 y2 ，发为 x1 时正确，如果发的是 x1 和 x3 为错误，各自的概率为：13 ， P(x3/y2)=55其中错误概率为：13Pe=P(x1/y2)+P(x3/y2)= 0.8554) 平均错误概率为5) 仍为 0.7336) 此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率 x1-y1 的概率 0.5 有一半失真 x2-y2 的概率 0.3 有失真严重 x3-y3 的概率 0 完全失真7)H(X/Y)=1 11Log ( 2) Log(5) Log61015522 511Log Log(5) Log15210105 1 Log(10)3 Log 53 301031.30114、 设离散无