信息论与编码答案.doc

第二章 信源及信源熵2-1 (4)2-2 2-3 2-4 2-5 (1,2) (2,1) 共两种 (1,6) (6,1) (2,5) (5,2) (3,4) (4,3) 共六种 2-6 014个 1-13个 2-12个 3-6个 P= I= 2-7 2-8 “” 用三个脉冲 “”用一个脉冲(1) I()= I()(2) H= 2.9 (2) P(黑/黑)= P(白/黑)= H(Y/黑)= (3) P(黑/白)= P(白/白)= H(Y/白)= (4) P(黑)= P(白)= H(Y)= 2-10 (1) H(色)= (2) P(色数)= H(色数)= (3) H(数/色)= H(色数)- H(色)=2-11 (1)H(XY)=(2) P= 得到 H(Y)=(3) H(X/Y)=H(XY)-H(Y)=2-12 (1) (2)(3)2-13 P(i)= P(ij)= H(IJ)= 2-14 (1) P(ij)= P(i/j)= (2) 方法1: = 方法2: 2-15P(j/i)= 2-16 (1) 白黑11 (2) 设最后平稳概率为W1,W2 得W1=07 W2=0.3H(Y/黑)=H(Y/白)=H(Y/X)=W1 H(Y/黑)+ W2 H(Y/白)= 白黑2-17 (1)(2)2-24 (1) H(X)= (2) = (3) 2-25解方程组即解得W1=0.4 W2=0.62-26 P(j/i)= 解方程组 求得W=1/2S11/31/31/22/3S3S22/32-27 求平稳概率符号条件概率 状态转移概率 解方程组 得到 W= 2-28(1) 求平稳概率 P(j/i)= 解方程组 得到 (2) 信源熵为: 2-29 P(j/i)= 解方程组 得到W1= , W2= , W3= 2-30P(i/j)= 解方程组 得W1=W2=W3=信源熵为 2-31P(X1)= P(j/i)= P(X1X2)= （1）a. b. 求H(X2/X1)有两种方法： 方法1： 方法2：H(X2/X1)=P(x1x2)log(x2/x1)= c. 求H(X3/X2)P(X2)= 则方法1：P(X3/X2)= ) + + = 方法2：P(X3/X2)=d. 最后 （2）首先求解稳定情况下的概率解方程组得到 W1 ）W2 W3 = (3) 不做2-32 (1) P(j/i)= 求解方程组 得p(0)=p(1)=p(2)= (2) (3) H(X)=log(3)=1.58 (4) = P= 当p=时达到最大值1.58 当 时 当 时 2-33 (1)解方程组: 得p(0)=p(1)=p(2)= (2) (3) 当p=0或p=1时 信源熵为0第三章 无失真信源编码3-1 3-2 (1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为0.5ms, 所以每个字母用10ms 当信源等概率分布时,信源熵为H(X)=log(4)=2 平均信息传递速率为bit/ms=200bit/s (2) 信源熵为 H(X)= =0.198bit/ms=198bit/s3-3 与上题相同3-5(1) H(U)=(2) 每个信源使用3个二进制符号,出现0的次数为 出现1的次数为P(0)= P(1)= (3) (4) 相应的香农编码信源符号xi符号概率pi累加概率Pi-Logp(xi)码长Ki码字x11/20110x21/40.52210x31/80.7533110x41/160.875441110x51/320.9385511110x61/640.96966111110x71/1280.984771111110x81/1280.9927711111110 相应的费诺码 信源符号xi符号概率pi第一次分组第二次分组第三次分组第四次分组第五次分组第六次分组第七次分组二元码x11/200x21/41010x31/810110x41/16101110x51/321011110x61/6410111110x71/128101111110x81/128111111110（5）香农码和费诺码相同 平均码长为 编码效率为： 3-7 （1） pi= 累加概率为 Pi= 累加概率分别为符号x1x1x2x3x4x5x6x7概率1/21/41/81/161/321/641/1281/256累加概率00.50.750.8750.9380.9690.9840.992码长12345678 二元码010110111011110111110111111011111110 （2）信源的信息量为平均码长为： 码字的平均信息传输率为 Rbit/码（3）编码效率R1003-10 （1）H(X) （2） 信源符号xi符号概率pi编码过程编码码长x10.370.370.370.380.621002x20.250.250.250.370.38012x30.180.180.200.25112x40.100.100.181003x50.070.1010104x60.0310114 3-11 （1）信源熵 （2）香农编码： 信源符号xi符号概率pi累加概率Pi-Logp(xi)码长Ki码字x10.3201.644200x20.220.322.1843010x30.180.542.4743100x40.160.722.6443101x50.080.883.64441110x60.040.964.644511110 平均码长：编码效率为（3） 费诺编码为信源符号xi符号概率pi1234编码码长x10.3200002x20.221012x30.1810102x40.16101103x50.081011104x60.04111114 平均码长为：编码效率： （4）哈夫曼编码信源符号xi符号概率pi编码过程编码码长x10.320.320.380.400.601012x20.220.220.320.380.40102x30.180.180.220.32112x40.160.160.180003x50.080.1200104x60.0400114平均码长为：编码效率： 3-12（1） 信源熵 信息传输速率2.552bit/s (2)信源符号xi符号概率pi编码过程编码码长x10.40.40.40.40.40.40.611x20.180.180.180.190.230.270.40013x30.10.10.130.180.190.230113x40.10.10.10.130.1800004x50.070.090.10.101004x60.060.070.0901014x70.050.06000105x80.04000115 (3) 香农编码信源符号xi符号概率pi累加概率Pi-Logp(xi)码长Ki码字x10.401.322200x20.180.42.4743011x30.10.583.32241001x40.10.683.32241010x50.070.783.83741100x60.060.854.059511011x70.050.914.322511101x80.040.964.644511110平均码长:(4) 费诺编码：信源符号xi符号概率pi码码长x10.400002x20.181012x30.11001003x40.111013x50.0710011004x60.06111014x70.051011104x80.04111114 3-14信源符号xi符号概率pi编码过程编码码长x11/31/31/31/31/32/3002x21/31/31/31/31/31/3012x31/91/91/92/91/31003x41/91/91/91/91013x51/272/271/91113x61/271/2711004x71/2711014第四章 限失真信源编码4-1 失真矩阵为 4-2 信源熵为 Dmax =min, R(Dmax)=0Dmin=0R(Dmin)=R(0)=H(X)=log(4)=2只要满足p(y1)+p(y2)+p(y3)+p(y4)=1在0,1区间可以任意取值。第五章 信道编码5-15-2 (1)接收端的不确定度为: (2)H(Y/X)=(3)=0得到得 5-30919*1000=919bit/s5-5 (1) 5-6 (1)条件概率 ，联合概率，后验概率 ， ，（2） H(Y/X)= （3）当接收为y2，发为x1时正确，如果发的是x1和x3为错误，各自的概率为：P(x1/y2)=，P(x2/y2)=，P(x3/y2)=其中错误概率为：Pe=P(x1/y2)+P(x3/y2)=（4）平均错误概率为（5）仍为0.733（6）此信道不好 原因是信源等概率分布，从转移信道来看 正确发送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真严重 x3-y3的概率0 完全失真（7）H(X/Y)= 课外习题1 设某信道，其信道矩阵为 若信道的输入符号a1,a2,a3先验等概，（1） 若使平均错误译码概率最小,请选择译码函数。（2） 求出此错误译码概率Pemin。解：(1)因为先验等概,所以选择最大似然译码准则F(b1)=a1 F(b2)=a3 F(b3)=a2 (2) Pemin= 2. 有二进制对称信道 p=0.01 =0.99(1) 采用最大似然译码准则确定译码函数,(2) 求出最小平均错误译码概率。(3) 对该信道进行扩展,采用简单重复编码，000,111, 采用最大似然译码准则确定译码规则。(4) 求出扩展后的最小平均错误译码概率。(5) 求出扩展后的信道传输率解：（1）P(j/i)= 译码函数为F(b1)=a1，F(b2)=a2(2) Pemin=(0.01+0.01)/2=0.01(3) 译码函数 F(1)= F(2)= F(3)= F(4)=000=1F(5)= F(6)= F(7)= F(8)=000=2（4）平均错误最小概率为 （5）R=3 i，j是两个码符号0,1组成的符号序列 ，求i，j 之间的汉明距离解：D(i，j)= 4 W:000,001,010,100,011,110,101,111的最小汉明距离解：Dmin=15 设有一离散信道，其信道矩阵为 (1) 当信源X的概率分布为p(a1)=2/3，p(a2)=p(a3)=1/6时，按最大后验概率准则选择译码函数，并计算其平均错误译码概率Pemin(2) 当信源是等概率是分布时，选择最大似然译码准则选择译码函数，并计算其平均错误译码概率Pemin。解：(1) 联合概率： 后验概率 根据最大后验概率准则F(b1)=a1，F(b2)=a1，F(b3)=a1最小错误译码概率为(2) 当信源是等概率分布时 采用最大似然译码准则F(b1)=a1，F(b2)=a2，F(b3)=a3 6 设离散无记忆信道的输入符号集X:0,1，输出符号集Y:0,1,2，信道矩阵为 P= 若某信源输出两个等该消息x1，x2，现在用信道输入符号集对x1，x2进行编码，W1=00，W2=11代表x1，x2。按最大似然准则写出译码函数，并求出最小平均错误译码概率Pemin。解： (1) 选择译码函数 F(b1)=F(b2)=F(