信息论与编码习题参考答案.doc

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。解：1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。证:1.8每帧电视图像可以认为是由3105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解:1.9给定一个概率分布和一个整数m，。定义，证明：。并说明等式何时成立？证：2.13把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0p1)，试证明：整个串接信道的错误传输概率pn=0.51-(1-2p)n。再证明：n时，limI(X0;Xn)=0。信道串接如下图所示：X0X1XnX2BSCIIBSCNBSCI解：2.18试求下列各信道矩阵代表的信道的信道容量：(1)(2)(3)解：2.19设二进制对称信道的信道矩阵为：(1) 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)；(2) 求该信道的信道容量及其达到的输入概率分布。解：2.21设某信道的信道矩阵为试求：(1)该信道的信道容量C；(2)I(a1;Y)；(3)I(a2;Y)。解:2.27设某信道的信道矩阵为其中P1,P2，PN是N个离散信道的信道矩阵。令C1，C2，CN表示N个离散信道的容量。试证明，该信道的容量比特/符号，且当每个信道i的利用率pi2Ci-C(i1,2,N)时达其容量C。证明:第三章 多符号离散信源与信道3.1设XX1X2XN是平稳离散有记忆信源，试证明：H(X1X2XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+H(XN / X1 X2XN-1)。(证明详见p161-p162)3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：0,1,2，并定义012p/2p/2p/2p/2p/2p/2(1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2) 求信源的极限熵H；(3) p取何值时H取得最大值。解：3.9某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：0,1,2。试求：(1)试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)；(2)求信源的极限熵H；(3)求当p=0,p=1时的信息熵，并作出解释。ppp012解:第六章 无失真信源编码6.5某信源S的信源空间为:(1) 若用U:0,1进行无失真信源编码,试计算平均码长的下限值;(2) 把信源S的N次无记忆扩展信源SN编成有效码,试求N=2,3,4时的平均码长;(3) 计算上述N=1,2,3,4,这四种码的信息率. 解:对其进行Huffman编码:码长编码信符010101信符概率10S220.64210S210.163110S120.163111S110.08码长编码信符信符概率010101010110S2220.5123100S2210.1283111S2120.1283110S1220.128511100S112010.032511101S1210.032511110S211010.032511111S1110.008码长编码信符信符概率0.59040.38560.18080.08840.20480.20480.10240.05120.05120.01280.05120.014410S22220101010101010101010101010101010.40963100S22210.10243101S22120.102441100S21220.102441101S12220.10246111000S21120.02566111001S21210.02566111010S22110.02566111010S12210.02566111100S12120.02566111101S11220.025671111100S11120.006471111101S11210.006471111110S12110.0064811111110S21110.0064811111111S11110.00016(3)6.6设信源S的信源空间为符号集U:0,1,2,试编出有效码,并计算其平均码长.解:进行Huffman编码:r=3,q=8,因为(q-r)mod(r-1)=5mod2=10,所以插入m=(r-1)- (q-r)mod(r-1)=2-1=1个虚假符号,令其为S9,则:码长编码信符信符概率10S30120120120120.311S10.2220S40.2221S20.13220S50.053221S60.0542220S70.0542221S80.0542222S9（不使用）06.7设信源S的N次扩展信源SN,用霍夫曼编码法对它编码,而码符号U: 1,2,r ,编码后所得的码符号可以看作一个新的信源试证明:当N时,.证明:6.86.9设某信源的信源空间为:试用U:0,1作码符号集,采取香农编码方法进行编码,并计算其平均码长.解:码长编码信符信符概率10s11/21/21/21/21/2011/2210s21/41/41/4011/4011/41/23110s31/81/81/81/81/441110s41/16011/16011/161/8511110s5011/321/321/166111110s61/641/326111111s71/64第七章抗干扰信道编码7.6考虑一个码长为4的二进制码，其码字为w1=0000；w2=0011；w3=1100；w4=1111。若码字送入一个二进制对称信道（其单符号的误传概率为p，p0.01），而码字的输入是不等概率的，其概率为：p(w1)=1/2，p(w2)=1/8，p(w3)=1/8，p(w4)=1/4试找出一种译码规则使平均错误概率Pemin=Pe。解：由于信道为二进制对称信道，所以先验概率等于后验概率，且p错误传递概率p。试选择译码函数，并使平均错误概率Pe=Pemin，写出Pemin的