信息论基础试卷(期末A卷

1、重庆邮电大学2007/2008学年2学期信息论基础试卷(期末) (A卷)(半开卷)一、填空题(本大题共 10小空，每小空1分，共20分)1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。2. 一个八进制信源的最大熵为 3bit/符号X3.有一信源X ,其概率分布为PX1X2 X31 1,其信源剩余度为94.64% ;若对该信源进行十次扩展,4 4则每十个符号的平均信息量是15bit。4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ,最小瞬时电压为 a。若消息从放大器中输出，则该信源的绝对熵是；其能在每个自由度熵的最大熵是Iog

2、 (b-a)bit/自由度；若放大器的最高频率为F ,则单位时间内输出的最大信息量是2Flog( b-a ) bit/s.15. 若某一信源X ,其平均功率受限为16w ,其概率密度函数是高斯分布时，差熵的最大值为log32 e ；与其熵相等的非高斯分布信源的功率为16w6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。7、 无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)logr= H r(S)。8、当R=C或(信道剩余度为0 )时，信源与信道达到匹配。9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。10、 在下面空格中选择填入数学符号“，”或

3、“”(1 )当 X 和 Y 相互独立时，H (XY)=H(X)+H(X/Y)。(2 )假设信道输入用X表示，信道输出用 Y表示。在无噪有损信道中，H(XY)> 0, H(Y/X)=0,I(X;Y)<H(X)_、掷两粒骰子，各面出现的概率都是1/6 ,计算信息量:1. 当点数和为3时，该消息包含的信息量是多少？2. 当点数和为7是，该消息包含的信息量是多少?3. 两个点数中没有一个是1的自信息是多少?解：1.P （“点数和为 3 ” =P （ 1,2 ） + P （1,2 ） =1/36+1/36=1/18则该消息包含的信息量是：I=-IOgP （“点数和为3 ”）=log18=4.

4、17bit2.P “点数和为 7” =P（ 1,6）+ P（6,1）+ P（ 5,2）+ P（ 2,5）+ P （3,4）+ P（ 4,3）=1/366=1/6则该消息包含的信息量是：I=-IOgP （“点数和为7”）=log6=2.585bit3.P “两个点数没有一个是1” =1-P （“两个点数中至少有一个是1”=1-P（1,1or1,jori,1）=1-（136+536+536）=2536则该消息包含的信息量是：I=-IOgP （“两个点数中没有一个是1 ”）=log2536=0.53bit三、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量乙取

5、Z=YX (般乘积）。试计算:1.H ( Y)、H (Z)；2.H ( XY)、H (YZ)；3.I (X;Y )、I (Y;Z)；2解: 1. H (Y) =- P (yi) logP ( yi)i 11lOg1 1log 1 =1bit 符号2 2 2 2Q Z=YX而且X和Y相互独立P( Z1 = 1) =P(Y=I) P(X 1)P(Z2=-1 ) =P(Y=I) P(XP(Y 1) P(X1) P(YI)=I1) P(X1)=2故 H(Z)=P(Zi)IOg P(Zi)=1bit 符号i 12. 从上式可以看出:Y与X的联合概率分布为P(Y,Z)Y=1Y=-1Z=10.250.25Z

6、=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/3. Q X与Y相互独立，H(XY)=H(X)=1bit/ 符号I (X;Y ) =H(X)-H(XY)=1-1=0bit/ 符号l(Y;Z)=H(Y)-H(YlZ)=H(Y)-H(YZ)-H(Z)=0 bit/符号四、如图所示为一个三状态马尔科夫信源的转移概率矩阵P=1. 绘制状态转移图；2. 求该马尔科夫信源的稳态分布;3. 求极限熵；解：1.状态转移图如右图32.由公式 P(Ej)P(Ei) P(EjIEi) ,可得其三个状态的稳态概率为:i 1P(E1)P(E2)P(E3)P(E1)11-P(EI)-P(E2)1

7、1二 P(E2) -P(E3)2 2112 P(E1) 4P(E3)P(E2) P(E3) 11Z(E3)P(El) 3P(E2)7P(E3) 23.其极限熵:P( Ei)i 13H( XlEi) = 7112H(丄,0,) +2227H(丄,) + ? H(丄,2 274 2 4=7 1+t 1+75=现符号1. 该信道的转移概率矩阵P2. 信道疑义度H (X|Y )3. 该信道的信道容量以及其输入概率分布解：1.该转移概率矩阵为0.90.1P=0.10.92.根据P (XY ) =P (Y|X ) P ( X)，可得联合概率P (XY)YYX=09/401/40X=13/4027/40P(

8、Y =i)12/4028/40由 P ( XlY ) =P(XlY)/P(Y)可得P(XIY)Y=0Y=1X=03/41/28X=11/427/28H(XY)=-P(Xiyj) log P(XiIyj) =0.09+012+0.15+0035=04bit/ 符号i，j3. 该信道是对称信道，其容量为：C=IOgS-H=Iog2-H (0.9,0.1 ) =1-0.469=0.531bit/ 符号X这时，输入符号服从等概率分布，即012 2六、某信道的转移矩阵P0.6 0.3 0.100.3 0.600.1P(X)试求：该信道的信道容量及其最佳输入概率分布。解：该信道是准对称信道，分解为两个互不

9、相交的子信道矩阵0.60.30.30.60.10N10.9 N2 0.1这里0 0.1M1 0.9 M20.1C=logr-H(P 的行矢量)N K log M Kk 1H (0.6，0.3，0.1) 0.9 log 0.9-0.1 Iog 0.1=0.174bit/ 符号这时，输入端符号服从等概率分布，即XP(X)012 2用赫夫曼编码法编成二进制变长码，写出七、信源符号 X有六种字母，概率为 0.32,0.22,0.18,0.16,0.08,0.04编码过程并计算其平均码长、编码后的信息传输率和编码效率。解:码字00101101001100111该信源在编码之前的信源熵为：6H(S)P(Xi) log P(Xi) =0.526+0.481+0.445+0.423+0.292+0.186i 1=2.353bit/ 符号编码后的平均码长：L (0.320.220.18) 20.16 3 (0.080.04) 4=2.4 码元/ 信源符号编码后的信息传输率为：r H(S)2.353R -0.98bit/码元L2.4RH(S)编码效率为：0.98RmaxL log r1. 试计算该信道传达的最大信息率（单位时间）；2. 若功率信噪比降为5dB ,要达到相同的最大信息传输率，信道带宽是多少?解：1. Q SNR