信息论测试题与答案

1、试求:1.信道转移概率矩阵四、某信道的转移矩阵 P0.6 0.3 0.10.3 0.6000.1,求信道容量，最佳输入概率分布。五、求下列各离散信道的容量(其条件概率P(Y/X)如下：)、设X、Y是两个相互统计独立的二元随机变量，其取 -1或1的概率相等。定义另个二元随机变量 Z,取Z=YX (一般乘积)。试计算：1.H (Y)、H (Z);2.H(YZ);3.I (X;Y)、I (Y；Z);二、如图所示为一个三状态马尔科夫信源的转移概率矩阵1.绘制状态转移图；2.求该马尔科夫信源的稳态分布；3.求极限嫡;P 2.信道疑义度3.信道容量以及其输入概率分布六、求以下各信道矩阵代表的信道的容量“I

2、 0.2 0.3。0 O O OP =0OOO 0,7000 OD口OO000.40.2O IO.3J答案、设X、Y是两个相互统计独立的二元随机变量，其取 -1或1的概率相等。定义另个二元随机变量 Z,取Z=YX （一般乘积）。试计算:1.H（丫）、H （Z）;2.H(XY)、H (YZ);3.I(X;Y)、I (Y;Z);解:21. H (Y) =- P (y) logP (y)i 11 .11.1log log - =1bit/ 付节 2222Q Z=YX而且X和丫相互独立P(乙=1) =P(Y=1) P(X 1) P(Y 1)1P(X 1)=2P(Z2=-1 ) =P(Y=1) P(X

3、1) P(Y1 ) P(X 1)=故 H(Z)=2P(zi)log P(zi)=1bit/ 符号 i 12 .从上式可以看出：Y与X的联合概率分布为：P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/ 符号3. QX与丫相互独立，故 H(X|Y)=H(X)=1bit/ 符号I (X;Y) =H(X)-H(X|Y)=1-1=0bit/ 符号I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=0 bit/符号二、如图所示为一个三状态马尔科夫信源的转移概率矩阵3.求极限嫡;2.绘制状态转移图；2.求该马尔科夫信

4、源的稳态分布;解：1.状态转移图如右图2. 由公式P(Ej)3P(Ei) P(Ej|>)1,可得其三个状态的稳态概率为:P(E。叫）叫）12 PC)12 P(巳)12 P©1 12 P(E2) -p(E3)12P(e3)11P(E3)4P(EJP(E2)P(E3)P(E)P(E2) P(E3) 13727273.其极限嫡：311P(E) H(X|Ei) = - H(1,0) i722H(2i0)+2 H(那3228竹口1 + 1 + 1.5=b代/他节、在干扰离散对称信道上传输符号1和0,已知P (0) =1/4,P(1)=3/4, 试求:2 .信道转移概率矩阵P 2.信道疑义

5、度3.信道容量以及其输入概率分布解：1.该转移概率矩阵为0.90.1P=0.10.92. 根据P (XY =P (Y|X) P (X),可得联合概率P (XY)YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由 P (X|Y) =P(X|Y)/P(Y) 可得P(X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X|Y)=-P(xiyj)log P(Xi|yj) =0.09+0.12+0.15+0.035=0.4bit/ 符号i，j3 .该信道是对称信道，其容量为：C=logs-H=log2-H (0.9,0.1 ) =1-0.469=0.531

6、bit/ 符号这时，输入符号服从等概率分布，即P(X)01四、某信道的转移矩阵 P0.6 0.3 0.10.3 0.600,求信道容量，最佳输入概率分布。0.1解：该信道是准对称信道，分解为两个互不相交的子信道矩阵0.60.30.10、中20.9N20.1这里120.30.60 0.1 M10.9M20.1C=logr-H(P的行矢量)2NKlogMKk 11 H(0.6,0.3,0.1)0.9 log 0.9-0.1 log 0.1=0.174bit/ 符号这时，输入端符号服从等概率分布，即XP(X)01112 2五、求下列各离散信道的容量(其条件概率P(Y/X)如下：)c.由a式P01TY

7、1+（1-1 十（17*7也由公式pU;）=£C0p（r 在），水paj由方程组:刖。=/（&）+2*»pg = p（三）（l-5）蝌钧14（1_J/£言岫"Ml + （l-i）5因为工整条件转蜂柢辜，所以0至工三1,从而有即血昭，兰必 保证了 C的疗在.2）可热信道可排信道阜一个推利徐信道，把信道知内分解成两十子矩附如下.C - asVQCF）一一 三和士 尸o#） g受尸5 ）-月二1-1j 尸 OJ =产值）尸5/内）句 >pCfi=。一 * 一5工）/2 +5 j =（1 一玉 >/ 2*0力-E0MON-一户6/5人力. 5

8、。Y -力7力心=Q 卜2Lch）=五JQCh5AP（x2）p（j3 /均）=与/2一品”=身工不号>>万g-型上也EX严5）,、，、7 g =必3 = M2：必山= （l-sJ/2JM.2TZ>5> 、-孕=鸟用力1r -工 f 8口1）gg 二款y"）-丹.油:1-5,=-(1-Ji？log； (1 -5j -J:)lQg3U-J|-5jb£25s bit (symbol引 I j'twm立力信it是晨懂au利用一般售逋的计算方法#由生式£吗即岫双X)=£血卬用.咸内A = -1-3775用=T.0E5b.由iiKC=

9、hgm”' ACC-10E：|v2ff .lOgJm-%。04g 如 s)mboic由舍式p。)=2. .£而”PUJn2*yT|"x.=0327由J装2820.僦it 由公式poq = n尸ajpCr/xj .求 f用方程电工。面吟2苧6)解得：) = 0 488pM-OSll尸三以 保证了的存在.W盘对吨常适杷佶道弟嚼分副，员三个子即内如下工j*Oj ) 一7)户6 多)+入丐户5j,O?；> = r(v1)p(y; K)Hz)Xy： 三)"4M上2”!=4p(>,) = r()X)3vz)=-Lx1-k1<1=1Ab A 上 JX>4>=7(xQvO* -库i)+HF)Xy*/三)=乂+其，= ， ft ' ft斗POG，0SvD =点"'pg一尸GJ。0G,3力- a-，E 淡3 pg 13_亡=一二叫 P5) 10gH JXJi) -0.041 bit六、求以下各信道矩阵代表的信道的容量1)这个信道是一对应