信息论与编码习题与答案

1、4-1设有一个二元等该率信源 X 0,1 , p0其失真函数dj与信道转移概率pj分别定义为d 1, i j,dj,pHij 0, i j j 1试求失真矩阵d和平均失真Do解：由题意得,0 1失真矩阵为dd1 0 ,信道转移概率矩阵为-1平均失真为D “Ppjg,j211/2 ,通过一个二进制对称信道 BS.1P(ji)】11 11)011(1) 02 224-3设输入符号与输出符号X和Y均取值于0,1,2,3PX=i=1/4,i=0,1,2,3,设失真矩阵为,且输入符号的概率分布为0 11110 11 d110 11110求Dmin , Dmax , R( Dmin ), R( Dmax)

2、以及相应的编码器转移概率矩阵.解：由题意,得Dmin 0那么 R(Dmin)R(0) H(X) log 24 2bit/symbol这时信源无失真,A0,11,2 r 2,33,相应的编码器转移概率矩阵为10000 P(ji)10000100001mm ip(i)d(i,j)0. /1 min-40 - 141 141 . 1 . 1144.3 3 3 3,m叱,厂汩4 4 4 41 0434max那么 R(Dmax)011111-1,1 1 1 0 1 1 -,1 - 11 - 1-044444此时输出概率分布可有多种,其中一种为:p(0)=1,p(1)=p(2)=

3、p(3)=0310 0 010 0 0那么相应的编码器转移概率矩阵为P( j i)10 0 010 0 04-5 具有符号集U Uo,U1的二元信源,信源发生概率为p(U0) p, p(Ui) 1 p,0 p 1/2. Z信道如下列图所示,接收符号集V (V0,vi),转移概率为：q(v0 u0) 1,q(v1 u1) 1 q .发出符号与接收符号的失真dUo,Vo dU1,v0,dU1,v. dU0,v 1.(1) 计算平均失真 D；q为什么值时可到达该最大值此时平均失真D是多q为什么值时可到达该最小值此时平均失真D是多(2) 率失真函数R(D)的最大值是什么当 大(3) 率失真函数R(D)

4、的最小值是什么当 大(4) 画出R(D)-D的曲线.U0U1v解：由题意,知失真矩阵为d 0 1,转移概率矩阵为Q 101 0q 1 qP(Uo) P, P(Ui) 1 p(1)平均失真i,jp 1 0 p 0q(1 p)1 (1 p) q 1 (1 p) (1 q) 0(2)max R(D) plog2R(Dmin)R(0)p (1 p)iog2(1H(U) p)此时的平均失真D Dmin0,那么 q=0(3)minR(D)=0此时 Dmax min1p(Ui)d(Ui,Vj)i 0P(Ui)q(Vj Ui)d(Ui,Vj)D0)min( p 0 (1 p) 1, p 1 (1 p) min( 1 p, p) p,相应的的转移概率矩阵为此时输出符号概率p(v0) 0, p(v1) 11而在给7E的信道下,Qq令 R(D)min I (U ;V)minH(U) H(U V) =0minplog p (1p)log(1 p)11p(Ui,Vj)logq(Ui Vj)min plog pplog p (1 p)log(1 p) q(1 p)log q(1 p) (pi 0 j 0q pq)log( p q pq)(1 p)iog(1 p)q(1 p)logq(1 p) (p q1 qmin0pq) iog(pq pq