信息论知识复习总结

1、一.单选（每题2分，共20分）1下面属于最佳变长编码的是（B）下面不属于最佳变长编码的是（D）B.香农编码和费诺编码2.加密编码的目的是（C）C提高通信系统的安全性D .算术编码和游程编码信源编码的目的是 提高通信有效性。信道编码的目的是提高信息传输的可靠性倍像符号码素出拋槪卑ABCDp(aJ=l/200001口2p(°2)T/401111001p(碼)=1/8100000001口4洌4护1用11110100013.表中符合等长编码的是（A）表中符合即时码的是A、D4. 下列各量可能为负值的是（B）下列各量不一定为正值的是（A）B.互信息量A .互信息量5. 个m位的二进制数，该数的

2、每一位可从等概率出现的二进制码元（0, 1）中任取一个，这个m位的二进制数的自信息量为（m bit）6. 联合熵H （XY ）与熵H （X ）及条件熵H （X/Y ）之间存在关系错误的是（D）D. H (XY )= H (X) + H (X/Y)7已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为 Ho =Iog27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H® =1.4比特/符号。问若用一般传送方式，冗余度 丫为（0.71）H® =1

3、.5 冗余度为（0.68）8.某对称离散信道的信道矩阵为1C.1111logH(_,_,_,_)131661，信道容量为（C）3丄 19. 某信道传递矩阵为P=|24_421 11 8，其信道容量为（D）8 8 一CA0Pi-poooooX1/6b3/4i T0 0.5'0 10.517.下列各图所示信道是有噪无损信道的是（B ）D. C =log2H (丄丄丄丄)(3log3 -log 丄)2488444411.当一个信道输入符号和输出符号的个数相同， 且行对称、列对称的信道是 强 对称 信道。H(Y)13.常用的最佳变长编码的是香农编码、费诺编码和哈夫曼编码14.唯一可译码存在的充

4、分和必要条件：各码字的长度Ki应符合克劳夫特不等式15.联合熵H（XY ）与熵H（ X ）及条件熵H（X/Y ）之间存在关系是H （XY ）=H (X)+ H (Y /X)16.设信源符号序列为X = 0,1，接收端收到符号序列为丫 = 0,1,2，规定失真d =失真矩阵d为10.下列各图所示信道是对称信道的是（C）下列各图所示信道是删除信道的是12.某信道为多输入、单输出，该信道的信道容量为C = max l(X;Y) = maxn' m Ki 岂 1函数为 d(0,0)= d(1,1)=0d(0,1)=d(1,0)=1d(0,2)=d(1,2)=0.5.简答题(共30 分)1离散信

5、源的分类离散无记忆倍源离散肯记忆信源广发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.无失真信源编码的分类。2.画出通信系统的模型非分组码1>奇异码非唯一可译码非即时码分组码非奇异码唯一可译码即时码非延长码)k(1) .信源：发送消息的源。主要分为离散信源和模拟信源。(2) .信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。(3) .信道：传输信息的物理媒介(4) .信源编码和译码信源编码是把信源发出的消息变换成由二进制码元 (或多进制码 元)组成的代码组，这种代码组就是基带信号。同时通过信源编码可以 压缩信源的冗余度

6、，以提高通信系统传输消息的效率。信源编码器分为两类：一类是无失真信源编码，适用于离散信源 或数字信号；另一类是限失真信源编码 ，用于连续信源或模拟信号 如语音、图像等信号的数字处理。信源编码器的主要指标：编码效率，即理论上能达到的码率与 实际达到的码率之比。效率越高，编译码器的代价也将越大。信源译码：是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。(5) .信道编码和译码主要作用是提高信息传送的可靠性。信道编码器的作用：在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力。信道编码的主要方法：增大码率或频带，即增大所需的信道容量。

7、 这恰与信源编码相反。信道译码器的作用：具有检错或纠错的功能，它能将落在其检错 或纠错范围内的错传码元检出或纠正，以提高传输消息的可靠性。(6) .加密编码隐蔽消息中的信息内容，使它在传输过程中不被窃听提高通信系统的安全性。f0.60.40 13已知转移概率为p(Sj/s) =0.300.7，试画出状态转移图。0.200.8_三.计算题1. (20分)具有符号集 U =uo,ui的二元信源，信源发生概 率为：1p(u°)=：1 -ppWJhpQ :： p乞2。Z信道如图 所示，接收符号集V =Vo,Vi，转移概率为：q(Vo |Uo) =1,q(Vi | u)= 1 - q。发出符号

8、与接收 符号的失真：d(u°,v°) "(uz) =O,d(q,Vo) =d(Uo，vJ =1。(1) .计算平均失真D ；(2) .率失真函数R(D)的最大值是什么？当q为什么值时可达到该最 大值？此时平均失真D是多大？(3) .率失真函数R(D)的最小值是什么？当q为什么值时可达到该最 小值？此时平均失真D是多大？(4) .画出R(D)-D曲线。解：1(1) .已知信源符号概率 p(Uo) =1 - p, p(uj = p,0 ： p 一？；10 1转移概率矩阵q(vj |uJ：Itq 1 - q；0 1失真矩阵d(ui,vj)：IM 0联合概率矩阵p(ui,

9、 vj) = J1 p (1-pq p(1D 八 p(uvj )d(ui,vj) =(1 - p) 0 0 1 pq 1p(1 - q) 0 二 pq。(2) . maxR(D)=R(Dmin)=H(X)=-plogp-(1-p)log(1-p);当 q=0 时，Dmin=0，即得到 maxR(D);D =0。(3) . minR(D)=R(Dmax)=0 ;_1 01当q=1时，转移概率矩阵q(Vj |uj = i 0 ,可使得到minR(D);D =p。(4) .nd)2. (15分)有一个二元二阶马尔可夫信源，其信源符号集为0 , 1，已知符号条件概率：p(0|00) = 1/2p(1|

10、00)=1/2p(0|01) = 1/3 p(1|01)=2/3p(0|10) = 1/4 p(1|10)=3/4p(0|11) = 1/5 p(1|11)=4/5求：(1) .信源全部状态及状态转移概率；(2) .画出完整的二阶马尔可夫信源状态转移图；(3) .求平稳分布概率。解：(1).符号条件概率矩阵6(0) S(00) 1/2 S(01)P® |S)二jS3 (10)1/31/4®(11) .1/5a2(1)1/22/33/44/5(2).状态转移概率矩阵S52 P(Sj |S)二53S11/201/454 IL 0S21/203/40S301/301/5S40 1

11、2/304/5(0)1/24/5(3).平稳分布概率1 W121' Wi Pij 二Wj 二 21=WW1=W21 -W21 -W4352W24-W4二 W335W343-W34=_635=W4W1 W2 W3 W4 =136W1, W2,3535635,W3p(ai)八ip(ai |s)p(s)=p(a2)八i3 16 1626 36 4353354355X1p |sjp(sj JW474=97354 = 267353. (15分)一个平均功率受限制的连续信道，其通频带为2MHz，信道上存在白色咼斯噪声。(1) .已知信道上的信号与噪声的平均功率比值为10,

12、求该信道的信 道容量；(2) .信道上的信号与噪声的平均功率比值降至 5,要达到相同的信道 容量，信道通频带应为多大？(3) .若信道的通频带减少至1MHz时，要保持相同的信道容量，信道 通频带应为多大？解：(1) .已知 SNR=10PC 二Wlog(1J 二Wlog(1 SNR) =2 Iog11 = 6.919Mbit / sN W0(2) .若 SNR=5, C=6.919Mbit/s;6.919 二Wlog(1 5)W=2.68MHz(3) .若 W=1MHz，C=6.919Mbit/s;6.919=1 log(1 SNR)SNR=1214. (20分)信源符号X有6种字母，概率为0

13、.22, 0.32, 0.18, 0.08, 0.04,0.16。(1) .求符号熵H (X);(2) .用香农(Shannor)编码法编成二进制变长码，求出平均码长和 编码效率；(3) .用费诺(Fano)编码法编成二进制变长码，求出平均码长和编码 效率；(4) .用哈夫曼(Huffma)编码法编成三进制变长码，求出平均码长和 编码效率。解:信源符号符号概率p(ai)累加概率Pi平均码长K "logpQJl码字a20.320200a10.220.323010a30.180.543100a60.160.723101a40.080.8841110a50.040.96511110(1)

14、. H(X) = -' p(a)log p(aj =2.35bit/符号i(2).香农编码法编成二进制变长码010, 00, 100,1110,11110, 101Hl(X) H(X)2.35284信源符号符号概率p(a)第1分组第2分组第3分组第4分组平均码长K =-logp(aJ码字a20.3200200a10.221201as0.1810210a60.16103110a40.081041110a50.04141111(3).费诺编码法编成二进制变长码01, 00, 10, 1110, 1111, 110Hl(X) H(X) 2.35=82.7%-97.9%2.4(4) .哈夫曼编

15、码法编成二进制变长码(5分)10, 00, 11, 0110, 0111, 010Hl(X)h(x)K型=97.9%2.4信源符号符号概率p(ai)第1分组第2分组第3分组第4分组码长码字a20.320.320.320.4鼻T0.6 0200a10.220.220.28 /0.3200.41210a30.180.18。22丿10.28 1211as0.160.1600.1813010a40.08 Ti 0 >10.12 J40110as10.04 140111(4) .哈夫曼编码法编成三进制变长码m=3, n=6,令 k=2m+k(m-1)=7, s=7-n=1Hl(X) H(X)所以第

16、一次取m-s=2个符号进行编码信源符号符号概率P(a)第1分组第2分组平均码长K = ：logp(ai)码字a20.320.32戸 0.56 011a10.220.22 / 0.28 112a30.180.18/ 00.22 2200a60.160.16 卜 1201a40.08' 00.1223020asr0.04打30211, 2, 00, 01, 020, 0212.3593.8%K1.58 log 3log m6. (15分)(20分)信道的传递概率矩阵(1) .输入等概率时，求译码规则和平均错误概率a1 "0.50.30.2a20.20.30.5a30.30.30.

17、4b1b2b3111(2) . p(aj =丄P®)二丄p3)=丄，求译码规则和平均错误概442率。111(3) . p(ajp2)= p(a3)，用最大似然准则，求译码规442则和平均错误概率。解：(1) .等概率分布时，用最大似然准则，等效于最大后验概率准则。对 于传递矩阵中的每一列，选一个最大的传递概率，对应的输入符号 即为该输出符号的译码函数。F (b1)= a1F (b2 ) = a3 F (b3)= a21Pe = p(ajD1)p(a3b2) p(a2b3)= -p(b1 |aj p(b? |a3)p(d la?)31(0.5 0.3 0.5) = 0.4333Pe =

18、 1 - Pe 二 0.567(2) .已知输入概率分布，用最大后验概率准则，求联合概率对于b1对于b2对于b3P(db2)P(db3)403201P(a2b) = 20340183P(a3b1)= 203P/) 215F(b0 PF (b2 ) = a3F (b3 )= a3pgbj)二 p(ajp(bj |ajPe =1 -Pe =0.5(3) .非等概率分布，但是规定要用最大似然准则F（bJ=ai F（m）= a3 F（b3）= a2131PE = P（ab） p3b2） P（a2b3）0.4 可见在8 20 8PE = 1 - PE = 0.6输入非等概率分布时，最大似然准则并不一定是最佳译码规则。8.（ 10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。非分组码奇异码非唯一可译码唯一可译码非即时码即时码（非延长码）分组码非奇异码（1分）将信源消息分成若干组，即符号序列Xi,xi = （xi1xi2 xil xiL）,xil A=a1 , a2,，ai,，an每个符号序列xi依照固定码表映射成一个码