信息论与编码期末考试题----学生复习用文档良心出品

1、?信息论根底?参考答案一、填空题1、信源编码的主要目的是提升有效性,信道编码的主要目的是提升可靠性.2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符 3、三进制信源的最小痼为 0,最大痼为log23bit/符号.4、无失真信源编码的平均码长最小理论极限制为信源痼(或 H(S)/logr= H r(S).5、 当R=C或(信道剩余度为 0)时,信源与信道到达匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信 7、根据是否允许失真,信源编码可分为无失真信源编码和限失真信源编码.X2时,信源8、 假设连续信源输出信号的平均功率为.2,那么输出信号幅度的概率密度是高

2、斯分布或正态分布或f(x)=-eW2-7具有最大痼,其值为值 logZnecr2.29、在下面空格中选择填入数学符号“ dC 或(1) 当 X 和 丫相互独立时,H (XV =H(X)+H(X/Y)=H(Y)+H(X).(2) 志5)卜5*)罚30)以洪冰3)23(3) 假设信道输入用 X表示,信道输出用 丫表示.在无噪有损信道中,H(X/Y)>0, H(Y/X)=0,IX;Y)<H(X)_.三、信源S4S5S60.2 0.1 0.1S _s1S2S3P110.2 0.2 0.2(1) 用霍夫曼编码法编成二进制变长码；(6分)(2) 计算平均码长L; (4分)(3) 计算编码信息率

3、 R'； (2分)(4) 计算编码后信息传输率 R； (2分)(5) 计算编码效率 听.(2分)(1)S0 2 -00§0.2 -101.0Q0.2d0S40.211S50.101S60.1编码结果为:5 =0052 =0153 =10054 =10155 =11056 =111(2)=0.4 2 0.6 3=2.6(3) R,= Llog r=2.6b%号(4) -L-2 =0.973bi 其中,L 2.6/码兀H (S ) = H (0.2,0.2,0.2,0.2,0.1,0.1 ) = 2.53b%号(5)H SLlogrH S=0.973 L四、某信源输出A、B、G

4、DX E五种符号,每一个符号独立出现,出现概率分别为1/8、1/8、1/8、1/2、1/8.如果符号的码元宽度为0.5昭.计算：(1)信息传输速率R.(2)将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输,噪声的单边功率谱密度为正确传输这些数据最少需要的发送功率P.解：()r =h (X )H(XY )1111H X = _log 4 _ log 88221 1=log8 log 22 23 1=log 2 log 222=2 log 2= 2bitR = 2bit =4 10 6bpst 0.5s4 106 =2 106logl16y . 10* 2 106P 2(2) 1

5、 十一=222P =6W五、一个一阶马尔可夫信源,转移概率为2 1P(S|S =,P(&|S =-,P(S|S =1,P(&|S =0.3 3(1) 画出状态转移图.(2) 计算稳态概率.(3) 计算马尔可夫信源的极限痼.(4) 计算稳态下Hi,H2及其对应的剩余度.解：13,翥二 S21(2)由公式 P(Si ) = £ P(Si |Sj P(Sj )j m2PSI =' P S| | Si PSi =三 PS| PS?i 43-c 2-c,c-c 1-cp(S2)=£ p(§IS)p(S)=p(§)i 43PS P S2 =1

6、该马尔可夫信源的极限痼为:22H=£ Z P(S )P(Sj |Si )log P(Sj |Si ) i 4 j3 2|231|1=一一 一log log -4 334331 - 1 -=一 0.5781.5992 4= 0.681 bit/ 符号=0.472 nat/ 符号= 0.205 hart/ 符号(4)在稳态下：一233 11-Pxi logP x )=二4 1°% 4 log4=0.81bif 符号H2= H=0.205hart.符号=0.472nat.'符号=0.681bit.'符号对应的剩余度为Hi=1H 一0-三log三0.811i'

7、;1,1、,1占疽0.189.pw 如 iog3122J 22JJ0.681H01 1 1 1Tog+Tog12 S 2气2力-=0.319六、设有扰信道的传输情况分别如以下图.试求这种信道的信道容量.1 21 21 21 21 2解：信道传输矩阵如下可以看出这是一个对称信道,L=4,那么信道容量为八1 1C=log4H ,2,0,0L= log L 、p yj |Xi log p yj 函j i,c 1 ,1= log 4 2 log 22= 1bit七、设X、Y是两个相互独立的二元随机变量,其取H XY ,H XZ ;H X|Y ,H Z|X ;I X;Y ,I X;Z ;一1100221

8、100220011221001J2 一Rix0或1的概率相等.定义另一个二元随机变量Z=XY 一般乘积.试计算Z01P(Z)3/41/4(4)解:=1bit启1 )H(2) =H .一,一14 4j= 0.8113bit(2) H (XY ) = H (X )+H (Y )=1+1 =2bit/对1H XZ =H X H Z|X =1 H 1, 2 H X|Y )=H X =1bit.1,1'11'H (Z |X )= H (1,0 )+H . , =0.5bit2212 2 J(4) I X,Y =H Y -H Y|X =H Y -H Y =0I X,Z =H Z -H Z|

9、X =0.811&0.5 = 0.311bit八、设离散无记忆信源的概率空间为输概率如以下图所示.丫 = y1, y2 ,信道传|XX2 L通过干扰信道,信道输出端的接收符号集为?P 一 0.8 0.2_X1X2V2V、(1) 计算信源X中事件X1包含的自信息量;(2) 计算信源X的信息痼；(3) 计算信道疑义度H (X |丫)；(4) 计算噪声痼H (Y | X )；(5) 计算收到消息丫后获得的平均互信息量.解：(1) I 为-log0.8 =0.322bit =0.0969hart =0.223nat(2) H(X )=H(0.8,0.2=0.72bi?'符号=0.5ia

10、t'符号=0.217art符号(3)转移概率:y1y2X15/61/6X23/41/4联合分布:x'''-yy1y2X12/312/154/5X13/201/201/549/6011/601/5H XY =H 2,-, ,3 15 20 20= 1.404bit.符=0.973nat,符=0.423hart/WH(Y)引(49/60,11/600.687(符号 0.47naW0.207ar<H(X|Y)=H(XYH(Y)=0.7t7t 符史.497侑琶.2俭韵号(4)HMX (XY)H(X 河.682t 符质.473豹 *.20fe.附号(5)I (XYj

11、=H(XyH(X|Y>0.0050#0.0034小.00W?号()1、 人们研究信息论的目的是为了高效、可靠、平安 地交换和利用各种各样的信息2、信息的可度量性是建立信息论的根底.3、统计度量是信息度量最常用的方法.4、嫡是香农信息论最根本最重要的概念.12、 自信息量的单位一般有比特、奈特和哈特.13、 必然事件的自信息是0 .14、 不可能事件的自信息量是8 .15、 两个相互独立的随机变量的联苟信息量等于两个自信息量之和 .16、 数据处理定理：当消息经过多级处理后,随着处理器数目的增多,输入消息与输出消息之间的平均互信息量趋于变小 .17、 离散平稳无记忆信源 X的N次扩展信源的

12、嫡等于离散信源X的嫡的N倍olim H (Xn /X1X2Xn)18、 离散平稳有记忆信源的极限嫡,H*=nf1 2 N °19、 对于n元m阶马尔可夫信源,其状态空间共有nm个不同的状态.25、 假设一离散无记忆信源的信源嫡H (X)等于2.5,对信源进行等长的无失真二进制编码,那么编码长度至少为3 on'、 mAi <126、 m元长度为ki, i=1 , 2,- - n的异前置码存在的充要条件是：i=4.27、 假设把掷骰子的结果作为一离散信源,那么其信源嫡为log26 .28、 同时掷两个正常的骰子,各面呈现的概率都为1/6,那么3和5同时出现这件事的自信息量是

13、1.安18 (1+2 log3).30、一副充分洗乱的扑克牌(52张),从中任意抽取1张,然后放回,假设把这一过程看作离散无记忆信源,那么其信源嫡为 l0g2 5231、根据输入输出信号的特点,可将信道分成离散信道、连续信道、半离散 信道.32、 信道的输出仅与信道当前输入有关,而与过去输入无关的信道称为无记忆信道.33、 具有一一对应关系的无噪信道的信道容量C= log2n .34、强对称信道的信道容量 C= log2n-Hni.35、对称信道的信道容量 C= log2m-Hmi.36、 对于离散无记忆信道和信源的N次扩展,其信道容量 CN= NC 043、 信道编码定理是一个理想编码的存在

14、性定理,即：信道无失真传递信息的条件是信息率小于信道容量 .44、 信道矩阵! 001代表的信道的信道容量 C=匚.-1 01 045、 信道矩阵 1代表的信道的信道容量 C= 1_.53、 单符号的失真度或失真函数d (Xi, yj)表示信源发出一个符号 Xj,信宿再现 为所引起的 误差或失真.0 i = j54、 汉明失真函数 d (Xi, yj) = L1 i * j o55、 平方误差失真函数 d (Xi , yj) = (yxD 2.56、平均失真度定义为失真函数的数学期望,厂 d (Xi,yj)在X和Y的 联合概率空间P (XY )中 的统计平均值.57、 如果信源和失真度一定,那

15、么平均失真度是信道统计特性 的函数.58、 如果规定平均失真度 D不能超过某一限定的值 D,即：D苴D.我们把D苴D称为 保真度准那么.59、 离散无记忆N次扩展信源通过离散无记忆 N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的域倍60、 试验信道的集合用 Pd来表示,那么Pd= p(yj/Xi):吊 D;、1,2,n,j=12,m.61、 信息率失真函数,简称为率失真函数,即：试验信道中的平均互信息量的最小值.62、 平均失真度的下限取 0的条件是失真矩阵的每一行至少有一个零元素.63、平均失真度的上限 DmaX取Dj： j=1 , 2, ,m中的最小值.64、 率失真函数

16、对允许的平均失真度是单调递减和连续的.65、 对于离散无记忆信源的率失真函数的最大值是log2 .66、 当失真度大于平均失真度的上限时DmaX时,率失真亩数 R (D) = 0 .67、连续信源X的率失真函数R (D)=InfP(y/X)PdI(X;Y)1 c22log 2 68、 当D 时,高斯信源在均方差失真度下的信息率失真函数为R(D)= 2 D69、 保真度准那么下的信源编码定理的条件是信源的信息率 R大于率失真函数 R (D).77、在香农编码中,第i个码字的长度«)之间有一log2 p(xD?峪 <1 log2 p(xD 关系.78、；X 1广XiX2X3X4X5

17、X6X7X8>(X) JJ/41/41/81/81/161/161/161/16：ki和p对信源进行二进制费诺编码,其编码效率为1：X 1 1 01、；0a70、某二元信源Jp(X)J,1/21/2,其失真矩阵D=!a0-,那么该信源的D max= a/2.一 X 1 I11 = 01、.0a71、某二元信源!p"T1/21/2,其失真矩阵D=!a0,那么该信源的Dmin= 0 o;x L 01、1；0a72、某二元信源Jp(X)J <1/21/2,其失真矩阵D=!a0,那么该信源的R (D) = 1-H (D/a)73、 根据不同的编码目的,编码可以分为三类：分别是信源

18、编码、信道编码和平安编码74、 信源编码的目的是：提升通信的有效性 .75、 一般情况下,信源编码可以分为离散信源编码、连续信源编码和相关信源编码76、 连续信源或模拟信号的信源编码的理论根底是限失真信源编码定理 .79、 对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时,为使平均码长最短,应增加 2个概率为0的消息80、 对于香农编码、费诺编码和哈夫曼编码,编码方法惟一的是香农编码.pL(0)= poL(O)Jp181、 对于二元序列 0011100000011111001111000001111111 其相应的游程序列是23652457 .82、 设无记忆二元序列中,“0和“ 1的概率分别是po和p,那么“.游程长度L (0)的概率为83、游程序列的嫡 等于 原二元序列的嫡.84、假设