信息论与编码期末考试题1

1、、判断题1 .当随机变量x和y相互独立时，条件嫡 h(x|y)等于信源嫡h(x).()2 .由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集 ()3 .一般情况下，用变长编码得到的平均码长比定长编码大得多()4 .只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信()5 .各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.()6 .连续信源和离散信源的嫡都具有非负性.()7 .信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.8 .汉明码是一种线性分组码

2、 .()9 .率失真函数的最小值是 0 .()10 .必然事件和不可能事件的自信息量都是0.()、填空题1、码的检、纠错能力取决于 .2、信源编码的目的是 ;信道编码的目的是 .3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做.4、香农信息论中的三大极限定理是 、5、设信道的输入与输出随机序列分别为x和y,则1(*与=刈(*,丫)成立的条件.6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、某二元信源，x 01 ,其失真矩阵d =al则该信源的dmax=jp(x)_ 11/ 2 1/ 2j：a 01三、计算题1、某信源发送端有2种符号xi (i =1,2)

3、 , p(x)=a ;接收端有3种符号y (j =1,2,3),转移概率矩阵为1-p1-p图 2-13信源x的符号集为0,1,2.1/2 1/2 0 p.111/2 1/4 1/4(1) 计算接收端的平均不确定度 h (y)；(2) 计算由于噪声产生的不确定度h(y|x);(3) 计算信道容量以及最佳入口分布.2、一阶马尔可夫信源的状态转移图如右图所示，(1)求信源平稳后的概率分布;(2)求此信源的嫡；(3)近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的嫡 h (x)并与h毛进行比较.3、设码符号为x =0,1,2，信源空间为gs20.4 0.2* s4s586s7s8 1

4、 试构造0.1 0.1 0.05 0.05 0.05 0.05种三元紧致码1、2、1 10 10 0 00 110 10 04、设二元(7,4)线性分组码的生成矩阵为g =1110 0 10-1 0 1 0 0 0 1-(1)给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；(2)若接收矢量v =(0001011),试计算出其对应的伴随式s并按照最小距离译码准则试着对其译码.(二)、填空题信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。3、三进制信源的最小嫡为0,最大嫡为log23bi

5、t/符号。4、5、6、7、无失真信源编码的平均码长最小理论极限制为信源嫡(或 h(s)/logr= h r(s)。当r=c或(信道剩余度为 0)时，信源与信道达到匹配。根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。8、若连续信源输出信号的平均功率为则输出信号幅度的概率密度是高斯分布或正态分布或x21 -a 2f (x)=-e 2打时，信源. 2二二具有最大嫡，其值为值110g 2necr2。29、在下面空格中选择填入数学符号“(1)当x和y相互独立时，h (xy)/c、h x1x2(2)匕(x 产 2 2 h3(x

6、尸=,ng或“=h(x)+h(x/y尸h(y)+h(x)。h x1x2x3(3)假设信道输入用 x表示，信道输出用 y表示。在无噪有损信道中，h(x/y)0, h(y/x)=0,i(x;y)2 10(2) 1 + p=222p =6w五、一个一阶马尔可夫信源，转移概率为21p(sis )=c，p(s2ls )=c，pss)=1，p(s2s)=0。 33(1)画出状态转移图。(2)计算稳态概率。(3)计算马尔可夫信源的极限嫡。(4)计算稳态下h1，h2及其对应的剩余度。解：13, s.-s212(2)由公式 p(si )=l p( |sj f(sj )j 1一一2_ 一一p s1= ps1|si

7、psi= -ps1+ps2y 321有 p s2 八 p s2is p si =1p s1 im3p(s1 )+p0 )=1p s1 =741p s2 4(3)该马尔可夫信源的极限嫡为:22hg=-z p(s jp(sj|s ogp(sj|s) i w j =132,231,1log - log 4334331 10.578 1.5992 4= 0.681bit/符号= 0.472nat 符号= 0.205hart/符号(4)在稳态下:=巨 p(x jogp(x )=-:lo+xlog 卜0.811it符号h21 =1.h =1ho0.811.flogil+g (2 “ 2 12”-=0.18

8、92 =1=1h。0.681logpplog12 12/ 2 二2少3319= h.=0.205iart/符号=0.472nat符号=0.681bit/符号对应的剩余度为六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。*1 212解:信道传输矩阵如下1 21 212121212_21212 一可以看出这是一个对称信道，l=4,那么信道容量为1 1)c=log4h 2，0，0 jl=logl p yj |xi log p yj |x j 1,_ 1,1=log 4 2 - log-= 1bit七、设x、y是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量z=

9、xy（ 一般乘积）。试计算 h x ,h z ;(2) h xy ,h xz ; h x|y ,h z|x ;(4) i x;y ,i x;z ;解：z01p(z)3/41/4= 1bith x =h 2,2= 0.8113bit/3 1 ) h(2)=h -,14,4j=1.sif 对(2) h (xy 产h (x )+h (y )=1+1=2bit/对h(xz)=h(x )+h(z|x )=1+-h(1,0)+h -,- h x|y =h x =1bith z |x = h1,0 h -222=0.5bity1y2(4) i x,y)= h y -h y|x )=h y -h y )=0i

10、 x,z ):=h z -h z|x )=0.811&0.5=0.311bit八、设离散无记忆信源的概率空间为；x=ji x2|pi0.8 0.2-,通过干扰信道，信道输出端的接收符号集为y =1, y2，信道传输概率如下图所示。x15 6161 4x2计算信源x中事件x1包含的自信息量;(2)计算信源x的信息嫡;计算信道疑义度 h(x|y )；(4)计算噪声嫡h (y|x )；解:计算收到消息y后获得的平均互信息量。i x1)= tog0.8 =0.322bit =0.0969hart =0.223nat(2)h (x )=h (0.8,0.2=0.72bif符号=0.5iaf符号=0.21

11、7art 符号(3)转移概率:联合分布:x15/61/6x23/41/4x-0.6啊符号q473符号0.20&,附号i (xjy)=h(x)-h(x|y0.005604?/.00349?%.00152tf 号(三)选择题1、有一离散无记忆信源x,其概率空间为|xi=ix1x2x3x4 i则其无记忆二次扩展信源的嫡p|0.5 0.25 0.1250.125h(x2)=()a、1.75比特/符号； b 、3.5比特/符号；g 9比特/符号； d 、18比特/符号。ryjx) pd/x)0000 12、信道转移矩阵为 00p(y3/“)p(y4/x2)00,其中p(yj/x)两两不相等，则0000p

12、(y5/x3) p(y6/x3)j该信道为a 对应的无噪信道r具有并归性能的无噪信道g对称信道d具有扩展性能的无噪信道3、设信道容量为c,下列说法正确的是：()a互信息量一定不大于cr交互嫡一定不小于cg有效信息量一定不大于cd条件嫡一定不大于c4、在串联系统中，有效信息量的值()a趋于变大r趋于变小g不变d不确定5、若bsc信道的差错率为p,则其信道容量为：()a h p; 占110g 2 j - p )pg 1-h pd -plog(p)、填空题1、(7,4)线性分组码中，接受端收到分组 r的位数为,伴随式s可能的值有 种，差错图案e的长度为,系统生成矩阵gs为 行的矩阵，系统校验矩阵hs

13、为 行的矩阵，gs和hs满足的关系式是 o2、一张1024x512像素的16位彩色bmp图像能包含的最大信息量为 。3、香农编码中，概率为p(xi)的信源符号xi对应的码字ci的长度ki应满足不等式 00.25 0.5 0.253、设有一个信道，其信道矩阵为 0.25 0.25 0.5 ,则它是 信道(填对称，准对称)，其信0.5 0.25 0.25道容量是 比特/信道符号。、 x =卜x21,通过一个干扰信道，接受符号集为丫=1 y1，信道转移矩阵为4 4|p(x)_ 0.5 0.5j3 1-4 4试求(1) h(x),h(y),h(xy);(2) h(y|x),h(x|y); i(y；x)

14、。(4)该信道的容量c(5)当平均互信息量达到彳s道容量时，接收端 y的嫡h (y) 计算结果保留小数点后2位，单位为比特/符号。四、简述平均互信息量的物理意义，并写出对应公式五、假设英文字母表(n=26),密钥k=abc,当明文m=familycome时，使用vigenere密码算法后得到的密文c=?请写出具体的步骤 六、设有离散无记忆信源，具概率分布如下:xi x1二 12x2 x3 x4 x5 x6j 1 工工4 8 16 32 64x7口64对其进行费诺编码，写出编码过程，求出信源嫡、平均码长和编码效率七、信道编码1 0,0 1现有生成矩阵gs = 0 s 10 0/ 00 0 111

15、0 0 11010 0 110 110 11.求对应的系统校验矩阵hs2求该码字集合的最小码字距离d、最大检错能力lmax最大纠错能力t maxes000000000000010000010000010000010000010000010000010000002.填写下面的es表4.现有接收序列为r =(1100100),求纠错译码输出?5. 5.画出该码的编码电路(四)四、简答题1 .利用公式介绍无条件嫡、条件嫡、联合嫡和平均互信息量之间的关系。2 . 简单介绍哈夫曼编码的步骤五、计算题4 211 .某信源含有三个消息，概率分别为p(0)=0.2, p(1)=0.3, p(2)=0.5,失真

16、矩阵为d = 0 3 2。：2 01 _求 dmax、dmin 和 r (dmax)。1112 .设对称离散信道矩阵为 p = 33 6111：6 6 33 .有一稳态马尔可夫信源，已知转移概率为(1)画出状态转移图和状态转移概率矩阵。(2)求出各状态的稳态概率。(3)求出信源的极限嫡。116 ,求信道容量co13p(si/ si)= 2/3, p(s/ s2)= 1。求:(五)一、填空题(1)1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。(2) 必然事件的自信息是 。(3) 离散平稳无记忆信源 x的n次扩展信源的嫡等于离散信源 x的嫡的 。(4) 对于离散

17、无记忆信源，当信源嫡有最大值时，满足条件为_ _。(5) 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 。(6) 已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出 个码元错误，最多能纠正一个码元错误。设有一离散无记忆平稳信道，其信道容量为 c,只要待传送的信息传输率rc(大于、小于或者等于)，则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。(8)平均错误概率不仅与信道本身的统计特性有关，还与 和 有关二、判断题(1) 信息就是一种消息。()(2) 信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。()(3) 概率大的事件自信息量

18、大。()(4) 互信息量可正、可负亦可为零。()(5) 信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 ( )(6) 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。()(7) 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。()(8) 信源变长编码的核心问题是寻找紧致码(或最佳码)，霍夫曼编码方法构造的是最佳码。 ( )(9)信息率失真函数 r(d)是关于平均失真度 d的上凸函数.()三、居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高 1.6米以上的某

19、女孩是大学生”的消息，问获得多少信息量?解：设a表示“大学生”这一事件，b表示“身高1.60以上”这一事件，则 p(a)=0.25 p(b)=0.5 p(b|a)=0.75故 p(a|b尸p(ab)/p(b)=p(a)p(b|a)/p(b)=0.75*0.25/0.5=0.375i(a|b)=-log0.375=1.42bit五、.黑白气象传真图的消息只有黑色和白色两种，求：1)黑色出现的概率为 0.3,白色出现的概率为 0.7。给出这个只有两个符号的信源x的数学模型。假设图上黑白消息出现前后没有关联，求嫡h(x );2)假设黑白消息出现前后有关联，其依赖关系为产6/印=09尸(黑伯)= 0

20、1 f/黑)=02尸(黑/黑)=08 ) ) )3)分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。六、.信源空间为x2x3x4x5x6x7xx1p(x) = 0.2 0.19 0.18 0.17 0.15 0.1 0.01，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和= 3.14r =i 13.14l0rl -p(ai )l i编码效率（要求有编码过程）信源消息 备号斗符号航 率同累加照-log 则 j眄字长 度1码字“211(1232300(1dj9q.22.393001uj80j914730110.170.57256310。国0.15il741743101缘0.100

21、.893.3211100.01(l996.647111111(17h(x) 2.61七.设有一离散信道,其信道传递矩阵为准则确定译码规则,1/21/6j/3算相应的平均错误概率。1/31/21/61)1/6p(xi)1/ 3 ，并设,p(x2)1/2p（x3）最小似然译码准则下,41=1，试分别按最大后验概率准则与最大似然译码有,-=0.8312）（最大后验概率准则下，有,/i二元对称信道如图。1）若 乂。）=4,1p(=_,求 h(x 卜 h(x |丫)和 i(x;y)； 42）求该信道的信道容量。1解:1）共6分h(x) = 0 8113 符号h x |y =0.749bit/符号莺f)

22、0 0616加符号2),c = 0 082加工符号，此时输入概率分布为等概率分布。九、设一线性分组码具有一致监督矩阵1【11)求此分组码 门=?k=?共有多少码字?2)3)4)2)设码字 c =(c5c4 c3 c2cle0hct=0t得求此分组码的生成矩阵 go写出此分组码的所有码字。若接收到码字（101001）,求出伴随式并给出翻译结果。解：1） n=6,k=3,共有8个码字。（3分）c2 二 c1 二 c0 = 0c4 二 c3 = c0 = 0c5c3c1c0(3分)令监督位为92cle0 则有生成矩阵为c2 =c5 二 c3c1 = c5 二 c4c0 =c4 二 c3(2分)一11

23、0：0(3分)1 03）所有码字为 000000, 001101, 010011, 011110, 100110, 101011 , 110101, 111000。（4分）4）由 st =hrt 得s = （101）,（2分）该码字在第5位发生错误，（101001）纠正为（101011）,即译码为（101001） （1分）（六）、概念简答题1 .什么是平均自信息量与平均互信息，比较一下这两个概念的异同?2 .简述最大离散嫡定理。对于一个有m个符号的离散信源，其最大嫡是多少?3 .解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关 系？4

24、.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。5.写出香农公式，并说明其物理意义。当信道带宽为5000hz，信噪比为30db时求信道容量。6 .解释无失真变长信源编码定理。7 .解释有噪信道编码定理。8.什么是保真度准则？对二元信源1 一田j ,其失真矩阵,求a0时率失真函数的 口小和“由?二、综合题1.黑白气象传真图的消息只有黑色和白色两种，求:1）黑色出现的概率为 0.3,白色出现的概率为0.7。给出这个只有两个符号的信源x的数学模型。假设图上黑白消息出现前后没有关联，求嫡 出（工）；2）假设黑白消息出现前后有关联,其依赖关系为:p白伯）f（黑伯）= 0.1

25、 f6,黑）= 0.2 f黑2/31/32/32.二元对称信道如图。1）若尸z,尸，求出和六兄丫）； 2）求该信道的信道容量和最佳输入分布。 ,3 .信源空间为怛.04 0.2 0 1 0.1 0.05 0.057%1105 s0$j ,试分别构造二元和三元霍夫曼码,计算其平均码长和编码效率。4 .设有一离散信道，其信道传递矩阵为_ 3121并设产（公）=不户名）=t4,试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。5.5.已知一（8, 5）线性分组码的生成矩阵为1000011110100010000100010o0d1o0q100001111求：1）输入为

26、全00011和10100时该码的码字；2）最小码距。6.设某一信号的信息传输率为5.6kbit/s ,在带宽为4khz的高斯信道中传输，噪声功率谱no=5 10 6mw/hz）试求:（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续嫡是多少？写出对应的输入概率密度函数的形式。答案概念简答题耳（幻=p（xi）logp（xi）1 .答：平均自信息为i 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。人尤平均互信息表示从丫获得的关于每个 x的平均信息量，也表示发 x前后丫的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。2 .答：最大离散燧定理为：离散

27、无记忆信源，等概率分布时燧最大。最大厢直为叫叫3 .答：信息传输率r指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所 对应的输入概率分布称为最佳输入概率分布。u型凸函数。平均互信息是信源概率分布的n型凸函数，是信道传递概率的4 .答：通信系统模型如下:数据处理定理为：串联信道的输入输出x y、z组成一个马尔可夫链，且有o说明经数据处理后,一般只会增加信息的损失。5 .答：香农公式为p瓦可hit i s,它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。101g由*3。-1000,则4= 50001。&(1 + 10

28、00) = 4983$ 加豆6.答:只要l log*加，当n足够长时，一定存在一种无失真编码。7.答:当r c时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。8.答:1）保真度准则为：平均失真度不大于允许的失真度。2）因为失真矩阵中每行都有一个0,所以有4加一。，而入镶二-训t）二、综合题 中的=等n 3i.答：i）信源模型为l ”白尸白0, 7h(x) = -p(ai)10g2=0.881 反符号i-12)由产=工黄”产(邛唉i =1,2 j-if0d+f)=1也=乏2?）尸。1恤/叼佃）=至33加”符号2.答：1）日（=0,8113切符号0 0616 mm符号2

29、）0982加符号，最佳输入概率分布为等概率分布。3 .答：1）二元码的码字依序为：10, 11, 010, 011, 1010, 1011, 1000, 1001 o平均码长26加/符号,编码效率%=0-972）三元码的码字依序为：1, 00, 02, 20, 21, 22, 010, 011 o平均码长4 = l7尻上/符与,编码效率书一口864尸81=巧14 .答：1）最小似然译码准则下，有尸5）=个，苫2poi） = f（z） .巧尸=112）最大错误概率准则下，有【尸=，s 245 .答：1）输入为00011时，码字为00011110;输入为10100时，码字为101001012）t

30、一氏二=阴10&（1 + 6.答：1）无错传输时，有抵职即2蛾用陶。公。乙/则八。回8加2）在尸m032s呼寸，最大嫡=-10g/2f) = -54 加自由度 2z 0 0656x1 or对应的输入概率密度函数为vo.2o6xlo-3二、填空（100道）1、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用 三个方面的因素。2、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论3、按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。4、按照信息的地位，可以把信息分成客观信息和主观信息。5、人们研究信息论的目的是为了 高效、可靠、安全 地

31、交换和利用各种各样的信息。6、信息的 可度量性 是建立信息论的基础。7、统计度量是信息度量最常用的方法。8、嫡 是香农信息论最基本最重要的概念。9、事物的不确定度是用时间统计发生概率的对数来描述的。10、单符号离散信源一般用 随机变量描述，而多符号离散信源一般用随机矢量 描述。11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。12、自信息量的单位一般有 比特、奈特和哈特。13、必然事件的自信息是 0 。14、不可能事件的自信息量是8 。15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。16、数据处理定理：当消息经过多级处理后，随着处理器数目的

32、增多，输入消息与输出消息之间的平均互信 息量趋于变小 。17、离散平稳无记忆信源x的n次扩展信源的嫡等于离散信源 x的燧的n倍。18、离散平稳有记忆信源的极限嫡，hq0=nimh(xn/x1x2 xnl19、对于n元m阶马尔可夫信源，其状态空间共有nm个不同的状态。20、一维连续随即变量x在a, b区间内均匀分布时，其信源嫡为10g 2 (b-a)。1 . c - 10g 2 2二ep 21、平均功率为p的高斯分布的连续信源，具信源嫡，hc (x) =2。22、对于限峰值功率的n维连续信源，当概率密度 均匀分布 时连续信源嫡具有最大值。23、对于限平均功率的一维连续信源，当概率密度 高斯分布时

33、,信源嫡有最大值。24、对于均值为0,平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值 p和信源的嫡功率p上 比。25、若一离散无记忆信源的信源嫡 h (x)等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少 为 3。 n、m 4 三 126、m元长度为ki, i=1 , 2, n的异前置码存在的充要条件是：匕 。27、若把掷骰子的结果作为一离散信源，则其信源嫡为log 26 028、同时掷两个正常的骰子，各面呈现的概率都为1/6 ,则“3和5同时出现”这件事的自信息量是(1+2 10gz3)。1 ) p(x) = - e m29、若一维随即变量x的取值区间是0, oo,其

34、概率密度函数为m ，其中：x之0, m是x的数学期望，则x的信源嫡hc(x) =10g2 me。30、一副充分洗乱的扑克牌(52张)，从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则 其信源嫡为10g2 52 。31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、平离散或半连续信道。32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆 信道。33、具有对应关系的无噪信道的信道容量c= 10g 2n 。34、强对称信道的信道容量c= 10g孚-hni 。35、对称信道的信道容量 c= 10g 2m-hni。36、对于离散无记忆信道和信源的 n次扩展，其信

35、道容量cn= n 。 n、ck37、对于n个对立并联信道，其信道容量 cn =2038、多用户信道的信道容量用 多维空间的一个区域的界限 来表示。39、多用户信道可以分成几种最基本的类型：多址接入信道、广播信道 和相关信源信道。40、广播信道是只有 一个输入端和多个输出端 的信道。41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为加性连续信道1pylog2(1 ) 42、高斯加性信道的信道容量c=2pn 。信息率小于信道容量43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是1/2 1/2 044、信道矩阵1 001代表的信道的信道容量 c=上。

36、-1 01 045、信道矩阵/ 1 -代表的信道的信道容量 c= l 。46、高斯加性噪声信道中，信道带宽 3khz,信噪比为7,则该信道的最大信息传输速率 c= 9 khz 。47、对于具有归并性能的无燥信道，达到信道容量的条件是p (y) =1/m)。1 048、信道矩阵0 1 .代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率 c= 10khz。49、信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。50、求解率失真函数的问题，即：在给定失真度的情况下，求 信息率的极小值。51、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定

37、性就越大,获得的信息量就越小。52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率也越小。53、单符号的失真度或失真函数d (x, y)表示信源发出一个符号x信宿再现w所引起的 误差或失真。0 i = j=54、汉明失真函数d (xi, y) = j i金j o55、平方误差失真函数d (xi, yj) = (yj_- x。2。56、平均失真度定义为失真函数的数学期望，即 d(x., yj)在x和y的 联合概率空间p (x中 的统计平 均值。57、如果信源和失真度一定，则平均失真度是信道统计特性的函数。58、如果规定平均失真度d不能超过某一限定的值d,即：ded。我们把de d

38、称为 保真度准则。59、离散无记忆n次扩展信源通过离散无记忆 n次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 n 倍。60、试验信道的集合用pd来表示，则pd= %yj/xidwi =12，n,j =12，m61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的最小值62、平均失真度的下限取0的条件是尖真矩阵的每一行至少有一个零元素 。63、平均失真度的上限也取仅：j=1 , 2,，m中的最小值。64、率失真函数对允许的平均失真度是单调递减和连续的。65、对于离散无记忆信源的率失真函数的最大值是log 2n 。66、当失真度大于平均失真度的上限时 dmax_时

39、，率失真函数r (d) = 0 o67、连续信源x的率失真函数r (d)=infp(y/x) pdi(x;y)68、69、当d e。2时，高斯信源在均方差失真度下的信息率失真函数为 r(d) = 保真度准则下的信源编码定理的条件是 信源的信息率r大于率失真函数1 二2-log 2 -2d0r (d)。:x = ；01 ；070、某二元信源1p(x)1/2 1/2其失真矩阵d=laao-则该信源的dna= a/2x _71、某二元信源p（x）x ;72、某二元信源一p（x） 73、按照不同的编码目的,01：-01/2 1/2j其失真矩阵d=!a01|?1/2 1/2,其失真矩阵d=_a 编码可以

40、分为三类：分别是a i0一则该信源的 dn= 0。一一，则该信源的 r （d） = 1-h （d/a）。信源编码、信道编码和安全编码。74、信源编码的目的是：提高通信的有效性。75、一般情况下，信源编码可以分为 离散信源编码、连续信源编码和相关信源编码。76、连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理。77、在香农编码中，第i个码字的长度ki和p （xi）之间有一l0g2 p（x。eki “ 1对应的二元序列的编码效率为4,则三者的关系是 n 0 n n 1。85、在实际的游程编码过程中，对 长码一般采取 截断 处理的方法。86、“0”游程和“ 1”游程可以分别进行哈夫曼编码，

41、两个码表中的码字可以重复，但c码 必须不同。87、在多符号的消息序列中，大量的重复出现的，只起占时作用的符号称为冗余位。88、“冗余变换”即：将一个冗余序列转换成一个二元序列和一个 缩短了的多元序列。89、l-d编码是一种分帧传送冗余位序列的方法。90、l-d编码适合于冗余位较多或较少的情况。91、信道编码的最终目的是 提高信号传输的可靠性。92、狭义的信道编码即：检、纠错编码。93、bscb道即：无记忆二进制对称信道 。94、n位重复码的编码效率是1/n。95、等重码可以检验 全部的奇数位错和部分的偶数位错。96、任意两个码字之间的最小汉明距离有称为码的最小距dmin,则dm市mndcc）。

42、dmin -197、若纠错码的最小距离为dmin,则可以纠正任意小于等于t= - 2 -个差错。98、若检错码的最小距离为dmin,则可以检测出任意小于等于 e= dmin-1个差错。99、线性分组码是同时具有 分组特性和线性特性 的纠错码。100、循环码即是采用 循环移位特性界定 的一类线性分组码。策 在输出幅度受限的情况，服从均匀分布的随机变量x具有最大输出嫡。策 对于平均功率受限的连续随机变量，当服从高斯分布时具有最大嫡。三、判断（50道）1、自信息量是p（xi）的单调递减函数。对2、单符号离散信源的自信息和信源嫡都具有非负性。对3、单符号离散信源的自信息和信源嫡都是一个确定值。错4、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的。对5、自信息量、条件自信息量和联合自信息量之间有如下关系：i(xyj) = i(x) + i(yj /x) = i(yj) + i(x /yj)对6、自信息量、条件自信息量和互信息量之间有如下关系：i(xyj) =i(xi)i(xi/yj) =i(