DSP复习.doc

一、填空题（本题20空，每空1分，共20分） 1、信源编码的目的是提高通信的 ，信道编码的目的是提高通信的 。2、设信源X包含8个不同离散消息，当且仅当X中各个消息出现的概率为_时，信源熵达到最大值，最大熵为_ bit/符号。3、以等概出现的二进制码元（0，1），每个码元所包含的自信息量为_。4、若信道的输入与输出元素个数相等，即n=m，形成一一对应的关系，那么该信道的信道容量为_。5、在限失真情况下，若使信息率至少等于信源输出的平均信息量，那么信源的最小平均失真度应为_。6、描述二元信道输入输出关系或噪声干扰程度的参数是转移概率P(y/x)，如果转移概率P(0/1) = P(1/0) = P，则称此信道为_。7、若随机事件发生xi的概率为p(xi)，那么它的自信息量为_。8、自信息量I(xi)具有如下性质，即p(xi)=1时，I(xi)= _，而p(xi)=0时，I(xi)= _。9、在无失真信源编码和信道编码中信息速率R、信道容量C、信源熵H(X)三者之间的关系是_。10、树图法是构成惟一可译码的一种简单方法，构成惟一可译码的充分和必要条件应符合“可拉夫特”不等式，其表示为_。11、自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越_。12、信源的冗余度来自两个方面，一是信源符号之间的_，二是信源符号分布的_。13、无失真信源编码的中心任务是编码后的信息率压缩接近到 限失真压缩中心任务是在给定的失真度条件下，信息率压缩接近到 。14、离散对称信道输入等概率时，输出为 分布。15、根据码字所含的码元的个数，编码可分为 编码和 编码。16、在现代通信系统中，信源编码主要用于解决信息传输中的 ，信道编码主要用于解决信息传输中的 。17、对称DMC信道的输入符号数为n，输出符号数为m，信道转移概率矩阵的元素为，则该信道的容量为 。18、采用m进制编码的码字长度为Ki，码字个数为n，则克劳夫特不等式为 ，它是判断 的充要条件。19、如果所有码字都配置在二进制码树的终端节点，则该码字为 。20、设某信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为 。21某离散无记忆信源X，其符号个数为n，则当信源符号呈 _分布情况下，信源熵取最大值_ _bit/符号。22、在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于 _ _ _ _ 。23、香农信息论中，信息是对消息_特性的一种定量描述，信息是消除_的东西。24、已知p(ai)和p(aibj)，其中i=1,2,n，j1,2,m，那么p(bj)_，p(bj|ai) = _。（用p(ai)和p(aibj)表示）25、消息ai的概率为p(ai)，那么它的自信息I(ai)是p(ai)的单调_函数；当p(ai)0时，I(ai)_；当p(ai)1时，I(ai)_。26、信源X的信息熵H( X )表示信源发出消息前，信源的_，或者表示信源发出消息后，每个消息所提供的_。27、设信源为X，信宿为Y，它们的熵分别为H( X )和H（Y），那么条件熵H( X | Y) _ H( X )；平均互信息I( X ; Y) _ H( X )。（填“”、“”、“”、“”中的一个）28、设信源为X，信宿为Y，那么信道每传输一个符号，信宿Y获得的关于信源X的信息量为_，传输过程中损失的信源的信息量为_，增加的噪声不确定性为_。（每空填一个物理量）29、信源符号间的依赖程度越大，信源的符号熵越_，信源的冗余率越_。30、克劳夫特不等式是唯一可译码_的充要条件。31、平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_。32、LZ-77码采用_个字段编码，LZ-78码采用_个字段编码，LZW码采用_个字段编码。二、判断题（对划“”，错划“”，本题5小题，每小题2分，共10分） 1、对于单符号离散信源，符号自信息和信源熵都是有界的。（ ）2、互信息和平均互信息均是非负的。（ ）3、信源的冗余率可以提高系统的抗干扰能力，降低系统的信息传输速率。（ ）4、信道容量是信道输入概率上信道输入与信道输出最大平均互信息，仅与信道转移概率有关。（ ）5、对称离散信道的信道容量只与信道转移矩阵每行元素和输出符号个数有关。（ ）6、信源X的概率分布为P(X)=1/2, 1/3, 1/6，信源Y的概率分布为P(Y)=1/3,1/2,1/6，则信源X和Y的熵相等。 （ ）7、互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。 （ ）8、对四进制信源符号X=a1,a2,a3,a4进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K4=3，满足这种码长组合的码一定是唯一可译码。（ ）9、对四进制信源符号X=a1,a2,a3,a4进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K4=3，一定存在唯一可译码满足这种码长组合。（ ）10、等长的非奇异码一定是唯一可译码。（ ）11、不等长的非奇异码一定是唯一可译码。（ ）12、唯一可译码一定是即时码。（ ）13、霍夫曼码是最佳码，但不唯一。（ ）14、游程码是对游程长度序列进行编码，适合二元相关信源。（ ）15、算术编码是非分组码。（ ）16、LZ系列编码与信源的统计无关。（ ）17、可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ）18、算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （ ）19、离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。 （） 20、信道容量是信道中能够传输的最小信息量。 （）21、香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （）22、确定性信源的熵H(0,0,0,1)=1。 （ 错 ） 23、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 （ 对 ）24、信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。 （ 对 ）25、信源编码通常是通过压缩信源的冗余度来实现的。 （）26、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。（）27、游程序列的熵（“0”游程序列的熵与“1”游程序列的熵的和）大于等于原二元序列的熵。（）28、在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。（）三、名词解释（本题2小题,每小题5分,共30分）1. 请给出平均互信息的三种数学定义。（6分）2. 假设X表示信源Y表示信宿，请简述条件熵H (X |Y )和H (Y | X )的物理意义。（6分）3. 请简述数据处理定理的内容、解决方法及原理。（6分）4. 请分别判别以下各信道转移矩阵代表的信道属于哪种“无噪”信道，并求其信道容量。（6分）（1）（2）5. 设二元对称信道的传递矩阵为，求该信道的信道容量及达到信道容量时的输入概率分布。（6分）6. 什么是损失熵、噪声熵？什么是无损信道和无噪信道？如输入输出为，则它们的信道容量分别为多少？答：将H（X|Y）称为信道的疑义度或损失熵，损失熵为零的信道就是无损信道，信道容量为logr。将H（Y|X）称为信道的噪声熵，噪声熵为零的信道就是无噪信道，信道容量为logs。7、对于下列5种不同的码组W1, W2, W3,W4, W5，请说明：（1）哪些是惟一可译码，哪些不是惟一可译码，（2）哪些是即时码，哪些不是即时码。Si P(Si)W1W2W3W4W5S11/201011S21/4100011001S31/800011011100001S41/811100111100000018、对于下列4种不同的码组W1, W2, W3,W4，请说明：（1）哪些是惟一可译码，哪些不是惟一可译码，（2）哪些是即时码，哪些不是即时码。Si P(Si)W1W2W3W4S10.500000S20.251010110S30.1250100011110S40.1251111011111109、什么是游程编码？什么是游程变换？假设第一个游程为0游程，对二元序列000101110010001进行游程变换。10、对选取的n值，游程编码是如何对长码进行截断处理的？若游程长度为的游程对应的码字为C，则游程长度为和的游程码字为多少？11、请说明对称离散信道和准对称离散信道的区别。12、请简述费诺码的编码步骤。13、请简述香农码的编码步骤。14、信源的概率分布和失真矩阵分别如下，求率失真函数的定义域的Dmin和Dmax。 15、设信源的概率分布和失真矩阵分别如下，求率失真函数的定义域的Dmin和Dmax。 四、计算题（本题4小题,共40分）1、二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件。x0：一个0发出；x1：一个1发出y0：一个0收到；y1：一个1收到给定下列概率：p(x0)=1/2，p(y0/x0)=3/4，p(y0/x1)=1/2，（1） 求信源的熵H(X)；（2） 已知发出的符号，求收到符号后得到的信息量H(Y/X)；（3） 已知发出和收到的符号，求能得到的信息量H(XY)；（4） 已知收到的符号，求被告知发出的符号得到的信息量H(X/Y)；（5） 求收到的符号Y后，所提供的关于信源X的平均互信息量I(X;Y) 2、设DMC信道的传输情况如图所示。 （1）试写出该信道的转移概率矩阵；（2）求该信道的信道容量。 （2+3=5分）3、设输入信号的概率分布为P=(1/2,1/2)，失真矩阵为。试求Dmin，Dmax，R(Dmin)，R(Dmax)。 （8分）4、某信源含有三个消息，概率分别为p(0)=0.2，p(1)=0.3，p(2)=0.5，失真矩阵为。求Dmax、Dmin和R(Dmin)、R (Dmax)。5、设有离散无记忆信源共有5个符号消息，其概率分布为=0.4，0.2，0.2，0.1，0.1。（1）对这5个符号进行二进制哈夫曼编码（给出编码过程），写出相应码字，并求出平均码长和编码效率（2）哈夫曼编码的结果是否唯一？如果不唯一，请给出原因。 （7+3=10分）6、设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道传输概率如下图所示。(1) 计算信源中事件包含的自信息量；(2) 计算信源的信息熵；(3) 计算信道疑义度；(4) 计算噪声熵；(5) 计算收到消息后获得的平均互信息量。7、某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为.3. 计算接收端的平均不确定度；4. 计算由于噪声产生的不确定度；5. 计算信道容量以及最佳入口分布.8、设码符号为，信源空间为试构造一种三元紧致码.9、已知信源（1）用霍夫曼编码法编成二进制变长码；（6分）（2