信息理论与编码答案 姚善化 清华大学出版社.doc

信息理论与编码习题参考答案第1章1. 信息是什么?信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。三者之间是内涵与外延的关系。第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？ 答：依据题意，这一随机事件的概率空间为 其中：表示摸出的球为红球事件，表示摸出的球是白球事件。a)如果摸出的是红球，则获得的信息量是（比特）b)如果摸出的是白球，则获得的信息量是（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取次，红球出现的次数为次，白球出现的次数为次。随机摸取次后总共所获得信息量为d)则平均随机摸取一次所获得的信息量为2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？答：设事件A为女孩是大学生；设事件B为女孩身高1.6米以上。根据题意，则知：而“身高1.6米以上的某女孩是大学生”这消息表明是在B事件发生的条件下，A事件发生。所以其概率为根据贝叶斯定律可得则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量（比特）3. 设一个系统传送10个数字：0,1,2,9。奇数在以0.5的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量？答：发送集合接收集合其中因为所以最后得：（比特/符号）4. 某一无记忆信源的符号集为0,1，已知信源的概率空间为。(1)求信源熵。(2)求由个“0”和(100-)个“l”构成的某一特定序列的自信息量的表达式。(3)计算由100个符号构成的符号序列的熵。答：（1）信源熵为（2）该特定序列用表示则（3）因为信源是无记忆信源，所以5. 有一离散无记忆信源，其输出为，相应的概率为，设计两个独立实验去观察它，其结果分别为，。已知条件概率如表2-4所示。表2-4 习题5表010101001010111021/21/2201(1)求和，并判断作哪一个实验好些。(2)求，并计算作Y1和Y2两个实验比作Y1或Y2中的一个实验各可多得多少关于的信息。(3)求和，并解释它们的含义。答：（1），要求和需要先求，已知。，要求和需要先求，已知。由及联合概率分布与边缘概率分布的关系可得及，如表2-1所示：表2-1 010101/4001/40101/411/4021/41/4201/21/21/21/21/2所以同样可求出及，如表2-2所示：所以因此第二个实验好些。（2），因此要求出，和。由于、是相互独立的实验，所以。（见表2-2和表2-3）表2-2 000110110100010010201/201/2表2-3 0001101101/40001001/40201/401/41/41/41/41/4可以看到：做和两个实验比做一个实验可多得到的信息为可以看到：做和两个实验比做一个实验可多得到的信息为（3），它表示做完实验以后，从实验可得到关于的信息量。，它表示做完实验以后，从实验可得到关于的信息量。6. 设信源通过一干扰信道，接收符号为，信道传递概率如图2-7所示。求：(1)信源中事件和分别携带的自信息量。(2)收到消息后，获得的关于的信息量。(3)信源和信源的信息熵。(4)损失熵和噪声熵。(5)接收到消息后获得的平均互信息。图2-7 习题6图答：（1）因为所以(比特)(比特)（2）收到消息的概率为：所以收到消息后获得的关于的信息量即为：(比特/符号)(比特/符号)(比特/符号)(比特/符号)（3）(比特/符号)(比特/符号)（4）其中所以噪声熵：(比特/符号)损失熵：(比特/符号)（5）接收到消息后所获得的平均互信息量为：(比特/符号)7. 某信源的消息符号集的概率分布和二进制代码如题表2-5所示。表2-5 习题7表信源符号概率1/21/41/81/8代码010110111试求：(1)消息的符号熵。(2)平均每个消息符号所需要的二进制码元的个数或平均代码长度结果求码序列中的一个二进制码元的熵。(3)消息是由符号序列组成的，若各符号之间相互独立，假设其对应的二进码序列中出现“0”和“1”的无条件概率为和，求相邻码间的条件概率、。答：（1）信源熵为（2）设平均代码长度为，则二进制码元的熵为（3）由于符号间相互独立，因此，为求相邻码元间的条件概率，先求相邻码元间的联合概率：所以同理8. 二次扩展信源的熵为，而一阶马尔可夫信源的熵为，试比较两者的大小，并说明原因。答：二次扩展信源的熵是一个联合熵，其值应该大于单符号信源熵，而马尔可夫信源的熵是一个条件熵，其值小于单符号信源熵。马尔可夫信源符号间的依赖关系提供了额外的信息量，从而减小了信源的不确定性。9. 设有一个马尔可夫信源，它的状态集为,符号集为，及在某状态下发出符号的概率为，如图2-8所示。图2-8 习题9图试求：(1)求出图2-8中马尔可夫信源的状态极限概率，并找出符号的极限概率。(2)计算信源处在某一状态下输出符号的条件熵。(3)求出马尔可夫信源熵。答：（）由状态图得：所以信源的状态极限概率为：所以信源的符号极限概率为：（）信源处在某一状态输出符号的条件熵为：(比特/符号)(比特/符号)(比特/符号)（）马尔科夫信源熵为： (比特/符号)10. 一个马尔可夫过程的基本符号为0，l，2，这3个符号等概率出现，并且具有相同的转移概率。(1)画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H1。(2)画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵H2。答：（状态图略）（1）一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为1/3，设状态的平稳分布为，根据可得，3种状态等概率分布。一阶马尔可夫信源熵为信源剩余度为（2）二阶马尔可夫信源有9种状态，同样列方程组求得状态的平稳分布为二阶马尔可夫信源熵为信源剩余度为由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。11. 证明对于平稳信源有，并说明等号成立的条件。答：设离散平稳信源输出的随机符号序列为。又设，而且都取自于同一符号集，并满足有，在区域0,1内设，在内是上凸函数，所以满足詹森不等式 其中现令，设其概率空间为，并满足所以根据詹森不等式得所以 上式对所有的取值都成立，所以即所以因为，所以上式两边相乘，等号不变。有上式对所有都成立，所以对所有求和下式也成立因为所以是平稳信源得只有当（对所有）时等式成立。证毕12. 在一个33的国际象棋棋盘上，试求：(1)“王”随机行走的熵率。(2)相同情况下“车”、“象”和“后”对应的熵率(“象”分为两种)。 答：（1）由于“王”不能停在当前格上，必须走一步，所以就9个状态的稳态分布为其中是从第格出发能够到达的格子数，。通过简单的计算可得：，再根据“随机行走”的意义可得因此最终结果为（2）“车”不管在哪个格子，它都有4个走向，例如它在1号格子，它可以去2、3、4、7号格子，因此状态的稳态分布为均匀分布：，车随机行走的熵率为同样可得；13. 求具有如下概率密度函数的随机变量的熵。(1)指数分布(2)(3)单边高斯密度答：（1）（奈特/样值）（2）（奈特/样值）（3）设表示高斯密度函数，它的微分熵为。单边高斯分布的微分熵为 （因为）（比特/样值）14. 连续随机变量和的联合概率密度为试求，和。答：15. 一信源产生的时不变波形信号(即信号统计特性不随时间而变)的带宽为4kHz，幅度分布为试求该信源的信息输出速率。答：该信源的绝对熵由于本题中，并不趋于0，所以（奈特/样值）按照奈奎斯特定理，对该波形信号的抽样率至少为。信源的输出信息率为：（奈特/秒）第3章1. 假设一个二元等概率离散无记忆信源，通过一个二进制对称信道，表示符号传输差错，其失真函数和信道转移概率分别为，试求失真矩阵和平均失真度。答：由式（3-4）的失真矩阵可得由信道转移概率矩阵和式（3-7）可以得到，平均失真度为2. 已知一个等概率无记忆信源，其失真函数为试求：(1)率失真函数；(2)当信源，时的。答：（1）失真函数矩阵为由信道对称性可设信道转移概率矩阵为由得， 允许失真为又因为，由（3-13）可得率失真函数为（2）当信源，时，3. 设一个符号等概率输出的离散无记忆信源的失真函数矩阵为试求：(1)率失真函数；(2)信道转移概率。答：由失真函数可知通过的信道为对称信道，故可设对称性可设信道的转移概率则由信源概率分布和信道转移概率分布可得到信宿接收信号的概率分布，得则最大限定失真度因为信宿的信息熵为可以求出信息率失真函数信道转移概率矩阵为4. 设一等概率离散无记忆信源，信宿接收符号，其失真函数矩阵为试求最大失真度、最小失真度和率失真函数。答：由已知对称信源和失真函数矩阵可知，它的平均失真度再根据最大失真度的定义，有根据率失真函数定义可得5. 设一个进制离散无记忆信源的失真函数为试证明：。证：由失真函数的对称性和信道转移概率矩阵的归一性可以求得可以求得 。进一步可求得率失真函数证比。6. 设一个等概率离散无记忆信源，信宿接收符号为，其失真函数矩阵为 试求信源的最大失真度和最小失真度，并求选择何种信道可以满足最大失真度和最小失真度的要求。答：由最大平均失真度的定义可知最小失真度为如果信道要达到最大失真度，信道的转移概率矩阵为，或，或（）如果信道要达到最大失真度，信道的转移概率矩阵为，或，或7. 已知一个等概率离散无记忆信源，信宿接收符号为，失真函数矩阵为试求信源的率失真函数。答：由失真函数可以看出,信源输出消息符合为0,1,且等概率，信宿接收到的消息符号有3个，分别为0，1，2，由失真函数可知：；。由于失真度为对称性，亦为对称性，并由概率归一性，故可进一步假设转移概率矩阵：其中，假设为信道的转移概率。将代入到转移概率矩阵，得到：再由概率性质，求得信宿端各符号的概率分布为进而可以得到信宿接收的各消息的概率分布由此可以得到：最后可求得：（比特/信源符号）8. 设一等概率离散无记忆信源，其失真函数为汉明失真函数，(1)试求最小失真度和。(2)试求最大失真度和。(3)若最大允许失真度，试问信源每一个符号的平均二进制码长是多少？答：汉明失真函数和信道转移概率矩阵分别为，（1）最小失真度和分别为，。（2）最大失真度和分别为=09. 设一离散无记忆信源，每秒发出2.66个符号，通过一个二进制无噪信道传输，该信道每秒仅能传两个二进制符号，试问：(1)该信道能否实现对该信源符号的无失真传输。(2)如果不能，在失真度为汉明失真的条件下，该信道的最大允许失真为多少？答：（1）由已知信源可以求得该信源的熵（比特/信源符号）信源输出的信息率为（比特/秒），而在二元无噪无损信道中传输时，由于该信道每秒仅能传两个二进制符号，即信道的最大信息传输率为（比特/秒）根据信道编码定理，无论采用何种信源编码都必然会失真。（2）若该信道的失真度为汉明失真，所以信源的率失真函数为（比特/信源符号）（比特/秒） 当，此信源在此信道中传输时不会产生差错，总的信源失真就是允许失真，即10. 已知连续信源的概率密度函数为，其失真函数为，试求信源的信息率失真函数。 答： 求解连续信源的信息率失真函数时，首先求解最大允许失真度令，可以求得由限功率的最大连续熵定理，在条件下的最大熵为根据条件熵的定义可得则平均互信息由于函数是试验信道满足保真度准则条件下的最小平均互信息，故将连续信源的概率密度函数代入即可求得率失真函数，即第4章1. 假设一离散有扰信道，其信道转移概率如图4-20所示。试求：(1)信道容量；(2)若，试求信道容量。答：（1）信道容量为 （2）若，则2. 一非对称离散信道的信道转移概率如图4-21所示。试求：(1) 信道容量。 图4-20 习题1图图4-21 习题2图(2)若将两个相同的信道串接，试求串接后的信道转移概率和信道容量。答：（1）（比特/秒）（2）串接后信道转移概率矩阵为（比特/秒）3. 在一个有扰的离散信道上等概率传输二进制符号，信道的传号率为每秒1000个符号，若每传输100个符号会发生一个错误，试求该信道容量。答：该信源为二元等概率信源，信源熵为（比特/符号），则该信道的实际传信速率为/秒。该信道的转移矩阵为所以信道的容量为（比特/符号）4. 已知信道的输入符号为，且等概率分布，有两个信道，其转移概率矩阵分别为 试求这两个信道的信道容量和，试问这两个信道有无噪声？答：信源熵（比特/符号）（比特/符号）因为，故信道1有噪声。（比特/符号）因为=，故信道2无噪声。5. 已知有两个信道和的转移概率矩阵分别为 试求：(1)当时，信道的转移矩阵及其信道容量。(2)当时，它能否构成信道？为什么？答：（1）的信道转移概率矩阵为所以该信道容量不变。（2）不能构成信道，因为的输出符号数不等于的输入符号数。6. 一AWGN信道由两级串联功率放大器组成，无噪声时的功率增益分别为、，信道带宽为，当信号功率为时，试求：(1)当信道噪声功率密度时，信道的容量。(2)当信道输入、均不变时，信号带宽增至，若要获得相同的信道容量，应为多少？答：（1）,=100（倍），=10（倍）代入信道容量公式，可以得到（Mbit/s）(2) 7. 写出香农信道容量公式，并举例说明其深刻含义。答：信道容量公式为（比特/秒）其含义如下：（1）比如在一个噪声背景非常强的环境中信噪比的改善受到其他因素的严重制约，而此系统的宽带却很富裕，我们就可以采用以牺牲宽带的方法来换取接收机门限信噪比的降低。在扩频通信中，常采用扩展频谱的手段来提高通信系统的可靠性。（2）目前的通信系统中，往往采用优质的传输信道来传输信息，比如光纤光缆、卫星与数字微波通信信道等，这些都是误码率非常低的优质通道，信噪比非常富裕。如果在某种通信业务中可以使用的频带非常紧张，这时我们正好采用与（1）中相反的措施，以牺牲信噪比来换取频带的增宽。在现代通信系统的多进制多电平数字调制技术中，均遵循的这一基本原理。（3）对于噪声很强的一些深空信道，其噪声功率通常远远大于信号功率，但我们可以根据信号和噪声在统计特性上的差异，有规律的发射信号，使信号可以按时间积累线性增长,而噪声是随机的，它只能按时间积累作均方根增长。也就是说，可以增加信号的发射次数和延长发射时间，使信号功率由弱变强，而随着时间的增加噪声功率则是由强变弱，从而可以提高信噪比，实现弱信号的积累接收。（4）延长发送信号的持续时间，从而可以缩少信号的有效宽带和接收机的通频带，减少干扰噪声的功率。8. 设某AWGN信道的输入、输出和噪声随机变量之间的关系为，且，试证明：当信源是均值为0、方差为的高斯随机变量时，其信道容量为。证：对于AWGN信道，当输入连续随机过程为高斯分布时，其对应的概率密度为在一般情况下，有（引用不等式）证比。9. 设某通信信号的传信率为比特/秒，在一个限频、限输入功率、噪声功率谱为的高斯信道上传送，若，问无差错传输所需要的最小功率为多少？当时，为多少？答：根据香农信道容量公式的定义若要实现无差错信息传递，则要求传信率，故将各参数代入可以求得当时，信道容量与无关，即10. 证明对于输入对称信道，下列关系式成立：证：先由平均条件自信息量的定义可得再由互信息的性质证比。11. 设某二进制对称信道的输入符号为，信道的转移概率矩阵为，试求：(1)若，求、。(2)求该信道的信道容量及达到信道容量的信道输入概率分布。答：（1）根据已知二元对称信道转移概率矩阵和输入符号的概率分布，可以先求得输出符号的概率分布和后验概率。再根据信息熵和平均互信息的定义，可以求出（比特/符号）（比特/符号）（比特/符号）（比特/符号）（2）此信道为二元信道，所以信道容量为（比特/符号）只有当输入符号为等概率分布时，即，信道容量为最大。12. 求下列两个信道的信道容量，并比较这两个信道的特点。其中。 答：分析已知的两个信道和可以看出，均为准对称信道，可以分为两个互不相交的子集 和 则分别求和的信道容量这两个信道只有在输入为等概率分布时，才能达到信道容量。13. 设某有扰离散信道的符号传输情况如图4-22所示，试求其信道容量及其最佳的输入概率分布。图4-22 习题13图答：由图可得信道1的信道转移概率矩阵为，表明该信道为非对称信道，故无法利用特殊信道容量的计算公式。但该信道矩阵是非奇异矩阵，且输入符号等于输出符号，由公式列出下列方程组可以求得信道容量为（比特/符号）进一步可以求得输出符号的概率分布为再由贝叶斯公式，可得当=0时，此信道为对称信道，（比特/符号）。当时，（比特/符号）。对于，信源熵（比特/符号）（比特/符号）第5章5.1 什么是信源编码？为什么要对信源进行编码？答：信源编码的实质是对信源的原始符号按一定规律进行变换，以新的编码符号代替原始信源符号，从而降低原始信源的冗余度。之所以要对信源编码，是因为信源符号中存在着大量的冗余度，通过信源编码可以达到提高通信系统的有效性目的。5.2 简述香农第一定理对无失真信源编码的指导意义。 答：第一定理告诉我们，离散信源可以实现无失真编码，若信息实际传输速率大于无失真信源熵，即，则最有效的无失真信源编码方案存在，并指出无失真信源编码平均码长的极限值即为信源熵值。5.3 对离散平稳无记忆信源进行无失真编码试求（1）信源熵（2）请对该信源进行编码，实现编码效率大于0.9。解：（1）信源熵（比特/符号） （2）采用 变长码：，则（比特/符号）平均码长 （比特/符号）（比特/符号）则编码效率为: 5.4 简述香农第二定理的物理意义。答：香农第二定理的意义在于：若编码以后每个符号的实际信息传输率，则可以实际无差错传递信息；若信道的实际信道的信息传输率，则最优化的信道可靠译码存在，且在相应的译码规则下使错误概率任意小。对于任何信道，都必然存在干扰，信息经过信道传输以后，必然要损失信息量，而香农第二定理的伟大之处就在于：只要编码后输入信道的信息传输率不超过信道容量，即，则总存在一种最佳信道编码方案，使输入端的信息量可以几乎无损地到达接收端，以保证信息传输可以达到任意高的可靠性。5.5 限失真信源的信息率失真函数R(D)与信源的可压缩程度有什么关系？答：是在最大限定失真条件下信源所必须传递的最小信息速率，反映的是在信源统计特征已知的前提下，在信宿可以允许的最大失真度内再现信源统计特征所必须获得的最小平均互信息量（求解平均互信息的极小值问题），也就是说反映的是信源可以压缩的最小程度，是衡量实际数据压缩编码方法好坏的一个标准。第6章1. 试解释为什么要进行信源编码？答：为了提高提高通信系统传输的有效性，减少信源的冗余，一般需要对信源进行编码。2. 某信源由六个符号组成，其概率分布及对应的编码如表6-7所示。表6-7 习题2表信 源码1码2码3码4码5码6 1/2000 0 0 0 0 0 1/4001 01 10 10 101001/16010 011 110 11011001011/16011 0111 1110111011011101/16100 01111 11110101111101111/1610101111111111011011111011(1)对这些码字进行分类描述。(2)哪些码字是惟一可译的？(3)如果是惟一可译码，试求出其平均码长。(4)是否存在对该信源编码的最优码？答：（1）所有编码都是二元码；码1是等长码，码2、3、4、5、6是变长码。（2）码1没有相同的码字，是唯一可译码；码2和码3满足Kraft不等式且是唯一可译码；通过计算码4不满足Kraft不等式，所以它不是唯一可译码；码5是唯一可译码；码6由于0是码字所以不是唯一可译码。（3）分别计算4个唯一可译码长得： =3（比特/符号）；=2.125（比特/符号）；=2.125（比特/符号）；=2（比特/符号）（4）可以对该信源进行霍夫曼编码，所以存在对该信源编码的最优码。3. 试解释信源产生冗余的原因，通过什么办法可以减少这些冗余？答：对于无记忆信源存在冗余是由于信源符号概率分布不均匀造成的，对于有记忆信源产生冗余是信源的相关性造成的。所以对于无记忆信源减少冗余的办法就是想办法使得信源均匀分布，而对于有记忆信源就是尽可能消除其相关性。4. 某信源按照的概率产生独立二元序列。(1)试求，使得时有，其中，为信源的熵，为长信源序列。(2)试求当时，典型序列的上下界。答：（1）（2）5. 设有信源 (1)求和信源冗余度。(2)设码符号为0，1，编出的紧致码，并求的紧致码的平均码长。(3)计算上述1，2，3，4这四种码的编码效率和码冗余度。答：（1）（比特/符号）；信源剩余度：0.531（2）=1（3）=1 =2 =3 =4 6. 设二元霍夫曼编码为(00，01，10，11)和(0，10，110，111)，求出可以编码得到这样霍夫曼码的信源的所有概率分布。答：对于编码为（00，01，10，11）知道是等长编码所以其概率是等概率的即；而对于（0，10，110，111）是不等长编码，只要满足的所有概率分布均可。7. 已知一离散有限独立信源，其概率分布为其编码方案为： 1 0试分别设计等长编码和不等长编码，并比较计算，和。答：平均长度为（比特/符号） 8. 论述香农第一编码定理，它说明了什么？答：略9. 设有信源 (1)求信源的熵及其信源冗余度。(2)对这一信源进行二元霍夫曼编码，并计算平均码长及编码效率。(3)对这一信源进行三元霍夫曼编码，并计算平均码长及编码效率。(4)对这一信源进行四元霍夫曼编码，并计算平均码长及编码效率。(5)若要求编码错误概率小于等于，并采用二元定长码达到(2)中霍夫曼编码的效率，试估计所需信源序列的长度。答：（1） （比特/符号）；（2）=2.72（比特/符号）；（3）=1.81（比特/符号）；（4）=1.43（比特/符号）；（5）10. 某信源有4个离散信源符号，符号概率分别为0.3，0.3，0.2，0.2，问该信源能编出多少个最优码？他们是否都是霍夫曼编码？答：24种最优码，8种Huffman码。 第7章1. 信源编码是为了实现和优化通信系统哪个方面的技术指标？答：有效性、可靠性和安全性。2. 试简述限失真信源编码定理(即香农第三定理)的含义。答：在保真度准则下信源传输信息是允许存在一定失真的。只要信息传输率满足 ，在给定最大允许失真条件下，总可以找到一种有效的信源编码方案，使得译码后的平均失真度满足。反之，若信息传输率，则有效的信源编码方案不存在，无论采用何种编码方案，必有，即译码平均失真必大于最大允许失真。是满足最大允许失真时信源传递每个符号所必须的最小信息率。另外，更为有价值的是，我们还可以按照保真度准则有意识地对信源进行压缩编码，减少信源冗余度，以较少的码率传输更多的信息量，从而达到提高通信系统有效性的目的。3. 限失真信源编码定理(即香农第三定理)和无失真信源编码定理(即香农第一定理)的主要差别是什么？答：（1）第三定理针对连续信源和离散信源，而第一定理只针对离散信源；（2）第三定理允许一定失真，而第一定理要求编码以后得到的新码字能够无失真复原原始消息；（3）第三定理是存在性定理；而第一定理既是存在性定理，又是构造性定理。4. 语音信息和图像信息的数字化过程主要包括哪些步骤？答：抽样、量化和编码。5. 分析语音信号和图像信号压缩编码的必要性，并指出数据压缩的依据是什么？答：（1）必要性：实现无失真传递信号的信道是不存在的；由于人与机器接收灵敏度的限制，完全无失真是没有必要的，通常只要在保证一定传输质量的前提下，在接收端近似地再现信源输出的原始信号而不影响对信息的准确获取，在保真度准则下存在一定的失真是允许的；按照保真度准则有意识地对信源进行压缩编码，减少信源冗余度，以较少的码率传输更多的信息量，可以提高通信系统有效性的目的。（2）数据压缩的依据是香农第三定理。6. 简述语音压缩编码三种编码方案的差别。答： 波形编码：以波形的保真度为主要量度指标，编码方案通话质量高且能分辨语音特征，但可压缩比低，适用于带宽资源相对丰富的有线信道上。 参量编码：以语音可懂度为主要量度指标，编码方案语音质量低且只能反映语音可懂度，无法分辨讲话人的语音特征，但是可压缩比很高。适用于带宽资源相对紧张的有线信道和无线信道，如无线通信。 混合编码：这是一种介于波形编码和参量编码之间的编码方案，以改善语音自然清晰度为主要度量指标。结合上述两种编码方案的优点，在参量编码基础上引入了一定的波形编码特征，采用软声器进行编码，以达到优势互补，克服各自不足。实现高效数据压缩的目的。这种编码方案适用于带宽资源非常紧张的无线信道，如GSM和CDMA等移动通信。7. 和静止图像压缩编码方法相比，运动图像压缩编码采用了哪些关键技术？答：运动图像压缩除采用静止图像压缩的所有技术以外，还采用了以下关键技术，如MPEG-1采用了自适应量化、运动补偿预测、双向运动补偿、半像素运动估计；MPEG-2采用了分块DCT和帧间运动补偿预测技术；MPEG-4采用了帧重建技术和数据压缩技术。8. 比较预测编码和正交变换编码有何不同，并说明其原因。答：预测编码是基于时域波形的信源压缩编码技术。预测编码的基本思路就是充分利用了有记忆信源输出的各符号之间的统计关联性，首先对信源输出符号样值进行预测，再用预测值和实际输出值做减法运算。由于量化器的输入为信号样值和预测值的差，与原始信号相比其动态变化范围很小，因而就可以用较低的码率对差值进行编码，而这个差值基本上不相关甚至独立，因此达到解除符号在空间和时间上相关性的目的。主要适用于语音信号的压缩编码。而正交变换编码是基于频域的压缩编码技术。其基本思想就是首先运用数学方法，将连续的模拟信号通过正交变换，将时域信号变换到一个更适合压缩的抽象域，在该域内实现数据压缩，完成压缩编码。主要适用于图像信号的压缩编码。9. 在预测编码中引起信号失真的主要原因是什么？答：加入量化器必然会带来量化误差，而量化误差是引起信号失真的主要原因。10. 简述MPEG-1、MPEG-2和MPEG-4之间的主要区别。答： MPEG-1与MPEG-2的主要区别有： MPEG-2的图像规范。MPEG-2标准中，视频图像编码是既分档次又分等级得。按照编码技术难度，将各类应用分为不同档次，其中每个档次都是MPEG-2语法的一个子集，。按照图像格式的难易程度，每个档次又分为不同的等级，每种等级都是对有关参数规定约束条件。 场和帧的区分。在MPEG-2编码中为了更好地处理隔行扫描的电视信号，分别设置了“按帧编码”和“按场编码”两种模式，并对运动补偿进行了相应扩展。这样，常规隔行扫描的电视图像的压缩编码与单纯的按帧编码相比，其效率明显提高。由此可见，在MPEG-2中，对于场/帧运动补偿和场/帧DCT进行选择就成为改进图像质量的一个关键技术。 MPEG-2的分级编码。考虑到同一档次不同级别间的图像分辨率和视频码率相差很大，MPEG-2为了保持向上兼容而采用了两种不同类型的分级编码。一是噪声级可分级，另一个是空间域可分级。 扩展系统层语法。MPEG-2中有两类数据码流：传输数据流和节目数据流。两者都是由压缩后的视频数据和音频数据组成的分组化单元数据流所构成。传输数据流的运行环境有可能出现严重的错误，而节目数据流的运行环境则很少出现错误。由于在字头上作了详细规定，使用非常灵活，因此可对各分组设置优先级、加解密、插入多种解说音和字幕等。 交替扫描和DCT系数量化。MPEG-2除了对DCT系数采用“Z”字型扫描，还采用交替扫描方案以适应隔行扫描的视频图像。同时，在MPEG-2视频的帧内模块中，直流系数允许有11位的分辨率，交流系数的量化范围为-2048，2047，非帧内宏块中所有系数量化都在-2048，2047。 在编码算法中，补充了非线性量化，采用10比特像素编码，以求得到更高精度的系数。而MPEG-4与MPEG-1、MPEG-2有很大的不同。MPEG-4不仅是具体的压缩算法，它是针对数字电视、交互式绘图应用、交互式多媒体等整合及压缩技术的需求而制定的国际标准，具有如下独特优点： 基于内容的交互式。MPEG-4具有基于内容的访问工具，用户可以很方便地从多媒体资料库中有选择地获取所需的与对象有关的内容，并提供内容的操作和位流编辑功能，可应用于交互式家庭购物等。 高效的压缩比。MPEG-4具有更高的编码效率，与其他标准相比，在相同的比特率下，它有着更高的视听质量，能够在低带宽的信道上传送视频和音频信号。同时MPEG-4还能对同时发生的数据流进行编码，一个场景的多视角或多声道数据流可以高效、同步地合成最终数据流。 同样的访问性。MPEG-4提供了易出错环境的鲁棒性，来保证其能够在许多无线和有线网络中及存储介质中的应用。此外，MPEG-4还支持把内容、质量、复杂度分成许多小块来满足不同用户的不同需求，支持具有不同带宽、不同存储容量的传输信道和接收端。11. 简述小波变换在图像压