信息论与编码习题

1、.1. 通信系统的中心问题是在噪声下如何有效而可靠地_，以及实现这一目标的方法是_。2. 信源编码是以提高信息传输的_为目的的编码，信道编码是以提高信息传输的_为目的的编码，密码是以提高信息传输的_为目的的编码。3. 扔一枚硬币，结果是正面的不确定度为_，如果出现正面的概率为1，则该信源的信源熵为_。4. 二元随机变量X和Y，已知H(X)=0.5bit/符号，H(Y)=0.7bit/符号，若X和Y相互独立，则联合熵H(XY)= _，平均互信息I(X;Y)= _。5. 离散无记忆信源信源X中包含M个不同的离散消息时，当且仅当_时，信源熵取最大值_。6. 当消息经过多级处理后，随着处理器数目的增多

2、，输入消息与输出消息之间的平均互信息量趋于_。7. 信源编码按照码字的长度分为_编码和_编码。8. 如果一个码的任何一个码字都不是其他码字的前缀，则称该码为_。9. 设二元无记忆对称信道输入码字c=00101101，则其码重=_，设接收向量r=01001110，则差错图案e=_，c与r之间的码距d=_。10. 纠错码的最小距离为8，则该码字的检错能力为_，纠错能力为_。、 离散平稳无记忆信源，其信源熵为_，这个信源的二次扩展信源的熵为_。、 设输入序列R为1001 0111，输出序列C为1011 0100，则差错图样为_，汉明距离为_。、 纠错码的最小距离为5，则该码字的检错能力为_，纠错能力

3、为_。、 码字011010110的重量为_。1. 在通信系统中，在发送端通常先进行信道编码，再进行信源编码。（ ） 2. 从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息，这说明了信息就是负熵。（ ）3. 根据无失真信源编码定理和信道编码定理，信源熵H(x)、信息率R和信道容量C，三者之间的关系是CRH(x)。（ ）4. 由香农公式，当信道容量一定时，增大信道的带宽可以降低对信噪功率比的要求。（ ）5. 二进制变长码X=x1, x2, x3, x4 ，对应码长K1=1，K2=2，K3=2，K4=3，满足该码长的即时码(异前置码)存在。（ ）、 即时码一定是

4、惟一可译码。( )、 由香农公式，当信道容量一定时，增大信道的带宽可以降低对信噪功率比的要求。（ ）一个二进制信源X发出符号集0,1，经过离散无记忆信道传输，信道输出用Y表示，接收端除收到符号集0,1。已知X的先验概率：p(a0)=1/2， p(a1)= 1/2，XY0101联合概率 p(a0b0)=1/3， p(a0b1)= 1/6， p(a1b0)=1/6， p(a1b1)= 1/3求H(X), H(Y), H(X|Y), H(Y|X),H(XY)和I(X;Y)。设加性高斯白噪声信道中信道带宽3kHz，又设(信号功率+噪声功率)/噪声功率=20dB。试计算该信道的最大信息传输速率Ct。一信源X (x1, x2, x3, x4)经编码后得码字集合S (1, 01, 001, 0001)且一一对应。该码字集合是否是异前置码？现接收码元序列为 101110001001101011，试写出译码结果。计算下列信道的信道容量，并写出信息率等于容量的条