信息论与编码第一章答案

1、第一章 信息论与基础1.1信息与消息的概念有何区别？ 信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。在通信系统中形式上传输的是

2、消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。 信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。1.2 简述信息传输系统五个组成部分的作用。信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。 信宿：信息传送过程中的接受者，亦即接受消息的人和物。 编码器：将信源发出的消息变换成适于信道传送的信号

3、的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。 译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的

4、输出。1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学模型。解：设该信源符号集合为X1.4 二阶马尔可夫信源的符号集X=0，1，2，Y=0，1，2，已知符号下发出符号的概率为p(0|0)=1-2p, p(1|0)= p(2|0)=p, p(0|1)= p(2|1)=p, p(1|1)=1-2p, p(0|2)= p(1|2)=p, p(2|2)=1-2p,画出状态转移图并求平稳后各状态的概率分布。解：根据符号转移概率p(yx) yx01201-2ppp1p1-2pp2pp1-2p状态空间为S=00（S0），01（S1），02 （S2），10（S3），11（S4），12（S5），

5、20（S6），21（S7），22（S8）可写出转移概率矩阵状态转移图（略）由状态转移图列方程组，设各状态的转移概率分别为 解得1.5 设有一马尔可夫信源如题图1-1所示， （1） 求平稳后各状态出现的概率;（2） 若在初始时刻L=0时处于状态s1;（3） 求L=2时刻 x2=a1的概率;（4） 求稳态下字母序列a3,a1,a2,a1,a2出现的概率。解：（1）求平稳后各状态出现的概率转移概率矩阵为由P列方程组 解得平稳分布为（2）若在初始时刻时处于状态S1，求时刻，的概率或由二步转移概率矩阵可得（3）在L=0时处于状态S1，在L=2时x2=a1有两种情况：P1= ，P2 = = 所求概率P=

6、P1 +P2= （4）求稳态下字母序列出现的概率1.6 有一个二院对称信道，p=0.06，设该信道以1000个符号/秒的速度传输输入符号，现有一消息序列共有9500个符号，并设消息中 q（0）=q（1）=0.5，问从信息传输的角度来考虑，10秒钟能否将消息无失真地传送完？解：信源符号等概率分布，故信源熵为bit，9500个符号的信息量为9500bit。又由二进制对称信道的信道矩阵，bit/符号发送和接收符号的联合概率矩阵为=0.327bit/符号10秒钟可以传送bit，故无法在10秒内无失真地传送。1.7 求二元删除信道的二次扩展信道。解：二元删除信道的信道矩阵为，设输入符号集合为X=0,1，输出符号集合为Y=0,e,1。，1.8 设有一反馈通信系统如图1-2所示，信源为二元离散无记忆信源，信道为二元删除信道，反馈信道为无干扰信道。译码器判断若收到为删除符号就通知发端重传原来的符号（0或1），若收到0或1，译码器就将它送给信宿，同时通知发端送下一个符号。试求：（1）每个信息符号被接收端接收所需的平均传送次数。（2）信宿接收的符号的错误概率。信源无干扰反馈信道二元删除信道编码器译码器信宿0P0e1-p1P11-p解：（1）此系统中有二元删除信道且其概率分布如图：