信息论基础（微课版）第3章习题解答

1.（1）依题意，该信源的状态转移矩阵为 （2）由于元素均非0，所以能够进入平稳状态假设该信源的平稳分布为：，则有： 解得 （3）该信源的极限熵为（4）信源进入平稳状态后，输出符号0的概率为同理可得：。（5）由，得 同理：，，。（6）由熵的可加性，可得2.（1）依题意，该信源是一阶马尔可夫信源，状态转移矩阵为 （2）由于元素均非0，所以能够进入平稳状态。设平稳状态为：，则有 解得信源的平稳状态分布为 （3）信源的极限熵为（4）当信源进入平稳状态后，输出序列中相邻两个符号间的平均互信息量为 3.依题意，，。（1）平均每个信源符号携带的信息量为 （2）若序列含有个“0”、个“1”，该序列的发生概率为 该序列的自信息量为 （3）平均每100个符号携带的信息量为 4.（1）若黑白颜色前后没有关联，则黑白气象传真图等效于一个离散无记忆信源。其概率空间为 信源的平均符号熵为 信源的剩余度为 （2）若黑白颜色前后有关联，依题意，可将黑白气象传真图视为一阶马尔可夫信源，状态转移矩阵为 假设该信源的平稳分布为，则有，，得到，。该信源的的极限熵为 信源的剩余度为 对比两种情况下的平均符号熵，可以看出，一阶马尔可夫信源中存在的关联性，使得符号熵减小，信源的剩余度增加，冗余性变大，可压缩的程度增加。5.依题意，该一阶马尔可夫信源已经进入平稳状态。设平稳状态为：，则有，，解得 平均每个符号所携带的信息量等于个符号的联合熵，为：6.依题意，状态转移矩阵如下 相应的状态转移图如下所示7.（1）的概率分布为：，经过一次转移后，得到的分布为 对比和的概率分布，可知该马尔可夫信源在初始阶段，尚未进入平稳状态。因为是一阶马尔可夫信源，所以其中。所以， （2）由于元素均非0，所以能够进入平稳状态设平稳状态为，则有，即由：以及，得 该马尔可夫信源的极限熵为 8.（1）依题意，信息熵为： （2）条件分布概率如下：01200120条件熵： （3）联合熵： 可知 9.（1）依题意，该信源是无记忆且一维平稳的。对于离散无记忆信源，若一维平稳，则意味着任意维都是平稳的。故该信源是完全平稳的。（2）由离散无记忆信源的性质可知，离散无记忆平稳信源的维联合熵等于一维熵的倍 （3）对于离散无记忆信源而言，条件熵等于信息熵，有 10.马尔可夫信源的N步状态转移矩阵与一步状态转移矩阵之间的关系为 因此， 11.由于任意两个状态之间的转移概率均不为零，该齐次马尔可夫信源必然可以进入平稳状态。极限熵可以表示为 其中，为平稳分布，为状态个数，代表状态。当状态转移概率相等时，有 因此，状态转移概率相等时，可以使得极限熵最大。12.二次扩展信源的平均符号熵为一维符号熵，一阶马尔可夫信源的平均符号熵为由于符号之间存在相关性，一阶马尔可夫信源的条件熵所以，有即离散无记忆二次扩展信源的平均符号熵大于进入稳态的一阶马尔可夫信源的平均符号熵。13.离散无记忆信源的平均符号熵等于该信源的一维熵，即离散无记忆信源的N维联合熵等于平均符号熵的N倍，即因此，60个符号的平均不确定性等于平均符号熵的60倍：即该信源平均每次产生的不确定性为114.36比特/序列。14.（1）四个符号的自信息量分别为：此消