《信息论课后习题》PPT课件

2 8设随机变量X和Y的联合概率分布如右表所示 随机变量求 1 H X H Y 2 H X Y H Y X H X Z 2 13有一个马尔可夫信源 已知转移概率为 试画出状态转移图 并求出信源熵 解 根据转移概率 得状态转移图如下所示 求解信源熵 得 2 14有一个一阶平稳马尔可夫链 各取值于 已知起始概率为 转移概率如右表所示 2 14 续 1 求X1X2X3的联合熵和平均符号熵 2 求这个链的极限平均符号熵 3 求H0 H1 H2和它们所对应的冗余度 解 1 一阶平稳马尔可夫链的起始序列X1X2X3的联合熵 已知起始概率分布和转移概率分布 得 2 14 续 其满足 所以 平均符号熵 2 14 续 2 因为这信源是一阶马尔可夫链 其状态极限概率分布就是信源达到平稳后的符号概率分布 所以可以根据其转移概率计算出平稳后的符号概率分布 解得 2 14 续 这个链的极限平均符号熵为 3 2 14 续 它们对应的剩余度 冗余度 分别为 2 16一阶马尔可夫信源的状态分布如下图所示 信源X的符号集 0 1 2 并定义 1 求信源平稳后的概率分布P 0 P 1 P 2 2 求此信源的熵 3 近似认为此信源为无记忆时 符号的概率分布等于平稳分布 求近似信源的上H X 并与进行比较 4 对一阶马尔可夫信源p取何值时取最大值 又当p 0和p 1时结果如何 2 16 续 解 1 一阶马尔可夫信源的状态空间 由状态转移图中分析可知 三个状态多是正规常返态 此状态马尔可夫链是时齐的 状态有限的和是不可约闭集 所以具有各态历经性 平稳后状态的极限分布存在 有 根据状态转移得状态一步转移矩阵 2 16 续 计算得 所以 2 根据一阶马尔可夫信源的熵得 2 16 续 3 信源近似为无记忆信源 符号的概率分布等于平稳分布 则此信源 得 由此计算结果可知 4 求一阶马尔可夫信源的最大值 因为当时 达到最大值等于 2 16 续 对其求一阶导数 并令其值等于0 可以得到 当时 达到最大值 等于当时 当时 2 17设马尔可夫信源的状态集合 符号集在某状态下发出符号 的概率为 如图所示 1 求状态极限概率并找出符号的极限概率 2 计算信源处在 状态下输出符号的条件熵 3 求信源的极限熵 2 17 续 解 1 状态极限概率 解之得 2 17 续 符号极限概率为 解之得 2 输出符号条件熵为 2 17 续 3 此马尔可夫信源的熵 4 2离散无记忆信源的概率空间为 若对信源采取等长二元编码 要求编码效率 允许译码错误概率 试计算需要的心愿序列长度N为多少 解 4 6设离散无记忆信源的概率空间为 解 将s1编程0 s2编程1 则L1 1 码元 符号 对信源进行N次扩展 采用二元霍夫曼编码 当N 1 2 时的平均码长和编码效率为多少 所以 4 6 续 N 2时 编码过程如下 所以 则 所以 4 6 续 当时 由香农第一定理可知 必然存在唯一译码 使而霍夫曼编码为最佳码 即平均码长最短的码 故即 4 8已知离散无记忆信源的概率空间为 用霍夫曼编码法编成二进制变长码 计算平均码长和编码效率 解 如右图的编码 得 4 8 续 信源熵为 编码效率为 5 11已知一个平均功率受限的连续编号 通过带宽B 1MHz的高斯白噪声信道 问 1 若信噪比为10 信道容量为多少 2 若信道容量不变 信噪比将为5 信道带宽应为多少 3 若信道通频带减为0 5MHz时 要保持相同的信道容量 信道