离散信道的信道容量.ppt

第5章离散信道的信道容量 第5章离散信道的信道容量 内容提要信道对于信息率的容纳并不是无限制的 它不仅与物理信道本身的特性有关 还与信道输入信号的统计特性有关 它有一个极限值 即信道容量 信道容量是有关信道的一个很重要的物理量 这一章研究信道 研究在信道中传输的每个符号所携带的信息量 并定义信道容量 5 1信道容量的定义 信息传输率是衡量通信质量的一个重要指标 定理1 1知 对于固定信道 总存在某种输入概率分布q x 使I X Y 达到最大值 定义这个最大值为信道容量 记为C 比特 码符号 5 2 使I X Y 达到信道容量的分布q x 为最佳分布 5 2离散无记忆信道容量的计算 定理5 1如果信道是离散无记忆 DMC 的 则CN NC 其中C是同一信道传输单符号时的信道容量 下面一条定理给出了一维信道和N维信道的信道容量之间的关系 若 1 输入的N个符号统计独立 即信源离散无记忆 根据 定理2 3 有 2 对每个i 输入分布q xi 可使I Xi Yj 达到信道容量C 则 NCCN NC 5 5 综合式 5 4 和 5 5 在信源和信道都离散无记忆的情况下 有CN NC 即定理中等号成立 这时N长序列的传输问题可归结为单符号传输问题 5 2 1达到信道容量的充要条件 定理5 2使平均互信息量I X Y 达到信道容量C的充要条件是信道输入概率分布 简记为q X q x1 q x2 q xM 满足 5 6 介绍几种无噪信道 对于无噪信道 信道的输入X和输出Y之间有着确定的关系 一般有三类 无损信道 确定信道和无损确定信道 例5 2 无损信道无损信道的输入符号集元素个数小于输出符号集的元素个数 信道的一个输入对应多个互不交叉的输出 如图5 2所示 信道输入符号集X x1 x2 x3 输出符号集Y y1 y2 y3 y4 y5 其信道转移概率矩阵记为 计算该信道的信道容量 图5 2无损信道 2 根据定义计算信道容量C从上式可看出 求信道容量C的问题转化为寻找某种分布q x 使信源熵H X 达到最大 由极大离散熵定理知道 在信源消息等概分布时 熵值达到最大 即有 1 先考察平均互信息量I X Y H X H X Y 在无噪信道条件下 H X Y 0 则平均互信息量I X Y H X 3 根据平均互信息量I X Y 达到信道容量的充要条件式 5 6 对C进行验证 先根据计算出 yj j 1 2 3 4 5 6 再计算出 5 2 2几类特殊的信道 定义5 1如果信道转移概率矩阵P中 每一行元素都是另一行相同元素的不同排列 则称该信道关于行 输入 对称 定义5 2如果信道转移概率矩阵P中 每一列元素都是另一列相同元素的不同排列 则称该信道关于列 输出 对称 定义5 3如果信道转移概率矩阵P可按输出符号集Y分成几个子集 子矩阵 而每一子集关于行 列都对称 称此信道为准对称信道 1 准对称信道 例5 6 信道输入符号集X x1 x2 输出符号集Y y1 y2 y3 y4 给定信道转移概率矩阵 求该信道的信道容量C 这是一个准对称信道 根据定理5 3 当X等概分布 时 信道容量平均互信息量I X Y H Y H Y X 5 7 定理5 3实现DMC准对称信道的信道容量的分布为等概分布 由 先算出 5 8 将式 5 8 和代入式 5 7 可算得信道容量 0 0325 比特 符号 例5 8 信道输入符号集X x1 x2 输出符号集Y y1 y2 y3 给定信道转移概率矩阵 求信道容量C 设使平均互信息量达到信道容量的信源分布为q x1 q x2 1 由可算出 2 信源只含两个消息 平均互信息量I X Y H Y H Y X 1 q log 1 log 1 根据定义 求C的问题就转化为 为何值时 I X Y 达到最大值 令则信道容量C I X Y a 0 5 1 q 计算信道容量C按下面步骤进行 1 先验证信道转移概率矩阵P p yj xi 是方阵 且矩阵P的行列式 p yj xi 0 3 信道转移概率矩阵为非奇异方阵 2 计算出逆矩阵P p 1 yj xk 3 根据式 5 17 计算出 4 根据式 5 18 计算出信道容量C 5 验证是否满足q xi 0 i 1 2 K l先由式 5 16 计算出 yk k 1 2 Kl再由式 5 21 计算 例5 9 给出信道转移概率矩阵 求信道容量C 1 P矩阵的行列式 说明P是一个非奇异方阵 2 P的逆矩阵 3 算出 4 信道容量 奈特 码符号 5 下面验证是否q xi 0 i 1 2l先根据算出l再算得 图5 9两个信道 5 3组合信道的容量 考虑有两个信道 信道1信道2 5 3 1独立并行信道 在这种情况下 二个信道作为一个信道使用 传送符号 接收符号 根据定理2 4 对于离散无记忆信道 下式成立 5 22 对上面不等式两边取最大值 得C C1 C2 5 23 推广到N个信道的并行组合 当N个信道并行独立使用时 记Ck k 1 2 N 为第k个信道的信道容量 C为组合信道的总容量 则有 5 24 等号成立的条件 都要求信源离散无记忆 即要求信道独立使用且输入独立 5 3 2和信道 两个信道轮流使用 使用概率分别为p1 p2 且p1 p2 1 记概率分布P p1 p2 和信道的平均互信息计算如下I P I p1 p2 p1I X Y p2I X Y H2 P 式中 H2 P p1logp1 p2logp2 根据定义 有 5 26 求使式 5 26 取极大值的P令 对数以2为底 注意到p2 1 p1 得记C1 logp1 C2 logp2 为待定常数 5 27 从式 5 27 中解出 5 28 将式 5 28 代入条件p1 p2 1 得 5 29 式 5 28 中的p1 p2就是使平均互信息量I p1 p2 达到最大的取值 将其代入式 5 26 得 p1 p2 将式 5 29 代入式 5 30 得 推广到N个信道轮流使用的情况 当N个信道以不同概率轮流使用时 记Ck k 1 2 N 为第k个信道的信道容量 C为组合信道的总容量 则有 5 31 5 3 3串行信道 将两个信道级联 有X Y 如图5 10所示 图5 10串行信道 串行信道的信道转移概率用矩阵表示为 5 32 串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值 若将N个转移概率相同的信道级联 当N 时 其总信道容量将趋于零 信道1 P1 p y x 信道2 P2 p y x 信道1和信道2是独立的 信道2的输出Z只与其输入Y及信道转移概率P2 p y x 有关 而与X无关 因此信道1和信道2串连就构成了一个马尔可夫链 对于马尔可夫链有如下定理 数据处理定理 无论经过何种数据处理 都不会使信息量增加 定理5 4若随即变量X Y Z组成一个马尔可夫链 如图5 11所示 则有I X Z I X Y 5 33 I X Z I Y Z 5 34 例5 11 两个离散信道 将它们串行连接使用 如图5 10 计算总信道容量C 1 先计算总信道的信道转移概率矩阵 串联信道的总信道矩阵P等于第一级信道的信道矩阵P1 从而概率满足p y x p z x 对所有的x y z 5 36 对式 5 36 两边关于x求和 得p y p z 5 37 对式 5 36 两边关于x求和 得p y p z 5 37 利用式 5 37 由式 5 36 得 2 计算信道容量C 在 例5 11 中 第一个信道是输入只有两个消息的情况 设最佳分布为q x1 q x2 1 仿照 例5 8 可算出 0 4 则信道容量C C1 0 32 比特 符号 本章主要定义了信道容量及讨论了信道容量的计算方法 讨论并证明了使平均互信息量达到信道容量的充要条件 并给出如下几种情况下信道容量的计算方法 1 准对称信道 2 信源只含两个消息 3 信道转移概率矩阵为可逆方阵还讨论了多个信道组合使用情况下 总信道容量的计算方法 讨论了以下几种情况 1 N个信道独立并行使用 记每个信道单独使用时的信道容量为Ck k 1 2 N 则总信道容量C满足 当N个信道独立输入且独