物理信道与信道容量

信道与信道容量 第三章 2 3 1信道分类和表示参数3 2离散单个符号信道及其容量3 3离散序列信道及其容量3 4连续信道及其容量 内容 3 信道 设信道的输入X X1 X2 Xi Xi a1 an 输出Y Y1 Y2 Yj Yj b1 bm 信道转移概率矩阵p Y X 描述输入 输出的统计依赖关系 反映信道统计关系 信道 X Y p Y X 4 无干扰 无噪声 信道 无干扰 无噪声 信道信道的输出信号Y与输入信号X之间有确定的关系Y f X 已知X后就确知Y转移概率 5 有干扰无记忆信道 有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系 但转移概率满足 有干扰无记忆信道可分为 二进制离散信道离散无记忆信道离散输入 连续输出信道波形信道 6 离散无记忆信道DMC 信道输入是n元符号X a1 a2 an 信道输出是m元符号Y b1 b2 bm 转移矩阵已知X 输出Y统计特性 7 3 2离散单个符号信道及其容量 8 信道容量 平均互信息I X Y 接收到符号Y后平均每个符号获得的关于X的信息量 信道的信息传输率就是平均互信息 9 信道容量 信道容量C 最大的信息传输率 单位时间的信道容量 10 信道容量的计算 对于一般信道 信道容量计算相当复杂 我们只讨论某些特殊类型的信道 离散信道可分成 无干扰 无噪 信道无噪无损信道有噪无损信道无噪有损信道有干扰无记忆信道有干扰有记忆信道 11 无干扰离散信道 无噪无损信道 有噪无损信道 无噪有损信道 12 3 2 1对称DMC信道 对称离散信道 对称性 每一行都是由同一集 p1 p2 pm 的诸元素不同排列组成 输入对称每一列都是由集 q1 q2 qn 的诸元素不同排列组成 输出对称 满足对称性 所对应的信道是对称离散信道 13 对称DMC信道 信道矩阵 不具有对称性 因而所对应的信通不是对称离散信道 14 对称DMC信道 若输入符号和输出符号个数相同 都等于n 且信道矩阵为 此信道称为强对称信道 均匀信道 信道矩阵中各列之和也等于1 15 对称DMC信道 对称离散信道的平均互信息为 16 对称DMC信道 对称DMC信道的容量 上式是对称离散信道能够传输的最大的平均信息量 它只与对称信道矩阵中行矢量 p1 p2 pm 和输出符号集的个数m有关 强对称信道的信道容量 17 设二进制对称信道的输入概率空间信道矩阵 BSC信道容量 18 19 BSC信道容量 当p固定时 I X Y 是 的U型上凸函数 I XY BSC信道容量 1 H p I X Y 对 存在一个极大值 20 p C 当固定信源的概率分布 时 I X Y 是p的型下凸函数 信道无噪声 当p 0 C 1 0 1bit H X 当p 1 2 信道强噪声 BSC信道容量 BSC信道容量 21 信道容量 定理 给定转移概率矩阵P后 平均互信息I X Y 是输入信源的概率分布p ai 的型上凸函数 定理 平均互信息I X Y 是信道传递概率p bj ai 的型凸函数 信道容量是完全描述信道特性的参量 是信道能够传输的最大信息量 22 当信源输入符号的速率为rs 符 秒 信道容量 BSC信道容量 实际信息传输速率Rt为 进入信道输入端的信息速率 23 例BSC信道如图 rs 1000符号 秒 错误传递概率p 0 1求 信道容量 0 Y 0 9 1 0 1 输入符号等概时有最大信息传输速率 信道实际信息传输速率 X 24 串联信道 例3 3设有两个离散BSC信道 串接如图 两个BSC信道的转移矩阵为 X0 0Z Y 1 1 1 p 1 p 1 p p 串联信道的转移矩阵为 1 p p 25 串联信道 X0 0Z Y 1 1 求得 在实际通信系统中 信号往往要通过几个环节的传输 或多步的处理 这些传输或处理都可看成是信道 它们串接成一个串联信道 p p 1 p 1 p 1 p 1 p 26 串联信道 由信息不增原理 信道2 信道m 信道1 可以看出 串接的信道越多 其信道容量可能会越小 当串接信道数无限大时 信道容量可能会趋于0 X Y Z 27 3 2 3准对称DMC信道 准对称信道转移概率矩阵P是输入对称而输出不对称将信道矩阵P的列划分成若干个互不相交的子集mk 由mk为列组成的矩阵 P k是对称矩阵 它们满定对称性 所以P1所对应的信道为准对称信道 28 准对称信道的信道容量 准对称信道 准对称信道容量 29 准对称信道的信道容量 当输入分布为等概率时 其中n是输入符号集的个数 p1 p2 pm 为准对称信道矩阵中的行元素 设矩阵可划分成r个互不相交的子集 Nk是第k个子矩阵Pk中行元素之和 Mk是第k个子矩阵Pk中列元素之和 30 例 设信道传递矩阵为 计算得 N1 3 4 N2 1 4 M1 3 4 M2 1 4 将它分成 31 3 2 4一般DMC信道 定理 一般离散信道的平均互信息I X Y 达到极大值的充分和必要条件是输入概率 p ai 必须满足 I ai Y C对于所有ai其p ai 0I ai Y C对于所有ai其p ai 0 上式说明 当信道的平均互信息I X Y 达到信道容量时 输入符号概率集 p ai 中每一个符号ai对输出端Y提供相同的互信息 只是概率为0的除外 32 3 3离散序列信道及容量 33 离散序列信道及容量 设信道的输入X X1 X2 Xi Xi a1 an 输出Y Y1 Y2 Yj Yj b1 bm 信道 X Y p Y X 对于无记忆离散序列信道 其信道转移概率为 仅与当前输入输出有关 若信道是平稳的 34 定理 若信道的输入和输出分别是L长序列X和Y 且信道是无记忆的 亦即信道传递概率为 则存在 定理 若信道的输入和输出分别是L长序列X和Y 且信源是无记忆的 亦即 则存在 35 离散序列信道及容量 若信源与信道都是无记忆的 L次扩展信道的信道容量 当信道平稳时 一般情况下 36 例3 7 BSC信道二次扩展 00 X 01 10 11 00 01 10 11 Y 转移概率矩阵 2次扩展信道的信道容量 若p 0 1则C2 2 0 938 bit 序列 1 062bit 序列C1 0 531bit 符号 37 38 独立并联信道 设有L个信道 它们的输入 输出分别