信道与信道容量-2

信道与信道容量 第三章 2 3 1信道分类和表示参数3 2离散单个符号信道及其容量3 3离散序列信道及其容量3 4连续信道及其容量 内容 3 信道 设信道的输入X X1 X2 Xi Xi a1 an 输出Y Y1 Y2 Yj Yj b1 bm 信道转移概率矩阵p Y X 描述输入 输出的统计依赖关系 反映信道统计关系 信道 X Y p Y X 4 无干扰 无噪声 信道 无干扰 无噪声 信道信道的输出信号Y与输入信号X之间有确定的关系Y f X 已知X后就确知Y转移概率 5 有干扰无记忆信道 有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系 但转移概率满足 有干扰无记忆信道可分为 二进制离散信道离散无记忆信道离散输入 连续输出信道波形信道 6 离散无记忆信道DMC 信道输入是n元符号X a1 a2 an 信道输出是m元符号Y b1 b2 bm 转移矩阵已知X 输出Y统计特性 7 3 2离散单个符号信道及其容量 8 信道容量 平均互信息I X Y 接收到符号Y后平均每个符号获得的关于X的信息量 信道的信息传输率就是平均互信息 9 信道容量 信道容量C 最大的信息传输率 单位时间的信道容量 10 信道容量的计算 对于一般信道 信道容量计算相当复杂 我们只讨论某些特殊类型的信道 离散信道可分成 无干扰 无噪 信道无嗓无损信道有噪无损信道无噪有损信道有干扰无记忆信道有干扰有记忆信道 11 无干扰离散信道 无噪无损信道 有噪无损信道 一对多 无噪有损信道 多对一 12 3 2 1对称DMC信道 对称离散信道 对称性 每一行都是由同一集 p1 p2 pm 的诸元素不同排列组成 输入对称每一列都是由集 q1 q2 qn 的诸元素不同排列组成 输出对称 满足对称性 所对应的信道是对称离散信道 13 对称DMC信道 信道矩阵 不具有对称性 因而所对应的信通不是对称离散信道 14 对称DMC信道 若输入符号和输出符号个数相同 都等于n 且信道矩阵为 此信道称为强对称信道 均匀信道 信道矩阵中各列之和也等于1 15 对称DMC信道 对称离散信道的平均互信息为 16 对称DMC信道 对称DMC信道的容量 上式是对称离散信道能够传输的最大的平均信息量 它只与对称信道矩阵中行矢量 p1 p2 pm 第二项为矩阵任一行元素的信息熵 和输出符号集的个数m有关 强对称信道的信道容量 17 设二进制对称信道的输入概率空间信道矩阵 BSC信道容量 18 19 当p固定时 I X Y 是 的型上凸函数 I X Y BSC信道容量 1 H p I X Y 对 存在一个极大值 BSC信道容量 20 p C 当固定信源的概率分布 时 I X Y 是p的型下凸函数 信道无噪声 当p 0 C 1 0 1bit H X 当p 1 2 信道强噪声 BSC信道容量 BSC信道容量 21 信道容量 定理 给定转移概率矩阵P后 平均互信息I X Y 是输入信源的概率分布p ai 的型上凸函数 定理 平均互信息I X Y 是信道传递概率p bj ai 的型凸函数 信道容量是完全描述信道特性的参量 是信道能够传输的最大信息量 22 离散无记忆模K加性噪声信道 X是信道输入 Z是信道干扰 Y为信道输出 取值空间均为同一整数集 X Z Y 0 1 K 1 Y XZmodK 该信道称为离散无记忆模K加性噪声信道 计算机系统和数字通信系统中有些情况下可用该模型描述 由信道的对称性及可得该类信道的容量为 X Z Y 23 例3 3离散无记忆模K加性噪声信道Y XZmodK X和Y均取值于 0 1 K 1 求该信道容量 该信道可用右图表示 可明显看出对称DMC信道特征 信道转移概率矩阵为 01K 1 012K 1 24 利用离散无记忆模K加性噪声信道容量公式可得 25 当信源输入符号的速率为rs 符 秒 信道容量 BSC信道容量 实际信息传输速率Rt为 进入信道输入端的信息速率 等概分布 26 例BSC信道如图 rs 1000符号 秒 错误传递概率p 0 1求 信道容量 0 Y 0 1 1 0 9 输入符号等概时有最大信息传输速率 信道实际信息传输速率 0 1 0 9 1 0 x 27 串联信道 例3 4设有两个离散BSC信道 串接如图 两个BSC信道的转移矩阵为 X0 0Z Y 1 1 1 p 1 p 1 p p 串联信道的转移矩阵为 1 p p 28 串联信道 X0 0Z Y 1 1 求得 在实际通信系统中 信号往往要通过几个环节的传输 或多步的处理 这些传输或处理都可看成是信道 它们串接成一个串联信道 p p 1 p 1 p 1 p 1 p 29 串联信道 由信息不增原理 信道2 信道m 信道1 可以看出 串接的信道越多 其信道容量可能会越小 当串接信道数无限大时 信道容量可能会趋于0 X Y Z 30 3 2 3准对称DMC信道 准对称信道转移概率矩阵P是输入对称而输出不对称将信道矩阵P的列划分成若干个互不相交的子集mk 由mk为列组成的矩阵 P k是对称矩阵 它们满足对称性 所以P1所对应的信道为准对称信道 31 准对称信道的信道容量 准对称信道 由于转移概率矩阵中每行的元素相同 所以 32 准对称信道的信道容量 但每列的元素不相同 所以信道的输入和输出分布概率可能不等 此时H Y 的最大值可能小于Y等概率时的熵 因而准对称信道容量因为I是输入符号概率的型凸函数 根据信道容量的定义式 可引入拉格朗日乘子法求解极值问题 便求得输入符号概率和最大互信息 33 准对称信道的信道容量 例3 5已知一个信道的信道转移矩阵为由P可看出信道的输入符号有两个 可设信道的输出符号有3个 用b1 b2 b3表示 由得联合概率的矩阵为 34 恒定 与的分布无关 由 得 式中 35 即输入符号分布等概率时 I X Y 达到最大值 所以信道容量为 由 解得 此时输出符号的概率为 36 准对称信道的信道容量 求准对称信道的容量 可以通过如下方法来求 即将信道矩阵P划分成若干个互不相交的对称子集mk 37 准对称信道的信道容量 当输入分布为等概率时 达到信道容量为 其中n是输入符号集的个数 为准对称信道矩阵中的行元素 设矩阵可划分成r个互不相交的子集 Nk是第k个子矩阵Pk中行元素之和 Mk是第k个子矩阵Pk中列元素之和 38 例 设信道传递矩阵为 计算得 N1 3 4 N2 1 4 M1 3 4 M2 1 4 将它分成 39 40 例3 7 41 3 2 4一般DMC信道 定理 一般离散信道的平均互信息I X Y 达到极大值的充分和必要条件是输入概率 p ai 必须满足 I ai Y C对于所有ai其p ai 0I ai Y C对于所有ai其p ai 0 上式说明 当信道的平均互信息I X Y 达到信道容量时 输入符号概率集 p ai 中每一个符号ai对输出端Y提供相同的互信息 只是概率为0的除外 42 3 2 4一般DMC信道 43 3 3离散序列信道及容量 前面讨论的信道输入输出均为单个符号的随机变量 然而在实际应用中 信道的输入和输出却是在空间或时间上离散的随机序列 有无记忆的离散序列信道 当然更多的是有记忆的 即序列的转移概率之间有关联性 44 离散序列信道及容量 设信道的输入X X1 X2 Xi XL Xi a1 an 输出Y Y1 Y2 Yj YL Yj b1 bm 信道 X Y p Y X 对于无记忆离散序列信道 其信道转移概率为 即仅与当前输入有关 若信道是平稳的 45 定理 若信道的输入和输出分别是L长序列X和Y 且信道是无记忆的 亦即信道传递概率为 则存在 定理 若信道的输入和输出分别是L长序列X和Y 且信源是无记忆的 亦即输入矢量X中各个分量相互独立 则存在 46 离散序列信道及容量 若信源与信道都是无记忆的 L次扩展信道的信道容量 当信道平稳时 一般情况下 47 例3 9 BSC信道二次扩展 00 X 01 10 11 00 01 10 11 Y 转移概率矩阵 2次扩展信道的信道容量 若p 0 1则C2 2 0 938 bit 序列 1 062bit 序列C1 1 H 0 1 0 531bit 序列 C2 2C1 48 独立并联信道 设有L个信道 它们的输入 输出分别是 X1 X2 XL Y1 Y2 YL 信道 信道 信道 p Y1 X1 p YL XL p Y2 X2 每一个信道的输出Yl只与本信道的输入Xl有关 与其他信道的输入 输出都无关 此时序列的转移概率 X1 X2 XL Y1 Y2 YL 也是无记忆序列信道 49 独立并联信道 独立并联信道的信道容量 所以 即联合平均互信息不大于各自信道平均互信息之和 50 3 4连续信道及其容量 51 连续信道及其容量 连续信道的容量不容易计算 当信道为加性连续信道时 情况简单一些 设信道的输入和输出信号是随机过程x t 和y t y t x t n t n t 信道的加性高斯白噪声 一个受加性高斯白噪声干扰的带限波形信道的容量 由香农 1948 正式定义 信道 n t x t y t 52 连续信道及其容量 高斯白噪声加性信道单位时间的信道容量 这就是著名的香农公式 信噪比SNR 53 3 5信源与信道的匹配 54 信源发出消息 符号 一般要通过信道来传输 到达信宿 因此要求信源的输出与信道的输入匹配 1 符号匹配 信源输出的符号必须是信道能够传送的符号 可在信源与信道之间加入编码器来实现 也可以在信源压缩编码时一步完成 2 信息匹配 对于某一信道 只有当输入符号的概率分布p x 满足一定条件时才能达到其信道容量C 也就是说 只有特定的信源才能使某一信道的信息传输率达到最大 一般情况下 信源与信道连接时 其信息传输率R I X Y 并未达到最大 即信道没有得到充分利用 当信源与信道连接时 若信息传输率达到了信道容量 则称此信源与信道达到匹配 否则认为信道有冗余 55 信道冗余度定义为信道绝对冗余度 C I X Y 其中C是信道容量 I X Y 是信道实际传输的平均信息量 信道相对冗余度 1 I X Y C冗余度大 说明信源与信道匹配程度低 信道的信息传递能力未得到充分利用 冗余度小 说明信源与信道匹配程度高 信道的信息传递能力得到较充分利用 冗余度为零 说明信源与信道完全匹配 信道的信息传递能力完全利用 一般来说 实际信源的概率分布未必就是信道的最佳输入分布 所以冗余度不为零 因此 要求信源与信道达到信息的完全匹配是不可能的 只要信道冗余度较小就可以了 56 所以 对信源输出的符号进行信源编码可以达到两个目的 一是将信源符号变换为信道能够传输的符号 即符号匹配 二是变换后的符号分布概率能使信息传输率接近信道容量 即信息匹配 从而使信道冗余度接近于零 信源和信道达到匹配 信道得到充