信道与信道容量.ppt

普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 1 第3章信道与信道容量 信道是通信系统的重要部分 它是传输信息的载体 其任务是以信号方式传输信息 存储信息 信道理论研究的中心问题是信道能够传输或存储的最大信息量 即信道容量的大的问题 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 2 第3章信道与信道容量 本章内容提要信道的基本概念离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 3 3 1信道的基本概念 信道分类 研究信道主要考虑信道中受干扰的影响 由于信道存在的干扰使输入信号和输出信号之间没有固定的函数关系 只有统计依赖关系 因此可以通过分析输入和输出信号之间的统计特性来研究信道 实际通信系统中 信道的种类很多 包含的设备也不相同 因此可以按照不同的角度对信道进行分类 根据用用户数量 信道可以分为单用户信道和多用户信道 单用户信道只有一个输入端和一个输出端 信息只朝一个方向单向传输 多用户信道的信号输入和输出端至少有一端有两个以上用户 信息在两个方向都能传输 根据输入端和输出端关系 无反馈信道 有反馈信道根据信道参数与时间的关系 固定参数信道 光纤 电缆 时变参数信道 无线信道 根据噪声种类 随机差错信道 高斯白噪声为主题的信道 突发差错信道 噪声干扰的影响前后相关 如 衰落信道 码间干扰信道 根据输入输出信号的特点 离散信道 连续信道 半离散半连续信道以及波形信道 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 4 3 1信道的基本概念 信道参数设信道的输入量为 输出量为 通常采用条件概率分布来来描述信道的输入和输出信号之间的统计依赖关系 在分析信道问题时 该条件概率通常叫做转移概率 信道种类1 无干扰信道 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 5 3 1信道的基本概念 2 有干扰无记忆信道信道的输出与输入信号和输入信号之间没有确定的关系 但每个输出符号只与当前输入信号之间有转移概率关系 而与其他时刻的输入 输出信号都无关 即无记忆 这种情况下只需要分析单个符号的转移概率即可 对于有干扰无记忆信道我们重点关注以下信道模型 1 二进制离散信道 二进制对称信道 BSC 2 离散无记忆信道 DMC 3 离散输入 连续输出信道 4 波形信道 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 6 3 1信道分类和表示参数 二进制对称信道 BSC 该信道模型的输入和输出都只有两个符号 即X A 0 1 Y B 0 1 且转移概率为 p Y 0 X 1 p Y 1 X 0 p p Y 1 X 1 p Y 0 X 0 1 p 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 7 3 1信道分类和表示参数 离散无记忆信道 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 8 3 1信道分类和表示参数 离散输入 连续输出信道 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 9 3 1信道分类和表示参数 波形信道 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 10 3 2离散单个符号信道及其容量 信息传输率信道在单位时间内平均传输的信息量定义为信息传输速率R I X Y H X H X Y 比特 符号Rt I X Y t比特 秒信道容量比特 符号 bits symbol或bits channeluse 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 11 3 2离散单个符号信道及其容量 无干扰离散信道的信道容量 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 12 3 2离散单个符号信道及其容量 X Y一一对应C maxI X Y logn多个输入变成一个输出C maxI X Y maxH Y 一个输入对应多个输出C maxI X Y maxH X 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 13 3 2离散单个符号信道及其容量 对称DMC信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换 包含同样元素 称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换 包含同样元素 称该矩阵是输出对称对称的DMC信道如果输入 输出都对称 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 14 3 2离散单个符号信道及其容量 对称DMC信道例子 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 15 3 2离散单个符号信道及其容量 输入对称 输出对称 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 16 3 2离散单个符号信道及其容量 对称信道容量 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 17 3 2离散单个符号信道及其容量 Eg 求信道容量 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 18 3 2离散单个符号信道及其容量 Eg 求信道容量 信道输入符号和输出符号的个数相同 都为n 且正确的传输概率为1 错误概率 被对称地均分给n 1个输出符号 此信道称为强对称信道或均匀信道 是对称离散信道的一个特例 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 19 3 2离散单个符号信道及其容量 二进制对称信道容量C 1 H 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 20 3 2离散单个符号信道及其容量 串联信道 C 1 2 maxI X Z C 1 2 3 maxI X W 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 21 3 2离散单个符号信道及其容量 Eg 设有两个离散BSC信道串接 两个BSC信道的转移矩阵如下 求信道容量 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 22 3 2离散单个符号信道及其容量 信道容量I X Y 1 H I X Z 1 H 2 1 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 23 3 2离散单个符号信道及其容量 准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称 即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同 则称该信道是准对称DMC信道 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 24 3 2离散单个符号信道及其容量 准对称DMC信道容量对于准对称DMC信道 当输入分布为等概分布时 互信息达到最大值 即为信道容量 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 25 3 2离散单个符号信道及其容量 Eg 求信道容量 方法一 信道的输入符号有两个 可设p a1 p a2 1 信道的输出符号有三个 用b1 b2 b3表示 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 26 3 2离散单个符号信道及其容量 方法二当p a1 p a2 1 2时 p b1 p b2 1 0 2 2 0 4C H Y H Y X 0 036bit 符号 方法三将转移概率矩阵划分成若干个互不相交的对称的子集 n为输入符号集个数 p1 p2 ps 是转移概率矩阵P中一行的元素 即H p1 p2 ps H Y ai Nk是第k个子矩阵中行元素之和 Mk是第k个子矩阵中列元素之和 r是互不相交的子集个数 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 27 3 2离散单个符号信道及其容量 方法三 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 28 3 2离散单个符号信道及其容量 Eg 求信道容量 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 29 3 2离散单个符号信道及其容量 一般DMC信道1972年由R Blahut和A Arimoto分别独立提出的一种算法 现在称为Blahut Arimoto算法I ai Y C对于所有满足p ai 0条件的II ai Y C对于所有满足p ai 0条件的I当信道平均互信息达到信道容量时 输入符号概率集 p ai 中每一个符号ai对输出端Y提供相同的互信息 只是概率为零的符号除外 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 30 3 3离散序列信道及其容量 离散序列信道 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 31 3 3离散序列信道及其容量 离散无记忆序列信道 1 1 1 1 1 进一步信道是平稳的 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 32 3 3离散序列信道及其容量 离散无记忆序列信道 1 1 1 1 1 如果信道无记忆 如果输入矢量X中的各个分量相互独立 当信道平稳时CL LC1 一般情况下 I X Y LC1 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 33 3 3离散序列信道及其容量 扩展信道如果对离散单符号信道进行L次扩展 就形成了L次离散无记忆序列信道 1 1 1 1 1 BSC的二次扩展信道 X 00 01 10 11 Y 00 01 10 11 二次扩展无记忆信道的序列转移概率p 00 00 p 0 0 p 0 0 1 p 2 p 01 00 p 0 0 p 1 0 p 1 p p 10 00 p 1 0 p 0 0 p 1 p p 11 00 p 1 0 p 1 0 p2 00 10 11 01 00 01 10 11 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 34 3 3离散序列信道及其容量 扩展信道 1 1 1 1 若p 0 1 则C2 2 0 938 1 062比特 序列 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 35 3 3离散序列信道及其容量 独立并联信道序列的转移概率p Y1Y2 YL X1X2 XL p Y1 X1 p Y2 X2 p YL XL 1 1 1 1 X1p Y1 X1 Y1X2p Y2 X2 Y2 XLp YL XL YL 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 36 3 4连续信道及其容量 连续单符号加性信道 x x R p y x y y R 连续单符号信道 npn n N 0 2 平均互信息为I X Y HC X HC X Y HC Y HC Y X HC X HC Y HC XY 信道容量 噪声是均值为零 方差为 2的加性高斯噪声 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 37 3 4连续信道及其容量 连续单符号加性信道 pY y N 0 P pn n N 0 2 y x n 所以pX x N 0 S C 1 2log 1 SNR 信道输入X是均值为零 方差为S的高斯分布随机变量时 信息传输率达到最大值 若是加性的 可以求出信道容量的上下界 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 38 3 4连续信道及其容量 多维无记忆加性连续信道 信道输入随机序列X X1X2 XL 输出随机序列Y Y1Y2 YL 加性信道有y x n 其中n n1n2 nL是均值为零的高斯噪声 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 39 3 4连续信道及其容量 连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道 比特 L维自由度 因此当且仅当输入随机矢量X中各分量统计独立 且是均值为零 方差为Pl的高斯变量时 才能达到此信道容量 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 40 3 4连续信道及其容量 讨论 均值为零 方差相同 均值为零 方差不同 总平均功率受限 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 41 3 4连续信道及其容量 讨论 各个时刻的信道输出功率相等设为常数 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 42 3 4连续信道及其容量 eg有一并联高斯加性信道 各子信道噪声方差为 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 1 0 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 43 3 4连续信道及其容量 限时限频限功率加性高斯白噪声信道 波形信道的平均互信息为 信道容量为 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 44 3 4连续信道及其容量 限时限频限功率加性高斯白噪声信道 限频 W 高斯白噪声过程可分解L 2WtB维统计独立的随机序列 其中 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 45 3 4连续信道及其容量 限时限频限功率加性高斯白噪声信道 信道的容量 单位时间的信道容量 香农公式 普通高等教育 十五 国家级规划教材 信息论与编码 曹雪虹等编著 46 3 4连续信道及其容量 讨论 带宽W一定时 信噪比SNR与信道容量Ct成对数关系 普通高等教育 十五 国家级规划教材 信息论与编