03-信道与信道容量(0)

2020 4 20 1 49 电子信息工程教研组刘颖娜 第三章信道与信道容量 2020 4 20 2 49 电子信息工程教研组刘颖娜 本章节教学内容 基本要求 重点与难点 1 教学内容 信道的数学模型和分类 单符号离散信道的信道容量 多符号离散信道 2 教学基本要求 掌握信道的分类及对应的数学模型 掌握信道容量的物理意义 计算方法 了解信道编码定理 3 重点与难点 信道容量 2020 4 20 3 49 电子信息工程教研组刘颖娜 第三章信道与信道容量第一节信道的分类和表示参数1 信道的分类2 信道参数第二节离散单个符号信道及其容量1 无干扰离散信道2 对称DMC信道3 准对称DMC信道4 一般DMC信道第三节离散序列信道及其容量 2020 4 20 4 49 电子信息工程教研组刘颖娜 信道的功能 以信号形式传输和存储信息 信道容量研究内容 在什么条件下 通过信道的信息量最大 2020 4 20 5 49 电子信息工程教研组刘颖娜 第一节信道的分类和表示参数 信道的输入输出关系信号在信道中传输会引入噪声或干扰 它使信号通过信道后产生错误和失真 信道的输入和输出之间一般不是确定的函数关系 而是统计依赖关系 知道了信道的输入信号 输出信号以及它们之间的依赖关系 信道的全部特性就确定了 一般来说 输入和输出信号都是广义的时间连续的随机信号 可用随机过程来描述 2020 4 20 6 49 电子信息工程教研组刘颖娜 信道的一般数学模型如图所示模型的数学符号表示 XP Y X Y 实际信道带宽总是有限的 所以输入和输出信号总可以分解成随机序列来研究 随机序列中每个随机变量的取值可以是可数的离散值 也可以是不可数的连续值 一般信道的数学模型 2020 4 20 7 49 电子信息工程教研组刘颖娜 一 信道的分类 根据用户数量分类 单用户信道 多用户信道 根据输入输出关系分类 有反馈信道 无反馈信道 根据信道参数与时间关系分类 固定参数信道 时变参数信道 根据信道上所收干扰的种类分类 随机误差信道 突发误差信道 根据输入输出随机信号的特点分类 离散信道 连续信道 半离散 半连续信道 波形信道 实际信道的带宽总是有限的 输入和输出信号总可以分解成随机序列来研究 一个实际信道可同时具有上述的多种属性 最简单的信道是单符号离散信道 2020 4 20 8 49 电子信息工程教研组刘颖娜 二 信道参数模型 设输入X X1X2 Xi Xi x1 x2 xn 输出Y Y1Y2 Yj Yj y1 y2 ym 信道模型如图所示 2020 4 20 9 49 电子信息工程教研组刘颖娜 信道统计依赖关系 信道统计特性描述 由信道转移概率p yj xi 描述 信道特性表示 用信道转移概率矩阵 简称信道矩阵 2020 4 20 10 49 电子信息工程教研组刘颖娜 1 无干扰信道 无噪 信道矩阵 2 有干扰无记忆信道 有噪 输入输出之间没有明确的函数关系 但信道转移矩阵满足 根据信道有无干扰 有无记忆 将信道分为以下三类 2020 4 20 11 49 电子信息工程教研组刘颖娜 按输入输出符号的个数及形式 可将信道分为 1 二进制离散信道 设输入X 0 1 输出Y 0 1 输入输出对称 二进制对称信道 BSC BinarySymmetricChannel无记忆 2020 4 20 12 49 电子信息工程教研组刘颖娜 2 离散无记忆信道 DMC DiscreteMemorylessChannel 信道矩阵的各行之和等于1 BSC信道是DMC信道中的特例 输入X a1 a2 an 输出Y b1 b2 bm 2020 4 20 13 49 电子信息工程教研组刘颖娜 3 离散输入连续输出信道 输入X a1 a2 an 输出Y 输入为有限符号的离散符号集 输出为未经量化的实数轴上的任意值 信道的转移特性由概率密度函数来决定 Y X G 2020 4 20 14 49 电子信息工程教研组刘颖娜 4 波形信道 输入输出都是随机过程 输入X 输出Y 传输的是波形信号 2020 4 20 15 49 电子信息工程教研组刘颖娜 3 有干扰有记忆信道 情况比较复杂 处理的方法一般有 1 将记忆很强的L个符号当成矢量符号 各矢量之间近似无记忆 L越长 误差越小 2 将信道的转移概率看成马尔可夫链的形式 若记忆有限 只与前面m个符号有关 2020 4 20 16 49 电子信息工程教研组刘颖娜 根据分析者的不同目的 可以选择以上不同的信道 若设计 分析离散信道编 解码的性能从工程角度 常用DMC信道模型或BSC 若分析信道性能的理论极限多用离散输入连续输出信道 若设计 分析数字调制解调器的性能采用波形信道模型 本课后面主要讨论编 解码问题 所以重点讨论DMC信道模型或BSC 2020 4 20 17 49 电子信息工程教研组刘颖娜 2020 4 20 18 49 电子信息工程教研组刘颖娜 第二节离散单个符号信道及其容量 名词 信道的信息传输率 信道中平均每个符号所能传送的信息量 假设已知传送一个符号所用的时间为t s 秒 则信息的传输速率为 单位 bit 符号 s 符号 bit s 2020 4 20 19 49 电子信息工程教研组刘颖娜 复习 互信息的概念 单个符号之间的互信息定义为 后验概率 先验概率 由于无法确定后验概率和先验概率之间的大小关系 因此一般单个符号之间的互信息没有多大意义 一般从平均意义上来描述互信息 2020 4 20 20 49 电子信息工程教研组刘颖娜 而 则研究信道 即看信道的信息传输率R 即I X Y 与信道参数信道的转移概率p yj xi 之间的关系 2020 4 20 21 49 电子信息工程教研组刘颖娜 前面已知固定信道特性时 可得I X Y 随输入概率分布p ai 变化的曲线 I X Y 是p ai 的上凸函数 即可以找到某种信源的概率分布p ai 使I X Y 达到最大 即信道能传送的最大信息量 定义为 信道容量 单位若每个符号的转送周期为T 单位也可以是Ct C Tbit 秒 注意 对于特定的信道 C为定值 信息传输量的上限 2020 4 20 22 49 电子信息工程教研组刘颖娜 一 无干扰离散信道 1 X Y一一对应 即m n无噪无损信道 设 输入X a1 a2 an 输出Y b1 b2 bm 按XY的对应关系分为 对应的信道矩阵是 2020 4 20 23 49 电子信息工程教研组刘颖娜 因为信道矩阵中所有元素均是 1 或 0 X和Y有确定的对应关系 已知X后Y没有不确定性 噪声熵H Y X 0 反之 收到Y后 X也不存在不确定性 信道疑义度H X Y 0 故有I X Y H X H Y 当信源呈等概率分布时 具有一一对应确定关系的无噪信道达到信道容量 2020 4 20 24 49 电子信息工程教研组刘颖娜 2 多个输入变为一个输出 即n m无噪有损信道 对应的信道矩阵是 2020 4 20 25 49 电子信息工程教研组刘颖娜 信道矩阵中的元素非 0 即 1 每行仅有一个非零元素 但每列的非零元素个数大于1 已知一个xi后 对应的yj完全确定 信道噪声熵H Y X 0 但是收到某一个yj后 对应的xi不完全确定 信道疑义度H X Y 0 信道容量为 这种信道输入端符号熵大于输出端符号熵 H X H Y 注意 在求信道容量时 调整的始终是输入端的概率分布p xi 尽管信道容量式子中平均互信息I X Y 等于输出端符号熵H Y 但是在求极大值时调整的仍然是输入端的概率分布p xi 而不能用输出端的概率分布p yj 来代替 2020 4 20 26 49 电子信息工程教研组刘颖娜 3 一个输入对应多个输出 但每个输入对应的输出值不重合 即n m有噪无损信道 对应的信道矩阵是 2020 4 20 27 49 电子信息工程教研组刘颖娜 虽然信道矩阵中的元素不全是 1 或 0 但由于每列中只有一个非零元素 已知Y后 X不再有任何不确定度 信道疑义度H X Y 0 I X Y H X H X Y H X 信道容量为与一一对应信道不同的是 此时输入端符号熵小于输出端符号熵 H X H Y 例 2020 4 20 28 49 电子信息工程教研组刘颖娜 二 对称DMC信道 若信道的转移矩阵中每行元素为第一行元素的置换 称为输入对称的DMC信道每列元素为第一行列素的置换 称为输出对称的DMC信道 输入输出都对称的DMC信道 称为对称DMC信道 2020 4 20 29 49 电子信息工程教研组刘颖娜 对称DMC信道的信道容量 设 输入X a1 a2 an 输出Y b1 b2 bm 对称DMC信道每行的熵值相同 所以 条件熵与输入信道的概率无关 且为一常数 常数 2020 4 20 30 49 电子信息工程教研组刘颖娜 对称DMC信道的信道容量 变成了求一种输入分布p ai 使H Y 取最大值的问题 对称DMC信道满足输入等概 输出等概即 2020 4 20 31 49 电子信息工程教研组刘颖娜 1 X Y一一对应 即m n无噪无损信道 2 多个输入变为一个输出 即n m无噪有损信道 3 一个输入对应多个输出 但每个输入对应的输出值不重合 即n m有噪无损信道 4 对称DMC信道的信道容量返回 总结 2020 4 20 32 49 电子信息工程教研组刘颖娜 单符号离散信道的X和Y取值均由n个不同符号组成 即X x1 x2 xi xn Y y1 y2 yj yn 信道矩阵为这种信道称为强对称 均匀信道 这类信道中 总的错误概率是 对称平均地分配给 n 1 个输出符号 信道矩阵中每行之和等于1 每列之和也等于1 而一般信道矩阵中 每列之和不一定等于1 强对称 均匀信道 2020 4 20 33 49 电子信息工程教研组刘颖娜 当n 2时 即为BSC信道 当 0时 信道无差错 C最大 当 1 2时 正确错误概率相同 从输出端无法判断输入信号 得不到任何信息 C 0 当1 2 1时 可以从输入端颠倒0 1的发送顺序来传递信息 获得信道容量 2020 4 20 34 49 电子信息工程教研组刘颖娜 实际通信系统要有多个环节的传输 H X I X Y I X Z I X W 信息传递过程中的不增性 C 1 2 maxI X Z C 1 2 3 maxI X W 信道越多 C越小 无穷时 C趋于0 例 2020 4 20 35 49 电子信息工程教研组刘颖娜 例 有两个BSC信道 信道模型如图 例 有两个BSC信道 信道模型如图 2020 4 20 36 49 电子信息工程教研组刘颖娜 2020 4 20 37 49 电子信息工程教研组刘颖娜 三 准对称DMC信道 若信道的转移矩阵中每行元素为第一行元素的置换 称为输入对称的DMC信道输入对称 而输出不对称 的信道称为准对称DMC信道 满足 2020 4 20 38 49 电子信息工程教研组刘颖娜 由于每列元素不一定相等 所以输入输出概率分布不一定相等 即输入等概时输出不一定是等概分布 已知输出信号等概分布时 熵值最大 所以有 已知互信息I是输入概率分布p ai 的 型凸函数 我们可以根据信道容量的公式 求偏导数得到最大值 2020 4 20 39 49 电子信息工程教研组刘颖娜 例 已知一信道的转移矩阵为 求其信道容量 可以看出输入有两个符号 设为a1a2 输出有三个符号 设为b1b2b3 由于I是输入概率分布p ai 的 型凸函数 我们可以设p a1 p a2 1 2020 4 20 40 49 电子信息工程教研组刘颖娜 联合概率矩阵的列之和为p bj p b3 为常数 说明其与输入符号分布无关 其中 2020 4 20 41 49 电子信息工程教研组刘颖娜 为求导方便 采取以e为底的自然对数计算 令解出a的值 代入到I X Y 即为信道容量 解得 1 2C maxI X Y 0 036bit 符号此时输出符号概率分布为 0 40 40 2 此种信道称为 二元对称删除信道 2020 4 20 42 49 电子信息工程教研组刘颖娜 对于准对称DMC信道的另一种求法 将信道转移矩阵分解为若干不相交的对称子集 如 2020 4 20 43 49 电子信息工程教研组刘颖娜 可以证明 当输入等概分布时 达到信道容量 p1 p2 pm 转移矩阵中的某一行元素 Nk 第k个子矩阵中的行元素之和 Mk 第k个子矩阵中的列元素之和 r 互不相交的子集 矩阵 的个数 2020 4 20 44 49 电子信息工程教研组刘颖娜 例 r 2 r 1时N1 0 8 M1 0 8 r 2时N2 0 2 M2 0 4 2020 4 20 45 49 电子信息工程教研组刘颖娜 2020 4 20 46 49 电子信息工程教研组刘颖娜 四 一般DMC信道 一般的说 为使平均互信息达到最大 以求取信道容量 输入符号概率集合 p ai 必须满足的充分和必要条件是 上式说明 当平均互信息达到信道容量时 输入符