第6章 有噪信道编码(08)

中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 信息论基础 尹洪胜主讲 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 第六章有噪信道编码 6 1信道编码的相关概念6 2有噪信道编码定理6 3纠错编码 自学 6 4几种重要的纠错码 自学 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 6 1信道编码的相关概念 信道编码又称为数据传输码或差错控制码 虽然和信源编码一样都是一种编码 但信源编码的作用是压缩冗余度以得到信息的有效表示 提高传输时的信息传输率 而信道编码的作用是提高信息传输时的抗干扰能力以增加信息传输的可靠性 在研究信道编码时 信源编码器和信源译码器分别归于信源和信宿 等效通信系统模型如图6 1所示 下面研究编码信道中的信道编码和译码 图6 1等效通信系统模型 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 6 1信道编码的相关概念 有噪信道编码定理由香农在1948年给出 但没有进行严格的数学证明 在1955 1965包括香农本人在内 多人给出多种不同的数学证明 1 编码信道模型1 信源编码 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 6 1信道编码的相关概念 2 编码信道模型 1 信道特征 P Y X 描述 2 编码对象 数字序列M 又称信息序列 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 3 编码器 按一定的规则给数字序列M增加一些多余的码元 使不具有规律性的信息序列M变换为具有某种规律性的数字序列C 又称为码序列 信息序列M与多余码元之间具有相关性 4 译码器 利用预知的编码规则译码 能够检验接受的数字序列 中是否有错 或者纠正其中的差错 将附加多余码元去掉 输出给信源译码器 6 1信道编码的相关概念 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 2 错误概率和译码规则1 错误概率PE和信道统计特性 译码过程 译码规则有关 例二元对称信道 译码规则 6 1信道编码的相关概念 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 6 1信道编码的相关概念 2 译码规则 设信道输入符号集X x1 x2 xr 输出符号集Y y1 y2 ys 若对每一个输出符号yj都有一个确定的函数F yj 使yj对应于唯一的一个输入符号xi 则称这样的函数为译码规则 记为 F yj xi i 1 2 r j 1 2 s 显然 总的译码规则共有rs种 并不是每一种译码规则都是合理的 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 6 1信道编码的相关概念 例题 设有一信道 信道矩阵 译码函数为F 可设计为 A F y1 x1 F y2 x2 F y3 x3B F y1 x1 F y2 x3 F y3 x2C F y1 x1 F y2 x2 F y3 x1 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 3 错误概率 在确定译码规则F yj xi 下 信道输出端接收到yj 则一定译成xi 此时如果发送端发送的就是xi 表明译码正确 否则就是译码错误 那么 正确译码概率 p F yj yj p xi yj 错误译码概率 p e yj 1 p xi yj 平均错误概率 Pe E p e yj p yj p e yj 经过译码后 平均接受到一个符号所产生错误的大小 6 1信道编码的相关概念 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 4 最佳译码规则 1 总体原则 使平均错误概率Pe最小 2 最大后验概率准则 选择译码函数F yj x 使之满足条件P x yj p xi yj 对任意i含义 它是选择这样一种译码函数 对于每一个输出符号yj均译成具有最大后验概率的那个符号x 此时具有Pe最小值 6 1信道编码的相关概念 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 举例 信源 信道矩阵 求最大后验概率准则下的译码方案 解 利用贝叶斯公式 1收到y1 P x1 y1 2 3 P x2 y1 1 3 P x3 y1 0所以F y1 x12收到y2 F y2 x33收到y3 F y3 x3 6 1信道编码的相关概念 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 3 最大联合概率准则 选择译码函数F yj x 使之满足条件P x yj p xiyj 对任意i举例 同上例解 利用乘法公式1收到y1 P x1y1 1 2 P x2y1 1 4 P x3y1 0所以F y1 x12收到y2 F y2 x33收到y3 F y3 x3 6 1信道编码的相关概念 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 4 最大似然译码准则 选择译码函数F yj x 使之满足条件P yj x p yj xi 对任i举例 同上例解 通过观察可得 1F y1 x1F y2 x3F y3 x32F y1 x2F y2 x3F y3 x3 6 1信道编码的相关概念 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 5 平均错误概率Pe 6 1信道编码的相关概念 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 1 问题提出传输信息的2个主要要求 1 信息传输率尽可能快 效率 2 平均错误概率尽可能低 可靠性 例反复传送提高通信的可靠性 以BSC信道为例 设信源输出符号只有0和1 信道矩阵 a 信源输出0或1不重复传送 信源传1位 信道传1位此时 R 1bit 符号 Pe 0 01 6 2有噪信道编码定理 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT b 信源输出0或1重复传送3次 信源传1位 信道传3位此时 R 1 3bit 符号 10 4c 进一步增大重传次数n 5R 1 5bit 符号 Pe 10 5n 7R 1 7bit 符号 Pe 4 10 7n 9R 1 9bit 符号 Pe 10 8n 11R 1 11bit 符号 Pe 5 10 10 6 2有噪信道编码定理 中国矿业大学信电学院SchoolofInformationandElectricalEngineering CUMT 2 离散信道的编码定理用文字叙述其内涵 只要传信率小于信道容量C 总存在一种信道编码 可以以所要求的任意小的差错概率实现可靠通信 香农第二编码定理 信道编码的逆定理 信道容量是可靠通信系统传信率的上边界 如果R C就不可能有任何一种编码使差错概率任意小 以上两个定理常被写在一起统称为有扰信道的信道编码定理 3 说明a 该定理只解决了什么是理论极限 并指出在一定范围内与R C有关 Pe随N增大而降低 b 在任何信道中 信道容量是可进行可靠传输的最大信息传输率 c 推动了编码理论的发展 实际的编码