第六章：信道编码

1、理解信道编码在通信系统中的作用理解信道编码在通信系统中的作用了解信道编码的的基本分类了解信道编码的的基本分类了解信道编码性能评价的基本方法了解信道编码性能评价的基本方法了解汉明码的编译码原理了解汉明码的编译码原理了解信道容量了解信道容量/容量代价函数在信道编码定理中的作用容量代价函数在信道编码定理中的作用理解香农第二定理又称有噪信道编码定理的物理意义理解香农第二定理又称有噪信道编码定理的物理意义了解信道编码理论与实际应用的差距了解信道编码理论与实际应用的差距 信道编码概述信道编码概述 错误概率与译码准则、编码方法错误概率与译码准则、编码方法 信道编码定理与联合典型序列信道编码定理与联合典型序列

2、 信道编码的性能界限信道编码的性能界限 信道编码举例汉明码信道编码举例汉明码 关于信道编码理论的若干评注关于信道编码理论的若干评注 问题引出问题引出 什么是信道编码什么是信道编码 信道编码的作用信道编码的作用 信道编码的三种情形信道编码的三种情形 信道编码的实质信道编码的实质互信息能告诉我们什么？互信息能告诉我们什么？ 随机变量随机变量X,Y统计意义上的依存程度统计意义上的依存程度 可以获得的信息量可以获得的信息量 不能：所得信息能否可靠地确定信道输入？不能：所得信息能否可靠地确定信道输入？无噪信道编码能告诉我们什么？无噪信道编码能告诉我们什么？ 无噪无损信道，只要对信源输出进行适当编码，总能

3、以最大信息传输率，无噪无损信道，只要对信源输出进行适当编码，总能以最大信息传输率，无差错的传输信息。无差错的传输信息。 但是：一般信道总存在噪声或干扰，信息传输会造成损失但是：一般信道总存在噪声或干扰，信息传输会造成损失实际通信中人们对传输要求什么？实际通信中人们对传输要求什么？ 传输信息量大传输信息量大 传输可靠传输可靠提出的与信道传输有关的问题：提出的与信道传输有关的问题： 如何能使信息传输后发生的错误最少？如何能使信息传输后发生的错误最少？ 错误概率与那些因素有关？错误概率与那些因素有关？ 有无办法控制？有无办法控制？ 能控制到什么程度？能控制到什么程度？ 无误传输可达的最大信息率是多少

4、？无误传输可达的最大信息率是多少？ 通信系统模型通信系统模型 信道编码：信道编码：从消息到信道波形或矢量的映射从消息到信道波形或矢量的映射 希望通信系统与信道统计特性相匹配的编码希望通信系统与信道统计特性相匹配的编码信源编码信道编码信道信道译码信源译码消息集中一个元素信道波形空间中的一个点失真后的波形恢复的消息引入失真消息到波形的映射判断是消息集中的哪个元素 复接、代数编码、调制、成形滤波、扩频、上下复接、代数编码、调制、成形滤波、扩频、上下变频等等都属于变频等等都属于广义的信道编码广义的信道编码范畴范畴 注意：注意：信道译码可以不是离散信道译码。只有当解调为信道译码可以不是离散信道译码。只有

5、当解调为 硬判决输出时才是离散信道和离散信道译码硬判决输出时才是离散信道和离散信道译码信源编码离散信道编码信道调制信道译码解调信源译码广义信道或离散信道 信道编码的作用：信道编码的作用：在资源、可靠性和传信在资源、可靠性和传信量量之间选择一个好的工作点（有时还要考之间选择一个好的工作点（有时还要考虑延时）。虑延时）。 资源资源指的提供信息传输所付出的代价指的提供信息传输所付出的代价 包括频率、时间、空间、功率等等。但不包括包括频率、时间、空间、功率等等。但不包括实现复杂度实现复杂度 一个好的编码就是要充分利用资源，传递尽可一个好的编码就是要充分利用资源，传递尽可能多的信息能多的信息 给定资源和

6、可靠性要求，通过信道编码尽量提给定资源和可靠性要求，通过信道编码尽量提高传输速率（例：多电平编码）高传输速率（例：多电平编码） 给定对信息传输的速率和可靠性要求，通过信给定对信息传输的速率和可靠性要求，通过信道编码尽量减少资源开销（例：扰乱编码）道编码尽量减少资源开销（例：扰乱编码） 给定资源和传输速率，通过编码提高可靠性给定资源和传输速率，通过编码提高可靠性（例：检、纠错编码）（例：检、纠错编码） 利用冗余降低差错概率利用冗余降低差错概率 将所有可能的输入信息（消息）映射到信将所有可能的输入信息（消息）映射到信道符号（波形）空间的点，而这个点的集道符号（波形）空间的点，而这个点的集合要小于（

7、包含于）全信道空间中。合要小于（包含于）全信道空间中。按码的结构分按码的结构分: 线性码线性码 线性分组码（群码）线性分组码（群码） 卷积码（线性树码）卷积码（线性树码） 非线性码非线性码按抗干扰模式分按抗干扰模式分 抗随机差错码抗随机差错码 抗突发差错码抗突发差错码按编译码理论所用数学工具分按编译码理论所用数学工具分 代数码代数码 几何码几何码 组合码组合码按对错误的处理方式分按对错误的处理方式分 检错码检错码 纠错码纠错码 错误概率与译码规则错误概率与译码规则 错误概率错误概率Pe与什么有关与什么有关 信道的统计特性信道的统计特性 译码规则译码规则 译码规则的选择依据译码规则的选择依据 最

8、大后验概率准则理想最大后验概率准则理想 最大似然准则实用最大似然准则实用An1243w4w3w1w2xxx An 是接收空间 w1, w2, 是发送的码子围绕每个码子有一个译码域i如果接收的码子在 i中 ，就认为发送的是码子 wi 发发生生错误错误一般, An中 存在一些不属于任何 i的区域 有时接收码子会被映射到错误的i，进而被译成错误的 wi 正确译码不知如何译码译码错误 问题： 在输入和信道特性给定的条件下，差错概率将取决于接收矢量空间按什么样的划分准则进行划分 划分接收矢量空间的准则译码器的译码准则 准则一：平均错误概率最小译码准则 计算平均错误概率：mmYymyggMmYMY当表示成

9、译码函数个不相交的子集,)(.)1,.2 , 1 , 0,YX)()|()()|(),()|(ypyxpxpxypxypyxxypmmmmmm则按全概率公式有：的概率，条件下接收矢量取是发送码字设若码字Xm经传输后在接收端所得的接收矢量不落在Ym子集中，则译码发生错误10)()()|()|()()()|(Mmmmypxpxypmxypxpypyxpmm其中：理想的译码器应使平均译码差错概率最小理想的译码器应使平均译码差错概率最小)|(yxpm是译码正确的概率，则译码发生错误的概率为：是译码正确的概率，则译码发生错误的概率为：)|(1|yxppmye译码器译码器平均平均的译码差错概率为：的译码差

10、错概率为：)|()(1)|(1 ( )()(|yxpypyxpyppypPymmyyyeemax)|(yxpm 最小错误概率准则（最大后验概率准则）：最小错误概率准则（最大后验概率准则）： 特点：特点： 优点：理想优点：理想 缺点：缺点：1、后验概率不易得到、后验概率不易得到 2、后验概率依赖于输入分布、后验概率依赖于输入分布)|(max)| )(yxpyygpmm 准则二：最大似然译码准则准则二：最大似然译码准则 此时译码差错概率为：此时译码差错概率为： 平均的译码差错概率为：平均的译码差错概率为：)|(max)(|(mmxypygypmYymmexypp)|(|mmememmepmppxp

11、P|)()( 最大后验概率译码准则最大后验概率译码准则&最大似然译码准则最大似然译码准则 输入等概时二者是一致的输入等概时二者是一致的 此时：此时：)|()|()(1myMpmxypyxp)|(max)|(max)(1myMpmmmxypyxp)|(max)(1mmyMpxyp 错误概率与编码错误概率与编码 如何在信息传输率一定的前提下使如何在信息传输率一定的前提下使Pe0 实际经验：重复发送可以使实际经验：重复发送可以使Pe减小减小 重复次数重复次数N很大时，可以使很大时，可以使Pe0 但：信息传输率降低但：信息传输率降低 信道编码定理：信道编码定理：R一定时，可以找到一种编码一定时，可以找

12、到一种编码方法使方法使Pe相当低相当低 引入概念：码字距离引入概念：码字距离 码字距离汉明距离码字距离汉明距离 长度为长度为n的两个符号序列的两个符号序列(码字码字)i和和j之间的之间的距离距离是指是指i和和j之间对应位置上不同码元的个数，用符号之间对应位置上不同码元的个数，用符号D(i,j)表示。这种码字距离通常称为表示。这种码字距离通常称为汉明距离汉明距离。例如：例如： 两个二元序列两个二元序列i=101111 j=111100则得则得 D(i,j)=3又例如：又例如： 两个四元序列两个四元序列i=1320120 j=1220310 则得则得 D(i，j)。对于二元信道，即对于二元码，汉明

13、距离可表达成下述对于二元信道，即对于二元码，汉明距离可表达成下述关系式：关系式：若令若令 i（i1iin） ik0,1 j（ bj1 bj2 bjn） jk0,1则则i和和j的汉明距离为的汉明距离为 D(i，j) 在某一码书在某一码书C中，任意两个码字的汉明距离的最小值称为中，任意两个码字的汉明距离的最小值称为该码该码C的最小距离，即的最小距离，即dminminD(Ci,Cj) CiCj Ci,CjC在任一码书中，码的最小距离在任一码书中，码的最小距离dmin与该码的译码错误概率与该码的译码错误概率有关。有关。 jknkikba 1 与码字距离有关的结论与码字距离有关的结论 最小距离译码准则最

14、小距离译码准则 在二进制对称信道中：在二进制对称信道中： 最小距离译码准则最大似然译码准则最小距离译码准则最大似然译码准则),(min)(,(mmxydygyd 信道编码定理引出信道编码定理引出 问题：问题：在有噪信道中，使平均误码率在有噪信道中，使平均误码率Pe尽可能小的情况下，可尽可能小的情况下，可达到的信息传输率是多少？达到的信息传输率是多少？ 答案：答案：信道容量信道容量C 信道编码定理信道编码定理 信道编码定理的证明信道编码定理的证明 证明思路证明思路 随机编码方法随机编码方法 联合典型序列联合典型序列 信道编码定理：信道编码定理： 设设R是信息传输的速率，是信息传输的速率，C是离散

15、无记忆信道是离散无记忆信道的信道容量，的信道容量，00是任意小的数，则只要是任意小的数，则只要RCRC就总存在码字长为就总存在码字长为N N，码字数为，码字数为M=2M=2NRNR的分组码的分组码使译码的平均差错概率使译码的平均差错概率P Pe e0，我们总能找到足够大的，我们总能找到足够大的N使全体序列对的集合使全体序列对的集合能被分成满足下述条件的集合能被分成满足下述条件的集合G及其补集及其补集Gc： （1） （2） （3）设（）设（X，Y）是相互独立的随机序列对，但它与）是相互独立的随机序列对，但它与（X,Y）有相同的边缘分布，即：）有相同的边缘分布，即： 则：则：),(),(1nNnn

16、yxppyx1),(),(GYXPGYXPc)()(2)1 (|2|XYHNXYHNGG)()(),(),(ypxpyxYXP3);(3);(2)1 (),(2),(YXINYXINGYXPGYXP 联合联合AEP定理的解释：定理的解释： 两个随机变量情况下，序列两个随机变量情况下，序列Xn,Yn及其联合序列及其联合序列XnYn都具有都具有AEP特特性性 联合典型序列对是高概率序列对联合典型序列对是高概率序列对 联合典型序列对出现概率接近相等，且其和接近于联合典型序列对出现概率接近相等，且其和接近于1 联合典型序列对是一些密切关联的序列对联合典型序列对是一些密切关联的序列对 一般与一般与X对应

17、的对应的Y可能是可能是Y空间的任一个，该定理说明：随空间的任一个，该定理说明：随N的增的增大，对应大，对应X的的Y只能是（只能是（X,Y)典型序列对的典型序列对的Y，取其他，取其他Y的概率的概率0 联合典型序列数目为联合典型序列数目为2NH(XY)， 典型典型x,典型典型Y随机组合的空间为随机组合的空间为2NH(X)+H(Y)， 联合典型序列占其中约联合典型序列占其中约1/ 2NI(X;Y)，只是很小的一部分，只是很小的一部分 故：当故：当X的数目的数目 2NI(X;Y)时，可使时，可使Pe0 给出一种译码方法：译码时，取与接收矢量联合典型的码字作为给出一种译码方法：译码时，取与接收矢量联合典

18、型的码字作为输出，这种译码方法可以保证得到很低的误码率。输出，这种译码方法可以保证得到很低的误码率。Input sequenceOutput sequenceywiwi+12nH(XY) sequencesthat canmap to y M = 2nR code words th e n 0enPRCneP 2 信道编码定理证明的几点说明信道编码定理证明的几点说明 香农只是证明了码的存在性，未给出构造方法香农只是证明了码的存在性，未给出构造方法 随机编码所得的码集很大，通过搜索得到好码随机编码所得的码集很大，通过搜索得到好码的方法实际上很难实现；而且即使找到，码字的方法实际上很难实现；而且即

19、使找到，码字也是毫无结构的，只能采用查表译码方法，当也是毫无结构的，只能采用查表译码方法，当N很大时，码表的存储量也很难接受很大时，码表的存储量也很难接受 理论性能极限存在性理论性能极限存在性 香农信道编码定理香农信道编码定理 作用：理论极限、渐进性能作用：理论极限、渐进性能 工程实现上的界限构造性工程实现上的界限构造性 最小距离界限最小距离界限 作用：构造新码、估计新码性能时，说明新码作用：构造新码、估计新码性能时，说明新码与最好性能的码接近的程度与最好性能的码接近的程度 香农理论极限：R=s+1 （检错时）（检错时） d=2s+1 （纠错时）（纠错时） 汉明码译码：汉明码译码： 伴随式译码伴随式译码 错误图样错误图样ER=C+E 伴随式伴随式STTTTT0EHEHCHRHTTSEH012sssTS110101011111001010100000S00000010000010000010000010000010000010000010000000000000Z伴随式错误图样l假设接收到码矢 y=(0010010)l有 7个可能的错误位置,如Z矩阵所示l伴随式是: ST= H RT )100(100010001111011101110)0010010(