信息论6.1信道编码

1、信道编码徐伟业电子信息工程教研室第六章 作业6-66-86-96-146-16 23引言主要内容噪声信道的编码定理错误概率与译码原理线性分组码的编码与译码卷积码的编码与译码4引言噪声信道的编码问题信道编码是以信息在信道上的正确传输为目标的编码，可分为两个层次上的问题如何正确接收载有信息的信号线路编码如何避免少量差错信号对信息内容的影响纠错编码纠错编码的理论体系属于信息论，但纠错编码的实现离不开有形载体的信号理论，因此信息的编码与信号的编码有天然的联系，却又不能等同5引言噪声信道： 干扰源信道信道译码器码字接收矢量信道编码器源字译码结果6引言信源编码的目的：把信源的消息数据序列编码成二进制数字构

2、成的码序列，提高通信的有效性由于信源编码在构造上并未考虑抗干扰，如果把信源编码器的输出直接接入信道，由于信道中存在噪声干扰，将引起误码，降低通信的可靠性信道编码的目的：把信源编码输出的二进制数据编成具有检纠错能力的二进制序列，提高通信的可靠性信道编码研究的是消息通过信道传输时，如何选择编码方案以减少差错7引言信道编译码的基本思想信道编码的对象是信源编码输出的数字序列m，又称为消息序列，通常是由二元符号0,1构成的序列信道编码就是按一定的规则给消息序列m增加一些多余的码元，使信息序列m变换成具有某种规律性的数字序列C，又称为码序列，码序列中信息序列的各码元和多余码元之间是相关的在接收端，信道译码

3、器利用预知的编码规则来译码，或者检错（检验接收序列是否有错），或者纠错（纠正其中的差错）8引言信源编码的基本思想是用尽可能短的码字来表示信息信道编码的基本思想是增加多余码元（监督码元），根据码元之间的相关性和规律性来检测和纠正传输过程中产生的差错。9引言例：考虑一个二元对称信道，单个符号的错误传递概率是pb=0.9，正确的传递概率是1- pb，输入符号等概分布10引言译码规则：收“0”译“0”，收“1”译“1”，则译错的概率=译对的概率=0.1译码规则：收“0”译“1”，收“1”译“0”，则译错的概率=0.1译对的概率=0.9错误概率既与信道统计特性有关，也与译码规则有关选择合适的译码规则可以

4、弥补信道的不足116.1 有扰离散信道的编码定理一 差错与差错控制系统差错图样（ error pattern ）定量地描述信号的差错，收、发码之“差”差错图样E发码C 收码R （模M）126.1 有扰离散信道的编码定理例：8进制(M=8)码元对于二进制编码， E=C R 或 C = R E ，已知R和E可译码，ei=1表示某一位有错， ei=0表示某一位没有错若发码 C=（0,2,5,4,7,5,2）收码变为 R=（0,1,5,4,7,5,4）差错图案E=CR=（0,1,0,0,0,0,6）（模8）136.1 有扰离散信道的编码定理纠错编码的分类随机噪声：它主要来源于设备、传播媒介的热噪声脉冲

5、噪声：它的特点是突发出现，主要来源于雷电、通电开关、负荷突变或设备故障等随机差错信道：噪声独立随机地影响每个码元突发差错信道：干扰的影响是前后相关的，错误成串出现146.1 有扰离散信道的编码定理纠错码的分类按码的功能分为检错码：能自动发现错误纠错码：能自动纠正错误按码结构中对信息序列的处理方式不同分为：分组码：校验位只由每组k个信息位按一定规律产生，而与其他组的信息无关卷积码：校验位不仅与本组k个信息位有关，还与其前面L组的信息位有关156.1 有扰离散信道的编码定理纠错码的分类按码元与信息位的关系分为线性码：所有码元均是原始信息元的线性组合，编码器不带反馈回路非线性码：码元不都是信息元的线

6、性组合，可能还与前面已编的码元有关，编码器可能带反馈回路假设i，j是某（n，k）分组码的两个码字，1和2是码元字符集里的任意两个元素，当且仅当1i + 2j也是码字时，才称该码是线性码或群码166.1 有扰离散信道的编码定理纠错码的分类按码适用的差错类型纠随机差错码：用于随机差错信道，其纠错能力用码组或码段内允许的独立差错的个数来衡量纠突发差错码：用于突发差错信道，其纠错能力由可纠突发差错的最大长度来衡量介于中间的纠随机/突发差错码按照构码理论分代数码、几何码、算术码、组合码176.1 有扰离散信道的编码定理差错控制系统分类前向纠错（Forward Error Correction ，FEC）

7、：发端信息经纠错编码后传送，收端通过纠错译码自动纠正传递过程中的差错，但当错误个数大于纠错能力时，译码会出现错误。应用：语音、图像、计算机存储系统、磁盘、 光盘等优缺点：实时性好无需反向信道，但是译码设 备复杂，纠错能力有限。186.1 有扰离散信道的编码定理反馈重发（automatic request for repeat ，ARQ）： 收端通过检测接收码是否符合编码规律来判断，如判定码组有错，则通过反向信道通知发端重发该码应用：计算机局域网、分组交换网优缺点：编码设备简单，检错能力较高，但增加反馈通道，控制复杂，而且由于出错反馈重发，实时性差。6.1 有扰离散信道的编码定理混合纠错（Hyb

8、rid Error Correction，HEC）：前向纠错和反馈重发的结合，发端发送的码兼有检错和纠错两种能力应用：移动通信、卫星通信优缺点：介于上述两者之间，误码率低，设备复杂度适中，实时性和连贯性较好。206.1 有扰离散信道的编码定理二 矢量空间与码空间矢量空间：维数：矢量个数 重数：矢量内元素自然基底与基底：一个n维的矢量空间是由n个n重的基底张出来的6.1 有扰离散信道的编码定理码字空间：一个（n，k）线性分组码，q进制编码，信源信息有qk个码字，需要编码为qk个信道码字，如何从qn个码字里选取qk个呢？利用矢量空间由k个码元线性变换，使其成为qn空间的一个子空间，并且为了纠错能力

9、强，选择码距交大的码。6.1 有扰离散信道的编码定理许用码字与禁用码字：编码器将在这qN个可用码字中选择qk个码字分别代表原始信源中的qk个码字，信道编码码字空间的这qk个码字称为“许用码字”，而另外的qN-M个码字称为“禁用码字”。为了实现纠错编码，一定有qNM。这M个许用码字也称为一个码组，或称为码字集合。6.1 有扰离散信道的编码定理三 随机编码随机编码情况下,从N维矢量空间 的 个点中选择消息组所对应的M点子集（码集），总共有 种选法。码集点数M占矢量空间总点数 的比例是6.1 有扰离散信道的编码定理假如 M 个码集是随机地从 个候选码集当中选取的,那么全部码集的平均差错概率是当N、K

10、值拉大，则码字分布稀疏，码距加大，平均差错变小6.1 有扰离散信道的编码定理假设 中某码集 的某个码字 经DMC信道传输后变成接收码字 。示性函数: 6.1 有扰离散信道的编码定理Gallager界，它指出了码字的误码上界四 信道编码定理为了找到差错概率规律，要找到平均差错概率，两边取平均：6.1 有扰离散信道的编码定理平均差错概率:(码字概率等于组成该码字的各码元概率之积)6.1 有扰离散信道的编码定理 Pe的上界仅与信道有关而与编码方式无关。6.1 有扰离散信道的编码定理码率定义函数可靠性函数综上可得306.1 有扰离散信道的编码定理E(R)为可靠性函数，也叫误差指数码率：R =( lbM) / N，表示每码元携带的信息量M是信息组合数， M=qKN是每码字的码元数316.1 有扰离散信道的编码定理（1）译码平均错误概率趋于零的速度是与N成指数关系的。 （2）可靠性函数E(R)与信息传输率R的关系曲线如图，是一条下凸函数曲线 326.1 有扰离散信道的编码定理R在0,R0区间时E(R)R曲线是斜率为-1（-45）的直线，E(R)反比于R；而当R=C时E(R)=0即可靠性为零。 E(R) C 0 R0 -45 R E(R)和R