信息论与编码[第六章有噪声道编码定理与纠错码]山东大学期末考试知识点复习

1、精选优质文档-倾情为你奉上第六章 有噪声道编码定理与纠错码611 译码准则 在有噪信道中传输消息是会发生错误的，而接收端引起错误的大小与选择的译码准则有关，也与信道编码所选码字有关。 3最小距离译码准则 (1)汉明距离 码字i和输出序列j之间对应位置上不同码元的个数，记为D(i，j)，称汉明距离。对于二元信道(二元码)汉明距离为 在二元对称信道中最小距离译码准则等于最大似然译码准则。而在其他信道中，它们不一定相等。612 平均错误概率 最小错误概率译码准则使PE最小。最大似然译码准则本身只与信道传递概率有关，不再依赖先验概率P(i)(或P(ai)，但不一定能使PE最小。最大似然译码准则只有在输

2、入符号等概率分布时PE才达最小，此时他与最小错误概率译码准则是等价的。613 费诺不等式614 信道编码的编、译基本原则 主要讨论二元对称无记忆信道。 1编码原则 在n次扩展信道输入符号i中选取M个码字组成一组码书C，应尽量使选取的M个码字中任意两不同码字的汉明距离尽可能地大。 2译码原则 采用最大似然译码准则，即当收到j后，译成与之汉明距离为最近的那个码字*。 遵照上述编、译码原则，可做到保持一定信道信息传输速率(码率)R，而使PE尽可能地小。615 联合典型序列616 有噪信道编码定理及其逆定理 1定理及其逆定理 有噪信道的信道容量为C，若信息传输率R<C，只要码长n足够长，必存在一

3、种信道编码和相应的译码规则，使译码平均错误概率PE为任意小。反之，若R>C则不存在以R传输信息而PE为任意小的码。 此定理可推广到有记忆信道、连续信道、波形信道中。只是与研究信道容量一样，在连续情况下需对输入信源加入某些限制条件。 2有噪信道编码与抗干扰能力 有噪信道编码定理及其逆定理论证了，任何信道的信道容量是一个明确的分界点。当R<C并接近C时，总能克服和消除信道中干扰和噪声引起的错误，达到可靠地传输信息。证实了任何信道中信道容量C是可达的、最大的可靠信息传输速率。 有噪信道编码定理从理论上指出了任何信道，信息传输速率接近于C的最优抗干扰编码是存在的、可能的。它对实际信息传输工

4、程有着重要的理论指导意义。617 信源信道编码定理 1信源信道编码定理 某离散信源的极限熵H，离散信道容量为C，若H<C，则存在信源和信道编码，其PE0。反之，H>C，不存在信源和信道编码，使无失真地传输信源信息。 注意：连续信道在某限制下(如功率、频带)信道容量是有限的，但连续信源的信息熵H是无穷大(非差熵)，所以对于连续信源和信道总不可能做到无失真地传输。 2信源信道编码定理的实际工程意义 定理指出，在单用户数字通信实际工程中可做到有效可靠(无失真)地传输信源信息。一般可分两步编码方法来处理。信源压缩编码只与信源有关，考虑在无失真的条件下尽可能用最少的二元数据来描述信源的信息。

5、对信道编码来说，只需研究针对各种不同数字信道、不同干扰形式的纠错编码方法以纠正信道中带来的错误。不用考虑信息流来自何方。只要满足H<C，数字通信系统就能做到无失真有效地传输信息。这样做，可以大大降低通信系统的复杂度。618 纠错码的分类 按具有控制传输错误能力的工作方式分为反馈重传纠错(检错重发)、前向纠错(自动纠错)、混合纠错和信息反馈方式。 按码的数学结构中信息元与校验元之间是否呈线性关系分为线性码和非线性码。 按码的结构中对信息序列的处理方式可分为分组码和卷积码(树码)。 按码是否具有循环性分为循环码和非循环码。 按纠正错误的类型分为纠随机错误码、纠突发错误码、纠随机和突发错误码和

6、纠同步错误码。 按照码元的取值可分二元码和多(q)元码。 按码的应用目的分为检错码、纠错码和纠删码。 按构造码的数学理论分为代数码、几何码、算术码和组合码。 本书主要讨论的是二元、线性、前向纠错码。 619 线性分组码的基本概念 1码字、信息元、校验元 将信息序列，按相继k位码元分成一组，然后按一定的编码规则增加r位，组成长为n=k+r的二元序列，称为码字C=(cn-1cn-2c1c0)，又称码组、码矢。其中k位码元称为信息元，所增加的r位码元称为校验元。 所有2k个码字集合称为(n，k)分组码。2k个码字称为许用码组(许用码字)。其余2n-2k个码字称为禁用码组(禁用码字)。 2汉明重量61

7、10 线性分组码 1线性分组码的特性2一致校验矩阵(一致监督矩阵)6113 卷积码 卷积码不同于分组码，其每个信息组的校验元不仅与本组信息元有关，而且与其余各组信息元都有关，一般记为(n，k，L)卷积码。其中n表示码长，k表示信息位长，L表示与前面L个时间段的信息组有关联称为约束长度。 卷积码的编码器是有记忆的。大都采用两类分析方法来刻画与研究卷积码，一类是用生成矩阵和多项式的解析方法，另一类是用状态流程图和网络图等图解方法。而后一种是描述卷积码的有力工具。 1(n，k，L)卷积码的解析表示 t时刻输入信息组 2卷积码的图解表示 卷积码的编码器是有记忆的，故采用图解表示是描述卷积码的有力工具。其中状态图和网格图是更紧凑的一种图形表示。 记忆阵列 编码器中存储前L个信息组的移位寄存