信息论复习20131206

1、物理与信息工程学院 郭里婷2021-12-111信息论与编码信息论与编码 复习复习福州大学物理与信息工程学院福州大学物理与信息工程学院郭里婷郭里婷物理与信息工程学院 郭里婷2021-12-112u课程内容：课程内容：u绪论绪论u信源和信息熵信源和信息熵u信道和信道容量信道和信道容量u信息率失真函数信息率失真函数u信源编码定理和方法信源编码定理和方法u信道编码定理和方法信道编码定理和方法物理与信息工程学院 郭里婷2021-12-1131.认真复习上课的内容认真复习上课的内容2.对所举的例子、布置的作业都应理解对所举的例子、布置的作业都应理解3.注意各物理量的物理意义、单位和计算注意各物理量的物理

2、意义、单位和计算4.注意每一章节的基本概念和术语注意每一章节的基本概念和术语5.矩阵的意义、大小、填入规则、多项式的阶数等矩阵的意义、大小、填入规则、多项式的阶数等6.闭卷。卷面闭卷。卷面70，作业、出勤等表现，作业、出勤等表现307.题型题型： 填空题（约填空题（约1520）和计算题（约）和计算题（约85 80）8.答疑的时间和地点：答疑的时间和地点：?复习和考试注意事项复习和考试注意事项物理与信息工程学院 郭里婷2021-12-114第六章第六章 信道编码定理和方法信道编码定理和方法第第1 1节节 有扰离散信道编码定理有扰离散信道编码定理（重点）（重点） 一、差错类型、纠错码的模型和分类、

3、差错控制系统分类一、差错类型、纠错码的模型和分类、差错控制系统分类信息码组、校验码元、码字、码集、码信息码组、校验码元、码字、码集、码FECFEC、ARQARQ、HFCHFC二、常用术语二、常用术语 差错图样、汉明距离、码重、矢量空间和码空间差错图样、汉明距离、码重、矢量空间和码空间三、随机编码的平均误码率上边界三、随机编码的平均误码率上边界 四、信道编码定理四、信道编码定理物理与信息工程学院 郭里婷2021-12-115第六章第六章 信道编码定理和方法信道编码定理和方法第第2 2节节 纠错编码的基本思想纠错编码的基本思想（重点）（重点） 一、降低平均误码率的上边界的基本方法一、降低平均误码率

4、的上边界的基本方法二、纠错译码过程和译码准则二、纠错译码过程和译码准则最大后验概率译码和最大似然概率译码的准则、特点和关系最大后验概率译码和最大似然概率译码的准则、特点和关系三、三、BSCBSC信道的最大似然译码信道的最大似然译码最小汉明距离译码最小汉明距离译码物理与信息工程学院 郭里婷2021-12-116第六章第六章 信道编码定理和方法信道编码定理和方法第第3 3节节 线性分组码线性分组码( (n,kn,k) ) （重点）（重点） 一、生成矩阵一、生成矩阵G G与基底的关系；大小；特性（特别注意：矩阵每一行都是码字与基底的关系；大小；特性（特别注意：矩阵每一行都是码字, ,并灵活应用）；并

5、灵活应用）；已知已知G G，如何得到码集和编码电路，如何得到码集和编码电路四、校验矩阵四、校验矩阵H H（大小；特性；和（大小；特性；和G G的关系；许用码字的关系；许用码字c c和和H H的关系）的关系）五、系统线性分组码的生成矩阵和校验矩阵：两者的关系五、系统线性分组码的生成矩阵和校验矩阵：两者的关系六、伴随式的定义和作用，伴随式、接收码字、差错图样三者的关系六、伴随式的定义和作用，伴随式、接收码字、差错图样三者的关系七、纠错译码的三个步骤。七、纠错译码的三个步骤。已知一个接收码字，如何进行纠错译码，获得正确的码字。已知一个接收码字，如何进行纠错译码，获得正确的码字。八、标准阵列译码八、标

6、准阵列译码标准阵列的构造规则，构造过程，利用该阵列的纠错译码方法标准阵列的构造规则，构造过程，利用该阵列的纠错译码方法九、分组码的最小码距和检纠错能力的关系。九、分组码的最小码距和检纠错能力的关系。最小码距的求法，检纠错能力的求法最小码距的求法，检纠错能力的求法十、完备码（汉明限，完备码的定义、汉明码的定义和构造）十、完备码（汉明限，完备码的定义、汉明码的定义和构造）物理与信息工程学院 郭里婷2021-12-117第六章第六章 信道编码定理和方法信道编码定理和方法第第4 4节节 循环码循环码( (n,kn,k) ) （重点）（重点） 一、特性一、特性二、码多项式和移位后的多项式。二、码多项式和

7、移位后的多项式。三、生成多项式应该满足的条件和非系统码的生成方法三、生成多项式应该满足的条件和非系统码的生成方法四、校验多项式和校验方法（两种）四、校验多项式和校验方法（两种）五、已知生成多项式，如何求校验多项式。或者已知校验多项式，求生成多项式五、已知生成多项式，如何求校验多项式。或者已知校验多项式，求生成多项式六、系统循环码的生成六、系统循环码的生成1 1、系统循环码的生成矩阵的求法、系统循环码的生成矩阵的求法2 2、系统循环码的生成方法（两种）、系统循环码的生成方法（两种）六、系统循环码的编码电路（除法器特性和工作过程六、系统循环码的编码电路（除法器特性和工作过程 ）七、注意：各种多项式

8、的关系，阶次七、注意：各种多项式的关系，阶次物理与信息工程学院 郭里婷2021-12-118第六章第六章 信道编码定理和方法信道编码定理和方法第第5 5节节 卷积码卷积码( (n,k,Ln,k,L) )一、定义和模型示意图一、定义和模型示意图 （重点）（重点） 二、生成子矩阵和当前码字，码字序列的生成二、生成子矩阵和当前码字，码字序列的生成 （重点）（重点） 三、转移函数矩阵（重点）三、转移函数矩阵（重点） 1 1、各种矩阵的填入规则，每种矩阵的大小、各种矩阵的填入规则，每种矩阵的大小()lDGG2、编码器结构生成子矩阵转移函数矩阵物理与信息工程学院 郭里婷2021-12-119第五章第五章

9、信源编码定理和方法信源编码定理和方法第第1 1节节 编码的作用和定义编码的作用和定义一、信源编码的作用和途径（重点）一、信源编码的作用和途径（重点）二、信息论的主要内容（重点）二、信息论的主要内容（重点）三、编码的定义和类型（重点）三、编码的定义和类型（重点）（一）编码的模型和定义（一）编码的模型和定义信源符号、信源序列；码元、码字、码的区别信源符号、信源序列；码元、码字、码的区别平均码长、信息率、平均符号熵、编码效率的物理意义、单位、计算平均码长、信息率、平均符号熵、编码效率的物理意义、单位、计算（二）编码类型（二）编码类型各种码的定义、判别方法（特别是惟一可译码、即时码的判别）各种码的定义

10、、判别方法（特别是惟一可译码、即时码的判别）注意：注意：KraftKraft不等式的使用不等式的使用（三）码分类小结和码树（三）码分类小结和码树如何利用码树判别即时码如何利用码树判别即时码物理与信息工程学院 郭里婷2021-12-1110第五章第五章 信源编码定理和方法信源编码定理和方法第第2 2节节无记忆信源的无失真编码（重点）无记忆信源的无失真编码（重点）一、定长编码及编码定理一、定长编码及编码定理（一）（一）L L的确定的确定L L和编码效率、译码差错率的关系和编码效率、译码差错率的关系（二）无记忆信源定长编码定理（二）无记忆信源定长编码定理二、变长编码定理二、变长编码定理三、常见的变长

11、编码方法（二进制编码）三、常见的变长编码方法（二进制编码）（一）香农码（二）费诺码（三）哈夫曼码（一）香农码（二）费诺码（三）哈夫曼码编码方法（对单符号和对符号序列）编码方法（对单符号和对符号序列）编码效率的计算编码效率的计算比较（不同变长编码法比较、与定长编码比较、同一种编码单符号和符号序比较（不同变长编码法比较、与定长编码比较、同一种编码单符号和符号序列比较）列比较）码长方差的计算码长方差的计算物理与信息工程学院 郭里婷2021-12-1111第五章第五章 信源编码定理和方法信源编码定理和方法第第3 3节节 限失真信源编码限失真信源编码一、限失真信源编码定理一、限失真信源编码定理与变长无失

12、真信源编码定理的联系和区别与变长无失真信源编码定理的联系和区别二、限失真编码方法模型二、限失真编码方法模型物理与信息工程学院 郭里婷2021-12-1112第四章第四章 信息率失真函数信息率失真函数第第1节节 平均失真和信息率失真函数平均失真和信息率失真函数一、与失真有关的几个概念（重点）一、与失真有关的几个概念（重点） 失真函数、失真矩阵（各元素的填入规则）、平均失真、失真限度失真函数、失真矩阵（各元素的填入规则）、平均失真、失真限度平均失真和失真限度的区别平均失真和失真限度的区别计算失真处理前后，信源信息量的变化计算失真处理前后，信源信息量的变化二、信息率失真函数二、信息率失真函数R(D)

13、 （重点）（重点）定义定义理解什么是最佳的失真编码器理解什么是最佳的失真编码器与信道容量的异同点与信道容量的异同点四、信息率失真函数的性质（重点）四、信息率失真函数的性质（重点）3个性质个性质值域和定义域的计算，特别是值域和定义域的计算，特别是Dmax的计算的计算物理与信息工程学院 郭里婷2021-12-1113第三章第三章 信道和信道容量信道和信道容量第第1节节信道的分类和描述信道的分类和描述一、离散信道描述：转移概率（矩阵）或信道线图一、离散信道描述：转移概率（矩阵）或信道线图（一）离散无记忆信道（一）离散无记忆信道（DMC） （重点）（重点）定义、由单符号信道转移概率计算扩展信道转移概率

14、的方法定义、由单符号信道转移概率计算扩展信道转移概率的方法（二）信道转移矩阵（二）信道转移矩阵P的特性（重点）的特性（重点）矩阵各元素的填入规则，矩阵的特性矩阵各元素的填入规则，矩阵的特性物理与信息工程学院 郭里婷2021-12-1114第三章第三章 信道和信道容量信道和信道容量第第2节节 离散单符号信道的信道容量（重点）离散单符号信道的信道容量（重点）一、几个概念的定义、物理意义和单位一、几个概念的定义、物理意义和单位（一）信息传输率（一）信息传输率R （二）信息传输速率（二）信息传输速率Rt （三）信道容量（三）信道容量C（四）单位时间的信道容量（四）单位时间的信道容量Ct理解什么是最佳的

15、信源分布理解什么是最佳的信源分布与信息率失真函数的异同点与信息率失真函数的异同点二、几种特殊信道的转移矩阵的特点及其信道容量的计算方法二、几种特殊信道的转移矩阵的特点及其信道容量的计算方法（一）无噪无损信道（二）无噪有损信道（三）有噪无损信道（一）无噪无损信道（二）无噪有损信道（三）有噪无损信道三、对称三、对称DMC信道的信道容量的计算信道的信道容量的计算（一）对称（一）对称DMC信道的定义信道的定义（二）对称信道容量的计算公式（二）对称信道容量的计算公式物理与信息工程学院 郭里婷2021-12-1115第三章第三章 信道和信道容量信道和信道容量第第2节节离散单符号信道的信道容量（重点）离散单

16、符号信道的信道容量（重点）四、准对称四、准对称DMC信道的信道容量的计算信道的信道容量的计算（一）准对称（一）准对称DMC信道的定义信道的定义（二）信道容量的范围（二）信道容量的范围（三）信道容量的计算方法（三）信道容量的计算方法法一：求极值法、法二：子矩阵法法一：求极值法、法二：子矩阵法物理与信息工程学院 郭里婷2021-12-1116第三章第三章 信道和信道容量信道和信道容量第第3节节 离散序列信道及容量（重点）离散序列信道及容量（重点）一、离散序列信道平均互信息量的特性一、离散序列信道平均互信息量的特性二、离散序列信道信道容量二、离散序列信道信道容量CL的特性和单位的特性和单位三、扩展信

17、道三、扩展信道信道容量信道容量的计算方法的计算方法第第4节节 复合信道及容量（重点）复合信道及容量（重点）一、一、串联信道串联信道 信道容量的计算方法信道容量的计算方法二、二、独立并联信道独立并联信道 信道容量的计算方法信道容量的计算方法物理与信息工程学院 郭里婷2021-12-1117第三章第三章 信道和信道容量信道和信道容量第第5节节 连续信道及容量连续信道及容量一、连续单符号加性信道及其容量一、连续单符号加性信道及其容量能理解能理解“非高斯信道比高斯信道的信道容量大非高斯信道比高斯信道的信道容量大”的原因的原因二、限时限频限功率加性高斯白噪声模拟信道及其容量（重点）二、限时限频限功率加性

18、高斯白噪声模拟信道及其容量（重点）（一）单位时间信道容量的计算（一）单位时间信道容量的计算注意：单位、各个物理量的互相计算注意：单位、各个物理量的互相计算（二）香农公式的讨论（二）香农公式的讨论 第第6节节信道冗余度信道冗余度理解并计算信道冗余度理解并计算信道冗余度物理与信息工程学院 郭里婷2021-12-1118第二章第二章 信源和信息熵信源和信息熵第第1节节 信源的描述和分类信源的描述和分类一、信源的分类（了解）一、信源的分类（了解）二、有记忆信源的特点和描述二、有记忆信源的特点和描述（一）符号序列有记忆的离散信源（重点）（一）符号序列有记忆的离散信源（重点）（二）（二）m阶马尔可夫信源（

19、符号序列有记忆信源的特例）（重点）阶马尔可夫信源（符号序列有记忆信源的特例）（重点）三、三、m阶马尔可夫信源（马尔可夫链）阶马尔可夫信源（马尔可夫链） （重点）（重点）（一）符号和符号集、状态和状态集的概念（一）符号和符号集、状态和状态集的概念（二）香农线图（二）香农线图（三）符号条件概率、（状态）转移概率、稳态状态概率、稳态符号概率的（三）符号条件概率、（状态）转移概率、稳态状态概率、稳态符号概率的计算计算（四）极限熵的计算（四）极限熵的计算物理与信息工程学院 郭里婷2021-12-1119第二章第二章 信源和信息熵信源和信息熵第第2节节单符号无记忆离散信源的熵和互信息量（重点）单符号无记忆

20、离散信源的熵和互信息量（重点）一、符号自信息量和互信息量一、符号自信息量和互信息量（一）自信息量（二）条件自信息量（三）联合信息量（四）互信息量（一）自信息量（二）条件自信息量（三）联合信息量（四）互信息量定义、单位、计算、物理意义（定义、单位、计算、物理意义（解决应用题和计算题解决应用题和计算题）、性质）、性质二、信源平均信息量（熵）和平均互信息量二、信源平均信息量（熵）和平均互信息量（一）熵（二）条件熵（三）联合熵（共熵）（四）平均互信息量（一）熵（二）条件熵（三）联合熵（共熵）（四）平均互信息量定义、单位、计算、物理意义（定义、单位、计算、物理意义（解决应用题和计算题解决应用题和计算题）

21、、性质）、性质特别是：平均互信息量的性质特别是：平均互信息量的性质三、各种熵的关系三、各种熵的关系四、各种熵在通信系统中的物理意义四、各种熵在通信系统中的物理意义噪声熵、疑义度、系统中传送的信息量噪声熵、疑义度、系统中传送的信息量(),(), (; ), (;)jjH X YH X yI X YI X y注意区别：等物理与信息工程学院 郭里婷2021-12-1120第二章第二章 信源和信息熵信源和信息熵第第3节节离散序列信源的熵（重点）离散序列信源的熵（重点）一、离散序列信源的描述一、离散序列信源的描述二、离散序列信源熵的计算和单位二、离散序列信源熵的计算和单位（一）序列熵（一）序列熵（二）离散无记忆信源序列熵（