信息论名词解释

1、信息论部分基本概念和名词术语消息(或称为符号) ：信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：自信息量： 一个随机事件发生某一结果后所带来的信息量成为自信息量，定义为其发生概率对数的负值。平均互信息：表达平均互信息量的熵I(X;Y), 是确定通过信道的信息量的多少，因此称它为信道传输率或传信率。I(X;Y)就是接收到符号Y后平均每个符号获得的关于后平均每个符号获得的关于X的信息量平均意义上每传送一个符号流经信道的平均信息量。离散平稳无记忆信源：假定随机变量欲裂的长度是有限的，如果信源输出地信息序列中，符号之间的

2、无相互依赖关系，则称这类信源为离散平稳无记忆信源。信源冗余度：信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值：=H无穷/H0，定义信源的冗余度为1减去信源熵的相对率，即=1-。信道容量：信道在单位时间上能够传输的最大信息量。平稳信源：概率分布函数与时间起点无关，平稳信源是有记忆的，记忆的长度有限。香农信息：信息是事物运动状态或存在方式的不确定性的描述。无记忆信道：在某一时刻信道的输出消息仅与当时的信道输入消息有关，而与前面时刻的信道输入或输出消息无关。有记忆信道：在任意时刻信道的输出消息不仅与当时信道的输入消息有关，而且还与以前时刻的信道输入消息和（或）输出消息有关。信道疑义度(含

3、糊度) H(X|Y)：表示在输出端接收到Y后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于干扰引起的。信道散布度H(Y|X)：表示在已知X后，对于输出Y尚存的平均不确定性；平均失真度：定义平均失真度为失真函数的数学期望，及d（xi,yi）在X和Y得联合概率空间P(XY)中的统计平均值：D=ED（xi,yi） ，起是在平均的意义上，从总体上对整个系统失真情况的描述。失真函数d(xi,yj)：是人为规定的，给出规定时应该考虑解决问题的需要以及失真可能引起的损失、风险和主观上感觉的差别等因素。保真度准则：从平均意义上讲，信道每传送一个符号所引起的平均失真不能超过某一给定的限定值D，即要求

4、D D，称这种对于失真的限制条件为保真度准则保真度准则。信息率失真函数：在保真度准则下，再现信源消息所必须获得的最少平均信息量；在保真度准则下，再现信源消息所必须获得的最少平均信息量；满足保真度准则下，信源可压缩的最小值。信源编码：就是针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列针对信源输出符号序列的统计特性，通过概率匹配的编码方法，将出现概率大的信源符号尽可能编为短码，从而使信源输出的符号序列变换为最短的码字序列。编码效率：用最小平均码字长度 Kmin和实际的编码平均长度和实际的编码平均长度 K之比

5、来表示: 最佳码：对于某一个信源和某一码符号集来说，若有唯一可译码，其平均编码长度小于所有其他唯一可译码的平均编码长度，则该码为对于某一个信源和某一码符号集来说，若有唯一可译码其平均编码长度小于所有其他唯一可译码的平均编码长度，则该码为最佳码（或紧致码）。信道编码：从消息（或符号）到信道波形或矢量的映射过程；希望得到通信系统与信道统计特性相匹配的编码。汉明距离：长度为n的两个符号序列(码字)i和j之间的距离是指i和j之间对应位置上不同码元的个数，用符号之间对应位置上不同码元的个数，用符号D(i,j)表示。这种码字距离通常称为表示。这种码字距离通常称为汉明距离。完备码：如果所有禁用码字都包含在某

6、码球内，可以按最大似然译码原则向球心单向译码，这样的码叫如果所有禁用码字都包含在某码球内，可以按最大似然译码原则向球心单向译码，这样的码叫完备码。最大似然译码准则（不再依赖先验概率）： 即可直接从信道矩阵中去选定译码函数。错误图样：设发送 X=x1,x2,xn，接收，接收 Y=y1,y2,yn，则两者的差别，则两者的差别 E=X-Y=e1,e2,en 称为错误图样。线性分组码：为了进行信道纠错编码，需要将长为k 的序列 u映射为长为 N 的序列 C=(C0,C1,CN-1)，N>=k，Ci取自GF(q)，称每个 C 为码字，C 的集合为码集、码书（或简称码）。若这种映射关系是线性的，就称为的集合为码集、码书（或简称码）。若这种映射关系是线性的，就称为线性码。前向纠错（FEC）：是指差错控制过程中是