数字通信原理4信息论基础1课件

数字通信原理第四章信息论基础2010Copyright1课件第四章信息论基础1、消息与信息(1)消息是由符号、文字、数字、语音或图像组成的序列；

(2)消息是信息的载体，信息是消息的内涵；消息中可能包含信息，也可能不包含信息；

(3)收到一则消息后，所得的信息量，在数量上等于获得消息前后“不确定性”的消除量；

(4)通信的目的在与传送信息。2010Copyright2课件第四章信息论基础2、信息度量的概念(1)某消息的信息量＝获得该消息后不确定性的消除量；不确定性可能性概率问题：

信息量可用概率的某种函数来度量

(2)不同的消息有信息量的多少的区别，因此

信息的度量方式应满足信息量的可加性

信息量应该是满足可加性的概率的函数。2010Copyright3课件第四章信息论基础离散信源的信息量(续)

信息量作为概率的函数，具有形式

若与统计独立，满足可加性要求

如定义显然有同时满足概率函数和可加性两个要求。2010Copyright5课件第四章信息论基础

离散信源信的息量(续)

定义离散消息xi的信息量:

信息量的单位与对数的底有关：

log以2为底时，单位为比特：bit

log以e为底时，单位为奈特：nit

log以10为底时，单位为哈特，hart

一般在缺省时取单位为比特。2010Copyright6课件第四章信息论基础

离散信源信的息量(续)

示例：已知某信源的概率场为

输出的各符号统计独立，计算序列S“113200”的信息量

2010Copyright7课件第四章信息论基础

离散信源的熵(续)

示例：求离散信源的熵。

按照定义：

2010Copyright9课件第四章信息论基础

离散信源的熵(续)

示例（续）：若上述离散信源发送独立的符号序列：

20102013021300120321010032101002310200210312032100120210

(1)求总的信息量；(2)利用熵估计总的信息量。

(1)

(2)2010Copyright10课件第四章信息论基础离散信源的最大熵定理当离散信源X取等概分布时，其熵H(X)取最大值。当信源取等概分布时，具有最大的不确定性。

示例：两个信源符号的情形。

P(x1)=p,P(x2)=1-p当p=1/2时，H(X)=Hmax2010Copyright11课件第四章信息论基础离散信源的联合熵与条件熵(续)

两随机变量的联合熵定义4.2.3两随机变量的联合熵

如两随机变量统计独立，有2010Copyright13课件第四章信息论基础

两随机变量的联合熵(续)对于统计独立的两随机变量，不能从其中一个获得有关另外一个的任何信息。2010Copyright14课件第四章信息论基础第四章信息论基础离散信源的联合熵与条件熵(续)

两随机变量的条件熵定义4.2.4两随机变量的条件熵

一般地有具有某种相关性的两随机变量，一个随机变量的出现总是有助于降低另一随机变量的不确定性。2010Copyright15课件第四章信息论基础离散信源及容量

信道模型

信道模型(特性)可用其转移概率来描述，一般地有输出不仅与当前的输入有关，而且与之前的若干个输入值有关，呈现某种“记忆”效应。2010Copyright17课件第四章信息论基础离散信源及容量

离散无记忆信道的转移矩阵输出仅与当前的输入有关

或2010Copyright18课件第四章信息论基础

离散无记忆信道的转移矩阵(续)

示例：二元的离散无记忆信道发“0”和发“1”时能正确接收的概率为0.99，错误的概率为0.01。即有转移矩阵

2010Copyright19课件第四章信息论基础

互信息量(续)互信息量具有对称性

互信息量的性质

(1)若（2）若

(3)若

(4)若2010Copyright21课件第四章信息论基础离散信源及容量(续)

平均互信息量定义4.3.2平均互信息量为：平均互信息量具有非负性表明从统计上来说，两相关联的随机变量集，其中一个的出现总是有利于提供有关另外一个的信息。2010Copyright22课件第四章信息论基础离散信源及容量(续)

熵函数与平均互信息量间的关系

2010Copyright23课件第四章信息论基础

熵函数与平均互信息量间的关系(续)

当信源X与Y统计独立时

(1)两个符号同时出现时提供的平均信息量等于每个符号的平均信息量之和；

(2)一个符号不能提供有关另一符号的任何信息。2010Copyright25课件第四章信息论基础熵函数与平均互信息量间的关系(续)

当两个信源相关时

(1)联合熵小于两个信源的熵的和:

(2)平均互信息量等于两信源熵重合的部分；

(3)信源的条件熵等于其熵减去平均互信息量：2010Copyright26课件第四章信息论基础匹配信源(续)

已知信道转移概率，匹配信源统计特性的求解：

(1)解方程组求解得

(2)求最大平均互信息量：

(3)求相应后验概率：

(4)解方程组，确定匹配信源的分布特性

2010Copyright29课件第四章信息论基础匹配信源(续)

示例：已知信道转移概率

(1)解方程组的参数：

(2)求最大平均互信息量：

(3)求相应后验概率：

2010Copyright30课件第四章信息论基础匹配信源(续)

示例(续)：

(4)获得匹配信源统计特性：

(5)信道容量为：

2010Copyright31课件第四章信息论基础离散无记忆对称信道的容量(续)

离散无记忆对称信道：

转移矩阵各行各列均具有相同的元素集的信道称之。

离散无记忆对称信道满足条件：任意的列元素和任意的行元素和

2010Copyright32课件第四章信息论基础离散无记忆对称信道的容量

离散无记忆对称信道：离散无记忆对称信道的条件熵满足：与信源的统计特性无关。若输入信道的信源符号等概

则信道的输出符号也等概

2010Copyright33课件第四章信息论基础离散无记忆对称信道的容量(续)

信道容量：

对于离散无记忆对称信道，若要使信息传输速率达到信道容量，要求信源的符号等概分布。2010Copyright34课件第四章信息论基础连续信源、信道及容量

连续信源的相对熵若已知随机信号幅度取值的概率密度函数：取值在任意小区间内的概率连续信源转变为具有n个随机变量的信源，且有利用离散随机变量熵的定义，得2010Copyright35课件第四章信息论基础

连续信源的相对熵(续)连续信源的熵应为可见连续信源的熵无限大。该熵称为连续信源的绝对熵，无法确切地定义。通常上式的第一项是有限值，且其具有特定的物理意义。2010Copyright36课件第四章信息论基础

连续信源的相对熵(续)

定义4.4.1

连续信源的相对熵为

示例4.4.1某信号的相对熵为信号经2倍幅度放大后的相对熵为信号的简单放大并没有增加任何新的信息，但其相对熵发生了增大的变化，这说明相对熵已经不再具有信源平均信息量的内涵。2010Copyright37课件第四章信息论基础连续信源的相对条件熵对于连续随机变量，同样可以导出其条件熵

可见连续信源的条件熵取值无限大。通常上式的第一项是一个有限取值的量。

连续信源的熵和条件熵均取值无限大，说明要在一个容量有限的通信系统中传递连续信源的全部信息是不可能的。2010Copyright38课件第四章信息论基础连续信源的相对条件熵

定义4.4.3

连续信源的相对条件熵容易导出：

说明相对熵和相对条件熵的差值与普通的熵和条件熵的差值一样，仍然等于平均互信息量。

同理可以导出：2010Copyright39课件第四章信息论基础连续信源相对熵的最大化(1)峰值功率受限情况下的相对熵最大化条件可以证明：当连续信源的概率密度函数服从均匀分布时，该连续信源有最大的相对熵。在区间分布连续信源的概率密度函数为其相对熵为

峰值受限信号

2010Copyright40课件第四章信息论基础连续信源相对熵的最大化(续)(2)均值受限情况下的相对熵最大化条件可以证明：当连续信源的概率密度函数服从指数分布时，该连续信源有最大的相对熵。

均值受限信号

指数分布相对熵2010Copyright41课件第四章信息论基础连续信源相对熵的最大化(续)(2)平均功率受限情况下的相对熵最大化条件可以证明：当连续信源的概率密度函数服从高斯分布时，该连续信源有最大的相对熵。

平均功率受限信号

高斯分布相对熵2010Copyright42课件第四章信息论基础高斯加性噪声信道的容量加性高斯噪声信道信道输入：信道输出：加性高斯噪声：已知通过信道后，从可获得的关于的平均互信息量若已知信号的带宽为：则无冗余的抽样频率应为：(单位时间的样点数)

单位时间内传输的信息量，即信息速率为2010Copyright43课件第四章信息论基础高斯加性噪声信道的容量(续)加性高斯噪声信道容量

信号与噪声间的关系可用方程组表示为或二维函数概率密度间的关系2010Copyright44课件第四章信息论基础高斯加性噪声信道的容量(续)加性高斯噪声信道容量(续)因为所以有2010Copyright45课件第四章信息论基础高斯加性噪声信道的容量(续)加性高斯噪声信道容量(续)可得2010Copyright46课件第四章信息论基础加性高斯噪声信道容量(续)因为

(1)在均方受限的条件下，高斯分布的信源有最大的相对熵

(2)两高斯分布的随机变量之和()仍为高斯随机变量

(3)信号与噪声统计独立因而有2010Copyright47课件第四章信息论基础加性高斯噪声信道容量(续)

信道容量

若记得香农公式2010Copyright48课件第四章信息论基础加性高斯噪声信道容量(续)由香农公式(香农定理)得到的重要结论：

(1)信道容量C随S/N增大而增大；

(2)C一定时，W与S/N之间可以彼此互换；

(3)N0,C∞：无扰信道的容量为无穷大；(4)对受高斯噪声干扰的信道，当W∞，信道容量趋于一确定值：

2010Copyright49课件第四章信息论基础信道容量和带宽的归一化分析

归一化信道容量：单位时间单位频带内可达到的信息速率。2010Copyright50课件第四章信息论基础信道容量和带宽的归一化分析(续)

归一化信道带宽：单位信息速率所需要的最小带宽。2010Copyright51课件第四章信息论基础信道容量和带宽的归一化分析(续)关于Eb/N0的归一化信道带宽

Eb：比特能量；

N0：噪声功率密度谱；当Eb/N0<－1.59dB

时，无法实现无差错的传输。2010Copyright52课件第四章信息论基础信源编码的基本方法

信源编码的基本方法（1）去除信息中的冗余度，使传输的符号都是独立的，没有多余的成分；（2）使传输的符号所含的信息最大化。例如，通过使编码后的符号以等概分布的形式出现，使每个符号可能携带的信息量达到最大；（3）采用不等长编码，让出现概率大的符号用较短的码元序列表示，对概率小的符号用较长的码元序列；

(4)在允许一定失真的条件下，如何实现高效率的编码。2010Copyright53课件第四章信息论基础

离散无记忆信源(DMS:DiscreteMemorylessSource）输出序列：

各个符号间彼此独立其中反之，若输出的各符号间有一定的相关性，则其为一种有记忆的信源。有记忆的信源，经过处理后，有可能变为一种无记忆的信源。如有记忆的信源，经过理想的、完全去除冗余度的压缩编码后的输出。2010Copyright54课件第四章信息论基础

离散无记忆信源的等长编码等长编码：对信源的每个符号，或每组符号，用长度相等的代码来表示。

码字：由若干码元（码字元素）构成的代码单元。

单个符号独立编码采用二进制码元编码若信源符号集有L种符号，要保证译码的惟一性，码字长度应取表示取X的整数部分。2010Copyright55课件第四章信息论基础

离散无记忆信源的等长编码(续)

编码效率：对码字承载信息能力的利用程度其中由离散信源的最大熵定理，可知编码效率与信源的统计特性有很大的关系，仅当信源输出的符号等概分布时，且为整数时，效率才能达到100％。2010Copyright56课件第四章信息论基础

离散无记忆信源的等长编码(续)

扩展编码：将J个信源符号进行联合编码

J个信源符号可能排列组合个数平均每个信源符号所需要的码元个数若是整数若不是整数

J取值的增大有利于效率的提高。2010Copyright57课件第四章信息论基础

离散无记忆信源的等长编码(续)一般的编译码系统译码惟一性的要求记：编码器输入的符号集：编码输出的码元集：扩展编码的符号长度：编码输出的码字长度为：则保证译码惟一性要求

平均每个信源符号所需的码元数应满足2010Copyright58课件第四章信息论基础

离散无记忆信源的等长编码(续)若信源等概分布可以获得较高的编码效率。若信源非等概分布

则通常编码效率较低。2010Copyright59课件第四章信息论基础

离散无记忆信源(DMS)的有损等长编码对于长度为J的DMS码组(或称为一序列):

码组中的每个符号：

由符号间的独立性，有码组包含的信息量为：根据熵的含义，随着J的增大，有或2010Copyright60课件第四章信息论基础

离散无记忆信源(DMS)的有损等长编码(续)－典型序列集：满足下列条件的序列的集合称之。其中，通常是一个很小的数。－非典型序列集：典型序列集的补集称之。典型序列集和非典型序列集构成了序列所有组合构成符号组的空间。2010Copyright61课件第四章信息论基础

离散无记忆信源(DMS)的有损等长编码(续)

信源划分定理：任给，当J足够大时，有即有：典型序列出现的概率：若则即有：典型序列趋于等概分布。典型序列的数目：2010Copyright62课件第四章信息论基础

离散无记忆信源(DMS)的有损等长编码(续)

典型序列的出现概率：即：典型序列集为高概率集；非典型序列集为低概率集。

2010Copyright63课件第四章信息论基础

离散无记忆信源(DMS)的有损等长编码(续)

典型序列集在整个序列空间中所占的比例：通常取值很小，满足因此说明虽然典型序列集是一个高概率集，但在整个序列空间中可能只占很小的比例；如果容许一定的失真，只对典型序列编码，对非典型序列不予编码传输，则可大大提高传输的效率。典型序列非典型序列2010Copyright64课件第四章信息论基础

离散无记忆信源(DMS)的有损等长编码(续)

示例：已知二元信源信源的熵为：若取所有的序列构成的集合为2010Copyright65课件第四章信息论基础

示例(续)：由：

(1)若取平均信息量落在该范围内的序列为如果要无失真地传输原来的全部序列，采用二进制编码的话，需要3比特；如仅传输典型序列，只需2比特。2010Copyright66课件第四章信息论基础

示例(续)：

(1)若取平均信息量落在该范围内的序列为如仅传输典型序列，同样也只需2比特。2010Copyright67课件第四章信息论基础

编码速率

假定信源输出按照J个符号构成的序列编码编码输出可能获得的编码输出的码字数为相应的比特数为编码速率R定义为：

若采用二进制编码，则有2010Copyright68课件第四章信息论基础

编译码传输模型

译码错误概率定义为

定义4.5.4

可达速率

给定信源和编码速率R，对任意的若存在和编译码方法：、使当时，有则该编码速率称为可达的反之称速率是不可达的。2010Copyright69课件第四章信息论基础

定理4.5.5若，则速率R是可达的；

若，则速率R是不可达的。该定理说明，若，则存在编码方法，当J足够大时，只需对典型序列进行编码，可使编码误差足够地小。

2010Copyright70课件第四章信息论基础在满足一定的译码错误概率的条件下，若只对典型序列编码，编码效率可定义为

若记：编码速率：自信息方差：则不能正确译码的概率满足关系式

根据最后一个等式，可确定编码序列的长度J。2010Copyright71课件第四章信息论基础示例：

(1)对二元符号进行无差错的二进制编码此时、、

(2)若要求编码效率，求所需的编码序列长度J

由得2010Copyright72课件第四章信息论基础示例(续)：自信息方差：最后得所需的符号序列长度

(该取值太大，可见等长编码不易在实际系统中应用)2010Copyright73课件第四章信息论基础

霍夫曼(Huffman)编码

不等长编码的概念：对出现概率大的符号或符号组用位数较少的码字表示；对出现概率小的符号或符号组用位数较大的码字表示。

霍夫曼编码：定理4.5.17霍夫曼编码一种最佳的不等长编码。

霍夫曼编码的应用条件：信源的分布(统计)特性已知。记信源符号集为：编码输出符号集为：2010Copyright74课件第四章信息论基础

霍夫曼编码的步骤：(1)将L个信源符号按概率大小，以递减次序，从上到下排成一列；(2)对处于最下面的概率最小的D个信源符号，一一对应地分别赋予码字元素Z1、Z2、…、ZD，把这D个概率最小的信源符号相应的概率相加，所得的值用一个虚拟的符号代表，与余下的L-D个符号组成含有(L-D)+1=L-(D-1)个符号的第一次缩减信源S(1)；(3)对缩减信源S(1)仍按其概率大小以递减次序从上到下排列，按照步骤(2)的方法处理，得到一个含有[(L-D)+1]-D+1=L-2(D-1)个符号的第二次缩减信源S(2)；(4)按照上述的方法，依次继续下去，每次缩减所减少的符号数是D-1个；只要缩减后的信源Si符号的个数大于D，缩减就继续进行；(5)当进行第k次缩减后信源S(k)符号个数刚好等于D，即有

则对最后这D个符号分别赋予码字元素Z1、Z2、…、ZD；2010Copyright75课件第四章信息论基础

霍夫曼编码的步骤(续)：(6)从最后赋予的码符号开始，沿着每一信源符号在各次缩减过程中得到的码字元素进行路线前向返回，达至每一信源符号，按前后次序，把返回路途中所遇到的码元素排成序列，这个序列，就是相应信源符号对应的码字；(7)若进行k次缩减后，当进行第k次缩减后信源S(k)符号个数不等于D，即有则中止缩减，增加个概率为0的虚假信源符号重新编码，使在k次编码后一定有。2010Copyright76课件第四章信息论基础

霍夫曼编码(续)

示例：已知信源符号集编码输出的码字符号集为解：已知：尝试需要增加虚假符号数为新构建的信源满足：2010Copyright77课件第四章信息论基础

示例(续)：改造后的符号概率场为

编码过程如下2010Copyright78课件第四章信息论基础

示例(续)：平均码字长度：2010Copyright79课件第四章信息论基础

示例(续)：如果不加入虚假符号，直接进行编码，则有平均码字长度2010Copyright80课件第四章信息论基础

霍夫曼编码(续)

码字长度的均匀性和方差

在同样的平均码字长度的情况下，码字长度越均匀，对传输越有利。

定义4.5.16

码字长度的方差其中

编码过程的排序过程不同会影响码长的方差。2010Copyright81课件第四章信息论基础

码字长度的均匀性和方差(续)

示例：信源的符号空间为编码输出码字集

编码方式12010Copyright82课件第四章信息论基础

示例：编码方式1(续)

平均码长：方差：2010Copyright83课件第四章信息论基础

编码方式2

平均码长：方差：2010Copyright84课件第四章信息论基础

虽然平均码长一样，但编码方法2使得输出的码长更为均匀。结论：在霍夫曼编码过程中，当对缩减信源概率重新排列时，应使合并得到的局部概率和，尽量使其处于最高位置；这样可以使得合并元素重复编码的次数减少，降低码字长度的方差，使得码字长度比较均匀。2010Copyright85课件第四章信息论基础率失真理论

实际系统中的权衡关系实际系统通常需要在性能与经济性之间取得某种平衡；通常采用以某些不可察觉或可察觉但不影响应用的信号失真代价，来换取所需的传输速率、存储空间、运算复杂度和系统实现成本的降低；

2010Copyright86课件第四章信息论基础

失真的概念失真是指用某种尺度衡量的实际的信源样值与信号经过变化后对应值之差。

失真函数：对由符号变为符号引起误差造成影响的大小，人为定义一个非负函数称之：失真函数的取值通常反映失真产生的代价。2010Copyright87课件第四章信息论基础

失真函数的示例：

(汉明失真函数)2010Copyright88课件第四章信息论基础率失真理论

研究率失真理论的目的分析在允许一定失真的条件下，要重构一个信号，信源输出的信息率能否减少和应如何处理；研究限定失真条件下的信源编码方法。2010Copyright89课件第四章信息论基础

率失真理论在通信中的应用已知输入信号集：输出信号集：对离散无记忆信道，有

失真函数：对由输入符号变为输出符号引起误差造成影响的大小，可人为定义一个非负函数：