数字通信原理4信息论基础.ppt

1、2010 Copyright,课件SCUT DT&P Labs,1,数字通信原理 第四章 信息论基础,2010 Copyright,课件SCUT DT&P Labs,2,第四章 信息论基础,1、消息与信息 (1) 消息是由符号、文字、数字、语音或图像组成的序列； (2) 消息是信息的载体，信息是消息的内涵；消息中可能包 含信息，也可能不包含信息； (3) 收到一则消息后，所得的信息量，在数量上等于获得 消息前后“不确定性”的消除量； (4) 通信的目的在与传送信息。,2010 Copyright,课件SCUT DT&P Labs,3,第四章 信息论基础,2、信息度量的概念 (1) 某消息的信息

2、量获得该消息后不确定性的消除量； 不确定性可能性概率问题： 信息量可用概率的某种函数来度量 (2) 不同的消息有信息量的多少的区别，因此 信息的度量方式应满足信息量的可加性 信息量应该是满足可加性的概率的函数。,2010 Copyright,课件SCUT DT&P Labs,4,第四章 信息论基础,3、离散信源信息的度量 离散信源的信息量 离散信源统计特性的描述方法概率场 设离散信源包含N种可能的不同符号，相应的概率场可表述为 概率场满足条件：,2010 Copyright,课件SCUT DT&P Labs,5,第四章 信息论基础,离散信源的信息量(续) 信息量作为概率的函数，具有形式 若 与

3、 统计独立，满足可加性要求 如定义 显然有 同时满足概率函数和可加性两个要求。,2010 Copyright,课件SCUT DT&P Labs,6,第四章 信息论基础,离散信源信的息量(续) 定义 离散消息xi的信息量: 信息量的单位与对数的底有关： log以2为底时，单位为比特：bit log以e为底时，单位为奈特：nit log以10为底时，单位为哈特，hart 一般在缺省时取单位为比特。,2010 Copyright,课件SCUT DT&P Labs,7,第四章 信息论基础,离散信源信的息量(续) 示例：已知某信源的概率场为 输出的各符号统计独立，计算序列S“113200”的信息量,20

4、10 Copyright,课件SCUT DT&P Labs,8,第四章 信息论基础,4、离散信源的平均信息量：信源的熵 离散信源的熵 定义4.2.2 离散信源 的熵 熵是信源在统计意义上每个符号的平均信息量。,2010 Copyright,课件SCUT DT&P Labs,9,第四章 信息论基础,离散信源的熵(续) 示例：求离散信源 的熵。 按照定义：,2010 Copyright,课件SCUT DT&P Labs,10,第四章 信息论基础,离散信源的熵(续) 示例（续）：若上述离散信源发送独立的符号序列： 201 020 130 213 001 203 210 100 321 010 023

5、 102 002 10 312 032 100 120 210 (1)求总的信息量；(2)利用熵估计总的信息量。 (1) (2),2010 Copyright,课件SCUT DT&P Labs,11,第四章 信息论基础,离散信源的最大熵定理 当离散信源X取等概分布时，其熵H(X)取最大值。 当信源取等概分布时，具有最大的不确定性。 示例：两个信源符号的 情形。 P(x1)=p,P(x2)=1-p 当p=1/2时，H(X)=Hmax,2010 Copyright,课件SCUT DT&P Labs,12,第四章 信息论基础,离散信源的联合熵与条件熵 两随机变量 的概率场 满足条件：,2010 Co

6、pyright,课件SCUT DT&P Labs,13,第四章 信息论基础,离散信源的联合熵与条件熵(续) 两随机变量的联合熵 定义4.2.3 两随机变量 的联合熵 如两随机变量统计独立，有,2010 Copyright,课件SCUT DT&P Labs,14,第四章 信息论基础,两随机变量的联合熵(续) 对于统计独立的两随机变量，不能从其中一个获得有关另外一个的任何信息。,2010 Copyright,课件SCUT DT&P Labs,15,第四章 信息论基础,第四章 信息论基础,离散信源的联合熵与条件熵(续) 两随机变量的条件熵 定义4.2.4 两随机变量 的条件熵 一般地有 具有某种相关

7、性的两随机变量，一个随机变量的出现总是 有助于降低另一随机变量的不确定性。,2010 Copyright,课件SCUT DT&P Labs,16,第四章 信息论基础,离散信源及容量 信道模型 信道的输入： 信道的输出： 信道模型(特性)可用其转移概率来描述,2010 Copyright,课件SCUT DT&P Labs,17,第四章 信息论基础,离散信源及容量 信道模型 信道模型(特性)可用其转移概率来描述，一般地有 输出不仅与当前的输入有关，而且与之前的若干个输入值 有关，呈现某种“记忆”效应。,2010 Copyright,课件SCUT DT&P Labs,18,第四章 信息论基础,离散信

8、源及容量 离散无记忆信道的转移矩阵 输出仅与当前的输入有关 或,2010 Copyright,课件SCUT DT&P Labs,19,第四章 信息论基础,离散无记忆信道的转移矩阵(续) 示例：二元的离散无记忆信道 发“0”和发“1”时 能正确接收的概率为0.99， 错误的概率为0.01。 即有 转移矩阵,2010 Copyright,课件SCUT DT&P Labs,20,第四章 信息论基础,离散信源及容量 互信息量 转移概率 是一种条件概率，在通信系统中可表示 收到 后，发送端发送的是符号 的概率。 接收端收到 后，关于 的不确定性可表示为 定义4.3.1 互信息量为： 互信息量：收到 后，

9、关于 的不确定性的消除量。,2010 Copyright,课件SCUT DT&P Labs,21,第四章 信息论基础,互信息量(续) 互信息量具有对称性 互信息量的性质 (1) 若 （2）若 (3) 若 (4) 若 ,2010 Copyright,课件SCUT DT&P Labs,22,第四章 信息论基础,离散信源及容量(续) 平均互信息量 定义4.3.2 平均互信息量为： 平均互信息量具有非负性 表明从统计上来说，两相关联的随机变量集，其中一个的出 现总是有利于提供有关另外一个的信息。,2010 Copyright,课件SCUT DT&P Labs,23,第四章 信息论基础,离散信源及容量(

10、续) 熵函数与平均互信息量间的关系,2010 Copyright,课件SCUT DT&P Labs,24,第四章 信息论基础,熵函数与平均互信息量间的关系(续) 两张密切相关图像示例 两张无关的图像示例,2010 Copyright,课件SCUT DT&P Labs,25,第四章 信息论基础,熵函数与平均互信息量间的关系(续) 当信源X与Y统计独立时 (1)两个符号同时出现时提供的平均信息量等于每个符号的平均信息量之和； (2)一个符号不能提供有关另一符号的任何信息。,2010 Copyright,课件SCUT DT&P Labs,26,第四章 信息论基础,熵函数与平均互信息量间的关系(续)

11、当两个信源相关时 (1)联合熵小于两个信源的熵的和: (2)平均互信息量等于两信源熵重合的部分； (3)信源的条件熵等于其熵减去平均互信息量：,2010 Copyright,课件SCUT DT&P Labs,27,第四章 信息论基础,离散信道的容量 已知信道的转移矩阵 信源符号集： 符号传输速率： 系统的平均信息速率为：,2010 Copyright,课件SCUT DT&P Labs,28,第四章 信息论基础,离散信道的容量 定义4.3.3 离散信道的最大传输速率为其信道容量 匹配信源 信道特性(转移矩阵)确定之后，其容量由信源的统计特性决 定。 匹配信源：能使单位时间内信道可传输的平均信息量

12、达到信 道容量的信源称之。 已知匹配信源的分布特性： 信道容量：,2010 Copyright,课件SCUT DT&P Labs,29,第四章 信息论基础,匹配信源(续) 已知信道转移概率，匹配信源统计特性的求解： (1)解方程组 求解得 (2)求最大平均互信息量： (3)求相应后验概率： (4)解方程组，确定匹配信源的分布特性,2010 Copyright,课件SCUT DT&P Labs,30,第四章 信息论基础,匹配信源(续) 示例：已知信道转移概率 (1)解方程组的参数： (2)求最大平均互信息量： (3)求相应后验概率：,2010 Copyright,课件SCUT DT&P Labs

13、,31,第四章 信息论基础,匹配信源(续) 示例(续)： (4)获得匹配信源统计特性： (5)信道容量为：,2010 Copyright,课件SCUT DT&P Labs,32,第四章 信息论基础,离散无记忆对称信道的容量(续) 离散无记忆对称信道： 转移矩阵 各行各列均具有相同的元素集的信道称之。 离散无记忆对称信道满足条件： 任意的列元素和 任意的行元素和,2010 Copyright,课件SCUT DT&P Labs,33,第四章 信息论基础,离散无记忆对称信道的容量 离散无记忆对称信道： 离散无记忆对称信道的条件熵满足： 与信源的统计特性无关。 若输入信道的信源符号等概 则信道的输出符

14、号也等概,2010 Copyright,课件SCUT DT&P Labs,34,第四章 信息论基础,离散无记忆对称信道的容量(续) 信道容量： 对于离散无记忆对称信道，若要使信息传输速率达到信道容量，要求信源的符号等概分布。,2010 Copyright,课件SCUT DT&P Labs,35,第四章 信息论基础,连续信源、信道及容量 连续信源的相对熵 若已知随机信号 幅度取值的概率密度函数： 取值在任意小区间 内的概率 连续信源转变为具有n个随机变量的信源，且有 利用离散随机变量熵的定义，得,2010 Copyright,课件SCUT DT&P Labs,36,第四章 信息论基础,连续信源的

15、相对熵(续) 连续信源的熵应为 可见连续信源的熵无限大。该熵称为连续信源的绝对熵，无 法确切地定义。 通常上式的第一项是有限值，且其具有特定的物理意义。,2010 Copyright,课件SCUT DT&P Labs,37,第四章 信息论基础,连续信源的相对熵(续) 定义4.4.1 连续信源的相对熵为 示例4.4.1 某信号的相对熵为 信号经2倍幅度放大后的相对熵为 信号的简单放大并没有增加任何新的信息，但其相对熵发生 了增大的变化，这说明相对熵已经不再具有信源平均信息量 的内涵。,2010 Copyright,课件SCUT DT&P Labs,38,第四章 信息论基础,连续信源的相对条件熵

16、对于连续随机变量，同样可以导出其条件熵 可见连续信源的条件熵取值无限大。通常上式的第一项是一 个有限取值的量。 连续信源的熵和条件熵均取值无限大，说明要在一个容量有 限的通信系统中传递连续信源的全部信息是不可能的。,2010 Copyright,课件SCUT DT&P Labs,39,第四章 信息论基础,连续信源的相对条件熵 定义4.4.3 连续信源的相对条件熵 容易导出： 说明相对熵和相对条件熵的差值与普通的熵和条件熵的差值 一样，仍然等于平均互信息量。 同理可以导出：,2010 Copyright,课件SCUT DT&P Labs,40,第四章 信息论基础,连续信源相对熵的最大化 (1)峰

17、值功率受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从均匀分布时，该连续信源有最大的相对熵。 在区间 分布连续信源 的概率密度函数为 其相对熵为 峰值受限信号,2010 Copyright,课件SCUT DT&P Labs,41,第四章 信息论基础,连续信源相对熵的最大化(续) (2)均值受限情况下的相对熵最大化条件 可以证明：当连续信源的概率密度函数服从指数分布时，该连续信源有最大的相对熵。 均值受限信号 指数分布 相对熵,2010 Copyright,课件SCUT DT&P Labs,42,第四章 信息论基础,连续信源相对熵的最大化(续) (2)平均功率受限情况下的相对

18、熵最大化条件 可以证明：当连续信源的概率密度函数服从高斯分布时，该连续信源有最大的相对熵。 平均功率受限信号 高斯分布 相对熵,2010 Copyright,课件SCUT DT&P Labs,43,第四章 信息论基础,高斯加性噪声信道的容量 加性高斯噪声信道 信道输入： 信道输出： 加性高斯噪声： 已知通过信道后，从 可获得的关于 的平均互信息量 若已知信号 的带宽为： 则无冗余的抽样频率应为： (单位时间的样点数) 单位时间内传输的信息量，即信息速率为,2010 Copyright,课件SCUT DT&P Labs,44,第四章 信息论基础,高斯加性噪声信道的容量(续) 加性高斯噪声信道容量 信号与噪声间的关系可用方程组表示为