信息传输与信道容量.ppt

第三部分 信息论,上午10时30分,2,第三部分 信息论,信息论的三个基本内容： 信息的度量；信息的信道容量；为利用信道容量传输信息所需要的编码。 相应的基本结论为： 如果一个信息源所发出的信息速率不超过信道容量，则尽管有噪声存在，我们总可以找到一种编码方法，使全部信息以任意小的差错频度传过信道。 编码过程有两类：信源编码和信道编码。 信源编码降低信息速率； 信道编码等效无噪信道。,上午10时30分,3,第十章 信息传输与信道容量,10.1 离散信道的信息传输 1.互信息与条件熵 设有两个符号组： 已知联合概率和条件概率： 定义互信息： 则平均互信息为：,上午10时30分,4,第十四章 信息传输与信道容量,即 定义条件熵 则有,上午10时30分,5,第十四章 信息传输与信道容量,容易证明： 1） 2） 证明：2）因为 ，所以 因此 即,上午10时30分,6,第十四章 信息传输与信道容量,在信号传输中，需要传输的信号为 接收到的信号为 通信中的最主要的问题就是利用接收到的信号来判断传输的信号是什么。 信息熵 表明传输信号所具有的平均信息量； 条件熵 表明X相对于Y的平均信息量(或丢失的信息) ； 因此互信息量 表明每个接受到的符号所获得的平均信息量.,上午10时30分,7,第十四章 信息传输与信道容量,信息熵 表明接收信号所具有的平均信息量； 条件熵 表明Y相对于X的平均信息量(或噪声带来的噪声熵)； 互信息量 表明每个接受到的符号所获得的平均信息量 例 二元对称信道(BSC),上午10时30分,8,第十四章 信息传输与信道容量,已知传输信号有 传输过程中的错误概率为 , 下面来计算互信息量. 首先定义函数 由题意知 则有,上午10时30分,9,第十四章 信息传输与信道容量,所以 互信息量为,上午10时30分,10,第十四章 信息传输与信道容量,2.离散信道容量 表明每个接受到的符号所获得的平均信息量 若信源给定，源点、宿点字符组以及前向转移概率 都固定，则 只与 有关。 为实现最大信息传输，信源 必须满足一定条件，可以通过信源编码实现，令 即每个符号所传输的最大信息量，称之为信道容量。,上午10时30分,11,第十四章 信息传输与信道容量,若 为信道允许的最大符号速率，则 代表信道传输的最大速率，它也可以用来描绘信道容量。 山侬有噪声信道基本定理 如一信道有容量 ，信源信息速率 ，则总可以找到一种编码系统（信道编码与信源编码），使信源输出以任意小的差错频度传过信道；反之，如果 ，则无差错地传输信息是不可能的。,上午10时30分,12,第十四章 信息传输与信道容量,14.2 连续信道 1.连续信息 连续信号 （随机信号），各态历经，带宽有限。 可以得到连续随机变量 其概率密度函数为 。 定义离散随机变量 则当 时， 。,上午10时30分,13,第十四章 信息传输与信道容量,利用离散情况信息熵的定义，可以得到 的绝对信息熵： 其中 。 称为相对信息熵（信息熵），与离散情况不同的是， 可以取正、负或零。,上午10时30分,14,第十四章 信息传输与信道容量,问题：对于给定信源，如何选择 ，可以使得 达到最大？ 更一般地，此问题可以描绘成一个泛函问题： 寻找 ，使得积分 达到最大，其中 受 个约束条件限制：,上午10时30分,15,第十四章 信息传输与信道容量,根据变分学中的定理，当 满足 时， 为最大（或最小）。 至少有一个约束条件： 例1 （具有固定平均功率的信源熵） 已知某信源有概率密度函数 ，且满足 其中 为固定值。试给出到达最大熵的 。,上午10时30分,16,第十四章 信息传输与信道容量,解：此时有 按照前面的结论，有 所以 带入约束条件有,上午10时30分,17,第十四章 信息传输与信道容量,解得 所以达到最大熵时，有 此时最大熵为,上午10时30分,18,第十四章 信息传输与信道容量,2.连续信道容量 传输信号 ，接收信号为 则可以定义平均互信息量 容易证明 类似地，有 通常，已知前向转移概率密度函数 ，则 所传递的最大信息为,上午10时30分,19,第十四章 信息传输与信道容量,若信道具有固定带宽 ，则 是带宽为 的带限信号；因此 可以由满足奈奎斯特抽样率 的抽样值完全确定，所以最大信息传输速率为 如果给定一个连续传输信道为加性高斯白噪声信道(AWGN)，满足如下条件： 1）信道可在带宽范围内实现无畸变传输，任何传输损耗都将得到补偿； 2）信道把来自信源的输入限制为具有固定平均功率 的带限信号 ；,上午10时30分,20,第十四章 信息传输与信道容量,3）宿点所收到的信号被均值为零，平均功率为 的带限加性高斯白噪声 所污染； 4）信号与噪声相互独立，因而 ，以及 对于此特殊信道，可以计算信道容量。 1）计算噪声熵：,上午10时30分,21,第十四章 信息传输与信道容量,所以有 2）计算信