信息论与编码-第三章.ppt

第3章 信道与信道容量 信道的基本概念离散单个符号信道及其容量离散序列信道及其容量连续信道及其容量信源与信道的匹配 信息论与编码 信道与信道容量 由于一般信道中总是存在噪声和干扰 在这样的信道中进行信息传输会造成损失 那么在有噪信道中怎么能够使消息通过传输后发生的错误最少 在有噪信道中无错误传输可以达到的最大信息率是多少 这就是本章研究的内容 信息论与编码 信道与信道容量 信道分类和表示参数通信系统中 信道是非常重要的部分 信道的任务是以信号方式传输信息 在信道中会引入噪声 这些都会使信号通过信道后产生错误和失真 故信道的输入和输出之间一般不是确定的函数关系 而是统计依赖关系 只要知到了信道的输入信号和输出信号以及它们之间的统计依赖关系 则信道的全部特性就确定了 所以可以用信道的转移概率矩阵P Y X 来描述信道 信道的数学模型及分类研究信道 就要研究信道中能够传送的最大信息量 即信道容量问题 信息论与编码 信道与信道容量 信道的分类 从不同的角度 有不同的分类方法 根据信道的参数是否随时间变化 可以分为 1 固定参数信道 信道的参数不随时间变化 2 时变参数信道 信道的参数随时间变化 根据输入和输出信号的特点 可以分为 1 离散信道 信道的输入和输出的随机序列取值都是离散的 2 连续信道 信道的输入和输出的随机序列的取值都是连续的 信息论与编码 信道与信道容量 3 半离散或半连续信道 输入序列是离散的但相应的输出序列是连续的 或者反过来 4 波形信道 信道的输入输出不但取值是连续的 而且还随时间连续变化 一般可用随机过程来描述其输入输出 由于实际信道的带宽总是有限的 所以输入信号和输出信号总可以分解成时间离散的随机序列 序列的取值可以是连续的 也可以是离散的 因此 波形信道可以分解成连续信道或离散信道或半离散半连续信道 信息论与编码 信道与信道容量 信道参数设信道的输入矢量和输出矢量分别是通常采用条件概率来描述信道输入输出信号之间统计的依赖关系 该条件概率通常称为转移概率 信息论与编码 信道与信道容量 根据信道是否存在干扰以及有无记忆 可将信道分为下面三类无干扰信道 信道的输出符号Y与输入符号X之间又确定的关系Y f X 已知X后就确知Y 有干扰无记忆信道 信道的输出符号Y与输入符号X之间没有确定的关系 但转移概率满足即每个输出符号只与当前输入符号之间有概率转移关系 在这种情况下 只需分析单个符号的转移概率即可 信息论与编码 信道与信道容量 有干扰有记忆信道 一般情况都是如此 常用的方法有两种将记忆很强的L个符号当矢量符号 各矢量符号之间是无记忆的 但此事会引入误差 L越大 误差越小将转移概率看成马尔科夫链的形式 记忆有限 信道的统计特性可用在已知现在时刻输入符号和前信道所处的状态的条件概率来描述 这种处理方法比较复杂 通常取一阶时稍简单 信息论与编码 信道与信道容量 下面我们讨论几种常用信道 1 二进制离散信道二进制离散信道的输入值集合是 0 1 输出值集合也是 0 1 再加上一组描述信道统计特性的转移概率 就可以完全确定信道 二进制离散信道的一个特例 二进制对称信道 BSC BinarySymmetricChannel 如果描述二进制离散信道的转移概率对称 即则称这种二进制输入 二进制输出的信道为二进制对称信道 信息论与编码 信道与信道容量 如图所示 BSC信道是无记忆信道 BSC信道是研究二元编解码最简单也是最常用的信道模型 输入 0 1 1 p 1 p p p 输出 0 1 信息论与编码 信道与信道容量 2 离散无记忆信道设信道的输入符号集合是 输出符号集合是再加上一组 mn个 转移概率这样的一种信道称为离散无记忆信道 DMC DiscreteMemorylessChannel 信息论与编码 信道与信道容量 可以把转移概率写成矩阵的形式 即 信息论与编码 信道与信道容量 图示 a0 an 1 a1 b0 b1 bm 1 信息论与编码 信道与信道容量 3 离散输入 连续输出信道信道输入符号选自一个有限离散的符号集合信道输出时未经量化的任意值 即m 信道特性由转移概率密度函数决定典型信道是加性高斯白噪声信道 AWGN 信息论与编码 信道与信道容量 4 波形信道输入和输出都是随机过程 x t 和 y t 模拟系统 对于频带受限的波形信道 可以用抽样的方法变成时间离散信道 设带宽为W 则在T时间间隔内 根据抽样定理 应该抽样至少2WT个点 分别记为输入和输出这样波形信道就转化为多维连续信道 信息论与编码 信道与信道容量 信道转移概率密度函数为且满足完备性 连续无记忆信道 满足一般情况下 是有记忆信道 信息论与编码 信道与信道容量 对于加性噪声 单符号信道可以表示为y t x t n t n t 为噪声过程的一个样本函数由于噪声和信号相互独立 所以有转移概率为即信道的转移概率密度函数等于噪声的概率密度函数 信息论与编码 信道与信道容量 条件熵 信息论与编码 信道与信道容量 上式说明条件熵是由噪声引起的 它等于噪声信源的熵 故条件熵也称噪声熵 在加性多维连续信道中 输入矢量X 输出矢量Y和噪声矢量n之间的关系是Y X n可得 信息论与编码 信道与信道容量 3 2离散单个符号信道及其容量我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量 即信息传输率R 而信道的信息传输率就是平均互信息 即bit 符号若已知平均传输一个符号所需的时间为t s 则将信道在单位时间内平均传输的信息量定义为信息传输速率 bit 符号 s 符号 bit s即单位为bit s 信息论与编码 信道与信道容量 前面我们已经讨论过 I X Y 是输入随机变量X的概率分布p xi 和信道转移概率p yj xi 的函数 对于一特定信道 若转移概率已确定 则互信息就是就是关于输入符号概率分布的 函数 因此对于一个固定的信道 总存在一种信源符号的概率分布 使传输每个符号平均获得的信息量最大 这个最大的信息传输率就称为信道容量C 即此时相应的输入概率分布称为最佳输入分布 信息论与编码 信道与信道容量 有时候也把单位时间内信道平均传输的最大信息量叫做信道容量 即信道容量C已与输入信源的概率分布无关 它只是信道传输概率的函数 只与信道的统计特性有关 所以 信道容量是完全描述信道特性的参量 是信道每符号能够传输的最大信息量 对于特定的信道 信道容量是个定值 但在传输信息时信道能否提供其最大传输能力 则取决于输入端的概率分布 信息论与编码 信道与信道容量 无干扰离散信道设信道的输入符号集合是输出符号集合是按照X与Y的对应关系 可以分为如下几类无噪无损信道无噪有损信道有噪无损信道这些信道是部分理想化的 使用中比较少 3 2离散单个符号信道及其容量 无干扰离散信道的信道容量 X Y一一对应C logn 多个输入变成一个输出C maxH Y 一个输入对应多个输出C maxH X 信息论与编码 信道与信道容量 DMC信道的信道容量设DMC信道的输入符号集合是输出符号集合是转移概率由信道特性决定 信息论与编码 信道与信道容量 给定信道 就是给定信道的转移概率 此时有所以信道容量为由上式可以看出 信道容量C只是转移概率的函数 也就是说 信道容量由信道唯一决定 信息论与编码 信道与信道容量 因为是最佳输入分布 是信道特性 一旦这两个参数确定 就被确定了 对于信道容量 一个是其存在性问题 一个是它的计算 关于存在性问题 在这里我们不做讨论 主要看它的计算问题 信息论与编码 信道与信道容量 对称DMC信道的容量对称DMC信道的定义 如果一个DMC信道的转移概率矩阵P中的每一行都是第一行的置换 包含同样的元素 但位置可以不同 则称该矩阵是输入对称的 如果转移概率矩阵P的每一列都是第一列的置换 则称该矩阵是输出对称的 如果一个DMC信道的输入 输出都对称 则称该DMC信道为对称DMC信道 信息论与编码 信道与信道容量 对称DMC信道 信息论与编码 信道与信道容量 对称DMC信道的性质 i 对称DMC信道的条件熵H Y X 与信道输入符号的概率分布无关 且有这是因为与无关 信息论与编码 信道与信道容量 ii 当信道输入符号等概分布时 信道输出符号也等概分布 反之亦然 列对称 容量公式 信息论与编码 信道与信道容量 iii 当信道输入符号等概分布时 对称DMC信道达到其信道容量 为 信息论与编码 信道与信道容量 例题3 1 某对称DMC信道 信道转移矩阵为求信道容量 解 例题3 2 强对称信道 均匀信道 信道转移概率矩阵输入符号和输出符号的个数相同 都为n 正确的传输概率为1 错误概率 均匀的分配给n 1各输出符号 信道容量为 信息论与编码 信道与信道容量 信息论与编码 信道与信道容量 2 BSC信道的信道容量BSC信道是均匀DMC信道在输入输出在n m 2时的特例 所以对于转移概率为p 0 1 p 1 0 p p 0 0 p 1 1 1 p的信道 当时 其平均互信息量最大 即其信道容量为 信息论与编码 信道与信道容量 信息论与编码 信道与信道容量 C与信道转移概率的关系如下图所示 当p 0时 即信道无误码时 C H X 1bit 符号 达到了信道容量的最大值 相当于没有噪声损失 C p C p曲线 0 2 0 4 0 6 0 8 1 0 0 2 0 4 0 6 0 8 1 0 0 当p 0 5时 信道容量C 0 这时候由于输入输出完全独立 从输出端得不到任何关于输入的信息 信息论与编码 信道与信道容量 例3 3设有两个离散BSC信道 其转移概率矩阵都为 0 1 Y X Z 1 1 1 1 0 1 信息论与编码 信道与信道容量 可以求得I X Y 1 H I X Z 1 H 2 1 信息论与编码 信道与信道容量 3 准对称DMC信道的信道容量如果信道转移矩阵P是输入对称而输出不对称 即转移概率矩阵的每一行都包含同样的元素 但每一列包含的元素可以不同 则称这样的信道为准对称DMC信道 例如 就是准对称DMC信道 信息论与编码 信道与信道容量 由于每列元素不相同 所以信道的输入和输出概率可能不等 此时H Y 的最大值可能小于Y等概率时的熵 因而准对称DMC信道的容量可以证明 对于准对称DMC信道 当输入概率分布为等概分布时 达到其信道容量 为 信息论与编码 信道与信道容量 n是输入符号集中符号个数 是转移概率矩阵中一行的元素 即是信道转移矩阵的第k个子矩阵中行元素之和 是信道转移矩阵的第k个子矩阵中列元素之和 r是互不相交的子集个数 信息论与编码 信道与信道容量 转移矩阵的子矩阵是这样得到的 由于转移矩阵中每一行都包含同样的元素 而每一列则可以包含不同的元素 因此 我们可以把转移矩阵分成n个互不相交的子集 每一个子集构成的子矩阵都是对称的 信息论与编码 信道与信道容量 例如 设转移矩阵为则可以分成三个子集 每个子集组成的子矩阵为 信息论与编码 信道与信道容量 又例如 设转移矩阵为则可以分成二个子集 每个子集组成的子矩阵为因此 信息论与编码 信道与信道容量 例题3 5 已知一个信道的信道转移概率矩阵为求该信道的信道容量 解 将P划分成两个子矩阵 则 信息论与编码 信道与信道容量 最佳输入分布为等概分布 即故 信息论与编码 信道与信道容量 解法2 求I X Y 的极大值设则 信息论与编码 信道与信道容量 由得所以 信息论与编码 信道与信道容量 由得解之得 此时信道模型 二进制对称删除信道 信息论与编码 信道与信道容量 3 2 4一般DMC信道的信道容量以输入符号概率矢量Px为自变量求函数I Px 极大值 即信道容量的问题 已经得到解决 称Blahut Arimoto算法 定理 一般离散信道的平均互信息I X Y 达到极大值 等于信道容量 的充要条件是输入概率分布满足其中的C为信道容量 信息论与编码 信道与信道容量 从定理中可以得出这样的结论 当信道平均互信息达到信道容量时 输入信源符号集中每一个信源符号对输出端Y提供相同的信息量 只是概率为零的符号除外 定理只是给出了达到信道容量时 最佳输入概率分布应满足的条件 但是并没有给出输入符号的最佳概率分布值 也没有给出信道容量的数值 另外 定理也隐含着 达到信道容量的最佳分布不一定是唯一的 信息论与编码 信道与信道容量 在一些特殊的情况下 我们可以利用这个定理找出所求的最佳输入概率分布和信道容量 例题 设信道的转移概率矩阵为该信道为非对称DMC信道 求其信道容量 X Y 0 1 2 0 1 1 1 1 2 1 2 信息论与编码 信道与信道容量 解 仔细观察此信道 设想输入端输入符号1的概率为0 则该信道就成了一一对应信道 如果符号1的概率不等于0 就会增加不确定性 而确定性信道的互信息量最大 因此 我们可以设想 p 0 p 2 1 2 p 1 0 此时有 信息论与编码 信道与信道容量 它们满足定理中的充要条件 因此 这就是我们要寻找的最佳输入分布 该信道的信道容量为C log2 1对于一般的DMC信道 很难用上述定理来求其信道容量和对应的最佳输入概率分布 此时只能用求极大值的方法来求解 例3 8 信息论与编码 信道与信道容量 3 3离散序列信道及其容量信道模型 信道 信息论与编码 信道与信道容量 对于无记忆离散序列信道 其信道转移概率为若信道是平稳的 则有根据平均互信息的定义 信息论与编码 信道与信道容量 可以证明 该互信息有两个性质 如果信道无记忆 则如果输入矢量X中的各个分量相互独立 则如果信道无记忆 输入矢量X中的各个分量相互独立 则上式取等号 信息论与编码 信道与信道容量 当输入矢量达到最佳分布时 平稳信道一般情况下 信息论与编码 信道与信道容量 最典型的无记忆离散序列信道是扩展信道 如果对离散单符号信道进行L次扩展 就形成了L次离散无记忆序列信道 信道输入序列为X XL 信道输入序列为Y YL 信道的序列转移概率为 信息论与编码 信道与信道容量 例3 7BSC信道的二次扩展BSC信道P 0 0 P 1 1 1 P P 0 1 P 1 0 P P 00 00 p 0 0 p 0 0 1 P 2P 01 00 p 0 0 p 1 0 P 1 P P 10 00 p 1 0 p 0 0 P 1 P P 11 00 p 1 0 p 1 0 P2 00 00 01 01 10 10 11 11 X Y 信息论与编码 信道与信道容量 转移矩阵为是一个对称DMC信道 当输入序列等概分布时 达到信道容量 信息论与编码 信道与信道容量 信道容量为若p 0 1 信道容量为C2 2 0 938 bit 序列 1 062bit 序列BSC单符号时信道容量为C1 1 H 0 1 0 531bit 序列 1 2C2 信息论与编码 信道与信道容量 3 4连续信道及其容量在连续信源情况下 可用两个相对熵之差来表征互信息 互信息的最大值就是信道容量 因而 连续信道具有与离散信道类似的信息传输率和信道容量表达式 只考虑加性噪声 信息论与编码 信道与信道容量 连续单符号加性信道由于I X Y h X h X Y h Y h Y X 信道容量为由限平均功率最大熵定理 当信道输出Y正态分布时 熵最大 信息论与编码 信道与信道容量 设py y N 0 P 其中P为Y的平均功率限制值 由于信道输入X与噪声统计独立 且y x n 所以 其功率可以相加 即P S 2 S为信道输入X的平均值 显然 若py y N 0 P 则px y N 0 S 这时 信息传输率达到最大式中 S 2是信号功率与噪声功率之比 称为信噪比 用SNR表示信道容量仅取决于信道的信噪比 信息论与编码 信道与信道容量 对于均值为零 平均功率为 2的非高斯噪声 其信道容量为上式说明在同样平均功率受限的情况下 非高斯噪声信道的容量要大于高斯噪声信道的容量因此 在实际处理问题时 通常采用计算高斯噪声信道的容量的方法保守地估计容量 且高斯噪声信道的容量容易计算 信息论与编码 信道与信道容量 多维无记忆加性连续信道无记忆加性随机噪声统计独立可以等价为L个独立的并联高斯加性信道 信息论与编码 信道与信道容量 X x1 x2 xL n n1 n2 nL y y1 y2 yL 加性信道 x1 n1 y1 x1 n1 xL nL yL xL nL 70 3 4连续信道及其容量 连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道号加性信道 比特 L维自由度 因此当且仅当输入随机矢量X中各分量统计独立 且是均值为零 方差为Pl的高斯变量时 才能达到此信道容量 71 3 4连续信道及其容量 均值为零 方差相同 均值为零 方差不同 总平均功率受限 在总输入功率不变的情况下 合理分配输入功率 使得信道容量最大 72 3 4连续信道及其容量 各个时刻的信道输出功率相等设为常数 73 3 4连续信道及其容量 注水原理 water filling 各个子信道的功率合理分配 使得信道容量最大 各个时刻的信道输出功率 信号功率 噪声功率 是相等的当噪声功率大时 减小信号功率 甚至使信号功率为零 当噪声功率小时 增大信号功率 例3 10 信息论与编码 信道与信道容量 限时限频限功率的加性高斯白噪声信道波形信道除了输入输出信号的取值是连续的 而且还随时间连续变化 但是 对于频带受限的波形信道 可以用抽样的方法变成时间离散信道 设带宽为W 则在tB时间间隔内 根据抽样定理 应该抽样至少2WtB个点 分别记为输入和输出以及噪声 并且有 如果噪声是高斯白噪声 则该信道称为高斯白噪声加性信道 AWGN 其中每一个都是一个随机变量 信息论与编码 信道与信道容量 如果这些随机变量统计无关 则信道容量 76 3 4连续信道及其容量 限时限频限功率加性高斯白噪声信道 限时 tB 限频 f W 高斯噪声过程可分解为L维统计独立的随机序列 在 0 tB 内 L WtB多维无记忆加性高斯信道 式中 是每个噪声分量的功率 是每个信号样本值的平均功率 设信号的平均功率受限于Ps 则 77 3 4连续信道及其容量 限时限频限功率加性高斯白噪声信道 信道的容量 单位时间的信道容量 香农公式 Ct Wlog 1 SNR 比特 秒 输入信号 x t 满足均值为零 平均功率Ps的高斯白噪声的特性 信息论与编码 信道与信道容量 另一种算法 如果信号是平均功率受限的 即于是有则 信息论与编码 信道与信道容量 这就是著名的香农公式 在通信原理里面经常要用到 它是带限AWGN波形信道在平均功率受限条件下信道容量的基本公式 根据香农公式 可以得到以下一些结果或结论 1 利用关系式 可得 信息论与编码 信道与信道容量 2 归一化信道容量所谓归一化信道容量 就是平均单位带宽的信道容量 即C W设每传输一比特的信息需要的能量为 则信号的平均功率为 信息论与编码 信道与信道容量 因此或者写为上式是归一化信道容量C W和信噪比之间的关系 也称频带利用率 信息论与编码 信道与信道容量 由此可知 i C W 1时 每赫兹带宽传一比特 即此时要求信噪比为0dB ii 时 也就是说 此时对的要求是指数增加的 信息论与编码 信道与信道容量 iii 时 也就是说 当信噪比时 信道完全丧失了通信能力 因此 1 6dB称作香农限 是一切编码方式所能达到的理论极限 84 信息论与编码 信道与信道容量 信息论与编码 信道与信道容量 iV 信噪比和带宽的互换原则从香