-第四讲_信道容量及其计算

第四讲 4 1信道容量4 2信道容量的计算方法 信道容量及其计算 1 常见的简单DMC离散信道 二元对称信道 DSC 输入符号X取值于 0 1 输出符号取值于 0 1 传递概率为 4 1信道容量 二元删除信道 BEC 输入符号X取值于 0 1 输出符号取值于 0 2 1 传递概率为 0 1 q 1 p 1 q p 1 2 0 删除信道的必要性 2 信道容量定义 信息传输率 信道中平均每个符号所能传送的信息量 R I X Y H X H X Y bit 符号 有时我们需要关心单位时间内 一般为秒为单位 平均传输的信息量 若平均传输一个符号需要t秒 则信道每秒平均传输的信息量为 速率 I X Y 是输入随机变量的概率分布的上凸函数 所以对于固定的信道 总存在一种信源分布 使传输每个符号平均获得的信息量最大 也就是说 每一个固定信道都有一个最大的信息传输率 信道容量定义为信道中每个符号所能传递的最大信息量 也就是最大I X Y 值 此时输入的概率分布称为最佳输入分布 信道容量C与输入信源的概率无关 C只对应着一种信源概率分布 即最佳概率分布 它只是信道传输概率的函数 不同的转移概率对应不同的信道 只与信道的统计特性有关 所以信道容量是完全描述信道特性的参量 信道容量表示了信道传送信息的最大能力 这个量在信息论研究中有重要意义 编码定理将证明 传送的信息量R必须小于信道容量C 否则传送过程中将会造成信息损失 若R C 就可以通过编码方法保证将全部信息几乎无误地传送倒收端 4 2信道容量的计算 1 对称信道的容量 对称信道 信道矩阵的每一行都是由同一概率分布的不同排列组成 并且每一列也是同一元素集的不同的排列组成 1 3 1 3 1 6 1 6 1 3 1 3 1 6 1 6 行 列 1 2 1 3 1 6 1 6 1 3 1 2 1 3 1 6 1 2 行 列 而以下两个矩阵不是对称的 而是准对称的 行对称而不是列对称 1 3 1 3 1 6 1 6 1 3 1 3 1 6 1 6 二元对称信道的容量 例 0 7 0 1 0 2 0 2 0 1 0 7 对于对称信道 由于信道是对称的 上边的条件熵与x无关 所以 对于对称信道 输入符号的概率分布为等概时 输出符号也一定是等概的 例 P95 例3 5 输出符号集个数 2 准对称信道的容量 准对称信道 信道矩阵 列 的子阵是对称矩阵 定理 达到准对称离散信道信道容量的输入分布为等概分布 r是输入个数 n是不相交子集数 Nk是行之和 Mk是列之和 解 达到信道容量的输入分布为等概分布 此时输出分布为 例 求二元对称删除信道的C 例3 8中特例 1 q q q 1 q 0 1 2 与公式计算的结果相同 此时平均互信息就是信道容量 此例题可作为后面 一般信道容量充分必要条件定理的例子 该定理说明 只要信源每个符号对于输出端Y提供相同的互信息 概率为零的除外 则此时平均互信息就是信道容量 定理 一般离散信道的平均互信息I X Y 达到极大值的充要条件是 输入概率矢量满足其中是信道输入x k时 关于信道输出一个字母的平均互信息 即 3 一般DMC容量的计算 一般信道容量的计算方法 拉格朗日乘子法 定理1 如果信道的输入随机序列为通过信道传输 接收到的随机序列为若信道是无记忆的 即满足则 4 扩展信道的信道容量 证明 设信道输入输出序列X和Y的一个取值为 因为信道是无记忆的 另一方面 这里用到 全概率公式 定理2 如果信道的输入随机序列为通过信道传输 接收到的随机序列为若信源是无记忆的 即满足则 所以 如果信道和信源都是无记忆的 则 5 信道的组合 并联信道 两个或更多个信道并行 同时分别传送 信道1p j k 信道2p j k 定理 独立并行信道