信息论03课件

信源 编码器 信道 译码器 信宿 信息传输系统示意图 信道是重要的信息传输通道 研究信道就是研究它能够传输的最大信息量 离散信道及其信道容量 信道的数学模型及分类平均互信息 与平均条件互信息信道容量 及其一般计算方法独立并联信道及其信道容量信源与信道的匹配 1 信道的数学模型及分类 信道的分类 离散信道的数学模型 信道 三种信道 1 无干扰 无噪 信道 2 有干扰无记忆信道 3 有干扰有记忆信道 无记忆信道的充要条件 单符号离散信道的数学模型 信道的传递概率 转移概率 且满足 二元对称信道 BSC 用矩阵来表示 且满足 离散信道传递矩阵 接收到输出符号 后 输入符号 的平均不确定性为 信道疑义度 2 平均互信息及平均条件互信息 平均互信息 对于单个事件 互信息与输入 输出信号熵的关系 维拉图 损失熵 噪声熵 平均条件互信息 信道1 信道2 已知z的条件下 接收到y后获得关于x的条件互信息 已知y z的条件下 总共获得关于x的互信息 同样 求统计平均 可得 例题 四个等概率分布的消息被送入一个二元无记忆对称信道进行传送 通过编码使而BSC信道如图所示 试问输入是和输出第一个符号是0的互信息是多少 如果知道第二个符号也是0 这时带来多少附加信息量 输入是和输出符号是0的互信息 所以 比特 第二个符号是0带来的附加信息量是 而 因为信道是无记忆信道 所以 比特 例题 设信源 通过一干扰信道 接收符号为 信道传递概率如图所示 求 信源中事件和分别含有的自信息 2 收到消息后 获得的关于的信息量 3 信源和信源的信息熵 4 信道疑义度和噪声熵 5 收到信息后获得的平均互信息 1 事件含有的自信息 比特 事件含有的自信息 比特 2 互信息公式 所以可得 则 比特 比特 比特 比特 3信源与的信息熵 比特 符号 比特 符号 4信道疑义度 而 可得 比特 符号 比特 符号 噪声熵 5收到信息后获得的平均互信息 比特 符号 平均互信息的特性 1平均互信息的非负性 2平均互信息的极值性 3平均互信息的交互性 对称性 4平均互信息的凸状性 a 平均互信息是输入信源的概率分布的型凸函数 b 平均互信息是信道传递概率分布的型凸函数 3 3信道容量及其计算方法 信道容量就是信道的最大信息传输率 平均每个符号所能传送的信息量 物理意义 信道传输的最大信息量 只与信道的统计特性有关 对应的输入概率分布称为最佳输入分布 离散无噪 无损信道的的信道容量 对于无噪无损信道 互信息 信道容量 对于有噪无损信道 信道容量 对于无噪有损信道 信道容量 互信息 互信息 损失熵 噪声熵 对称离散信道的信道容量 对称离散信道 信道矩阵中每一行都是由同一集的诸元素的不同排列组成 并且每一列也都是由集的诸元素不同排列组成 即信道矩阵中每一行是另一行的置换 以及每一列是另一列的置换 信道容量 对于对称离散信道 当输入符号达到等概率分布时 则输出符号也一定是等概率分布 所以 例题 某对称离散信道的信道矩阵为 其信道容量为 比特 符号 准对称信道的信道容量 若信道矩阵的列可以划分成若干个互不相交的子集 即 由为列组成的矩阵是对称矩阵 则称信道矩阵所对应的信道为准对称信道 信道容量 其中 为子矩阵的个数 例题 设信道传递矩阵为 可计算得 信道容量为 一般离散信道的信道容量 一般离散信道的平均互信息达到极大值 即等于信道容量 的充要条件是输入概率分布满足 对所有其 对所有其 就是所求的信道容量 其中 设离散信道如图所示 输入符号集为 输出符号集为 信道矩阵为 试求信道的信道容量 例题 假设输入概率分布为 因此信道容量 比特 符号 离散无记忆扩展信道及其信道容量 对于离散无记忆信道 输入符号集 输出符号集 信道矩阵为 则此信道的离散无记忆扩展信道可以表示为 满足 所以 离散无记忆扩展信道的信道容量 当信源也是无记忆时 信道1 信道2 信道3 N个独立并联信道的联合概率 联合平均互信息 信道容量 独立并联信道及其信道容量 串联信道的互信息和数据处理定理 信道1 信道2 对于串联信道 每一级输出矢量只取决于它的输入 而与更前面的输入无关 则有 串联信道的信道容量为 信源与信道的匹配 信道剩余度 信道相对剩余度 小结 信道的分类 离散信道的数学模型