第四章：信道与信道容量.ppt

第四章 信道与信道容量 本章节达到的目的 了解信息论研究信道的目的 内容了解信道的基本分类并掌握信道的基本描述方法掌握信道容量 信道容量代价函数的概念 以及与互信息 信道输入概率分布 信道转移函数的关系能够计算简单信道的信道容量 信道容量代价函数 对称离散信道 无记忆加性高斯噪声信道 了解信道容量 容量代价函数在研究通信系统中的作用 概念问题 熵 熵率 无失真信源编码定理中的作用互信息 信道容量 信道编码定理中的作用 回顾 互信息函数的性质1 互信息与信道输入概率分布的关系性质1 I X Y 是信道输入概率分布p x 的上凸函数 I X Y p x 回顾 互信息函数的性质2 信息量与信道转移概率分布的关系性质2 I X Y 是信道转移概率分布p y x 的下凹函数 I X Y p y x 回顾 互信息函数的性质3 信息量与信道输入符号相关性的关系性质3 信道的输入是离散无记忆的 回顾 互信息函数的性质4 信息量与信道输入符号相关性的关系性质4 信道是离散无记忆的 回顾 互信息函数的性质5 性质3 性质4的推论 信道的输入和信道本身都是离散无记忆的 信道与信道容量 概述信道的分类与描述离散无记忆信道及其容量连续信道及其容量容量代价函数C F 4 1 概述 信息论对信道研究的内容什么是信道 信道的作用研究信道的目的 5 1 概述 1 信息论对信道研究的内容 信道的建模 用恰当的输入 输出两个随机过程来描述信道容量不同条件下充分利用信道容量的各种办法 5 1 概述 2 什么是信道 信道是传送信息的载体 信号所通过的通道 信息是抽象的 信道则是具体的 比如 二人对话 二人间的空气就是信道 打电话 电话线就是信道 看电视 听收音机 收 发间的空间就是信道 5 1 概述 3 信道的作用在信息系统中信道主要用于传输与存储信息 而在通信系统中则主要用于传输 5 1 概述 4 研究信道的目的实现信息传输的有效性和可靠性有效性 充分利用信道容量可靠性 通过信道编码降低误码率在通信系统中研究信道 主要是为了描述 度量 分析不同类型信道 计算其容量 即极限传输能力 并分析其特性 通信技术研究 信号在信道中传输的过程所遵循的物理规律 即传输特性信息论研究 信息的传输问题 假定传输特性已知 4 2 信道的分类与描述 信道分类信道描述 4 2 信道分类与描述 1 信道分类从工程物理背景 传输媒介类型 从数学描述方式 信号与干扰描述方式 从信道本身的参数类型 恒参与变参 从用户类型 单用户与多用户 4 2 信道分类与描述 2 4 2 信道分类与描述 3 4 2 信道分类与描述 4 4 2 信道分类与描述 5 4 2 信道分类与描述 6 信道描述信道可以引用三组变量来描述 信道输入概率空间 信道输出概率空间 信道概率转移矩阵 P即 P 它可简化为 4 2 信道分类与描述 7 其中 而而 4 2 信道分类与描述 8 当K 1时 退化为单个消息 符号 信道 进一步当n m 2时 退化为二进制单个消息信道 若它满足对称性 即构成最常用的二进制单消息对称信道BSC 且 4 3 离散无记忆信道及其信道容量 离散无记忆信道及其信道容量离散无记忆信道容量的计算离散无记忆信道的信道容量定理对称的离散无记忆信道容量香农第一定理的物理意义 4 3 离散无记忆信道及其信道容量 1 离散消息序列信道 4 3 离散无记忆信道及其信道容量 2 离散无记忆信道及其信道容量由消息序列互信息性质对离散无记忆信道 有 性质4 则 当且仅当信源 信道入 无记忆时 等号 成立 性质3 4推论 4 3 离散无记忆信道及其信道容量 3 离散无记忆信道及其信道容量的进一步理解Cmax存在 互信息性质1 上凸函数极值存在达到Cmax时的两个条件 信道输入 信源 是离散无记忆的信道输入的概率分布是使I X Y 达到最大的分布C的值不是由信源的p x 决定的 而是由p决定的C是信道作为信息传输通道的性能度量只有信道输入 信源 X x1x2 xn 满足一定条件时 才能充分利用信道传输信息的能力 4 3 离散无记忆信道及其信道容量 4 离散无记忆信道容量的计算思路 问题转化为 有界闭区域上求约束极值方法 1 求区域内极值2 求边界极值3 求前两者的最大值具体实现 1 简单情况下求解 如单符号信道 对称信道 2 解方程3 迭代法4 其他 4 3 离散无记忆信道及其信道容量 5 离散无记忆信道的信道容量定理定理5 1 对前向转移概率矩阵为Q的离散无记忆信道 其输入字母的概率分布p 能使互信息I p Q 取最大值的充要条件是其中 是信源字母ak传送的平均互信息 C就是这一信道的信道容量 4 3 离散无记忆信道及其信道容量 6 离散无记忆信道的信道容量定理理解在这种分布下 每个概率 0的字母提供的互信息 C 每个概率 0的字母提供的互信息 C当且仅当这种分布时 可使I p Q 达到最大值CI X Y 是I x ak Y 的平均值 即 想提高I X Y 可以提高p ak 但提高p ak 又使I x ak Y 降低反复调整p ak 使I x ak Y 相等且都等于C此时I X Y C定理只给出了可使I X Y C的p x 的充要条件 并无具体分布及C的值 但可以帮助求解简单情况部分信道的C 4 3 离散无记忆信道及其信道容量 7 对称的离散无记忆信道信道容量对称的离散无记忆信道输出字母的集合可以划分为若干子集 对每个子集有 矩阵中的每一行都是第一行的重排列 矩阵中的每一列都是第一列的重排列 定理5 2 对于对称的离散无记忆信道 当信道输入字母为等概率分布时达到信道容量 4 3 离散无记忆信道及其信道容量 8 对称信道 4 3 离散无记忆信道及其信道容量 9 a1 a2 b1 b2 b3 0 7 0 1 0 1 0 2 0 7 4 3 离散无记忆信道及其信道容量 10 BSC信道信道容量的计算 a1 a2 b1 b2 1 1 4 3 离散无记忆信道及其信道容量 11 由定理5 2 当输入等概分布时 互信息达到信道容量即 p a1 p a2 1 2 有 于是 这里 应用举例3 2 18 3 6 23 4 3 离散无记忆信道及其信道容量 12 二元删除信道信道容量的计算 a1 a2 b1 b2 1 1 b3 4 3 离散无记忆信道及其信道容量 13 由定理5 2 当输入等概分布时 互信息达到信道容量即 p a1 p a2 1 2 有 于是 4 3 离散无记忆信道及其信道容量 14 0 5 1 0 0 0 5 1 0 c b a Ca Cb a BSC信道的信道容量曲线b 二进制删除信道的信道容量曲线 求对称信道离散矩阵P的信道的容量1 21 31 6P 1 61 21 31 31 61 2C logs H p1 p2 p3 log3 H 1 2 1 3 1 6 log3 1 2log1 2 1 3log1 3 1 6log1 6 1 126bit s结果表明 只有输入等概率分布 信道容量达到最大 平均每个符号传输最大信息量为1 126比特 1无损信道一个输入对多个互不相交的输出 因为损失熵H X Y 0故I X Y H X C logrr为输入个数2确定信道一个输出对多个互不相交的输入 因为噪声熵H Y X 0故I X Y H Y C logss为输出个数3无损确定信道一个输入对一个输出 因为损失熵H X Y 0噪声熵H Y X 0故I X Y H X H Y C logrr为输入个数 离散无噪信道 4 3 离散无记忆信道及其信道容量 15 香农第一定理 变长无失真信源编码定理 的物理意义 达到极限时等号成立 从信道的角度看 信道的信息传输率 达到极限时等号成立 4 3 离散无记忆信道及其信道容量 16 香农第一定理 变长无失真信源编码定理 的物理意义无噪无损信道的信道容量 C logM再看当平均码长达到极限值时此时信道的信息传输率R 无噪信道的信道容量C无失真信源编码的实质 对离散信源进行适当变换 使变换后新的码符号信源 信道的输入信源 尽可能为等概分布 以使新信源的每个码符号平均所含的信息量达到最大 从而使信道的信息传输率R达到信道容量C 实现信源与信道理想的统计匹配 又称 无噪信道编码定理若信道的信息传输率R不大于信道容量C 总能对信源的输出进行适当的编码 使得在无噪无损信道上能无差错地以最大信息传输率C传输信息 但要使信道的信息传输率R大于C而无差错地传输信息则是不可能的 4 5 信道容量 Informationsource EncoderS X DecoderX S Informationreceiver 连续信道 模拟信道 连续信道 特点1 时间离散 幅度连续特点2 每个时刻是取值连续的单个随机变量 vs离散序列 研究方法 N个自由度的随机变量 取研究平均在每个自由度上的C模拟信道 特点1 时间连续 幅度连续特点2 一族时间样本函数 每个时间样本函数都是时间 幅度取值连续的研究方法 1 限频 限时时离散 量化为离散随机矢量2 为避免有记忆随机矢量研究的困难 找到一组正交完备函数集 展开为级数 使所得到系数组成的随机矢量相互独立或线性无关 注意 1 限时 频谱无限 限频 时间无限 2 认为函数在F以上或T以外取值很小 限时 限频不会引起函数的严重失真 Analogsource 模拟通信系统 Sourcecoding Channelcoding Analogchannel Channeldecoding Sourcedecoding Destination A Dconverter Modulation Demodulation D Aconverter 01101 01110010 01111010 01101 5 4 连续信道及其容量 1 回顾 连续随机变量的熵 微分熵 VS离散随机变量 连续随机变量最大熵分布 依赖于约束条件 VS离散随机变量 峰值功率受限条件下 均匀分布的随机变量具有最大微分熵平均功率受限条件下 高斯分布的随机变量具有最大微分熵连续信道的输入所取的值域不足以完全表示对信道输入的限制 还有约束条件C max h Y h n C取决于信道的统计特性 加性信道即噪声的统计特性 输入随机矢量X所受的限制条件 一般考虑平均功率受限时 C的单位为 比特 N个自由度连续信道信道容量 容量费用函数描述 5 4 连续信道及其容量 2 C F吴 朱 傅 信道容量吴 信道容量 离散信道容量 连续信道容量容量代价函数 离散信道 连续信道朱 信道容量 离散信道容量费用函数 连续信道 模拟信道傅 信道容量 离散信道容量 连续信道容量 5 4 连续信道及其容量 3 研究连续信道容量的方法基本 简单的信道 无记忆加性噪声信道信道噪声为高斯时何种分布输入能达到对信道的充分利用信道输入为高斯时何种分布噪声对信道传输信息影响最大 5 4 连续信道及其容量 4 一些基础知识 对于加性信道Y X NX 信道输入N 信道噪声Y 信道输出信道的转移概率分布函数就是N的分布函数b x 是信道输入为x时对应的费用如果X Y N中有两个是高斯分布 另一个也是高斯分布的高斯分布的随机变量的微分熵h XG 高斯分布的连续随机变量的微分熵h XG 的值只与方差有关 与均值无关 加性信道 5 5 模拟信道及其容量 模拟信道下的信道容量费用函数及其计算广义平稳的限频 F 限时 T 限功率 P 白色高斯信道及其容量C Shannon公式Shannon公式的物理意义Shannon公式的用途 5 5 模拟信道及其容量 4 广义平稳的限频 F 限时 T 限功率 P 白色高斯信道及其容量C对限频 F 限时 T 的连续过程信源可展成下列取样函数序列 现将这2FT个样值序列通过一个功率受限 P 的白色高斯信道并求其容量值C 5 5 模拟信道及其容量 Shannon公式1 Shannon公式定理5 3 满足限频 F 限时 T 的广义平稳随机过程信源X t w 当它通过一个功率受限 P 的白色高斯信道 其容量为 这就是著名的Shannon公式 则单位时间T 1时的容量为 5 5 模拟信道及其容量 Shannon公式2 证明 前面已求得单个连续消息 第k个 通过高斯信道以后的容量值为 同时 在消息序列的互信息中已证明当信源 信道满足无记忆时 下列结论成立 由信道容量定义 有 5 5 模拟信道及其容量 Shannon公式3 Shannon公式的物理意义它给出了决定信道容量C的是三个信号物理参量 F T 之间的辩证关系 三者的乘积是一个 可塑 性体积 三维 三者间可以互换 5 5 模拟信道及其容量 Shannon公式4 Shannon公式的用途一用频带换取信噪比 扩频通信原理 雷达信号设计中的线性调频脉冲 模拟通信中 调频优于调幅 且频带越宽 抗干扰性就越强 数字通信中 伪码 PN 直扩与时频编码等 带宽越宽 扩频增益越大 抗干扰性就越强 深空通信中 功率受能源限制 频谱资源相对丰富 采用两电平数字通信方式有效利用信道容量 注意 有极限 归一化信道容量关于带宽W的关系图 归一化信道带宽关于信噪比SNR的关系图 Shannon公式另一种形式 其中 为噪声密度 即单位带宽的噪声强度 2 N0F Eb表示单位符号信号的能量 Eb STb S F Eb N0称为归一化信噪比 也称为能量信噪比 当Eb N0 1时 Eb N0 nat bit 结论 低信噪比时 信道容量近似地决定于能量信噪比的值 5 5 模拟信道及其容量 Shannon公式5 Shannon公式的用途二用信噪比换取频带多进制多电平多维星座调制方式的基本原理卫星 数字微波中常采用的有 多电平调制 多相调制 高维星座调制 M QAM 等等 它利用高质量信道中富裕的信噪比换取频带 以提高传输有效性 5 5 模拟信道及其容量 Shannon公式6 Shannon公式的用途三用时间换取信噪比重传 弱信号累积接收基于这一原理 t T0为分界线 信号功率S有规律随时间线性增长 噪声功率 2无规律 随时间呈均方根增长 5 5 模拟信道及其容量 Shannon公式7 Shannon公式的用途四用时间换取频带或用频带换取时间扩频 缩短时间 通信电子对抗 潜艇通信窄带 增加时间 电话线路传准活动图象 5 5 模拟信道及其容量 Shannon公式8 讨论信道容量及容量费用函数的目的 不是为了实现可靠传输 这是信道编码的目的 只是为了实现最大限度达到信道的信息传输能力可以给出信道编码的界关于Shannon公式条件是加性高斯白噪声 AWGN 信道下给出的是S N W与信道容量 最大信息传输速率 的关系没有给出S N W与差错概率的关系 例2 在图片传输中 每帧约为2 25 106个像素 为了能很好地重现图像 需分16个亮度电平 并假设亮度电平等概率分布 试计算每秒钟传送30帧图片所需信道的带宽 信噪功率比为30dB 信噪比 S N 通常用分贝 dB 表示 分贝数 10 log10 S N 解 高斯白噪声加性信道单位时间的信道容量 比特 秒 要求的信息传输率为 Ct 2 25 106 log16 30 2 7 108 bit s Wlog 1 S N 而 10lg S N 30dB S N 103W 2 7 108 log 1 103 2 7 107 HZ 猫速度和宽带的解释