基本信息论7熵速率和信道容量.ppt

2.7 熵速率和信道容量 一、信源熵速率 1、离散信源的熵速率 信源熵速率：信源在单位时间内输出的熵， 也称信息速率或传信率 若信源每秒输出n个符号，则其熵速率： 2、连续信源的熵速率 若信源输出带宽有限，最大为W，则采样率至 少为2W，则其熵速率： 二、信道容量的概念 1、离散信道的信道容量 信道容量：信道对信源一切可能的概率分布而言 能够传送的最大熵速率。其单位为比特/秒。 用以传送离散消息的信道，称为离散信道。 若离散信源有 N 个符号，符号间无相关性且等 概率分布，则输出熵最大： 若离散信道最多每秒传送 n 个信源符号，则最 大熵速率，也即信道容量为： 1）信道容量是信道可能传送的最大熵速率，实 际传信率可能大大低于信道容量，造成信道容量 不能充分利用。 2）信道容量C：比特/秒 信道单位时间内最多可传输的符号数n：符号/秒 3）若传信率不能满足要求，应先改造信源，充分 利用现有信道容量。 原因：信源符号间有相关性、符号非等概率分布 解决方法：信源最佳编码（匹配编码） 1、连续信道的信道容量 带宽为 W，平均功率 P 受限的连续信源，其幅 度为高斯分布时，输出熵最大： 根据采样定理，每秒的采样率为2W，则信道传 送的最大熵速率，也即信道容量为： 若信道无噪声，则 信源输出的熵速率 = 信宿接收的熵速率 信道容量 = 信源的最大熵速率 三、离散有噪声信道中的熵速率和信道容量 若信道有噪声，则 信源输出的熵速率 信宿接收的熵速率 信道容量 = 信宿端的最大接收熵速率 接收熵速率 信源熵：H (X) 信宿端的接收熵为平均互信息量： 有噪声信道信宿端的接收熵速率R： 5/6 1/6 1/2 1/2 y1=1 p(y1)=7/12 y2=0 p(y2)=5/12 p(x1)=1/4 x1=1 p(x2)=3/4 x2=0 X空间Y空间 例二元通信系统，信源以平均1000消息/秒的速率 发送消息，计算信源熵速率和信宿端接收熵速率 可疑度H(X/Y)是为了克服信道中噪声干扰、使信 宿能无差错地加以识别信源发出的消息而必须额 外提供的纠正信息。 四、可疑度的物理解释 信源发射机接收机校正 理想观察者 + 信道 噪声 正确 信息 如有错误发纠错信息 山农设想的理想化通信系统 假设：二元信源 等概率分布 p(0) = p(1) = 0.5 信道对称，即： 则将理想观察者看成一个离散信源， 其提供的附加熵： 例二元信源，p(0)=p(1)=0.5，每秒信源发出10000 个符号，信号通过有噪声对称信道，其差错率为 1%，求信宿收到的信息速率。 解：信源熵： 信源熵速率： 差错率为1%，即10000个符号错100个，是否信 宿端的接收熵速率为：9900比特/秒？ 接收熵速率 或 可疑度 = 理想观察者提供的附加熵 五、离散有噪信道的信道容量 离散有噪对称信道的信道容量 二元离散有噪对称信道的信道容量 六、连续有噪信道的熵速率 高斯白噪声加性波形信道 高斯白噪声： 平均值为零 幅度分布为高斯分布 单边功率谱均匀且其密度为N0 自相关函数为尖锐的函数 与其它高斯白噪声的互相关系数为零 加性： 设：输入信号平均功率受限为P 信道带宽为宽度为W的矩形 信道中干扰噪声平均功率为N 则 信源X与噪声n的共熵 = 信源熵速率 疑义度熵速率 = 信宿端总的熵速率 噪声熵速率 七、连续有噪信道的信道容量 信道容量C（最大熵速率） 设发送信号平均功率为P，信道中噪声平均功率 为N，则接收信号平均功率为P+N。 在平均功率受限的前提下，信宿端Y为高斯分布 （即信源为高斯分布）时， 取得最大值: 而噪声熵速率： 信道容量：（山农公式） 平均功率受限的高斯白噪声连续信道，其信道 容量与信道带宽、功率信噪比有关。其值越大 ，信道容量越大。 平均功率受限的高斯白噪声连续信道，只有在 输入信号幅度为高斯分布时，传信率才能达到 理论最大值，即信道容量。 平均功率受限的高斯白噪声连续信道，高斯白 噪声的危害最大，因其具有最大噪声熵速率