《信息论与编码基础》课件 13-Shannon公式

§4波形信源与波形信道§4.1连续性信源的熵§4.2Shannon公式波形信道中的平均互信息波形信道中的信道容量Shannon公式及其意义§4.2Shannon公式一、平均互信息波形信道｛x(t)｝｛y(t)｝1.基本公式采样后：Y=X+n,X与n独立信道nXY

2.加性噪声信道的平均互信息一、平均互信息§4.2Shannon公式A.信道特点B.条件熵（噪声熵）一、平均互信息噪声源熵C.平均互信息§4.2Shannon公式二、信道容量§4.2Shannon公式1.定义：

2.平均功率受限的高斯加性信道的信道容量当Y正态分布时，h(Y)最大，有：二、信道容量设噪声为均值为0，方差为σ2高斯白噪声

设信道输出Y的平均功率限于P0最佳输入概率密度：(bit/samp)§4.2Shannon公式二、信道容量§4.2Shannon公式设信号有效带宽为B，采样速率时，采样序列可以携带信源的全部信息量。考虑单位时间传输情况bit/secbit/sec

香农公式：（σ2=N0B

）二、Shannon公式及其意义§4.2Shannon公式（bit/sec）（bit/sec

）香农公式：（σ2=N0B

）香农公式的条件：1.信源平均功率受限为PS；2.噪声为加性高斯白噪声；3.信道带宽受限为B。（带限AWGN信道的容量）

1.建立了连续信道的带宽B，信噪比Ps/

2，信道容量Ct之间的定量关系，这三者之间可以互换。

带宽不变(B不变)，增加信号功率或者提高信噪比，可使Ct增大；信噪比不变，扩展频带宽度B也可增大信道容量Ct；二、Shannon公式及其意义§4.2Shannon公式信道容量（bps/Hz）信噪比（S/N）B=1MHz§3.2信道容量例：音频电话的带宽为B=3kHz，链路的典型信噪比为30dB，则电话信道容量为：如果电话网的信噪比没有改善或不使用压缩方法，Modem将达不到更高速率。综合业务数字网（ISDN）出现后，取消了音频带宽3kHz的限制，使双绞线带宽得到充分利用，传输速率达到144kbps。ADSL技术诞生后，开辟10~130kHz和130~1100kHz两个频带分别用于上下行数据传输，通过增加带宽和采用全新数字调制技术，上行达到1Mbps，下行可高达8Mbps。二、Shannon公式及其意义

1.建立了连续信道的带宽W，信噪比Ps/

2，信道容量Ct之间的定量关系，这三者之间可以互换。

带宽不变(B不变)，增加信号功率或者提高信噪比，可使Ct增大；信噪比不变，扩展频带宽度B也可增大信道容量Ct；

Ct一定时，带宽与信噪比可互换；适用于高斯加性信道，对于非高斯信道可作下限。二、Shannon公式及其意义§4.2Shannon公式2.香农限§4.2Shannon公式二、Shannon公式及其意义带宽无穷大，是不是可以获得无穷大的信道容量？增加带宽可以增加信道容量。信道容量（bps/Hz）带宽PS/N0=107二、Shannon公式及其意义2.香农限§4.2Shannon公式若B趋近于∞，且Rt趋近于C，则带宽增加到无穷大，信噪比可不可以无限小？Ct一定时，带宽与信噪比可互换二、Shannon公式及其意义2.香农限§4.2Shannon公式

在带宽不受限的高斯白噪声信道中，只要每赫兹频带传输一比特信息的信噪比不低于-1.6dB，通过最佳信道编码，就有可能实现无差错的传输！这是高斯信道中传输信息的极限能力，称为香农限！

3.香农限§4.2Shannon公式二、Shannon公式及其意义3.香农限AWGN1)Turbo码：1/2码率，BPSK，65536随机交织，18次迭代，PE=10-5,Eb/N0=0.7dB2)非规则LDPC码：N=107,1/2码率，PE=10-5,Eb/N0=0.0045dB§4.2Shannon公式二、Shannon公式及其意义3.香农限提高信道容量的有效措施信道1X1Y1信道2X2Y2信道NXNYN并用信道的容量：将多个信道并联使用，构成多输入多输出信道，可以有效提高信道容量，这就是MIMO通信的理论基础。即使带宽无穷大，信道容量也是有限值。带宽增大到一定程度后，信道容量不再增加。要增加信道容量需要采取新的措施——如MIMO技术！§4.2Shannon公式二、Shannon公式及其意义3.香农限(6x6)MIMO提高信道容量的有效措施MIMO技术显著提高系统容量如何进行输入信号功率的最佳分配？？MIMO通信原理空时频发射链路空时频接收链路数据入数据出MIMO（Mutiple-InputMultiple-Output）通信是指在收发两端都使用多个天线的通信方式，依靠不同天线对之间的信道的不相关性来分离信息，提高信道容量。§4.2Shannon公式二、Shannon公式及其意义思考：

设模拟信源输出信号的频率在108kHz以内，现对其用最低采样率采样，并对样值进行256级量化，之后进行二进制编码。设基带传输信道的通频带恰好能不失真地传送该编码信号，且设信道干扰为加性白高斯噪声（AWGN），S/N=30dB，求该基带传输系统的信道容量。§4.2Shannon公式

习题：P55页6.9.10.12。§4.2Shannon公式设BSC信道矩阵为（1）若，求及（2）求该信道容量及其最佳输入分布。。§4.2Shannon公式

习题1：P55页T6求用题9图求信道的信道容量及其最佳输入概率分布。

题9图§4.2Shannon公式

习题2：P55页T9有一个BSC，其信道矩阵为设该信道以1500个二元符号／秒的速度传输输入符号，现有一消息序列共有14000个二元符号，并设在这消息中，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完。4.设某一信号的信息率为5.6

k

bit/s，噪声功率谱为N=5*10-6mW/Hz，在带限B=4kHz的高斯信道中传输。求无差错传输需要的最小输入功率P是多少？§4.2Shannon