熵速率和信道容量

1、2.7熵速率和信道容量信源熵速率信源在单位时间内输出的熵称为信源的熵速率，也叫信息速率或传信率。1.离散信源的熵速率2.连续信源的熵速率如果信源输出信号的带宽有限，最大为W，则根据采样定理，为了采样后不丢失任何信息，其采样率应至少为2W，因此连续信源的熵速率应为:信道容量的概念信道容量是信道对信源一切可能的概率分布而言能够传送的最大熵速率，其单位为比特/秒等。1.离散信道的信道容量离散信源如果有n个符号，符号间无相关性且等概率分布，则其输出熵最大：如果离散信道每秒最多能传送个信源符号，则最大熵速率为：把信道可能传送的最大熵速率定义为信道容量. 应该注意以下几个问题：(1) 信道容量是信道可能传

2、送的最大熵速率，实际传信率可能大大低于信道容量，即可能的最大熵速率，造成信道容量不能充分利用。其原因是因为信源符号间有相关性及符号并非等概分布。解决的办法是对原始信源符号进行编码，即改造信源，使得信源和信道相匹配，这就是信源最佳编码或称为（与信道）匹配编码。(2) 信道容量（单位为比特/秒等）与信道单位时间内最多可传输的符号数（例如二进符号0、1）有关系，但这是两个不同意义的物理量。其单位前者为比特/秒，后者为符号/秒。(3) 如果发现传信率不能满足要求，应先看信源有无可能改造得更好，以充分利用现有的信道容量。只有在要求的传信率已高于现有信道的容量时，才考虑更换更大容量的信道。因为一般改造信道

3、要比改造信源的代价大得多（指长距离信道），或占用更多的资源。2.连续信源的信道容量前面已经讨论过，对于带宽为平均功率受限的连续信源当其幅度为高斯分布时，其熵最大：根据采样定理每秒的采样数至少应为，于是信道传送的最大熵速率也即信道容量为：离散有噪声信道中的熵速率和信道容量前面已经讨论过信源发送一个消息，信宿接收到消息所获得的信息量或所接收的熵，由下式表示：发送某一个消息，接收某一个消息的情况，不能反映全部消息的情况。如果对全部发送的消息进行统计平均，就可以得到接收某一个yj所获得的关于的信息量：在信宿端接收到所有的情况下来计算收到一个消息的平均信息量，还应对全部接收消息p(yj)进行统计平均：例

4、2.7.1 仍以例2.1.5例2.2.1为例，如果该信源以平均1000消息/秒的速率发送信息，利用例2.1.5例2.2.1的结果计算信源熵速率和信宿接收的熵速率。可疑度的物理解释山农用一个理想化的通信系统，对可疑度的物理意义作了解释，他认为是为了克服信道中噪声干扰，使信宿能无差错地加以识别信源所发出的信息，而必须额外提供的纠正信息。 现在假设信源是一个二元等概离散信源。输出有两个符号0和1，而信道是对称信道，即如发生错误，则发0错为1和发1错为0的概率相同。如发现收发端消息是一样的，说明传送无误，于是理想观察者对校正装置发0，不进行校正，但如果发现收发端消息不一样，就说明传送有错误（由于信道中

5、噪声干扰），于是理想观察者就向校正装置发1，令其纠错。疑义度确是为了克服信道中的噪声干扰，使信宿能正确获得信源所发出的信息，而必须额外提供的纠正信息。理想观察者发0（不纠错）发1（纠错）两个消息，这两个消息也可以组成一个概率空间，就象一个离散信源，于是理想观察者提供的信息可按下述方法求得：p观察者(0)=1-pp观察者(1)=p若传送无错误，则理想观察者向校正装置为0。例2.7.2有一个二元信源，输出0和1两种符号：。每秒信源发出10000个符号，信号通过有噪声对称信道，其差错率为1%，求信宿收到的信息速率。连续有噪信道的熵速率研究一种最常用和重要的信道，称为高斯白噪声加性波形信道。其输入和输

6、出信号是随机过程和，信道的噪声是加性高斯白噪声，所谓加性，即下式成立： y(t)=x(t)+n(t) (2.7.1)连续信源的最大熵是与限定条件有关的，而没有绝对的最大熵。这里设输入信号的平均功率受限为，信道的通带是宽度为的矩形，信道中的干扰噪声平均功率为，信源与噪声的共熵为：H(X,n)=H(X)+H(n/X) (2.7.2)现在来看信宿端接收信号的概率分布。由于是加性干扰，则根据式（）接收的消息是发送消息与噪声之和，所以对于任何给定的X,Y的分布规律与n是一样的，即Y 的概率分布也是高斯分布，即：p(y/x)=p(n/x)连续有噪信道的信道容量如果固定信道，并设法使传信率最大化，则此时的最

7、大熵速率就定义为信道容量，即： (2.7.3)现在的问题是信源或信宿端的幅度概率分布应为何种分布，才能使式（）达最大值。现在来计算信道容量，设发送信号平均功率为P，信道中噪声平均功率为N，由于是加性干扰，所以接受信号的平均功率为P+N。前面已经知道固定，信道容量C就等于的最大化，在平均功率受限的前提下，接收信号Y为高斯分布时，H(Y)有最大值，由于高斯白噪声n是高斯分布，故由Y和N合成的输入信号也一定是高斯分布，所以在信源X为高斯分布或信宿端的Y为高斯分布时，H(Y)取得最大值。如果信道带宽如前所述为W，则采样率为2W，可以计算的最大值： (2.7.5) (2.7.6)式（）和（）就是有名的山农公式，是信息论中最重要的公式，根据山农公式可以得出重要的结论：1平均功率受限的高斯白噪声连续信道，其信道容量与信道带宽以及功率噪声比有关，其值越大，信道容量越大。2平均功率受限的高斯白噪声连续信道，只有在输入信号幅度为高斯分布时，传信率才能达到理论最大值，即等于信道