信息论与编码（第4版）课件 第3章-信道与信道容量

第3章信道与

信道容量信息论与编码（第4版）主要内容2主要内容3.1信道的基本概念3.2离散单个符号信道及其容量3.3离散序列信道及其容量3.4连续信道及其容量3.5多输入多输出信道及其容量3.6信源与信道匹配3信道的定义信道：信息传输的媒介或通道信道的主要问题信道的建模：其统计特性的描述信道传输信息的能力及其计算有噪信道中能不能实现可靠传输？怎么实现？XY信道干扰信道物理模型

输入消息X输出消息Y干扰3.1信道的基本概念4

信道的数学模型

3.1信道的基本概念信道输入信道输出条件概率p(Y|X)来描述信道输入、输出信号之间统计的依赖关系。P(Y|X)XY简化表示XY信道干扰不同的信道，p(Y|X)不同51、根据信道用户的多少单用户信道---输入、输出均只有一个多用户信道---输入、输出有多个2、根据输入输出信号的特点离散信道---输入、输出随机变量均离散取值连续信道---输入、输出随机变量均连续取值半离散(连续)信道---一为离散，另一为连续3、根据输入、输出随机变量的个数单符号信道---输入、输出均用随机变量表示多符号信道---输入、输出用随机矢量表示

信道的分类

3.1信道的基本概念64、根据信道上有无噪声(干扰)：有噪(扰)信道无噪(扰)信道5、根据信道有无记忆特性无记忆信道---输出仅与当前输入有关，与先前输入无关有记忆信道---输出与当前及先前输入都有关6、根据信道的参数与时间的关系固定参数信道时变参数信道7、根据信道中所受噪声的种类随机差错信道突发差错信道

信道的分类

3.1信道的基本概念7

信道的数学模型

3.1信道的基本概念P(Y|X)XY根据信道是否存在干扰以及有无记忆，介绍3大类离散信道无干扰（无噪声）信道有干扰无记忆信道有干扰有记忆信道8信道的数学模型

3.1信道的基本概念离散信道的数学模型设离散信道的输入空间为输出空间为概率分布为概率分布为并有条件概率条件概率被称为信道的传递概率或转移概率。

X

Y9

信道的数学模型

3.1信道的基本概念离散信道的数学模型将所有转移概率以矩阵方式列出，得：其中该矩阵完全描述了信道在干扰作用下的统计特性，称为信道矩阵(n行m列)。10

信道的数学模型

3.1信道的基本概念离散信道的数学模型反信道矩阵（m行n列）其中11

信道的数学模型

3.1信道的基本概念离散信道的数学模型（1）联合概率（2）输出符号的概率（3）后验概率表明输出端收到任一符号，必定是输入端某一符号输入所致前向概率:描述信道的噪声特性后向概率（后验概率）输入符号的概率（先验概率）123.1信道的基本概念

信道容量的定义

信道容量定义为平均互信息的最大值：因为，平均互信息I(X;Y)：是信源分布p(x)的上凸函数，

是信道传递概率p(y|x)的下凸函数。

对于一个固定的信道，总存在一种信源，能使传输每个符号平均获得的信息量I(X;Y)最大。是信道的特征参数，反应信道的最大的信息传输能力只与信道统计特性p(y|x)有关，与信源的分布p(x)无关133.1信道的基本概念

信道容量的定义

信道容量定义为平均互信息的最大值：含义：给定信道时，确定理论上能传输的最大信息量，表征信道传送信息的最大能力。信道容量是信道本身的特性，与信源无关并非所有信源在传输符号时都能使信道达到最大传输速率，达到最大传输速率的信源概率分布为最佳输入分布14信道容量的定义

3.1信道的基本概念信息传输速率Rt:

单位时间内平均传输的信息量信息传输率R:

信道中平均每个符号所能传送的信息量。由于平均互信息I(X;Y)的含义是接收到符号Y后，平均每个符号获得的关于X的信息量，因此信道信息传输率就是平均互信息。最大信息传输速率Ct:

单位时间内平均传输的最大信息量平均传送一个符号所需的时间15无干扰离散信道

3.2离散单个符号信道及其容量

无噪无损信道：一对一（n=m）信道矩阵：单位阵损失熵

H(X|Y)=0 噪声熵

H(Y|X)=0平均互信息

I(X;Y)=H(X)-H(X|Y) =H(Y)-H(Y|X) =H(X) （H(X)=H(Y))a1a2a3

anb1b2b3

bn………输出Y和输入X有确定关系（广义）X等概分布16无干扰离散信道

3.2离散单个符号信道及其容量有噪无损信道：一对多（n＜m）输出Y和输入X有确定关系（广义）具有扩展性（弥散）的无噪信道信道矩阵：每列只有一个非0元素，不全是0、1损失熵

H(X|Y)=0 噪声熵

H(Y|X)>0平均互信息

I(X;Y)=H(X)-H(X|Y) =H(Y)-H(Y|X) =H(X)（

H(X)＜H(Y)）

X等概分布a1a2a3b1b2b3b4b517无干扰离散信道

3.2离散单个符号信道及其容量无噪有损信道：多对一（n>m）输出Y和输入X有确定关系（广义）具有归并性的无噪信道信道矩阵：每行只有一个元素“1”，其它全是0损失熵

H(X|Y)>0 噪声熵

H(Y|X)=0平均互信息

I(X;Y)=H(X)-H(X|Y) =H(Y)-H(Y|X) =H(Y)

(H(X)>H(Y))b1b2b3a1a2a3a4a5例:设离散无噪有损信道的转移概率矩阵为

若传输一个符号需要t秒钟，试计算该信道在单位时间内的最大信息传输速率。解：由信道矩阵得知，信源符号数3个，信宿符号数2个，信道为无噪有损信道，

信道容量: C=log2=1bit/信道符号

最大信息传输速率：3.2离散单个符号信道及其容量无干扰离散信道

输出Y和输入X有确定关系（广义）

无噪无损信道：一对一（n=m）有噪无损信道：一对多（n＜m）无噪有损信道：多对一（n>m）3.2离散单个符号信道及其容量无干扰离散信道

输出Y和输入X有确定关系（广义）203.2离散单个符号信道及其容量对称DMC信道

离散输入对称信道如果一个离散无记忆信道的信道矩阵中，每一行都是其他行的同一组元素的不同排列，则称此类信道为离散输入对称信道。

离散输出对称信道如果一个离散无记忆信道的信道矩阵中，每一列都是其他列的同一组元素的不同排列，则称此类信道为离散输出对称信道。213.2离散单个符号信道及其容量对称DMC信道

离散对称信道如果一个离散无记忆信道的信道矩阵中，每一行都是其他行的同一组元素的不同排列，并且每一列都是其他列的同一组元素的不同排列，则称此类信道为离散对称信道。离散对称信道非离散对称信道223.2离散单个符号信道及其容量对称DMC信道的信道容量

由于对称信道的特点：输入等概率

输出等概率m为信道输出符号集中符号数目233.2离散单个符号信道及其容量对称DMC信道的信道容量

X的最佳概率分布为{0.5,0.5}.例：已知对称DMC的信道矩阵，求信道容量与最佳输入概率分布243.2离散单个符号信道及其容量强对称信道（均匀信道）的信道容量信道输入符号和输出符号的个数相同，都为n，且正确传输概率为1－

，错误概率

被对称地均分给n-1个输出符号253.2离散单个符号信道及其容量二元对称信道的信道容量(BSC:binarysymmetricchannel)

信道容量：信道矩阵：q=1/2时，从输出得不到关于输入的信息，互信息为0,即信道容量是零q=0时的信道容量是1bit/符号对于1/2＜q≤l的情况，可在BSC的输出端颠倒0和1，导致信道容量以q=1/2点为中心对称00.51pH(p)qq10YXC=1+q

logq+(1q)

log(1q)

=1H(q)263.2离散单个符号信道及其容量二元对称信道的信道容量(BSC:binarysymmetricchannel)

串联信道的信道容量设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量2级串联CX,Y=1-H(

) CX,Z=1-H[2

(1-

)]m为串联级数，串联级数越多，信道容量越小，当串接信道级数无限大时，信道容量趋于0。2级串联…N级串联273.2离散单个符号信道及其容量准对称DMC信道的信道容量

信道矩阵P的列可以划分成几个子集，每个子集组成的矩阵都是对称信道矩阵的。信道矩阵的输入对称，输出不对称列拆分对称信道对称信道对称信道28对于准对称DMC信道，信道矩阵中列不对称，因此输入符号等概分布时，输出符号不一定是等概分布，故3.2离散单个符号信道及其容量准对称DMC信道的信道容量

方法一：参数法，例3-5方法二：列拆分法，例3-6293.2离散单个符号信道及其容量准对称DMC信道的信道容量

方法一：参数法，例3-5信道的输入符号有两个，设p(a1)＝

，p(a2)＝1－。信道的输出符号有三个，用b1、b2、b3表示。30即输入符号分布等概率时，I(X;Y)

达到极大值。所以信道容量为:此时输出符号的概率为:p(b1)=p(b2)＝0.4，p(b3)=0.23.2离散单个符号信道及其容量准对称DMC信道的信道容量

方法一：参数法，例3-5313.2离散单个符号信道及其容量准对称DMC信道的信道容量

方法二：列拆分法将准对称信道的信道矩阵列拆分为r个对称子矩阵。当输入符号为等概分布时，互信息量在集合上的统计平均值为：323.2离散单个符号信道及其容量准对称DMC信道的信道容量

n为输入符号集个数q1，q2，…qm是转移概率矩阵P中的一行元素，Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，

r是互不相交的子集个数方法二：列拆分法将准对称信道的信道矩阵列拆分为r个对称子矩阵。当输入符号为等概分布时，互信息达到最大值，信道容量为：333.2离散单个符号信道及其容量准对称DMC信道的信道容量

方法二：列拆分法，例3-6→列拆分对称信道对称信道求该信道的信道容量。34一般DMC信道的信道容量Blahut-Arimoto算法：一般离散信道的平均互信息I(X;Y)达到极大值(即等于信道容量)的充要条件是输入概率分布{p(ai)}满足：I(ai;Y)=C

，对于所有满足p(ai)>0条件的iI(ai;Y)

C，对于所有满足p(ai)=0条件的i上式说明：当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外。3.2离散单个符号信道及其容量一般情况下，最佳分布不一定是唯一的，只须满足结论（3-2-8），并使互信息最大即可。参考例3-835离散序列信道一般无记忆离散序列信道的数学模型基本上与输入和输出为单符号的简单离散无记忆信道的模型相同不同的是其输入和输出不是单个随机变量X和Y，而是随机序列和3.3离散序列信道及其容量信道

p(Y|X)

Y

X

X=(X1，X2，…，XL)Xl

{a1,a2,…,an}Y=(Y1，Y2，…，YL)Yl

{b1,b2,…,bm}36离散无记忆序列信道3.3离散序列信道及其容量若信道是平稳的

L是序列长度

平均互信息信道无记忆

37离散无记忆序列信道3.3离散序列信道及其容量

如果信道无记忆如果信源无记忆，即输入矢量X中的各个分量相互独立当信源、信道均无记忆时当信道平稳时：CL=LC1；一般情况下：I(X;Y)

LC1两个性质38离散无记忆序列信道3.3离散序列信道及其容量两种典型的无记忆离散序列信道离散无记忆L次扩展信道如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道0010110100011011X

{00,01,10,11}，Y

{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00|00)=p(0|0)p(0|0)=(1-p)2，p(01|00)=p(0|0)p(1|0)=p(1-p)，p(10|00)=p(1|0)p(0|0)=p(1-p)，p(11|00)=p(1|0)p(1|0)=p2例：BSC的二次扩展信道39离散无记忆序列信道3.3离散序列信道及其容量两种典型的无记忆离散序列信道1.离散无记忆L次扩展信道若p＝0.1，则C2＝2－0.938＝1.062bit/序列

0010110100011011例：BSC的二次扩展信道40离散无记忆序列信道3.3离散序列信道及其容量两种典型的无记忆离散序列信道2.独立并联信道

将L个相互独立的信道进行并联，每个信道的输出Yl只与本信道的输入Xl有关，此时序列的转移概率p(Y1,Y2,…,YL|X1,X2,…,XL)=p(Y1|X1)p(Y2|X2)…p(YL|XL)

XL

YLX=X1X2…Xk….XLY=Y1Y2…Yk….YL

p(Y1|X1)p(Y2|X2)p(YL|X1)X1Y1X2Y241离散无记忆序列信道3.3离散序列信道及其容量两种典型的无记忆离散序列信道2.独立并联信道

相当于无记忆扩展信道只有当输入相互独立时取等号。独立并联信道的容量：42连续单符号加性信道3.4连续信道及其容量噪声n是均值为零、方差为

2的加性高斯噪声

p(y|x)x(x

R)

y(y

R)pn(n)＝N(0,

2)

ny=x+n平均互信息：I(X;Y)＝Hc(Y)－Hc(Y|X)信道容量:y=x+n，但n与x相互独立高斯噪声熵

限平均功率最大熵定理，正态分布时具有最大熵y=x+n，pn(n)＝N(0,

2)，

当

pY(y)＝N(0,Po),HC(Y)值最大，pX(x)＝N(0,Ps)Po=Ps+

2平均功率43

很多实际系统中的噪声并不是高斯型的，但若是加性噪声，可以求出信道容量的上下界。

对于均值为零，平均功率为

2非高斯加性噪声信道，其容量上下界为：连续单符号加性信道3.4连续信道及其容量噪声熵输出信号（Y）的功率P0=Ps+

2输入信号（X）的功率拓展：当考虑信道衰落时，

y=Hx+n，H为衰落系数则输出端的功率为：

P0

=|H|2PS+

2则C＝1/2log(1+|H|2

SNR)44多维无记忆加性连续信道3.4连续信道及其容量信道输入随机序列X＝(X1,X2,…,XL)输出随机序列Y＝(Y1,Y2,…,YL)加性信道有y=x+n，其中n=(n1,n2,…,nL)

是均值为零的高斯噪声

45多维无记忆加性连续信道3.4连续信道及其容量

连续单符号多维无记忆高斯加性信道可等价成L个独立的并联高斯加性信道。比特/L维自由度

因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Psl的高斯变量时，才能达到此信道容量。

46限时限频限功率加性高斯白噪声信道3.4连续信道及其容量波形信道的平均互信息:

波形信道信道容量为:

限时限频(W)高斯白噪声过程可分解L＝2WtB维统计独立的随机序列其中：47限时限频限功率加性高斯白噪声信道3.4连续信道及其容量信道的容量：

单位时间的信道容量：香农公式香农公式是加性高斯白噪声波形信道的信道容量，对于非高斯波形信道，由香农公式得到的是其信道容量的下限值。48Ct

＝Wlog(1+SNR)bit/秒香农公式3.4连续信道及其容量讨论：带宽W一定时，信噪比SNR与信道容量Ct

成对数关系，SNR增大，Ct

就增大，但增大到一定程度后就趋于缓慢。增加输入信号功率有助于容量的增大，但该方法是有限的；降低噪声功率也是有用的，当时，，即无噪声信道的容量为无穷大。SNR(dB)49Ct

＝Wlog(1+SNR)bit/秒香农公式3.4连续信道及其容量讨论：当输入信号功率PS一定，增加信道带宽W，可以增加容量C,但到一定阶段后增加趋于缓慢。

PS/N0＝ln2＝-1.6dB，即当带宽不受限制时，传送1比特信息()，信噪比最低只需-1.6dB（香农限）

－1.6dB（香农限）是AWGN信道信息传输速率的极限值，是一切编码方式所能达到的理论极限。50Ct

＝Wlog(1+SNR)bit/秒香农公式3.4连续信道及其容量讨论：当输入信号功率PS一定，增加信道带宽W，可以增加容量C,但到一定阶段后增加趋于缓慢。

PS/N0＝ln2＝-1.6dB，即当带宽不受限制时，传送1比特信息()，信噪比最低只需-1.6dB（香农限）

即使带宽无限，信道容量仍是有限，还与信噪比有关，比例系数为1.443。实际上，要获得可靠的通信，信噪比往往都比香农限大得多，大概20~30dB51Ct

＝Wlog(1+SNR)bit/秒香农公式3.4连续信道及其容量讨论：频带利用率：Ct/W＝log(1+SNR)比特/秒/Hz即：单位频带的信息传输速率，该值越大，信道利用得越充分。Ct一定时，W增大，SNR可降低，即两者是可以互换的。若有较大的传输带宽，则在保持信号功率不变的情况下，可容许较大的噪声，即系统的抗噪声能力提高。无线通信中的扩频系统利用这个原理，将传送的信号扩频，使之远远大于原始信号带宽，增强了抗干扰能力。当信噪比≤-1.6dB时Ct/W→0，信道丧失通信能力52Ct

＝Wlog(1+SNR)bit/秒香农公式3.4连续信道及其容量例：电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR＝100，求信道的容量。53多输入多输出（MIMO）信道3.5多输入多输出信道及其容量每个信道输出都与M个信道输入有关利用多天线提高有效的发射分集和接收分集对抗无线信道衰落提高系统的频谱利用率和信道容量