信息论与编码技术(Matlab实现)课件ch3

第3章信道与信道容量

3.1互信息3.2离散信道的数学模型与分类3.3信道容量及其一般计算方法3.4连续信道和波形信道的信道容量3.5信源与信道的匹配

3.1互信息

3.1.1互信息量3.1.2平均互信息量与平均条件互信息量3.1.3平均互信息的特性3.1.4平均互信息凸性的MATLAB分析3.1.1互信息量互信息(量)定义收信者所获取的信息量，在数量上等于通信前后不确定性的消除(减少)的量。

信源发某一符号xi，在接收端，对是否选择这个消息（符号）的不确定性大小等于该消息（符号）的自信息量：收端收到消息（符号）yj后，发送端发送的符号是否是xi尚存在的不确定性应是后验概率的函数，即先验概率后验概率3.1.1互信息量收信者收到消息（符号）yj后，已经消除的不确定性为：先验的不确定性减去尚存在的不确定性。这就是收信者获得的信息量，定义为互信息量：

由此得互信息量：以上为香农关于信息的定义度量。互信息的引出，使信息得到了定量的表示，是信息论发展的一个重要的里程碑。3.1.1互信息量3.1.1互信息量

从接收端看从发送端看从收发两端看互信息量的其它定义为了从整体上表示从一个随机变量Y所给出关于另一个随机变量X的信息量，我们定义互信息在的联合概率空间中的统计平均值为随机变量X和Y间的平均互信息：平均互信息量定义3.1.2平均互信息量与平均条件互信息量

3.1.2平均互信息量与平均条件互信息量

平均互信息量定义推论：从接收端看从发送端看从收发两端看3.1.2平均互信息量与平均条件互信息量

平均互信息量其它定义信道疑义度

条件熵H(X/Y)—信道上的干扰和噪声所造成的对信源符号的平均不确定度．噪声熵或散布度

条件熵H(Y/X)—可看作唯一地确定信道噪声所需要的平均信息量．3.1.2平均互信息量与平均条件互信息量

全损离散信道

X与Y是相互独立的，无法从Y中去提取关于X的信息，即3.1.2平均互信息量与平均条件互信息量

无扰离散信道

Y是X的确定的一一对应函数，——已知Y就完全解除了关于X的不确定度，所获得的信息就是X的不确定度或熵。疑义度:H(X/Y)=0噪声熵:H(Y/X)=0在一般情况下，X和Y既非相互独立，也不是一一对应，那么从Y获得X的信息必在零与H(X)之间，即常小于X的熵。3.1.2平均互信息量与平均条件互信息量

1.非负性

平均互信息是非负的，说明给定随机变量Y后，一般来说总能消除一部分关于X的不确定性。

2.极值性极值性说明从一个事件提取关于另一个事件的信息量，至多只能是另一个事件的平均自信息量那么多，不会超过另一事件本身所含的信息量。3.1.3平均互信息的特性4.凸性

定理1当条件概率分布给定时，平均互信息是输入分布的上凸函数。

定理2

对于固定的输入分布，平均互信息量是条件概率分布的下凸函数。

3.交互性（对称性）对称性表示Y从X中获得关于的信息量等于X从Y中获得关于的信息量。3.1.3平均互信息的特性二元信道的平均互信息随信源概率和信道转移概率的变化如图3.1.3.3.1.4平均互信息凸性的MATLAB分析(a)互信息随信道转移概率的变化(b)互信息随信源输入概率的变化图3.1.3二进制信道的平均互信息3.2离散信道的数学模型与分类3.2.1信道的分类3.2.2信道的数学模型

通信系统简化模型图3.2.1通信系统简化模型

3.2离散信道的数学模型与分类

关于信道的主要问题有：信道的建模（信道的统计特性的描述）信道容量的计算在有噪信道中能不能实现可靠传输？怎样实现可靠传输？

3.2离散信道的数学模型与分类

信道是指信息传输的通道，包括空间传输和时间传输。空间传输信道时间传输信道信息经过的通道

广义信道实际通信中所利用的各种物理通道将信息保存，在以后读取，如磁带、光盘等在时间上将信息进行传输的信道。特征：一个输入以及一个与输入有关的输出。3.2.1信道的分类按其输入/输出信号在幅度和时间上的取值是离散或连续来划分幅度时间信道名称离散离散离散信道（数字信道）连续离散连续信道连续连续模拟信道（波形信道）离散连续（理论和实用价值均很小）3.2.1信道的分类按其输入/输出信号在幅度和时间上的取值是离散或连续分为离散信道、连续信道和波形信道。按其输入/输出信号之间关系的记忆特性分为有记忆信道和无记忆信道。按输入/输出信号之间的关系是否确定分为有噪声信道和无噪声信道。

3.2.1信道的分类根据信道输入和输出的个数可分为

两端信道（单用户信道）：一个输入端,一个输出端,单向通信。多端信道（多用户信道）：双向通信或三个或更多个用户之

间相互通信的情况。根据信道的统计特性是否随时间变化分为：恒参信道（平稳信道）：信道的统计特性不随时间变化。

如卫星通信信道随参信道（非平稳信道）：信道的统计特性随时间变化。

如短波通信信道。

3.2.1信道的分类信息论不研究信号在信道中传输的物理过程，它假定信道的传输特性是已知的，这样信道就可以用图3.2.2所示的抽象的数学模型来描述。

图3.2.2信道数学模型3.2.2信道的数学模型信道输入随机变量X输出随机变量Y输入已知的情况下，输出的条件概率分布P(Y/X)

二进制离散信道二进制对称信道（BSC信道):对称的二进制输入、二进制输出信道。

3.2.2信道的数学模型条件概率对称二进制离散信道

信道转移概率矩阵3.2.2信道的数学模型离散无记忆信道(DMC)其中3.2.2信道的数学模型离散输入、连续输出信道由离散输入X、连续输出Y以及一组条件概率密度函数p(Y/X=ai),i=0,1,…,n-1来决定。式中G是一个均值为零，方差为的高斯随机变量。当给定后，Y是一个均值为ai，方差为的高斯随机变量，即其概率密度函数为

高斯白噪声信道

3.2.2信道的数学模型波形信道——模拟信道其输入是模拟波形，其输出也是模拟波形。y(t)＝x(t)+n(t)

3.2.2信道的数学模型3.3信道容量及其一般计算方法

3.3.1特殊离散信道的信道容量 3.3.2对称离散信道的信道容量 3.3.3一般离散信道的信道容量 3.3.4N次离散扩展信道的平均互信息与信道容量 773.3.5并联信道的平均互信息与信道容量 3.3.6串联信道的平均互信息与信道容量 3.3.7对称离散信道的信道容量MATLAB分析 3.3.8离散无记忆信道的信道容量MATLAB分析预习——平均互信息

I(X;Y)

——平均意义上每传送一个符号流经信道的信息量信道的信息传输率信道的信息传输速率——信道在单位时间内平均传输的信息量

bit/符号bit/秒3.3信道容量及其一般计算方法

平均互信息的凸性：给定转移概率矩阵P(Y/X)后，平均互信息I(X;Y)是概率矢量p(x)的上凸函数。对于固定的信道，总存在一种信源（某种输入概率分布），使信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量，而相应的输入概率分布称为最佳输入分布.3.3信道容量及其一般计算方法

平均互信息的凸性：给定转移概率矩阵P(Y/X)后，平均互信息I(X;Y)是概率矢量p(x)的上凸函数。对于固定的信道，总存在一种信源（某种输入概率分布），使信道平均传输一个符号接收端获得的信息量最大，也就是说对于每个固定信道都有一个最大的信息传输率，这个最大的信息传输率即为信道容量，而相应的输入概率分布称为最佳输入分布.3.3信道容量及其一般计算方法

信道容量是平均互信息对于输入概率分布的最大值：

单位依所用的对数底不同.常用比特/符号。

信道容量是信道传送信息的最大能力的度量，信道实际传送的信息量必然不大于信道容量。

信道容量的定义3.3信道容量及其一般计算方法

离散信道容量这里存在两个问题，（1）I(X;Y)的最大值是否存在？（2）如果最大值存在，怎样才能找到它？3.3信道容量及其一般计算方法

n=m,无噪无损信道n>m,无噪有损信道n<m,有噪有损信道3.3.1特殊离散信道的信道容量n=m,无噪无损信道

Y与X一一对应，信道转移概率矩阵P(Y/X)为单位矩阵；H(Y/X)=0;I(X;Y)=H(X)=H(Y);C=logm=logn.x1x2y1y23.3.1特殊离散信道的信道容量n>m，无噪有损(确定)信道信道噪声熵为0，而信道疑义度不为0，从而C=max{I(X;Y)}a=max{H(Y)-H(Y/X)}=max{H(Y)}=logm3.3.1特殊离散信道的信道容量n<m,有噪无损信道此时信道疑义度为0，而信道噪声熵不为0，从而

C=max{I(X;Y)}=max{H(X)-H(X/Y)}=max{H(X)}=logn3.3.1特殊离散信道的信道容量3.3.2

对称离散信道的信道容量离散信道中有一类特殊的信道，其特点是信道矩阵具有对称性，利用这个对称性我们可以简化信道容量的计算。定义1

若信道矩阵中，每行都是第一行元素的不同排列，则称此类信道为行对称信道。

定义2

若信道矩阵中，不仅每行都是第一行元素的不同排列，而且每列都是第一列元素的不同排列，这类信道称为对称信道。定义3

若信道矩阵中，每行都是第一行元素的不同排列，每列并不都是第一列元素的不同排列，但是可以按照信道矩阵的列将信道矩阵划分成若干对称的子矩阵，则称这类信道为准对称信道。

可划分为：

3.3.2

对称离散信道的信道容量定义4

若对称信道中输入符号和输出符号个数相同，且信道中总的错误概率为p，对称地平均分配给r-1个输出符号，r为输入输出符号的个数，即信道矩阵为

则称此信道为强对称信道或均匀信道。

3.3.2

对称离散信道的信道容量①对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有

H(Y/X)=H(Y/xi)i=0,1,…,n-1。②当信道输入符号等概分布时，信道输出符号也等概分布；反之，若信道输出符号等概分布，信道输入符号必定也是等概分布。3.3.2

对称离散信道的信道容量③当信道输入符号等概分布时，对称DMC信道达到其信道容量，为3.3.2对称离散信道的信道容量

证明结论1，3H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与行数xi无关的一个常数，即3.3.2对称离散信道的信道容量证明结论23.3.2对称离散信道的信道容量举例

对称DMC信道3.3.2对称离散信道的信道容量举例

对于二元对称信道或3.3.2对称离散信道的信道容量BSC信道是DMC对称信道的特例

p=0时，C=1比特/符号；

p=1/2时，C=0。从输出得不到关于输入的任何信息。举例

强对称信道3.3.2对称离散信道的信道容量其中n是输入符号集的个数，pi1,,pi2,…pim为矩阵中的行元素，Nk是第k各矩阵中的行元素只和，Mk是第k个矩阵的列元素之和。举例

准对称信道3.3.2对称离散信道的信道容量可分成：举例

准对称信道3.3.2对称离散信道的信道容量3.3.3一般离散信道的信道容量举例已知一个信道的信道转移矩阵为求该信道的容量。解：由p可看出信道的输入符号有两个,可设p(x1)＝α,p(x2)＝1-α。信道的输出符号有三个，用y1，y2，y3表示。由p(xiyj)＝p(xi)p(yj/xi)得联合概率的矩阵为

由得

p(y1)=0.5α+0.3(1-α)=0.3+0.2α

p(y2)=0.3α+0.5(1-α)=0.5-0.2α

p(y3)=0.2α+0.2(1-α)=0.2由

I(X;Y)=H(Y)-H(Y/X)解得α＝1/2，即输入符号分布等概率时，I(X;Y)达到极大值。所以信道容量为

C=maxI(X;Y)=I(X;Y)|α＝1/2=0.036比特/符号此时输出符号的概率为

p(y1)＝p(y2)＝0.4，p(y3)＝0.2。输入符号的概率为

p(x1)＝p(x2)＝0.53.3.3一般离散信道的信道容量

平均互信息是输入概率分布p(x)的上凸函数，因此极大值必定存在。在信道固定的条件下，平均互信息是r个变量的多元函数，且满足约束条件，故可用拉格朗日乘子法来求这个条件极值。即在

设辅助函数：，当时求得的

的值即为信道容量。

通过计算可得平均互信息的极大值，即的条件下求的极值。3.3.3一般离散信道的信道容量

这样得到的信道容量有一个参数。在某些情况下可以消去得到信道容量值。当输入概率分布只有一个变量时，例如r=2，可以设输入概率分布为和，因此输入概率分布只有一个变量，这时我们可以直接对求导求出，从而得出的极大值C。对于信道矩阵为可逆矩阵的信道，我们可以采用解方程组的方法。在一般信道的信道容量的推导中我们推出了下式：

3.3.3一般离散信道的信道容量移项得令则当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。这时就可以求出，然后根据求出信道容量：所以3.3.3一般离散信道的信道容量由和C就可以求得输出概率分布再根据，列方程组求计算步骤总结如下：（1）由列方程组求出；

（2）由求出C；

（3）由

求出；

（4）由

列方程组求。

3.3.3一般离散信道的信道容量3.3.4N次离散扩展信道的平均互信息

与信道容量输入符号集：输出符号集：信道转移概率：式中3.3.4N次离散扩展信道的平均互信息

与信道容量N次离散扩展信道的信道转移概率矩阵为其中3.3.4N次离散扩展信道的平均互信息

与信道容量例3.3.12二进制无记忆对称信道矩阵为求该信道的二次扩展信道矩阵及其信道容量解：二次扩展信道的输入符号集输出符号集

3.3.4N次离散扩展信道的平均互信息

与信道容量例3.3.12二进制无记忆对称信道矩阵为求该信道的二次扩展信道矩阵及其信道容量解：根据无记忆信道的特性,可得二次扩展信道的转移概率为3.3.4N次离散扩展信道的平均互信息

与信道容量例3.3.12二次扩展信道的转移概率为N次离散扩展信道的平均互信息3.3.4N次离散扩展信道的平均互信息

与信道容量例3.3.12N次离散扩展信道的平均互信息当信道无记忆时，当信源无记忆时，对于无记忆信源和无记忆信道满足平稳性时其信道容量为3.3.5并联信道的平均互信息与信道容量图3.3.9独立并联信道数学模型N个独立并联信道的平均互信息：N个独立并联信道的信道容量当各输入信源相互独立，且各信源符号的概率分布达到各信道容量的最佳输入分布时取等号。3.3.5并联信道的平均互信息与信道容量图3.3.10独立并联BSC信道例3.3.13两个并联的BSC信道如图，求该并联信道的转移概率矩阵及信道容量。：(2)信道为对称DMC信道，其信道容量为

(1)独立并联信道的转移概率：3.3.6串联信道的平均互信息与信道容量图3.3.12串联信道模型串联信道的信道容量定义为3.3.6串联信道的平均互信息与信道容量图3.3.13两个二进制对称信道组成的串联信道例3.3.14两个二进制对称信道组成的串联信道如图，求两信道串联后的信道容量。(2)串联信道为对称DMC信道，其信道容量为

(1)独立并联信道的转移概率：3.4

连续信道和波形信道的信道容量3.4.1单符号高斯加性信道 3.4.2限带高斯白噪声加性波形信道 3.4.3高斯信道的MATLAB建模 3.4.4多径衰落信道的MATLAB建模3.5信源与信道的匹配3.4.1单符号高斯加性信道单符号连续信道定义：输入和输出随机变量都取值于连续集合的信道。信道传递特性：传递特性用条件转移概率密度函数pY/X(y/x)表示。单符号连续信道数学模型：{Xp(y/x)Y}。

连续信道的信道容量连续随机变量之间的平均互信息满足非负性，并可以证明，它是信源概率密度函数p(x)的上凸函数。连续信道的信道容量C：信源X等于某一概率密度函数pX(x)时，信道平均互信息的最大值，即单符号加性连续信道的信道容量加性连续信道：噪声为连续随机变量N，且与X相互统计独立的信道。这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即Y=X+n。如图3.4.1所示。对于加性连续信道，信道的条件概率密度函数等于噪声的概率密度p(y/x)=p(n):这进一步说明信道的传递概率是由于噪声熵所引起的

3.4.1单符号高斯加性信道图3.4.1加性连续信道模型加性连续信道的条件熵等于其噪声熵。说明Hc(Y/X)是由噪声引起的，故称Hc(N)为噪声熵。该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确定性，即噪声信源的熵，所以称它为噪声熵。加性连续信道的信道容量：

3.4.1单符号高斯加性信道加性噪声N和信源X相互统计独立，X的概率密度函数p(x)的变动不会引起噪声熵Hc(N)的改变，所以加性信道的容量C就是选择p(x)，使输出熵Hc(Y)达到最大值，即上式说明：加性连续信道容量取决于噪声N（即信道）统计特性和输入随机变量X所受的限制条件。（对于不同限制条件，连续随机变量具有不同都最大熵值。单符号高斯加性信道的信道容量为平均功率受限的高斯加性信道的信道容量3.4.1单符号高斯加性信道单符号高斯加性信道的信道容量高斯加性连续信道：高斯噪声为N，均值为0，方差为σ2，噪声功率为PN；信道的传递概率密度函数：p(y/x)=p(n)如果把x看成是一个常数a，则上式就变成了随y变化的高斯函数，即当已知X=a时，Y也是一个高斯变量，均值为a，方差为σ2。3.4.1单符号高斯加性信道因此高斯加性信道的容量为平均功率受限的加性信道的信道容量输入概率密度函数p(x)是什么样的函数时，才能使Y呈高斯分布？设限定输入平均功率PX，噪声平均功率PN=σ2，则输出随机变量Y的平均功率PY也是受限的。根据最大连续熵定理，要使Hc(Y)达到最大，Y必须是一个均值为0、方差为σ2Y=PY的高斯随机变量。高斯加性信道中输入X和噪声N相互统计独立，且Y=X+N。由概率论可知：若输入X是均值为0、方差为σ2X=PX的高斯随机变量，即X的概率密度函数为p(x)，则可以证明，输出Y的概率密度函数就等于即当输入随机变量X的概率密度是均值为0、方差σ2X的高斯随机变量；加性信道的噪声N是均值为0、方差为σ2的高斯随机变量时；输出随机变量Y也是一个高斯随机变量，其均值为0、方差为σ2Y=σ2X+σ2=PY。这时输出端的连续熵Hc(Y)达到最大值，即

(PX/PN)称为信道的信噪功率比。3.4.2限带高斯白噪声加性波形信道设信