信息论与编码-第9讲-信道及其容量2

第1页2025/8/193.2.3离散信道容量的一般计算方法(1)如何计算离散信道容量由于I(X;Y)

是输入概率分布p(xi)

的上凸函数，所以极大值一定存在。因为I(X;Y)

是n

个变量{p(x1),p(x2),…,p(xn)}

的多元函数，并满足，所以可用拉各朗日乘子法计算这个条件极值。？对一般离散信道求信道容量，就是在固定信道条件下，对所有可能的输入概率分布p(xi)，求平均互信息的极大值。3.2单符号离散信道的信道容量第2页2025/8/193.2.3离散信道容量的一般计算方法(2)用拉各朗日乘子法求信道容量引进一个新函数

其中λ为拉各朗日乘子，解方程组：

可得一般信道容量C。3.2单符号离散信道的信道容量第3页2025/8/193.2.3离散信道容量的一般计算方法(2)用拉各朗日乘子法求信道容量将I(X;Y)

的表达式代入(3-16)得：3.2单符号离散信道的信道容量第4页2025/8/193.2.3离散信道容量的一般计算方法(2)用拉各朗日乘子法求信道容量整理得：3.2单符号离散信道的信道容量第5页2025/8/193.2.3离散信道容量的一般计算方法(2)用拉各朗日乘子法求信道容量上式左边为平均互信息的极大值，即：3.2单符号离散信道的信道容量第6页2025/8/193.2.3离散信道容量的一般计算方法(2)用拉各朗日乘子法求信道容量3.2单符号离散信道的信道容量第7页2025/8/193.2.3离散信道容量的一般计算方法(3)一般离散信道容量计算步骤一般离散信道容量的计算步骤总结如下：3.2单符号离散信道的信道容量第8页2025/8/193.2.3离散信道容量的一般计算方法(3)一般离散信道容量计算步骤注意：在第②步信道容量C

被求出后，计算并没有结束，必须解出相应的p(xi)

，并确认所有的p(xi)≥0

时，所求的C才存在。在对I(X;Y)

求偏导时，仅限制，并没有限制p(xi)≥0

，所以求出的p(xi)

有可能为负值，此时

C

就不存在，必须对p(xi)

进行调整，再重新求解

C。现在一般采用计算机，运用迭代算法求解。3.2单符号离散信道的信道容量第9页2025/8/193.2.3离散信道容量的一般计算方法(4)举例[例3-3]：有一信道矩阵，求信道容量C。3.2单符号离散信道的信道容量第10页2025/8/193.2.3离散信道容量的一般计算方法(4)举例[例3-3]：因为ε是条件转移概率p(y1/x2)

，所以0≤ε≤1，从而有：p(x1)≥0，

p(x2)≥0

，保证了C的存在。3.2单符号离散信道的信道容量第11页2025/8/193.3多符号离散信道3.3.1多符号离散信道的数学模型3.3.2离散无记忆信道和独立并联信道的信道容量第12页2025/8/193.3.1多符号离散信道的数学模型(1)多符号离散信道定义定义：多符号离散信源X

=X1X2…XN在N个不同时刻分别通过单符号离散信道{X

P(Y/X)Y}，则在输出端出现相应的随机序列Y

=Y1Y2…YN，这样形成一个新的信道称为多符号离散信道。单符号离散信道{X

P(Y/X)Y}的N次扩展：新信道相当于单符号离散信道在N个不同时刻连续运用了N

次。3.3多符号离散信道第13页2025/8/193.3.1多符号离散信道的数学模型(1)多符号离散信道定义[例3-6]：求二元对称信道的二次扩展信道。设输入：X∈{0,1}，输出：Y∈{0,1}二次扩展信道的输入符号集为：

A2={00,01,10,11}输出符号集为：B2={00,01,10,11}根据无记忆信道的特性，求得二次扩展信道的传递概率为：3.3多符号离散信道第14页2025/8/193.3.1多符号离散信道的数学模型(1)多符号离散信道定义[例3-6]：求二元对称信道的二次扩展信道。同理可求得其它传递概率，最后得二次扩展信道的信道矩阵为：二次扩展信道的线图表示：3.3多符号离散信道第15页2025/8/193.3.1多符号离散信道的数学模型(2)多符号离散信道数学模型设信源矢量X

的每一个随机变量Xk(k=1,2,…,N)均取自并取遍于信道的输入符号集{x1,x2,…,xn}，则信源共有nN个不同的元素ai(i=1,2,…,nN)。3.3多符号离散信道第16页2025/8/193.3.1多符号离散信道的数学模型(2)多符号离散信道数学模型该信源通过多符号离散信道{X

P(Y/X)Y}后，相对于每一个ai，信道输出端输出一个相应的、由N个符号组成的输出符号序列bj。3.3多符号离散信道第17页2025/8/193.3.1多符号离散信道的数学模型(2)多符号离散信道数学模型多符号离散信道/单符号离散信道的N次扩展信道数学模型如图所示。它的输入输出关系可表示为信道矩阵：3.3多符号离散信道第18页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(1)单符号离散信道的N次扩展信道的数学模型(2)

单符号离散无记忆信道与其N次扩展信道传递概率之间的关系(3)单符号离散无记忆信道与其N次扩展信道平均互信息之间的关系(4)

单符号离散无记忆信道与其N次扩展信道信道容量之间的关系(5)独立并联信道3.3多符号离散信道第19页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(1)单符号离散信道的N次扩展信道的数学模型

单符号离散信道的N次扩展信道数学模型如下图所示3.3多符号离散信道第20页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(2)单符号离散无记忆信道与其N次扩展信道传递概率之间的关系无记忆性：离散信道在时刻k的输出随机变量Yk只与时刻k的输入随机变量Xk(k=1,2,…,N)有关，与k时刻之前的输入随机变量X1X2…Xk－1和输出随机变量Y1Y2…Yk－1无关。无预感性：k时刻之前的输出随机变量序列Y1Y2…Yk－1只与k时刻之前的输入随机变量序列X1X2…Xk－1有关，与以后的第k时刻的输入随机变量Xk无关。3.3多符号离散信道第21页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(2)单符号离散无记忆信道与其N次扩展信道传递概率之间的关系离散无记忆信道的N次扩展信道：3.3多符号离散信道第22页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(2)单符号离散无记忆信道与其N次扩展信道传递概率之间的关系离散无记忆信道的N次扩展信道的传递概率等于各单位时刻相应的单符号离散无记忆信道的传递概率的连乘。离散无记忆信道的N次扩展信道既是无记忆的，又是无预感的。即输出随机变量Yk只与对应的输入随机变量Xk有关。3.3多符号离散信道第23页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(2)单符号离散无记忆信道与其N次扩展信道传递概率之间的关系离散无记忆信道的N次扩展信道的数学模型可以用下图表示：3.3多符号离散信道第24页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(3)单符号离散无记忆信道与其N次扩展信道

平均互信息之间的关系离散无记忆信道N次扩展信道两端的平均互信息为：I(X;Y)=H(Y)－H(Y

/X)3.3多符号离散信道第25页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(3)单符号离散无记忆信道与其N次扩展信道平均互信息之间的关系平均互信息公式：第k个随机变量Xk单独通过单符号离散信道时的平均互信息：N个输入、N个输出变量的平均互信息之和为：3.3多符号离散信道第26页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(3)单符号离散无记忆信道与其N次扩展信道平均互信息之间的关系上两式相减得：3.3多符号离散信道第27页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(3)单符号离散无记忆信道与其N次扩展信道平均互信息之间的关系结论1：离散无记忆信道的N次扩展信道的平均互信息，不大于N个随机变量X1X2…XN单独通过信道

{X

P(Y/X)Y}的平均互信息之和

。3.3多符号离散信道第28页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(3)单符号离散无记忆信道与其N次扩展信道平均互信息之间的关系

当且仅当信源X

=X1X2…XN无记忆，或者说信源X

是离散无记忆信源X的N次扩展信源XN

=X1X2…XN时，即：3.3多符号离散信道第29页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(3)单符号离散无记忆信道与其N次扩展信道平均互信息之间的关系即输出端各Yk(k=1,2,…,N)相互独立。3.3多符号离散信道第30页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(3)单符号离散无记忆信道与其N次扩展信道平均互信息之间的关系结论2：离散无记忆信道的N次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于这N个变量单独通过信道的平均互信息之和。3.3多符号离散信道第31页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(4)单符号离散无记忆信道与其N次扩展信道信道容量之间的关系由于离散无记忆信源的N次扩展信源中的随机变量都取自同一符号集Xk∈{x1x2…xn}(k=1,2,…,N)，并具有相同的概率分布

{p(x1),p(x2),…,p(xn)}；而且都通过同一个离散无记忆信道

{X

P(Y/X)Y}

；信道输出端随机变量序列中的随机变量Yk(k=1,2,…,N)也取自同一符号集

{y1y2…ym}并具有相同的概率分布{p(y1),p(y1),…,p(ym)}而且相互统计独立。所以：I(Xk;Yk)=I(X;Y)3.3多符号离散信道第32页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(4)单符号离散无记忆信道与其N次扩展信道信道容量之间的关系结论：离散无记忆信道的N次扩展信道，如果信源也是离散无记忆信源的N次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的N倍。3.3多符号离散信道第33页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(4)单符号离散无记忆信道与其N次扩展信道信道容量之间的关系结论的说明：因为离散无记忆信道N次扩展信道可以用N个单符号离散信道来等效，这N个信道之间没有任何关联关系，若输入端的N个随机变量之间也没有任何关联关系的话，就相当于N个毫不相干的单符号离散信道在分别传送各自的信息，所以在扩展信道的输出端得到的平均信息量必然是单个信道的N倍。用

C表示离散无记忆信道容量，用CN表示其扩展信道容量：CN=NC3.3多符号离散信道第34页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(5)独立并联信道

独立并联信道／独立并列／独立平行／积信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。是离散无记忆信道的N次扩展信道的推广。输入随机序列X=X1X2…XN

，Xk∈{x1k,x2k,…,xnk}

输出随机序列Y=Y1Y2…YN

，Yk∈{y1k,y2k,…,ymk}N个独立并联信道的容量：CN

第k个单符号离散无记忆信道的信道容量：Ck3.3多符号离散信道第35页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(5)独立并联信道

独立并联信道／独立并列／独立平行／积信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。是离散无记忆信道的N次扩展信道的推广。当输入端各随机变量统计独立，且每个输入随机变量Xk

（k=1,2,…,N）的概率分布达到各自信道容量

Ck（k=1,2,…,N）的最佳分布时，CN达到其最大值：3.3多符号离散信道第36页2025/8/193.3.2离散无记忆信道和独立并联信道的信道容量(5)独立并联信道独立并联信道推广到更一般情况：

输入各随机变量不但取值于不同的符号集，而且各集合的元素个数也不相同；输出随机变量也取值于不同的符号集合，各集合的元素个数也不相同;

这种更一般的信道可得到与上述类似的结论。可以把N个变量的独立并联信道看成是离散无记忆信道的N次扩展信道的推广，也可以把离散信道的N次扩展看成是独立并联信道的特例。3.3多符号离散信道第37页2025/8/193.4连续信道3.4.1连续信道的定义及数学模型3.4.2连续信道的信道容量3.4.3加性连续信道的信道容量3.4.4高斯加性连续信道的信道容量3.4.5平均功率受限的加性信道的信道容量3.4.6结论第38页2025/8/193.4.1连续信道的定义及数学模型连续信道定义：输入和输出随机变量都取值于连续集合的信道。信道传递特性：传递特性用条件转移概率密度函数p(y/x)表示。连续信道数学模型：{X

p(y/x)Y}，如下图所示。3.4连续信道第39页2025/8/193.4.2连续信道的信道容量连续随机变量之间的平均互信息满足非负性，并可以证明，它是信源概率密度函数p(x)的上凸函数。连续信道的信道容量C：信源X等于某一概率密度函数p0(x)时，信道平均互信息的最大值，即：一般连续信道的容量并不容易计算，当信道为加性连续信道时，情况要简单一些。3.4连续信道第40页2025/8/193.4.3加性连续信道的信道容量加性连续信道：噪声为连续随机变量N，且与X相互统计独立的信道。这种信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即Y=X+N。如下图所示。3.4连续信道第41页2025/8/193.4.3加性连续信道的信道容量对于加性连续信道，信道的条件概率密度函数等于噪声的概率密度p(y/x)=p(n)

这进一步说明信道的传递概率是由于噪声所引起的。3.4连续信道第42页2025/8/193.4.3加性连续信道的信道容量加性连续信道的条件熵等于其噪声熵。说明h(Y/X)是由噪声引起的，故称h(N)为噪声熵。

该结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的不确定性，即噪声信源的熵，所以称它为噪声熵。3.4连续信道第43页2025/8/193.4.3加性连续信道的信道容量加性连续信道的信道容量：加性噪声N和信源X相互统计独立，X的概率密度函数p(x)的变动不会引起噪声熵h(N)的改变，所以加性信道的容量C就是选择p(x)，使输出熵h(Y)达到最大值，即：3.4连续信道第44页2025/8/193.4.3加性连续信道的信道容量上式说明：加性连续信道容量取决于噪声N（即信道）的统计特性和输入随机变量X所受的限制条件（对于不同的限制条件，连续随机变量具有不同的最大熵值）。3.4连续信道第45页2025/8/193.4.4高斯加性连续信道的信道容量高斯加性连续信道：高斯噪声N，均值为0，方差为σ2N，噪声功率为PN；信道的传递概率密度函数：p(y/x)=p(n)如果把x看成是一个常数，则上式就变成了随y变化的高斯函数，即当已知X=x时，Y也是一个高斯变量，均值为x，方差为σ2Y。3.4连续信道第46页2025/8/193.4.4高斯加性连续信道的信道容量因此高斯加性信道的容量为：3.4连续信道第47页2025/8/193.4.5平均功率受限的加性信道的信道容量输入概率密度函数p(x)

是什么样的函数时，才能使Y

呈高斯分布？设限定输入平均功率

PX，噪声平均功率

PN=σ2N，则输出随机变量

Y

的平均功率

PY也是受限的。根据最大连续熵定理，要使h(Y)

达到最大，Y

必须是一个均值为0、方差为σ2Y=PY

的高斯随机变量。3.4连续信道第48页2025/8/193.4.5平均功率受限的加性信道的信道容量高斯加性信道中输入X

和噪声

N相互统计独立，且Y=X+N。由概率论可知：若输入X

是均值为

0、方差为σ2X=PX

的高斯随机变量，即X

的概率密度函数为p(x)

，则可以证明，输出

Y的概率密度函数就等于：3.4连续信道《信息论与编码》，姜丹，中国科学技术大学出版社，2001年：P.250第49页2025/8/193.4.5平均功率受限的加性信道的信道容量即当输入随机变量X的概率密度是均值为0、方差σ2X

的高斯随机变量；加性信道的噪声N是均值为0、方差为σ2N

的高斯随机变量时；输出随机变量Y也是一个高斯随机变量，其均值为0、方差为：σ2Y=σ2X+σ2N=PY

3.4连续信道第50页2025/8/19这时输出端的连续熵h(Y)达到最大值，即：

因此，高斯加性信道的信道容量为：(PX/PN)称为信道的信噪功率比。3.4.5平均功率受限的加性信道的信道容量3.4连续信道第51页2025/8/193.4.6结论设信道的频带限于(0,W)；