第3章：信道容量

信息论与编码西安工业大学电子信息工程学院

赵黎第三章信道容量信道的功能：以信号形式传输和存储信息。信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信道容量研究内容：在什么条件下，通过信道的信息量最大。信道定义：传输信息的媒介或通道。信道也可以看作一种变换，把输入变换成输出。信道的随机性：由于干扰和噪声的存在，变换是随机（概率）的。信道的描述：用条件转移概率表示。本章内容信道的数学模型及分类单符号离散信道的信道容量3.1信道的数学模型及分类一般信道的数学模型信道的分类实际的信道(1)一般信道的数学模型信息论对信道的研究：对具体物理信道抽象，建立与各种通信系统相适应的信道模型，研究信息在这些模型信道上传输的普遍规律，指导通信系统的设计。信道模型：不研究信号在信道中传输的物理过程，把信道模型看作黑匣子。数学模型的数学符号表示：

{X

P(Y/X)Y}(2)信道的分类①根据输入输出随机信号的特点分类②根据输入输出随机变量个数的多少分类③根据输入输出个数分类④根据信道上有无干扰分类⑤根据信道有无记忆特性分类①根据输入输出随机信号的特点分类离散信道：输入和输出的随机序列的取值都是离散的信道。连续信道：输入和输出的随机序列的取值都是连续的信道。半离散／半连续信道：输入变量取离散值而输出变量取连续值，或反之.②根据输入输出随机变量个数的多少分类单符号信道：输入和输出端都只用一个随机变量来表示。离散无记忆扩展信道（多符号信道）：输入和输出端用随机变量序列（随机矢量）来表示。③根据输入输出个数分类单用户信道：只有一个输入和一个输出的信道。多用户信道：有多个输入和多个输出的信道。(多元接入信道和广播信道)

④根据信道上有无干扰分类有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。⑤根据信道有无记忆特性分类无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。(3)实际的信道实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。一个实际信道可同时具有多种属性。

最简单的信道是单符号离散信道。3.2单符号离散信道的信道容量信道容量定义几种特殊离散信道的信道容量离散信道容量的一般计算方法(1)信道容量的定义①单符号离散信道的数学模型②信道的信息传输率③信道容量①单符号离散信道的数学模型a信道模型b信道统计特性a信道模型设输入：X∈{x1,x2,…,xi,…,xn}

输出：Y∈{y1,y2,…,yj,…,ym}其信道模型：a信道模型用线图描述：b信道统计特性信道统计特性：由信道转移概率描述。信道转移概率（信道传递概率）：条件概率p(yj/xi)。信道特性表示：用信道转移概率矩阵，简称信道矩阵。反信道矩阵：由条件概率p(xi/yj)

表示。②信道的信息传输率②信道的信息传输率研究信道的目的：讨论信道中平均每个符号传送的信息量（信道的信息传输率）。信道的信息传输率：就是平均互信息：

R=I(X;Y)＝H(X)－H(X/Y)（比特/符号）平均互信息I(X;Y)就是接收到符号Y

后平均每个符号获得的关于X

的信息量②

信道的信息传输率如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。输出端Y

往往只能获得关于输入X

的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)。I(X;Y)

是信源无条件概率p(xi)

和信道转移概率p(yj/xi)

的二元函数：③信道容量当信道特性p(yj/xi)

固定后，I(X;Y)随信源概率分布p(xi)

的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)

是p(xi)

的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。③信道容量信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要

t秒钟，则单位时间的信道容量为：

Ct

实际是信道的最大信息传输速率。结论C和

Ct都是求平均互信息I(X;Y)

的条件极大值问题，当输入信源概率分布p(xi)

调整好以后，

C

和Ct

已与p(xi)

无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。(2)几种特殊离散信道的信道容量①离散无噪声信道的信道容量②强对称离散信道的信道容量③对称离散信道的信道容量④准对称离散信道的信道容量

①

离散无噪信道的信道容量a具有一一对应关系的无噪信道b具有扩展性能的无噪信道c具有归并性能的无噪信道a具有一一对应关系的无噪信道（无噪无损信道）信道线图a具有一一对应关系的无噪信道（无噪无损信道）信道矩阵a具有一一对应关系的无噪信道（无噪无损信道）因为信道矩阵中所有元素均是“1”或“0”，X

和Y

有确定的对应关系：已知X

后Y

没有不确定性，收到Y后，X

也不存在不确定性，I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量（信源X的最大熵）噪声熵：H(Y/X)=0损失熵/信道疑义度：H(X/Y)=0b具有扩展性能的无噪信道（有噪无损信道）n<m，输入X

的符号集个数小于输出Y的符号集个数。噪声熵：H(Y/X)>0损失熵/信道疑义度：H(X/Y)=0b具有扩展性能的无噪信道（有噪无损信道）其信道矩阵为：虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：已知Y

后，X

不再有任何不确定度，

信道容量为：此时输入端符号熵小于输出端符号熵，H(X)<H(Y)。噪声熵：H(Y/X)>0损失熵/信道疑义度：H(X/Y)=0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(X)b具有扩展性能的无噪信道（有噪无损信道）熵之间的关系：c具有归并性能的无噪信道（无噪有损信道）n>m，输入X

的符号集个数大于输出Y的符号集个数：噪声熵：H(Y/X)=0损失熵/信道疑义度：H(X/Y)>0信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1：已知某一个

xi后，对应的

yj完全确定，收到某一个yj后，对应的xi不完全确定，信道疑义度H(X/Y)≠0。

信道容量为：这种信道的输入端符号熵大于输出端符号熵，H(X)>H(Y)。噪声熵：H(Y/X)=0损失熵/信道疑义度：H(X/Y)>0I(X;Y)=H(X)－H(X/Y)=H(Y)－H(Y/X)=H(Y)注意：在求信道容量时，调整的始终是输入端的概率分布p(xi)

，尽管信道容量式子中平均互信息I(X;Y)

等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi)

，而不能用输出端的概率分布p(yj)

来代替。熵之间的关系：[举例]：图3.2.4a的信道容量是log23=1.585(比特/信道符号)，求要达到这一信道容量对应的信源概率分布。由信道矩阵得

p(y1)=p(x1)×1+p(x2)×1

p(y2)=p(x3)×1+p(x4)×1

p(y3)=p(x5)×1只要p(y1)=p(y2)=p(y3)=(1/3)，H(Y)

达到最大值，即达到信道容量C。[举例]：此时使p(y1)=p(y2)=p(y3)=(1/3)

的信源概率分布{p(xi)},i=1,2,3,4,5

存在，但不是惟一的。这种信道的输入符号熵大于输出符号熵，即H(X)>H(Y)。结论无损信道的信道容量

C

只决定于信道的输入符号数n，与信源无关。无噪信道的信道容量

C

只决定于信道的输出符号数m，与信源无关。②强对称离散信道的信道容量a什么是强对称离散信道b强对称信道矩阵特点c强对称离散信道的信道容量d输入是什么概率分布时达到信道容量e二进制均匀信道a什么是强对称离散信道单符号离散信道的X

和Y

取值均由

n

个不同符号组成，即X∈{x1,x2,…,xi,…,xn}，Y∈{y1,y2,…,yj,…,yn}每信道矩阵为：a什么是强对称离散信道这种信道称为强对称（均匀）信道。这类信道中：总的错误概率是

p，对称平均地分配给(n－1)个输出符号.信道矩阵中每行之和等于1，每列之和也等于1。一般信道矩阵中，每列之和不一定等于1。b强对称信道矩阵特点强对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列。由平均互信息定义：b强对称信道矩阵特点Hni的意义：是固定X=xi

时对Y

求和，相当于在信道矩阵中选定了某一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每一行都是同一集合的不同排列，所以：当

xi不同时，Hni只是求和顺序不同，求和结果完全一样。所以Hni

与X无关，是一个常数。b强对称信道矩阵特点因此：c强对称离散信道的信道容量

如何达到信道容量：求一种输入分布使H(Y)

取最大值。现已知输出符号集Y

共有

n个符号，则H(Y)≤log2n。根据最大离散熵定理，只有当p(yj)=(1/n)，即输出端呈等概率分布时，

H(Y)

才达到最大值log2n

。要获得这一最大值，可通过下面公式寻找相应的输入概率分布；现一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率分布。但强对称离散信道存在。d输入是什么概率分布时达到信道容量强对称离散信道的输入和输出之间概率关系可用矩阵表示为：d输入是什么概率分布时达到信道容量信道矩阵中的每一行都是由同一集合中的诸元素的不同排列组成，所以保证了当输入符号X是等概率分布，即p(xi)=(1/n)时，输出符号Y一定是等概率分布，这时H(Y)=log2n。相应的信道容量为：d输入是什么概率分布时达到信道容量结论：当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量。这个信道容量只与信道的输出符号数n和相应信道矩阵中的任一行矢量有关。e二进制均匀信道当n=2时的强对称离散信道就是二进制均匀信道。二进制均匀信道的信道容量为：二进制均匀信道容量曲线如图3.2.6所示。③对称离散信道的信道容量a可排列性b对称离散信道定义c对称离散信道的信道容量a可排列性行可排列：一个矩阵的每一行都是同一集合Q{q1,q2,…,qm}

中诸元素的不同排列。列可排列：一个矩阵的每一列都是同一集合P{p1,p2,…,pn}

中诸元素的不同排列。矩阵可排列（具有可排列性）：一个矩阵的行和列都是可排列的。b对称离散信道定义对称离散信道：信道矩阵具有可排列性。对称离散信道行、列集合的特点：当

m<n时，Q

是P

的子集。当m>n

时，P

是Q

的子集。当m=n

时，Q

和

P中的所有元素重合，Q

和

P

是同一集合。b对称离散信道定义举例：b对称离散信道定义举例：c对称离散信道的信道容量c对称离散信道的信道容量对称离散信道的信道容量与强对称的形式相同，只是这里m≠n。由于对称信道的特点，其信道矩阵中每一列都是由同一集合中的诸元素的不同排列组成，所以保证了当X等概率分布时，Y也是等概率分布，从而使Y

的熵达到最大值log2m，即信道容量。④准对称离散信道的信道容量

准对称离散信道定义：一个n行m

列单符号离散信道矩阵[P]

的行可排列，列不可排列。但是矩阵中的m

列可分成

S

个不相交的子集，各子集分别有m1,m2,…,ms个元素(m1+m2+…+ms=m)，由n

行mk(k=1,2,…,s)

列组成的子矩阵[P]k

具有可排列性。举例两个子矩阵均是可排列的，故信道[P]

是准对称信道。准对称离散信道容量为：可以证明：实现离散准对称无记忆信道信道容量的输入符号集的分布为等概率分布。举例已知准对称信道矩阵，求其信道容量

(3)离散信道容量的一般计算方法

①

如何计算离散信道容量②用拉格朗日乘子法求信道容量

③

一般离散信道容量计算步骤①如何计算离散信道容量由于I(X;Y)

是输入概率分布p(xi)

的上凸函数，所以极大值一定存在。因为I(X;Y)

是n

个变量{p(x1),p(x2),…,p(xn)}

的多元函数，并满足，所以可用拉各朗日乘子法计算这个条件极值。对一般离散信道求信道容量，就是在固定信道条件下，对所有可能的输入概率分布p(xi)

，求平均互信息的极大值。②用拉各朗日乘子法求信道容量引进一个新函数

其中λ为拉各朗日乘子，解方程组：

可得一般信道容量C。将I(X;Y)

的表达式代入(3.2.21)得：整理得：上式左边为平均互信息的极大值，即：③一般离散信道容量计算步骤一般离散信道容量的计算步骤总结如下：注意：在第②步信道容量C

被求出后，计算并没有结束，必须解出相应的p(xi)

，并确认所有的p(xi)≥0

时，所求的C才存在。在对I(X;Y