第三章信道和信道容量.ppt

1、第三章 信道和信道容量,3.1 概述 3.2 信道容量的表示 3.3 信道容量的计算 3.4 串联信道和并联信道 3.5 连续信道容量,3.1 概 述,信道：用来传输信号的通道，它承担了信息传输和信息存储任务。 对称电缆 性能稳定 有线信道： 同轴电缆 受大气干扰影响小 光缆 传输质量好 无线信道： 长波、中波、短波 微波中继通信 超短波、微波 卫星通信等,信道还可以分为： 按信道用户分为：单用户信道，多用户信道 按输入、输出关联分为：无反馈信道，反馈信道 按信道参数分为：固定参数信道，时变参数信道 按传输信号的特点分为：离散信道，连续信道， 半离散（半连续）信道，波形信道 信道容量概念：信道

2、中能传送或存储的最大信息，是信道传输信息能力的量度，是信道对信源的一切可能的概率分布而言能够传送的最大熵速率。,通信系统一般模型： 各种物理信道中存在的干扰限制了通信的距离与速率，为反映信道干扰对传输性能的影响，可用刻划各种干扰的模型来表示信道。 如：发送为xi（信道输入）， 接收为yj（信道输出），则信道特性为： PjiP（yj/xi），用（条件）转移概率描述,信道中无干扰时： Pji 1 ji 0 ji 信道中干扰最严重时： P（yj/xi）P（yj） 一、二元对称信道 二元信道中，0错成1和1错成0 的概率相等时，为二元对称信道； 且：p0时，信道无干扰； P1/2时，信道干扰最为严重。

3、,二、二元删除信道 难以区分原发送信号时，不硬性 判断0或1，而作删除处理。 删除信道中，pq时，则为 对称删除信道。 三、Z信道 信道特性：0错成1的概率为0， 1错成0有一定可能。,有记忆信道：有突发干扰或码间干扰的信道。 用联合转移概率表示： 若信道的记忆很弱成为无记忆时，可表示成： 无记忆信道：只有独立干扰的信道。,小 结： 信道是传输信号的通道，信号则载荷有一定 的信息，通信的目的是将信息送至信宿，而 波形有无失真常常无关紧要。为了研究输入 信号和输出信号之间的关系（这是信道特性 的主要标志），并统一描述各种信道，往往 采用条件概率来描述，以此表明信道特性。,3.2 信道容量的表示,

4、互信息：I（X；Y）H（X）H（X/Y） H（Y）H（Y/X） H（X）：接收Y前，关于 X的不确定性； H（X/Y）：接收Y后，关于 X的不确定性；也称 信道疑义度，或称损失熵 H（Y/X）：在已知X的条件下，对Y尚存在的不 确定性；也称噪声熵。,I（X；Y）：接收到Y前、后关于的平均不确定性 的消除 ；或发送X前、后关于Y的平 均不确定性的消除。 可见：熵只是平均不确定性的描述，而不确定性 的消除（两熵之差）才等于接收端所获得的信息 量。获得的信息量不能和不确定性混为一谈。,关于信道容量： 研究：信道中平均每个符号所能传送的信息量， 即信息传输率R，也是平均互信息。 RI（X；Y）H（X）

5、H（X/Y）比特/符号 若平均传输一个符号需要t秒，则信道每秒钟平均传输的信息量为： Rt（1/t）I（X；Y） bit/秒 定义：最大的信息传输率为信道容量C，即： CmaxI（X；Y） bit/符号,P(x),达到信道容量时，相应的输入概率分布称为最佳 输入分布，若平均传输一个符号需要t秒，则： 信道单位时间内平均传输的最大信息量为： Ct（1/t） maxI（X；Y） bit/秒 注意：信道容量C与输入信源的概率分布无关， 它只是信道传输概率的函数，只与信道的统计特 性有关。信道容量是完全描述信道特性的参数， 是信道能够传输的最大信息量。,P(x),3.3 信道容量计算,一、离散无干扰信

6、道的信道容量 1、Y是X的一一对应函数 P(y/x)= 1 y=f(x) 即：H(X/Y)=H(Y/X)=0 0 yf(x) I(X;Y)=H(X)=H(Y) X的不确定性在接收端被完全解除，是无损无 噪信道，其信道容量是求最大熵问题： CmaxH(X)maxH(Y)log n bit/符号,P(X),P(X),2、一个输入对应多个输出Y值，且Y值不重合,接收到符号Y后，对发送X符号是完全确定 的，是有噪无损信道，即： 损失熵：H(X/Y)0，噪声熵：H(Y/X) 0 I(X;Y)H(X)H(Y)H(Y/X) H(Y) 信道容量仍是最大熵问题（最大H(X)）： Cmax H(X)log r b

7、it/符号 （设X有r个符号） 结论：信道的转移矩阵中，每列有一个也仅有一个 非零元素时，此信道一定是有噪无损信道。,P(X),如图信道示意， 信道矩阵：,3、Y是X的确定函数，且是多一对应 收到Y后不能完全消除 对X的不确定性，信息 有损失，是无噪有损信 道，也称确定信道，即： 损失熵：H(X/Y) 0； 噪声熵：H(Y/X) 0， I(X;Y)H(Y)H(X)H(X/Y) H(X),信道容量仍是最大熵问题（最大H(Y)）： Cmax H(Y)log s bit/符号 （设Y有s个符号） 此种情况中，一定能找到一种输入概率分布P(X)使输出Y达到等概分布。,P(X),二、对称离散信道的信道容

8、量,对称离散信道：信道矩阵中每一行是另一行的置换，每一列是另一列的置换，具有对称的信道矩阵。 设X与Y符号个数相同（强对称或均匀信道），均为n，则：条件概率：,可得： 显然，对于离散对称信道，当输入符号是等概时，传输信息最大，每符号信道容量： 若输入、输出符号个数不相同，但只要符合对称信道 特性，即每行和每列的取值集分别相同，只是排列不 同，则信道容量和输出符号集的个数s有关，为：,s,三、准对称信道的信道容量 若信道矩阵P的s个列（Y集的元素是s个）可分为n个 不相交的子集mk，由mk组成的矩阵Pk是对称矩阵 （具有可排列的性质），则称此信道为准对称信道， 其信道容量：,r为输入符号集个数

9、即信道矩阵行数,准对称信道中的 行元素,第k个子矩阵 中行元素之和,第k个子矩阵 中列元素之和,例31：二元对称删除 信道如图，计算信道容量。 例32：准对称信道的信道矩阵为： P(y/x) 0.5 0.3 0.2 0.3 0.5 0.2 当输入概率分布为p(x1)，p(x2)1 求信息传输率R及信道容量。,四、一般离散信道的信道容量 对于非特殊性质的固定信道，根据定义，其信 道容量是对所有可能的输入概率分布P(X)求平 均互信息的极大值。由于I(X;Y)是P(X)的上凸函数，其极大值一定存在。 注意：达到信道容量的最佳分布不一定是唯一的， 只要输入概率分布满足定理中的条件，并使I最大， 即成

10、为信道的最佳输入分布。,3.4 串联信道和并联信道,一、串联信道 其中：I(X;Z) I(X;Y)， I(X;Z) I(Y;Z) 信道矩阵P(z/x)P(y/x)P(z/y) 显然，通过串联信道的传输只会丢失更多的信息,I(X;Y),I(Y;Z),I(X;Z),且 P(z/xy)=p(z/y),二、独立并联信道的容量 联合互信息： I(X1X2;Y1Y2) I(X1;Y1)I(X2;Y2) 信道容量：C12C1C2 X1，X2、Y1，Y2相互独立时：C12C1C2 有N个信道时：C Ci N个信道相同时：C N Ci,i=1,N,信道1,信道2,X1,X2,Y1,Y2,C1,C2,结论： 若N

11、个符号以序列形式由一个信道传送， 当输入符号之间相互独立，则信道中N个 符号的容量能达到N倍单符号信道容量。,3.5 连续信道容量,一、单符号高斯加性信道 讨论条件：信道的输入和输出都是取值连续的一维 随机变量，而加入信道的噪声是加性高斯噪声。 则噪声熵： 信道输出：YXn,因此，当输入X为已知值时，Y也为正态变量， 即： 所以: 信道容量: 这是限平均功率的高斯信道的信道容量公式。,注意：实际信道不一定符合高斯干扰的条件，求C往 往很困难，一般没有确切的方法，但在叠加性干扰 条件下，可求出信道容量的上、下界。而高斯信道 的容量是一般信道的下界。 结论：实际信道的容量总是大于高斯信道的容量，

12、用高斯信道条件计算出的容量来代表实际信道容量 传输信息时，不会失真。,二、限频限功率高斯信道的容量,条件：信道容许输入信号是随机过程，引入的干 扰是高斯白噪声，输入信号平均功率受限为Ps， 频带受限W。 单位时间信道容量（香农公式）： 显然，带宽WCt，W时，则： CtPs/N0,结论：,当频带很宽时，或信噪比很低时，信道容 量等于信号功率与噪声功率密度比，此比 值是加性高斯噪声信道信息传输率的极限 值。在上述宽频带条件下，信号淹没在噪 声中仍可传送信息。 由香农公式得到的值是非高斯信道（实际 信道）的信道容量的下限值。,三、多维无记忆高斯加性连续信道,讨论条件：输入、输出为随机序列，且 YXn 其中n（n1,n2,nN）是均值为零的高斯噪声 信道容量C 限制条件： 问题：输入信号的总平均功率受限时，各时刻 （各独立信道）的信号平均功率Psi应如何分配，才能使C最大？最终C应等于多少？,以上问题就是在式的制约下求式的极值： 令： 即： 显然：各信道的输出功率相等时，才能保证联合容量 最大。 由式得： ,若由式解出的各Psi都大于零，则将此Psi代入 式可得联合信道容量： 若由式解出的Psi有负值，则表明当某一信道的 噪声功率大于该信道得到的平均功率，该信道无 法利用，令Psi为0代替此负值，重新分